具体实施方式
图1是示出包含一实施方式涉及的图像处理装置的数字照相机的结构的框图。该数字照相机具有摄像部1、A/D转换部2、微型计算机3、RAM4、ROM5、图像处理电路6、操作部7、背面液晶监视器8、存储器接口9(以下称为I/F9)以及记录介质10。
摄像部1由在构成各像素的光电二极管的前面配置有多个彩色滤光器的单板式彩色摄像元件(以下简称为摄像元件)、摄影光学系统以及它们的驱动部等构成。彩色滤光器例如使用拜尔排列来排列。拜尔排列是这样构成的:在水平方向具有交替配置R像素和G(Gr)像素的行和交替配置G(Gb)像素和B像素的行,并将该2个行在垂直方向上也交替配置。摄像元件通过利用构成像素的光电二极管接收由未图示的透镜会聚的光并进行光电转换,将光量作为电荷量输出到A/D转换部2。另外,摄像元件既可以是CMOS方式的摄像元件,也可以是CCD方式的摄像元件。并且,彩色滤光器既可以由拜尔排列以外的排列构成,也可以由R、B、G以外的颜色构成。
A/D转换部2将从摄像部1所输出的电信号转换成数字图像信号(以下称为图像数据)。
微型计算机3是进行数字照相机的整体控制的控制部。例如,微型计算机3进行摄像部1内部的摄影光学系统的焦点控制和摄像元件的曝光控制、将图像数据记录到记录介质10内时的记录控制、将图像数据显示在背面液晶监视器8上时的显示控制等。并且,微型计算机3进行对图像数据实施各种特殊效果的处理。
RAM4是暂时存储在A/D转换部2中获得的图像数据、在后述的图像处理电路6进行了处理的图像数据等各种数据的存储部。在ROM5内存储有数字照相机的动作所需要的各种参数、在特殊效果处理中使用的参数、以及在微型计算机3中执行的各种程序。微型计算机3根据存储在ROM5内的程序,从ROM5读入各种程序所需要的参数,执行各处理。
图像处理电路6对从RAM4所读出的图像数据实施各种图像处理。关于在图像处理电路6进行的图像处理的详情,在后面描述。在图像处理电路6实施了图像处理后的图像数据经由I/F9被记录到记录介质10内。记录介质10是由例如可在数字照相机机身上拆装的存储卡构成的记录介质,然而不限于此。
操作部7是电源按钮、快门释放按钮、各种输入键等操作部件。通过由用户对操作部7的任一操作部件进行操作,微型计算机3执行与用户操作对应的各种程序。电源按钮是用于进行该数字照相机的电源接通/断开指示的操作部件。当按下电源按钮时,微型计算机3接通或断开该数字照相机的电源。快门释放按钮构成为具有第一快门释放开关和第二快门释放开关的2段开关。在半按下快门释放按钮、第一快门释放开关接通的情况下,微型计算机3进行AE处理和AF处理等摄影准备程序。并且,在全按下快门释放按钮、第二快门释放开关接通的情况下,微型计算机3执行摄影程序进行摄影。
总线11是用于将在数字照相机内部产生的各种数据传送到数字照相机内的各部的传送路径。总线11与摄像部1、A/D转换部2、微型计算机3、RAM4、ROM5、图像处理电路6、操作部7、背面液晶监视器8、以及I/F9连接。
图2是示出图像处理电路6的详细结构的框图。图像处理电路6具有噪声降低部(图中是NR部)21、白平衡校正部(图中是WB部)22、同时化处理部23、颜色转换部24、灰度转换部25、YC转换部26、边缘提取部27、边缘强调部28、Y灰度转换部29、C灰度转换部30、尺寸调整部31、JPEG压缩部32、JPEG解压缩部33、合成部34以及相加部35。
噪声降低部21对在A/D转换部2进行了转换、且存储在RAM4内的图像数据进行降低噪声的处理。该噪声降低处理是例如是校正摄像元件的像素缺陷的处理、以及降低在摄像时产生的随机噪声的处理。不过,可以进行校正摄像元件的像素缺陷的处理、以及降低在摄像时产生的随机噪声的处理中的至少一种处理,也可以进行其他噪声降低处理。
白平衡校正部22进行校正噪声降低后的图像数据的白平衡的处理。
同时化处理部23进行从拜尔排列的图像数据向每1像素由R、G、B的信息构成的图像数据同时化的处理。同时化后的图像数据在颜色转换部24进行预定的颜色转换处理,之后在灰度转换部25进行灰度转换处理。这里,考虑到背面液晶监视器8的伽马(Gamma)特性,进行将暗部解压缩、将亮部压缩的灰度转换处理。图3是示出在灰度转换部25进行灰度转换处理时的灰度转换特性的一例的图。在ROM5内存储有图3所示的灰度转换特性的灰度转换表,灰度转换部25从ROM5中读出该灰度转换表,进行灰度转换处理。
YC转换部26将灰度转换处理后的图像数据转换成Y(亮度)信号和C(颜色)信号。转换后的Y信号被输出到相加部35,C信号被输出到C灰度转换部30。
边缘提取部27从在噪声降低部21进行了噪声降低处理后的图像数据进行提取边缘的处理。边缘强调部28进行对边缘提取部27所提取的边缘数据乘以预定增益的边缘强调处理。
相加部35对从YC转换部26输出的Y信号加上从边缘强调部28输入的边缘数据。从相加部35输出的Y信号在Y灰度转换部29进行灰度转换处理。图4是示出在进行Y信号的灰度转换处理时的灰度转换特性的一例的图。该灰度转换特性是强调图像数据的对比度的特性,即,将暗部和亮部压缩并将中间灰度解压缩的特性。在ROM5内存储有图4所示的灰度转换特性的灰度转换表,Y灰度转换部29从ROM5中读出该灰度转换表,进行灰度转换处理。
C灰度转换部30对C信号进行灰度转换处理。图5是示出进行C信号的灰度转换处理时的灰度转换特性的一例的图。在ROM5内存储有图5所示的灰度转换特性的灰度转换表,C灰度转换部30从ROM5中读出该灰度转换表,进行灰度转换处理。
尺寸调整部31将灰度转换处理后的Y信号和C信号按照记录时的图像尺寸进行尺寸调整。JPEG压缩部32对尺寸调整后的Y信号和C信号进行JPEG压缩。JPEG压缩后的数据经由I/F9被记录到记录介质10内。JPEG解压缩部33读出记录在记录介质10内的JPEG压缩数据,进行恢复到压缩前的状态的解压缩处理。
合成部34进行将存储在RAM4内的至少2个图像数据合成的处理。该图像数据不仅包括在实施后述的特殊效果处理前的图像数据,还包括实施了特殊效果处理后的图像数据。
图6是用于说明由本实施方式中的图像处理装置进行的各种特殊效果处理的处理时间的图。作为各种特殊效果处理,例如有:适度晕映图像的柔焦处理,进行象照明那样的精加工的柔光(light tone)处理,降低图像的周边光量的玩具照片(toy photo)处理,用彩色且印象深刻地强调颜色的流行艺术(pop art)处理,使用粗粒子再现高对比度的单色照片的粗单色处理等。这里,假定进行5个特殊效果处理来进行说明。
在特殊效果处理中,首先,进行图像处理电路6的硬件处理,然后通过微型计算机3的软件处理来进行在硬件处理中不能实现的处理。在图6中,“H”是在图像处理电路6中进行的硬件处理,“S”是在微型计算机3中进行的软件处理。由于硬件处理是所谓的流水线处理,因而只是根据处理内容而改变处理参数,处理时间不改变。另一方面,在软件处理中,处理时间根据处理内容而不同。在图6所示的例子中,仅进行硬件处理的特殊效果处理1的处理时间最短,软件处理时间长的特殊效果处理5的处理时间最长。
在本实施方式中的图像处理装置中,将实施了多个特殊效果处理后的实时取景图像(也称为浏览图像)显示在背面液晶监视器8上。特别是,进行图6所说明的特殊效果处理1至特殊效果处理5的5个特殊效果处理,将实施了特殊效果处理后的实时取景图像依次显示在背面液晶监视器8上。作为实施特殊效果处理的顺序,有以下(1)~(3)的3个模式。
(1)特殊效果处理1→特殊效果处理4→特殊效果处理2→特殊效果处理3→特殊效果处理1→特殊效果处理5
(2)特殊效果处理1→特殊效果处理5→特殊效果处理1→特殊效果处理4→特殊效果处理1→特殊效果处理3→特殊效果处理1→特殊效果处理2
(3)无特殊效果处理→特殊效果处理1→无特殊效果处理→特殊效果处理2→无特殊效果处理→特殊效果处理3→无特殊效果处理→特殊效果处理4→无特殊效果处理→特殊效果处理5
在上述(1)~(3)的模式中,使处理时间长的特殊效果处理,例如,特殊效果处理4与特殊效果处理5、以及特殊效果处理3与特殊效果处理5不连续。例如,在(2)的模式中,在显示实施了特殊效果处理2~特殊效果处理5的图像时,其间显示实施了处理时间最短的特殊效果处理1的图像。并且,在(3)的模式中,在显示实施了特殊效果处理1~特殊效果处理5的图像时,其间显示未实施特殊效果处理的普通处理的图像。这是因为,如后所述,如果连续进行处理时间长的特殊效果处理,则在显示实施了特殊效果处理的实时取景图像之前要花很长时间。
在本实施方式中,从显示实施了特殊效果处理后的特殊效果图像数据(实时取景图像)的状态起,在显示实施了下一个特殊效果处理的特殊效果图像数据(实时取景图像)之前,将实施了特殊效果处理的图像数据和实施了下一个特殊效果处理的图像数据合成而得到的图像显示在背面液晶监视器8上。例如,在从特殊效果处理1切换到特殊效果处理4时,在显示实施了特殊效果处理4的特殊效果图像数据之前,显示将实施了特殊效果处理1的特殊效果图像数据和实施了特殊效果处理4的特殊效果图像数据合成而得到的图像。由此,从实施了特殊效果处理1的状态逐渐转移到实施了特殊效果处理4的状态。
图7是示出在上述(1)的模式中、在特殊效果处理切换时生成合成图像时的合成系数的图。在显示实施了特殊效果处理1的图像数据的状态下,特殊效果处理1的合成系数是1.0。在从特殊效果处理1切换到特殊效果处理4时,使特殊效果处理1的合成系数从1.0逐渐减小到0.0,并使特殊效果处理4的合成系数从0.0逐渐增大到1.0。在特殊效果处理1的合成系数为0.0的同时,特殊效果处理4的合成系数为1.0,完成从特殊效果处理1到特殊效果处理4的切换。在特殊效果处理1和特殊效果处理4的合成系数分别大于0.0且小于1.0的情况下,显示根据各个合成系数将实施了各个特殊效果处理的图像合成而得到的图像。因此,对于合成图像,最初,特殊效果处理1的影响大,之后,特殊效果处理1的影响逐渐减小,并且特殊效果处理4的影响逐渐增大。
图8是示出在上述(3)的模式中、在特殊效果处理切换时生成合成图像时的合成系数的图。在显示未实施特殊效果处理的普通处理的图像数据的状态下,普通处理的合成图像是1.0。在从普通处理切换到特殊效果处理1时,使普通处理的合成系数从1.0逐渐减少到0.0,并使特殊效果处理1的合成系数从0.0逐渐增大到1.0。在普通处理的合成系数为0.0的同时,特殊效果处理1的合成系数为1.0,完成从普通处理到特殊效果处理1的切换。
这里,将特殊效果处理的合成系数为1.0的期间Ts设定得比普通处理的合成系数为1.0的期间Tn长。与连续显示特殊效果处理的模式(1)和模式(2)相比,在从显示普通处理时的图像数据之后显示实施了特殊效果处理的图像数据的情况下,更容易把握特殊效果处理的效果。通过使普通处理的图像数据的显示期间Tn比实施了特殊效果处理的图像数据的显示期间Ts短,用户更容易把握特殊效果处理的效果。
图9示出在模式(1)中、在进行从特殊效果处理4到特殊效果处理2的切换时的时序图。与摄像时钟(图中,表记为摄像时钟)同步,读出A/D转换后的图像数据(图中,表记为数据读出)。摄像时钟是例如1/60(秒)周期。
当图像数据的读出处理(R1)完成时,首先对所读出的图像数据实施特殊效果处理4。在特殊效果处理4中,最初实施硬件处理(H1),接下来实施软件处理(S1)。在特殊效果处理4的软件处理(S1)开始的同时,特殊效果处理2的硬件处理(H1)开始。然后,当特殊效果处理4的软件处理(S1)完成时,特殊效果处理2的软件处理(S1)开始。
接下来,进行将实施了特殊效果处理4的图像数据和实施了特殊效果处理2的图像数据合成的处理(C1)。该合成处理是使用图7所说明的处理。
当合成处理(C1)完成时,将合成图像显示在背面液晶监视器8上(D1)。以后,与摄像时钟同步,重复进行从图像数据的读出到图像显示的处理。
图10示出在模式(2)中、在进行从特殊效果处理1到特殊效果处理5的切换时的时序图。另外,进行从特殊效果处理5到特殊效果处理1的切换时的时序图也与图10所示相同。当与摄像时钟同步读出了A/D转换后的图像数据时(R1),首先对所读出的图像数据实施特殊效果处理5。在特殊效果处理5中,最初实施硬件处理(H1),接下来实施软件处理(S1)。在特殊效果处理5的软件处理(S1)开始的同时,特殊效果处理1的硬件处理(H1)开始。
通过先进行特殊效果处理5,可在特殊效果处理5的软件处理时,同时进行特殊效果处理1,因而可在特殊效果处理5需要的时间内,进行特殊效果处理1和特殊效果处理5的双方处理。反之,当比特殊效果处理5先进行特殊效果处理1时,特殊效果处理1完成之后,开始特殊效果处理5,因而处理时间延长。
当特殊效果处理5完成时,进行将实施了特殊效果处理1的图像数据和实施了特殊效果处理5的图像数据合成的处理(C1),将合成处理后的图像显示在背面液晶监视器8上(D1)。以后,与摄像时钟同步,重复进行从图像数据的读出到图像显示的处理。
图11示出在模式(3)中、在进行从不实施特殊效果处理的普通处理到特殊效果处理3的切换时的时序图。另外,进行从特殊效果处理3到普通处理的切换时的时序图也与图11所示相同。当与摄像时钟同步读出了A/D转换后的图像数据时(R1),首先对所读出的图像数据实施特殊效果处理3。在特殊效果处理3中,最初实施硬件处理(H1),接下来实施软件处理(S1)。在特殊效果处理3的软件处理(S1)开始的同时,普通处理的硬件处理(H1)开始。
通过比普通处理先进行特殊效果处理3,可在特殊效果处理3的软件处理时,同时进行普通处理,因而可在特殊效果处理3需要的时间内,进行普通处理和特殊效果处理3的双方处理。反之,当比特殊效果处理3先进行普通处理时,普通处理完成之后,开始特殊效果处理3,因而处理时间延长。
当特殊效果处理3完成时,进行将实施了普通处理的图像数据和实施了特殊效果处理3的图像数据合成的处理(C1),将合成处理后的图像显示在背面液晶监视器8上(D1)。以后,与摄像时钟同步,重复进行从图像数据的读出到图像显示的处理。
如使用图9~图11所说明的那样,在上述模式(1)~(3)中,决定对图像数据实施的处理的顺序,使得在1个摄像时钟内,完成从图像数据的读出到背面液晶监视器8上的图像显示。例如,当连续进行如特殊效果处理4和特殊效果处理5那样处理时间长的特殊效果处理时,由于不能在1个摄像时钟内完成从图像数据的读出到背面液晶监视器8上的图像显示,因而使它们在顺序上不连续。
图12是示出由一实施方式中的图像处理装置进行的处理内容的流程图。当实时取景功能打开时,开始步骤S10的处理。另外,实施特殊效果处理的顺序的模式可以预先设定上述(1)~(3)的模式中的任一模式,也可以由用户从上述(1)~(3)的模式中选择期望的模式。
在步骤S10中,进行实时取景摄像处理。在实时取景摄像处理中,间隔提取摄像元件的像素来读出数据。
在步骤S20中,判定第一快门释放开关是否接通。当判定为由用户按下了第一快门释放开关时,进到步骤S40,当判定为第一快门释放开关未接通时,进到步骤S30。
在步骤S30中,执行公知的曝光控制和焦点控制。
在步骤S40中,设定在特殊效果处理中使用的参数。在ROM5内分别存储有在特殊效果处理1~特殊效果处理5中使用的参数,从ROM5中读出与进行处理的特殊效果处理对应的参数并设定该参数。例如,在模式(1)的情况下,如图7所示,随着时间经过,从特殊效果处理1开始依次进行特殊效果处理。因此,从ROM5中读出与从处理开始的经过时间对应的特殊效果处理的参数并设定该参数。
在步骤S50中,设定在合成部34进行合成处理时使用的合成系数。如使用图7和图8所说明那样,该合成系数是随时间而变化的系数。在ROM5内存储有表示从处理开始的经过时间和各特殊效果处理的合成系数的关系的数据,根据从处理开始的经过时间,读出并设定各特殊效果处理的合成系数。
在步骤S60中,采用使用图9~图11所说明的方法,使用在步骤S40所设定的参数来进行特殊效果处理,使用在步骤S50所设定的合成系数,对实施了特殊效果处理的图像数据进行合成处理。合成处理还包括合成系数分别是0.0、1.0的合成处理。
在步骤S70中,将合成处理后的图像数据存储在RAM4内。在步骤S80中,通过将存储在RAM4内的图像数据显示在背面液晶监视器8上,进行背面液晶监视器8的显示更新。由此,显示实施了特殊效果处理的实时取景图像。
在步骤S90中,判定第二快门释放开关是否接通。当判定为第二快门释放开关未接通时,回到步骤S10,再次进行步骤S80之前的处理。即,在第二快门释放开关接通之前,继续进行实施了特殊效果处理的实时取景图像的显示。另一方面,当判定为由用户接通了第二快门释放开关时,进到步骤S100。
在步骤S100中,判断对摄像后的图像数据实施的特殊效果的种类。以下说明特殊效果的种类的判断方法。
当依次显示在背面液晶监视器8上的实施了各种特殊效果处理的图像中的、实施了期望的特殊效果处理的图像显示时,用户在该显示期间按下第二快门释放开关。例如,当用户在实施了特殊效果处理4的图像数据显示在背面液晶监视器8上的期间按下第二快门释放开关时,判断为对摄像后的图像数据实施的特殊效果的种类是特殊效果处理4。并且,当在2个图像数据的合成图像的显示期间按下第二快门释放开关时,判断为对摄像后的图像数据实施的特殊效果的种类是该2个特殊效果处理。
在步骤S110中,进行静态图像摄影处理。在步骤S10的实时取景摄像处理中,间隔提取摄像元件的像素来读出数据,然而这里,读出从全部像素获得的数据。
在步骤S120中,设定与在步骤S100所判断出的特殊效果处理对应的参数。如上所述,在ROM5内分别存储有在特殊效果处理1~特殊效果处理5中使用的参数,从ROM5中读出与在步骤S100所判断出的特殊效果处理对应的参数并设定该参数。在步骤S100所判断出的特殊效果处理有2个的情况下,从ROM5中分别读出与2个特殊效果处理对应的参数并设定该参数。
在步骤S130中,设定在合成部34进行合成处理时使用的合成系数。在步骤S100所判断出的特殊效果处理是1个的情况下,将合成系数设定为1.0。另一方面,在步骤S100所判断出的特殊效果处理是2个的情况下,设定由用户按下第二快门释放开关时的合成系数。例如,当在特殊效果处理1的合成系数是0.7、特殊效果处理4的合成系数是0.3的合成图像显示在背面液晶监视器8上时按下了第二快门释放开关的情况下,将特殊效果处理1的合成系数设定为0.7,将特殊效果处理4的合成系数设定为0.3。
在步骤S140中,使用在步骤S120所设定的参数来进行特殊效果处理,使用在步骤S130所设定的合成系数,对实施了特殊效果处理的图像数据进行合成处理。在步骤S100所判断出的特殊效果处理是1个的情况下,由于合成对象的图像数据(合成系数是1.0)是1个,因而实际上不进行合成处理。
在步骤S150中,在JPEG压缩部32中对完成了步骤S140的处理的图像数据进行JPEG压缩。在步骤S160中,将进行了JPEG压缩后的图像数据存储在RAM4内。
在步骤S170中,将图像的记录模式和曝光条件等摄影信息生成为文件头信息。在步骤S180中,对所生成的文件头信息进行JPEG压缩,附加到暂时存储在RAM4内的图像数据上,经由I/F9记录到记录介质10内。
以上,根据一实施方式中的图像处理装置,对实时取景图像数据实施多个特殊效果处理,生成与各个特殊效果处理对应的多个特殊效果图像数据。然后,按时间序列自动切换所生成的多个特殊效果图像数据,将其显示在背面液晶监视器8上。由此,可将多个特殊效果图像数据不缩小地显示在背面液晶监视器8上,因而用户能可靠且容易地确认多个特殊效果处理。
在使用上述(3)的模式进行显示的切换的情况下,在切换到下一个特殊效果图像数据之前,使未实施特殊效果处理的普通图像数据显示预定时间,因而与连续显示特殊效果图像数据的情况相比,容易确认特殊效果。特别是,由于使普通图像数据的显示时间比特殊效果图像数据的显示时间短,因而用户能更可靠地确认特殊效果。
并且,在将背面液晶监视器8的显示从普通图像数据切换到特殊效果图像数据时,显示将特殊效果图像数据和普通图像数据进行了加权合成后的合成图像数据,之后显示特殊效果图像数据,因而用户能更可靠地确认特殊效果。
根据上述的一实施方式中的图像处理装置,由于将进行多个特殊效果处理的顺序决定成使多个特殊效果处理需要的时间在预定范围内,因而可防止特殊效果处理花费大量时间而使实施了特殊效果处理的特殊效果图像数据的显示时间变慢的情况。
另外,在上述的一实施方式的说明中,作为图像处理装置进行的处理以硬件处理为前提,然而无需受限于这样的结构。例如,还能采用另行使用软件进行处理的结构。在该情况下,图像处理装置具有CPU、RAM等主存储装置、以及存储有用于实现上述处理的全部或一部分的程序的计算机可读取的存储介质。这里,将该程序称为图像处理程序。然后,CPU读出存储在上述存储介质内的图像处理程序,执行信息加工和运算处理,从而实现与上述图像处理装置相同的处理。
这里,计算机可读取的存储介质是指磁盘、光磁盘、CD-ROM、DVD-ROM、半导体存储器等。并且,可以将该图像处理程序通过通信线路发布给计算机,接收到该发布的计算机可以执行该图像处理程序。
本发明不限于上述的一实施方式,能在不脱离本发明主旨的范围内进行各种变形和应用。例如,在图12所示的流程图的说明中,当在背面液晶监视器8上显示2个图像数据的合成图像的期间按下第二快门释放开关时,判断为对摄像后的图像数据实施的特殊效果的种类是该2个特殊效果处理。然而,可以仅对摄像后的图像数据实施按下第二快门释放开关时的合成系数大的特殊效果处理。在该情况下,当在合成系数都是0.5时按下第二快门释放开关的情况下,可判断为选择了已显示的特殊效果处理。例如,在从特殊效果处理1到特殊效果处理4的切换途中、在合成系数都是0.5时按下第二快门释放开关的情况下,判断为对摄像后的图像数据实施的特殊效果的种类是特殊效果处理1。
在上述的实施方式中,列举将图像处理装置应用于数字照相机的例子作了说明。然而,可以将已拍摄的图像数据存储在存储装置内,作为图像处理装置的计算机从存储装置读入图像数据,实施多个特殊效果处理,按时间序列自动切换多个特殊效果图像数据,并将其显示在监视器上。
为了在背面液晶监视器8上按时间序列进行显示,对图像数据实施的特殊效果处理既可以是数字照相机具有的全部种类的特殊效果处理,也可以是用户指定的种类的特殊效果处理。
实施特殊效果处理的顺序不限于上述(1)~(3)的模式。不过,优选的是,将进行多个特殊效果处理的顺序决定成使多个特殊效果处理需要的时间在预定范围内。