本申请是原案申请号为No.200910171069.X的发明专利申请(申请日:2009年09月02日,发明名称:图像处理装置、摄像装置以及图像处理方法)的分案申请。
具体实施方式
(第1实施方式)
图1是表示包括第1实施方式的图像处理装置的数字照相机的结构的框图。该数字照相机具有摄像部1、A/D转换部2、微型计算机3(以下称为微机3)、RAM4、ROM5、图像处理电路6、操作部7、显示部8、存储器接口9(以下称为I/F9)、以及记录介质10。
摄像部1由单板式彩色摄像元件(以下简称为摄像元件)、摄影光学系统、以及它们的驱动部等构成,摄像元件在构成各个像素的光电二极管的前面配置有多个滤色器。滤色器例如以拜耳排列方式排列。拜耳排列构成为具有沿水平方向交替配置了R像素和G(Gr)像素的行、和交替配置了G(Gb)像素和B像素的行,进而沿垂直方向交替配置这两个行。摄像元件利用构成像素的光电二极管接受由未图示的镜头聚光后的光,并进行光电转换,由此把光的量作为电荷量输出给A/D转换部2。另外,摄像元件可以是CMOS方式的元件也可以是CCD方式的元件。并且,滤色器可以构成为除拜耳排列之外的排列,也可以构成为除R、G、B之外的颜色。
A/D转换部2把从摄像部1输出的电信号转换为数字图像信号(以后称为图像数据)。
微机3是进行数字照相机的整体控制的控制部。例如,微机3进行摄像部1内部的摄影光学系统的焦点控制和摄像元件的曝光控制、把图像数据记录在记录介质10中时的记录控制、在显示部8显示图像数据时的显示控制等。
RAM4是存储部,用于临时存储在A/D转换部2中得到的图像数据、在后面叙述的图像处理电路6中处理后的图像数据等各种数据。在ROM5中存储有数字照相机进行动作所需要的各种参数、与银盐颗粒的粒状感相似的粒状图案的数据等。粒状图案的数据根据已知的方法求出,并被分离成Y(亮度)成分和C(颜色)成分存储在ROM5中。并且,ROM5还存储由微机3执行的各种程序。微机3按照存储在ROM5中的程序,从ROM5读出各种程序所需要的参数并执行各种处理。
图像处理电路6对从RAM4读出的图像数据实施各种图像处理。关于由图像处理电路6进行的图像处理的具体情况将在后面叙述。在图像处理电路6中被实施了图像处理后的图像数据通过I/F9记录在记录介质10中。记录介质10例如是由能够在数字照相机主体上插拔的存储卡构成的记录介质,但不限于此。
操作部7是电源按钮、释放按钮、各种输入键等操作部件。通过由用户操作操作部7的任意一个操作部件,微机3执行对应于用户的操作的各种程序。电源按钮是用于进行该数字照相机的电源的接通/断开指示的操作部件。在电源按钮被按下时,微机3使该数字照相机的电源接通或断开。释放按钮构成为具有第一释放开关和第二释放开关这两档开关。在释放按钮被按下一半、第一释放开关接通时,微机3进行AE处理和AF处理等的摄影准备程序。并且,在释放按钮被彻底按下、第二释放开关接通时,微机3执行摄影程序而进行摄影。操作部7能够设定图像的记录模式和摄影模式。
总线11是将在数字照相机内部产生的各种数据传送给数字照相机内的各个部分的传送路径。总线11与摄像部1、A/D转换部2、微机3、RAM4、ROM5、图像处理电路6、操作部7、显示部8、I/F部9连接。
图2是表示图像处理电路6的具体结构的框图。图像处理电路6具有第1噪声降低部(图中的第1NR部)21、白平衡校正部(图中的WB部)22、同时化处理部23、颜色转换部24、灰度转换部25、YC转换部26、边缘提取部27、边缘强调部28、Y灰度转换部29、Y第2噪声降低部(图中的Y第2NR部)30、C灰度转换部31、C第2噪声降低部(图中的C第2NR部)32、尺寸重设部33、JPEG压缩部34、JPEG解压缩部35、加法部36和37、以及乘法部38和39。
第1噪声降低部21对于在A/D转换部2被转换后存储在RAM4中的图像数据,根据后面叙述的噪声降低增益NR1,进行降低噪声的处理。该噪声降低处理指校正摄像元件的像素缺陷的处理、和降低在摄像时产生的随机噪声的处理。其中,也可以进行校正摄像元件的像素缺陷的处理、和降低在摄像时产生的随机噪声的处理中至少一种处理。
白平衡校正部22进行校正噪声降低后的图像数据的白平衡的处理。
同时化处理部23进行从基于拜耳排列的图像数据同时化为每一个像素由R、G、B的颜色信息构成的图像数据的处理。对于被同时化后的图像数据,在颜色转换部24中进行预定的颜色转换处理,然后在灰度转换部25中进行灰度转换处理(第1灰度转换处理)。
YC转换部26把灰度转换处理后的图像数据转换为Y(亮度)信号和C(颜色)信号。被转换后的Y信号输出给加法部36、C信号输出给加法部37。
边缘提取部27进行从由第1噪声降低部21进行噪声降低处理后的图像数据中提取边缘的处理。边缘强调部28进行向由边缘提取部27提取的边缘的数据乘以预定的增益的边缘强调处理。
乘法部38向存储在ROM5中的粒状图案的Y成分数据乘以后面叙述的增益GRN_Y,并输出给加法部36。加法部36向Y信号加上从边缘强调部28输入的边缘数据、和从乘法部38输入的粒状图案的Y成分数据。Y信号在摄影时和RAW数据编辑时从YC转换部26输入,在JPEG压缩数据编辑时从RAM4输入。从加法部36输出的Y信号,在Y灰度转换部29进行后面叙述的灰度转换处理(第2灰度转换处理)后,在Y第2噪声降低部30中进行降低噪声的处理。
乘法部39向存储在ROM5中的粒状图案的C成分数据乘以后面叙述的增益GRN_C,并输出给加法部37。加法部37向C信号加上从乘法部39输入的粒状图案的C成分数据。C信号在摄影时和RAW数据编辑时从YC转换部26输入,在JPEG压缩数据编辑时从RAM4输入。从加法部37输出的C信号,在C灰度转换部31进行后面叙述的灰度转换处理(第2灰度转换处理)后,在C第2噪声降低部32中进行降低噪声的处理。
尺寸重设部33根据记录时的图像尺寸,对噪声降低处理后的Y信号和C信号重设尺寸。JPEG压缩部34对被重设尺寸后的Y信号和C信号进行JPEG压缩。JPEG压缩后的数据通过I/F9记录在记录介质10中。JPEG解压缩部35读出记录在记录介质10中的JPEG压缩数据,并进行恢复为压缩前的状态的解压缩处理。
=摄影时的处理流程=
图3A和图3B是表示利用包括第1实施方式的图像处理装置的数字照相机摄影时的处理流程的流程图。在由用户将释放按钮接通后,开始步骤S10的处理。
在步骤S10中执行公知的测光处理和测距处理,然后在步骤S20中执行公知的曝光控制和焦点控制。在步骤S30中,由摄像部1执行摄像处理。在步骤S40中,在由摄像部1执行摄像处理后,把通过在A/D转换部2进行A/D转换处理得到的图像数据临时存储在RAM4中。
在步骤S50中,判定图像的记录形式是JPEG形式还是RAW形式。图像的记录形式可以在摄影之前由用户操作操作部7来设定。在判定为图像的记录形式是JPEG形式时,转入步骤S60,在判定为是RAW形式时,转入图3B的步骤S250。
在步骤S60中,判定图像的记录模式是银盐风格模式还是普通模式。银盐风格模式是指,为了获得与银盐照片相同的视觉效果,把与银盐颗粒的粒状感相似的粒状图案叠加在图像数据上的模式。图像的记录模式可以在摄影之前由用户操作操作部7来设定。在判定为图像的记录模式是普通模式时,转入步骤S70。
在步骤S70中,计算普通模式下的噪声降低增益NR1。图4是表示普通模式下的各种增益、摄像尺寸和图像尺寸的一例的图。各种增益包括:在第1噪声降低部21进行噪声降低处理时使用的增益NR1;与粒状图案的Y成分相乘的增益GRN_Y;与粒状图案的C成分相乘的增益GRN_C;在Y第2噪声降低部30进行噪声降低处理时使用的增益NR2_Y;在C第2噪声降低部32进行噪声降低处理时使用的增益NR2_C。
各种增益根据在摄影时设定的ISO灵敏度确定。例如,在ISO灵敏度为800时,增益NR1为4、增益NR2_Y为2、增益NR2_C为2。但是,在普通模式时,由于不进行向图像数据叠加粒状图案的处理,所以增益GRN_Y、GRN_C的栏为空白。另外,也可以把增益GRN_Y、GRN_C分别设为0,进行叠加粒状图案的处理。
对应于各个ISO灵敏度的摄像噪声是把ISO灵敏度100时的摄像噪声作为基准,值越小,表示噪声越大。即,ISO灵敏度越大,摄像噪声越大。同样,图像噪声也是把ISO灵敏度100时的图像噪声作为基准,值越小,表示噪声越大。因此,ISO灵敏度越大,图像噪声也越大。
在ROM5中存储有图4所示的、用于确定对应于各个ISO灵敏度的各种增益的数据表,所以读出该数据表并计算对应于摄影时的ISO灵敏度的增益NR1。另外,增益NR1的值越大,噪声降低处理时的噪声降低效果越大。
另一方面,在步骤S60中,在判定为图像的记录模式是银盐风格模式时,转入步骤S80。在步骤S80中,计算银盐风格模式下的噪声降低增益NR1。图5是表示银盐风格模式下的各种增益、摄像尺寸和图像尺寸的一例的图。在图5中,各种增益、摄像尺寸和图像尺寸的观察方法与图4相同。
在银盐风格模式时,与ISO灵敏度无关,为了使最终得到的图像数据上的粒状感保持固定,根据对应于ISO灵敏度的摄像噪声的放大,控制合成的粒状图案的强度(增益GRN_Y、GRN_C)和粒状图案合成后的噪声降低强度(NR2_Y、NR2_C)。在此,ISO灵敏度越高,越减小增益GRN_Y、GRN_C,并越减弱合成到图像数据上的粒状图案的强度。如图5所示,附加粒状图案后的图像数据的图像噪声固定,与ISO灵敏度无关。
并且,为了保持叠加在图像数据上的粒状图案的粒状感,与普通模式相比,把增益NR2_Y、NR2_C设定得比较弱。另外,关于粒状图案的强度,与亮度(Y)相比相对地减弱色差(C),使得不出现不必要的颜色噪声。
在ROM5中存储有图5所示的、用于确定对应于ISO灵敏度的各种增益的数据表,所以读出该数据表来计算对应于摄影时的ISO灵敏度的增益NR1。
在步骤S90中,在第1噪声降低部21中读出存储在RAM4中的图像数据,使用在步骤S70或步骤S80中计算出的噪声降低增益NR1,进行降低噪声的处理。
在步骤S100中,在白平衡校正部22中,对噪声降低处理后的图像数据进行校正白平衡的处理。在步骤S110中,在同时化处理部23中进行同时化处理,在步骤S120中,在颜色转换部24中进行颜色转换处理。
在步骤S130中,在灰度转换部25中进行灰度转换处理。在此,考虑到显示部8的伽玛特性,进行使暗淡部分伸长并压缩明亮部分的灰度转换处理。图7是表示在步骤S130中进行灰度转换处理时的灰度转换特性的一例的图。在进行灰度转换处理后,转入图3B的步骤S140。
在步骤S140中,在YC转换部26中,把灰度转换处理后的图像数据转换为Y(亮度)信号和C(颜色)信号。
在步骤S150中,判定图像的记录模式是银盐风格模式还是普通模式。该判定与步骤S60的判定相同。在判定为图像的记录模式是普通模式时转入步骤S210,在判定为是银盐风格模式时转入步骤S160。
在步骤S160中,计算银盐风格模式下的增益GRN_Y、GRN_C。在计算增益GRN_Y、GRN_C时,从ROM5读出上述图5所示的数据表,计算对应于摄影时的ISO灵敏度的增益GRN_Y、GRN_C。
在步骤S170中,在乘法部38中,从ROM5读出粒状图案的Y成分数据,向所读出的粒状图案的Y成分数据乘以在步骤S160中计算出的增益GRN_Y。并且,在乘法部39中,从ROM5读出粒状图案的C成分数据,向所读出的粒状图案的C成分数据乘以在步骤S160中计算出的增益GRN_C。
在步骤S180中,在加法部36中,向在YC转换部26转换后的Y信号加上从边缘强调部28输入的边缘数据和从乘法部38输入的粒状图案的Y成分数据。并且,在加法部37中,向在YC转换部26转换后的C信号加上从乘法部39输入的粒状图案的C成分数据。
在步骤S190中,在Y灰度转换部29中,从ROM5读出Y信号用的灰度转换表,同时在C灰度转换部31中,从ROM5读出C信号用的灰度转换表。
图8是表示进行Y信号的灰度转换处理时的灰度转换特性的一例的图。该灰度转换特性是指强调图像数据的对比度的特性,即压缩暗淡部分和明亮部分,使中间风格伸长的特性。并且,图9是表示进行C信号的灰度转换处理时的灰度转换特性的一例的图。在ROM5中存储有图8所示的灰度转换特性的灰度转换表和图9所示的灰度转换特性的灰度转换表。在从ROM5读出灰度转换表后,转入步骤S200。
在步骤S200中,在Y灰度转换部29中,使用在步骤S190中读取的Y信号用的灰度转换表,对从加法部36输入的Y信号进行灰度转换处理,同时在C灰度转换部31中,使用在步骤S190中读取的C信号用的灰度转换表,对从加法部37输入的C信号进行灰度转换处理。
在步骤S210中,在Y第2噪声降低部30中,对灰度转换处理后的Y信号进行降低噪声的处理,同时在C第2噪声降低部32中,对灰度转换处理后的C信号进行降低噪声的处理。在噪声降低处理中,使用对应于普通模式或银盐风格模式的增益NR2_Y、NR2_C。例如,在步骤S150的判定中,在判定为是普通模式时,从ROM5读出图4所示的数据表,求出对应于摄影时的ISO灵敏度的增益NR2_Y、NR2_C。并且,在步骤S150的判定中,在判定为是银盐风格模式时,从ROM5读出图5所示的数据表,求出对应于摄影时的ISO灵敏度的增益NR2_Y、NR2_C。Y第2噪声降低部30使用增益NR2_Y进行Y信号的噪声降低处理,C第2噪声降低部32使用增益NR2_C进行C信号的噪声降低处理。
在步骤S220中,在尺寸重设部33中,根据记录时的图像尺寸,对噪声降低处理后的Y信号和C信号重设尺寸。在步骤S230中,在JPEG压缩部34中,对被重设尺寸后的Y信号和C信号进行JPEG压缩。在步骤S240中,把进行JPEG压缩后的Y信号和C信号存储在RAM4中。
在步骤S250中,生成图像的记录模式和曝光条件等摄影信息作为文件标题信息。在步骤S260中,把所生成的文件标题信息附加到被JPEG压缩并临时存储在RAM4中的数据上,并通过I/F9记录在记录介质10中。
=RAW数据编辑时的处理流程=
在图3A所示的表示摄影时的处理流程的流程图中,当在步骤S50中判定为图像的记录形式是RAW形式时,不进行步骤S60以后的图像处理,而是作为RAW数据记录在记录介质10中。以下,说明读出记录在记录介质10中的RAW数据并进行图像处理时的处理。
图10是表示RAW数据的编辑时的处理流程的流程图。在图10的流程图中,关于进行与在图3A的流程图中进行的处理相同的处理的步骤,标注相同的步骤序号并省略具体说明。并且,图10的步骤S130以后的处理与图3B所示的流程图的处理相同,所以省略图示和说明。
在步骤S1000中,通过I/F9从记录介质10中读出RAW形式的图像数据。在步骤S1010中,从附加到图像数据上的文件标题信息中读出摄影信息。在步骤S40中,把所读出的图像数据和摄影信息存储在RAM4中。
步骤S60以后的处理与图3A和图3B所示的流程图的处理相同。
=JPEG压缩数据编辑时的处理=
在图3A和图3B所示的表示摄影时的处理流程的流程图中,通过步骤S60和步骤S150的判定而判定为图像的记录模式是普通模式时,不在图像数据上叠加与银盐颗粒的粒状感相似的粒状图案。以下,说明读出在摄影时以普通模式记录的图像数据,并叠加与银盐颗粒的粒状感相似的粒状图案,并记录在记录介质10中的处理。
图11是表示JPEG压缩数据的编辑时的处理流程的流程图。在图11的流程图中,关于进行与在图3A、图3B和图10的流程图中进行的处理相同的处理的步骤,标注相同的步骤序号并省略具体说明。
在步骤S1100中,通过I/F9从记录介质10中读出被JPEG压缩后的图像数据。
在步骤S1110中,在JPEG解压缩部35中,进行使在步骤S1100中读出的图像数据恢复为JPEG压缩前的状态的解压缩处理。进行了解压缩处理后的图像数据和在步骤S1010中读出的摄影信息,在步骤S40中被存储在RAM4中。
在步骤S1120中,在显示部8显示存储在RAM4中的图像数据。因此,用户能够确认叠加粒状图案的图像。
在步骤S160A中,计算JPEG压缩数据编辑时的银盐风格模式下的增益GRN_Y、GRN_C。图6是表示在JPEG压缩数据编辑时的处理中使用的数据表的一例的图。在图6中,各种增益、摄像尺寸和图像尺寸的观察方法与图4、图5相同。
在JPEG压缩数据编辑时,为了获得与在银盐风格模式下的摄影处理时得到的画质相同的画质,考虑普通模式下的摄影时的ISO灵敏度和增益NR1,控制粒状图案的强度(GRN_Y、GRN_C)和合成后的噪声降低强度(NR2_Y、NR2_C)。
在ROM5中存储有图6所示的、用于确定对应于ISO灵敏度的各种增益的数据表,所以读出该数据表并计算对应于摄影时的ISO灵敏度的增益GRN_Y、GRN_C。
在步骤S210A中,在Y第2噪声降低部30中,对灰度转换处理后的Y信号进行降低噪声的处理,同时在C第2噪声降低部32中,对灰度转换处理后的C信号进行降低噪声的处理。在此,从ROM5读出图6所示的数据表,求出对应于摄影时的ISO灵敏度的增益NR2_Y、NR2_C。Y第2噪声降低部30使用所求出的增益NR2_Y进行Y信号的噪声降低处理,C第2噪声降低部32使用所求出的增益NR2_C进行C信号的噪声降低处理。
以上,根据第1实施方式的图像处理装置,在对图像数据进行同时化处理后,进行附加预定的粒状图案的处理。因此,能够防止由于在附加了粒状图案后进行同时化处理产生的下述问题,即,银盐颗粒独特的细小的粒状感消失,或者把粒状图案错误识别为图像的构造,导致产生图像本来没有的几何图案,所以能够适当地再现银盐照片的粒状感。
另外,根据第1实施方式的图像处理装置,对进行了同时化处理的图像数据进行第1灰度转换处理,对灰度转换处理后的图像数据附加预定的粒状图案。因此,能够防止由于在附加粒状图案后进行灰度转换处理,使得暗淡部分的粒状图案被强调、粒状感被破坏。
另外,根据第1实施方式的图像处理装置,对附加了粒状图案的图像数据进行与第1灰度转换处理不同的第2灰度转换处理,所以能够同时实现图像本来的灰度特性和对应于灰度等级的粒状感的控制。由于把该第2灰度转换处理作为强调图像数据的对比度的灰度转换处理,所以能够抑制图像中最亮处和最暗处的粒状感,强调中间风格的粒状感,表现银盐照片具有的独特的粒状感。
并且,根据第1实施方式的图像处理装置,从被附加预定的粒状图案前的图像数据中提取在边缘强调处理中使用的边缘。如果进行从附加了粒状图案后的图像数据中提取边缘的处理,则有可能把不是边缘的部分错误地作为边缘提取出来,但通过从附加粒状图案前的图像数据中提取边缘,能够防止边缘的错误提取。
并且,根据第1实施方式的图像处理装置,由于调整附加到图像数据上的粒状图案的强度,所以能够附加预期的粒状图案。尤其是根据摄影时的摄影灵敏度来调整粒状图案的强度,所以能够考虑根据摄影灵敏度而产生的噪声成分来附加合适的粒状图案。
另外,根据第1实施方式的图像处理装置,对由摄像装置得到的图像数据进行预定的噪声降低处理,对噪声降低处理后的图像数据进行同时化处理,然后附加预定的粒状图案,所述摄像装置具有配置了多个滤色器的摄像元件。因此,能够适当地再现银盐照片的粒状感。
并且,根据第1实施方式的图像处理装置,根据利用摄像装置摄影时的摄影灵敏度,控制噪声降低处理的程度和附加到图像数据上的预定的粒状图案的强度,所以能够考虑根据摄影灵敏度而产生的噪声成分来附加合适的粒状图案。尤其是在摄影时的摄影灵敏度不同时,控制噪声降低处理的程度和预定的粒状图案的强度,以使附加到图像数据上的预定的粒状图案的粒状感大致相同,所以既能保持高分辨率又能获得稳定性良好的粒状感,而且与摄影灵敏度无关。
(第2实施方式)
图12是表示适用了第2实施方式的图像处理装置的数字照相机的结构的框图。图12所示的数字照相机由照相机主体100和更换式镜头200构成。
更换式镜头200具有镜头1010、闪存1011、微机1012、驱动器1013、光圈1014。更换式镜头200通过I/F999与照相机主体100连接并能够通信。
照相机主体100具有机械快门101、摄像元件102、模拟处理部103、模拟/数字转换部104(以下称为A/D转换部104)、总线105、SDRAM106、图像处理部107、AE处理部108、AF处理部109、JPEG处理部110、存储器接口111(以下称为存储器I/F111)、记录介质112、LCD驱动器113、LCD114、微机115、操作部116、闪存117、放大/缩小部118、以及图像加法部119。
镜头1010使被摄体的光学像聚光于摄像元件102。镜头1010可以是单焦点镜头,也可以变焦镜头。
微机1012与I/F999、闪存1011和驱动器1013连接,进行存储在闪存1011中的信息的读取/写入,同时控制驱动器1013。微机1012还能够通过I/F999与微机115通信,向微机115发送各种信息,并从微机115接收光圈值等信息。
驱动器1013接受微机1012的指示,驱动镜头1010进行焦点距离和聚焦位置的变更,同时驱动光圈1014。光圈1014设置在镜头1010的附近,调节被摄体的光量。
机械快门101接受微机115的指示并驱动,控制摄像元件102将被摄体曝光的时间。
摄像元件102是在构成各个像素的光电二极管的前面配置有拜耳排列的滤色器的摄像元件。拜耳排列构成为具有沿水平方向交替配置了R像素和G(Gr)像素的行、和交替配置了G(Gb)像素和B像素的行,进而沿垂直方向交替配置这两个行。该摄像元件102利用构成像素的光电二极管接受由镜头1010聚光后的光,并进行光电转换,由此把光的量作为电荷量输出给模拟处理部103。另外,摄像元件102可以是CMOS方式的元件也可以是CCD方式的元件。
模拟处理部103对于从摄像元件102读出的电信号(模拟图像信号),在降低重设噪声等后进行波形整形,还进行增益提高以达到目标明亮度。A/D转换部104把从模拟处理部103输出的模拟图像信号转换为数字图像信号(以后称为图像数据)。
总线105是将在数字照相机内部产生的各种数据传送给数字照相机内的各个部分的传送路径。总线105与A/D转换部104、SDRAM106、图像处理部107、AE处理部108、AF处理部109、JPEG处理部110、存储器I/F111、LCD驱动器113、微机115、放大/缩小部118以及图像加法部119连接。
从A/D转换部104输出的图像数据通过总线105暂且存储在SDRAM106中。SDRAM106是存储部,用于临时存储在A/D转换部104得到的图像数据、在图像处理部107、JPEG处理部110、放大/缩小部118以及图像加法部119中处理后的图像数据等各种数据。
图像处理部107包括光学黑(optical black)减法部1071(以下称为OB减法部)、白平衡校正部1072(以下称为WB校正部1072)、同时化处理部1073、伽玛/颜色再现处理部1074、彩色矩阵运算部1075、边缘强调处理部1076、以及噪声降低处理部1077(以下称为NR处理部1077),对从SDRAM106读出的图像数据实施各种图像处理。
OB减法部1071对图像数据进行光学黑减法处理(以下称为OB减法处理)。OB减法处理是指从构成图像数据的各个像素的像素值中减去起因于摄像元件102的暗电流等的光学黑值(以下称为OB值)的处理。
WB校正部1072进行向图像数据乘以对应于白平衡模式的白平衡增益,并校正白平衡的处理。白平衡模式可以由用户根据晴天、阴天、电灯、荧光灯等光源设定。
同时化处理部1073进行从基于拜耳排列的图像数据同时化为每一个像素由R、G、B的颜色信息构成的图像数据的处理。伽玛/颜色再现处理部1074进行伽玛校正处理和改变图像的色调的颜色再现处理。
彩色矩阵运算部1075进行向图像数据乘以彩色矩阵的线性转换,并校正图像数据的颜色。边缘强调处理部1076从图像数据中提取边缘,向所提取的边缘的数据乘以预定的增益,然后加上到图像数据上,由此进行强调图像数据的边缘的处理。NR处理部1077通过使用了降低高频的滤波器的处理、和核化处理等,来进行降低噪声的处理。
图像处理部107根据需要选择在其内部设置的各个部分1071~1077来进行各个处理。由图像处理部107进行了各个处理后的图像数据被存储在SDRAM106中。
AE处理部108根据图像数据计算被摄体亮度。用于计算被摄体亮度的数据也可以是专用的测光传感器的输出。AF处理部109从图像数据中取出高频成分的信号,通过AF(Auto Focus:自动聚焦)累计处理,获取对焦评价值。
放大/缩小部118进行把存储在SDRAM106中的图像数据的尺寸缩小或放大为所指定的尺寸的处理。放大/缩小部118在缩小图像数据时,使用低通滤波器进行在降低高频成分后减少图像的像素数的处理,以便不会产生折返畸变。
图像加法部119将图像处理后的图像数据和与银盐颗粒的粒状感相似的粒状图案的图像数据相加,输出叠加了粒状图案的图像数据。叠加了粒状图案的图像数据被存储在SDRAM106中。另外,在与粒状图案的图像数据相加之前的图像处理后的图像数据中,不仅包含在放大/缩小部118中没有进行缩小处理的图像数据,而且包含进行了缩小处理的图像数据。
JPEG处理部110在记录图像数据时,从SDRAM106读出图像数据,按照JPEG压缩方式压缩所读出的图像数据,把压缩后的JPEG图像数据暂且存储在SDRAM106中。微机115对存储在SDRAM106中的JPEG图像数据附加构成JPEG文件所需要的JPEG标题,生成JPEG文件,把所生成的JPEG文件通过存储器I/F111记录在记录介质112中。记录介质112例如是由能够在照相机主体100上插拔的存储卡构成的记录介质,但不限于此。
LCD驱动器113使LCD114显示图像。图像的显示包括短时间显示刚刚摄影到的图像数据的REC取景(REC View)显示、记录在记录介质112中的JPEG文件的再现显示、和实时取景显示等的动态图像显示。在再现记录在记录介质112中的JPEG文件时,JPEG处理部110读出记录在记录介质112中的JPEG文件并实施解压缩处理,然后把解压缩后的图像数据暂且存储在SDRAM106中。LCD驱动器113从SDRAM106读出被解压缩后的图像数据,把所读出的图像数据转换为影像信号,然后输出给LCD114,进行图像的显示。
具有作为控制部的功能的微机115总括控制数字照相机主体100的各种程序。在微机115上连接有操作部116和闪存117。
操作部116是电源按钮、释放按钮、各种输入键等操作部件。通过由用户操作操作部116的任意一个操作部件,微机115执行对应于用户操作的各种程序。电源按钮是用于进行该数字照相机的电源的接通/断开指示的操作部件。在电源按钮被按下时,微机115使该数字照相机的电源接通或断开。释放按钮构成为具有第一释放开关和第二释放开关这两档开关。在释放按钮被按下一半、第一释放开关接通时,微机115进行AE处理和AF处理等的摄影准备程序。并且,在释放按钮被彻底按下、第二释放开关接通时,微机115执行摄影程序而进行摄影。
闪存117存储对应于白平衡模式的白平衡增益和低通滤波器系数等数字照相机进行动作所需要的各种参数、与银盐颗粒的粒状感相似的粒状图案的图像数据、和用于特定数字照相机的制造编号等。并且,闪存117还存储由微机115执行的各种程序。微机115按照存储在闪存117中的程序,从闪存117读取各种程序所需要的参数,并执行各个处理。
图13是表示利用适用了第2实施方式的图像处理装置的数字照相机进行的主处理流程的流程图。在由用户按下电源按钮、数字照相机的电源接通时,微机115开始步骤S1301的处理。
在步骤S1301中,判定是否进行摄影、即释放按钮是否被按下。在判定为释放按钮被按下时,转入步骤S1302,进行静态图像的摄影/记录动作。关于静态图像的摄影/记录动作,将在后面使用图14A和图14B所示的流程图说明。
在步骤S1301中判定为释放按钮没有被按下时,转入步骤S1303。在步骤S1303中,判定是否有图像数据的记录尺寸的变更指示。用户通过操作操作部116的按钮,能够变更(指定)图像数据的记录尺寸。记录尺寸例如可以从4032×3024(完整尺寸)、2560×1920、1280×960、640×480的像素尺寸中选择。在判定为用户进行了记录尺寸的变更指示时,转入步骤S1304。
在步骤S1304中,进行向对应于用户指示的记录尺寸的变更/设定。
另一方面,当在步骤S1303中判定为没有记录尺寸的变更指示时,转入步骤S1305。在步骤S1305中进行实时取景显示。关于实时取景显示的具体处理,将在后面使用图15所示的流程图说明。
在步骤S1306中,判定数字照相机的电源是否被断开。在判定为电源没有被断开时,返回步骤S1301。另一方面,在判定为用户按下了电源按钮、电源被断开时,结束流程图的处理。
另外,在上述图13的流程图中,说明了在电源被接通后,在释放按钮没有被按下、也没有图像数据的记录尺寸的变更指示时,进行实时取景显示的情况,但也可以在用户进行了实时取景显示的指示时进行实时取景显示。
图14A和图14B是表示在图13所示的流程图的步骤S1302中进行的静态图像的摄影/记录动作的具体处理内容的流程图。从步骤S1401到步骤S1403的处理是利用第一释放开关进行的处理,步骤S1404以后的处理是利用第二释放开关进行的处理。
在步骤S1401中,在AF处理部109中计算对焦评价值。微机115根据对焦评价值,向驱动器1013发出使之驱动镜头1010的指令。
在步骤S1402中,在AE处理部108中计算被摄体亮度。在步骤S1403中,根据被摄体亮度并参照存储在闪存117中的光圈值和快门速度确定表,计算光圈和快门速度。
在步骤S1404中,判定用户是否彻底按下释放开关、第二释放开关是否被接通。在判定为第二释放开关没有被接通时,转入步骤S1405。在步骤S1405中,判定释放按钮是否恢复。在判定为释放按钮已从按下一半的状态恢复时,结束摄影/记录动作,在判定为释放按钮没有恢复时,返回步骤S1404。
另一方面,当在步骤S1404中判定为第二释放开关被接通时,转入步骤S1406。在步骤S1406中进行摄影。关于摄影,与以往使用的方法相同。驱动器1013根据微机1012的指示,驱动光圈1014使之成为所设定的光圈值。并且,根据计算出的快门速度,控制机械快门101进行摄影,得到图像数据(第1图像数据)。
在步骤S1407中,由OB减法部1071实施从通过摄影得到的图像数据中减去在摄像时得到的OB值的OB减法处理。
在步骤S1408中,由WB校正部1072进行向被实施了OB减法处理的图像数据乘以对应于白平衡模式的白平衡增益,并校正白平衡的处理。另外,白平衡模式可以通过由用户操作操作部116中包含的输入键,每当摄影一次时设定一次。微机115根据用户对操作部116的操作,设定白平衡模式。并且,在数字照相机具有自动调整白平衡的自动白平衡功能时,微机115自动设定与摄影时的光源对应的白平衡模式。
在步骤S1409中,由同时化处理部1073对被实施了白平衡校正处理的图像数据实施同时化处理。在步骤S1410中,由彩色矩阵运算部1075进行向被实施了同时化处理的图像数据乘以对应于白平衡模式的彩色矩阵的彩色矩阵运算。
在步骤S1411中,由伽玛/颜色再现处理部1074对进行了彩色矩阵运算的图像数据进行伽玛校正处理和改变图像的色调的颜色再现处理。
在步骤S1412中,由边缘强调处理部1076对进行了伽玛校正处理和颜色再现处理的图像数据进行边缘强调处理。
在步骤S1413中,由NR处理部1077对进行了边缘强调处理的图像数据进行降低噪声的处理。噪声降低处理是基于核化参数的核化处理、或者使用根据噪声降低参数(以下称为NR参数)降低高频的滤波器的处理。
在进行步骤S1413的处理后,转入图14B的步骤S1414。在步骤S1414中,由放大/缩小部118从SDRAM106读出噪声降低处理后的图像数据(第2图像数据),进行把所读出的图像数据(完整尺寸)的数据尺寸缩小为REC取景显示尺寸的处理。REC取景显示尺寸例如是640×480的像素尺寸。
在步骤S1415中,判定是否已设定为对图像数据附加粒状图案的图像数据的粒状图案附加模式。用户能够根据操作部116的操作预先进行粒状图案附加模式的设定。在判定为没有设定为粒状图案附加模式时,转入步骤S1417,在判定为已设定为粒状图案附加模式时,转入步骤S1416。
在步骤S1416中,由图像加法部119进行以下处理,即向在步骤S1414中被缩小的图像数据加上存储在闪存117中的粒状图案的图像数据。然后,由伽玛/颜色再现处理部1074进行对相加后的图像数据强调图像数据的对比度的灰度转换处理。通过该灰度转换处理,能够抑制图像中最亮处和最暗处的粒状感,同时强调中间风格的粒状感,表现银盐照片具有的独特的粒状感。
在步骤S1417中,进行将图像数据在LCD114上显示极短时间的REC取景显示。进行REC取景显示的图像数据在进行了步骤S1416的处理时是加上了粒状图案的图像数据,在没有进行步骤S1416的处理时是没有加上粒状图案的图像数据。
在步骤S1418中,判定所设定的记录尺寸是否是缩小尺寸。在此,如果所设定的记录尺寸是完整尺寸,则判定为不是缩小尺寸,在设定了除此之外的记录尺寸时,判定为是缩小尺寸。在判定为所设定的记录尺寸不是缩小尺寸时,转入步骤S1420,在判定为是缩小尺寸时,转入步骤S1419。
在步骤S1419中,由放大/缩小部118进行以下处理,即读出在步骤S1413中进行了噪声降低处理后被存储在SDRAM106中的完整尺寸的图像数据,把图像数据的数据尺寸缩小为记录尺寸。记录尺寸是在图13所示的流程图的步骤S1304中变更后的数据尺寸。
在步骤S1420中,判定是否被设定为粒状图案附加模式。在判定为没有设定为粒状图案附加模式时,转入步骤S1422,在判定为已设定为粒状图案附加模式时,转入步骤S1421。
在步骤S1421中,由图像加法部119进行以下处理,即向在步骤S1419中被缩小为记录尺寸的图像数据(第3图像数据)加上存储在闪存117中的粒状图案的图像数据。然后,由伽玛/颜色再现处理部1074对相加后的图像数据进行强调图像数据的对比度的灰度转换处理。通过该灰度转换处理,能够抑制图像中最亮处和最暗处的粒状感,同时强调中间风格的粒状感,表现银盐照片具有的独特的粒状感。
另外,在步骤S1418中,在判定为所设定的记录尺寸不是缩小尺寸后转入步骤S1421时,向在步骤S1413中进行了噪声降低处理的图像数据加上粒状图案的图像数据。该情况时,相加到没有缩小的图像数据上的粒状图案的图像数据、和相加到缩小后的图像数据上的粒状图案的图像数据是相同的数据。
在步骤S1422中,在JPEG处理部110中对图像数据进行JPEG压缩。进行JPEG压缩的图像数据在进行了步骤S1421的处理时是被加上了粒状图案的图像数据,在没有进行步骤S1421的处理时是没有被加上粒状图案的图像数据。在步骤S1423中,生成图像的记录模式和曝光条件等的摄影信息作为文件标题信息,把所生成的文件标题信息附加到被JPEG压缩后的图像数据上,并通过存储器I/F111记录在记录介质112中。
图15是表示在图13所示的流程图的步骤S1305中进行的实时取景显示的具体处理内容的流程图。
在步骤S1501中,在AE处理部108中计算被摄体亮度。在步骤S1502中,根据被摄体亮度并参照存储在闪存117中的光圈值和快门速度确定表,计算光圈和快门速度。
在步骤S1503中进行摄影。该摄影是用于进行实时取景显示的摄影,即所谓利用电子快门的摄影。用于进行实时取景显示的摄影与以往使用的方法相同,所以此处省略具体说明。
在步骤S1504中,由OB减法部1071实施从通过摄影得到的图像数据中减去在摄像时得到的OB值的OB减法处理。在步骤S1505中,由WB校正部1072进行向被实施了OB减法处理的图像数据乘以对应于白平衡模式的白平衡增益,并校正白平衡的处理。
在步骤S1506中,由同时化处理部1073对被实施了白平衡校正处理的图像数据实施同时化处理。在步骤S1507中,由彩色矩阵运算部1075进行向被实施了同时化处理的图像数据乘以对应于白平衡模式的彩色矩阵的彩色矩阵运算。
在步骤S1508中,由伽玛/颜色再现处理部1074对进行了彩色矩阵运算的图像数据进行伽玛校正处理、和改变图像的色调的颜色再现处理。在步骤S1509中,由边缘强调处理部1076对进行了伽玛校正处理和颜色再现处理的图像数据进行边缘强调处理。
在步骤S1510中,由NR处理部1077对进行了边缘强调处理的图像数据进行降低噪声的处理。噪声降低处理是基于核化参数的核化处理、或者使用根据噪声降低参数(以下称为NR参数)降低高频的滤波器的处理。
在步骤S1511中,由放大/缩小部118进行以下处理,即读出在步骤S1510中进行了噪声降低处理后被存储在SDRAM106中的图像数据,把图像数据的数据尺寸缩小为实时取景显示图像尺寸。实时取景显示图像尺寸例如是640×480的像素尺寸。
在步骤S1512中,判定是否被设定为粒状图案附加模式。在判定为没有设定为粒状图案附加模式时,转入步骤S1514,在判定为已设定为粒状图案附加模式时,转入步骤S1513。
在步骤S1513中,由图像加法部119进行以下处理,即向在步骤S1511中被缩小的图像数据加上存储在闪存117中的粒状图案的图像数据。然后,由伽玛/颜色再现处理部1074对相加后的图像数据进行强调图像数据的对比度的灰度转换处理。通过该灰度转换处理,能够抑制图像中最亮处和最暗处的粒状感,同时强调中间风格的粒状感,表现银盐照片具有的独特的粒状感。
在步骤S1514中,由LCD驱动器113将图像数据显示在LCD114上。在此,在进行了步骤S1513的处理时,进行被加上了粒状图案的图像数据的显示,在没有进行步骤S1513的处理时,进行没有被加上粒状图案的图像数据的显示。通过反复进行从步骤S1501到步骤S1514的处理,能够持续进行实时取景显示。
以上,根据第2实施方式的图像处理装置,提供一种对图像数据附加预定的粒状图案的图像处理装置,在生成像素数比较少的缩小图像数据时,对缩小图像数据附加预定的粒状图案,所以能够获得被叠加了充分具有粒状感的粒状图案的缩小图像数据。即,像现有技术那样在缩小附加了粒状图案的图像数据来生成缩小图像数据时,在缩小时有时会导致粒状图案被破坏,但根据第2实施方式的图像处理装置,不存在粒状图案被破坏那样的情况。
(第3实施方式)
在第2实施方式的图像处理装置中,在将图像数据缩小后附加预定的粒状图案,由此生成保持粒状感的缩小图像数据。在第3实施方式的图像处理装置中,以与缩小图像时的缩小率对应的放大率将粒状图案放大,将缩小前的图像数据和放大后的粒状图案相加,然后缩小图像数据,由此生成附加了粒状图案的缩小图像数据。
利用适用了第3实施方式的图像处理装置的数字照相机进行的主处理流程与图13所示的处理流程相同。其中,在步骤S1302中进行的静态图像的摄影/记录处理、和在步骤S1305中进行的实时取景显示处理的内容不同,以下说明这些处理内容。
首先,说明在第3实施方式的图像处理装置中进行的静态图像的摄影/记录处理。在由第3实施方式的图像处理装置进行的静态图像的摄影/记录处理中,相对于第2实施方式,从图14A所示的步骤S1401到步骤S1413的处理相同,在步骤S1413以后进行的处理不同。因此,下面说明在步骤S1413以后进行的处理。
图16是表示在第3实施方式的图像处理装置中进行的静态图像的摄影/记录动作的处理中、在图14A的步骤S1413之后进行的处理内容的流程图。在进行了步骤S1413的处理之后转入的步骤S1601中,判定是否被设定为粒状图案附加模式。在判定为没有设定为粒状图案附加模式时,转入步骤S1604,在判定为已设定为粒状图案附加模式时,转入步骤S1602。
在步骤S1602中,首先,把将摄影得到的完整尺寸的图像数据缩小为记录尺寸的图像数据时的缩小率的倒数设定为放大率。并且,以所设定的放大率将存储在闪存117中的粒状图案的图像数据放大,由此生成放大粒状图案图像数据。例如,在缩小率为1/2时,把放大率设定为2倍,把存储在闪存117中的粒状图案的图像数据放大为2倍。该处理可以由微机115进行,也可以另外设置放大粒状图案数据生成部,由放大粒状图案数据生成部进行。
在步骤S1603中,由放大/缩小部118进行以下处理,即读出在步骤S1413中进行了噪声降低处理后被存储在SDRAM106中的完整尺寸的图像数据,并与在步骤S1602中生成的放大粒状图案图像数据相加。然后,由伽玛/颜色再现处理部1074对相加后的图像数据进行强调图像数据的对比度的灰度转换处理。通过该灰度转换处理,能够抑制图像中最亮处和最暗处的粒状感,同时强调中间风格的粒状感,表现银盐照片具有的独特的粒状感。
在步骤S1604中,由放大/缩小部118进行以下处理,即从SDRAM106中读出与放大粒状图案图像数据相加后的图像数据,把所读出的图像数据(完整尺寸)的数据尺寸缩小为REC取景显示尺寸。其中,在没有进行步骤S1602和S1603的处理时,从SDRAM106中读出没有被加上放大粒状图案图像数据的图像数据,把所读出的图像数据的数据尺寸缩小为REC取景显示尺寸。
在步骤S1605中,进行将在步骤S1604中被缩小的图像数据在LCD114上显示极短时间的REC取景显示。
在步骤S1606中,判定所设定的记录尺寸是否是缩小尺寸。在判定为所设定的记录尺寸不是缩小尺寸时,转入步骤S1608,在判定为是缩小尺寸时,转入步骤S1607。
在步骤S1607中,由放大/缩小部118进行以下处理,即读出存储在SDRAM106中的完整尺寸的图像数据,把数据尺寸缩小为记录尺寸。缩小对象的图像数据在进行了步骤S1603的处理时是与放大粒状图案图像数据相加后的图像数据,在没有进行步骤S1603的处理时是没有与放大粒状图案图像数据相加的图像数据。
在步骤S1608中,在JPEG处理部110中对图像数据进行JPEG压缩。进行JPEG压缩的图像数据在进行了步骤S1607的处理时是被缩小的图像数据,在没有进行步骤S1607的处理时是没有被缩小的图像数据。在步骤S1609中,生成图像的记录模式和曝光条件等的摄影信息作为文件标题信息,把所生成的文件标题信息附加到被JPEG压缩后的图像数据上,并通过存储器I/F111记录在记录介质112中。
下面,说明在第3实施方式的图像处理装置中进行的实时取景显示处理。
图17是表示在第3实施方式的图像处理装置中进行的实时取景显示处理的具体处理内容的流程图。对于进行和图15所示的流程图的处理相同的处理的步骤标注相同的标号,并省略具体说明。
从步骤S1501到步骤S1510的处理与图15所示的流程图的处理相同。在承接步骤S1510的步骤S1701中,判定是否被设定为粒状图案附加模式。在判定为没有设定为粒状图案附加模式时,转入步骤S1704,在判定为已设定为粒状图案附加模式时,转入步骤S1702。
在步骤S1702中,把将摄影得到的完整尺寸的图像数据缩小为记录尺寸的图像数据时的缩小率的倒数设定为放大率,以所设定的放大率将存储在闪存117中的粒状图案的图像数据放大,由此生成放大粒状图案图像数据。该处理可以由微机115进行,也可以另外设置放大粒状图案数据生成部,由放大粒状图案数据生成部进行。
在步骤S1703中,由放大/缩小部118进行以下处理,即读出在步骤S1510中进行了噪声降低处理后被存储在SDRAM106中的完整尺寸的图像数据,并与在步骤S1702中生成的放大粒状图案图像数据相加。然后,由伽玛/颜色再现处理部1074对相加后的图像数据进行强调图像数据的对比度的灰度转换处理。通过该灰度转换处理,能够抑制图像中最亮处和最暗处的粒状感,同时强调中间风格的粒状感,表现银盐照片具有的独特的粒状感。
在步骤S1704中,由放大/缩小部118进行以下处理,即从SDRAM106中读出与放大粒状图案图像数据相加后的图像数据,把所读出的图像数据的数据尺寸缩小为实时取景显示图像尺寸。其中,在没有进行步骤S1702和S1703的处理时,从SDRAM106中读出没有被加上放大粒状图案图像数据的图像数据,把所读出的图像数据的数据尺寸缩小为实时取景显示图像尺寸。
在步骤S1514中,将在步骤S1704中缩小后的图像数据显示在LCD114上。通过反复进行从步骤S1501到步骤S1514的处理,能够持续进行实时取景显示。
以上,根据第3实施方式的图像处理装置,提供一种以预定的缩小率生成像素数比图像数据少的缩小图像数据的图像处理装置,以与预定的缩小率对应的放大率将粒状图案放大,在向图像数据附加被放大后的粒状图案后,以预定的缩小率缩小。因此,能够获得被叠加了充分具有粒状感的粒状图案的缩小图像数据。
另外,在第2实施方式中,在进行静态图像的摄影/记录处理时,如图14B所示,进行两次加上粒状图案的图像数据的处理,但在第3实施方式中,如图16所示,只进行一次即可,所以能够缩短处理时间。另外,在步骤S1603中,将以缩小为记录尺寸的图像数据时的缩小率的倒数的值即放大率放大后的粒状图案图像数据相加,然后进行REC取景显示。在REC取景显示尺寸与记录尺寸不同时,放大粒状图案图像数据不会成为与REC取景显示尺寸对应的数据尺寸,但由于REC取景显示只进行极短时间,所以在显示时成为问题的可能性比较小。
另外,在上述的各个实施方式的说明中,列举说明了把图像处理装置适用于数字照相机的示例,但也可以构成为由计算机执行用于实现在实施方式中说明的处理的程序。该情况时,计算机具有CPU、RAM等主存储装置、存储了用于实现在各个实施方式中说明的处理的全部或一部分的程序的计算机可读的存储介质。在此,把该程序称为图像处理程序。并且,CPU读出存储在上述存储介质中的图像处理程序,并执行信息的加工/运算处理,由此实现与上述的图像处理装置相同的处理。
其中,计算机可读的存储介质是指磁盘、光磁盘、CD-ROM、DVD-ROM、半导体存储器等。并且,也可以将上述程序通过通信线路发布给计算机,由接收到该发布的计算机执行程序。
本发明不限于上述的第1~第3实施方式,可以在不脱离本发明宗旨的范围内实现各种变形和应用。例如,作为相加到图像数据上的预定的粒状图案,列举了与银盐颗粒的粒状感相似的粒状图案的一例,但不限于该粒状图案。
在第1实施方式中,用于确定附加到图像数据上的粒状图案的强度的增益GRN_Y、GRN_C根据摄影时的ISO灵敏度求出,但也可以根据操作部7的操作,由用户设定为任意的值。根据该方法,能够把用户期望的强度的粒状图案附加到图像数据上。并且,也可以根据图像上的噪声的程度,设定用于确定粒状图案的强度的增益GRN_Y、GRN_C。
在第1实施方式中,说明了对图像数据进行JPEG压缩的情况,但图像数据的压缩方式不限于JPEG形式。
在第3实施方式中,在进行REC取景显示时,将以缩小为记录尺寸的图像数据时的缩小率的倒数的值即放大率放大后的粒状图案相加。但是,也可以以缩小为REC取景显示尺寸的图像数据时的缩小率的倒数的值即放大率,将粒状图案放大,并相加到图像数据上,然后以缩小为REC取景显示尺寸的缩小率缩小,并进行REC取景显示。
2008年9月3日递交的日本专利申请特愿2008-226060号、2008年9月3日递交的日本专利申请特愿2008-226074号、和2009年4月10日递交的日本专利申请特愿2009-95626号的内容,以引证的方式结合于本申请中。