CN101277372A - 图像处理装置、摄像装置及图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置、摄像装置及图像处理方法，一种图像处理装置，具有图像输入部、图像区分部、校正部、及判定部。图像输入部，读取被输入的图像数据。图像区分部，区分图像数据内包含主要被摄体的图像的主要区域与除此之外的非主要区域。校正部，基于非主要区域的颜色对主要区域的颜色进行校正。判定部，判定非主要区域的色调的色散。在所述结构中，校正部，与色散大的情况相比，在非主要区域的色调的色散小的情况下，增强对主要区域的颜色的校正。

Description

图像处理装置、摄像装置及图像处理方法

发明领域

本发明涉及图像处理装置、摄像装置及图像处理方法。

背景技术

过去，从图像数据中将背景部和前景部提出，基于背景部的颜色对前景部的颜色进行校正的技术(参照特许公开2001-292333号公报)为所周知。根据此已有技术，可以通过与背景颜色的对比来抑制对前景颜色产生心理性的变化(颜色对比效果)，提高前景部的颜色再现性。

另外，在此已有技术中，判定前景颜色和背景颜色是否为共同占据着大面积的整幅图像，在是整幅图像的情况下实施颜色校正。

但是，基于多种多样的摄影场景，心理上产生的颜色对比效果的发生量有变动。因此，存在在上述的整幅图像的判定中，将颜色对比效果抑制不足，反之将颜色对比效果抑制过度而导致破坏颜色再现性等问题。

发明内容

从而，本发明的目的是更实用地判定颜色对比效果的强弱，适当地控制对主要区域的颜色校正。

本发明的图像处理装置，具有：图像输入部，图像区分部，校正部及判定部。

图像输入部，对输入的图像数据进行读取。

图像区分部，对图像数据进行包含主要被摄体的主要区域与除此之外的非主要区域的区分。

校正部，基于非主要区域的颜色对主要区域的颜色进行校正。

判定部，判定非主要区域的色调的色散。

在上述构成中，校正部在非主要区域的色调的色散小的情况下，比色散大的情况下，增强对主要区域的颜色的校正。

本发明另外的图像处理装置，具有：图像输入部，图像区分部，校正部，信息取得部及条件判定部。

图像输入部，对输入的图像数据进行读取。

图像区分部，对图像数据进行包含主要被摄体的主要区域与除此之外的非主要区域的区分。

校正部，基于非主要区域的颜色对主要区域的颜色进行校正。

信息取得部，将图像数据的摄影时的图像取得条件作为信息而获得。

条件判定部，根据图像取得条件判定图像数据是否是在浅景深摄影状态下进行的。

在上述构成中，校正部，在摄影时浅景深的情况下，比深景深的情况下，增强对主要区域的颜色的校正。

还有优选为，本发明的图像处理装置，具有对应存储部。

所述对应存储部，对主要区域及非主要区域的代表色的组合与根据此组合在主要区域生成的颜色对比效果的发生倾向作为对应关系进行事先存储。

校正部，将主要区域及非主要区域的颜色组合，在对应存储部对照，决定颜色对比效果的发生倾向，向消除颜色对比效果发生倾向的方向对主要区域的颜色进行校正。

本发明的摄像装置，具有上述所记载的图像处理装置，和对被摄体进行摄影并生成图像数据的摄像部。所述图像处理装置，对在摄像部生成的图像数据的颜色进行校正。

本发明的图像处理方法，是指为了使计算机具备作为上述的任一项所记载的图像处理装置而发挥功能的方法。

附图说明

图1：表示本实施方式的摄像装置11的框图

图2：说明图像处理装置13的动作的流程图

图3：景深的判定例的示意图

图4：图像取得条件与存储色重视之间关系说明图

图5：色调的色散与单色性的关系说明图

图6：颜色对比效果的产生例说明图

图7：颜色对比效果的产生例说明图

图8：颜色校正方向及颜色校正量说明图

具体实施方式

《实施方式的构成》

图1是表示本实施方式的摄像装置11的框图。

在图1，摄像装置11大体包括：摄像部12、图像处理装置13、存储部14、及摄像控制部15。摄像控制部15对摄像部12、图像处理装置13、存储部14等进行控制。而且，摄像控制部15进行以下处理：根据从没被图示的测光部得到的被摄体亮度信息和ISO感光度设定信息、曝光模式设定等进行摄像时的曝光设定值(快门速度，光圈值)的计算及设定；进行自动聚焦的焦点检测区域的设定、未图示的摄像镜头的焦点距离信息和摄像镜头的焦点调节光学系统的信息的取得、摄像镜头的对焦距离的计算、剪辑摄像时的摄像元件的利用摄像区域的设定等处理。另外，曝光模式是指，算出适合人物摄影的曝光设定值(快门速度，光圈值)等的肖像模式和算出适合于风景摄影的曝光设定值等的景物模式，适合于通用的摄像的程序自动模式，根据用户设定的光圈值自动算出快门速度的光圈优先自动模式等周知的曝光模式。在摄像控制部15处理的设定值和算出值、检测值等可以向后面要记述的信息取得部25等输出。该图像处理装置13具有以下部分。

(1)图像输入部21，读取从摄像部12等输出的图像数据。

(2)图像区分部22，检测出主要被摄体，并将图像数据区分为包含主要被摄体的图像的主要区域与除此之外的非主要区域。

(3)校正部23，基于非主要区域的颜色，对主要区域的颜色进行校正。

(4)判定部24，判定非主要区域的色调的色散。

(5)信息取得部25，将图像数据的摄影时的图像取得条件作为信息而获得。

(6)条件判定部26，根据图像取得条件判定景深。

(7)被摄体判定部27，根据主要区域和图像取得条件，判定主要被摄体是否为存储色重视的被摄体。

(8)对应存储部28，将存储主要区域/非主要区域的代表色的组合与根据此组合在主要区域生成的颜色对比效果的发生倾向的对应关系进行存储。该对应关系是根据颜色对比效果的心理实验等事先做成。

《图像处理装置13的工作步骤》

图2是说明图像处理装置13工作的流程图。以下沿着图2所示的步骤编号对此处理进行说明。

步骤S1：图像输入部21，读取从摄像部12输出的图像数据，存入内部存储器。

步骤S2：信息取得部25，获得对图像数据摄影时的图像取得条件。例如，信息取得部25，从摄像控制部15等取得图像取得条件。

步骤S3：条件判定部26，根据图像数据的图像取得条件，判定摄影时的景深。

图3是景深的判定例的示意图。这里，图像取得条件满足下面条件，判定为景深浅。

(条件1)摄影时的镜头的焦距在望远区域。

(条件2)是肖像用的曝光设定。

(条件3)镜头的对焦距离在极近区域。

(条件4)摄影时的光圈值为小。

(条件5)摄像元件的摄像画面尺寸为大(非剪辑摄影等)。

(条件6)镜头的对焦范围是宏观区域(macro)。

步骤S4：图像区分部22将图像数据区分为包含主要被摄体的主要区域与除此之外的非主要区域。

例如，图像区分部22进行公知的脸部识别处理(肤色识别，面部轮廓识别，还有眼鼻口耳的形状识别等)，并检出图像数据内的脸部位置和面部尺寸。根据该脸部识别的处理结果，图像区分部22可以将图像数据区分为包含脸部区域或人体区域的主要区域与除此之外的非主要区域。

还例如，图像区分部22获得摄影时与对焦状态相符的焦点检测区域(对焦区域)的位置。根据该获得信息，图像区分部22可以将图像数据区分为含有对焦区域的被摄体图像的主要区域与除此之外的非主要区域。

还例如，图像区分部22从图像数据检出高对比度区域和高域空间频率区域。根据该检出结果，可以将图像数据区分为含有高对比度区域和高域空间频率区域的主要区域与除此之外的非主要区域。

还例如，图像区分部22从图像数据检出轮廓处。根据这个检出结果，可以对图像数据进行被轮廓处包围的主要区域与除此之外的非主要区域的区分。

步骤S5：被摄体判定部27，基于图像取得条件和图像数据的代表色，判断被拍摄到图像数据上的被摄体是否为存储色重视的被摄体。

图4是说明图像取得条件与存储色重视的关系的示意图。在此例中，关注在拍摄图像数据时的摄像部12的摄影模式。当这个摄影模式是在像儿童抓拍模式那样确定摄影对象和摄影意图的摄影模式的情况下，被摄体判定部27，判定存储色重视的程度为高。

另外，可以事先对使用者就多种类的各摄影模式，进行是否对存储色非常重视的问卷调查。这种情况下，根据调查结果，可以分别对各摄影模式标记对存储色重视的程度的点数。

另外例如在图像数据的代表色存在肤色和天蓝色等的存储色的情况下，可以判定存储色重视的程度为高。

步骤S6：判定部24对在步骤S4所区分的非主要区域，算出色调的色散(色调的偏差幅的平方平均等)。如图5所示，可以判断该色调的色散越窄，非主要区域越接近同系色。

步骤S7：校正部23根据所述的(1)景深的浅度，(2)存储色重视的被摄体的可能性，(3)非主要区域的色调色散的窄度中的任意一项，求得色对比效果的校正的必要性。

例如，由于景深越浅，非主要区域接近同系色的配置变得越单一，可以推定强调颜色对比的心理效果。据此，可以判定景深越浅，主要区域的色校正的必要性越高。

另外例如由于存储色重视的被摄体的可能性越高，色对比效果的不自然感越明显，所以可以判定主要区域的色校正的必要性越高。

另外例如由于非主要区域的色调的色散越窄，非主要区域接近同系色，色配置变得越单一，所以可以推定强调色对比的心理效果。据此，可以判定非主要区域的色调的色散越窄，主要区域的色校正的必要性越高。

另外，也可以根据下面公式对色对比效果的校正必要性进行综合的判定。

校正必要性＝A×[景深的浅度]

            +B×[存储色重视的被摄体的可能性]

            +C×[非主要区域的色调色散的窄度]

其中，A，B，C是评价加权的系数。这些系数的加权分配优选为根据反映校正必要性的各项目的优先度，进行实验性调整。

步骤S8：校正部23判定在S7中求出的校正必要性是否大于等于阀值。这里的阀值是指判定色对比效果对色再现性有无损坏的阀值，优选为依据使用者调查等事先确定。

这里，校正必要性没有达到阀值的情况下，校正部23不进行主要区域的色校正，完成处理过程。

另一方面，校正必要性在大于等于阀值时，校正部23由于对主要区域进行色校正，动作移动到步骤S9。

步骤S9：校正部23针对在步骤S4得到的主要区域和非主要区域求出各自的代表色。

例如，可以得出这个区域出现的最多频度的颜色作为代表色。另外，例如也可以将这个区域中出现的颜色取出进行平均化，将平均色作为代表色。另外，例如也可以从该区域选出高彩色饱和度且高频度的引人注目的颜色，将该颜色作为代表色。

校正部23将主要区域的代表色与非主要区域的代表色的组合在对应存储部28对照，得出在主要区域生成色对比效果的发生倾向。

图6和图7是对该色对比效果的发生例的示意图。图6表示主要区域的代表色为肤色，非主要区域的代表色为天蓝色的情况。这种情况下，主要区域的肤色，看起来颜色向黄色-橘色的方向偏移。图7表示主要区域的代表色为红色，非主要区域的代表色为绿色的情况。这种情况下，主要区域的红色，看起来颜色向紫色的方向偏移。

步骤S10：校正部23求出为了消除在步骤S9得到的色对比效果的发生倾向的色校正方向。

图8是说明色校正方向的示意图。在图8中，横轴为色差成分Cb的轴，纵轴是色差成分Cr的轴。图8中所示的白圈为非主要区域的代表色。图8中所示的两重圈为这个非主要区域的校正色(严格说为心理校正色)。主要区域的代表色(图8中的黑圈)，看上去像被这个校正色的透过遮蔽物覆盖的样子。这里，在偏离这个校正色的方向，通过对主要区域的色调的校正，可以消除色调的对比效果的发生倾向。

还有，色对比效果也影响到主要区域的色度。也就是说，非主要区域的色度越高，主要区域的色度看上去越暗淡。因此，在非主要区域的代表色的色度高的情况下，利用将主要区域的色度向相对高的方向进行调整，可以消除色度的对比效果的发生倾向。

还有，色对比效果也影响到主要区域的亮度。也就是说，非主要区域的亮度越高，主要区域的亮度看上去越低。因此，在非主要区域的代表色的亮度高的情况下，利用将主要区域的亮度向相对高的方向进行调整，可以消除亮度的对比效果的发生倾向。

步骤S11：校正部23进行设定，使得在步骤S7得到的校正必要性越高，越增强调整色校正量。对于这个校正必要性与色校正的强弱加减的关系，优选为以校正后的颜色的自然度作为评价基准事先实验性地确定下来。

步骤S12：根据在步骤S10所确定的色校正方向和在步骤S11确定的色校正量，决定像图8所示的颜色的校正处理。根据这个校正处理，对主要区域的颜色进行校正。

通过完成所述一系列的处理的图像数据，经过其它的图像处理后，通过存储部14存储在未图示的存储介质上。

《实施方式的效果等》

本实施方式，判定非主要区域的色调的色散，或者是景深的浅度。可以判定该非主要区域的色调的色散越小，非主要区域越接近于同系色。而且，景深越浅，非主要区域重点部分偏差大颜色混合，越接近同系色。

像这样，虽没有达到极端的整幅图像，但仅就非主要区域来说限于同色系的范围内的情况较多。像这样非主要区域越接近同系色，图像数据的配色关系越被单一化，色对比的心理效果增强。

本实施方式根据这样的非主要区域的色调色散，或者是景深，可以实用性地推断色对比效果的强弱。更进一步，根据这个推断结果，可以适当地控制主要区域的色校正。

特别是，本实施方式利用这样的非主要区域的色调的色散，可以实用性地推断色对比效果的强弱。通过根据这个推断结果，变更色校正的强弱，可以适当地抑制色对比效果，得到看起来自然的颜色再现。

还有，在本实施方式，通过从图像取得条件判定景深的浅度，对色对比效果的强弱进行实用性地推断。根据这个推断结果可以适当地控制色校正的强弱。其结果，可以得到看起来自然的色再现。

而且，本实施方式根据图像取得条件对色对比效果的强弱进行大致的推断。这种情况下，不进行复杂的图像解析，可以简单并迅速地推断色对比效果。

《实施方式的补充事项》

所述的实施方式将图像处理装置13搭载于摄像装置11的情况进行了说明。但是，本发明并不仅限于此。例如，利用计算机及图像处理程序(图2的工作步骤转换为程序编码)，可以对本发明的图像处理装置进行软件实现。

另外，这种情况下，优选为从图像数据上附属的信息(Exif(可交换图像文件)信息等)获得图像取得条件。

还有，所述实施方式对图像处理装置13针对主要区域实施色对比效果的校正的例进行了说明。可是，由于色对比效果是相对的效果，图像处理装置13也可以针对非主要区域实施色对比效果的校正。

例如，在被判定为色散小而且景深浅的情况下，图像处理装置13也可以实施向消除色对比效果的影响的方向对非主要区域的颜色进行校正。这时，对于对主要区域及非主要区域的哪一个区域实施校正，图像处理装置13例如依据以下的判定基准而设定。

作为一个例子，在判定为所谓存储色重视的被摄体时实施校正的情况下，判定为该被摄体为人物(肤色)，并且作为主要被摄体，还有，在图像处理装置13将肤色作为存储色进行最佳输出的情况下，图像处理装置13也可以重视输出的肤色的色再现，对非主要区域(背景)一侧的色调、色度、亮度进行校正。

作为一例，在判定为所谓存储色重视的被摄体时实施校正的情况下，同样，在判定被重视且被最佳化显示的被摄体为空，并且该被摄体为非主要区域(背景)的情况下，图像处理装置13可以对主要区域(主要被摄体)的色调、色度、亮度实施校正。

作为一例，对于色度的对比效果为背景鲜艳并且主要被摄体看上去灰暗的情况下，和主要被摄体的色度已经十分高，超出这以上的高色度化会引起被摄体的色饱和的情况下，图像处理装置13可以下调非主要被摄体一侧的色度。

作为一例，对于亮度的对比效果为背景明亮而主要被摄体的亮度看上去很低的情况下，和主要被摄体已经十分明亮，超过这以上的亮度化会让主要被摄体发生泛白的情况下，图像处理装置13也可以下调非主要被摄体一侧的亮度。

另外，本发明，可以在不脱离这种思想或是这些主要特征的情况下，以其它的各种各样的形式进行实施。所以，所述实施方式不过是就所有点进行的单纯示例，不能限制性地解释。本发明丝毫不拘泥于说明书本文。并且，属于本发明的同等范围内的变形和变更，都属于本发明的范围之内。

Claims (6)

1、一种图像处理装置，其特征在于，具有：

图像输入部，对输入的图像数据进行读取；

图像区分部，将所述图像数据区分为包含主要被摄体的图像的主要区域与除此之外的非主要区域；

校正部，基于所述非主要区域的颜色，对所述主要区域的颜色进行校正；和

判定部，判定所述非主要区域的色调的色散；

所述校正部，与所述色散大的情况相比，在所述色散小的情况下，增强对所述主要区域的颜色的校正。

2、一种图像处理装置，其特征在于，具有：

图像输入部，对输入的图像数据进行读取；

图像区分部，将图像数据区分为包含主要被摄体的主要区域与除此之外的非主要区域；

校正部，基于所述非主要区域的颜色，对所述主要区域的颜色进行校正；

信息取得部，将所述图像数据的摄影时的图像取得条件作为信息而获得；

条件判定部，根据所述图像取得条件判定所述图像数据是否是在浅景深摄影状态下被拍摄的；

所述校正部，与所述景深为深的情况相比，在所述景深为浅的情况下，增强对所述主要区域的颜色的校正。

3、根据权利要求1所述的图像处理装置，其特征在于，还具有：

对应存储部，对所述主要区域及所述非主要区域的颜色的组合与在所述主要区域发生的颜色对比效果的发生倾向的对应关系进行事先存储，

所述校正部，将所述主要区域及非主要区域的颜色的组合，在所述对应存储部对照，决定所述色对比效果的发生倾向，向消除所述色对比效果发生倾向的方向，对所述主要区域的颜色进行校正。

4、根据权利要求2所述图像处理装置，其特征在于，具有：

对应存储部，将所述主要区域及非主要区域的颜色的组合，与所述主要区域发生的色对比效果的发生倾向的对应关系进行事先存储，

所述校正部，将所述主要区域及非主要区域的颜色的组合，在所述对应存储部对照，决定所述色对比效果的发生倾向，向消除所述色对比效果的发生倾向的方向，对所述主要区域的颜色进行校正。

5、一种摄像装置，具有：

权利要求1-4的任一项记载的图像处理装置，和对被摄体进行摄影，生成图像数据的摄像部，

所述图像处理装置，对在所述摄像部生成的所述图像数据的颜色进行校正。

6、一种图像处理方法，其特征在于，使计算机作为权利要求1-4的任一项所记载的图像处理装置而发挥功能。

Images