CN102289785A - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置以及图像处理方法。该摄像装置(100)，具有：获取脸部图像的镜头部(1)、电子摄像部(2)以及摄像控制部(3)、在所获取的脸部图像中对成组的多个对应的区域进行确定的脸部图像处理部(11)的确定部(11a)、和生成以所确定的脸部图像的多个对应区域之中的一个区域为基准来对另外的区域进行了校正的脸部图像的脸部图像处理部(11)的校正部(11c)。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及图像处理装置以及图像处理方法。

背景技术

在将拍摄被摄体的脸部的脸部图像进行印刷输出的自动拍照摄影装置中，存在将脸部图像的一部分扩大或缩小的使脸部图像变形的技术(例如，日本专利特开2000-267156号公报)。

但是，有如下问题：在如上述专利文献1所述，通过仅仅将脸部图像的一部分扩大或缩小从而使脸部图像变形的情况下，处理后的图像的一部分会很显眼而使图像变得不自然。

发明内容

因此，本发明的课题是对脸部图像实施更加自然的图像处理。

本发明的一个实施方式为一种图像处理装置，具有：获取单元(1、2，3)，用于获取脸部图像；区域确定单元(11a)，用于在由该获取单元所获取的脸部图像中，确定成组的多个对应的区域；和校正单元(11c)，用于生成以由该区域确定单元所确定的上述脸部图像的多个对应区域之中的一个区域为基准来对其他区域进行校正的脸部图像。

本发明的另一个实施方式为一种图像处理装置，具有：获取单元(1、2、3)，用于获取脸部图像；脸部构成部确定单元(11a)，用于在由该获取单元所获取的脸部图像中，确定成组的多个对应的脸部构成部；和校正单元(11c)，用于生成脸部图像，该脸部图像是以由该脸部构成部确定单元所确定的上述脸部图像的多个对应的脸部构成部之中的一边的脸部构成部为基准而对另一边的脸部构成部进行了校正后得到的脸部图像。

本发明的另一个实施方式为一种图像处理方法，使图像处理装置执行：获取脸部图像的处理(1、2、3)；在获取的脸部图像中，确定成组的多个对应的区域的处理(11a)；和生成以所确定的上述脸部图像的多个对应区域之中的一个区域为基准而对其他区域进行了校正后得到的脸部图像的处理(11c)。

本发明的另一个实施方式为一种图像处理方法，使图像处理装置执行：获取脸部图像的处理(1、2、3)；在所获取的脸部图像中，确定成组的多个对应的脸部构成部的处理(11a)；和生成以所确定的上述脸部图像的多个对应的脸部构成部之中的一边的脸部构成部为基准而对另一边的脸部构成部进行了校正后得到的脸部图像的处理(11c)。

附图说明

图1表示作为使用了本发明的一个实施方式的图像处理装置发挥功能的摄像装置的一个例子。

图2是表示摄像处理流程的一例的流程图。

图3是表示校正处理流程的一例的流程图。

图4是表示区域确定处理流程的一例的流程图。

图5是表示眼睛的校正处理流程的一例的流程图。

图6是表示嘴角的校正处理流程的一例的流程图。

图7表示将脸部图像的图像数据显示在显示部上的一例。

图8表示校正后的脸部图像的图像数据的一例。

图9表示摄像装置的变形例的一例。

图10是表示变形例中的校正处理流程的一例的流程图。

图11是表示图10的延续的流程图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。但是，本发明的技术方案的范围不局限于图中所示的例子。

图1是表示作为使用了本发明的一个实施方式的图像处理装置发挥功能的摄像装置100的图。

作为图像处理装置发挥功能的摄像装置100获取脸部图像的图像数据，以在所获取的脸部图像的大致中央部向规定方向延伸的中心线为基准，确定多个区域，以所确定的脸部图像的多个区域中的一个区域为基准，对其他区域进行校正。

具体而言，如图1所示，摄像装置100具有：镜头部1、电子摄像部2、摄像控制部3、图像数据生成部4、图像存储器5、记录介质6、显示控制部7、显示部8、操作输入部9、CPU10和脸部图像处理部11。

另外，摄像控制部3和CPU10与脸部图像处理部11是作为例如定制LSI1A设计的。

镜头部1由多个透镜构成，具有变焦透镜或聚焦透镜等。

另外，虽然图中进行了省略，但镜头部1也可以具有：在拍摄被摄体(例如，脸部F，参照图7)时，使变焦镜头向光轴方向移动的变焦驱动部；和使聚焦透镜向光轴方向移动的聚焦驱动部等。

电子摄像部2拍摄被摄体并生成图像数据。例如，由CCD(Charge Coupled Device)或CMOS(Complementary Metal-oxideSemiconductor)等的图像传感器构成，将通过镜头部1的各种透镜的光学图像变换成二维的图像信号。

虽然图中进行了省略，但是摄像控制部3具有时序发生器和驱动器等。并且，摄像控制部3利用时序发生器和驱动器对电子摄像部2进行扫描驱动，按每规定的周期由电子摄像部2将光学图像转换成二维的图像信号，从该电子摄像部2的摄像区域一个画面一个画面地读出图像帧，并向图像数据生成部4输出。

另外，摄像控制部3进行AF(自动聚焦处理)、AE(自动曝光处理)和AWB(自动白平衡)等的被摄体S的摄像条件的调整控制。

图7表示将脸部图像的图像数据显示在显示部8上的一例。

图像数据生成部4针对从电子摄像部2传送过来的图像帧的模拟值的信号，按RGB的每个颜色成分进行适当的增益调整，然后，利用取样保持电路(省略图示)进行取样保持，并通过A/D转换器(省略图示)转换成数字数据，在通过色彩处理电路(省略图示)进行了包括像素插值处理以及γ校正处理在内的色彩处理之后，生成数字值的亮度信号Y以及色差信号Cb、Cr(YUV数据)。

从色彩处理电路输出的亮度信号Y以及色差信号Cb、Cr通过未图示的DMA控制器，被DMA传送到作为缓存器使用的图像存储器5中。

图像存储器5由例如D RAM等构成，暂时存储由CPU10或脸部图像处理部11等处理的数据等。

记录介质6由例如非易失性存储器(闪存)等构成，且记录用于记录由图像处理部的JPEG压缩部(省略图示)进行了编码后得到的摄像图像的图像数据。

显示控制部7进行如下控制：将暂时存储在图像存储器5中的用于显示的图像数据或记录在记录介质6中的图像数据读出，并显示在显示部8上。

具体而言，显示控制部7具有：VRAM、VRAM控制器、数字视频编码器等。并且，数字视频编码器通过VRAM控制器，将在CPU10的控制下从图像存储器5读出且存储在VRAM(省略图示)中的亮度信号Y以及色差信号Cb、Cr从VRAM中定期地读出，并以这些数据为基础生成视频信号，向显示部8输出。

另外，显示控制部7将由脸部图像处理部11的校正部11c(后面会提到)进行的校正结果显示在显示部8上。

而且，显示控制部7将校正结果显示在显示部8上，并且进行用于向用户确认是否保存所显示的校正结果的确认处理。作为确认处理，例如，显示控制部7将用于选择是否把所显示的校正结果保存在脸部图像中的可否保存选择显示而显示在显示部8上。

然后，针对可否保存选择处理，用户对操作输入部9的决定键9c或取消键9d(后面会提到)进行输入操作，以作为是否保存校正结果的选择输入。

显示部8例如是液晶显示装置，根据来自显示控制部7的视频信号，将由电子摄像部2拍摄的图像等显示在显示画面上。具体而言，显示部8在摄像模式下，根据由镜头部1、电子摄像部2以及摄像控制部3拍摄被摄体所生成的多个图像帧来显示实时取景图像，或显示作为本摄像图像拍摄到的脸部图像。

操作输入部9用于进行该摄像装置100的规定操作。具体而言，操作输入部9具有：与被摄体的摄影指示相关的快门键9a、与菜单画面上的摄像模式或功能等的选择指示相关的模式键9b、与变焦量的调整指示相关的变焦键(省略图示)、与是否进行校正的决定的决定键9c以及取消键9d等，根据对这些按键的操作，将规定的操作信号输出到CPU10。

CPU10用于控制摄像装置100的各部。具体而言，CPU10按照用于摄像装置100的各种处理程序(省略图示)，进行各种控制操作。

脸部图像处理部11具有：确定部11a、比较部11b、校正部11c、校正基准决定部11d和校正执行决定部11e。

确定部11a根据通过透镜部1、电子摄像部2以及摄像控制部3的共同作用所拍摄、获取到的图像数据来检测脸部图像。脸部图像的检测能够采用例如基于与规定的模板的比较的检测或基于脸部图像的轮廓提取的检测等各种方法。

另外，确定部11a以在由镜头部1、电子摄像部2以及摄像控制部3获取到的脸部图像的大致中央部向规定方向延伸的中心线为基准，确定多个区域。

具体而言，确定部11a从脸部图像的图像帧内检测出相当于两眼的脸部构成部。另外，确定部11a对两眼各自的瞳孔(pupil)的中心坐标(例如，图8所示的坐标(Xa，Ya)以及坐标(Xb，Yb)等)进行检测。这里所说的坐标是指：以脸部图像的图像数据的规定位置为原点(例如，图8所示的原点0坐标)，相对于根据相对于图像区域相互直行的规定的2个方向(例如，图8所示的X方向与Y方向)所表示的原点的位置信息。如果检测出两眼的各自的瞳孔的中心坐标，则确定部11a计算出通过所检测出的两眼的各自的瞳孔的中心坐标的中点、并且以与连接所检测出的两眼的各自的瞳孔的中心坐标的线段大致正交的方式延伸的线段(例如，图8所示的线段C)的轨迹，将该线段作为在脸部图像的大致中央部向规定方向延伸的中心线。确定部11a确定以该线段为基准被分开的脸部图像的2个区域(例如，图8所示的区域F1、F2)。

在此所说的“组”是指共同的构成或包括共同的构成的2个区域。例如，可以举出：两眼(例如，图7所示的左眼El、右眼Er)或两个嘴角(corners of mouth)(例如，图7所示的左边的嘴角Ml、右边的嘴角Mr)等的脸部构成部或分别包括1个以上的这些构成部的脸部图像的区域。

另外，确定部11a根据所获取的脸部图像来确定成组的多个对应的脸部构成部，作为成组的多个对应的区域。

例如，确定部11a确定两眼(例如图7所示的左眼E1和右眼Er)作为在脸部图像中成组的多个对应的脸部构成部。例如，确定部11a通过确定存在于脸部图像中的瞳孔或眼白(white)，从而确定两眼。在这种情况下，确定部11a根据瞳孔或眼白与其周围的脸部图像的区域的像素值、明亮度等的差来确定眼睛。

另外，确定部11a获取与眼睛大小相关的信息。例如，确定部11a获取两眼的各自的瞳孔的沿着Y方向连续的像素数。

另外，确定部11a确定存在于脸部图像中的两个嘴角(例如，图7所示的左边的嘴角Ml和右边的嘴角Mr)，作为在脸部图像中成组的多个对应的脸部构成部。例如，确定部11a根据脸部图像的区域的像素值、明亮度等的差来确定嘴角。

另外，为了方便，在图7所示的脸部图像中所存在的两眼之中，将正对时左边的眼睛作为左眼El，将正对时右边的眼睛作为右眼Er。左眼El对于被摄体而言是右眼，右眼Er对于被摄体而言是左眼。

另外，在图7所示的脸部图像中所存在的两个嘴角之中，将正对时左边的嘴角作为左边嘴角Ml，将正对时右边的嘴角作为右边嘴角Mr。左边嘴角Ml对于被摄体而言是右边的嘴角，右边的嘴角Mr对于被摄体而言是左边的嘴角。

另外，确定部11a获取与两个嘴角的位置相关的信息。在图8所示的脸部图像的情况下，确定部11a获取两个嘴角的Y方向的坐标(Y1，Y2)。

另外，确定部11a获取与嘴的最下端的位置相关的信息作为与两个嘴角的位置相关的信息。这里所说的“嘴的最下端”是指：沿着在脸部图像的大致中央部向规定方向延伸的中心线(例如，图8所示的线段C)的方向一侧的嘴的端部，并且是离眼睛远的端部。在图8所示的脸部图像的情况下，确定部11a获取与图8所示的嘴的最下端的位置相关的Y方向的坐标(Y3)。

比较部11b对由确定部11a确定的存在于脸部图像中的成组的两个对应的脸构成部彼此之间进行比较，并输出基于预先规定的条件的判定结果。

例如，比较部11b对由确定部11a作为成组的多个对应的脸部构成部而确定的两眼的大小进行比较。具体而言，例如，比较部11b对由确定部11a获取到的两眼的各自的瞳孔的沿着Y方向连续的像素数进行比较。然后，比较部11b确定该像素数相对大的一方的眼睛。另外，比较部11b获取两眼的大小的比率。例如，比较部11b计算出两眼各自的瞳孔的沿着Y方向连续的像素数的比率，作为两眼的大小的比率。

在本实施方式中，虽然基于瞳孔的沿着Y方向连续的像素数，对眼睛的大小进行比较和确定，但也可以用其他的方法比较眼睛的大小。例如，既可以基于两眼的各自的眼白的沿着X方向连续的像素数的最大值，也可以基于瞳孔的沿着Y方向连续的像素数以及两眼的各自的眼白的沿着X方向连续的像素数这两者，对眼睛的大小进行综合的比较和判定，还可以对构成两眼的各自的瞳孔或眼白的像素数进行比较。

另外，比较部11b对由确定部11a作为成组的多个对应的脸部构成部而确定的两个嘴角的位置进行比较。例如，比较部11b将作为相对于作为与嘴的最下端的位置相关的信息而获取到的Y方向的坐标所示的位置的嘴角位置而获取到的Y方向的坐标的坐标所示的位置作为嘴角的位置，分别计算出两个嘴角。并且，比较部11b对分别计算出的嘴角的位置进行比较，判定嘴角的位置高的嘴角是哪一个。然后，比较部11b判定两个嘴角之中位置高的嘴角。

校正部11c生成以由确定部11a所确定的脸部图像的两个区域之中的一个区域为基准而对另一个区域进行校正后得到的脸部图像。

图8表示校正后的脸部图像的图像数据的一例。在图8中，为了明确眼睛大小的校正结果，省略了图7中瞳孔部分的阴影线。

具体而言，校正部11c以由确定部11a所确定的脸部图像的两个脸部构成部之中的一个脸部构成部为基准，对另一个脸部构成部进行校正。例如，校正部11c以一只眼睛为基准，对另一只眼睛进行校正。

在图8所示的例子中，根据一只眼睛(图7和图8所示的左眼El)，校正另一只眼睛(图7所示的右眼Er)的图像区域的大小，将校正后的另一只眼睛表示为右眼Er2。具体而言，校正部11c将由比较部11b确定为较大的眼睛的眼睛作为一只眼睛，且将比该只眼睛小的另一只眼睛的大小进行了放大校正，以使其大小与该只眼睛的大小大致相同。在此，校正部11c根据由比较部11b计算出的两眼的各自的瞳孔的沿着Y方向连续的像素数的比率进行校正，以使两眼的沿着Y方向的宽度方向的大小成为大致相同。

另外，例如，校正部11c以一边的嘴角为基准，对另一边的嘴角进行校正。

在图8所示的例子中，将由比较部11b确定为嘴角的位置高的嘴角的嘴角(图7和图8所示的左边的嘴角Ml)作为一边的嘴角，对另一边的嘴角(图7所示的右边的嘴角Mr)的Y方向的坐标进行校正，以使其与一边的嘴角的Y方向的坐标一致，将校正后的另一边的嘴角表示为右边的嘴角Mr2。

校正基准决定部11d根据规定条件来决定在由校正部11c进行的校正中成为校正的基准的脸部构成部。

例如，作为规定条件，在使用“将由比较部11b确定为较大的眼睛的一只眼睛设为作为校正的基准的一只眼睛”的情况下，校正基准决定部11d接受来自比较部11b的确定结果的输入，以决定成为校正的基准的一只眼睛。

同样，例如，作为规定条件，在使用“将由比较部11b确定为嘴角的位置高的嘴角的嘴角设为作为校正的基准的一边的嘴角”的情况下，校正基准决定部11d接受来自比较部11b的确定结果，以决定成为校正的基准的一边的嘴角。

校正执行决定部11e根据从操作输入部9的决定键9c、取消键9d接受到的选择输入的内容，来决定是否保存校正部11c的校正结果。具体而言，在针对用于选择是否保存由显示控制部7显示在显示部8上的校正结果的可否保存确认显示而操作了决定键9c的情况下，校正执行决定部11e将与所显示的校正结果对应的图像数据输出到图像处理部的JPEG压缩部。由此，由校正部11c实施了校正的脸部图像的图像数据被记录在记录介质6中。另一方面，在针对用于选择是否保存所显示的校正结果的对话显示而操作了取消键9d的情况下，校正执行决定部11e废弃所显示的校正结果。

接下来，参照图2～图6对摄像装置100所进行的图像处理方法进行说明。图2是表示摄像处理的流程的一例的流程图。

首先，镜头部1对被摄体(例如，脸部F；参照图7)进行聚焦，在摄像控制部3的控制下，电子摄像部2拍摄被摄体并生成图像数据(步骤S1)。然后，脸部图像处理部11的确定部11a从通过步骤S1的处理所获取的图像数据中检测出脸部图像(步骤S2)。然后，脸部图像处理部11对脸部图像进行校正处理(步骤S3)。

在此，利用图3的流程图对校正处理进行说明。

首先，确定部11a进行区域确定处理(步骤S11)。

在此，通过图4对区域确定处理进行说明。

在区域确定处理中，确定部11a从脸部图像的图像帧内检测出相当于两眼的脸部构成部(步骤S31)。另外，确定部11a检测出两眼的各自的瞳孔的中心的坐标(步骤S32)。然后，确定部11a计算出在连接两个瞳孔的中心坐标的线段的中点处大致正交的线段(例如，图8所示的线段C)的轨迹，并将该线段作为在脸部图像的大致中央部向规定方向延伸的中心线(步骤S33)。确定部11a以该中心线为基准，将脸部图像分成左右的区域(例如，图8所示的区域F1、F2)(步骤S34)。通过以上步骤，区域确定处理结束。

在区域确定处理之后，确定部11a进一步确定在左右的两个区域中分别都存在的脸部构成部(例如，两眼以及两个嘴角)(步骤S12)。确定部11a例如根据眼睛或嘴与其周围的脸部图像的区域的像素值、明亮度等的差来确定眼睛或嘴。另外，确定部11a获取表示与两眼大小相关的信息以及与两个嘴角的位置相关的信息的坐标(步骤S13)。确定部11a例如获取两眼的各自的瞳孔的沿着Y方向连续的像素数。另外，确定部11a例如获取两个嘴角的Y方向的坐标(Y1、Y2)和与图8所示的嘴的最下端的位置相关的Y方向的坐标(Y3)(参照图8)。

在步骤S13的处理之后，脸部图像处理部11进行眼睛的校正处理(步骤S14)。

在此，通过图5对眼睛的校正处理进行说明。

比较部11b根据与由步骤S13的处理所获取的两眼的大小相关的信息，对两眼的大小进行比较(步骤S41)。然后，比较部11b确定较大的一只眼睛(步骤S42)。具体而言，例如，比较部11b对两眼的各自的瞳孔的沿着Y方向连续的像素数进行比较。然后，比较部11b确定该像素数相对大的一只眼睛。

另外，比较部11b获取两眼大小的比率(步骤S43)。例如，比较部11b计算出两眼的各自的瞳孔的沿着Y方向连续的像素数的比率，作为两眼大小的比率。

在步骤S43的处理之后，校正部11c根据通过步骤S43的处理而由比较部11b计算出的两眼大小的比率，以使由步骤S42的处理确定为较大的眼睛的一只眼睛的宽度方向的大小与另一只眼睛的宽度方向的大小大致变得相同的方式，对另一只眼睛、即较小的一只眼睛进行放大的校正(步骤S44)(参照图8)。如此，眼睛的校正处理结束。

在眼睛的校正处理之后，脸部图像处理部11进行嘴角的校正处理(步骤S15)。

在此，通过图6对嘴角的校正处理进行说明。

比较部11b根据与通过步骤S13的处理所获取的两个嘴角的位置相关的信息，分别计算出两个嘴角的位置(步骤S51)。然后，比较部11b对两个嘴角的位置进行比较(步骤S52)，确定嘴角的位置高的嘴角(步骤S53)。

在步骤S53的处理之后，校正部11c将通过步骤S53的处理所确定的嘴角位置高的嘴角作为一边的嘴角，并进行校正，以使另一边的嘴角的位置与一边的嘴角的位置一致(步骤S54)(参照图8)。如此，嘴角的校正处理结束。

在嘴角的校正处理之后，显示控制部7显示由校正部11c进行的校正结果(步骤S16)。显示控制部7进行用于选择是否保存所显示的校正结果的可否保存确认显示(步骤S17)。然后，CPU10待机，直至针对通过步骤S17的处理所显示的可否保存确认显示而进行操作输入部9的决定键9c或取消键9d的输入操作为止(步骤S18：“否”)。

如果校正执行决定部11e针对通过步骤S17的处理所进行的可否保存确认显示而进行了操作输入部9的决定键9c或取消键9d的输入操作(步骤S18：“是”)，则校正执行决定部11e判定是否对操作输入部9的决定键9c进行了输入操作(步骤S19)。在对操作输入部9的决定键9c进行了输入操作的情况下(步骤S19：“是”)，校正执行决定部11e将与所显示的校正结果对应的图像数据输出到图像处理部的JPEG压缩部(步骤S20)。另一方面，当在步骤S19的判定中，在对操作输入部9的决定键9c没有进行输入操作的情况下(步骤S19：“否”)，即在操作了取消键9d的情况下，校正执行决定部11e废弃所显示的校正结果(步骤S21)，将校正前的脸部图像的图像数据输出到图像处理部的JPEG压缩部。在步骤S20或步骤S21的处理之后，校正处理结束。

在校正处理的结束之后，记录介质6记录被图像处理部的JPEG压缩部进行编码后得到的图像数据(步骤S4)。如此，处理结束。

在图2的流程图中，虽然对通过由步骤S1的处理所进行的脸部图像的拍摄所获取到的脸部图像的校正处理进行了描述，但是校正处理的进行不局限于脸部图像的摄像时。例如，也能够对记录介质6中已经存储的脸部图像的图像数据实施校正处理。

另外，在图2的流程图中，虽然对所拍摄的脸部图像的图像数据自动地进行了校正处理，但是也可以设计成能够事先设定是否在摄像后马上自动地进行脸部图像的校正。例如，可以举例出：在摄像之前，根据对操作输入部9的决定键9c或取消键9d的输入操作等来决定是否在拍摄后马上自动地进行脸部图像的校正的设定等方法。可以将所决定的是否在拍摄后马上自动地进行脸部图像的校正的设定，记录、保存在记录介质6等的存储装置中。

如上所述，根据本实施方式的摄像装置100，镜头部1、电子摄像部2以及摄像控制部3获取脸部图像，脸部图像处理部11的确定部11a确定成组的多个对应的区域，脸部图像处理部11的校正部11c生成将所确定的脸部图像的多个区域中的一个区域作为基准而对其他的区域进行了校正的脸部图像。

即，脸部图像的一个区域是没有实施任何校正的自然状态下的脸部图像，因此，通过以一个区域为基准来对其他的区域进行校正，能够使实施了校正的其他的区域的校正结果也变得自然。综上所述，根据摄像装置100，能够对脸部图像实施更自然的图像处理。

另外，确定部11a分别确定成组的多个对应的脸部构成部(例如，眼睛或嘴角等)，校正部11c以所确定的多个脸部构成部之中的一个脸部构成部为基准，对其他的脸部构成部进行校正。

由此，即使不对脸部图像的整个脸部图像区域进行校正，也能够通过对脸部构成部进行校正从而对脸部图像进行校正。因此，与对脸部图像的一个区域进行校正的情况相比，能够减轻与校正相关的处理负荷。另外，通过对脸部图像的脸部构成部进行校正，能够对脸部图像实施局部的校正。

另外，确定部11a分别确定作为多个脸部构成部而分别在脸部图像的两个区域中都存在的眼睛，校正部11c以所确定的两只眼睛中的一只眼睛为基准，对另一支眼睛进行校正。

由此，能够根据一只眼睛对脸部图像的眼睛(另一只眼睛)进行校正，因此，能够使对眼睛的校正结果变得自然。

另外，校正基准决定部11d通过设为以两眼之中较大的一只眼睛作为校正的基准的一只眼睛，且校正部11c根据一只眼睛的大小来校正另一只眼睛的大小，由此，能够使相对小的另一只眼睛的大小与相对大的一只眼睛一致。一般而言，眼睛大的脸部图像给人以表情丰富、开朗的印象，因此，通过根据大的一只眼睛对小的一只眼睛进行校正，与不实施校正的情况相比，能够使脸部图像表情丰富、开朗，看上去很美。

另外，确定部11a分别确定在脸部图像的两个区域中分别都存在的嘴角作为两个脸部构成部，且校正部11c根据所确定的两个嘴角之中的一边的嘴角，对另一边的嘴角进行校正。

由此，能够根据一边的嘴角来对脸部图像的嘴角(另一边的嘴角)进行校正，因此，能够使对嘴角的校正结果变得自然。

另外，校正基准决定部11d根据规定条件来决定成组的多个对应的区域之中的成为由校正部11c进行的校正的基准的一个区域。

由此，能够容易地决定成为校正的基准的一个区域。

例如，通过使用在上述实施方式中所示的“将由比较部11b确定为较大的眼睛的一只眼睛设为作为校正基准的一只眼睛”或“将由比较部11b确定为嘴角的位置高的嘴角的嘴角设为作为校正的基准的一边的嘴角”这样的规定条件，能够自动地决定成为校正的基准的眼睛或嘴角。在这种情况下，能够使脸部图像的校正处理自动化，因此，用户无需进行复杂的操作就能够进行脸部图像的校正处理。

另外，显示控制部7使由脸部图像处理部11的校正部11c进行的校正结果显示在显示部8上。然后，校正执行决定部11e根据由操作输入部9的决定键9c、取消键9d所接受的选择输入的内容，决定是否保存由校正部11c进行的校正。

由此，用户能够在确认了脸部图像的校正结果的基础上，决定是否对脸部图像实施校正。

另外，上述实施方式举例所示的是摄像装置100、100A的构成的一个例子，但不局限于此。本发明不局限于上述实施方式，只要在不脱离本发明的宗旨的范围内就可以进行各种改良以及设计的变更。

(变形例)

图9是表示变形例的摄像装置100A的图。

变形例的操作输入部9还具有与进行校正的脸部构成部的指定输入相关的选择键9e。

校正部11c根据通过操作输入部9的选择键9e所进行的指定输入的内容，来决定校正的脸部构成部。

具体而言，针对由确定部11a所确定的两个以上的成组的多个对应的脸部构成部，即2种类以上的成组的多个对应的脸部构成部(例如，眼睛和嘴等)，操作输入部9的选择键9e接受由校正部11c进行校正的脸部构成部的种类的指定输入。此时，可以设置成通过显示部8来显示要校正的脸部图像，用户能够在确认了脸部图像的基础上，决定要进行校正的脸部构成部的种类。

通过图10、图11的流程图对变形例的校正处理进行说明。

首先，确定部11a进行区域确定处理(步骤S61)。

在区域确定处理之后，确定部11a确定在两个区域各自都存在的脸部构成部(例如，两眼以及两个嘴角)(步骤S62)。确定部11a例如根据眼睛或嘴与其周围的脸部图像的区域的像素值、明亮度等的差来确定眼睛或嘴。另外，确定部11a获取表示与两眼大小相关的信息、与嘴的最下端的位置相关的信息以及与两边嘴角的位置相关的信息的坐标(步骤S63)。确定部11a例如获取两眼的各自的瞳孔的沿着Y方向连续的像素数，作为与两眼大小相关的信息。另外，确定部11a例如获取与图8所示的嘴的最下端的位置相关的Y方向的坐标(Y3)和两边嘴角的Y方向的坐标(Y1、Y2)，作为与嘴的最下端的位置相关的信息以及与嘴角的位置相关的信息。

在步骤S63的处理之后，脸部图像处理部11待机，直至针对由确定部11a所确定的2种类的脸部构成部(眼睛和嘴角)，操作输入部9的选择键9e接受到由校正部11c进行校正的脸部构成部的种类的指定输入为止(步骤S64：“否”)。选择键9e如果接受到由校正部11c进行校正的脸部构成部的种类的指定输入(步骤S64：“是”)，则CPU 10判定眼睛是否被指定为校正对象(步骤S65)。在眼睛被指定为校正对象的情况下(步骤S65：“是”)，脸部图像处理部11进行眼睛的校正处理(步骤S66)。

在眼睛的校正处理之后或在步骤S65的判定中，在眼睛没有被指定为校正对象的情况下(步骤S65：“否”)，CPU10判定嘴角是否被指定为校正对象(步骤S67)。在嘴角被指定为校正对象的情况下(步骤S67：“是”)，脸部图像处理部11进行嘴角的校正处理(步骤S68)。

在嘴角的校正处理之后或在步骤S67的判定中，在嘴角没有被指定为校正对象的情况下(步骤S67：“否”)，CPU10判定是否由校正部11c针对任意的脸部构成部进行了校正(步骤S69)。在校正部11c没有对任何的脸部构成部进行校正的情况下(步骤S69：“否”)，校正执行决定部11e将脸部图像的图像数据输出给图像处理部的JPEG压缩部，结束校正处理。

在步骤S69的判定中，在校正部11c对任意的脸部构成部进行了校正的情况下(步骤S69：“是”)，显示控制部7显示由校正部11c进行的校正结果(步骤S70)。另外，显示控制部7进行用于选择是否保存所显示的校正结果的可否保存确认显示(步骤S71)。然后，CPU10待机，直至针对通过步骤S71的处理所显示的可否保存确认显示而对操作输入部9的决定键9c或取消键9d进行输入操作为止(步骤S72：“否”)。

如果针对由步骤S71的处理进行的可否保存确认显示而对操作输入部9的决定键9c或取消键9d进行了输入操作(步骤S72：“是”)，则校正执行决定部11e判定是否对操作输入部9的决定键9c进行了输入操作(步骤S73)。在对操作输入部9的决定键9c进行了输入操作的情况下(步骤S73：“是”)，校正执行决定部11e将与所显示的校正结果对应的图像数据输出到图像处理部的JPEG压缩部(步骤S74)。另一方面，在步骤S73的判定中，在对操作输入部9的决定键9c没有进行输入操作的情况下(步骤S73：“否”)，即在操作了取消键9d的情况下，校正执行决定部11e废弃所显示的校正结果(步骤S75)，将校正前的脸部图像的图像数据输出到图像处理部的JPEG压缩部。在步骤S74或步骤S75的处理之后，结束校正处理。

如上所述，根据变形例，按照针对选择键9e的用户的输入操作内容，来决定由确定部11a所确定的2种类以上的脸部构成部之中的由校正部11c进行校正的脸部构成部。

由此，能够对用户希望的脸部构成部进行校正，并能够更容易地获得用户想要的脸部图像的校正结果。

作为其他的变形例，也可以使校正基准决定部11d具有根据用户的选择结果来决定成为校正的基准的区域的功能。在这种情况下，例如，显示控制部7将由电子摄像部2以及摄像控制部3所获取的脸部图像显示在显示部8上。然后，根据对选择键9e等的操作输入部9的输入操作内容，接受针对在显示部8上所显示的脸部图像的两个区域(例如，两眼或两边的嘴角等)而将哪一个区域作为校正基准的区域的由用户进行的指定输入。校正基准决定部11d按照所接受的指定输入内容来决定成为校正的基准的一个区域。

成为校正的基准的一只眼睛不局限于较大的一只眼睛，也可以是较小的一只眼睛。另外，成为校正的基准的一边的嘴角不局限于嘴角的位置高的嘴角，也可以是嘴角的位置低的嘴角。

在使校正基准决定部11d具有按照用户的选择结果来决定成为校正基准的区域的功能的情况下，也可以将与用户所选择的作为校正基准的一个区域相关的信息记录在记录介质6中。此时，可以将用户名和该用户的选择结果建立联系，以后，在该用户使用摄像装置100、100A的情况下，通过指定或选择用户名，就能够读出与该用户名建立了联系的选择结果。

通过使校正基准决定部11d具有按照用户的选择结果来决定成为校正的基准的区域的功能，用户能够将脸部图像的两个区域或在两个区域中分别存在的脸部构成部之中的用户喜欢的一个脸部构成部指定为校正的基准。由此，被校正的其他的脸部构成部是根据用户喜欢的一个脸部构成部被校正的，因此，校正后的脸部图像更接近用户的喜好。也就是说，能够更容易地获得用户所希望的脸部图像的校正结果。

本发明的图像处理装置不局限于摄像装置100、100A。例如，也可以从外部设备获取脸部图像的图像数据，对脸部图像实施校正。

另外，在上述各实施方式中，虽然以眼睛或嘴角作为脸部构成部的一例，但也可以通过确定眼睛或嘴角以外的脸部构成部(例如眉毛等)进行校正。

另外，脸部图像的校正不局限于眼睛大小的校正或嘴角位置的校正。例如，也可以对眼睛或嘴等的脸部构成部的形状或颜色、或脸部图像的两个区域的形状或颜色等进行校正。另外，也能够以3个以上的区域为组。例如，可举出生成根据额头区域的皮肤颜色而校正了脸部图像的其他区域(例如两颊等)的皮肤颜色的脸部图像的例子等。

另外，眼睛或嘴角的确定方法不局限于上述各实施方式所记载的内容。例如，可举出提取要确定的脸部构成部的轮廓的方法。另外，既可以只将被提取的轮廓内的像素作为脸部构成部，也可以将包括轮廓的方形状的区域作为脸部构成部。

另外，既可以将脸部图像分成左右，例如，以左侧的脸部图像作为基准，对右侧的脸部图像进行校正；也可以生成使左右之中的任一方的脸部图像反转的图像，进行校正，从而生成左右对称的脸部图像。

另外，也可以设置成：省略将脸部图像分成两份的处理，而由确定部11a确定成组的两个对应的脸部构成部。

另外，在上述各实施方式中，虽然将校正部11c的校正结果进行了显示，但是也可以省略该显示处理，而将校正结果自动地保存。

另外，对于脸部图像的校正，也可以设置成：校正部11c生成彼此不同的多个校正结果，通过显示该多个校正结果的每一个来进行表示。然后，也可以设置成保存多个校正结果中用户所选择的校正结果。作为表示多个校正结果的例子，可以举出表示根据较大的一只眼睛来对较小的一只眼睛进行放大校正的情况下的校正结果、和根据较小的一只眼睛来对较大的一只眼睛进行缩小校正的情况下的校正结果这两者的情况等。

通过生成彼此不同的多个校正结果，并对所保存的校正结果设置选项，从而对于用户而言，能很容易地反映更喜欢的校正结果，校正后的脸部图像更接近用户的喜好。也就是说，能够更容易地获得用户所希望的脸部图像的校正结果。

也可以根据脸部图像的倾斜来改变校正的程度。例如，在对被摄体的脸部的正面从右侧方向拍摄脸部图像的情况下，由于脸部图像的右侧的区域或脸部构成部的大小变得比左侧的区域或脸部构成部大，因此，也可以进行取得从右方向拍摄脸部图像的状态下的脸部图像的平衡的校正。

而且，虽然上述实施方式采用了在CPU10的控制下，通过驱动脸部图像处理部11来实现的构成，但不局限于此，也可以采用通过用CPU10执行规定的程序等来实现的构成。

即，预先在存储程序的程序存储器(省略图示)中存储包括获取处理程序、区域确定处理程序、脸部构成部确定处理程序、校正处理程序在内的程序。然后，也可以通过获取处理程序使CPU10发挥获取脸部图像的功能。另外，也可以通过区域确定处理程序使CPU10发挥在所获取的脸部图像中确定成组的多个对应的区域的功能。另外，也可以通过脸部构成部确定处理程序使CPU10发挥在所获取的脸部图像中确定成组的多个对应的脸部构成部的功能。另外，也可以通过校正处理程序使CPU10发挥生成脸部图像的功能，该脸部图像以由区域确定单元所确定的脸部图像的多个对应的区域或所确定的脸部图像的多个对应的脸部构成部之中的一个为基准，对其他的进行校正。

Claims (11)

1.一种图像处理装置，具有：

获取单元(1、2，3)，用于获取脸部图像；

区域确定单元(11a)，用于在由该获取单元所获取的脸部图像中，确定成组的多个对应的区域；和

校正单元(11c)，用于生成以由该区域确定单元所确定的上述脸部图像的多个对应区域之中的一个区域为基准来对其他区域进行校正的脸部图像。

2.根据权利要求1所述的图像处理装置，其特征为，

该图像处理装置还具有：

决定单元(11d)，其根据规定条件，决定通过上述区域确定单元所确定的多个对应的区域之中的成为由上述校正单元进行校正的基准的区域。

3.根据权利要求2所述的图像处理装置，其特征为，

该图像处理装置还具有：

校正基准指定接受单元(9e)，其接受由上述区域确定单元所确定的多个对应的区域之中的成为由上述校正单元进行校正的基准的区域的指定输入，

上述决定单元根据由上述校正基准指定接受单元所接受的指定输入的内容，决定成为由上述校正单元进行校正的基准的一个区域。

4.根据权利要求1所述的图像处理装置，其特征为，

上述区域确定单元还在上述脸部图像中确定成组的多个对应的脸部构成部，

上述校正单元生成脸部图像，该脸部图像以由上述区域确定单元所确定的上述脸部图像的多个对应的脸部构成部之中的一个脸部构成部为基准，对另外的脸部构成部进行了校正。

5.根据权利要求4所述的图像处理装置，其特征为，

上述区域确定单元分别确定在上述脸部图像中存在的两眼，以作为成组的多个对应的脸部构成部，

上述校正单元以由上述区域确定单元所确定的两眼之中的一只眼睛为基准，对另一只眼睛进行校正。

6.根据权利要求2所述的图像处理装置，其特征为，

上述区域确定单元分别确定在上述脸部图像中存在的两眼，以作为成组的多个对应的区域，

上述决定单元将由上述区域确定单元所确定的两眼之中较大的一只眼睛作为校正的基准，

上述校正单元根据由上述决定单元所决定的作为上述基准的眼睛的大小，对另一只眼睛的大小进行校正。

7.根据权利要求4所述的图像处理装置，其特征为，

上述区域确定单元分别确定在上述脸部图像中存在的两边的嘴角，以作为成组的多个对应的脸部构成部，

上述校正单元根据由上述区域确定单元所确定的两边的嘴角之中的一边的嘴角，对另一边的嘴角进行校正。

8.根据权利要求4所述的图像处理装置，其特征为，

该图像处理装置还具有：

校正对象指定接受单元(9e)，其接受由上述区域确定单元所确定的两个以上的成组的多个对应的脸部构成部之中的、由上述校正单元进行校正的脸部构成部的指定输入，

上述校正单元根据由上述校正对象指定接受单元所接受的指定输入的内容，决定应该校正的脸部构成部。

9.一种图像处理装置，具有：

获取单元(1、2、3)，用于获取脸部图像；

脸部构成部确定单元(11a)，用于在由该获取单元所获取的脸部图像中，确定成组的多个对应的脸部构成部；和

校正单元(11c)，用于生成脸部图像，该脸部图像是以由该脸部构成部确定单元所确定的上述脸部图像的多个对应的脸部构成部之中的一边的脸部构成部为基准而对另一边的脸部构成部进行了校正后得到的脸部图像。

10.一种图像处理方法，使图像处理装置执行：

获取脸部图像的处理(1、2、3)；

在获取的脸部图像中，确定成组的多个对应的区域的处理(11a)；和

生成以所确定的上述脸部图像的多个对应区域之中的一个区域为基准而对其他区域进行了校正后得到的脸部图像的处理(11c)。

11.一种图像处理方法，使图像处理装置执行：

获取脸部图像的处理(1、2、3)；

在所获取的脸部图像中，确定成组的多个对应的脸部构成部的处理(11a)；和

生成以所确定的上述脸部图像的多个对应的脸部构成部之中的一边的脸部构成部为基准而对另一边的脸部构成部进行了校正后得到的脸部图像的处理(11c)。

Images