CN1604621B - 摄像装置及其控制方法 - Google Patents

Abstract

本发明提供一种摄像装置及其控制方法。本发明进行摄像装置的姿势检测，根据其检测结果选择用于对拍摄物体的特征信息抽取的最佳的一种滤波处理，使处理简单，为此，在快门按钮半按压的状态期间，判断根据由姿势传感器得到的姿势信息，摄像装置是进行横向摄像还是进行纵向摄像(S105)，而且，根据判断结果，在扫描方向分别不同的2种滤波处理中，通过仅进行某一种的滤波处理，检测拍摄图像中的人物的面部，而且，根据图像中的人物的面部占有的区域确定下一次定时中的拍摄条件，而且，如果快门按钮成为完全按压状态，则根据新的拍摄条件拍摄，存储在存储卡等存储媒体中。

Description

摄像装置及其控制方法

技术领域

本发明涉及具有从图像中检测与人物的面部相当的区域的面部检测功能的摄像装置(数码照相机，数码摄像机，带照相机的便捷电话机等)以及其控制方法。

背景技术

在用数码照相机等摄像装置拍摄人物时，要求在作为主要被拍摄物体的人物的面部对准焦点，以最适于主要被拍摄物体的人物的面部的曝光进行拍摄。在以往的照相机中，根据至被拍摄物体的距离信息、被拍摄物体的反差信息或者使用者视线方向的信息，从画面内预先确定的多个区域中选择特定的区域，在该特定的区域中对焦，或者以最适于该特定的区域的曝光进行拍摄。

然而在上述的方法中，在作为主要被拍摄物体的人物的面部没有包含在预先确定的多个区域中的情况下，存在着在作为主要被拍摄物体的人物的面部不能够对焦和进行拍摄的问题。

因此，在特开2001-215403号公报中提出具有通过图像处理从图像中检测与人物的面部相当的区域的功能的照相机。如果依据该照相机，则即使人物的面部存在于拍摄图像的任何位置中，也能够在人物的面部中对准焦点，以最适于人物的面部的曝光进行拍摄。

另外，作为通过图像处理从图像中检测与人物的面部相当的区域的方法，在特开平8-63597号公报中还提出了从图像中确认为与面部相当的面部候选区，在该面部候选区与预先准备的面部的基本数据之间进行匹配，根据匹配结果判定面部候选区是否是与人物的面部相当的区域的方法。

在该特开平8-63597号公报中提出的方法由于在纵握与横握照相机的情况下，如图8所示，图像信号中的面部的朝向不同，因此需要改变朝向进行多次面部区域的检测处理。

这里，在考虑了从用照相机拍摄的图像高精度地检测人物的面部，使该检测结果反映到拍摄条件中时，要求尽可能减少面部检测需要的时间。其理由是因为当在面部的检测中花费过多的时间时，直到结束在面部对焦或者使面部成为最佳那样控制曝光的处理的时间延迟，从使用者发出拍摄的指示到照相机实际进行拍摄的释放时间的滞后增大。

因此，本发明者认为具有进行改良使得能够从拍摄的图像中高速地检测出人物的面部的余地。

发明内容

本发明是为解决这样的课题而产生的，目的在于提供能够从拍摄的图像中高速地检测人物的面部的技术。

具有本发明的拍摄元件的摄像装置之一为了解决上述的课题，具备检测摄像装置的姿势的姿势检测单元和进行根据拍摄元件的输出得到的图像内的被拍摄物体的特征抽取的特征抽取电路，根据由姿势检测单元检测出的姿势信息，特征抽取电路改变抽取被拍摄物体的特征的方法。

具有本发明的拍摄元件的摄像装置的控制方法之一为了解决这样的课题，具备检测摄像装置的姿势的姿势检测工序和进行根据拍摄元件的输出得到的图像内的被拍摄物体的特征抽取的特征抽取工序，在特征抽取工序中，根据在姿势检测工序中检测出的姿势信息，上述特征抽取电路改变抽取被拍摄物体的特征的方法。

本发明的其它特征以及优点将通过以下参照附图进行的说明进一步明确。另外，在附图中，在相同或者同样的结构中标注相同的参考号码。

附图说明

附图包含在说明书中并且构成其一部分，示出本发明的实施形态，与其记述一起用于说明本发明的原理。

图1是本实施形态中的摄像装置的结构框图。

图2是示出本实施形态中的处理顺序的流程图。

图3A示出本实施形态中的摄像装置处于横向位置时的滤波处理的扫描方向。

图3B示出本实施形态中的摄像装置处于第1纵向位置时的滤波处理的扫描方向。

图4用于说明在本实施形态中的曝光控制中使用的小区域加权。

图5示出本实施形态中的焦点调节区。

图6示出在本实施形态中的白平衡处理中使用的小区域。

图7用于说明本实施形态中的白平衡处理。

图8用于说明根据摄像装置的姿势，所得到的图像的朝向发生变化。

具体实施方式

以下，根据附图详细地说明本发明的实施形态。

图1示出本实施形态中的摄像装置的主要结构要素。本实施形态中的摄像装置是具有面部检测功能(从图像中检测与人物的面部相当的区域的功能)的摄像装置。另外，在本实施形态中，说明摄像装置是数码照相机的情况。

图1中，1是对装置整体进行控制的CPU，2是存储CPU1的处理顺序(程序)或者各种数据的ROM。3是作为CPU1的工作区使用的RAM，拍摄图像也暂时保存在这里。4是装卸自由的作为存储媒体的存储卡，5是用于把存储卡4电连接到摄像装置上的存储器插槽。6是具有快门按钮等操作按钮的操作单元。另外，快门按钮具有释放状态，半按压状态，全按压状态的3种状态，检测各种状态的传感器安装在照相机内部。

7是包括变焦镜头或者聚焦镜头的光学镜头组，8是用于进行光学镜头组7的聚焦和变焦控制的驱动器(驱动电路)。9是光圈单元，10是光圈单元9的驱动器。11是具有把经过光学镜头组7和光圈单元9成像的图像变换为电信号的光电变换功能的CCD或者CMOS等拍摄元件。12是进行各种图像处理的图像处理电路。作为该图像处理，包括Optical Black去除处理(即使光圈完全关闭，被拍摄物体的光线没有入射到拍摄元件中的状态下，由于从拍摄元件输出某些信号，因此把它们相互抵消的处理)，白平衡处理，压缩编码、解码处理等。

13是显示单元，显示拍摄图像和各种菜单。14是姿势传感器，检测摄像装置的姿势(第1纵向位置，第2纵向位置或者横向位置)，输出其检测结果。从使用者观看，姿势传感器14从成为基准的姿势出发，把以摄像装置的光轴为中心顺时针旋转45度以上的状态检测为「第1纵向位置」，把反时针旋转45度以上的状态检测为「第2纵向位置」，把除此以外的状态检测为「横向位置」。作为成为基准的状态，是用本摄像装置拍摄的矩形图像的长边朝向水平方向，短边朝向垂直方向的位置。15是面部检测处理电路，在从图像处理电路12输出的图像信号中检测与人物的面部相当的区域。

在上述结构中，在按下操作单元6的快门按钮成为全按压状态时，从拍摄元件11得到的图像信号在图像处理电路12中被压缩编码(一般是JPEG编码)，存储在连接到存储器插槽5上的存储卡4中保存。

另外，本实施形态的摄像装置具有肖像模式，风景模式，自动模式等拍摄模式。肖像模式是编程为适于人物摄影的拍摄模式，突出人物那样以人物为中心，使被拍摄景深较浅进行拍摄。风景模式是编程为适于风景摄影的拍摄模式，控制成使得焦点对准无限远距离。另外，自动模式是编程为自动判别被拍摄物体的特征进行最佳摄影的拍摄模式。

这些拍摄模式能够由操作单元6的拍摄模式切换转盘来切换。另外，本实施形态的摄像装置具有：当选择肖像模式以及自动模式时，判断为在被拍摄物体中包括人物，在以人物为中心的构图下进行拍摄的可能性高，使面部检测功能有效，当选择风景模式时，判断为在以人物为中心的构图下进行拍摄的可能性低，使面部检测功能无效的功能。

通过该功能，能够高速地进行风景模式中的拍摄处理。

图2是示出使用了面部检测功能的拍摄处理的流程图。

首先，如果检测出半按压快门按钮(步骤S101)，则CPU1在成为预先确定的第1曝光条件(光圈值和曝光时间)以及聚焦位置那样控制了光学镜头组7以及光圈单元9的状态下，取得第1图像信号(步骤S102)。使用第1图像信号，从作为缺省设定的特定区域得到的信息根据，确定第2曝光条件和聚焦位置(步骤S103)。

接着，CPU1在成为上述第2曝光条件和聚焦位置那样控制了光学镜头组7以及光圈单元9的状态下取得第2图像信号(步骤S104)。在步骤S101到步骤S104中，通过预先进行简单的曝光控制以及焦点调节控制，使图像信号中的被拍摄物体图像明确，提高检测面部的处理精度。另外，这时，CPU1根据来自姿势传感器14的检测信号，判断是横向位置摄影，第1纵向位置摄影或第2纵向位置摄影的哪一种(步骤S105)。而且，图像检测处理电路15根据其判断结果，确定是沿着拍摄图像的垂直方向进行作为用于面部检测的前处理的滤波处理(边缘检测处理)(步骤S106)，或者沿着第1水平方向进行该处理(步骤S107)，还是沿着第2水平方向进行该处理(步骤S108)，进行某一种处理。

在步骤S105中判断为横向位置的情况下，从存储器沿着垂直方向各读出1行第2图像信号，沿着垂直方向加入带通滤波，把垂直方向高频信号(边缘信息)记录到RAM3中(步骤S106)。在判断为第1纵向位置的情况下，从存储器沿着水平方向各读出1行第2图像信号，沿着水平方向加入带通滤波，把水平方向高频信号记录到RAM3中(步骤S107)。另外，在判断为第2纵向位置的情况下，从存储器在与步骤S107相反的一侧沿着水平方向各读出1行第2图像信号，沿着水平方向加入带通滤波，把水平方向高频信号记录到RAM3中(步骤S108)。

另外，这里所说的垂直方向和水平方向是把用本摄像装置拍摄的矩形图像的长边定义为水平，把短边定义为垂直方向时的方向。在横向位置中，由于可以得到图3A那样的人物的面部图像，因此在步骤S106中进行沿着该图箭头的滤波处理(边缘检测处理)，把其结果存储在RAM3中。另外，在第1纵向位置拍摄的图像由于对于本装置成为图3B所示，因此在步骤S107中进行沿着图中箭头方向的滤波处理(边缘检测处理)，然后存储到RAM3中。

对于图3A所示的面部图像和图3B所示的面部图像的双方，在进行了矩形图像的短边和沿着平行方向的边缘检测时，对于图3A的面部图像的边检测结果与对于图3B的面部图像的边缘检测结果的差别很大。因此，在本实施形态中，根据姿势传感器14的检测结果而改变进行边检测的方法。

作为其它方法，还可以考虑预先使图3B的面部图像旋转，把面部图像旋转到与图3A相同的朝向以后进行边缘检测方法，或者对于面部图像从多个方向进行边缘检测的方法，而假定第1纵向位置以及第2纵向位置使图像信号的总体旋转，或者从多个方向进行边缘检测将过多地花费处理时间。

如本实施形态所示，通过根据摄像装置的姿势，设定进行对于图像信号边缘检测的方向，即使摄像装置是某一种姿势，对于拍摄图像中的人物的面部图像也能够进行垂直方向的边缘检测，能够在很短的时间中实施正确的面部检测处理。

如果结束步骤S106、S107、S108的任一个处理，则图像检测处理电路15进行图形匹配处理(步骤S109)。在该图形匹配处理中，把保持在RAM3中的高频信号与预先存储的基准信号进行比较，通过进行与人眼的形状图形识别处理，检测出眼睛的候选群。另外，同时对于具有鼻或者嘴、耳等特征点的部分，也把高频信号与基准信号群进行比较，通过形状识别进行检测。

这时，由于判明摄像装置的姿势，因此通过在该方向的候选群中的框内进行处理，还能够使图形匹配处理简化。

如果结束图形匹配处理，则判断是否检测出了人的眼睛(双眼)(步骤S110)。在能够检测出的情况下，在上述检测出的眼睛的候选区中，与成对的眼睛相对应，进一步拉入眼睛的候选群数据。而且，根据眼睛的候选群数据和其它的部分(鼻、嘴、耳)，选择预先设定的多个非面部条件滤波中(保存在ROM2中)的一个，把通过了该滤波的部分作为「面部」(步骤S111)。而且，图像检测处理电路15把判断为「眼睛」以及「面部」的区域的大小和位置返送到CPU1(步骤S112)。然后，CPU1根据检测出的面部区在测光区中进行加权，把以双眼为中心的区域设定为焦点调节区(步骤S113)。

另外，在数码照相机的情况下，一般拍摄图像实时地显示在显示部分13中，而在上述的快门按钮半按压的状态下，能够检测出人物的面部(特别是眼睛)时，使得在显示部分13中显示完成了面部检测的含义的预定的标记。通过这样做，能够告知本装置在人物的面部上设定了最佳的拍摄条件。

另一方面，在步骤S110中，在双眼的检测失败的情况下，设定缺省的测光区和焦点调节区(步骤S116)，根据这些区域的输出进行曝光控制和焦点调节控制。

总之，如果设定测光区和焦点调节区，则判断是否完全按压了快门按钮(步骤S114)，只要是半按压状态则就反复进行上述处理。另外，如果检测出全部按压了快门按钮(步骤S114)，则控制光圈单元9使得最新的测光区成为最适宜的亮度，驱动光学镜头组7使得焦点对准最新的焦点调节区，进行拍摄，把所得到的图像信号压缩编码，写入到存储卡4中(步骤S115)。

这里，详细地说明步骤S115中的曝光处理和焦点调节处理。

如图4所示，把预先设定的画面分割为小块(小区域)，在每个块计算出亮度值。图中，用椭圆包围的区域是在面部检测处理电路15中检测出的面部区。这时，根据各块内的面部区所占的比例进行加权。在图示的情况下，示出5级加权，“5”示出在该块内仅存在面部区的情况，对于包括面部区和非面部区双方的块，设定与其比例对应的值，对于仅完全存在非面部区的块分配“1”的值。

其结果，各块的亮度值Bi(i＝1，2......，块总数)，当把各个加权值记为Di时，图像整体的积分亮度TB表示如下

TB＝∑Bi×Di

接着，拉深光圈使各亮度值的积分亮度值的平均亮度值成为预先设定的目标亮度值，计算快门速度。依据这种结构，能够实现使面部区优先，亮度成为最佳的曝光修正。特别是，即使在逆光下也能够成为在人物上最佳的曝光水平。当然，也可以不进行加权仅使用从由面部检测处理电路15检测出的面部区所得到的亮度值进行曝光修正。

另外，如图5所示，设定焦点调节区使得包括所检测出的双眼，控制光学镜头组7使得在该焦点调节区内对焦。

具体地讲，使光学镜头组7在每个预先确定的步进宽度移动焦点，每次都实施拍摄，从所设定的焦点调节区的区域的图像信号生成亮度信号，通过加入带通滤波生成高频信号。而且，把各个高频信号群的绝对值之和作为AF(自动聚焦)信号，把AF信号的值最大的位置判断为对焦位置，进行把包含在光学镜头组7中的聚焦镜头设定在该位置的处理。

另外，当相当于面部而检测出的面部区存在多个时，在各个面部区计算上述处理，其结果使聚焦镜头移动到判定为最近距离的对焦位置。通过这种结构，能够始终提高对于面部特别是对于眼睛的对焦精度。

另外，如图6所示，把画面分割为由RGB彩色滤波器覆盖的多个小块，使用以下的公式在各个块中计算白评价值(Cx，Cy)。

Cx＝(R-B)/Y

Cy＝(R+B-2G)/Y

R、B和G是把分别通过了R、B滤波器和G滤波器的光束进行光电变换得到的值，Y是计算这些R、B和G的值得到的亮度值。

如果各色评价值进入到预先设定的白检测范围内(图7)，则判断(称为白搜索)为白，从判断为白的块的像素积分值计算出白平衡增益。这是通常使用的白平衡的基本算法，而如图7所示，在低色温光源下的白色被拍摄物体和高色温光源下的肤色被拍摄物体中，由于色评价值成为几乎相同的值，因此不能够进行正确的色温判别。在本实施形态中，为了避免这一点，从白搜索对象中去除判断为面部的小块。另外，不是仅检测白，被判断为面部的区域与白检测相同，也进行肤色检测，通过从预先设定的肤色-色温特性曲线特定色温，能够计算出正确的光源色温。

如以上说明的那样，如果依据本实施形态，则由于根据摄像装置的姿势(横向位置或者纵向位置)变更面部检测单元的检测方法，因此能够从拍摄的图像中高速地检测人物的面部。

另外，在本实施形态中，说明了摄像装置是数码照相机的情况，而本发明并不限于这样的实施形态。本发明也能够在数码照相机以外的装置(数码摄像机，带照相机的便捷电话机等)中实施。

另外，本实施形态中，在拍摄模式是肖像模式或者自动模式的情况下使面部检测功能有效，而本发明并不限于这样的实施形态。例如，本实施形态中的摄像装置中，还能够添加即使在拍摄模式是肖像模式或者自动模式的情况下，也能够根据来自使用者的指示使面部检测功能无效的人工设定功能。

另外，在本实施形态中检测人物的眼睛的位置，通过根据该检测值检测其它的部分，检测出了与面部相当的区域，但并不限于这种方法，即使是在只检测眼镜的情况下，或者仅检测其它部分的情况下，通过根据摄像装置的姿势改变检测方法，也能够适用本发明。

如以上说明的那样，如果依据本发明，则由于根据摄像装置的姿势变更面部检测单元的检测方法，因此能够从拍摄的图像中高速地检测人物的面部。

另外，在不脱离本发明的精神和范围的情况下本发明还能够有多种不同的实施形态，除去由后述的权利要求限定的以外，本发明并不限于特殊的实施形态。

Claims (8)

1.一种摄像装置，该摄像装置具有拍摄元件和抽取根据上述拍摄元件的输出得到的图像内的被拍摄物体的特征的特征抽取电路，其特征在于具有：

检测上述摄像装置的姿势的姿势检测单元，以及

对于根据上述拍摄元件的输出得到的图像，从不同的多个方向进行边缘检测的边缘处理电路，

其中，上述特征抽取电路根据由上述姿势检测单元检测出的姿势信息，选择上述边缘处理电路的边缘检测方向，使用选择了边缘检测方向的上述边缘处理电路的输出而抽取上述被拍摄物体的特征。

2.根据权利要求1所述的摄像装置，其特征在于具有：

根据由该特征抽取电路抽取出的被拍摄物体的特征信息，控制上述拍摄元件的拍摄条件的控制电路。

3.根据权利要求1所述的摄像装置，其特征在于：

上述被拍摄物体的特征信息是上述图像中的人物的面部占有的区域的位置信息以及上述图像中的人物的眼睛占有的区域的位置信息中的至少一种。

4.根据权利要求2所述的摄像装置，其特征在于：

上述被拍摄物体的特征信息是上述图像中的人物的面部占有的区域的位置信息以及上述图像中的人物的眼睛占有的区域的位置信息中的至少一种，

上述控制电路进行焦点调节使得在基于上述特征信息的预定部分区域中对焦。

5.根据权利要求2所述的摄像装置，其特征在于：

上述被拍摄物体的特征信息是上述图像中的人物的面部占有的区域的位置信息，

上述控制电路根据亮度信息进行曝光控制，其中，该亮度信息是以基于上述特征信息的预定部分区域为基准加权的亮度信息。

6.根据权利要求1所述的摄像装置，其特征在于：

具有切换拍摄程序的拍摄模式设定单元，

其中，上述特征抽取电路在由上述拍摄模式设定单元设定了预定的拍摄程序时，不进行上述被拍摄物体的特征抽取。

7.一种摄像装置的控制方法，该摄像装置具有拍摄元件和抽取根据上述拍摄元件的输出得到的图像内的被拍摄物体的特征的特征抽取电路，其特征在于具有：

检测上述摄像装置的姿势的姿势检测工序，以及

选择对根据上述拍摄元件的输出得到的图像进行边缘检测的方向的边缘检测处理工序，

其中，根据在上述姿势检测工序中检测出的姿势信息，在上述边缘检测处理工序中选择边缘检测方向，使上述特征抽取电路在所选择的边缘检测方向对图像进行边缘检测，抽取上述被拍摄物体的特征。

8.根据权利要求7所述的摄像装置的控制方法，其特征在于具有：

根据由该特征抽取电路抽取出的被拍摄物体的特征信息，控制上述拍摄元件的拍摄条件的控制工序。

Images