CN102780893B

CN102780893B - 图像处理设备及其控制方法

Info

Publication number: CN102780893B
Application number: CN201210147488.1A
Authority: CN
Inventors: 片山达嗣
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-05-11
Filing date: 2012-05-11
Publication date: 2015-03-11
Anticipated expiration: 2032-05-11
Also published as: JP5917017B2; US20120287246A1; CN102780893A; JP2012239006A

Abstract

本发明涉及图像处理设备及其控制方法。该图像处理设备能够以叠加在三维视频图像上的方式适当地显示面部框。在作为图像处理设备的三维摄像设备中，通过拍摄被摄体获取两个视频图像，并在两个视频图像中的各视频图像内检测面部区域。在两个视频图像中的一个视频图像内检测到的面部区域和在两个视频图像中的另一视频图像内检测到的面部区域相关联。三维摄像设备生成包括显示面板上要显示面部区域图像的位置的面部区域相关信息。根据面部区域相关信息生成面部区域图像。将两个视频图像与各面部区域图像合成，并将合成后的视频图像输出至显示面板。

Description

图像处理设备及其控制方法

技术领域

本发明涉及图像处理设备、控制图像处理设备的方法和存储介质，尤其涉及能够显示三维视频图像的图像处理设备、控制该图像处理设备的方法和存储介质。

背景技术

近年来，作为三维(3D)视频图像提供的电影等的数量增大，并且根据该趋势，正在开发能够进行三维显示的家用TV设置。此外，已知设置有两个摄像光学系统的照相机作为用于拍摄3D视频图像的设备，并且消费型三维拍摄照相机也已经出现。

最近的数字照相机和视频照相机均配备有用于在拍摄前检测人物并在照相机的液晶面板上所显示的面部区域上叠加面部框的功能。照相机使用面部框内的图像控制曝光、聚焦等的拍摄参数，从而照相机能够获得对于人物被摄体最优化的图像。

关于上述三维拍摄照相机，通过对照相机主体设置可以观看三维图像的显示部，可以在检查三维效果的同时进行拍摄。在该情况下，三维地显示正在拍摄的被摄体，因此，需要在三维显示的同时在人面部区域上叠加面部框。

传统地，提出了以下装置：通过在三维图像数据上叠加用于指示三维图像上的预定位置的鼠标指针或要与三维图像一起显示的文字信息来显示三维图像数据(参见例如日本特开2001-326947)。

该三维图像显示装置连接至一般的个人计算机并用于使用鼠标编辑三维图像或使用键盘将文字输入至三维图像。在该装置中，当在三维图像上存在诸如鼠标指针等的指示单元时，进行控制以根据三维图像上放置指示单元的位置处的视差来显示具有视差的指示单元，以提高三维图像上的指示单元的可视性。

在该相关背景技术中，当对利用三维拍摄照相机所拍摄的左右视频图像进行面部检测时，面部框的大小和面部框相对于面部区域的相对位置在左右视频图像之间变化。

这将参考图22详细说明。在图22中，对三维拍摄照相机所拍摄的左右视频图像1901和1902进行面部检测，并且根据面部检测的结果以在各面部区域上叠加的方式显示面部框1903~1908。由于分别对左右视频图像1901和1902进行面部检测，因而各面部框的大小和面部框相对于相关联的面部区域的相对位置在左视频图像1901和右视频图像1902之间变化。

结果，在三维观看时面部框看上去双重模糊，或者导致面部和面部框之间的三维效果的差异，或者左右面部框对相关联的人物被摄体的移动跟随的程度不同，这降低了三维图像的可视性。

日本特开2001-326947所公开的技术用于根据诸如鼠标指针等的指示单元的位置来调整指示单元的视差。因此，将鼠标指针的大小等设置为预定值，以使得不在左右图像之间变化。关于左右图像各自上的指针的移动，检测鼠标操作，并且基于检测的结果调整显示位置和视差。

因此，不能基于从经由左右摄像系统各自输入的视频图像所检测到的信息而在适当的位置三维地显示诸如面部框等的标记。

发明内容

本发明提供一种能够以叠加在三维视频图像上的方式适当地显示面部框的图像处理设备、控制图像处理设备的方法和存储介质。

在本发明的第一方面中，一种图像处理设备，其包括显示单元，所述图像处理设备包括：获取单元，用于获取通过拍摄被摄体而获得的两个视频图像；检测单元，用于检测所述获取单元所获取的两个视频图像中的各视频图像内的面部区域；面部区域设置单元，用于将所述检测单元在所述两个视频图像中的一个视频图像内检测到的面部区域与所述检测单元在所述两个视频图像中的另一视频图像内检测到的面部区域相关联，并且设置相关联的面部区域显示在所述显示单元上的位置和大小，以使得所述相关联的面部区域的位置和大小相互一致；面部区域相关信息生成单元，用于生成面部区域相关信息，所述面部区域相关信息包括所述显示单元上要显示表示所述面部区域设置单元所设置的面部区域的面部区域图像的位置；面部区域图像生成单元，用于根据所述面部区域相关信息生成单元所生成的面部区域相关信息来生成所述面部区域图像；以及输出单元，用于分别将所述两个视频图像与所述面部区域图像生成单元所生成的面部区域图像进行合成，并且将合成后的视频图像输出至所述显示单元。

在本发明的第二方面中，一种控制图像处理设备的方法，所述图像处理设备包括显示单元，所述方法包括：获取通过拍摄被摄体而获得的两个视频图像；检测所获取的两个视频图像中的各视频图像内的面部区域；将在所述两个视频图像中的一个视频图像内检测到的面部区域与在所述两个视频图像中的另一视频图像内检测到的面部区域相关联，并且设置相关联的面部区域显示在所述显示单元上的位置和大小，以使得所述相关联的面部区域的位置和大小相互一致；生成面部区域相关信息，所述面部区域相关信息包括所述显示单元上要显示表示所设置的面部区域的面部区域图像的位置；根据所生成的面部区域相关信息来生成所述面部区域图像；以及分别将所述两个视频图像与所生成的面部区域图像进行合成，并且将合成后的视频图像输出至所述显示单元。

在本发明的第三方面中，一种非瞬态计算机可读存储介质，其存储用于执行控制图像处理设备的方法的程序，所述图像处理设备包括显示单元，其中，所述方法包括：获取通过拍摄被摄体而获得的两个视频图像；检测所获取的两个视频图像中的各视频图像内的面部区域；将在所述两个视频图像中的一个视频图像内检测到的面部区域与在所述两个视频图像中的另一视频图像内检测到的面部区域相关联，并且设置相关联的面部区域显示在所述显示单元上的位置和大小，以使得所述面部区域的位置和大小相互一致；生成面部区域相关信息，所述面部区域相关信息包括所述显示单元上要显示表示所设置的面部区域的面部区域图像的位置；根据所生成的面部区域相关信息来生成所述面部区域图像；以及分别将所述两个视频图像与所生成的面部区域图像进行合成，并且将合成后的视频图像输出至所述显示单元。

根据本发明，可以提供能够以叠加在三维视频图像上的方式适当地显示面部框的图像处理设备。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是作为根据本发明第一实施例的图像处理设备的三维摄像设备的示意框图。

图2是图1中出现的右眼观看面部检测部的示意框图。

图3是示出图1中的三维摄像设备的显示面板上所显示的视频图像的例子的图。

图4是用于说明被摄体图像之间的差的图。

图5是投影面上所获得的左视频图像和投影面上所获得的右视频图像的图。

图6是示出在左右视频图像之间切换的定时的图。

图7是示出左右摄像光学系统正在拍摄人物被摄体的状态的示意图。

图8A是各自包含两个被摄体图像的左右视频图像的示意图。

图8B和8C是示出各自的相关值的图。

图9是与各自的面部框合成后的左右视频图像的示意图。

图10是在左右摄像光学系统正在拍摄被摄体时被摄体移动至箭头所表示的位置的情况下所获得的面部框的示意图。

图11是示出根据被摄体的移动而移动被摄体图像和面部框的状态的示意图。

图12是示出从面部区域的检测至面部区域的显示的处理的时序图。

图13是图1中出现的MPU所执行的面部框绘制处理的流程图。

图14是示出校正视差以使得三维视图中的面部框看起来分别与由虚线表示的初始位置相比位于被摄体的更前面的位置处的典型情况的图。

图15A、15B和15C是示出面部区域图像的例子的图，其中，图15A示出使用箭头GUI组件的典型情况，图15B示出使用各自具有部分开口的矩形形状的GUI组件的典型情况，以及图15C示出使用符号A和B识别由各面部框所表示的人物的典型情况。

图16是作为根据本发明第二实施例的图像处理设备的三维摄像设备的示意框图。

图17是图16中出现的防振处理部的示意框图。

图18A是分别由右眼观看面部检测部和左眼观看面部检测部检测到的各被摄体图像的面部区域的示意图。

图18B和18C是示出各自的相关值的图。

图19是要输出至显示面板的左右视频图像和面部框的示意图。

图20是示出根据被摄体的移动来移动被摄体图像和面部框的状态的示意图。

图21A是示出面部框的移动量和动画绘制所需的移动量之间的关系的图。

图21B是示出针对移动量的插值所生成的图形线的图。

图22是用于说明各面部框相对于其它面部框的位置的变化的图。

具体实施方式

以下将参考示出本发明实施例的附图详细说明本发明。

注意，在本实施例中，将本发明的图像处理设备应用至三维摄像设备。

图1是作为根据本发明第一实施例的图像处理设备的、由附图标记10表示的三维摄像设备的示意框图。

参考图1，右眼观看光学系统(光学系统R)101和左眼观看光学系统(光学系统L)104均包括具有变焦透镜的镜头。右眼观看摄像部(摄像部R)102和左眼观看摄像部(摄像部L)105均包括诸如CMOS传感器或CCD传感器等的摄像装置和模拟数字转换器，摄像装置用于拍摄来自相关联的透过右眼观看光学系统101和左眼观看光学系统104的光的图像。右眼观看信号处理器(信号处理器R)103和左眼观看信号处理器(信号处理器L)106各自进行包括对从相关联的右眼观看摄像部102和左眼观看摄像部105输出的信号进行转换的处理。存储器107存储视频数据、编码数据和控制数据等。在以下说明中，还将右眼观看光学系统101、右眼观看摄像部102和右眼观看信号处理器103总称为右眼观看摄像光学系统(摄像光学系统R)130。同样，还将左眼观看光学系统104、左眼观看摄像部105和左眼观看信号处理器106总称为左眼观看摄像光学系统(摄像光学系统L)131。这些摄像光学系统130和131与用于获取通过拍摄被摄体所产生的两个视频图像的获取单元相对应。

右眼观看面部检测部(面部检测部R)108和左眼观看面部检测部(面部检测部L)109与用于检测通过摄像光学系统130和131所产生的两个视频图像各自的面部区域的检测单元相对应。

视差信息检测部110基于从右眼观看面部检测部108和左眼观看面部检测部109各自获取的面部区域信息来检测视差信息，从而关联从两个视频图像各自检测到的面部区域。视差信息检测部110与面部区域设置单元相对应，面部区域设置单元用于将由右眼观看面部检测部108和左眼观看面部检测部109中的一个在两个视频图像中的一个视频图像内检测到的面部区域与由面部检测部R108和L109中的另一个在另一视频图像内检测到的面部区域相关联，并使得用于在显示面板114上显示的相关联的面部区域各自的位置和大小相互一致。

面部框控制部111基于来自相关联的右眼观看面部检测部108和左眼观看面部检测部109的面部区域信息和视差信息检测部110所检测到的视差信息来控制各面部框的显示位置和大小以及面部框的移动。面部框控制部111与面部区域相关信息生成单元相对应，面部区域相关信息生成单元用于生成包括显示面板114上的如下位置的面部区域相关信息，其中，在该位置处，根据基于视差信息检测部110所检测到的视差信息而设置的面部区域，显示表示该面部区域的面部区域图像。

图形处理器112生成要叠加在所拍摄图像上的诸如图标和字符串等的GUI组件。此外，图形处理器112基于来自面部框控制部111的信息来生成面部框GUI组件，并在存储器107的预定区域中绘制GUI组件。图形处理器112与用于根据面部区域相关信息生成面部区域图像(例如，诸如图标和字符串等的GUI组件)的面部区域图像生成单元相对应。

视频信号处理器113将经由右眼观看光学系统101和左眼观看光学系统104所拍摄的视频数据和图形处理器112所绘制的GUI组件进行合成，然后，将合成后的图像输出至显示面板114。视频信号处理器113与用于将两个视频图像和面部区域图像进行合成并且将表示所产生的合成图像的各视频信号输出至显示面板114的输出单元相对应。

显示面板114(显示单元)基于从视频信号处理器113输出的视频信号来显示合成后的视频图像。可以例如通过液晶面板或有机EL(电致发光)面板来实现显示面板114。以下将说明三维视频图像的显示。

编码部115对存储在存储器107中的、针对后述的一对左右液晶快门眼镜120的左右视点的左右眼视频数据进行压缩编码，并将压缩编码后的数据存储在存储器107中。此外，在再现的情况下，编码部115对从存储介质117读出并存储在存储器107中的压缩编码后的数据进行解码，然后，将解码后的数据存储在存储器107中。

记录和再现部116将存储器107中存储的编码数据写入存储介质117中，此外，记录和再现部116读出存储介质117中记录的数据。

作为存储介质117，可以使用诸如闪速存储器或SD卡等的半导体存储器、诸如DVD或BD等的光盘、或硬盘等。

控制台部118检测诸如按钮和开关等的操作构件的操作状态。此外，当显示面板114上覆盖有触摸面板时，控制台部118检测手指或笔在触摸面板上的触摸操作或移动。

MPU(微处理器)119能够经由未示出的控制总线控制各种处理块。此外，MPU 119进行各种计算处理等来控制设备的整体操作。

外部连接接口121连接至视频信号处理器113并且在本实施例中将预定同步信号等输出至用于三维显示的液晶快门眼镜120。

左右液晶快门眼镜120被配置为可以根据预定同步信号使得各液晶快门交替打开和关闭，从而使得用户能够在拍摄或再现期间观看三维视频图像。

图2是图1中出现的右眼观看面部检测部108的示意框图。

将拍摄视频图像临时存储在存储器107中。右眼观看面部检测部108的特征点提取部202接收右眼观看用的右拍摄视频图像并检测特征点。特征点包括视频边缘信息、颜色信息和轮廓信息。

所提取的特征点的特征数据被传送至面部区域判断部203并对其进行预定处理，从而判断面部区域。可以使用各种已知的技术来进行面部区域的判断。例如，一种可用方法是基于边缘信息提取作为面部的组成要素的眼部、鼻部和嘴部的区域，并且在区域之间的相对位置满足预定关系时，将包含各组成要素的区域的较大区域判断为面部区域。另一可用方法是当作为肤色区域而被提取的区域的形状和大小落入匹配人物被摄体的范围内时，将该肤色区域判断为面部区域。

面部位置和大小生成部204根据从面部区域判断部203输出的数据来生成与面部区域的中心位置和二维大小有关的信息。将所生成的数据输出至视差信息检测部110。

左眼观看面部检测部109除了使用左眼观看用的左拍摄视频图像以外，进行与右眼观看面部检测部108相同的处理，因此省略其说明。

图3是示出图1中的三维摄像设备10的显示面板114上所显示的视频图像的例子的图。

在图3中，通过线缆将左右液晶快门眼镜120连接至三维摄像设备10。显示面板114由液晶面板形成，并显示正在拍摄的视频图像。

假定在不戴液晶快门眼镜120的情况下观看针对三维观看所拍摄的视频图像，将通过左右摄像光学系统分别获得的被摄体图像150和151显示为重像，其中，被摄体图像150和151相互移位。

图4是用于说明被摄体图像之间的移位的图。

在图4中，当利用左右摄像光学系统130和131拍摄被摄体132时，投影在投影面133和134上的被摄体图像在投影面上的位置不同，这导致了被摄体图像之间的移位。

图5是经由投影面133获得的左视频图像和经由投影面134获得的右视频图像的图。

在图5中，被摄体图像135和136是被摄体132的视频图像。如图5所示，在各自不同的位置显示被摄体图像135和136。当根据垂直同步信号在显示面板114上交替显示这两个视频图像并在不使用液晶快门眼镜的情况下观看时，如图3所示，被摄体132被观看为重像。

将如图5所示左右视频图像之间的被摄体图像的位置的水平移位称为视差。视差随着从摄像光学系统至被摄体的距离的改变而改变。

图6是示出用于在左右视频图像之间切换的定时的图。

在三维显示时，如图6所示以例如左1、右1、左2、右2的序列在左右视频图像之间切换的同时交替显示所拍摄的左右视频图像。通过图1中出现的视频信号处理器113来进行该处理。根据垂直同步信号来进行显示切换。与视频信号之间的切换同步地经由外部连接接口121输出同步信号。

液晶快门眼镜120根据如图6所示的同步信号打开和关闭左快门和右快门。结果，在左1的视频图像的显示期间仅打开左快门，并且因此仅投向左眼投影图像。另一方面，在右1的视频图像的显示期间仅打开右快门，并且因此仅投向右眼投影图像。通过重复和交替进行这些操作，拍摄者可以将正在拍摄的视频图像观看为三维图像。

图7是示出正在利用左右摄像光学系统拍摄人物被摄体300和301的状态的示意图。

图8A示出各自包含两个被摄体图像的左右视频图像，以及图8B和8C示出各自的相关值。

将通过拍摄图7中出现的被摄体300和301所拍摄的左右图像分别显示为图8A所示的左右视频图像。将利用右眼观看面部检测部108以及左眼观看面部检测部109各自检测到的被摄体图像302和303以及306和307的面部区域分别显示为矩形面部区域304和305以及308和309。

视差信息检测部110使用从右眼观看面部检测部108和左眼观看面部检测部109获取的面部区域信息和拍摄图像数据将左视频图像的面部区域和右视频图像的面部区域相关联并检测左面部区域和右面部区域之间的视差。

首先，使用与在左视频图像内检测到的面部区域304和305有关的信息，从存储器107中存储的拍摄视频图像获得参考图像。使用面部区域304获得图8B中出现的参考图像310。使用面部区域305获得图8C中出现的参考图像311。

设置搜索区域以从图8A的右视频图像检测与参考图像310相对应的面部区域。在本示例中，沿着穿过矩形面部区域304的垂直中心的扫描线320进行搜索处理。因此，沿着右视频图像上的扫描线320水平移动参考图像310的垂直中心，从而确定参考图像310和右视频图像之间在各预定采样点处的相关值。使用已知的技术计算相关值。例如，面部区域304的图像以重叠方式放置在右视频图像上，并且确定面部区域304的各像素的值和右视频图像的在位置上与面部区域304的像素相对应的像素的值之间的差。每当沿着扫描线320移动面部区域304时计算像素值的差的总和。进行像素差计算的两个图像越相似，这两个图像之间的像素值的差的总和越小。因此，可以使用差的总和的倒数作为相关值。

图8B示出参考图像310和右视频图像之间的相关值。在图8B中，相关值越大，表示相似度越高。相似度在参考图像310处于峰值位置312时最高，因此，在峰值位置312处，图8A中的面部区域308与面部区域304相关联。

同样，图8C示出使用从面部区域305获得的参考图像311沿着扫描线321进行搜索处理时获得的相关值。该相关值在参考图像311处于峰值位置313时最高，因此，在峰值位置313处，面部区域305与面部区域309相关联。

注意，针对各峰值位置处的相关值设置图8B和8C中出现的阈值350，以评价两个面部区域之间的关联的可靠性。左右视频图像各自的两个面部区域仅当在峰值位置处的相关值不小于所设置的阈值时相互关联，而当峰值小于阈值时不关联。不相互关联的面部区域不需要在其上叠加面部框，因此，不对该面部区域进行下述的处理。这防止将面部框叠加在例如左右视频图像中的仅一个视频图像的所拍摄的被摄体的面部上。如上所述，当最大相关值小于预定阈值时，图形处理器112不生成面部区域图像。

尽管在图8B和8C中，沿着右视频图像的预定扫描线进行用于获得水平方向上的一行的相关值的处理，但可以仅在右视频图像内所检测到的面部区域308或309的附近获得相关值以缩短处理时间。

此外，尽管在本示例中，基于与左视频图像内的面部区域有关的信息生成参考图像，但可以从右视频图像生成参考图像。通过执行上述处理序列，可以关联面部区域。

基于与相关联的面部区域有关的信息来调整用于面部框的叠加的视差。在本示例中，使用获得相关值的峰值(最大相关值)的位置来设置面部框之间的视差。

更具体地，在左视频图像内，将面部区域304和305各自的水平和垂直中心位置设置作为各面部框的中心。设置右视频图像内的面部区域308的面部框以使得该面部框的水平中心与图8B中的峰值位置312相对应，并且该面部框的垂直中心与扫描线320相对应。对于面部区域309，设置其面部框以使得该面部框的水平中心与图8C中的峰值位置313相对应并且该面部框的垂直中心与扫描线321相对应。

由此，视差信息检测部110生成表示在两个视频图像中的一个视频图像内检测到的面部区域的图像作为参考图像，然后，基于另一个视频图像的与该参考图像的相关值最高的区域，将在该另一个视频图像内检测到的面部区域与在该一个视频图像内检测到的面部区域相关联。

将两个面部区域的大小进行相互比较，并将面部框的大小设置为较大面部区域的大小。因此，在图8A中的面部区域304和面部区域308之间，将较大的面部区域308的大小设置作为面部框大小。此外，在面部区域305和面部区域309之间，将较大的面部区域305的大小设置作为面部框大小。

通过将面部区域的宽度和高度相乘来计算各面部区域的面积以进行各面部区域的大小之间的比较，并且将具有较大面积的一个面部区域的宽度和高度选择作为面部框的大小。

尽管在本示例中，在相关联的各面部区域的面积之间进行比较，但可以分别对相关联的面部区域的宽度和高度进行比较，并且可以选择具有最大宽度值和高度值的面部区域的宽度和高度。如上所述，视差信息检测部110使得面部框的大小与相关联的面部区域中面积较大的面部区域的大小相等。

视差信息检测部110通过上述处理生成与相互关联的一对面部区域以及要对各面部区域设置的面部框的位置和大小有关的信息(面部区域相关信息)，并将该信息输出至面部框控制部111。

面部框控制部111将与要绘制的面部框的坐标、面部框的颜色和面部框的形状有关的信息在预定时刻输出至图形处理器112。图形处理器112基于所获取的信息生成面部框GUI组件，并在存储器107的预定区域中将面部框GUI组件的图像形成为OSD(在屏显示)帧。

视频信号处理器113从存储器107读出左右视频图像和如上形成的包括面部框的左右OSD帧，并将OSD帧中各帧和相关联的视频图像进行合成，并将合成后的左右视频图像输出至显示面板114。

图9是与各自的面部框合成后的左右视频图像的示意图。

将面部框330、331、332和333分别叠加在被摄体图像302、303、306和307上。通过上述处理调整针对相关联的面部区域的面部框之间的视差，并以相同的大小绘制面部框。

图10是在当左右摄像光学系统正在拍摄被摄体501时被摄体501移动至箭头所表示的位置的情况下所获得的面部框的示意图。

在图10中，基于面部框的视差将面部框502和503虚拟地设置在被摄体空间中。可以根据被摄体的移动来调整面部框的视差，从而实现面部框的三维效果和被摄体的三维效果之间的一致。

图11是示出根据被摄体的移动来移动被摄体图像和面部框的状态的示意图。

随着被摄体移动，左视频图像内的被摄体图像507移动至被摄体图像506的位置，并且根据被摄体图像的移动，面部框505也移动至面部框504的位置。同样，在右视频图像内，被摄体图像511移动至被摄体图像510的位置，面部框509移动至面部框508的位置。

图13是图1中出现的MPU 119所执行的面部框绘制处理的流程图。

将参考图12和13说明用于根据面部框的移动而更新面部框的定时。首先，参考图12，由各虚线表示的时间点T1~T11与垂直同步信号的定时相对应。此外，“面部检测L”示出左眼观看面部检测部109的状态，以及“面部检测R”示出右眼观看面部检测部108的状态。“视差检测/面部框控制”示出视差信息检测部110和面部框控制部111的控制。“图形处理”示出图形处理器112的控制。“视频信号处理”示出视频信号处理器113的控制。

左眼观看面部检测部109和右眼观看面部检测部108各自可以在任意时刻开始面部检测，但在图12中，假定例如在时刻T1同时开始左右面部检测。因此，在图13中，左眼观看面部检测部109和右眼观看面部检测部108各自进行操作以开始面部区域更新(步骤S701)，然后，等待更新处理的完成(步骤S702)。然而，左右视频图像不相同，因此，在左右视频图像内检测面部所耗费的时间通常不同。再次参考图12，左眼观看面部检测部109(“面部检测L”)在时刻T3和T4之间完成处理，然后设置面部区域信息。另一方面，右眼观看面部检测部108(“面部检测R”)在时刻T2和T3之间完成处理，然后设置面部区域信息。

在步骤S702中，检测是否更新了面部区域，并且当在图12的时刻T41获得左右面部检测的结果时，判断为更新了面部区域(步骤S702中为“是”)。然后，视差信息检测部110获取左右面部区域各自的中心坐标和大小(步骤S703)。

此后，视差信息检测部110参考左视频图像内的面部区域而生成参考图像(步骤S704)，并开始视差检测(步骤S705)。当在图12的时刻T61完成视差检测时，判断为完成了视差检测(步骤S705中为“是”)，并且处理进入步骤S706。

面部控制部111基于视差信息来调整左面部框信息和右面部框信息(步骤S706)。在图12中，在时刻T81在图形处理器112中设置面部框信息，从而开始左右面部框的绘制(步骤S707)。然后，等待面部框的绘制的完成(步骤S708)。

当面部框的绘制完成时(步骤S708中为“是”)，如图12所示，在时刻T91，视频信号处理器113读出所绘制的面部框的数据，并且设置适用于显示面板114的输出(步骤S709)。因此，在时刻T10，更新并显示显示面板114上的面部框。即，将到目前为止所显示的显示1的画面更新至面部框移动了的显示2的画面。重复执行上述处理序列，从而进行面部框的移动。

如图12所示，在同一垂直同步信号的同一时刻移动左右面部框，这防止分别移动左右面部框。

图14是示出校正视差以使得三维视图内的面部框404和405看起来分别与由虚线表示的初始位置相比位于被摄体400和401的更前面的位置处的典型情况的图。

如图14所示，可以进行面部框的视差的偏移量调整以使得可以三维观看到面部框404和405在各被摄体400和401的前方，从而使得面部框404和405在三维观看时清晰可见。由此，面部区域图像可以在显示面板114上显示在表示与面部区域图像相关联的面部的图像前方。

结果，可以如同被摄体的面部在画框中一样三维地观看面部。因此，即使发生检测误差等，也可以防止面部看上去如同从面部框向前投影一样从而导致拍摄者感觉不自然。

尽管在本实施例中，由矩形框包围面部区域，但也可以使用其它GUI组件来显示面部区域。

图15A、15B和15C是示出面部区域图像的例子的图。图15A示出使用箭头GUI组件的典型情况。图15B示出使用具有部分开口的矩形形状的GUI组件的典型情况。图15C示出使用符号A和B来识别由各面部框所表示的人物的典型情况。

参考图15A，使用颜色不同的箭头以将相互关联的人物面部与其它相互关联的人物面部相区别。在图15C的情况下，当设备附加设置了人物识别功能时，不仅可以显示面部框，还可以显示所登记的人物的名字等来代替符号A。面部区域可以由任意其它方法表示，只要可以识别面部区域即可。由此，图形处理器112可以被配置为生成表示相互关联的面部区域的面部区域图像作为与相关联的面部区域唯一相对应的同一面部区域图像。

图16是作为根据本发明第二实施例的图像处理设备的三维摄像设备20的示意框图。

三维摄像设备20与根据第一实施例的三维摄像设备10的区别在于用于将左右面部区域相关联并检测面部框的视差的视差信息检测部180和用于进行面部框控制的面部框控制部181。此外，三维摄像设备20设置有用于处理在三维拍摄期间发生的振动的防振处理部182。

图17是图16中出现的防振处理部182的示意框图。

在图17中，运动检测部240从存储器107接收作为以帧为单位的帧图像的拍摄视频图像。在运动检测部240中，在连续的帧之间检测运动矢量，并计算水平和垂直方向上各自的运动量。检测运动矢量的方法可以使用已知的技术。

剪切位置生成部241根据运动检测部240所检测到的运动量来生成用于从原始图像帧剪切预定区域的信息。例如，生成与剪切开始点的坐标有关的信息以及宽度和高度的信息。视频图像剪切部242使用剪切位置生成部241所生成的剪切位置信息来从存储器107中的图像帧剪切预定区域，并将所剪切出的区域存储在存储器107中。

尽管在本示例中，存储器107中存储的视频图像被电子地剪切并进行防振处理，但应当理解为，可以在光学系统中例如利用镜头移动来进行防振的校正。由此，从通过拍摄被摄体所获得的两个视频图像消除了由于振动所引起的模糊。

在本实施例的三维摄像设备20中，可以例如利用控制台部118的按钮或开关来使得防振处理操作有效或无效。当使得防振处理操作有效时，对所拍摄的左右视频图像进行上述防振处理，然后，执行在面部检测之后的用于面部框显示的处理。

图18A是分别由右眼观看面部检测部108和左眼观看面部检测部109检测到的被摄体图像803和805的面部区域的示意图。图18B和18C示出各自的相关值。

在图18A中，基于左视频图像内的面部检测结果所获得的面部区域802处于从被摄体图像803移位的状态。

图18B示出通过在从左视频图像内的面部区域802生成的参考图像806和右视频图像之间沿着扫描线801进行相关运算而获得的结果。如图18B所示，在峰值位置807处获得相关值的峰值808。然而，在参考图像806中，被摄体的面部由于面部区域检测误差而部分丢失。为此，峰值位置807从右视频图像的被摄体图像805的中心轻微向左偏离。因此，当基于峰值位置807来设置面部框时，在从被摄体图像805偏离的位置处绘制面部框。这样做是因为基于左视频图像内的面部区域进行关联处理和视差调整。

在第二实施例中，如图18C所示，使用基于右视频图像内的面部区域804获得的参考图像809来确定与左视频图像的相关值。结果，在峰值位置810处检测到相关值的峰值811。

将由此检测到的两个峰值808和811相互进行比较，并且选择给出较高的相关值的峰值的参考图像。在本示例中，由于峰值811的相关值较高，因而参考面部区域804设置面部框，其中，从面部区域804生成参考图像809。

结果，在视差信息检测部180中，将面部区域804的水平和垂直中心设置作为被摄体图像805的面部框的中心。此外，将左右面部区域802和804中较大的面部区域的大小设置作为面部框的大小。在左视频图像内，对于与被摄体图像805相关联的被摄体图像803，将面部框的中心的水平坐标设置为峰值位置810的水平坐标，并将面部框的中心的垂直坐标设置为扫描线801的垂直坐标。

如上所述，视差信息检测部180将在两个视频图像中的一个视频图像内检测到的表示面部区域的图像设置作为第一参考图像(本示例中的参考图像809)，并在另一视频图像内搜索与第一参考图像的相关值最高的区域。此外，视差信息检测部180将在另一视频图像内检测到的表示面部区域的图像设置作为第二参考图像(本示例中的参考图像806)，并在该一个视频图像内搜索与第二参考图像的相关值最高的区域。此后，通过使用作为第一参考图像和第二参考图像的搜索的结果而获得最高相关值的区域，视差信息检测部180将一个视频图像内检测到的面部区域和另一视频图像内检测到的面部区域相关联。

图19是输出至显示面板114的左右视频图像和面部框的示意图。

图19示出通过参考图18A~18C所述的处理，将具有适当大小的面部框820和821在各自适当的位置处叠加在左右被摄体图像803和805上。

图20示意性示出以下状态：当被摄体移动时，左视频图像内的被摄体图像906移动至被摄体图像905的位置，并且因此面部框902移动至面部框901的位置，以及右视频图像内的被摄体图像908移动至被摄体图像907的位置，并且因此面部框904移动至面部框903的位置。

将参考图20说明面部框控制部111的操作。

在图20中，将左视频图像内面部框的移动量表示为移动量A，以及将右视频图像内面部框的移动量表示为移动量B。

如图20所示，左右面部框各自的移动量根据被摄体的位置和至被摄体的距离而改变。当移动量大时，以闪烁方式绘制面部框，这使得在三维显示时难以观看面部框。为了解决这个问题，在本实施例中，在移动左右面部框的情况下，根据左右面部框各自的移动量以预定时间间隔进行动画绘制，以实现平滑的面部框移动。在移动面部框时进行动画绘制的意思是，例如当将面部框的中心位置从第一位置改变为第二位置时，不是通过一次移动而是通过逐步的移动将面部框的显示的位置从第一位置改变为第二位置。

图21A是示出面部框的移动量和动画绘制所需的移动量之间的关系的图，以及图21B是示出移动量的插值所生成的图形线的图。

面部框控制部111基于当前的面部框坐标和下次要更新的面部框坐标来计算参考图20说明的移动量A和B。然后，面部框控制部111在移动量A和移动量B之间进行比较，并基于移动量A和B中的较大者、参考图21A的表来设置移动时间段。

例如，在移动量A等于20并且移动量B等于10的情况下，基于移动量A从图21A的表中选择移动时间段5T。在图21A中，符号T表示与例如被传送至显示面板的垂直同步信号的间隔相对应的更新间隔。

结果，面部框控制部111进行控制以使得在5T的时间间隔内分别移动左右面部框。在本示例中，进行控制以使得面部框控制部111插值出并设置与如图21B所示的各更新间隔T相对应的左右面部框各自的移动量。

对于面部框904，生成在与5T的更新间隔相对应的时间段内达到移动量B的线B，并且使用线B来插值出与各更新间隔T相对应的移动量。另一方面，对于面部框902，生成在与5T的更新间隔相对应的时间段内达到移动量A的线A，并且使用线A来插值出与各更新间隔T相对应的移动量。

面部框控制部111通过使用针对相关联的面部框904和902设置的与各更新间隔T相对应的移动量，在更新中心坐标的同时将与左右面部框904和902各自的中心坐标有关的信息输出至图形处理器112。

图形处理器112基于左右面部框各自的中心坐标和大小在存储器107的OSD帧中绘制面部框。

尽管在本示例中，垂直同步信号用于设置更新间隔，但可以使用以预定时间间隔而操作的计数器等。例如，可以使用例如以预定时间间隔而操作的振荡器或软件计时器来设置更新间隔。此外，更新间隔可以变化，只要其精度在能够实现动画中面部框移动的平滑感的范围内即可。

通过上述处理，相互关联的左右面部框相互同步地进行平滑转变，因此可以提供在三维观看时清晰可见的显示画面。

如上所述，面部框控制部181能够以预定定时(即，根据垂直同步信号)更新各面部区域的位置并计算所检测到的各面部区域的移动量。面部框控制部111根据所计算得到的移动量在移动前的位置和移动后的位置之间插值出显示面部区域图像的位置，并以预定定时将面部区域的位置更新至插值所得到的位置。

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求于2011年5月11日提交的日本专利申请2011-106212的优先权，其全部内容通过引用包含于此。

Claims

1.一种图像处理设备，其包括显示单元，所述图像处理设备包括：

获取单元，用于获取从具有第一光学系统的第一摄像单元获得的第一视频图像和从具有第二光学系统的第二摄像单元获得的第二视频图像；以及

检测单元，用于检测所述第一视频图像和所述第二视频图像内的面部区域，

所述图像处理设备的特征在于，还包括：

面部区域设置单元，用于将所述检测单元在所述第一视频图像内检测到的面部区域与所述检测单元在所述第二视频图像内检测到的面部区域相关联，并且所述第一视频图像和所述第二视频图像中的一个视频图像内检测到的面部区域的位置是基于所述第一视频图像和所述第二视频图像中的另一视频图像内相关联的面部区域的位置而被所述面部区域设置单元校正的，以及所述第一视频图像和所述第二视频图像中的一个视频图像内检测到的面部区域的大小是基于所述第一视频图像和所述第二视频图像中的另一视频图像内相关联的面部区域的大小而被所述面部区域设置单元校正的；

面部区域相关信息生成单元，用于生成面部区域相关信息，所述面部区域相关信息包括所述显示单元上要显示表示所述面部区域设置单元所设置的面部区域的面部区域图像的位置；

面部区域图像生成单元，用于根据所述面部区域相关信息生成单元所生成的面部区域相关信息来生成所述面部区域图像；以及

输出单元，用于分别将所述第一视频图像和所述第二视频图像与所述面部区域图像生成单元所生成的面部区域图像进行合成，并且将合成后的视频图像输出至所述显示单元。

2.根据权利要求1所述的图像处理设备，其特征在于，所述面部区域图像生成单元生成各自表示相关联的面部区域的面部区域图像，其中针对相关联的面部区域中的每个面部区域的面部区域图像为同一面部区域图像。

3.根据权利要求1所述的图像处理设备，其特征在于，所述面部区域相关信息生成单元以预定定时更新各面部区域的位置，并且能够计算所述检测单元所检测到的各面部区域的移动量，以及所述面部区域相关信息生成单元根据所计算出的移动量在移动前的位置和移动后的位置之间插值出用于显示面部区域图像的位置，并且以所述预定定时将面部区域的位置更新为所插值出的位置。

4.根据权利要求1所述的图像处理设备，其特征在于，所述面部区域设置单元将表示所述检测单元在所述第一视频图像和所述第二视频图像中的一个视频图像内检测到的面部区域的面部区域图像设置作为参考图像，并且通过使用所述第一视频图像和所述第二视频图像中的另一视频图像内与所述参考图像的相关值最高的区域，将在所述第一视频图像和所述第二视频图像中的一个视频图像内检测到的面部区域与在所述第一视频图像和所述第二视频图像中的另一视频图像内检测到的面部区域相关联。

5.根据权利要求1所述的图像处理设备，其特征在于，所述面部区域设置单元将表示所述检测单元在所述第一视频图像和所述第二视频图像中的一个视频图像内检测到的面部区域的面部区域图像设置作为第一参考图像，以在所述第一视频图像和所述第二视频图像中的另一视频图像内搜索与所述第一参考图像的相关值最高的区域，并且将表示所述检测单元在所述第一视频图像和所述第二视频图像中的另一视频图像内检测到的面部区域的面部区域图像设置作为第二参考图像，以在所述第一视频图像和所述第二视频图像中的一个视频图像内搜索与所述第二参考图像的相关值最高的区域，从而通过使用作为使用所述第一参考图像搜索所述第一视频图像和所述第二视频图像中的另一视频图像和使用所述第二参考图像搜索所述第一视频图像和所述第二视频图像中的一个视频图像的结果而获得最高相关值的区域，所述面部区域设置单元将在所述第一视频图像和所述第二视频图像中的一个视频图像内检测到的面部区域与在所述第一视频图像和所述第二视频图像中的另一视频图像内检测到的面部区域相关联。

6.根据权利要求4所述的图像处理设备，其特征在于，当最高的相关值小于预定阈值时，所述面部区域图像生成单元不生成所述面部区域图像。

7.根据权利要求1所述的图像处理设备，其特征在于，所述面部区域设置单元使所述大小与所述相关联的面部区域中面积较大的面部区域的大小一致。

8.根据权利要求1所述的图像处理设备，其特征在于，在所述显示单元上，所述面部区域图像显示在与所述面部区域图像相对应的面部的图像之前。

9.根据权利要求1所述的图像处理设备，其特征在于，在从通过拍摄所述被摄体而获得的所述第一视频图像和所述第二视频图像消除了由于振动所引起的模糊。

10.一种控制图像处理设备的方法，所述图像处理设备包括显示单元，所述方法包括：

获取从具有第一光学系统的第一摄像单元获得的第一视频图像和从具有第二光学系统的第二摄像单元获得的第二视频图像；以及

检测所述第一视频图像和所述第二视频图像内的面部区域，

所述方法的特征在于，还包括：

将在所述第一视频图像内检测到的面部区域与在所述第二视频图像内检测到的面部区域相关联，并且所述第一视频图像和所述第二视频图像中的一个视频图像内检测到的面部区域的位置是基于所述第一视频图像和所述第二视频图像中的另一视频图像内相关联的面部区域的位置而被校正的，以及所述第一视频图像和所述第二视频图像中的一个视频图像内检测到的面部区域的大小是基于所述第一视频图像和所述第二视频图像中的另一视频图像内相关联的面部区域的大小而被校正的；

生成面部区域相关信息，所述面部区域相关信息包括所述显示单元上要显示表示所设置的面部区域的面部区域图像的位置；

根据所生成的面部区域相关信息来生成所述面部区域图像；以及

分别将所述第一视频图像和所述第二视频图像与所生成的面部区域图像进行合成，并且将合成后的视频图像输出至所述显示单元。