CN101561872B

CN101561872B - 图像处理装置

Info

Publication number: CN101561872B
Application number: CN2009101320519A
Authority: CN
Inventors: 白谷文行
Original assignee: Olympus Corp; Olympus Imaging Corp
Priority date: 2008-04-16
Filing date: 2009-04-15
Publication date: 2012-06-27
Anticipated expiration: 2029-04-15
Also published as: JP2009260630A; CN101561872A

Abstract

本发明提供图像处理装置。该图像处理装置能够可靠地提取出在包含多个人物作为被摄体的图像中人物之间发生某些交流的场面。图像处理装置具有：面部检测部，其根据图像信号中的图像模式，检测图像信号中包含的多个人物的面部；视线推测部，其推测由面部检测部检测出面部的多个人物的视线；距离计算部，其分别计算距由视线推测部进行了视线推测的多个人物的距离；以及目标判定部，其使用视线推测部的推测结果和距离计算部的计算结果，来判定多个人物的视线目标是否是图像信号中包含的其他人物。

Description

图像处理装置

技术领域

本发明涉及对图像信号进行规定处理的图像处理装置和图像处理程序。

背景技术

以往，在具有摄像功能的数字照相机等图像处理装置中，公知有如下技术：在被摄体是人物的情况下，检测此人物的面部，对该检测出的面部的位置进行对焦。并且，近年来，还公知有如下技术：自动识别作为被摄体的人物展现出笑脸等适合于摄影的表情的定时来进行拍摄。

在这种状况下公开了如下技术：在进行将多个人物作为对象的摄影时，通过判定各个人物的面部朝向和黑眼珠的位置，来提取照相机视线中的图像(例如参照专利文献1)。并且，还公开了如下技术：通过推测从影像中检测出的人物的视线方向、并提取该视线方向的特征，来判定该人物的行动意图(例如参照专利文献2)。而且，除了上述现有技术以外，还公开了用于分析图像中人物的面部和视线方向的各种技术(例如参照专利文献3～5)。

【专利文献1】日本特开2007-96440号公报

【专利文献2】日本特开2001-51338号公报

【专利文献3】日本特开2000-322577号公报

【专利文献4】日本特开2006-74368号公报

【专利文献5】日本特开2007-26387号公报

但是，在上述现有技术中，仅仅单独地判定各个人物的面部和视线，所以在图像中存在多个人物的情况下，无法提取出在多个人物之间发生相互注视、对话、攀谈等某些交流的场面。

发明内容

本发明正是鉴于上述情况而完成的，其目的在于，提供能够可靠地提取出在包含多个人物作为被摄体的图像中人物之间发生某些交流的场面的图像处理装置和图像处理程序。

为了解决上述课题并达到目的，本发明的图像处理装置的特征在于，该图像处理装置具有：面部检测部，其根据图像信号中的图像模式，检测所述图像信号中包含的多个人物的面部；视线推测部，其推测由所述面部检测部检测出面部的所述多个人物的视线；距离计算部，其分别计算距由所述视线推测部进行了视线推测的所述多个人物的距离；以及目标判定部，其使用所述视线推测部的推测结果和所述距离计算部的计算结果，来判定所述多个人物的视线目标是否是所述图像信号中包含的其他人物。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述目标判定部判定在所述多个人物中是否存在相互成为对方的视线目标的人物对。

另外，本发明的图像处理装置的特征在于，在上述发明中，该图像处理装置具有显示部，该显示部显示与所述图像信号对应的图像数据，所述显示部在所述图像数据上重叠显示所述目标判定部判定的结果。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述显示部在所述图像数据上重叠显示如下信息，该信息确定在所述多个人物中、视线以所述图像信号中包含的其他人物为目标的视线的人物。

另外，本发明的图像处理装置的特征在于，在上述发明中，该图像处理装置具有：摄像部，其对规定视野区域内的被摄体进行摄像，生成图像信号；输入部，其输入摄影指示信号，该摄影指示信号指示对所述摄像部摄像到的被摄体进行拍摄；以及控制部，其根据从所述输入部输入的所述摄影指示信号，进行对所述摄像部摄像到的被摄体进行拍摄的控制。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述控制部根据所述目标判定部判定的结果，进行自动对所述摄像部摄像到的被摄体进行拍摄的控制。

本发明的图像处理程序的特征在于，该图像处理程序使对图像信号进行规定处理的图像处理装置执行以下步骤：面部检测步骤，根据所述图像信号中的图像模式，检测所述图像信号中包含的多个人物的面部；视线推测步骤，推测在所述面部检测步骤中检测出面部的所述多个人物的视线，将其存储到存储面部信息的面部信息存储部中；距离计算步骤，分别计算距在所述视线推测步骤中进行了视线推测的所述多个人物的距离，将其存储到所述面部信息存储部中；以及目标判定步骤，从所述面部信息存储部中读出所述视线推测步骤的推测结果和所述距离计算步骤的计算结果，使用该读出的推测结果和计算结果，来判定所述多个人物的视线目标是否是所述图像信号中包含的其他人物。

根据本发明，推测图像信号中多个人物的视线，分别计算距进行了视线推测的多个人物的距离，使用这些视线推测结果和距离计算结果，来判定多个人物的视线目标是否是图像信号中包含的其他人物，所以，能够可靠地提取出在包含多个人物作为被摄体的图像中人物之间发生某些交流的场面。

附图说明

图1是示出本发明的一个实施方式的图像处理装置(摄像装置)的结构的图。

图2是示出在视线推测处理中参照的面部模式的例子的图。

图3是示出在视线推测处理中参照的眼睛模式的例子的图。

图4是示出本发明的一个实施方式的图像处理装置(摄像装置)可设定的动作模式的一部分的图。

图5是示出本发明的一个实施方式的图像处理装置(摄像装置)的包含视线判定处理在内的处理流程的流程图。

图6是示出视线判定处理的概要的流程图。

图7是从图像处理装置上方观察作为被摄体的两个人物以及这两个人物相互注视的状况的示意图。

图8是从图像处理装置上方观察作为被摄体的两个人物以及这两个人物相互注视的状况(第2例)的示意图。

图9是示出OK显示的显示例(第1例)的图。

图10是示出OK显示的显示例(第2例)的图。

图11是示出OK显示的显示例(第3例)的图。

图12是示出剪辑结果的显示例的图。

标号说明

1：摄像装置(图像处理装置)；2：摄像部；3：传感器部；4：图像处理部；5：显示部；6：显示控制部；7：压缩解压缩部；8：记录介质接口；9：输入部；10：声音输出部；11：辅助光投射部；12：控制部；13：存储部；14：镜头驱动部；15：光圈驱动部；21：摄影镜头；22：光圈；23：摄像元件；24：模拟信号处理部；25：A/D转换部；41：面部检测部；42：视线推测部；43：距离计算部；44：目标判定部；45：剪辑部；51、52、53：显示图像：52a：人物对确定标记；53a：视线源确定标记；53b：目标确定标记；54：剪辑结果显示图像；54a：剪辑区域；100：记录介质；121：时钟；131：程序存储部；132：模式信息存储部；133：面部信息存储部；A1～A10：人物。

具体实施方式

下面，参照附图说明用于实施本发明的最佳方式(后文称为“实施方式”)。

图1是示意性地示出本发明的一个实施方式的图像处理装置即摄像装置1的结构的图。摄像装置1具有：摄像部2，其拍摄规定视野区域内的被摄体而生成图像信号；传感器部3，其检测摄像部2的视野区域的状态；图像处理部4，其对摄像部2输出的图像信号实施图像处理；显示部5，其显示包含图像处理部4所输出的图像数据的信息；显示控制部6，其控制显示部5的显示；压缩解压缩部7，其对图像数据进行压缩和解压缩；记录介质接口8，其将图像数据等信息记录到从外部安装到摄像装置1上的存储卡等记录介质100中，另一方面，读出记录介质100所记录的信息；输入部9，其输入摄像装置1的操作指示信号；声音输出部10，其进行包含警告在内的各种信息的声音输出；辅助光投射部11，其向摄像区域投射辅助光；控制部12，其控制摄像装置1的动作；以及存储部13，其存储与摄像装置1的动作有关的各种信息。

摄像部2具有：摄影镜头21，其会聚来自位于规定视野区域内的被摄体的光；光圈22，其调节摄影镜头21所会聚的光的入射量；CCD等摄像元件23，其接收通过光圈22的入射光并将其转换为电信号；模拟信号处理部24，其对从摄像元件23输出的模拟信号实施包含感光度校正和白平衡在内的各种处理；以及A/D转换部25，其根据模拟信号处理部24输出的信号生成数字图像数据。其中，摄影镜头21是由一个或多个透镜构成的光学系统，由镜头驱动部14驱动。另外，光圈22由光圈驱动部15驱动。

图像处理部4具有：面部检测部41，其根据图像信号的图像模式，检测图像信号中所包含的人物的面部；视线推测部42，其在面部检测部41检测出多个人物的面部的情况下，推测各人物的视线；距离计算部43，其分别计算距由视线推测部42进行视线推测后的多个人物的距离；目标判定部44，其使用视线推测部42的推测结果和距离计算部43的计算结果，来判定多个人物的视线目标是否是图像信号中所包含的其他人物；以及剪辑部45，其根据目标判定部44所判定的结果来剪辑图像数据。

输入部9具有：摄像装置1的电源按钮、实施摄像指示的快门按钮、切换摄像装置1所具有的各种动作模式的模式切换按钮、以及包含指示图像数据的再现和编辑的控制按钮等。

控制部12具有用于进行摄影日期时间的判定等的时钟121，该控制部12根据传感器部3的检测结果和由输入部9输入的操作指示信号，来控制摄像装置1的动作。控制部12使用MPU来实现，并经由总线与控制对象的各部分连接。

存储部13具有固定设置在摄像装置1内部的闪存和RAM等半导体存储器，该存储部13具有：程序存储部131，其存储摄像装置1执行的各种程序；模式信息存储部132，其将图像处理部4的面部检测部41和视线推测部42所参照的面部和眼睛的模式分别与面部角度和视线角度对应起来进行存储；以及面部信息存储部133，其存储图像处理部4的各种处理结果作为面部信息。

图2是示意性地示出模式信息存储部132所存储的面部模式的例子的图。将从摄像装置1观察为面向右侧的情况下、面部相对于摄影镜头21的光轴的角度设为正，模式信息存储部132存储有该角度θf为0度、±45度和±90度的情况下的面部模式。

图3是示意性地示出模式信息存储部132所存储的眼睛模式的例子的图。将从摄像装置1观察为面向右侧的情况下、眼睛相对于摄影镜头21的光轴的角度设为正，模式信息存储部132存储有该角度θe为0度、±45度和±90度的情况下的眼睛模式。

图4是示出摄像装置1可设定的动作模式的一部分的图。在图4中，以摄像装置1特有的动作模式为中心进行记载，而省略了针对与现有摄像装置可设定的动作模式相同的动作模式的记载。在将摄像装置1设定为摄影模式的情况下，可以进一步设定视线判定摄影模式或摄影用视线判定剪辑模式，在视线判定摄影模式中，进行判定图像中所包含的多个人物的视线目标的视线判定，然后进行拍摄，在摄影用视线判定剪辑模式中，在进行通常摄影后，进行视线判定和基于视线判定结果的图像剪辑。其中，在将摄像装置1设定为视线判定摄影模式的情况下，可以进一步设定剪辑模式、连拍模式和自动摄影模式中的一个或多个模式。另一方面，在将摄像装置1设定为再现模式的情况下，可以进一步设定再现用视线判定剪辑模式，在再现用视线判定剪辑模式中，在再现记录介质100所记录的图像数据时进行视线判定，然后根据该判定结果进行图像的剪辑。

图5是示出具有以上结构的摄像装置1进行包含视线判定处理在内的动作时的处理流程的流程图。

首先，说明将摄像装置1设定为摄影模式的情况(步骤S1：摄影模式)。在将摄像装置1设定为摄影模式的情况下，显示部5根据显示控制部6的控制，实时显示与从摄像部2输出的图像信号对应的图像数据。后面将显示部5所实时显示的图像数据称为“浏览图像”。在将摄像装置1设定为视线判定摄影模式时(步骤S2：“是”)，摄像装置1对浏览图像进行视线判定处理(步骤S3)。

图6是示出摄像装置1所进行的视线判定处理的概要的流程图。首先，面部检测部41检测显示部5所显示的浏览图像中存在的人物的面部(步骤S301)。面部检测部41使用模式信息存储部132存储的面部模式(参照图2)进行模式匹配，由此来检测人物面部。

当面部检测部41在浏览图像中没有检测出面部时(步骤S302：“否”)，摄像装置1结束视线判定处理，进入后述的步骤S4。

当面部检测部41在浏览图像中检测出面部时(步骤S302：“是”)，视线推测部42进行针对每个面部推测面部检测部41所检测出的面部的视线方向的视线推测处理(步骤S303)。在步骤S303中，视线推测部42使用模式信息存储部132存储的眼睛模式(参照图3)进行模式匹配，由此来推测浏览图像中的人物的视线方向。另外，在双眼的视线方向不同的情况下，可以计算根据面部角度等条件对左右的视线方向进行加权后的值，作为推测值。例如，在面部朝向右方(从摄像装置1观察，相对于摄影镜头21的光轴位于左方)的情况下，使左眼的权重大于右眼的权重，来计算推测值。另外，在面部朝向正面附近时，计算双眼视线方向的平均作为推测值。

图7是示意性地示出说明从步骤S304开始的视线推测处理时所参照的摄像装置1附近的状况的图。具体而言，图7是从摄像装置1上方观察摄像装置1的摄像区域(水平方向视场角θ_X)内存在的两个人物A1、A2相互注视的状况的示意图。在图7中，将与摄像装置1的摄影镜头21距离远的人物A1的位置设为坐标原点O，将与摄影镜头21的光轴P平行的轴设为L轴，另一方面，将与摄影镜头21的光轴P正交的轴设为X轴。并且，在图7中，将人物A1、A2水平方向的视线角度分别设为φ1、φ2。在这种含义下，视线角度φ1、φ2在上述步骤S303中进行计算，并被存储在面部信息存储部133中。

在步骤S304中，距离计算部43以摄影镜头21为起点，计算距进行了视线推测的人物的距离(步骤S304)。在图7所示的情况下，距离计算部43通过分别对人物A1和A2进行对焦来计算距人物A1的距离L1和距人物A2的距离L2，并将它们记录在面部信息存储部133中。此时，通过光圈驱动部15缩小光圈22来加深焦点深度，对与摄影镜头21距离不同的多个被摄体进行对焦。

然后，目标判定部44判定进行了视线推测的人物的视线目标(步骤S305)。首先，目标判定部44从面部信息存储部133中读出在步骤S304中由距离计算部43计算出的距离L1、L2，按照下式(1)、(2)分别计算人物A1与人物A2的L坐标的差分ΔL和X坐标的差分ΔX。

ΔL＝L1-L2 …(1)

ΔX＝L1tan(ρ1).+L2tan(ρ2) …(2)

这里，式(2)中的ρ1(＜θ_X)是从摄影镜头21观察到的人物A1的方向与摄影镜头21的光轴P所成的角度。此外，式(2)中的ρ2(＜θ_X)是从摄影镜头21观察到的人物A2的方向与摄影镜头21的光轴P所成的角度。

接着，目标判定部44除了使用式(1)、(2)的计算结果以外，还使用从面部信息存储部133中读出的人物A1、A2水平方向的视线角度φ1、φ2，来判定人物A1、A2的视线目标。首先，判定与摄像装置1最远的人物A1的视线目标。具体而言，目标判定部44使用人物A1的视线角度φ1，来判定L坐标的差分ΔL和X坐标的差分ΔX是否满足下式。

ΔX＝ΔLtan(φ1) …(3)

在ΔL和ΔX满足式(3)的情况下，目标判定部44判定为人物A1的视线目标是人物A2。另外，鉴于式(3)中使用的ΔL、ΔX、φ1为推测值，因此即使式(3)左边与右边并非严格一致，但只要在规定范围内，目标判定部44就视为等号成立。这点对于使用后述的式(4)～(6)进行判定的情况也是同样。

接着，目标判定部44判定人物A2的视线目标。在图7所示的情况下，人物A2的视线角度φ2为钝角。在这种情况下，目标判定部44判定L坐标的差分ΔL和X坐标的差分ΔX是否满足下式。

ΔX＝ΔL|tan(φ2)| …(4)

这里，|tan(φ2)|是tan(φ2)的绝对值。在ΔL和ΔX满足式(4)的情况下，目标判定部44判定为人物A2的目标是人物A1。由此判断出两个人物A1、A2相互注视。

另外，在满足式(3)的情况下，目标判定部44也可以不利用式(4)，而是判定人物A1的视线角度φ1和人物A2的视线角度φ2是否满足下式。

φ1+φ2＝π …(5)

至此，说明了两个人物A1、A2相互注视从而式(3)和(4)(或式(3)和(5))都成立的情况，不过除此之外，例如还存在式(3)成立而式(4)不成立的情况(将该情况下的图像称为“图像α”)。该情况下的处理根据针对目标判定部44设定的判定条件而不同。

在将目标判定部44设定为判定是否是包含彼此相互注视的人物们的图像的情况下，目标判定部44判定式(3)和(4)是否都成立。在该情况下，目标判定部44判定为图像α是不符合判定条件的图像。

与此相对，在将目标判定部44设定为判定是否是包含注视同一图像中的其他人物的人物的图像的情况下，目标判定部44判定是否式(3)和(4)中的至少任意一方成立。在该情况下，目标判定部44判定为图像α是符合判定条件的图像。

另外，在浏览图像中包含三人以上的人物的情况下，目标判定部44按照式(3)或(4)依次执行浏览图像中所有人物的视线判定处理，然后，判定该浏览图像是否是符合规定判定条件的图像。

图8是从摄像装置1上方观察摄像装置1的摄像区域(水平方向视场角θ_X)内存在的两个人物A1、A2彼此相互注视的状况的第2例的示意图。在图8所示的情况下，摄像装置1无法推测出人物A2的视线。因此，仅在将目标判定部44设定为判定是否是包含注视同一图像中的其他人物的人物的图像的情况下，判定人物A1和人物A2的L坐标的差分ΔL’＝L1’-L2’和X坐标的差分ΔX’＝L1’tan(ρ1’)+L2’tan(ρ2’)是否满足下式。

ΔX’＝ΔL’tan(φ1’) …(6)

这里，φ1’是人物A1水平方向的视线角度φ1’。在满足式(6)的情况下，至少人物A1的视线目标是人物A2。因此，目标判定部44判定为拍摄了图8所示状况的图像数据是符合判定条件的图像。

在目标判定部44计算式(6)时，面部检测部41必须能够检测出人物A2的头后部。因此，为了能够应对这种状况，只要在模式信息存储部132中预先存储人的头后部的模式即可。此外还可以使面部检测部41具备包含面部的头部的跟踪功能，从而在图8所示的状况之前已检测出人物A2的面部的情况下，能够跟踪人物A2的头部。

接着以上说明的步骤S3的视线判定处理的处理根据是否将摄像装置1设定为自动摄影模式而不同。首先，说明未将摄像装置1设定为自动摄影模式的情况(步骤S4：“否”)。在该情况下，在目标判定部44判定为浏览图像是符合判定条件的图像时(存在人物目标)(步骤S5：“是”)，摄像装置1对作为视线目标的人物和作为视线源的人物进行对焦和曝光(步骤S6)。然后，显示部5显示用于告知处于适合于摄影的定时的OK显示(步骤S7)。另一方面，在目标判定部44判定为浏览图像是不符合判定条件的图像时(步骤S5：“否”)，摄像装置1不在显示部5上输出OK显示，而直接进入后述的步骤S8。

图9是示出在显示部5上进行OK显示的显示例(第1例)的图。在该图所示的显示图像51中，作为被摄体的两个人物A1、A2相互注视，在画面左上部重叠显示“定时OK”这一字符串。通过在显示部5上显示输出所述字符串，摄影者能够识别浏览图像中人物对相互注视、从而是适合于摄影的定时。

图10是示出OK显示的另一显示例(第2例)的图。在该图所示的显示图像52中，在浏览图像中的人物A3、A4的面部区域上重叠显示正方形状的人物对确定标记52a，该对确定标记52a表示相互注视的人物对。因此，摄影者能够可靠地识别浏览图像中的三个人物A3、A4、A5中存在相互注视的人物对、从而是适合于摄影的定时。

图11是示出OK显示的又一显示例(第3例)的图。该图所示的显示图像53对应于图8所示的状况。在该情况下，在人物A6的面部区域上重叠显示视线源确定标记53a，该视线源确定标记53a表示视线以图像中的另一人物A7为目标的人物，另一方面，在人物A7的面部区域上重叠显示目标确定标记53b，该目标确定标记53b表示是人物A6的目标。因此，摄影者能够可靠地识别存在至少一个人物的视线目标是另一个人物的人物对、从而是适合于摄影的定时。

然后，在摄影者从输入部9输入了摄影指示信号的情况下(步骤S8：“是”)，摄像装置1根据控制部12的控制，进行图像摄影(步骤S9)，通过压缩解压缩部7将所拍摄的图像数据压缩成规定尺寸，并通过记录介质接口8将该压缩后的图像数据记录到记录介质100中(步骤S10)。这里，摄像装置1也可以将所拍摄的图像数据写入到存储部13中进行记录。另外，在步骤S8中经过了规定时间仍未输入摄影指示信号的情况下(步骤S8：“否”)，摄像装置1返回步骤S3。

接着，说明将摄像装置1设定为自动摄影模式的情况(步骤S4：“是”)。在该情况下，当目标判定部44判定为浏览图像是符合判定条件的图像时(存在人物目标)(步骤S11：“是”)，摄像装置1对作为视线目标的人物和作为视线源的人物进行对焦和曝光(步骤S12)，自动进行摄影处理(步骤S9)。然后，摄像装置1通过压缩解压缩部7将所拍摄的图像数据压缩成规定尺寸，并通过记录介质接口8将该压缩后的图像数据记录到记录介质100中(步骤S10)。另一方面，当目标判定部44判定为浏览图像是不符合判定条件的图像时(步骤S11：“否”)，摄像装置1返回步骤S3。

接着步骤S10的处理根据摄像装置1是否设定为连拍模式而不同。在未将摄像装置1设定为连拍模式的情况下(步骤S13：“否”)，图像处理部4从记录介质接口8读出图像数据，进行与上述步骤S3相同的视线判定处理(步骤S14)。这里，再次进行视线判定处理是因为，在步骤S3的视线判定处理后，直到实际进行拍摄时为止存在延时，从而有可能产生与步骤S3的判定结果不同的判定结果。

另一方面，在将摄像装置1设定为连拍模式的情况下(步骤S13：“是”)，当规定摄影张数的摄影尚未结束时(步骤S15：“否”)，返回步骤S9反复进行拍摄。在将摄像装置1设定为连拍模式(步骤S13：“是”)、且规定摄影张数的摄影结束时(步骤S15：“是”)，图像处理部4从记录介质接口8读出在步骤S9中拍摄的图像数据，进行与上述步骤S3相同的视线判定处理(步骤S14)。

作为图像处理部4进行图像数据的视线判定处理(步骤S14)的结果，在目标判定部44判定为该图像数据是符合判定条件的图像(存在人物目标)的情况下(步骤S16：“是”)，摄像装置1将该图像数据作为人物目标图像，经由记录介质接口8记录到记录介质100中(步骤S17)。这里所说的“人物目标图像”是被赋予了与目标判定部44的判定条件对应的信息的图像数据，例如，针对所拍摄的图像数据设立表示是人物目标图像的标志。另一方面，在目标判定部44判定为该图像数据是不符合判定条件的图像的情况下(步骤S16：“否”)，摄像装置1返回步骤S3。

然后，在将摄像装置1设定为剪辑模式的情况下(步骤S18：“是”)，剪辑部45进行人物目标图像的剪辑(步骤S19)。接着，显示部5显示由剪辑部45剪辑后的结果(步骤S20)。图12是示出显示部5中的剪辑结果的显示例的图。该图所示的剪辑结果显示图像54使用虚线将如下区域表示为剪辑区域54a，所述区域包含作为相互注视的人物对的人物A8、A9、并去除了视线未以浏览图像中的其他人物为目标的人物A10。另外，在步骤S20中，显示部5可以不显示剪辑结果显示图像54，而仅显示剪辑区域54a。并且，也可以在剪辑结果显示图像54中的适当位置输出询问是否记录剪辑图像的消息，提示摄影者从输入部9进行选择输入。

在从输入部9输入了记录剪辑图像的操作指示信号的情况下(步骤S21：“是”)，摄像装置1通过压缩解压缩部7将剪辑后的图像数据压缩成规定尺寸，并通过记录介质接口8将该压缩后的剪辑图像数据记录到记录介质100中(步骤S22)。另一方面，在未输入记录剪辑图像的操作指示信号的情况下(步骤S21：“否”)，摄像装置1结束一连串的处理。

在未将摄像装置1设定为剪辑模式的情况下(步骤S18：“否”)，摄像装置1结束一连串的处理。

接着，说明将摄像装置1设定为摄影模式(步骤S1：摄影模式)、且未将摄像装置1设定为视线判定摄影模式的情况(步骤S2：“否”)。在该情况下，摄像装置1进行通常摄影处理(步骤S23)。

接着通常摄影处理的处理根据是否将摄像装置1设定为摄影用视线判定剪辑模式而不同。在将摄像装置1设定为摄影用视线判定剪辑模式的情况下(步骤S24：“是”)，图像处理部4针对在步骤S23中记录到记录介质100中的图像数据，进行与步骤S14相同的视线判定处理(步骤S25)。与此相对，在未将摄像装置1设定为摄影用视线判定剪辑模式的情况下(步骤S24：“否”)，摄像装置1仅进行通常摄影处理。

下面，说明将摄像装置1设定为摄影用视线判定剪辑模式的情况。作为图像处理部4进行图像数据的视线判定处理(步骤S25)的结果，在目标判定部44判定为该图像数据是符合判定条件的图像(存在人物目标)的情况下(步骤S26：“是”)，摄像装置1将该图像作为人物目标图像，经由记录介质接口8记录到记录介质100中(步骤S27)。接着，剪辑部45进行人物目标图像的剪辑(步骤S19)。接着该步骤S19的步骤S20～S22的处理与上面相同。

另一方面，在目标判定部44判定为图像数据是不符合判定条件的图像的情况下(步骤S26：“否”)，摄像装置1结束一连串的处理。

接着，说明在摄像装置1中设定为再现模式的情况(步骤S1：再现模式)。首先，显示部5再现显示摄影者从记录介质100所存储的图像数据中选择出的图像数据(步骤S28)。

在将摄像装置1设定为再现用视线判定剪辑模式的情况下(步骤S29：“是”)，图像处理部4对再现显示的图像数据进行视线判定处理(步骤S25)。接着该步骤S25的、从步骤S26开始的处理与在摄像装置1中设定为摄影模式和摄影用视线判定剪辑模式的情况相同。

另一方面，在未将摄像装置1设定为再现用视线判定剪辑模式的情况下(步骤S29：“否”)，摄像装置1结束处理。

根据以上说明的本发明的一个实施方式，推测图像信号中多个人物的视线，分别计算距进行了视线推测的多个人物的距离，使用这些视线推测结果和距离计算结果，来判定多个人物的视线目标是否是图像信号中包含的其他人物，所以，能够可靠地提取在包含多个人物作为被摄体的图像中人物之间发生某些交流的场面。

至此，说明了用于实施本发明的最佳方式，但是，本发明不限于上述一个实施方式。例如，在推测浏览图像中人物的视线方向时，也可以使用上述模式匹配以外的手法。

并且，在上述一个实施方式中，说明了使用水平方向视线角度来进行视线判定的情况，但是，也可以针对垂直方向进行同样的目标判定处理。因此，通过在水平方向的基础上进一步反映垂直方向的目标判定处理的结果，能够进一步提高目标判定的精度。

这样，本发明包含这里没有记载的各种实施方式等，从而可以在不脱离权利要求书所确定的技术思想的范围内，实施各种设计变更等。

Claims

1.一种图像处理装置，其特征在于，该图像处理装置具有：

面部检测部，其根据图像信号中的图像模式，检测所述图像信号中包含的多个人物的面部；

视线推测部，其推测由所述面部检测部检测出面部的所述多个人物的视线；

距离计算部，其分别计算距由所述视线推测部进行了视线推测的所述多个人物的距离；以及

目标判定部，其根据所述视线推测部的推测结果和所述距离计算部的计算结果，来判定所述多个人物的视线目标是否是所述图像信号中包含的其他人物。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述目标判定部判定在所述多个人物中是否存在相互成为对方的视线目标的人物对。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

该图像处理装置具有显示部，该显示部显示与所述图像信号对应的图像数据，

所述显示部在所述图像数据上重叠显示由所述目标判定部判定的结果。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述显示部在所述图像数据上重叠显示如下信息，该信息确定在所述多个人物中、视线以所述图像信号中包含的其他人物为目标的人物。

5.根据权利要求1～4中的任一项所述的图像处理装置，其特征在于，

该图像处理装置具有：

摄像部，其对规定视野区域内的被摄体进行摄像，生成图像信号；

输入部，其输入摄影指示信号，该摄影指示信号指示对所述摄像部摄像到的被摄体进行拍摄；以及

控制部，其根据从所述输入部输入的所述摄影指示信号，进行对所述摄像部摄像到的被摄体进行拍摄的控制。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述控制部根据所述目标判定部判定的结果，进行自动对所述摄像部摄像到的被摄体进行拍摄的控制。

7.一种图像处理方法，其特征在于，该图像处理方法包括以下步骤：

面部检测步骤，根据所述图像信号中的图像模式，检测所述图像信号中包含的多个人物的面部；

视线推测步骤，推测在所述面部检测步骤中检测出面部的所述多个人物的视线，将其存储到存储面部信息的面部信息存储部中；

距离计算步骤，其分别计算距在所述视线推测步骤进行了视线推测的所述多个人物的距离；以及

目标判定步骤，根据所述视线推测步骤的推测结果和所述距离计算步骤的计算结果，来判定所述多个人物的视线目标是否是所述图像信号中包含的其他人物。