CN114761999A - 图像处理方法、图像处理装置以及图像处理程序 - Google Patents

Abstract

图像处理方法，获取由摄像装置拍摄的图像数据；从图像数据检测出人的脸部的特征点的位置；从图像数据检测出人的眼睛的瞳的中心位置；基于特征点的位置检测脸部朝向的水平分量以及垂直分量；基于脸部朝向的水平分量、瞳的中心位置与特征点的位置之间的距离，推测人的视线方向相对于摄像装置的光轴的水平分量；基于至少脸部朝向的垂直分量，推测视线方向的垂直分量；输出包含视线方向的水平分量以及垂直分量的视线信息。

Description

图像处理方法、图像处理装置以及图像处理程序

技术领域

本发明涉及一种通过图像处理检测视线信息的技术。

背景技术

视线检测技术被用于诸如对人感兴趣的对象的推测、对睡意等人的状态的推测以及通过视线进行向设备的输入的用户界面等的各种用途。视线方向根据用户的脸部的朝向的不同而有所不同，为了正确地检测视线方向，需要考虑到脸部的朝向。

例如，专利文献1公开了一种如下所述的计算检测对象的视线方向的技术，该技术学习相对于人的眼睛的轮廓的瞳的位置以及脸部的朝向与视线方向的相关关系，将检测对象的瞳的位置以及脸部的朝向适用于该相关关系，推测检测对象的瞳方向，并基于所推测的瞳方向和检测对象的脸部的朝向计算检测对象的视线方向。专利文献2公开了将脸部的朝向视为视线方向的技术。

专利文献1以及专利文献2的技术，在计算视线方向的水平分量和视线的垂直分量之际，由于没有考虑到对于每个分量有贡献的参数之间存在不同，在正确地检测视线方向方面需要进一步地改善。

现有技术文献

专利文献

专利文献1：日本专利公开公报特开2009-266086号

专利文献2：日本专利公开公报特开2017-83308号

发明内容

本发明的目的在于提供一种可以进一步提高视线方向的检测精度的图像处理技术。

本发明的一方面涉及的图像处理方法，是图像处理装置的图像处理方法，包括以下步骤：获取由摄像装置拍摄的图像数据；从所述图像数据检测出人的脸部的特征点的位置；从所述图像数据检测出所述人的眼睛的瞳的中心位置；基于所述特征点的位置检测所述脸部朝向的水平分量以及垂直分量；基于所述脸部朝向的水平分量、所述瞳的中心位置与所述特征点的位置之间的距离，推测所述人的视线方向相对于所述摄像装置的光轴的水平分量；基于至少所述脸部朝向的垂直分量，推测所述视线方向的垂直分量；输出包含所述视线方向的水平分量以及垂直分量的视线信息。

附图说明

图1是表示本发明的第一实施方式涉及的图像处理系统的整体构成的一个例子的示意图。

图2是表示第一实施方式涉及的图像处理系统的详细构成的一个例子的方框图。

图3是表示脸部朝向检测部的详细构成的方框图。

图4是表示第一实施方式涉及的图像处理装置的动作的一个例子的流程图。

图5是表示脸部区域的示意图。

图6是表示针对脸部区域而设定的脸部的特征点的示意图。

图7是表示眼睛区域的示意图。

图8是表示被二值化的眼睛区域的示意图。

图9是检测脸部朝向的水平分量的处理的说明图。

图10是检测脸部朝向的垂直分量的处理的说明图。

图11是检测瞳方向的水平分量的处理的第一个例子的说明图。

图12是接续图11的说明图。

图13是检测瞳方向的水平分量的处理的第二个例子的说明图。

图14是表示光轴、脸部的朝向、瞳方向以及视线方向之间的关系的示意图。

图15是表示本发明的第二实施方式涉及的图像处理系统的整体构成的一个例子的示意图。

图16是表示第二实施方式涉及的图像处理系统的动作的一个例子的流程图。

图17是眼睑检测处理的说明图。

图18是表示第三实施方式涉及的图像处理系统的详细构成的方框图。

具体实施方式

本发明的基础知识

在利用人的脸部的图像数据检测人在三维实际空间内的注视点的情况下，例如需要检测相对于拍摄人的相机的光轴的视线方向。作为检测相对于相机的光轴的视线方向时的参数，例如利用相对于相机的光轴的脸部的朝向和相对于脸部的朝向的视线方向。

然而，视线方向由三维矢量构成。为此，在检测相对于光轴的视线方向的情况下，仅仅利用相对于相机的光轴的脸部的朝向和相对于脸部的朝向的视线方向还远远不够，还需要对两者分解出水平分量和垂直分量。

在专利文献1，根据在左右方向的脸部朝向和在左右方向的瞳方向之和求出在左右方向的视线方向，根据在上下方向的脸部朝向和在上下方向的瞳方向之和求出在上下方向的视线方向(0073段落)。

然而，专利文献1仅仅公开了通过将检测对象的脸部的朝向和检测对象的瞳的位置适用于根据相对于人的眼睛的轮廓的瞳的位置以及脸部的朝向和视线方向而学习的相关关系来计算瞳方向。因此，专利文献1并没有具体地公开区分在左右方向的瞳方向和在上下方向的瞳方向而进行计算的内容。并且，也没有具体地公开区分在左右方向的脸部朝向和在上下方向的脸部的朝向而进行计算的内容。因此，专利文献1完全没有考虑到在分别计算视线方向的水平分量和垂直分量时做出贡献的参数会有所不同。并且，在专利文献1还需要事先学习相关关系，很麻烦。

在专利文献2，由于将脸部的朝向视为视线方向，完全没有考虑到在分别计算视线方向的水平分量和垂直分量时做出贡献的参数会有所不同。

如上所述，专利文献1以及专利文献2的技术不足以高精度地检测视线方向。

在此，本发明的发明人发现在分别计算视线方向的水平分量和垂直分量时做出贡献的参数会有所不同，从而想到了以下所示的各实施方式。

本发明的一实施方式涉及的图像处理方法，是图像处理装置的图像处理方法，包括以下步骤：获取由摄像装置拍摄的图像数据；从所述图像数据检测出人的脸部的特征点的位置；从所述图像数据检测出所述人的眼睛的瞳的中心位置；基于所述特征点的位置检测所述脸部朝向的水平分量以及垂直分量；基于所述脸部朝向的水平分量、所述瞳的中心位置与所述特征点的位置之间的距离，推测所述人的视线方向相对于所述摄像装置的光轴的水平分量；基于至少所述脸部朝向的垂直分量，推测所述视线方向的垂直分量；输出包含所述视线方向的水平分量以及垂直分量的视线信息。

根据该构成，相对于摄像装置的光轴的视线方向的水平分量基于脸部朝向的水平分量和瞳的中心位置与脸部的特征点之间的距离进行推测。相对于光轴的视线方向的垂直分量基于至少脸部朝向的垂直分量进行推测。如此，在该构成，利用相对于光轴的视线方向的每个水平分量以及垂直分量各自不同的参数进行推测。因此，该构成可以进一步地提高视线方向的检测精度。而且，该构成不需要事先对如上所述的相关关系进行学习。因此，该构成能够以较少的处理步骤高精度地检测出视线方向。

在所述的图像处理方法，也可以是，所述特征点包含所述人的外眼角以及内眼角。

根据该构成，因为利用外眼角以及内眼角作为脸部的特征点，可以进一步地提高视线方向的检测精度。

在所述的图像处理方法，也可以是，在所述视线方向的水平分量的推测中，基于所述瞳的中心位置与所述内眼角的位置之间的第一距离和所述瞳的中心位置与所述外眼角的位置之间的第二距离的比率，推测相对于所述脸部的朝向的所述瞳的方向即瞳方向的水平分量，通过合成所述脸部朝向的水平分量和所述瞳方向的水平分量，推测所述视线方向的水平分量。

根据该构成，因为基于瞳的中心位置与内眼角的位置之间的第一距离和瞳的中心位置与外眼角的位置之间的第二距离的比率推测瞳方向的水平分量，通过合成脸部朝向的水平分量和瞳方向的水平分量，推测视线方向的水平分量。由此，视线方向的水平分量的推测精度得以提高，从而可以进一步地提高视线方向的检测精度。

在所述的图像处理方法，也可以是，所述特征点包含所述脸部的中心位置。

根据该构成，因为利用脸部的中心位置作为脸部的特征点，可以进一步地提高视线方向的检测精度。

在所述的图像处理方法，也可以是，在所述视线方向的水平分量的推测中，基于所述人的左右各自的瞳的中心位置的中点与所述脸部的中心位置之间的偏差，推测相对于所述脸部的朝向的所述瞳的方向即瞳方向的水平分量，通过合成所述瞳方向的水平分量和所述脸部朝向的水平分量，推测所述视线方向的水平分量。

根据该构成，因为基于人的左右各自的瞳的中心位置的中点与脸部的中心位置之间的偏差推测瞳方向的水平分量，通过合成瞳方向的水平分量和脸部朝向的水平分量，推测视线方向的水平分量。由此，视线方向的水平分量的推测精度得以提高，从而可以进一步地提高视线方向的检测精度。

在所述的图像处理方法，也可以是，在所述视线方向的垂直分量的推测中，还利用所述瞳的中心位置与所述人的上眼睑之间的第三距离和所述瞳的中心位置与所述人的下眼睑之间的第四距离，推测所述视线方向的垂直分量。

根据该构成，利用瞳的中心位置与人的上眼睑之间的第三距离和瞳的中心位置与人的下眼睑之间的第四距离推测视线方向的垂直分量。因此，可以更高精度地推测视线方向的垂直分量。

在所述的图像处理方法，也可以是，在所述视线方向的垂直分量的推测中，基于所述第三距离和所述第四距离的比率，推测相对于所述脸部的朝向的所述瞳的方向即瞳方向的垂直分量，通过合成所述瞳方向的垂直分量和所述脸部朝向的垂直分量，推测所述视线方向的垂直分量。

根据该构成，基于第三距离和第四距离的比率推测瞳方向的垂直分量，通过合成瞳方向的垂直分量和脸部朝向的垂直分量来推测视线方向的垂直分量。由此，视线方向的垂直分量的推测精度得以提高，从而可以进一步地提高视线方向的检测精度。

在所述的图像处理方法，也可以是，所述特征点包含眉毛以及嘴角的至少其中之一，基于所述视线信息和所述眉毛的位置以及所述嘴角的位置的至少其中之一，推测所述人的感兴趣程度。

根据该构成，与仅基于视线信息来推测感兴趣程度相比，能更高精度地推测感兴趣程度。

在所述的图像处理方法，也可以，基于所述眉毛的位置以及所述嘴角的位置的至少其中之一推测所述人的表情，基于所述视线信息和表示所述被推测的表情的信息，推测所述人的感兴趣程度。

根据该构成，因为利用基于眉毛的位置以及嘴角的位置的至少其中之一所推测的表示人的表情的信息和视线信息来推测感兴趣程度，能更高精度地推测人的感兴趣程度。

在所述的图像处理方法，也可以是，所述视线信息包含表示以所述人在规定的对象面的注视点为基准的规定范围的区域即注视面的信息。

根据该构成，可以不依赖于人与注视对象物之间的距离或注视对象物的大小适当地判断注视对象物。

在所述的图像处理方法，也可以是，所述图像数据是由可见光相机拍摄的图像数据，所述瞳的中心位置是虹膜的中心位置。

从用可见光相机拍摄的图像数据检测瞳孔比较困难，但是可以检测虹膜。在本实施方式，因为虹膜的中心位置被视为瞳的中心位置，即使是在利用可见光相机的情况下，也能高精度地检测瞳的中心位置。

在所述的图像处理方法，也可以是，所述图像数据是由红外光相机拍摄的图像数据，所述瞳的中心位置是瞳孔的中心位置。

从用红外光相机拍摄的图像数据可以检测出瞳孔。在本实施方式，因为瞳孔的中心位置被视为瞳的中心位置，在利用红外光相机的情况下，能高精度地检测瞳的中心位置。

在所述的图像处理方法，也可以是，所述图像数据是用红外光相机拍摄的图像数据，所述红外光相机利用太阳光的光谱强度比规定的第一波长衰减的规定的第二波长的带宽的红外光进行拍摄。

根据该构成，即使是在太阳光的光谱强度比较强的室外，也能高精度地检测视线方向。

本发明，也可以作为让计算机执行该图像处理方法所包含的特征性的各构成要素的图像处理程序来实现，或作为通过该图像处理程序而动作的图像处理装置来实现。而且，不用说，也可以使该计算机程序通过CD-ROM等的计算机可读取的非暂时性的记录介质或英特网等的通信网络进行流通。

另外，在以下说明的各实施方式都是表示本发明的具体例子的实施方式。在以下的实施方式所示的数值、形状、构成要素、步骤、步骤的顺序等只不过是一个具体例，并不用于限定本发明。而且，以下的实施方式中的构成要素之中、没有被记载在表示最上位概念的独立权利要求中的构成要素作为任意的构成要素而被说明。而且，对于所有的实施方式，可以任意地组合它们的内容。

第一实施方式

图1是表示本发明的第一实施方式涉及的图像处理系统1的整体构成的一个例子的示意图。图像处理系统1是拍摄人400并从所得到的人400的图像数据之中检测出表示人400的视线的视线信息的系统。在图1的例子中，图像处理系统1确定人400正在注视被显示在显示装置300上的多个目标301之中的哪一个目标301。但是，这仅仅是一个例子而已，图像处理系统1不仅可以确定被显示在显示装置300的显示画面上的目标301，还可以确定在实际空间内人400注视的目标301。

在图1的例子中，图像处理系统1被适用于数字标牌系统(digital signage)。因此，被显示在显示装置300上的目标301为广告等的标牌的图像。

图像处理系统1包含图像处理装置100、相机200(摄影装置的一个例子)以及显示装置300。图像处理装置100经由规定的通信路与相机200以及显示装置300连接。规定的通信路例如是有线LAN等的有线通信路或者无线LAN以及蓝牙(注册商标)等的无线通信路。图像处理装置100例如由设置在显示装置300的周围的计算机构成。但是，这仅仅是一个例子而已，图像处理装置100也可以由云服务器构成。在这种情况下，图像处理装置100经由因特网与相机200以及显示装置300连接。图像处理装置100，根据用相机200拍摄的人400的图像数据，检测人400的视线信息，并将其输出到显示装置300。图像处理装置100也可以作为硬件被组装在相机200或显示装置300中。也可以是相机200或显示装置300具备处理器，图像处理装置100作为软件被组装在其中。

相机200，例如通过以规定的帧频(frame rate)拍摄显示装置300的周围的环境，获取位于显示装置300的周围的人400的图像数据。相机200以规定的帧频依次将所获取的图像数据输出到图像处理装置100。相机200既可以是可见光相机也可以是红外光相机。

显示装置300例如由液晶面板或有机EL面板等显示装置构成。在图1的例子中，显示装置300是标牌显示器。另外，在图1的例子中，对图像处理系统1包含显示装置300进行了说明，但是，这仅仅是一个例子而已，也可以采用其它的设备代替显示装置300。例如，当图像处理系统1被用作受理通过视线向设备进行输入的用户界面时，图像处理系统1也可以采用例如冰箱、电视以及洗衣机等家用电器来代替显示装置300。例如，当图像处理系统1被搭载在车辆上时，可以采用汽车等车辆来代替显示装置300。此外，还可以采用硬盘驱动器、固态硬盘(solid state drive)等存储装置来代替显示装置300。

图2是表示第一实施方式涉及的图像处理系统1的详细构成的一个例子的方框图。图像处理装置100包含处理器110。处理器110是CPU、FPGA等的电路。处理器110包含图像获取部111(获取部的一个例子)、特征点检测部112、瞳检测部113、脸部朝向检测部114、垂直视线推测部116、水平视线推测部115以及输出部117。处理器110所具备的每个模块既可以通过让处理器110执行使计算机作为图像处理装置而发挥其功能的图像处理程序来实现，也可以由专用的电路来构成。以下所述的对每个模块的说明是每个模块的处理的概要，各模块的处理的详细内容将利用后述的流程图进行说明。

图像获取部111获取相机200拍摄的图像数据。在此，所获取的图像数据中包含显示装置300的周围的人400的脸部。另外，图像获取部111获取的图像数据既可以是例如发布在网站上的图像数据，也可以是外部存储装置存储的图像数据。

特征点检测部112从图像获取部111获取的图像数据中检测出人400的脸部的特征点的位置。脸部的特征点是指在构成例如外眼角、内眼角、脸部的轮廓、鼻梁、嘴角以及眉毛等的脸部的多个部位之中的每一个部分位于特征位置的一个或多个点。特征点也称为界标(1andmark)。特征点检测部112可以通过执行利用了例如机器学习的框架的模型文件(modelfile of a framework)的界标检测处理来检测脸部的特征点。

瞳检测部113从通过图像获取部111获取的图像数据中检测出人400的左眼以及右眼的各自的瞳的中心位置。在本实施方式，如图7所示，瞳是指包含瞳孔55和环绕瞳孔55的环形的虹膜56的有色的部分。

瞳检测部113通过将后述的瞳孔外缘检测处理适用于图像数据来检测瞳外缘，并将该瞳外缘的中心作为瞳的中心位置进行检测。在相机200为可见光相机的情况下，瞳孔外缘检测处理难以检测出瞳孔的外缘，但是，可以检测出虹膜的外缘。因此，在相机200为可见光相机的情况下，瞳的中心位置为虹膜外缘的中心位置。在相机200为红外光相机的情况下，瞳孔外缘检测处理可以检测出瞳孔外缘。因此，在相机200为红外光相机的情况下，瞳的中心位置为瞳孔外缘的中心位置。

脸部朝向检测部114，基于通过特征点检测部112检测到的特征点的位置，检测相对于相机200的光轴的脸部朝向的水平分量以及垂直分量。脸部朝向的水平分量是表示脸部的朝向相对于光轴以哪种程度朝向水平方向的左侧或右侧的指标。脸部朝向的垂直分量是表示脸部的朝向相对于光轴以哪种程度朝向垂直方向的上侧或下侧的指标。水平方向例如是指与地面平行的方向，与相机200拍摄的图像数据的X轴相对应。垂直方向例如是指与地面正交的方向，与相机200拍摄的图像数据的Y轴相对应。

图3是表示脸部朝向检测部114的详细的构成的方框图。脸部朝向检测部114包含水平脸部朝向检测部1141以及垂直脸部朝向检测部1142。水平脸部朝向检测部1141检测脸部朝向的水平分量。垂直脸部朝向检测部1142检测脸部朝向的垂直分量。

返回参照图2。水平视线推测部115，基于通过脸部朝向检测部114检测到的脸部朝向的水平分量和通过瞳检测部113检测到的瞳的中心位置以及通过特征点检测部112检测到的特征点的位置之间的距离，推测人400的视线方向相对于光轴的水平分量。

在本实施方式，特征点包含左眼以及右眼的各自的外眼角以及内眼角。利用了外眼角以及内眼角的水平视线推测部115的处理如下所述。水平视线推测部115计算瞳的中心位置与内眼角的位置之间的第一距离。计算了第一距离的水平视线推测部115计算瞳的中心位置与外眼角的位置之间的第二距离。计算了第二距离的水平视线推测部115，基于第一距离和第二距离的比率，推测相对于脸部的朝向的瞳的方向即瞳方向的水平分量。然后，水平视线推测部115将推测出的瞳方向的水平分量和脸部朝向的水平分量进行合成，推测视线方向的水平分量。利用了该外眼角以及内眼角的推测处理被分别适用于左眼以及右眼。

在本实施方式，特征点也可以包含脸部的中心位置。利用了脸部的中心位置的水平视线推测部115的处理如下所述。水平视线推测部115，根据人400的左右瞳的中心位置检测左右瞳的中心位置之间的中点。检测到该中点的水平视线推测部115检测脸部的中心位置与上述中点之间的偏差。检测到该偏差的水平视线推测部115基于该偏移推测瞳方向的水平分量。以下，水平视线推测部115可以用与利用了外眼角以及内眼角的情况相同的方式，推测视线方向的水平分量。利用了脸部的中心位置的推测处理被分别适用于左眼以及右眼。

垂直视线推测部116，基于通过脸部朝向检测部114检测到的脸部朝向的垂直分量，推测人400的视线方向相对于光轴的垂直分量。在本实施方式，垂直视线推测部116将脸部朝向的垂直分量作为视线方向的垂直分量进行推测。

输出部117生成包含通过水平视线推测部115推测出的视线方向的水平分量和通过垂直视线推测部116推测出的视线方向的垂直分量的视线信息，并将其输出到显示装置300。输出部117也可以基于视线方向计算出在显示装置300的显示面(对象面)上的注视点，并将该注视点包含在视线信息中。

计算出了注视点的输出部117也可以获取被显示在显示装置300的目标301的信息，并根据所获取的信息和注视点的坐标数据确定人400注视的目标301(注视目标)，并将确定结果输出到显示装置300。

相机200由于在图1已经进行了说明，在此省略其说明。

显示装置300显示例如从输出部117输出的表示视线信息的标记。在从输出部117获取了注视目标的确定结果的情况下，显示装置300也可以显示表示注视目标的标记。

在图像处理系统1由代替显示装置300的家用电器构成的情况下，家用电器受理人400通过视线信息的输入。在图像处理系统1由代替显示装置300的存储装置构成的情况下，存储装置存储视线信息。在这种情况下，存储装置可以将时间戳与视线信息相互对应地进行存储。

其次，对图像处理装置100的动作进行说明。图4是表示第一实施方式涉及的图像处理装置100的动作的一个例子的流程图。在步骤S1，图像获取部111从相机200获取图像数据。在步骤S2，特征点检测部112通过将图像数据输入到用于检测脸部区域的分类器，根据图像数据检测脸部区域。该分类器例如是为了在开源码的图像处理库(open-source imageprocessing library)检测脸部区域而预先创建的哈尔式级联分类器(Haar-like cascadeclassifier)。脸部区域例如是具有包含整个脸部的大小的矩形的区域。但是，这仅仅是一个例子而已，脸部区域的形状也可以是矩形以外的例如三角形、五角形、六角形或八角形等。另外，特征点检测部112也可以通过模式匹配(pattern matching)检测脸部区域。

图5是表示脸部区域40的示意图。如图5所示，特征点检测部112将包含额头的上半部分和下巴的下半部分以及耳朵的发际线的矩形的区域作为脸部区域40进行检测。在此，虽然脸部区域40不包含头发的整体，但是，也可以是包含头发的整体的区域。在图5中，因为图像数据是从正面拍摄人400的图像数据，所以包含左眼和右眼。在本实施方式，为了便于说明，右眼是指从正面看人400时位于右侧的眼睛，左眼是指从正面看人400时位于左侧的眼睛。但是，这仅仅是一个例子而已，也可以是从人400看去位于右侧的眼睛作为右眼，从人400看去位于左侧的眼睛作为左眼。而且，在本实施方式，将纸面的右侧的方向作为右方，纸面的左侧的方向作为左方。

返回参照图4。在步骤S3，对在步骤S2检测到的脸部区域40适用上述的界标检测处理，来检测脸部的特征点。

图6是表示针对脸部区域40而设定的脸部的特征点9X的示意图。如图6所示，通过对脸部区域40适用界标检测处理从脸部区域40检测出多个特征点9X。在图6的例子中，示意了通过界标检测处理检测到的特征点9X之中用于检测视线信息所需的特征点9X。在图6的例子中，检测出位于鼻梁上的例如五个特征点9X、位于鼻子下侧的例如两个特征点9X、位于脸部的轮廓上的例如十七个特征点9X。并且，在图6的例子中，还检测出位于左右的内眼角92的两个特征点9X和位于左右的外眼角93的两个特征点9X。另外，特征点9X被分别赋予了界标点编号，预先设定好哪一个界标点编号的特征点表示脸部的哪一个部位。例如，界标点编号为“2”的特征点9X表示左侧的外眼角93，界标点编号为“0”的特征点表示左侧的内眼角92，如此对各个特征点9X设定界标点编号。为此，特征点检测部112可以根据界标点编号确定特征点9X表示脸部的哪一个部位。

返回参照图4。在步骤S4，瞳检测部113将在步骤S2检测到的脸部区域40输入到用于检测眼睛区域的分类器，来检测眼睛区域。该分类器例如是为了在开源的图像处理库检测眼睛检测区域而预先创建的哈尔式级联分类器。眼睛区域是具有尺寸为在眼睛的大小上增加了规定的余裕的矩形的区域。但是，这仅仅是一个例子而已，眼睛区域的形状也可以是矩形以外的例如三角形、五角形、六角形或八角形等。在脸部区域包含了人400的二个眼睛的情况下，瞳检测部113可以设定与二个眼睛分别对应的两个眼睛区域50。另外，瞳检测部113也可以通过模式匹配设定眼睛区域50。在本实施方式，眼睛是指如图7所示被上眼睑边界53和下眼睑边界54包围的包含白眼珠和黑眼珠等的有颜色的部分的区域。

图7是表示眼睛区域50的示意图。如图7所示，可以看出眼睛区域50是包含眼睛的整个区域并在眼睛的大小上增加了一些余裕的矩形的区域。另外，眼睛区域50的边界相对于眼睛设定在哪一个位置取决于分类器的性能。因此，眼睛区域50的尺寸根据分类器的性能有所不同。例如，眼睛区域50的上侧的边界可以延伸到上眼睑的眉毛附近。而且，眼睛区域50的鼻子侧的边界可以延伸到鼻子附近，眼睛区域50的耳朵侧的边界可以延伸到太阳穴附近。在图7的例子中，由于在脸部区域40包含左右的眼睛，瞳检测部113设定与右眼以及左眼分别对应的两个眼睛区域50。

返回参照图4，在步骤S5，瞳检测部113从在步骤S4检测到的眼睛区域50检测出瞳的中心位置。以下，对步骤S5的处理的详细内容进行说明。首先，瞳检测部113将眼睛区域50二值化。图8是表示被二值化的眼睛区域50的示意图。在此，采用例如被称为大津二值化算法(Otsu′s binarization)的方法的方法。在图8中，亮度低于阈值的区域用白色表示，亮度在阈值以上的区域用黑色表示。

其次，瞳检测部113进行对被二值化的眼睛区域50出现的白色的岛赋予标签编号(labeling number)的贴标签处理。在图8的例子中，上睫毛的左侧被视为一个岛61，对岛61赋予标签编号“1”。上睫毛的右侧被视为一个岛62，对岛62赋予标签编号“2”。瞳孔被视为一个岛63，对岛63赋予标签编号“3”。下睫毛被视为一个岛64，对岛64赋予标签编号“4”。

其次，瞳检测部113对被赋予了标签编号的岛61至64分别判断是否满足规定的判断条件，并将满足判断条件的岛判断为瞳孔。作为判断条件，可以采用面积在规定的瞳孔最小面积以上、规定的瞳孔最大面积以下这样的条件。瞳孔最小面积是在图像数据中被认为(assumed)的瞳孔的最小面积，瞳孔最大面积是在图像数据中被认为的瞳孔的最大面积。在存在多个满足判断条件的岛的情况下，瞳检测部113也可以例如将面积为最大的岛判断为瞳孔。在此，岛63被判断为瞳孔。

其次，瞳检测部113检测瞳孔的中心。在此，瞳孔的岛63的例如重心被作为瞳孔的中心而检测。

图8所示的图像是通过红外光相机拍摄的图像。在用红外光相机拍摄的图像数据中，瞳孔和虹膜之间会出现较大的亮度变化。为此，在图8的例子中，通过二值化可以检测出瞳孔的岛63。另一方面，在用可见光相机拍摄的图像数据中，瞳孔和虹膜之间不会出现较大的亮度变化，在虹膜和白眼球之间的边界会出现较大的亮度变化。

在此，瞳检测部113，例如在相机200为红外光相机的情况下，可以从被二值化的眼睛区域50检测出瞳孔。另一方面，瞳检测部113，例如在相机200为可见光相机的情况下，可以从被二值化的眼睛区域50检测出虹膜。在这种情况下，瞳检测部113可以采用面积在规定的虹膜最小面积以上且在规定的虹膜最大面积以下的条件作为判断条件。在此所述的虹膜最小面积以及虹膜最大面积不是指呈环状的虹膜本身的面积，而是指在虹膜中包含瞳孔的区域，即，瞳的最大面积以及最小面积。在这种情况下，瞳检测部113可以检测虹膜的中心。作为虹膜的中心可以采用表示虹膜的岛的例如重心。

其次，瞳检测部113执行检测瞳孔的外缘的瞳孔外缘检测处理。作为瞳孔外缘检测处理，可以采用利用了John G.Daugman倡导的方法(以下，称为“道格曼算法(DaugmanAlgorithm)”))的一部分的瞳孔外缘检测处理。在“High Confidence Visual Recognitionof Persons by a Test of Statistical Independence：John G.Daugman(1993)”文献中公开了道格曼算法。

具体而言，在瞳孔外缘检测处理中，首先，瞳检测部113将从被二值化的眼睛区域50检测到的瞳孔的中心作为圆的中心，设定具有规定的瞳孔最小半径的圆。其次，瞳检测部113通过围线积分(contour integral)求出所设定的圆的圆周上的亮度的合计值。其次，瞳检测部113，将之前设定的圆的半径作为一个像素，通过对在径向扩展的圆进行围线积分求出亮度的合计值。其次，瞳检测部113重复执行该处理直到达到规定的瞳孔最大半径为止。由此，获得表示多个半径和与多个半径分别对应的亮度的合计值之间的关系的函数。其次，瞳检测部113，将该函数针对半径进行偏微分，求出相邻半径彼此之间的亮度的合计值的最大变化量，将检测到该最大变化量的位置的半径的圆作为瞳孔外缘进行检测。其次，瞳检测部113将瞳孔外缘的中心决定为瞳的中心位置。由此，结束步骤S5的处理。

另外，在图像数据是由可见光相机拍摄的图像数据的情况下，瞳检测部113通过将瞳孔外缘检测处理适用于被二值化的眼睛区域50检测出虹膜外缘。因此，在图像数据是由可见光相机拍摄的图像数据的情况下，在步骤S5最终获得的瞳的中心位置成为虹膜外缘的中心位置。

以往，作为瞳孔外缘检测处理，广泛地使用哈夫(Haugh)圆检测处理。然而，图像数据中包含的人400的瞳孔并不都是正圆形，还存在失真变形的情况。而且，图像数据中包含的人400也有可能为细长眼睛的情况以及脸部朝向侧面的情况。由于在这些情况下，瞳孔不是正圆形，存在用哈夫圆检测处理不能正确地检测出瞳孔外缘的可能性。

对此，在本实施方式，采用利用了道格曼算法的一部分的瞳孔外缘检测处理。由此，在本实施方式，在瞳孔从正圆形失真变形的情况、细长眼睛的情况以及脸部朝向侧面的情况等各种情况下，都能提高对于瞳孔外缘检测处理的坚牢性(robustness)。

返回参照图4。在步骤S6，水平脸部朝向检测部1141基于在步骤S3检测到的脸部的特征点检测出脸部朝向的水平分量。并且，在步骤S6，垂直脸部朝向检测部1142基于在步骤S3检测到的脸部的特征点检测出脸部朝向的垂直分量。

脸部朝向的水平分量的处理的详细内容如下所述。图9是检测脸部朝向的水平分量的处理的说明图。图9的左图表示脸部朝向左方的状态。图9的右图表示脸部朝向右方的状态。

参照图9的左图。首先，水平脸部朝向检测部1141根据在脸部区域40设定的脸部的特征点9X设定纵向的纵中心线131和横向的横中心线132。例如，水平脸部朝向检测部1141可以将通过表示鼻梁的中心的特征点133并与脸部区域40的纵边平行的直线设定为纵中心线131。特征点133例如是表示鼻梁的五个特征点9X之中从上起的第三个特征点9X。而且，水平脸部朝向检测部1141可以例如将通过特征点133并与脸部区域40的横边平行的直线设定为横中心线132。关于纵中心线131以及横中心线132，尽管是以通过鼻梁的中心的特征点133为例进行了说明，但是，例如，也可以采用通过鼻梁的下端的特征点134的方式来设定，还可以采用通过鼻梁的上端的特征点135的方式来设定。

其次，水平脸部朝向检测部1141用特征点133划分横中心线132，求出右区间K1的长度和左区间K2的长度。其次，水平脸部朝向检测部1141求出将横中心线132的长度作为100％时右区间K1和左区间K2的比率，并基于该比率求出脸部朝向的水平分量。例如，设右区间K1的比率为α1、左区间K2的比率为α2、右方为正。在这种情况下，水平脸部朝向检测部1141，如图9的左图所示，如果比率α2小于比率α1，就判断脸部朝向左方。如图9的右图所示，如果比率α1小于比率α2，水平脸部朝向检测部1141就判断脸部朝向右方。如果比率α2与比率α1大致相等，水平脸部朝向检测部1141就判断脸部朝向正面。大致相等意味着允许比率α2与比率α1之间存在一些差异。例如，水平脸部朝向检测部1141，在比率α2和比率α1两者都在相对于50％加/减Δα的范围内的情况下，可以判断为脸部朝向正面。作为Δα的一个例子例如为2％、5％、8％、10％等。

其次，水平脸部朝向检测部1141从50中减去比率α1以及比率α2之中较小一方的比率。例如，如图9的左图所示，如果比率α2小于比率α1，水平脸部朝向检测部1141就求出50-α2。如图9的右图所示，如果比率α1小于比率α2，水平脸部朝向检测部1141就求出50-α1。其次，水平脸部朝向检测部1141，在脸部朝向右方的情况下，由于右方为正，将50-α1作为脸部朝向的水平分量进行计算。另一方面，水平脸部朝向检测部1141，在脸部朝向左方的情况下，由于左方为负，将-(50-α2)作为脸部朝向的水平分量进行计算。

由此，随着脸部朝向的水平分量的值在正的方向增大，表示脸部的朝向更朝向右方，随着脸部朝向的水平分量的值在负的方向增大，表示脸部的朝向更朝向左方。而且，在脸部朝向的水平分量为0时，表示脸部的朝向为正面方向。通过以上所述计算脸部朝向的水平分量。求出脸部朝向的水平分量的方法并不局限于上述的方法，只要是能够计算出脸部朝向的水平分量的方法可以采用任意的方法。例如，脸部朝向的水平分量也可以采用从比率α1与比率α2之中较大一方的值减去50的值。而且，脸部朝向的水平分量也可以设左方为正。

其次，对脸部朝向的垂直分量进行说明。图10是检测脸部朝向的垂直分量的处理的说明图。图10的左图表示脸部朝向上方的状态。图10的右图表示脸部朝向下方的状态。

参照图10的左图。首先，垂直脸部朝向检测部1142在脸部区域40设定横中心线132，该横中心线132为通过表示鼻梁的中心的特征点133并且与脸部区域40的横边平行的直线。另外，横中心线132也可以设定在特征点133以外的鼻梁的特征点上。该横中心线132的设定也可以利用水平脸部朝向检测部1141的设定结果。

其次，垂直脸部朝向检测部1142利用纵边与横中心线132之间的交点136划分脸部区域40的纵边，求出上区间K3的长度和下区间K4的长度。其次，垂直脸部朝向检测部1142求出将上述纵边的长度作为100％时上区间K3和下区间K4的比率，并基于该比率求出脸部朝向的垂直分量。例如，设上区间K3的比率为α3、下区间K4的比率为α4、上方为正。在这种情况下，垂直脸部朝向检测部1142，如图10的左图所示，如果比率α3小于比率α4，就判断脸部朝向上方。如图10的右图所示，如果比率α4小于比率α3，垂直脸部朝向检测部1142就判断脸部朝向下方。如果比率α3与比率α4大致相等，垂直脸部朝向检测部1142就判断脸部朝向正面。比率α3与比率α4大致相等与上述的比率α1与比率α2大致相等具有相同含义。

其次，垂直脸部朝向检测部1142从50中减去比率α3以及比率α4之中较小一方的比率。例如，如图10的左图所示，如果比率α3小于比率α4，垂直脸部朝向检测部1142就求出50-α3。如图10的右图所示，如果比率α4小于比率α3，垂直脸部朝向检测部1142就求出50-α4。其次，垂直脸部朝向检测部1142，在脸部朝向上方的情况下，由于上方为正，将50-α3作为脸部朝向的垂直分量进行计算。另一方面，垂直脸部朝向检测部1142，在脸部看向下方的情况下，由于上方为正，将-(50-α4)作为脸部朝向的垂直分量进行计算。

由此，随着脸部朝向的垂直分量的值在正的方向增大，表示脸部的朝向更朝向上方，随着脸部朝向的垂直分量的值在负的方向增大，表示脸部的朝向更朝向下方。而且，在脸部朝向的垂直分量为0时，表示脸部的朝向为正面方向。通过以上所述计算出脸部朝向的垂直分量。求出脸部朝向的垂直分量的方法并不局限于上述的方法，只要是能够计算出脸部朝向的垂直分量的方法，可以采用任意的方法。例如，脸部朝向的垂直分量也可以采用从比率α3以及比率α4之中较大一方的比率减去50的值。而且，脸部朝向的垂直分量也可以设下方为正。

返回参照图4。在步骤S7，水平视线推测部115，利用在步骤S3作为脸部的特征点检测到的外眼角以及内眼角和在步骤S5检测到的瞳的中心位置推测瞳方向的水平分量。

图11是检测瞳方向的水平分量的处理的第一个例子的说明图。在图11中表示了右眼。在第一个例子中，利用外眼角以及内眼角计算瞳方向的水平分量。首先，水平视线推测部115计算内眼角92与瞳的中心位置622之间在X方向的距离即第一距离D1。水平视线推测部115计算外眼角93与瞳的中心位置622之间在X方向的距离即第二距离D2。在这种情况下，利用内眼角92的X坐标与瞳的中心位置622的X坐标之间的差值的绝对值计算第一距离D1。利用外眼角93的X坐标与瞳的中心位置622的X坐标之间的差值的绝对值计算第二距离D2。其次，水平视线推测部115，计算以内眼角92的X坐标与外眼角93的X坐标之间的距离为100％时的第一距离D1和第二距离D2的比率β1和比率β2。上述的处理针对左右的眼睛分别执行。

图12是接续图11的说明图。图12的左图表示在脸部大致朝向正面的状态下瞳朝向左方的状态。图12的右图表示在脸部大致朝向正面的状态下瞳朝向右方的状态。在图12中，Lβ1以及Lβ2表示左眼的第一距离D1和第二距离D2的比率，Rβ1以及Rβ2表示右眼的第一距离D1和第二距离D2的比率。

在图12的左图中，左右的瞳偏向左方。因此，左眼的第二距离D2变短，右眼的第一距离D1变短。在图12的右图中，左右的瞳偏向右方。因此，左眼的第二距离D2变长，右眼的第一距离D1变长。

基于以上，瞳方向的水平分量如下所示计算得出。以下，设瞳偏向右方时为正。水平视线推测部115判断瞳是偏向左方还是偏向右方。在这种情况下，水平视线推测部115可以例如着眼于右眼，如果比率Rβ1小于比率Rβ2就判断为瞳偏左，如果比率Rβ2小于比率Rβ1就判断为瞳偏右。在着眼于左眼的情况下，水平视线推测部115，如果比率Lβ2小于比率Lβ1就判断为瞳偏左，如果比率Lβ1小于比率Lβ2就判断为瞳偏右。

在瞳偏向左方的情况下，如图12的左图所示，计算出左眼的第二距离D2的比率Lβ2与右眼的第一距离D1的比率Rβ1之间的平均值，并将对从50减去该平均值的值乘以负号的值作为瞳方向的水平分量进行计算。之所以计算平均值是因为瞳方向在左右的眼睛没有太大的差异。从50减去平均值是因为瞳方向的水平分量的值随着瞳从脸部的正面偏向左方或右方会增大。乘以负号是因为设右方为正。

在瞳偏向右方的情况下，水平视线推测部115，如图12的右图所示，计算出左眼的第一距离D1的比率Lβ1与右眼的第二距离D2的比率Rβ2之间的平均值，并将从50减去该平均值的值作为瞳方向的水平分量进行计算。

由此，随着瞳方向的水平分量的值在正的方向增大，表示瞳相对于脸部的正面朝向右方，随着瞳方向的水平分量的值在负的方向增大，表示瞳相对于脸部的正面朝向左方。而且，在瞳方向的水平分量为0时，表示瞳朝向脸部的正面。根据以上所述计算出瞳方向的水平分量。求出瞳方向的水平分量的方法并不局限于上述的方法，只要是可以计算出瞳方向的水平分量的方法可以采用任意的方法。例如，在上述的例子中，虽然利用了比率β1以及比率β2之中较小一方的比率，但是也可以利用比率β1以及比率β2之中较大一方的比率。在这种情况下，也可以通过从较大一方的比率减去50计算出瞳方向的水平分量。而且，瞳方向的水平分量也可以设左方为正。

其次，对检测瞳方向的水平分量的处理的第二个例子进行说明。在第二个例子中，利用脸部的中心位置检测瞳方向的水平分量。图13是检测瞳方向的水平分量的处理的第二个例子的说明图。水平视线推测部115将连接左眼的内眼角92的X坐标和右眼的内眼角92的X坐标的线段L2的中点作为脸部的中心位置142进行检测。其次，水平视线推测部115检测连接左瞳的中心位置622的X坐标和右瞳的中心位置的X坐标的线段L1的中点141。

其次，水平视线推测部115将中点141与中心位置142之间的偏差143作为瞳方向的水平分量进行检测。例如，如果设右方为正，在中点141相对于中心位置142位于左方的情况下，将对偏差的绝对值取负的值作为瞳方向的水平分量进行检测。在中点141相对于中心位置142位于右方的情况下，将偏差的绝对值作为瞳方向的水平分量进行检测。通过以上所述计算出瞳方向的水平分量。

返回参照图4。在步骤S8，水平视线推测部115，将在步骤S6检测到的脸部朝向的水平分量和在步骤S7检测到的瞳方向的水平分量进行合成，推测视线方向的水平分量。例如，通过利用规定的加权系数对脸部朝向的水平分量和瞳方向的水平分量进行加权相加计算出视线方向的水平分量。但是，这仅是一个例子而已，视线方向的水平分量也可以不对脸部朝向的水平分量和瞳方向的水平分量进行加权相加而计算得出。

图14是表示光轴151、脸部的朝向152、瞳方向153以及视线方向154之间的关系的示意图。图14的例子示意了俯视看到的人400的状态。

在图14的例子中，脸部的朝向152相对于光轴151位于逆时针的方向。在图14的例子中，逆时针为负、顺时针为正。在图14的例子中，脸部的朝向152相对于光轴151位于逆时针的方向。因此，以光轴151为基准的脸部的朝向152的水平分量为具有相当于光轴151与脸部的朝向152之间的角度(-θ1)的值。而且，瞳方向153相对于脸部的朝向152位于顺时针的方向。为此，以脸部的朝向152为基准的瞳方向153的水平分量为具有相当于脸部的朝向152与瞳方向153之间的角度(+θ2)的值。因此，以光轴151为基准的视线方向154的水平分量为具有相当于光轴151与瞳方向153之间的角度(-θ3＝-θ1+θ2)的值。

与此相对应，假设瞳朝向瞳方向155。在这种情况下，瞳方向155相对于脸部的朝向152位于逆时针的方向。为此，以脸部的朝向152为基准的瞳方向155的水平分量为具有相当于脸部的朝向152与瞳方向155之间的角度(-θ4)的值。因此，以光轴151为基准的视线方向156的水平分量为具有相当于光轴151与瞳方向155之间的角度(-θ5＝-θ1-θ4)的值。

返回参照图4。在步骤S9，垂直视线推测部116将在步骤S6检测到的脸部朝向的垂直分量推测为视线方向的垂直分量。

在步骤S10，输出部117生成包含在步骤S8推测出的视线方向的水平分量和在步骤S9推测出的视线方向的垂直分量的视线信息，并将其输出到显示装置300。

如上所述，根据本实施方式，相对于光轴的视线方向的水平分量通过合成脸部朝向的水平分量和瞳方向的水平分量进行推测。相对于光轴的视线方向的垂直分量基于脸部朝向的垂直分量进行推测。如此，在本实施方式，利用不同的参数对相对于光轴的视线方向的水平分量和垂直分量分别进行推测。因此，本实施方式可以进一步地提高视线方向的检测精度。而且，本实施方式不需要事先学习如上所述的相关关系。因此，本实施方式能够以较少的处理步骤高精度地检测出视线方向。

第二实施方式

第二实施方式的特征在于考虑到上眼睑以及下眼睑求出视线方向的垂直分量。图15是表示本发明的第二实施方式涉及的图像处理系统1A的整体构成的一个例子的示意图。在以下的说明中，以与第一实施方式的不同点为中心进行说明。处理器110A还包含眼睑检测部118。由于垂直视线推测部116A的处理内容与第一实施方式的垂直视线推测部116不同，示意在符号的末尾附加A。

眼睑检测部118，对图像获取部111获取的图像数据适用后述的眼睑检测处理，检测上眼睑的位置以及下眼睑的位置。

垂直视线推测部116A检测第三距离和第四距离，第三距离为通过瞳检测部113输入的瞳的中心位置与通过眼睑检测部118输入的上眼睑的位置之间的距离，第四距离为上述瞳的中心位置与通过眼睑检测部118输入的下眼睑之间的距离。垂直视线推测部116A基于第三距离和第四距离的比率推测瞳方向的垂直分量。垂直视线推测部116A，通过合成瞳方向的垂直分量和通过脸部朝向检测部114检测到的脸部朝向的垂直分量，推测视线方向的垂直分量。

其次，对图像处理系统1A的动作进行说明。图16是表示第二实施方式涉及的图像处理系统1A的动作的一个例子的流程图。另外，在图16中，对于与图4相同的处理，赋予相同的处理编号。

在接续步骤S8的步骤S101，眼睑检测部118通过对眼睛区域50适用眼睑检测处理来检测上眼睑的位置以及下眼睑的位置。以下，对眼睑检测处理的详细内容进行说明。图17是眼睑检测处理的说明图。

眼睑检测部118使用被二值化之前的眼睛区域50。首先，眼睑检测部118对眼睛区域50设定在步骤S5检测到的瞳的中心位置622。其次，眼睑检测部118在瞳的中心位置622的上侧设定与Y轴平行的上垂直线183。其次，眼睑检测部118，从瞳的中心位置622到上眼睑搜索在上垂直线183上亮度向明亮侧的变化为最大的位置，并将该变化为最大的位置作为上眼睑的位置181进行检测。检测出了上眼睑的位置181的眼睑检测部118，在瞳的中心位置622的下侧设定与Y轴平行的下垂直线184。然后，眼睑检测部118，从瞳的中心位置622到下眼睑搜索在下垂直线184上亮度向明亮侧的变化为最大的位置，并将该变化为最大的位置作为下眼睑的位置182进行检测。另外，该搜索处理的详细使用利用了多格曼算法中的虹膜外缘的检测处理的处理。

返回参照图16。在步骤S102，垂直视线推测部116A利用在步骤S101检测到的上眼睑的位置181以及下眼睑的位置182推测瞳方向的垂直分量。

再次参照图17。垂直视线推测部116A检测作为从瞳的中心位置622起到上眼睑的位置181为止的垂直方向的距离即第三距离D3。垂直视线推测部116A检测作为从瞳的中心位置622起到下眼睑的位置182为止的垂直方向的距离即第四距离D4。

垂直视线推测部116A计算将从上眼睑的位置181起到下眼睑的位置182为止的垂直方向的距离设为100％时的第三距离D3的比率γ。在此，将瞳朝向正面方向时的比率γ作为基准比率(例如，0.6)，设上方向为正。在这种情况下，随着瞳偏向上方，比率γ从基准比率起逐渐减少。随着瞳偏向下方，比率γ从基准比率起逐渐增大。在此，垂直视线推测部116A将从基准比率减去比率γ的值作为瞳方向的垂直分量进行推测。由此，随着瞳偏向上方瞳方向的垂直分量的值在正的方向增大，随着瞳偏向下方瞳方向的垂直分量的值在负的方向增大。

在步骤S103，垂直视线推测部116A将在步骤S6检测到的脸部朝向的垂直分量和在步骤S102推测出的瞳方向的垂直分量进行合成，推测出视线方向的垂直分量。例如，通过利用规定的加权系数对脸部朝向的垂直分量和瞳方向的垂直分量进行加权相加计算出视线方向的垂直分量。但是，这仅是一个例子而已，也可以不对脸部朝向的垂直分量和瞳方向的垂直分量进行加权相加计算出视线方向的垂直分量。

如上所述，根据本实施方式，由于考虑到瞳方向的垂直分量来推测视线方向的垂直分量，可以进一步地提高视线方向的检测精度。

第三实施方式

第三实施方式是推测人400的感兴趣程度的实施方式。图18是表示第三实施方式涉及的图像处理系统1B的详细的构成的方框图。另外，在本实施方式，对于与第一、第二实施方式相同的构成要素赋予相同的符号，并省略其说明。而且，在图18中，对于与图2为同一个名称但是功能不同的模块在末尾赋予B的符号。

处理器110B还包含感兴趣程度推测部119。感兴趣程度推测部119通过以下的处理来推测人400的感兴趣程度。首先，感兴趣程度推测部119，利用通过特征点检测部112检测到的脸部的特征点9X，从脸部区域40检测眉毛以及嘴角。在此，感兴趣程度推测部119可以通过在特征点检测部112检测到的脸部的特征点9X中确定被赋予了与眉毛以及嘴角分别对应的界标点编号的特征点9X，来检测眉毛以及嘴角。

其次，感兴趣程度推测部119，基于通过输出部117输入的视线信息和检测到的眉毛的位置以及嘴角的位置，推测人400的感兴趣程度，并将其输出到显示装置300。具体而言，感兴趣程度推测部119例如从存储器(图示省略)获取图案数据(pattern data)，该图案数据预先记述了例如人表现出喜悦、惊讶、愤怒、悲伤以及无表情等各种表情时眉毛以及嘴角的标准位置。感兴趣程度推测部119将检测到的人400的眉毛以及嘴角的位置与图案数据进行对照，来推测人400的表情。感兴趣程度推测部119，利用所推测出的人400的表情和视线信息所示的视线，确定人400的视线朝向哪个方向或者人400的注视点位于哪个位置时人400都表现出什么样的表情。即，感兴趣程度推测部119将人400的视线信息与人400的表情相互对应的数据作为人400的感兴趣程度进行确定。在此，对感兴趣程度推测部119基于眉毛以及嘴角推测感兴趣程度进行了说明，但是，这仅仅是一个例子而已，也可以基于眉毛以及嘴角的其中之一来推测感兴趣程度。

如以上说明所述，根据本实施方式，因为除了利用视线信息之外还利用眉毛以及嘴角来推测人400的感兴趣程度，与仅基于视线信息推测感兴趣程度相比能更高精度地推测感兴趣程度。

变形例

(1)作为相机200在采用红外光相机的情况下，红外光相机可以用利用太阳光的光谱强度为比规定的第一波长衰减的规定的第二波长带宽的红外光的红外光相机来构成。规定的第一波长例如为850nm。规定的第二波长例如为940nm。第二波长的带宽例如为不包含850nm并且是以940nm为基准(例如，中心)的规定宽度的带宽。作为拍摄近红外光的红外光相机，已知有使用850nm的红外光的红外光相机。然而，由于太阳光的光谱强度在850nm没有被充分地衰减，在太阳光的光谱强度较强的室外存在无法进行高精度的视线检测的可能性。因此，本发明采用例如使用940nm带宽的红外光的相机作为红外光相机。由此，即使是在太阳光的光谱强度较强的室外也可以进行高精度的视线检测。在此，规定的第二波长为940nm，但是，这仅仅是一个例子而已，也可以是稍微偏离940nm的波长。另外，使用第二波长的红外光的红外光相机例如是具备照射第二波长的红外光的投光器的相机。

(2)在上述实施方式，对视线信息包含表示注视点的坐标数据进行了说明，但是，本发明并不局限于此。例如，视线信息也可以包含表示以注视点为基准(例如，中心)的规定尺寸的规定形状(例如，圆、四边形等)的区域即注视面的坐标数据。由此，可以不依赖于人与注视对象物之间的距离或者注视对象物的大小而适当地判断注视对象物。

产业上的可利用性

本发明，因为可以高精度地检测视线信息，适用于利用了瞳信息的虹膜认证、利用视线信息对人的感兴趣对象的推测、人的状态推测以及利用了视线的用户界面等。

Claims (15)

1.一种图像处理方法，是图像处理装置的图像处理方法，其特征在于包括以下步骤：

获取由摄像装置拍摄的图像数据；

从所述图像数据检测出人的脸部的特征点的位置；

从所述图像数据检测出所述人的眼睛的瞳的中心位置；

基于所述特征点的位置，检测所述脸部朝向的水平分量以及垂直分量；

基于所述脸部朝向的水平分量、所述瞳的中心位置与所述特征点的位置之间的距离，推测所述人的视线方向相对于所述摄像装置的光轴的水平分量；

基于至少所述脸部朝向的垂直分量，推测所述视线方向的垂直分量；

输出包含所述视线方向的水平分量以及垂直分量的视线信息。

2.根据权利要求1所述的图像处理方法，其特征在于，

所述特征点包含所述人的外眼角以及内眼角。

3.根据权利要求2所述的图像处理方法，其特征在于，

在所述视线方向的水平分量的推测中，基于所述瞳的中心位置与所述外眼角的位置之间的第一距离和所述瞳的中心位置与所述内眼角的位置之间的第二距离的比率，推测相对于所述脸部的朝向的所述瞳的方向即瞳方向的水平分量，通过合成所述脸部朝向的水平分量和所述瞳方向的水平分量，推测所述视线方向的水平分量。

4.根据权利要求1所述的图像处理方法，其特征在于，

所述特征点包含所述脸部的中心位置。

5.根据权利要求4所述的图像处理方法，其特征在于，

在所述视线方向的水平分量的推测中，基于所述人的左右各自的瞳的中心位置的中点与所述脸部的中心位置之间的偏差，推测相对于所述脸部的朝向的所述瞳的方向即瞳方向的水平分量，通过合成所述瞳方向的水平分量和所述脸部朝向的水平分量，推测所述视线方向的水平分量。

6.根据权利要求1至5中任一项所述的图像处理方法，其特征在于，

在所述视线方向的垂直分量的推测中，还利用所述瞳的中心位置与所述人的上眼睑之间的第三距离和所述瞳的中心位置与所述人的下眼睑之间的第四距离，推测所述视线方向的垂直分量。

7.根据权利要求6所述的图像处理方法，其特征在于，

在所述视线方向的垂直分量的推测中，基于所述第三距离和所述第四距离的比率，推测相对于所述脸部的朝向的所述瞳的方向即瞳方向的垂直分量，通过合成所述瞳方向的垂直分量和所述脸部朝向的垂直分量，推测所述视线方向的垂直分量。

8.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，

所述特征点包含眉毛以及嘴角的至少其中之一，

基于所述视线信息和所述眉毛的位置以及所述嘴角的位置的至少其中之一，推测所述人的感兴趣程度。

9.根据权利要求8所述的图像处理方法，其特征在于，

基于所述眉毛的位置以及所述嘴角的位置的至少其中之一，推测所述人的表情，

基于所述视线信息和表示所述被推测的表情的信息，推测所述人的感兴趣程度。

10.根据权利要求1至9中任一项所述的图像处理方法，其特征在于，

所述视线信息包含表示以所述人在规定的对象面的注视点为基准的规定范围的区域即注视面的信息。

11.根据权利要求1至10中任一项所述的图像处理方法，其特征在于，

所述图像数据是由可见光相机拍摄的图像数据，

所述瞳的中心位置是虹膜的中心位置。

12.根据权利要求1至10中任一项所述的图像处理方法，其特征在于，

所述图像数据是由红外光相机拍摄的图像数据，

所述瞳的中心位置是瞳孔的中心位置。

13.根据权利要求1至12中任一项所述的图像处理方法，其特征在于，

所述图像数据是用红外光相机拍摄的图像数据，所述红外光相机利用太阳光的光谱强度比规定的第一波长衰减的规定的第二波长的带宽的红外光进行拍摄。

14.一种图像处理装置，其特征在于包括：

获取部，获取由摄像装置拍摄的图像数据；

特征点检测部，从所述图像数据检测出人的脸部的特征点的位置；

瞳检测部，从所述图像数据检测出所述人的眼睛的瞳的中心位置；

脸部朝向检测部，基于所述特征点的位置检测所述脸部朝向的水平分量以及垂直分量；

水平视线推测部，基于所述脸部朝向的水平分量、所述瞳的中心位置与所述特征点的位置之间的距离，推测所述人的视线方向相对于所述摄像装置的光轴的水平分量；

垂直视线推测部，基于至少所述脸部朝向的垂直分量，推测所述视线方向的垂直分量；以及，

输出部，输出包含所述视线方向的水平分量以及垂直分量的视线信息。

15.一种图像处理程序，其特征在于，使计算机执行以下各部的功能：

获取部，获取由摄像装置拍摄的图像数据；

特征点检测部，从所述图像数据检测出人的脸部的特征点的位置；

瞳检测部，从所述图像数据检测出所述人的眼睛的瞳的中心位置；

脸部朝向检测部，基于所述特征点的位置检测所述脸部朝向的水平分量以及垂直分量；

水平视线推测部，基于所述脸部朝向的水平分量、所述瞳的中心位置与所述特征点的位置之间的距离，推测所述人的视线方向相对于所述摄像装置的光轴的水平分量；

垂直视线推测部，基于至少所述脸部朝向的垂直分量，推测所述视线方向的垂直分量；

输出部，输出包含所述视线方向的水平分量以及垂直分量的视线信息。

Images