CN113826141A - 图像处理方法、图像处理装置以及图像处理程序 - Google Patents

Abstract

一种图像处理方法，获取图像数据；从图像数据检测包含人的脸部的至少一部分的脸部区域；在检测到的脸部区域，设定用于检测人的眼睛的第一区域；通过基于规定的基准使第一区域缩小来设定被推测包含瞳孔或虹膜的第二区域；在第二区域，检测表示瞳孔或虹膜的瞳信息；输出检测到的瞳信息。

Description

图像处理方法、图像处理装置以及图像处理程序

技术领域

本发明涉及一种检测表示瞳孔或虹膜的瞳信息的技术。

背景技术

视线检测技术被用于诸如对人感兴趣的对象的推测、对睡意等人的状态的推测以及通过视线进行向设备的输入的用户界面等的各种用途。视线检测技术大致区分为头部佩戴型和非接触型。头部佩戴型的视线检测技术是将头戴式显示器等的装置佩戴到人的头部从而检测视线的技术。非接触型的视线检测技术是无需将装置佩戴到人体即可以检测视线的技术。由于非接触型的视线检测技术不必如头部佩戴型的视线检测技术那样需要将装置佩戴到头部，具有不会给人带来麻烦、不会遮挡人的视野的优点。因此，本发明着眼于非接触型的视线检测技术。

在此，非接触型的视线检测技术大致区分为瞳孔角膜反射法和基于三维眼球模型的方法。瞳孔角膜反射法是用发光二极管(LED)照射人的眼睛，通过被投影到眼睛的反射像的位置、LED的照射角度、反射像的位置的移动量等检测视线的方法。

基于三维眼球模型的方法是将连接通过解析例如脸部图像而获得的眼球中心位置和虹膜中心位置的三维矢量推测为视线方向，或将相对于瞳孔中心位置的切面的法线推测为视线方向的方法。

在此，在非接触型的视线检测技术中存在难以对佩戴了眼镜的人进行视线检测的问题。为了解决该问题，专利文献1公开了一种技术，该技术判断人是否佩戴了眼镜，在人没有佩戴眼镜的情况下通过瞳孔角膜反射法检测视线，在人佩戴了眼镜的情况下通过利用了三维眼球模型的方法检测视线。

然而，在专利文献1中，在利用三维眼球模型检测视线时，只不过是进行了根据可见光图像的图像数据将驾驶员的脸部或眼球作为检测对象的特征量计算以及形状判别等的识别处理(段落0014)，并没有进行考虑到眼镜的存在的识别处理。为此，在专利文献1中，存在将眼镜作为瞳孔或虹膜而检测的可能性，为了高精度地检测进行瞳孔或虹膜等视线检测所需的瞳信息需要进一步地改善。

现有技术文献

专利文献

专利文献1：日本专利公开公报特开2005-296382号

发明内容

本发明是为了解决上述的问题而做出的发明，其目的在于谋求进一步提高瞳信息的检测精度。

本发明的一实施方式涉及的图像处理方法，是在图像处理装置检测瞳信息的图像处理方法，获取图像数据；从所述图像数据检测包含人的脸部的至少一部分的脸部区域；在检测到的所述脸部区域，设定用于检测所述人的眼睛的第一区域；通过基于规定的基准使所述第一区域缩小来设定被推测包含瞳孔或虹膜的第二区域；在所述第二区域，检测表示所述瞳孔或所述虹膜的瞳信息；输出检测到的所述瞳信息。

附图说明

图1是表示本发明的第一实施方式涉及的图像处理系统的整体构成的一个例子的示意图。

图2是表示第一实施方式涉及的图像处理系统的详细构成的一个例子的方框图。

图3是表示第一实施方式涉及的图像处理装置的动作的一个例子的流程图。

图4是表示脸部区域的示意图。

图5是表示第一区域的示意图。

图6是表示基于第一基准而设定的第二区域的示意图。

图7是表示基于第二基准而设定的第二区域的示意图。

图8是表示基于第三基准而设定的第二区域的示意图。

图9是表示被二值化的第二区域的示意图。

图10是表示本发明的比较例的示意图，是表示被二值化的第一区域的示意图。

图11是表示第一区域的其它例子的示意图。

图12是用于说明虹膜外缘检测处理的示意图。

图13是表示针对脸部区域设定的脸部的特征点的示意图。

图14是检测脸部朝向信息的处理的说明图。

图15是表示第二实施方式涉及的图像处理系统的详细构成的一个例子的方框图。

图16是表示第二实施方式涉及的图像处理装置的动作的一个例子的流程图。

图17是表示第三实施方式涉及的图像处理系统的详细构成的方框图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。另外，以下的实施方式只不过是具体化本发明的一个例子，并不用于限定本发明的技术保护范围。

本发明的基础知识

通过三维眼球模型检测视线的方法基于瞳孔或虹膜的中心位置检测视线。瞳孔或虹膜的中心位置可以通过例如从包含脸部的图像的图像数据检测包含人的脸部的脸部区域，根据检测到的脸部区域设定用于检测眼睛的眼睛检测区域，并对眼睛检测区域进行解析而获得。在此，眼睛检测区域不是剪切眼睛本身的区域，而是包含眼睛的例如矩形的区域。

在根据脸部区域设定眼睛检测区域时，例如使用为了检测出眼睛检测区域而预先创建的分类器。在使用这样的分类器检测眼睛检测区域的情况下，由于所检测出的眼睛检测区域的大小根据分类器的性能会有所不同，在所检测出的眼睛检测区域存在有可能缺失为了检测瞳孔或虹膜所需的特征量的情况。为此，需要将眼睛检测区域的大小设定成与眼睛的大小相比具有一定的余裕。

然而，本发明的发明人发现，在较大地设定眼睛检测区域的情况下，在眼睛检测区域有可能包含例如眼镜框等存在于眼睛的周围且类似于瞳孔或虹膜的物体，因为这些类似的物体被误检测为瞳孔或虹膜的可能性较高，存在不能高精度地检测瞳孔或虹膜的问题。

在此，本发明的发明人对该问题进行了详细的研究得出以下见解，即，不是对眼睛检测区域直接执行检测瞳孔或虹膜的处理，而是基于规定的基准使眼睛检测区域缩小(narrowing)，对缩小的区域执行检测瞳孔或虹膜的处理，这样可以提高瞳孔或虹膜的检测精度，从而可以提高视线检测的精度，因此想到了以下所示的各个实施方式。

本发明的一实施方式涉及的图像处理方法，是在图像处理装置检测瞳信息的图像处理方法，获取图像数据；从所述图像数据检测包含人的脸部的至少一部分的脸部区域；在检测到的所述脸部区域，设定用于检测所述人的眼睛的第一区域；通过基于规定的基准使所述第一区域缩小来设定被推测包含瞳孔或虹膜的第二区域；在所述第二区域，检测表示所述瞳孔或所述虹膜的瞳信息；输出检测到的所述瞳信息。

根据该构成，通过基于规定的基准使第一区域缩小来设定被推测包含瞳孔或虹膜的第二区域，在第二区域检测表示瞳孔或虹膜的瞳信息。由此，即使在第一区域包含诸如眼镜框等被误检测为瞳孔或虹膜的可能性较高的信息，因为从第一区域删除了这种信息的区域被设定为第二区域的可能性变高，所以该构成可以提高瞳孔或虹膜的检测精度。其结果，该构成可以准确地确定瞳孔或虹膜的中心位置，并可以提高视线的检测精度。

而且，根据该构成，因为对用规定的基准缩小了眼睛检测区域的区域进行瞳信息的检测处理，与对整个眼睛检测区域进行瞳信息的检测处理相比较，可以实现减轻处理负荷。

在上述的实施方式，也可以是，所述规定的基准是在所述第一区域去除从所述第一区域的边界侧起规定量的面积的基准。

根据该构成，通过去除从第一区域的边界侧起规定量的面积来设定第二区域。因此，该构成，即使不执行图像识别处理那样高负荷的处理，也能将从第一区域删除了诸如眼镜框等被误检测为瞳孔或虹膜的可能性较高的信息的区域设定为第二区域。

在上述的实施方式，也可以是，所述规定的基准是通过去除所述第一区域的一部分将包含所述第一区域的中心的规定形状的区域设定为所述第二区域的基准。

根据该构成，将包含第一区域的中心的规定形状的区域设定为第二区域。因此，该构成能以使检测瞳信息所需的信息保留但删除不需要的信息的方式来设定第二区域。

在上述的实施方式，也可以是，还从检测到的所述脸部区域检测外眼角以及内眼角：在检测到所述外眼角以及所述内眼角的情况下，所述规定的基准是通过去除所述第一区域的一部分将包围所述外眼角以及所述内眼角的区域设定为所述第二区域的基准。

根据该构成，将通过去除第一区域的一部分而得到的包围外眼角以及内眼角的区域设定为第二区域。如此，因为第二区域至少包含外眼角以及内眼角，该构成能以使检测瞳信息所需的信息保留但尽量删除不需要的信息的方式来设定第二区域。

在上述的实施方式，也可以是，还从检测到的所述脸部区域检测外眼角以及内眼角，在检测到所述外眼角以及所述内眼角的情况下，在设定所述第一区域时，将包围所述外眼角以及所述内眼角的区域设定为所述第一区域，所述区域比在没有检测到所述外眼角以及所述内眼角的情况下设定的第一区域小，所述瞳信息的检测是在所述第一区域检测所述瞳信息。

根据该构成，在可以从脸部区域检测到外眼角以及内眼角的情况下，对第一区域执行检测瞳信息的处理。为此，该构成可以不设定第二区域而针对第一区域执行检测瞳信息的处理。而且，第一区域，包围外眼角以及内眼角，并且，是比在没有检测到外眼角以及内眼角的情况下设定的第一区域小的区域。如此，因为第一区域至少包含外眼角以及内眼角，该构成能以使检测瞳信息所需的信息保留但尽量删除不需要的信息的方式来设定第一区域。

在上述的实施方式，也可以是，还从检测到的所述脸部区域检测脸部的特征点，还基于所述脸部的特征点检测表示所述人的脸部的朝向的脸部朝向信息，还基于检测到的所述瞳信息和所述脸部朝向信息检测表示所述人的视线的视线信息，还输出检测到的所述视线信息。

根据该构成，因为人的视线信息基于经过上述的处理检测到的瞳信息和从脸部的特征点检测到的脸部朝向信息进行检测，能高精度地检测视线信息。

在上述的实施方式，也可以是，还从检测到的所述脸部区域检测眉毛以及嘴角的至少其中之一，还基于所述视线信息和检测到的所述眉毛的位置以及所述嘴角的位置的至少其中之一推测所述人的感兴趣程度。

根据该构成，与仅基于视线信息来推测感兴趣程度相比，能更高精度地推测感兴趣程度。

在上述的实施方式，也可以是，基于检测到的所述眉毛的位置以及所述嘴角的位置的至少其中之一推测所述人的表情，基于所述视线信息和表示所述被推测的表情的信息推测所述人的感兴趣程度。

根据该构成，因为利用基于眉毛的位置以及嘴角的位置的至少其中之一所推测的表示人的表情的信息和视线信息来推测感兴趣程度，能更高精度地推测人的感兴趣程度。

在上述的实施方式，也可以是，所述视线信息包含表示以所述人在规定的对象面的注视点为基准的规定范围的区域即注视面的信息。

根据该构成，可以不依赖于人与注视对象之间的距离或注视对象的大小适当地判断注视对象。

在上述的实施方式，也可以是，所述图像数据是由可见光相机拍摄的图像数据，所述瞳信息包含表示所述虹膜的中心位置和所述虹膜的大小的信息。

用可见光相机拍摄的图像数据具有不能明确地表示瞳孔的外缘的亮度变化但能明确地表示虹膜的外缘的亮度变化的倾向。在该构成，因为图像数据是用可见光相机拍摄的图像数据，能准确地检测出虹膜的外缘，由此，可以将表示虹膜的大小的信息和表示虹膜的中心位置的信息作为瞳信息而准确地进行检测。

在上述的实施方式，也可以是，所述图像数据是由红外光相机拍摄的图像数据，所述瞳信息包含表示所述瞳孔的中心位置和所述瞳孔的大小的信息以及表示所述虹膜的中心位置和所述虹膜的大小的信息的至少其中之一。

用红外光相机拍摄的图像数据具有能分别明确地表示瞳孔的外缘以及虹膜的外缘的亮度变化的倾向。在该构成，因为图像数据是用红外光相机拍摄的图像数据，能分别准确地检测出瞳孔的外缘以及虹膜的外缘，由此，可以将分别表示瞳孔的大小和虹膜的大小的信息以及分别表示瞳孔的中心位置和虹膜的中心位置的信息作为瞳信息而准确地进行检测。

在上述的实施方式，也可以是，所述图像数据是用红外光相机拍摄的图像数据，所述红外光相机利用太阳光的光谱强度比规定的第一波长衰减的规定的第二波长的带宽的红外光进行拍摄。

根据该构成，即使是在太阳光的光谱强度比较强的室外，也能高精度地进行视线检测。

在上述的实施方式，也可以是，还从所述脸部区域检测表示所述人的脸部的朝向的脸部朝向信息，所述第二区域以如下方式进行设定：随着所述脸部朝向信息所示的脸部的朝右向程度变大，使从所述第一区域的右侧的边界起的去除宽度变窄，并使从所述第一区域的左侧的边界起的去除宽度变宽，随着所述脸部朝向信息所示的脸部的朝左向程度变大，使从所述第一区域的左侧的边界起的去除宽度变窄，并使从所述第一区域的右侧的边界起的去除宽度变宽。

根据该构成，能准确地从第一区域去除例如眼镜框这样的物体，并且以使检测瞳信息所需的信息不会缺失的方式来设定第二区域。

本发明，也可以作为让计算机执行该图像处理方法所包含的特征性的各构成要素的图像处理程序来实现，或作为通过该图像处理程序而动作的图像处理系统来实现。而且，不用说，也可以使该计算机程序通过CD-ROM等的计算机可读取的非暂时性的记录介质或英特网等的通信网络进行流通。

另外，在以下说明的各实施方式都是表示本发明的具体例子的实施方式。在以下的实施方式所示的数值、形状、构成要素、步骤、步骤的顺序等只不过是一个具体例，并不用于限定本发明。而且，以下的实施方式中的构成要素之中、没有被记载在表示最上位概念的独立权利要求中的构成要素作为任意的构成要素而被说明。而且，对于所有的实施方式，可以任意地组合它们的内容。

第一实施方式

图1是表示本发明的第一实施方式涉及的图像处理系统1的整体构成的一个例子的示意图。图像处理系统1是拍摄人400并从所得到的人的图像数据之中检测出表示人的视线的视线信息的系统。在图1的例子中，图像处理系统1确定人正在注视被显示在显示装置300上的多个目标301之中的哪一个目标301。但是，这仅仅是一个例子而已，图像处理系统1不仅可以确定被显示在显示装置300的显示画面上的目标301，还可以确定在实际空间内人400注视的目标301。

在图1的例子中，图像处理系统1被适用于数字标牌(digital signage)系统。因此，被显示在显示装置300上的目标301为广告等的标牌的图像。

图像处理系统1包含图像处理装置100、相机200以及显示装置300。图像处理装置100经由规定的通信路与相机200以及显示装置300连接。规定的通信路例如是有线LAN等的有线通信路或者无线LAN以及蓝牙(注册商标)等的无线通信路。图像处理装置100例如由设置在显示装置300的周围的计算机构成。但是，这仅仅是一个例子而已，图像处理装置100也可以由云服务器构成。在这种情况下，图像处理装置100经由因特网与相机200以及显示装置300连接。图像处理装置100，根据用相机200拍摄到的人400的图像数据，检测人400的视线信息，并将其输出到显示装置300。而且，图像处理装置100也可以作为硬件被组装在相机200或显示装置300中。而且，也可以是相机200或显示装置300具各处理器，图像处理装置100作为软件被组装在其中。

相机200，例如通过以规定的帧频(frame rate)拍摄显示装置300的周围的环境，获取位于显示装置300的周围的人400的图像数据。相机200以规定的帧频依次将所获取的图像数据输出到图像处理装置100。相机200既可以是可见光相机也可以是红外光相机。

显示装置300例如由液晶面板或有机EL面板等显示装置构成。在图1的例子中，显示装置300是标牌显示器。另外，在图1的例子中，对图像处理系统1包含显示装置300进行了说明，但是，这仅仅是一个例子而已，也可以采用其它的设备代替显示装置300。例如，当图像处理系统1被用作受理通过视线向设备进行输入的用户界面时，图像处理系统1也可以采用例如冰箱、电视以及洗衣机等家用电器来代替显示装置300。例如，当图像处理系统1被搭载在车辆上时，可以采用汽车等车辆来代替显示装置300。此外，还可以采用硬盘驱动器、固态硬盘驱动器(solid state drive)等存储装置来代替显示装置300。

图2是表示第一实施方式涉及的图像处理系统1的详细构成的一个例子的方框图。图像处理装置100包含处理器110。处理器110是CPU、FPGA等的电路。处理器110包含瞳信息检测装置120、脸部朝向检测部130以及视线信息检测部140。

瞳信息检测装置120包含图像获取部121(获取部的一个例子)、脸部检测部122、第一设定部123、第二设定部124、瞳信息检测部125以及特征点检测部126。另外，处理器110所具备的各模块既可以通过让处理器110执行使计算机作为图像处理装置而发挥功能的图像处理程序来实现，也可以由专用的电路构成。

图像获取部121获取相机200拍摄的图像数据。在此，所获取的图像数据中包含显示装置300的周围的人400的脸部。另外，图像获取部121获取的图像数据既可以是例如发布在网站上的图像数据，也可以是外部存储装置存储的图像数据。

脸部检测部122从图像获取部121获取的图像数据之中检测包含人400的脸部的至少一部分的脸部区域。具体而言，脸部检测部122可以使用分类器检测脸部区域，该分类器是为了检测脸部区域而预先创建的。在此使用的分类器例如是为了在开放源码的图像处理库(open-source image processing library)检测脸部区域而预先创建的哈尔式级联分类器(Haar-like cascade classifier)。脸部区域例如是具有包含整个脸部的大小的矩形的区域。但是，这仅仅是一个例子而已，脸部区域的形状也可以是矩形以外的例如三角形、五角形、六角形或八角形等。另外，脸部检测部122也可以通过模式匹配(patternmatching)检测脸部区域。

第一设定部123在通过脸部检测部122检测到的脸部区域设定用于检测人400的眼睛的第一区域。作为第一设定部123设定第一区域的方法，例如，可以考虑使用为了检测出眼睛检测区域而预先创建的分类器的方法。在此使用的分类器例如是为了在开放源码的图像处理库检测出眼睛检测区域而预先创建的哈尔式级联分类器。第一区域(眼睛检测区域)是具有尺寸为在眼睛的大小加上规定的余裕的矩形的区域。但是，这仅仅是一个例子而已，第一区域的形状也可以是矩形以外的例如三角形、五角形、六角形或八角形等。在脸部区域包含了人400的二个眼睛的情况下，第一设定部123可以设定与三二个眼睛分别对应的两个第一区域。另外，第一设定部123也可以通过模式匹配设定第一区域。在本实施方式，眼睛是指如图5所示被上眼睑边界53和下眼睑边界54包围的、包含白眼球和黑眼球等有颜色的部分的区域。

第二设定部124，通过基于规定的基准使第一设定部123设定的第一区域缩小，设定被推测为包含瞳孔或虹膜的第二区域。第二区域是小于第一区域的例如矩形的区域。但是，这仅仅是一个例子而已，第二区域的形状也可以是豫了矩形以外的例如三角形、五角形、六角形或八角形。

在本实施方式，规定的基准采用如下所述的三个基准的其中之一基准。另外，不言而喻，规定的基准并不局限于下述的三个例子。

第一基准是在第一区域去除从第一区域的边界侧起规定量的面积的基准。第二基准是通过去除第一区域的一部分而将包含第一区域的中心的规定形状的区域设定为第二区域的基准。第三基准是通过去除第一区域的一部分而将包围外眼角以及内眼角的区域设定为第二区域的基准。另外，第三基准适用于可以从脸部区域检测出外眼角以及内眼角的情况。在无法从脸部区域检测出外眼角以及内眼角的情况下，第二设定部124可以利用第一基准或第二基准代替第三基准来设定第二区域。

另外，第二设定部124可以基于特征点检测部126检测到的脸部的特征点来检测外眼角以及内眼角。具体而言，第二设定部124，在特征点检测部126检测到的脸部的特征点中存在具有与外眼角以及内眼角分别对应的预先规定的界标点编号(landmark pointnumber)的特征点的情况下，可以判断检测到了外眼角以及内眼角。另外，关于外眼角以及内眼角的检测处理的具体例子将在以后说明。

瞳信息检测部125在通过第二设定部124设定的第二区域检测表示瞳孔或虹膜的瞳信息。

在本实施方式，瞳是指如图5所示的包含瞳孔55和包围瞳孔55的环形的虹膜56的有颜色的部分。

在瞳信息检测部125检测瞳孔的情况下，瞳信息例如包含表示瞳孔的外缘的坐标数据或表示瞳孔的外缘的半径或直径等的长度(例如，像素(pixel))的信息和瞳孔的中心的坐标数据。在瞳信息检测部125检测虹膜的情况下，瞳信息例如包含表示虹膜的外缘的坐标数据或表示虹膜的半径或直径等的长度(例如，像素)的信息和虹膜的中心的坐标数据。在此，坐标数据是指图像获取部121获取的图像数据的二维坐标数据。另外，表示瞳孔或虹膜的外缘的坐标数据或表示半径或直径等的长度的信息是表示瞳孔或虹膜的大小的信息的一个例子。

当采用可见光相机作为相机200时，由于存在不能明确地表示瞳孔和虹膜的亮度变化的情况，瞳信息检测部125难以区分瞳孔和虹膜。因此，在采用可见光相机作为相机200的情况下，瞳信息检测部125检测虹膜。另一方面，当采用红外光相机作为相机200时，因为可以明确地表示瞳孔和虹膜的亮度变化，瞳信息检测部125可以检测到瞳孔。因此，在采用红外光相机作为相机200的情况下，瞳信息检测部125检测瞳孔。

另外，在采用红外光相机作为相机200的情况下，瞳信息检测部125也可以检测到虹膜。因此，在采用红外光相机作为相机200的情况下，瞳信息检测部125除了检测瞳孔以外还可以检测虹膜。在这种情况下，瞳信息可以包含例如除了表示瞳孔的外缘的坐标数据以及瞳孔的中心的坐标数据或表示瞳孔的外缘的半径或直径的信息以外，还表示虹膜的外缘的坐标数据或表示虹膜的外缘的半径或直径的信息。而且，在这种情况下，瞳信息例如还可以包含虹膜的中心的坐标数据来代替瞳孔的中心的坐标数据或作为追加的坐标数据。在此，坐标数据是指图像获取部121获取的图像数据中的二维坐标数据。

特征点检测部126从脸部检测部122检测到的脸部区域检测出脸部的特征点。脸部的特征点是指在构成例如外眼角、内眼角、脸部的轮廓、鼻梁、嘴角以及眉毛等的脸部的多个部位之中的每一个部分位于特征位置的一个或多个点。特征点也称为界标(landmark)。特征点检测部126可以通过执行利用了例如机器学习的框架的模型文件(model file of aframework)的界标检测处理来检测脸部的特征点。

脸部朝向检测部130，从脸部检测部122检测到的脸部区域检测出脸部的特征点，并根据检测到的特征点的配置图案(arrangement pattern)来检测表示人400的脸部的朝向的脸部朝向信息。另外，脸部朝向检测部130也可以利用特征点检测部126检测到的脸部的特征点检测脸部朝向信息。另外，脸部朝向信息的检测处理的具体例子将在以后说明。

视线信息检测部140，基于由瞳信息检测部125检测到的瞳信息和由脸部朝向检测部130检测到的脸部朝向信息，检测表示人400的视线的视线信息，并将其输出到显示装置300。视线信息检测部140可以通过对瞳信息和脸部朝向信息适用例如利用三维眼球模型检测视线的公知的视线检测处理来检测视线信息。在此，视线信息既可以包含三维地表示人400的视线的方向的矢量，也可以包含在规定的对象而(例如，显示装置300)的注视点的坐标数据。注视点例如是对象面与表示视线的矢量相交的位置。

视线信息检测部140可以获取被显示在显示装置300上的目标301的信息，并根据所获取的信息和注视点的坐标数据确定人400注视的目标301(注视目标)，并将确定结果输出到显示装置300。

例如，在将注视点的坐标数据作为视线信息输出到显示装置300的情况下，显示装置300执行在与坐标数据对应的位置使表示视线位置的标记(marker)重叠显示在距在显示中的图像上的处理。例如，在将注视目标的确定结果输出到显示装置300的情况下，显示装置300可以执行使表示注视目标的标记重叠显示在正在显示中的画面中的处理。

相机200，因为在图1中已经进行了说明，在此省略其说明。

显示装置300显示例如从视线信息检测部140输出的表示视线信息的标记。显示装置300也可以显示例如从视线信息检测部140输出的表示人400注视的目标301的标记。

另外，在图像处理系统1由代替显示装置300的家用电器构成的情况下，家用电器受理人400通过视线信息的输入。而且，在图像处理系统1由代替显示装置300的存储装置构成的情况下，存储装置存储视线信息。在这种情况下，存储装置可以将视线信息与时间戳相互对应地进行存储。

其次，对图像处理装置100的动作进行说明。图3是表示第一实施方式涉及的图像处理装置100的动作的一个例子的流程图。

在步骤S1，图像获取部121从相机200获取图像数据。在步骤S2，脸部检测部122，通过将图像数据输入到用于检测脸部区域的分类器，从图像数据检测出脸部区域。图4是表示脸部区域40的示意图。如图4所示，脸部检测部122将包含额头的上半部分和下巴的下半部分以及耳朵的发际线的矩形的区域作为脸部区域40进行检测。在此，虽然脸部区域40不包含头发的整体，但是，也可以是包含头发的整体的区域。在图4中，因为图像数据是从正面拍摄人400的图像数据，所以包含左眼和右眼。在本实施方式，为了便于说明，右眼是指从正面看人400时位于右侧的眼睛，左眼是指从正面看人400时位于左侧的眼睛。但是，这仅仅是一个例子而已，也可以是从人400看去位于右侧的眼睛作为右眼，从人400看去位于左侧的眼睛作为左眼。而且，在本实施方式，将纸面的右侧的方向作为右方，纸面的左侧的方向作为左方。

返回图3。在步骤S3，第一设定部123将在步骤S2检测到的脸部区域输入到用于检测第一区域的分类器并设定第一区域。图5是表示第一区域50的示意图。如图5所示，可以看出第一区域50是包含眼睛的整个区域并在眼睛的大小上增加了一些余裕的矩形的区域。另外，第一区域50的边界设定在相对于眼睛的哪一个位置取决于分类器的性能。因此，第一区域50的尺寸根据分类器的性能有所不同。例如，第一区域50的上侧的边界可以延伸到上眼睑的眉毛附近。而且，第一区域50的鼻子侧的边界可以延伸到鼻子附近，第一区域50的耳朵侧的边界可以延伸到太阳穴附近。

在图5的例子中，由于在脸部区域40包含右眼和左眼，第一设定部123设定与右眼和左眼分别对应的两个第一区域50。

返回参照图3。在步骤S4，第二设定部124通过利用上述的第一基准至第三基准的其中之一使第一区域50缩小从第一区域50设定第二区域。在第一区域50被设定成其尺寸相对于眼睛而言较大的情况下，如果人400佩戴眼镜，该眼镜有可能被包含在第一区域50中。图11是表示第一区域50的其它例子的示意图。在图11的例子中，可以看出人400佩戴有眼镜，第一区域50的边界延伸至眼镜。在这种情况下，存在眼镜框被误检测为瞳信息，瞳信息的检测精度降低的可能性。

因此，在本实施方式，通过使第一区域50缩小来设定第二区域。图6是表示基于第一基准而设定的第二区域70的示意图。如图6所示，通过将第一区域50从第一区域50的边界510侧去除第一区域50的规定量的面积来设定第二区域70。规定量的面积可以采用第一区域50的面积的例如5％、10％、20％等适当的值。规定量的面积可以采用根据第一设定部123设定的第一区域50的尺寸的倾向而预先规定的值。例如，在第一设定部123设定的第一区域50的尺寸具有相对于眼睛变大的倾向的情况下，规定量的面积采用根据该倾向为较大的值。

在图6的例子中，第二设定部124，以使第二区域70保持与第一区域50相似的形状的方式，设定与边界510的四个边相接的矩形的边框区域520即具有规定量的面积的边框区域520，通过从第一区域50去除边框区域520来设定第二区域70。由此，以使第一区域50从边界510的四个边侧朝向第一区域50的中心变窄的方式设定第二区域70。由此，第二设定部12可以从第二区域70删除例如具有沿着第一区域50的边界510而出现的倾向的眼镜框。

另外，眼镜框在第一区域50出现的位置根据人400的脸部是朝向右方还是朝向左方而有所不同。例如，在脸部朝向右方的情况下，出现在第一区域50的边界510的左侧的眼镜框的宽度具有比出现在边界510的右侧的眼镜框的宽度显得宽的倾向。另一方面，在脸部朝向左方的情况下，出现在第一区域50的边界510的右侧的眼镜框的宽度具有比出现在边界510的左例的眼镜框的宽度显得宽的倾向。

在此，第二设定部124也可以根据脸部朝向检测部130检测到的脸部朝向信息所示的脸部的朝向来变更边框区域520的形状。具体而言，第二设定部124也可以在脸部的朝向为朝向右方的情况下，将边框区域520的右侧部的宽度H1设定成比不考虑脸部的朝向时的宽度H1窄，将边框区域520的左侧部的宽度H2设定成比不考虑脸部的朝向时的宽度H2宽。在这种情况下，第二设定部124可以利用如下方式来设定宽度H1以及宽度H2，即，随着脸部朝向信息所示的脸部朝向右方的程度变大，将宽度H1设定成更窄，并且将宽度H2设定成更宽。另外，关于脸部朝向右方的程度的计算方法将在以后说明。

另一方面，第二设定部124也可以在脸部的朝向为期向左方的情况下，将边框区域520的左侧部的宽度H2设定成比不考虑脸部的朝向时的宽度H2窄，将边框区域520的右侧部的宽度H1设定成比不考虑脸部的朝向时的宽度H1宽。在这种情况下，第二设定部124可以利用如下方式来设定宽度H1以及宽度H2，即，随着脸部朝向信息所示的脸部朝向左方的程度变大，将宽度H2设定成更窄，并且将宽度H1设定成更宽。另外，关于脸部朝向左方的程度的计算方法将在以后说明。

如此，通过根据脸部的朝向变更边框区域520的宽度H1、H2，能以更准确地去除眼镜框并且使检测瞳信息所需的信息不会缺失的方式来设定第二区域70。

其次，对第二基准进行说明。图7是表示基于第二基准而设定的第二区域80的示意图。如图7所示，第二区域80包含第一区域50的中心530，呈类似于眼睛的形状的横向细长圆形(例如，椭圆形)。第二设定部124，例如，通过以规定的比例α(0＜α＜1)使第一区域50的边界510的纵边H3缩小来设定第二区域80的纵向宽度，通过以规定的比例β(0＜β＜1)使边界510的横边H4缩小来设定第二区域80的横向宽度。然后，第二设定部124可以将所设定的纵向宽度作为短轴、将横向宽度作为长轴的椭圆作为第二区域80进行设定，该椭圆的中心位于第一区域50的中心530，长轴与横边H4平行。

或者，第二设定部124也可以将预先规定的具有类似于眼睛的横向细长圆形的图形作为第二区域80进行设定，该横向细长圆形具有比第一区域50的面积小规定量的面积的面积。规定量的面积可以采用在第一基准时说明的内容。在这种情况下，第二设定部124也可以采用使具有横向细长圆形的图形的中心位于中心530的方式来设定第二区域80。在第二基准，因为第二区域80具有类似于眼睛的形状，所以能以使检测瞳信息所需的信息保留但删除不需要的信息的方式来设定第二区域80。

其次，对第三基准进行说明。图8是表示基于第三基准而设定的第二区域90的示意图。如图8所示，第二区域90是包围内眼角92以及外眼角93的区域，是尺寸比第一区域50小的区域。在图8的例子中，第二区域90为矩形，但是这仅仅是一个例子而已，也可以是三角形、五角形等矩形以外的多边形。或者，第二区域90也可以是通过内眼角92以及外眼角93的椭圆等的扁长圆。在图8的例子中，第二区域90的内眼角92侧的纵边J1通过内眼角92，外眼角93侧的纵边J2通过外眼角93。但是，这仅仅是一个例子而已，纵边J1也可以设定在相对于内眼角92稍微靠近鼻子侧，纵边J2也可以设定在相对于外眼角93稍微靠近耳朵侧。

第二设定部124可以将第二区域90的上侧的横边J3设定在相对于第一区域50的上侧的横边H4向下侧离开规定距离的位置，将第二区域90的下侧的横边J4设定在相对于第一区域50的下侧的横边H5向上侧离开规定距离的位置。

在第三基准，因为第二区域90至少包含内眼角92以及外眼角93，所以能以使检测瞳信息所需的信息保留但尽可能地删除不需要的信息的方式来设定第二区域90。以下，将第二区域70、80、90总称为第二区域60。返回参照图3。在步骤S5，瞳信息检测部125从第二区域60检测瞳信息。以下，对检测瞳信息的处理的详细情况进行说明。首先，瞳信息检测部125将第二区域60二值化。图9是表示被二值化的第二区域60的示意图。在此，采用例如被称为大津二值化(Otsu′s binarization)的方法。而且，亮度低于阈值的区域用白色表示，亮度在阈值以上的区域用黑色表示。

其次，瞳信息检测部125执行对被二值化的第二区域60出现的白色的岛赋予标签编号(labeling number)的贴标签处理。在图9的例子中，上睫毛的左侧被视为一个岛61，对岛61赋予标签编号“1”。而且，上睫毛的右侧被视为一个岛62，对岛62赋予标签编号“2”。而且，瞳孔被视为一个岛63，对岛63赋予标签编号“3”。而且，下睫毛被视为一个岛64，对岛64赋予标签编号“4”。

其次，瞳信息检测部125对被赋予了标签编号的岛61至64分别判断是否满足规定的判断条件，并将满足判断条件的岛判断为瞳孔。作为判断条件，可以采用面积在规定的瞳孔最小面积以上、规定的瞳孔最大面积以下这样的条件。瞳孔最小面积是指在图像数据中被认为(assumed)的瞳孔的最小面积，瞳孔最大面积是指在图像数据中被认为的瞳孔的最大面积。另外，在存在多个满足判断条件的岛的情况下，瞳信息检测部125也可以例如将面积为最大的岛判断为瞳孔。在此，岛63被判断为瞳孔。

其次，瞳信息检测部125检测瞳孔的中心。在此，瞳孔的岛63的例如重心被作为瞳孔的中心而检测。

图9所示的图像是通过红外光相机拍摄的图像。在用红外光相机拍摄的图像数据中，瞳孔和虹膜之间会出现较大的亮度变化。为此，在图9的例子中，通过二值化可以检测出瞳孔的岛63。另一方面，在用可见光相机拍摄的图像数据中，瞳孔和虹膜之间不会出现较大的亮度变化，在虹膜和白眼球之间的边界会出现较大的亮度变化。

在此，瞳信息检测部125，例如在相机200为红外光相机的情况下，可以从被二值化的第二区域60检测出瞳孔。另一方面，瞳信息检测部125，例如在相机200为可见光相机的情况下，可以从被二值化的第二区域60检测出虹膜。在这种情况下，瞳信息检测部125可以采用面积在规定的虹膜最小面积以上且在规定的虹膜最大面积以下的条件作为判断条件。另外，在此所述的虹膜最小面积以及虹膜最大面积不是指呈环状的虹膜本身的面积，而是指在虹膜中包含瞳孔的区域，即，瞳的最大面积以及最小面积。在这种情况下，瞳信息检测部125可以检测虹膜的中心。作为虹膜的中心，可以采用表示虹膜的岛的例如重心。

图10是表示本发明的比较例的示意图，是表示被二值化的第一区域50的示意图。如图10所示，如果直接对第一区域50进行二值化处理，在人400佩戴了眼镜的情况下，在第一区域50内可能会出现表示眼镜框的岛65。而且，根据人400的不同，在第一区域50内还有可能会出现表示色斑(或者痣)的岛66。在这种情况下，根据眼镜框或色斑的大小，存在将眼镜框的岛65或色斑的岛66误检测为瞳孔或虹膜的可能性。

与此相对，因为第二区域60是通过使第一区域50缩小而设定的区域，如图9所示，不包含眼镜框的岛65以及色斑的岛66的可能性得以提高。为此，在本实施方式，可以高精度地检测瞳信息。

其次，瞳信息检测部125执行检测瞳孔的外缘的瞳孔外缘检测处理。作为瞳孔外缘检测处理，可以采用利用了John G.Daugman倡导的方法(以下，称为“道格曼算法(DaugmanAlgorithm)”))的一部分的瞳孔外缘检测处理。在“High Confidence Visual Recognitionof Persons by aTest of Statistical Independence：John G.Daugman(1993)”文献中公开了道格曼算法。

具体而言，在瞳孔外缘检测处理中，首先，瞳信息检测部125，将从被二值化的第二区域60检测到的瞳孔的中心作为圆的中心，设定具有规定的瞳孔最小半径的圆。其次，瞳信息检测部125通过围线积分(contour integral)求出所设定的圆的圆周上的亮度的合计值。其次，瞳信息检测部125，将之前设定的圆的半径作为一个像素，通过对在径向扩展的圆进行围线积分求出亮度的合计值。其次，瞳信息检测部125重复执行该处理直到达到规定的瞳孔最大半径为止。由此，获得表示多个半径和与多个半径分别对应的亮度的合计值之间的关系的函数。其次，瞳信息检测部125，将该函数针对半径进行偏微分，求出相邻半径彼此之间的亮度的合计值的最大变化量，将检测到该最大变化量的位置的半径的圆作为瞳孔外缘进行检测。

另外，在图像数据是用可见光相机拍摄的图像数据的情况下，瞳信息检测部125，通过对被二值化的第二区域60适用瞳孔外缘检测处理来检测虹膜外缘。因此，在图像数据为用可见光相机拍摄的图像数据的情况下，步骤S5所示的检测瞳信息的处理在此结束。在这种情况下，瞳信息中包含虹膜外缘的坐标数据和虹膜的中心的坐标数据。

另一方面，在图像数据为用红外光相机拍摄的图像数据的情况下，也可以执行如下所示的检测虹膜外缘的虹膜外缘检测处理。作为虹膜外缘检测处理，可以采用利用了道格曼算法的一部分的虹膜外缘检测处理。

图12是对虹膜外缘检测处理进行说明的示意图。具体而言，在虹膜外缘检测处理中，瞳信息检测部125使用被二值化之前的第二区域60。首先，瞳信息检测部125将通过瞳孔检测处理检测到的瞳孔外缘621和瞳孔的中心622设定在第二区域60。其次，瞳信息检测部125以通过中心622的水平线623为基准设定搜索范围(search range)。搜索范围例如是从瞳孔外缘621起到规定的虹膜最大半径的圆为止的区域，是水平线623的上下22.5度的范围内的区域。

其次，瞳信息检测部125，在搜索范围内，以瞳孔外缘621为中心在径向设定微小幅度的区域。其次，瞳信息检测部125，通过重积分(multiple integral)求出所设定的微小幅度的区域的亮度的合计值。其次，瞳信息检测部125，将之前设定的微小幅度的区域作为一个像素向径向扩展设定微小幅度的区域，并通过重积分求出该微小幅度的区域的亮度的合计值。其次，瞳信息检测部125重复执行该处理直到达到规定的虹膜最大半径为止。由此，获得表示多个半径和与多个半径分别对应的亮度的合计值之间的关系的函数。其次，瞳信息检测部125，将该函数针对半径进行偏微分，求出相邻半径彼此之间的亮度的合计值的最大变化量，将检测到该最大变化量的位置的半径的圆作为虹膜外缘624进行检测。通过上述，结束在图像数据为用红外光相机拍摄的图像数据的情况下步骤S5所示的检测瞳信息的处理。在这种情况下，瞳信息可以包含例如通过虹膜外缘检测处理检测到的虹膜外缘的坐标数据以及虹膜的中心的坐标数据和通过瞳孔检测处理检测到的瞳孔外缘的坐标数据，并且可以除了这些数据以外还包含瞳孔的中心的坐标数据。

以往，作为瞳孔外缘检测处理，广泛地使用哈夫(Haugh)圆检测处理。然而，图像数据中包含的人400的瞳孔并不都是正圆形，还存在失真变形的情况。而且，图像数据中包含的人400也有可能为细长眼睛的情况以及脸部朝向侧面的情况。由于在这些情况下，瞳孔不是正圆形，存在用哈夫圆检测处理不能正确地检测出瞳孔外缘的可能性。这种情况对在虹膜外缘检测处理适用哈夫圆检测处理也相同。

对此，在本实施方式，采用利用了道格曼算法的一部分的瞳孔外缘检测处理以及虹膜外缘检测处理。因此，在本实施方式，在瞳孔从正圆形失真变形的情况、细长眼睛的情况以及脸部朝向侧面的情况等各种情况下，都能提高对于瞳孔外缘检测处理以及虹膜外缘检测处理的坚牢性(robustness)。

然而，作为利用道格曼算法的瞳孔外缘检测处理以及虹膜外缘检测处理的弊端，存在将眼镜框等类似于瞳孔或虹膜的物体误检测为瞳孔外缘或虹膜外缘的情况。在此，本实施方式，通过使第一区域50缩小来设定第二区域60，对第二区域60执行检测瞳信息的处理。由此，本实施方式可以克服上述的弊端。

返回参照图3。在步骤S6，视线信息检测部140输出在步骤S5检测到的瞳信息。在此，瞳信息被输出到视线信息检测部140。但是，这仅仅是一个例子而已，瞳信息也可以输出到显示装置300。

在步骤S7，视线信息检测部140，基于瞳信息和在步骤S9检测到的脸部朝向信息所示的脸部的朝向，检测视线信息。视线信息检测处理的具体例子如上所述。在步骤S8，视线信息检测部140将视线信息输出到显示装置300。

在步骤S9，脸部朝向检测部130检测脸部朝向信息。脸部朝向检测部130通过以下的处理检测脸部朝向信息。另外，步骤S9与步骤S3至S6的处理并行进行。特别是在利用第三基准设定第二区域的情况下，步骤S9可以与步骤S3的处理并行进行。图13是表示针对脸部区域设定的脸部的特征点9X的示意图。如图13所示，通过对脸部区域适用界标检测处理(1andmark detection processing)，可以从脸部区域检测出多个特征点9X。在图13的例子中，示意了通过界标检测处理检测出的特征点9X之中、检测视线信息所需的特征点9X。在图13的例子中，检测出位于鼻梁上的例如五个特征点9X、位于鼻子的下侧的例如两个特征点9X、位于脸部的轮廓上的例如十七个特征点9X。并且，在图13的例子中，还检测出位于左右的内眼角92的两个特征点9X和位于左右的外眼角93的两个特征点9X。另外，特征点9X被分别赋予了界标点编号，预先设定好哪一个界标点编号的特征点表示脸部的哪一个部位。例如，界标点编号为“2”的特征点9X表示左侧的外眼角93，界标点编号为“0”的特征点表示左侧的内眼角92，如此对各个特征点9X设定界标点编号。为此，脸部朝向检测部130可以根据界标点编号确定特征点9X表示脸部的哪一个部位。

其次，脸部朝向检测部130根据脸部的特征点9X的排列图案(array pattern)执行下述的处理来检测脸部朝向信息。图14是检测脸部朝向信息的处理的说明图。首先，脸部朝向检测部130根据在脸部区域40设定的脸部的特征点9X设定纵向的纵中心线131和横向的横中心线132。例如，脸部朝向检测部130可以将通过表示鼻梁的中心的特征点133并与脸部区域40的纵边平行的直线设定为纵中心线131。特征点133例如是表示鼻梁的五个特征点9X之中从上起的第三个特征点9X。而且，脸部朝向检测部130可以例如将通过特征点133并与脸部区域40的横边平行的直线设定为横中心线132。另外，关于纵中心线131以及横中心线132，尽管是以通过鼻梁的中心的特征点133为例进行了说明，但是，例如，也可以采用通过鼻梁的下端的特征点134的方式来设定，还可以采用通过鼻梁的上端的特征点135的方式来设定。

其次，脸部朝向检测部130用特征点133划分横中心线132，求出右区间K1的长度和左区间K2的长度。其次，脸部朝向检测部130求出将横中心线132的长度作为100％时右区间K1的比率和左区间K2的比率，并基于该比率求出脸部朝向程度。脸部朝向程度，如果右区间K1的比率为K1、左区间K2的比率为K2，例如可以通过公式“-(K1-K2)”计算得出。在该公式中，开头的负号是为了使脸部朝向程度在朝向右时为正而赋予的符号。例如，如果K1＝30％、K2＝70％，脸部朝向程度为-(30-70)＝40。例如，如果K1＝70％、K2＝30％，脸部朝向程度为-(70-30)＝-40。例如，如果K1＝50％、K2＝50％，脸部朝向程度为-(50-50)＝0。

因此，随着脸部朝向程度的值在正的方向增大，表示脸部的朝向更朝向右方；随着脸部朝向程度的值在负的方向增大，表示脸部的朝向更朝向左方。而且，在脸部朝向程度为0时，表示脸部的朝向为正面方向。

脸部朝向检测部130将这样得到的脸部朝向程度的值作为脸部朝向信息进行检测。另外，在此，通过公式“一(K1-K2)”计算脸部朝向程度，但是，这仅仅是一个例子而已，也可以采用其它的公式。例如，为了使脸部朝向左时为正，也可以通过公式“-(K2-K1)”计算脸部朝向程度。如此，只要脸部朝向程度的计算公式是可以表示脸部的朝向的程度的公式，可以采用任意的公式。

如以上说明所述，根据本实施方式，通过基于第一至第三基准使第一区域50缩小来设定被推测包含瞳孔或虹膜的第二区域60，在第二区域60检测瞳信息。由此，即使在第一区域50包含诸如眼镜框等被误检测为瞳孔或虹膜的可能性较高的信息，从第一区域50删除了这种信息的区域被设定为第二区域60的可能性得以提高。为此，本实施方式可以提高瞳孔或虹膜的检测精度。其结果，本实施方式可以准确地确定瞳孔或虹膜的中心位置，从而可以提高利用这些信息进行视线检测的精度。

第二实施方式

第二实施方式是在从脸部区域40检测到外眼角以及内眼角的情况下，设定包围外眼角以及内眼角的第一区域50的实施方式，该第一区域50比在没有检测到外眼角以及内眼角的情况下而设定的第一区域50小。在第二实施方式，对于与第一实施方式相同的构成要素赋予相同的符号，并省略其说明。图15是表示第二实施方式涉及的图像处理系统1A的详细构成的一个例子的方框图。另外，在图15中，对虽然与图2为同一个名称但是功能不同的模块在末尾附加A的符号。

瞳信息检测装置120A被设置在图像处理装置100A的处理器110A中。在瞳信息检测装置120A，与图2的不同点在于第一设定部123A以及瞳信息检测部125A。第一设定部123A判断特征点检测部126在脸部区域检测到的特征点之中是否包含表示外眼角以及内眼角的特征点。在此，第一设定部123A，在特征点检测部126检测到的特征点之中存在具有与外眼角以及内眼角分别对应的界标点编号的特征点的情况下，可以判断检测到了外眼角以及内眼角。而且，第一设定部123A可以在已经检测到外眼角以及内眼角的情况下，将在脸部区域40包围外眼角以及内眼角的区域设定为第一区域50。在此，所设定的第一区域50比在没有检测到外眼角以及内眼角的情况下所设定的第一区域50小。

在检测到外眼角以及内眼角的情况下设定第一区域50的方法可以采用类似于基于第三基准设定第二区域90的方法。参照图8，例如，第一设定部123A可以采用让纵边J1通过内眼角92、让纵边J2通过外眼角93的方式来设定第一区域50。此时，第一设定部123A即可以将横边J3设定在相对于横边H4向下侧离开规定距离的位置，也可以将横边J3设定在横边H4上。并且，第一设定部123A既可以将横边J4设定在相对于横边H5向上侧离开规定距离的位置，也可以将横边J4设定在横边H5上。或者，第一设定部123A也可以将纵边J1设定在相对于内眼角92稍微靠近鼻子侧，将纵边J2设定在相对于外眼角93稍微靠近耳朵侧。

瞳信息检测部125，在第一设定部123A判断检测到外眼角以及内眼角的情况下，对基于该检测结果而设定的第一区域50执行检测瞳信息的处理。另一方面，在第一设定部123A判断没有检测到外眼角以及内眼角的情况下，与第一实施方式相同，对第二区域60执行检测瞳信息的处理。

其次，对图像处理装置100A的动作进行说明。图16是表示第二实施方式涉及的图像处理装置100A的动作的一个例子的流程图。步骤S21以及S22的处理与图3的步骤S1以及S2相同。

在步骤S23，第一设定部123A利用通过特征点检测部126检测到的特征点，从脸部区域40检测外眼角以及内眼角。

在步骤S24，第一设定部123A判断是否检测到外眼角以及内眼角。在判断检测到外眼角以及内眼角的情况下(在步骤S24为“是”)，第一设定部123A将包围外眼角以及内眼角的区域设定为第一区域50(步骤S25)。

在步骤S26，瞳信息检测部125A从在步骤S5设定的第一区域50检测瞳信息。

另一方面，在步骤S24判断没有检测到外眼角以及内眼角的情况下(在步骤S24为“否”)，第一设定部123A使处理前往步骤S30。步骤S30至S32的处理与图3的步骤S3至S5的处理相同。步骤S27至S29、S33的处理与图3的步骤S6至S8、S9的处理相同。

如以上说明所述，根据第二实施方式，在从脸部区域40检测到外眼角以及内眼角的情况下，对第一区域50执行检测瞳信息的处理。为此，本实施方式，不设定第二区域60也可以对第一区域50执行检测瞳信息的处理。而且，第一区域50是包围外眼角以及内眼角的区域。为此，在本实施方式，可以将删除了象眼镜框这样的被误检测为瞳孔或虹膜的可能性较高的信息的区域设定为第一区域50，能高精度地检测瞳信息。并且，在检测到外眼角以及内眼角的情况下通过第二实施方式的方法进行瞳信息的检测，在没有检测到外眼角以及内眼角的情况下通过第一实施方式的方法进行瞳信息的检测，如此，根据是否检测到外眼角以及内眼角来适当地切换瞳信息的检测方法，可以高精度地检测瞳信息。

第三实施方式

第三实施方式是推测人400的感兴趣程度的实施方式。图17是表示第三实施方式涉及的图像处理系统1B的详细的构成的方框图。另外，在本实施方式，对于与第一、第二实施方式相同的构成要素赋予相同的符号，并省略其说明。而且，在图17中，对于与图2为同一个名称但是功能不同的模块在末尾赋予B的符号。

处理器110B还包含感兴趣程度推测部150。感兴趣程度推测部150通过以下的处理来推测人400的感兴趣程度。首先，感兴趣程度推测部150，利用通过特征点检测部126检测到的脸部的特征点9X，从脸部区域40检测眉毛以及嘴角。在此，感兴趣程度推测部150可以通过在特征点检测部126检测到的脸部的特征点9X中确定被赋予了与眉毛以及嘴角分别对应的界标点编号的特征点9X，来检测眉毛以及嘴角。

其次，感兴趣程度推测部150，基于通过视线信息检测部140检测到的视线信息和检测到的眉毛的位置以及嘴角的位置，推测人400的感兴趣程度，并将其输出到显示装置300。具体而言，感兴趣程度推测部150例如从存储器(图示省略)获取图案数据(patterndata)，该图案数据预先记述了例如人表现出喜悦、惊讶、愤怒、悲伤以及无表情等各种表情时眉毛以及嘴角的标准位置。而且，感兴趣程度推测部150，将检测到的人400的眉毛以及嘴角的位置与图案数据进行对照，来推测人400的表情。而且，感兴趣程度推测部150，利用所推测出的人400的表情和视线信息所示的视线，确定人400的视线朝向哪个方向或者人400的注视点位于哪个位置时人400都表现出什么样的表情。即，感兴趣程度推测部150将人400的视线信息与人400的表情相互对应的数据作为人400的感兴趣程度进行确定。另外，在此，对感兴趣程度推测部150基于眉毛以及嘴角推测感兴趣程度进行了说明，但是，这仅仅是一个例子而已，也可以基于眉毛以及嘴角的其中之一来推测感兴趣程度。

如以上说明所述，根据本实施方式，因为除了利用视线信息之外还利用眉毛以及嘴角来推测人400的感兴趣程度，与仅基于视线信息推测感兴趣程度相比能更高精度地推测感兴趣程度。

变形例

(1)作为相机200在采用红外光相机的情况下，红外光相机可以用利用太阳光的光谱强度为比规定的第一波长衰减的规定的第二波长带宽的红外光的红外光相机来构成。规定的第一波长例如为850nm。规定的第二波长例如为940nm。第二波长的带宽例如为不包含850nm并且是以940nm为基准(例如，中心)的规定宽度的带宽。作为拍摄近红外光的红外光相机，已知有使用850nm的红外光的红外光相机。然而，由于太阳光的光谱强度在850nm没有被充分地衰减，在太阳光的光谱强度较强的室外存在无法进行高精度的视线检测的可能性。因此，本发明采用例如使用940nm带宽的红外光的相机作为红外光相机。由此，即使是在太阳光的光谱强度较强的室外也可以进行高精度的视线检测。在此，规定的第二波长为940nm，但是，这仅仅是一个例子而已，也可以是稍微偏离940nm的波长。另外，使用第二波长的红外光的红外光相机例如是具备照射第二波长的红外光的投光器的相机。

(2)在上述实施方式，对视线信息包含表示注视点的坐标数据进行了说明，但是，本发明并不局限于此。例如，视线信息也可以包含表示以注视点为基准(例如，中心)的规定尺寸的规定形状(例如，圆、四边形等)的区域即注视面的坐标数据。由此，可以不依赖于人与注视对象物之间的距离或者注视对象物的大小而适当地判断注视对象物。

(3)在第一实施方式，当利用第三基准设定第二区域90时，存在第二设定部124可以检测出左右的眼睛的其中之一的外眼角以及内眼角，而无法检测到另一只眼睛的外眼角以及内眼角的情况。在这种情况下，第二设定部124也可以判定为没有检测到外眼角以及内眼角。或者，第二设定部124也可以仅针对一只眼睛以第三基准设定第二区域90，而针对另一只眼睛以第一基准或者第.二基准设定第二区域60。

(4)在第二实施方式，在以包围外眼角以及内眼角的方式设定第一区域50的情况下，存在可以检测出左右的眼睛的其中之一的外眼角以及内眼角，而无法检测到另一只眼睛的外眼角以及内眼角的情况。在这种情况下，第一设定部123A也可以判定为没有检测到外眼角以及内眼角。或者，第一设定部123A也可以仅针对一只眼睛以在第二实施方式说明的方法设定第一区域50，而针对另一只眼睛以在第一实施方式说明的方法设定第一区域50。

产业上的可利用性

本发明，因为可以高精度地检测瞳信息以及视线信息，适用于利用瞳信息的虹膜认证、利用视线信息对人的感兴趣对象的推测、人的状态推测以及利用视线的用户界面等。

Claims (15)

1.一种图像处理方法，是图像处理装置的检测瞳信息的图像处理方法，其特征在于包括以下步骤：

获取图像数据；

从所述图像数据检测包含人的脸部的至少一部分的脸部区域；

在检测到的所述脸部区域，设定用于检测所述人的眼睛的第一区域；

通过基于规定的基准使所述第一区域缩小来设定被推测包含瞳孔或虹膜的第二区域；

在所述第二区域，检测表示所述瞳孔或所述虹膜的瞳信息；

输出检测到的所述瞳信息。

2.根据权利要求1所述的图像处理方法，其特征在于，

所述规定的基准是在所述第一区域去除从所述第一区域的边界侧超规定量的面积的基准。

3.根据权利要求1所述的图像处理方法，其特征在于，

所述规定的基准是通过去除所述第一区域的一部分将包含所述第一区域的中心的规定形状的区域设定为所述第二区域的基准。

4.根据权利要求1所述的图像处理方法，其特征在于，

还从检测到的所述脸部区域检测外眼角以及内眼角；

在检测到所述外眼角以及所述内眼角的情况下，所述规定的基准是通过去除所述第一区域的一部分将包围所述外眼角以及所述内眼角的区域作为所述第二区域进行设定的基准。

5.根据权利要求1至4中任一项所述的图像处理方法，其特征在于，

还从检测到的所述脸部区域检测外眼角以及内眼角，

在检测到所述外眼角以及所述内眼角的情况下，在设定所述第一区域时，将包围所述外眼角以及所述内眼角的区域设定为所述第一区域，该第一区域比在没有检测到所述外眼角以及所述内眼角的情况下设定的第一区域小，

所述瞳信息的检测是在所述第一区域检测所述瞳信息。

6.根据权利要求1至5中任一项所述的图像处理方法，其特征在于，

还从检测到的所述脸部区域检测脸部的特征点，

还基于所述脸部的特征点检测表示所述人的脸部的朝向的脸部朝向信息，

还基于检测到的所述瞳信息和所述脸部朝向信息检测表示所述人的视线的视线信息，

还输出检测到的所述视线信息。

7.根据权利要求6所述的图像处理方法，其特征在于，

还从检测到的所述脸部区域检测眉毛以及嘴角的至少其中之一，

还基于所述视线信息和检测到的所述眉毛的位置以及所述嘴角的位置的至少其中之一推测所述人的感兴趣程度。

8.根据权利要求7所述的图像处理方法，其特征在于，

基于检测到的所述眉毛的位置以及所述嘴角的位置的至少其中之一推测所述人的表情，

基于所述视线信息和表示所述被推测的表情的信息推测所述人的感兴趣程度。

9.根据权利要求6至8中任一项所述的图像处理方法，其特征在于，

所述视线信息包含表示以所述人在规定的对象面的注视点为基准的规定范围的区域即注视面的信息。

10.根据权利要求1所述的图像处理方法，其特征在于，

所述图像数据是由可见光相机拍摄的图像数据，

所述瞳信息包含表示所述虹膜的中心位置和所述虹膜的大小的信息。

11.根据权利要求1所述的图像处理方法，其特征在于，

所述图像数据是由红外光相机拍摄的图像数据，

所述瞳信息包含表示所述瞳孔的中心位置和所述瞳孔的大小的信息以及表示所述虹膜的中心位置和所述虹膜的大小的信息的至少其中之一。

12.根据权利要求11所述的图像处理方法，其特征在于，

所述图像数据是用红外光相机拍摄的图像数据，所述红外光相机利用太阳光的光谱强度比规定的第一波长衰减的规定的第二波长的带宽的红外光进行拍摄。

13.根据权利要求2所述的图像处理方法，其特征在于，

还从所述脸部区域检测表示所述人的脸部的朝向的脸部朝向信息，

所述第二区域以如下方式进行设定：

随着所述脸部朝向信息所示的脸部的朝右向程度变大，使从所述第一区域的右侧的边界起的去除宽度变窄，并使从所述第一区域的左侧的边界起的去除宽度变宽，

随着所述脸部朝向信息所示的脸部的朝左向程度变大，使从所述第一区域的左侧的边界起的去除宽度变窄，并使从所述第一区域的右侧的边界起的去除宽度变宽。

14.一种图像处理装置，其特征在于包括：

获取部，获取图像数据；

脸部检测部，从所述图像数据检测包含人的脸部的全部或一部分的脸部区域；

第一设定部，在检测到的所述脸部区域，设定用于检测所述人的眼睛的第一区域；

第二设定部，通过基于规定的基准使所述第一区域缩小来设定被推测包含瞳孔或虹膜的第二区域；以及，

瞳信息检测部，在所述第二区域，检测表示所述瞳孔或所述虹膜的瞳信息，并输出所述瞳信息。

15.一种图像处理程序，其特征在于，使计算机执行以下各部的功能：

获取部，获取图像数据；

脸部检测部，从所述图像数据检测包含人的脸部的全部或一部分的脸部区域；

第一设定部，在检测到的所述脸部区域，设定用于检测所述人的眼睛的第一区域；

第二设定部，通过基于规定的基准使所述第一区域缩小来设定被推测包含瞳孔或虹膜的第二区域；以及，

瞳信息检测部，在所述第二区域，检测表示所述瞳孔或所述虹膜的瞳信息，并输出所述瞳信息。

Images