CN114762000A - 视线检测方法、视线检测装置以及控制程序 - Google Patents

Abstract

视线检测方法获取人的脸部的图像数据；从脸部的图像数据检测包含人的左眼的左眼区域以及包含人的右眼的右眼区域；在仅能检测到右眼区域或者左眼区域其中一方的眼睛区域的情况下，从脸部的图像数据检测包含人的耳朵的耳朵区域以及包含人的头发的头发区域的至少其中之一；基于表示被包含在一方的眼睛区域的一方的眼睛的位置的信息和表示被包含在耳朵区域的耳朵的位置以及被包含在头发区域的头发的位置的至少一方的位置的信息，检测表示脸部的朝向的信息；基于表示一方的眼睛的位置的信息和表示脸部的朝向的信息，检测表示人的视线的信息。

Description

视线检测方法、视线检测装置以及控制程序

技术领域

本发明涉及一种检测人的视线的技术。

背景技术

视线检测技术被用于诸如对人感兴趣的对象的推测、对睡意等人的状态的推测以及通过视线进行向设备的输入的用户界面等的各种用途。视线检测技术大致区分为头部佩戴型和非接触型。头部佩戴型的视线检测技术是将头戴式显示器等的装置佩戴到人的头部从而检测视线的技术。非接触型的视线检测技术是无需将装置佩戴到人体即可以检测视线的技术。由于非接触型的视线检测技术不必如头部佩戴型的视线检测技术那样需要将装置佩戴到头部，具有不会给人带来麻烦、不会遮挡人的视野的优点。因此，本发明着眼于非接触型的视线检测技术。

在此，非接触型的视线检测技术大致区分为瞳孔角膜反射法和基于三维眼球模型的方法。瞳孔角膜反射法，例如，如专利文献1所述，是通过发光元件对人的眼睛照射光，并通过被投影到眼睛的反射像的位置、光的照射角度、反射像的位置的移动量等检测视线的方法。

基于三维眼球模型的方法是基于通过解析脸部图像获取到的与眼球有关的信息推测视线方向的方法。例如，专利文献2公开了一种根据通过解析脸部图像获取到的眼球的转动角度以及脸部的朝向推测视线方向的方法。而且，还已知有一种将连接通过解析脸部图像而获得的眼球中心位置和虹膜中心位置的三维矢量推测为视线方向，或将相对于瞳孔中心位置的切面的法线推测为视线方向的方法。

然而，非接触型的视线检测技术，在利用表示脸部的一侧面的脸部图像的情况下，换句话说，在从脸部图像只能检测到一只眼睛的情况下，难以高精度地检测视线方向。为此，例如，对于被设置在相对于步行者的行进方向位于侧面的对象物，存在难以基于步行者的视线信息判断注视度或有无注意力不集中的问题。上述专利文献1以及专利文献2所公开的非接触型的视线检测技术并没有具体地考虑在只能检测到一只眼睛的情况下的视线的检测方法。

现有技术文献

专利文献

专利文献1：日本专利公开公报特开昭61-172552号

专利文献2：日本专利公开公报特开2003-271932号

发明内容

本发明是为了解决上述的问题而做出的发明，其目的在于谋求进一步提高在从脸部图像只能检测到一只眼睛的情况下的视线的检测精度。

本发明的第一实施方式涉及的视线检测方法，是视线检测装置的视线检测方法，获取人的脸部的图像数据；从所述脸部的图像数据检测包含所述人的左眼的左眼区域以及包含所述人的右眼的右眼区域；在仅能检测到所述右眼区域或者所述左眼区域其中一方的眼睛区域的情况下，从所述脸部的图像数据检测包含所述人的耳朵的耳朵区域以及包含所述人的头发的头发区域的至少其中之一；基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示被包含在所述耳朵区域的耳朵的位置以及被包含在所述头发区域的头发的位置的至少一方的位置的信息，检测表示所述脸部的朝向的信息；基于表示所述一方的眼睛的位置的信息和表示所述脸部的朝向的信息，检测表示所述人的视线的信息。

本发明的第二实施方式涉及的视线检测方法，是视线检测装置的视线检测方法，获取人的脸部的图像数据；从所述脸部的图像数据检测包含所述人的左眼的左眼区域以及包含所述人的右眼的右眼区域；在检测到所述右眼区域以及所述左眼区域的情况下，从所述脸部的图像数据检测表示所述脸部的朝向的信息，通过第一处理，检测表示所述人的视线的信息，所述第一处理利用了表示被包含在所述右眼区域的右眼的位置的信息以及表示被包含在所述左眼区域的左眼的位置的信息和表示所述脸部的朝向的信息；在仅能检测到所述右眼区域或者所述左眼区域其中一方的眼睛区域的情况下，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示在所述脸部与眼睛不同的部位的位置的信息，检测表示所述脸部的朝向的信息，通过利用了表示所述一方的眼睛的位置的信息和表示所述脸部的朝向的信息的第二处理，检测表示所述人的视线的信息。

附图说明

图1是表示本发明的第一实施方式涉及的图像处理系统的整体构成的一个例子的示意图。

图2是表示第一实施方式涉及的图像处理系统的详细构成的一个例子的方框图。

图3是表示右眼区域以及左眼区域的一个例子的示意图。

图4是表示单眼视线检测部的详细的构成的一个例子的方框图。

图5是表示耳朵区域的一个例子的示意图。

图6是表示脸部区域的一个例子的示意图。

图7是表示被二值化的脸部区域的一个例子的示意图。

图8是表示被二值化的脸部区域的另一个例子的示意图。

图9是表示俯视看到的人的脸部朝向程度的一个例子的模式图。

图10是表示人的视角的示意图。

图11是视线方向的检测方法的说明图。

图12是表示第一实施方式涉及的图像处理装置的动作的一个例子的流程图。

图13是表示第一实施方式涉及的单眼视线检测部的动作的一个例子的流程图。

图14是表示第二实施方式涉及的图像处理系统的详细构成的一个例子的方框图。

具体实施方式

本发明的基础知识

现有的基于三维眼球模型的视线的检测方法，通过解析脸部图像检测与双眼的眼球有关的信息，并基于该检测到的信息推测视线方向。然而，存在因作为检测对象的人注意力不集中、仅包含一只眼睛的脸部图像被用于视线检测的情况。在这种情况下，只能假设可以从脸部图像检测到的一只眼睛和不能从脸部图像检测到的一只眼睛都朝向大致相同的方向等。

如此，现有的三维眼球模型的视线的检测方法，在只能检测出表示脸部的一个侧面的脸部图像的情况下，难以高精度地检测视线方向。如果不能高精度地检测视线方向，例如，对于设置在相对于步行者的行进方向位于侧面的对象物，存在难以基于步行者的视线信息判断注视度或有无注意力不集中的问题。

本发明的发明人对该问题进行了详细的研究得出以下见解，即，在从脸部图像只能检测到一只眼睛的情况下，通过利用与眼睛不同的部位相关的信息可以提高视线检测的精度，因此想到了以下所示的各个实施方式。

本发明的第一实施方式涉及的视线检测方法，是视线检测装置的视线检测方法，获取人的脸部的图像数据；从所述脸部的图像数据检测包含所述人的左眼的左眼区域以及包含所述人的右眼的右眼区域；在仅能检测到所述右眼区域或者所述左眼区域其中一方的眼睛区域的情况下，从所述脸部的图像数据检测包含所述人的耳朵的耳朵区域以及包含所述人的头发的头发区域的至少其中之一；基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示被包含在所述耳朵区域的耳朵的位置以及被包含在所述头发区域的头发的位置的至少一方的位置的信息，检测表示所述脸部的朝向的信息；基于表示所述一方的眼睛的位置的信息和表示所述脸部的朝向的信息，检测表示所述人的视线的信息。

根据该构成，在从脸部图像数据仅能检测到右眼区域或者左眼区域其中一方的眼睛区域的情况下，还从脸部的图像数据检测耳朵区域以及头发区域的至少其中之一。而且，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示被包含在该被检测到的耳朵区域以及头发区域的至少其中之一的耳朵或者头发的位置的信息，检测表示脸部的朝向的信息。而且，基于表示该被检测到的脸部的朝向的信息和表示所述一方的眼睛的位置的信息，检测表示人的视线的信息。

由此，该构成，即使是在获取到仅包含右眼或者左眼的脸部的图像数据的情况下，也可以基于检测到的单眼与耳朵或者头发之间的位置关系，代替双眼的位置关系，高精度地检测出脸部的朝向。其结果，该构成，即使是在从脸部图像只能检测到一方的眼睛的情况下，也可以高精度地确定脸部的朝向，进而提高视线的检测精度。

在上述的实施方式，也可以，在仅能检测到所述一方的眼睛区域的情况下，从所述脸部的图像数据检测所述耳朵区域，在可以检测到所述耳朵区域的情况下，基于表示所述一方的眼睛的位置的信息和表示所述耳朵的位置的信息，检测表示所述脸部的朝向的信息。

根据该构成，在从脸部的图像数据仅能检测到右眼区域或者左眼区域其中一方的眼睛区域的情况下，还从脸部的图像数据检测耳朵区域，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示被包含在该被检测到的耳朵区域的耳朵的位置的信息，检测表示脸部的朝向的信息。由此，该构成，即使是在从脸部图像只能检测到一方的眼睛的情况下，也可以基于单眼与耳朵之间的位置关系，代替双眼的位置关系，高精度地检测出脸部的朝向。

在上述的实施方式，也可以，在不能检测到所述耳朵区域的情况下，从所述脸部的图像数据检测所述头发区域，基于表示所述一方的眼睛的位置的信息和表示所述头发的位置的信息，检测表示所述脸部的朝向的信息。

根据该构成，在从脸部的图像数据仅能检测到右眼区域或者左眼区域其中一方的眼睛区域的情况下，还从脸部的图像数据检测头发区域，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示被包含在该被检测到的头发区域的头发的位置的信息，检测表示脸部的朝向的信息。由此，该构成，即使是在从脸部图像只能检测到一方的眼睛的情况下，也可以代替双眼的位置关系，基于单眼与头发之间的位置关系高精度地检测出脸部的朝向。

在上述的实施方式，也可以，基于所述脸部的图像数据和表示所述一方的眼睛的位置的信息，检测表示与所述一方的眼睛的外眼角的位置相比存在于所述一方的眼睛的内眼角侧的所述脸部的轮廓线上的点的轮廓点，基于从所述一方的眼睛的位置起到所述轮廓点为止的第一距离和从所述一方的眼睛的位置起到所述耳朵的位置为止的第二距离，检测表示所述脸部的朝向的信息。

根据该构成，基于从所述一方的眼睛的位置起到表示与所述一方的眼睛的外眼角的位置相比存在于所述一方的眼睛的内眼角侧的脸部的轮廓线上的点的轮廓点为止的第一距离和从所述一方的眼睛的位置起到耳朵的位置为止的第二距离，检测表示脸部的朝向的信息。由此，该构成，可以基于第一距离所示的从被检测到的单眼到内眼角侧的脸部的宽度、第二距离所示的从被检测到的单眼到耳朵侧即外眼角侧的脸部的宽度，高精度地检测出脸部的朝向。

在上述的实施方式，也可以，基于所述脸部的图像数据和表示所述一方的眼睛的位置的信息，检测表示与所述一方的眼睛的外眼角的位置相比存在于所述一方的眼睛的内眼角侧的所述脸部的轮廓线上的点的轮廓点，基于从所述一方的眼睛的位置起到所述轮廓点为止的第一距离和从所述一方的眼睛的位置起到与所述一方的眼睛的内眼角的位置相比位于外眼角侧的所述头发区域内的点为止的第三距离，检测表示所述脸部的朝向的信息。

根据该构成，基于从所述一方的眼睛的位置起到表示与所述一方的眼睛的外眼角的位置相比存在于所述一方的眼睛的内眼角侧的脸部的轮廓线上的点的轮廓点为止的第一距离和从所述一方的眼睛的位置起到与所述一方的眼睛的内眼角的位置相比位于外眼角侧的头发区域内的点为止的第三距离，检测表示脸部的朝向的信息。由此，该构成，可以基于第一距离所示的从被检测到的单眼到内眼角侧的脸部的宽度、第三距离所示的从被检测到的单眼到外眼角侧的脸部的宽度，高精度地检测出脸部的朝向。

在上述的实施方式，也可以，在检测到所述右眼区域以及所述左眼区域的情况下，从所述脸部的图像数据检测表示所述脸部的朝向的信息，基于表示被包含在所述右眼区域的右眼的位置以及被包含在所述左眼区域的左眼的位置的信息和表示所述脸部的朝向的信息，检测表示所述人的视线的信息。

根据该构成，在从脸部的图像数据检测到右眼区域以及左眼区域的情况下，从脸部的图像数据检测表示脸部的朝向的信息。而且，基于表示该被检测到的脸部的朝向的信息和表示两眼的位置的信息，检测表示人的视线的信息。由此，该构成，在能从脸部的图像检测到两眼的情况下，可以根据从脸部的图像数据得到的两眼的位置和脸部的朝向检测视线。

本发明的第二实施方式涉及的视线检测方法，是视线检测装置的视线检测方法，获取人的脸部的图像数据；从所述脸部的图像数据检测包含所述人的左眼的左眼区域以及包含所述人的右眼的右眼区域；在检测到所述右眼区域以及所述左眼区域的情况下，从所述脸部的图像数据检测表示所述脸部的朝向的信息，通过第一处理，检测表示所述人的视线的信息，所述第一处理利用了表示被包含在所述右眼区域的右眼的位置的信息以及表示被包含在所述左眼区域的左眼的位置的信息和表示所述脸部的朝向的信息；在仅能检测到所述右眼区域或者所述左眼区域其中一方的眼睛区域的情况下，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示在所述脸部与眼睛不同的部位的位置的信息，检测表示所述脸部的朝向的信息，通过利用了表示所述一方的眼睛的位置的信息和表示所述脸部的朝向的信息的第二处理，检测表示所述人的视线的信息。

根据该构成，在从脸部图像数据检测到右眼区域以及左眼区域的情况下，从脸部的图像数据检测表示脸部的朝向的信息。而且，通过利用了表示该被检测到的脸部的朝向的信息和表示两眼的位置的信息的第一处理，检测表示人的视线的信息。由此，该构成，在能从脸部的图像检测到两眼的情况下，可以通过进行第一处理，根据两眼的位置和脸部的朝向检测视线。

另一方面，在从脸部图像数据仅能检测到右眼区域或者左眼区域其中一方的眼睛区域的情况下，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示在脸部与眼睛不同的部位的位置的信息，检测表示脸部的朝向的信息。而且，通过利用了表示该被检测到的脸部的朝向的信息和表示所述一方的眼睛的位置的信息的第二处理，检测表示人的视线的信息。由此，该构成，在从脸部图像数据仅能检测到一方的眼睛的情况下，可以基于与眼睛不同的部位和被检测到的单眼之间的位置关系检测脸部的朝向，通过进行第二处理，根据被检测到的单眼的位置和该被检测到的脸部的朝向检测视线。

如此，该构成，根据从脸部图像检测到的眼睛的数量来切换处理，从而能适宜地检测视线。

在上述的实施方式，也可以是，所述不同的部位是耳朵或者头发。

根据该构成，在从脸部的图像数据仅能检测到右眼区域或者左眼区域其中一方的眼睛区域的情况下，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示耳朵或者头发的位置的信息，检测表示脸部的朝向的信息。由此，该构成，即使是在从脸部图像只能检测到一方的眼睛的情况下，也可以基于被检测到的单眼与耳朵或者头发之间的位置关系，高精度地检测出脸部的朝向。

在上述的实施方式，也可以，在仅能检测到所述一方的眼睛区域的情况下，从所述脸部的图像数据检测包含所述人的耳朵的耳朵区域，在可以检测到所述耳朵区域的情况下，基于表示所述一方的眼睛的位置的信息和表示被包含在所述耳朵区域的耳朵的位置的信息，检测表示所述脸部的朝向的信息。

根据该构成，在从脸部的图像数据仅能检测到右眼区域或者左眼区域其中一方的眼睛区域的情况下，从脸部的图像数据检测耳朵区域，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示被包含在该被检测到的耳朵区域的耳朵的位置的信息，检测表示脸部的朝向的信息。由此，该构成，即使是在从脸部图像只能检测到一方的眼睛的情况下，也可以代替双眼的位置关系，基于单眼与耳朵之间的位置关系高精度地检测出脸部的朝向。

在上述的实施方式，也可以，在不能检测到所述耳朵区域的情况下，从所述脸部的图像数据检测包含所述人的头发的头发区域，基于表示所述一方的眼睛的位置的信息和表示被包含在所述头发区域的头发的位置的信息，检测表示所述脸部的朝向的信息。

根据该构成，在从脸部的图像数据仅能检测到右眼区域或者左眼区域其中一方的眼睛区域的情况下，从脸部的图像数据检测头发区域，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示被包含在该被检测到的头发区域的头发的位置的信息，检测表示脸部的朝向的信息。由此，该构成，即使是在从脸部图像只能检测到一方的眼睛的情况下，也可以代替双眼的位置关系，基于单眼与头发之间的位置关系高精度地检测出脸部的朝向。

在上述的实施方式，也可以，基于所述脸部的图像数据和表示所述一方的眼睛的位置的信息，检测表示与所述一方的眼睛的外眼角的位置相比存在于所述一方的眼睛的内眼角侧的所述脸部的轮廓线上的点的轮廓点，基于从所述一方的眼睛的位置起到所述轮廓点为止的第一距离和从所述一方的眼睛的位置起到所述耳朵的位置为止的第二距离，检测表示所述脸部的朝向的信息。

根据该构成，基于从所述一方的眼睛的位置起到表示与所述一方的眼睛的外眼角的位置相比存在于所述一方的眼睛的内眼角侧的脸部的轮廓线上的点的轮廓点为止的第一距离和从所述一方的眼睛的位置起到耳朵的位置为止的第二距离，检测表示脸部的朝向的信息。由此，该构成，可以基于第一距离所示的从被检测到的单眼到内眼角侧的脸部的宽度、第二距离所示的从被检测到的单眼到耳朵侧即外眼角侧的脸部的宽度，高精度地检测出脸部的朝向。

在上述的实施方式，也可以，基于所述脸部的图像数据和表示所述一方的眼睛的位置的信息，检测表示与所述一方的眼睛的外眼角的位置相比存在于所述一方的眼睛的内眼角侧的所述脸部的轮廓线上的点的轮廓点，基于从所述一方的眼睛的位置起到所述轮廓点为止的第一距离和从所述一方的眼睛的位置起到与所述一方的眼睛的内眼角的位置相比位于外眼角侧的所述头发区域内的点为止的第三距离，检测表示所述脸部的朝向的信息。

根据该构成，基于从所述一方的眼睛的位置起到表示与所述一方的眼睛的外眼角的位置相比存在于所述一方的眼睛的内眼角侧的脸部的轮廓线上的点的轮廓点为止的第一距离和从所述一方的眼睛的位置起到与所述一方的眼睛的内眼角的位置相比位于外眼角侧的头发区域内的点为止的第三距离，检测表示脸部的朝向的信息。由此，该构成，可以基于第一距离所示的从被检测到的单眼到内眼角侧的脸部的宽度、第三距离所示的从被检测到的单眼到外眼角侧的脸部的宽度，高精度地检测出脸部的朝向。

本发明，也可以作为让计算机执行该视线检测方法所包含的特征性的各构成要素的控制程序来实现，或作为通过该控制程序而动作的视线检测装置来实现。而且，不用说，也可以使这样的程序通过CD-ROM等的计算机可读取的非暂时性的记录介质或英特网等的通信网络进行流通。

另外，在以下说明的各实施方式都是表示本发明的具体例子的实施方式。在以下的实施方式所示的数值、形状、构成要素、步骤、步骤的顺序等只不过是一个具体例，并不用于限定本发明。而且，以下的实施方式中的构成要素之中、没有被记载在表示最上位概念的独立权利要求中的构成要素作为任意的构成要素而被说明。而且，对于所有的实施方式，可以任意地组合它们的内容。

第一实施方式

图1是表示本发明的第一实施方式涉及的图像处理系统1的整体构成的一个例子的示意图。图像处理系统1是拍摄人400并从所得到的人400的图像数据之中检测出表示人400的视线的视线信息的系统。在图1的例子中，图像处理系统1确定人400正在注视被显示在显示装置300上的多个目标301之中的哪一个目标301。但是，这仅仅是一个例子而已，图像处理系统1不仅可以确定被显示在显示装置300的显示画面上的目标301，还可以确定在实际空间内人400注视的目标301。

在图1的例子中，图像处理系统1被适用于数字标牌(digital signage)系统。因此，被显示在显示装置300上的目标301为广告等的标牌的图像。

图像处理系统1包含图像处理装置100、相机200以及显示装置300。图像处理装置100经由规定的通信路与相机200以及显示装置300连接。规定的通信路例如是有线LAN等的有线通信路或者无线LAN以及蓝牙(注册商标)等的无线通信路。图像处理装置100例如由设置在显示装置300的周围的计算机构成。但是，这仅仅是一个例子而已，图像处理装置100也可以由云服务器构成。在这种情况下，图像处理装置100经由因特网与相机200以及显示装置300连接。图像处理装置100，根据用相机200拍摄到的人400的图像数据，检测人400的视线信息，并将其输出到显示装置300。而且，图像处理装置100也可以作为硬件被组装在相机200或显示装置300中。而且，也可以是相机200或显示装置300具备处理器，图像处理装置100作为软件被组装在其中。

相机200，例如通过以规定的帧频(frame rate)拍摄显示装置300的周围的环境，获取位于显示装置300的周围的人400的图像数据。相机200以规定的帧频依次将所获取到的图像数据输出到图像处理装置100。相机200既可以是可见光相机也可以是红外光相机。而且，相机200也可以是例如显示装置300或智能手机等的电子设备功能性地具备的可见光相机或红外光相机。

显示装置300例如由液晶面板或有机EL面板等显示装置构成。在图1的例子中，显示装置300是标牌显示器。另外，在图1的例子中，对图像处理系统1包含显示装置300进行了说明，但是，这仅仅是一个例子而已，也可以采用其它的设备代替显示装置300。例如，当图像处理系统1被用作受理通过视线向设备进行输入的用户界面时，图像处理系统1也可以采用例如冰箱、电视以及洗衣机等家用电器来代替显示装置300。例如，当图像处理系统1被搭载在车辆上时，可以采用汽车等车辆来代替显示装置300。在这种情况下，相机200也可以是家用电器或车辆等功能性地具备的可见光相机或红外光相机。此外，还可以采用硬盘驱动器、固态硬盘驱动器(solid state drive)等存储装置来代替显示装置300。

图2是表示第一实施方式涉及的图像处理系统1的详细构成的一个例子的方框图。图像处理装置100包含处理器110。处理器110是CPU、FPGA等的电路。处理器110包含视线检测装置120以及输出部130。

视线检测装置120包含图像获取部121、眼睛检测部122、双眼视线检测部123以及单眼视线检测部124。另外，处理器110所具备的各模块既可以通过让处理器110执行使计算机作为图像处理装置而发挥功能的控制程序来实现，也可以由专用的电路构成。

图像获取部121获取相机200拍摄的图像数据。在此，所获取到的图像数据中包含显示装置300的周围的人400(人的一个例子)的脸部。另外，图像获取部121获取到的图像数据既可以是例如发布在网站上的图像数据，也可以是外部存储装置存储的图像数据。

眼睛检测部122从图像获取部121获取到的图像数据检测包含人400的左眼的左眼区域以及包含人400的右眼的右眼区域。以下，在统称左眼区域以及右眼区域的情况下，记为眼睛区域。具体而言，眼睛检测部122可以利用为了检测眼睛区域而预先创建的分类器来检测眼睛区域。在此使用的分类器例如是为了在开放源码的图像处理库(open-sourceimageprocessing library)检测眼睛区域而预先创建的哈尔式级联分类器(Haar-likecascade classifier)。

眼睛区域是具有在眼睛的大小加上规定的余量的尺寸的矩形区域。但是，这仅仅是一个例子而已，眼睛区域的形状也可以是矩形以外的例如三角形、五角形、六角形或八角形等。而且，将眼睛区域的边界设定在相对于眼睛的哪一个位置取决于分类器的性能。

图3是表示右眼区域50R以及左眼区域50L的一个例子的示意图。如图3所示，在本实施方式，眼睛是指被上眼睑的边界53和下眼睑的边界54包围的包含白眼球和黑眼球等有颜色的部分的区域。如图3所示，瞳是指包含瞳孔55和环绕瞳孔55的环状的虹膜56的有颜色的部分。而且，在本实施方式，为了便于说明，右眼是指从正面看人400时位于右侧的眼睛，左眼是指从正面看人400时位于左侧的眼睛。图3表示眼睛检测部122检测包含右眼的右眼区域50R以及包含左眼的左眼区域50L的一个例子。但是，这仅仅是一个例子而已，也可以是从人400看去位于右侧的眼睛作为右眼，从人400看去位于左侧的眼睛作为左眼。而且，在本实施方式，将纸面的右侧的方向作为右方，纸面的左侧的方向作为左方。

双眼视线检测部123，在眼睛检测部122检测到右眼区域50R以及左眼区域50L的情况下，从图像获取部121获取到的图像数据检测表示人400的脸部的朝向的信息(以后，称为脸部朝向信息)。而且，双眼视线检测部123，通过利用了表示右眼区域50R所包含的右眼的位置的信息以及表示左眼区域50L所包含的左眼的位置的信息和所检测到的脸部朝向信息的第一处理，检测表示人400的视线的信息(以后，称为视线信息)。

具体而言，可以对双眼视线检测部123进行的脸部朝向信息的检测以及第一处理适用通过三维眼球模型检测视线的已为公知的视线检测处理。双眼视线检测部123，可以根据适用于脸部朝向信息的检测的已为公知的视线检测处理，从图像获取部121获取到的图像数据检测脸部朝向信息。脸部朝向信息包含例如表示脸部的正面方向相对于相机200的光轴的角度等。而且，双眼视线检测部123，可以根据适用于第一处理的已为公知的视线检测处理，从眼睛检测部122检测到的右眼区域50R以及左眼区域50L获取表示右眼的位置以及左眼的位置的信息。表示右眼的位置的信息包含例如右眼的瞳、右眼的瞳孔、右眼的内眼角、右眼的外眼角以及右眼的重心的位置等。同样，表示左眼的位置的信息包含例如左眼的瞳、左眼的瞳孔、左眼的内眼角、左眼的外眼角以及左眼的重心的位置等。

视线信息既可以包含以三维方式表示人400的视线的方向的矢量，也可以包含在规定的对象面(例如，显示装置300)上的注视点的坐标数据。注视点例如是对象面与表示视线的矢量交叉的位置。

单眼视线检测部124，在眼睛检测部122只能检测出右眼区域50R或者左眼区域50L中一方的眼睛区域50的情况下，基于表示所述一方的眼睛区域50所包含的一方的眼睛的位置的信息和表示在人400的脸部与眼睛不同的部位的位置的信息，检测脸部朝向信息。而且，单眼视线检测部124，通过利用了表示所述一方的眼睛的位置的信息和所检测到的脸部朝向信息的第二处理，检测视线信息。另外，与眼睛不同的部位包含例如耳朵或头发等。单眼视线检测部124的详细内容将在以后说明。

输出部130将通过双眼视线检测部123以及单眼视线检测部124检测到的视线信息输出到显示装置300。输出部130也可以获取被显示在显示装置300的目标301的信息，并根据所获取的信息和注视点的坐标数据确定人400注视的目标301(以后，称为注视目标)，并将确定结果输出到显示装置300。

由于相机200在图1中已经进行了说明，在此省略其说明。

显示装置300显示例如表示从输出部130输出的视线信息的标记。显示装置300也可以显示例如表示从输出部130输出的人400注视的目标301的标记。

例如，假设将注视点的坐标数据作为视线信息输出到显示装置300。在这种情况下，显示装置300执行在与坐标数据对应的位置使表示视线位置的标记(marker)重叠显示在正在显示中的图像上的处理。例如，假设将注视目标的确定结果输出到显示装置300。在这种情况下，显示装置300可以执行使表示注视目标的标记重叠显示在正在显示中的画面中的处理。

另外，在图像处理系统1由代替显示装置300的家用电器构成的情况下，家用电器受理人400通过视线信息的输入。而且，在图像处理系统1由代替显示装置300的存储装置构成的情况下，存储装置存储视线信息。在这种情况下，存储装置可以将视线信息与时间戳相互对应地进行存储。

其次，对单眼视线检测部124的详细内容进行说明。图4是表示单眼视线检测部124的详细的构成的一个例子的方框图。如图4所示，单眼视线检测部124包含耳朵检测部41(部位检测部的一个例子)、头发检测部42(部位检测部的一个例子)、脸部朝向检测部43以及单侧脸部视线检测部44(视线检测部的一个例子)。

耳朵检测部41从图像获取部121获取到的图像数据检测包含人400的右耳的右耳区域以及包含人400的左耳的左耳区域。具体而言，耳朵检测部41可以利用为了检测包含人400的右耳的区域而预先创建的右耳用分类器检测右耳区域，并利用为了检测包含人400的左耳的区域而预先创建的左耳用分类器检测左耳区域。在此使用的右耳用分类器以及和左耳用分类器例如是为了在开放源码的图像处理库(open-source image processinglibrary)分别检测右耳区域以及左耳区域而预先创建的哈尔式级联分类器(Haar-likecascade classifier)。以下，在统称右耳区域以及左耳区域的情况下，记述为耳朵区域。

耳朵区域是具有耳朵大小程度的尺寸的矩形区域。但是，这仅仅是一个例子而已，耳朵区域的形状也可以是矩形以外的例如三角形、五角形、六角形或八角形等。而且，耳朵区域的边界相对于耳朵设定在哪一个位置取决于分类器的性能。

图5是表示耳朵区域30的一个例子的示意图。如图5所示，在本实施方式，耳朵是指被虚线31围住的表示耳廓的区域。而且，在本实施方式，为了便于说明，右耳是指从正面看人400时位于右侧的耳朵，左耳是指从正面看人400时位于左侧的耳朵。图5表示耳朵检测部41用右耳用分类器没有检测到右耳区域30R(未图示)，用左耳用分类器仅能检测到左耳区域30L的例子。但是，这仅仅是一个例子而已，也可以将从人400看去位于右侧的耳朵作为右耳，从人400看去位于左侧的耳朵作为左耳。

头发检测部42从图像获取部121获取到的图像数据检测包含人400的头发的头发区域。以下，对检测头发区域的处理的详细内容进行说明。

首先，头发检测部42从图像获取部121获取到的图像数据检测包含人400的脸部的至少一部分的脸部区域。具体而言，头发检测部42可以利用为了检测脸部区域而预先创建的分类器来检测脸部区域。在此使用的分类器例如是为了在开放源码的图像处理库检测脸部区域而预先创建的哈尔式级联分类器。

图6是表示脸部区域60的一个例子的示意图。如图6所示，脸部区域60例如是具有包含整个脸部程度的尺寸的矩形区域。但是，这仅仅是一个例子而已，脸部区域60的形状也可以是矩形以外的例如三角形、五角形、六角形或八角形等。而且，头发检测部42也可以例如通过模式匹配来检测脸部区域60。

其次，头发检测部42将检测出的脸部区域60二值化。图7是表示被二值化的脸部区域60的示意图。在此，采用例如被称为大津二值化(Otsu′sbinarization)的方法。而且，亮度低于阈值的区域用白色表示，亮度在阈值以上的区域用黑色表示。

其次，头发检测部42执行对被二值化的脸部区域60出现的白色的岛赋予标签编号(1abeling number)的贴标签处理。在图7的例子中，头发被视为一个岛71，对岛71赋予标签编号“1”。而且，左眼被视为一个岛72，对岛72赋予标签编号“2”。而且，鼻子的左孔被视为一个岛73，对岛73赋予标签编号“3”。而且，嘴唇被视为一个岛74，对岛74赋予标签编号“4”。

然后，头发检测部42将被赋予了标签的岛之中具有最大面积的岛作为头发区域进行检测。在图7的例子中，岛71被作为头发区域进行检测。

脸部朝向检测部43，基于表示被包含在通过眼睛检测部122检测到的右眼区域50R或者左眼区域50L中的一方的眼睛区域50的一方的眼睛的位置的信息、表示被包含在通过耳朵检测部41检测到的耳朵区域30的耳朵的位置的信息或表示被包含在通过头发检测部42检测到的头发区域的头发的位置的信息，检测脸部朝向信息。在脸部朝向信息中包含表示人400的脸部是朝向右还是朝向左的信息以及人400的脸部相对于相机200的光轴朝向左右方向倾斜的程度(以后，称为脸部朝向程度)等。以下，对检测脸部朝向信息的处理的详细内容进行说明。

脸部朝向检测部43首先判断人400的脸部是朝向右还是朝向左。具体而言，在通过耳朵检测部41检测到左耳区域30L的情况下，脸部朝向检测部43判断人400朝向右方，并判断脸部的朝向为朝向右。另一方面，在通过耳朵检测部41检测到右耳区域30R的情况下，脸部朝向检测部43判断人400朝向左方，并判断脸部的朝向为朝向左。在图5的例子中，因为耳朵检测部41检测到了左耳区域30L，所以，判断脸部的朝向为朝向右。

另外，耳朵检测部41存在误检测右耳区域30R和左耳区域30L的风险。考虑到该误检测，脸部朝向检测部43也可以为如下所述的构成。即，在耳朵检测部41检测出耳朵区域30之后，脸部朝向检测部43可以与头发检测部42同样，从图像获取部121获取到的图像数据检测脸部区域60。而且，脸部朝向检测部43也可以，在该检测到的脸部区域60，当通过眼睛检测部122检测到的眼睛区域50的位置与耳朵检测部41检测到的耳朵区域30相比位于右侧的情况下，判断脸部的朝向为朝向右，在该眼睛区域50的位置与该耳朵区域30相比位于左侧的情况下，判断脸部的朝向为朝向左。

而且，脸部朝向检测部43，在通过头发检测部42作为头发区域而检测到的岛的重心的位置存在于脸部区域60的左半部分的区域的情况下，判断人400朝向右方，并判断脸部的朝向为朝向右。另一方面，在通过头发检测部42作为头发区域而检测到的岛的重心的位置存在于脸部区域60的右半部分的区域的情况下，脸部朝向检测部43判断人400朝向左方，并判断脸部的朝向为朝向左。在图7的例子中，因为通过头发检测部42作为头发区域而检测到的岛71的重心的位置P71存在于脸部区域60的左半部分的区域，所以判断脸部的朝向为朝向右。

其次，脸部朝向检测部43，基于通过图像获取部121获取到的图像数据和表示被包含在通过眼睛检测部122检测到的一方的眼睛区域50的眼睛的位置的信息，检测表示存在于与该眼睛的外眼角的位置相比更位于该眼睛的内眼角侧的人400的脸部的轮廓线上的点的轮廓点。以下，对被判断为脸部的朝向为朝向右的情况下检测轮廓点的处理的详细内容进行说明。另外，在被判断为脸部的朝向为朝向左的情况下，因为检测轮廓点的处理与被判断为脸部的朝向为朝向右的情况相同，所以省略其说明。

首先，脸部朝向检测部43与头发检测部42同样，从图像获取部121获取到的图像数据检测脸部区域60并将其二值化。其次，脸部朝向检测部43执行对被二值化的脸部区域60中出现的白色的岛赋予标签编号的贴标签处理。图8是表示被二值化的脸部区域60的另一个例子的示意图。

在图8的例子中，头发被视为一个岛81，对岛81赋予标签编号“1”。左眼被视为一个岛82，对岛82赋予标签编号“2”。鼻子的左孔被视为一个岛83，对岛83赋予标签编号“3”。嘴唇被视为一个岛84，对岛84赋予标签编号“4”。左眉毛被视为一个岛85，对岛85赋予标签编号“5”。右眼的一部分被视为一个岛86，对岛86赋予标签编号“6”。

其次，脸部朝向检测部43从眼睛检测部122检测到的一方的眼睛区域50检测最远离被包含在该一方的眼睛区域50的眼睛的内眼角侧的岛，该岛是被赋予了标签的岛之中具有规定面积以下的面积的岛。规定面积例如被规定为眼睛检测部122检测到的一方的眼睛区域50的面积程度的面积。在图8的例子中，脸部朝向检测部43判断脸部的朝向为朝向右。为此，脸部朝向检测部43判断眼睛检测部122检测到的眼睛区域50为左眼区域50L，被包含在该左眼区域50L中的岛82表示左眼。其次，脸部朝向检测部43从左眼区域50L检测最远离作为左眼的内眼角侧的右方的岛86，该岛86具有规定面积以下的面积。

其次，脸部朝向检测部43假设在检测到的岛上存在上述轮廓点并检测该轮廓点。在图8的例子中，脸部朝向检测部43将检测到的岛86中的左眼的内眼角侧即右方的端部P81作为轮廓点61进行检测。

其次，脸部朝向检测部43从眼睛检测部122检测到的眼睛区域50检测该眼睛的重心以及内眼角的位置作为表示被包含在眼睛区域50中的眼睛的位置的信息。在图8的例子中，因为判断脸部的朝向为朝向右，脸部朝向检测部43判断眼睛检测部122检测到的眼睛区域50为左眼区域50L，被包含在该左眼区域50L中的岛82表示左眼。在此，脸部朝向检测部43将岛82的重心的位置P82作为左眼的重心的位置62进行检测。而且，脸部朝向检测部43将该岛82中的左眼的内眼角侧即右方的端部P83作为左眼的内眼角的位置63进行检测。

其次，脸部朝向检测部43，在通过耳朵检测部41检测到耳朵区域30的情况下，计算从被包含在通过眼睛检测部122检测到的一方的眼睛区域50中的眼睛的内眼角的位置起到轮廓点61为止的第一距离，并计算从该内眼角的位置起到被包含在通过耳朵检测部41检测到的耳朵区域30中的耳朵的位置为止的第二距离。然后，脸部朝向检测部43基于第一距离和第二距离检测脸部朝向信息。

在图8的例子中，脸部朝向检测部43将从被包含左眼区域50L中的左眼的内眼角的位置63起到轮廓点61为止的水平方向的距离L1作为第一距离(以后，称为第一距离L1)进行计算。脸部朝向检测部43将通过耳朵检测部41检测到的左耳区域30L中的左眼的内眼角侧即右方的端部作为被包含在该耳朵区域30中的耳朵的位置。而且，脸部朝向检测部43将从左眼的内眼角的位置63起到该耳朵的位置为止的水平方向的距离L2作为第二距离(以后，称为第二距离L2)进行计算。

图9是表示俯视看到的人400的脸部朝向程度的一个例子的模式图。人400面向相机200其脸部朝向左右方向倾斜的程度越大，如图9所示，表示人400的脸部的正面方向92相对于相机200的光轴91的角度93(以后，称为姿势角度)就越变大。而且，脸部朝向程度越变大，从通过相机200拍摄的单眼的内眼角的位置起到轮廓点为止的第一距离L1就越变短，从该内眼角的位置起到耳朵的位置为止的第二距离L2就越变长。因此，表示脸部朝向程度的姿势角度93与第二距离L2相对于第一距离L1的比率(＝L2/L1)或者第一距离L1相对于第二距离L2的比率(＝L1/L2)之间的关系的函数(以后，称为第一函数)可以基于实验值等预先进行设定。

在此，脸部朝向检测部43计算第二距离L2相对于第一距离L1的比率，或者，第一距离L1相对于第二距离L2的比率。而且，脸部朝向检测部43，通过将该计算出的比率输入到第一函数，获取与该输入的比率对应的姿势角度93作为脸部朝向程度。脸部朝向检测部43将以这种方式获取的脸部朝向程度作为脸部朝向信息进行检测。另外，脸部朝向程度的获取方法并不局限于此。例如，也可以预先设定表示第一距离L1与第二距离L2之间的差值与姿势角度93之间的关系的函数，利用该函数获取脸部朝向程度。

从耳朵被头发覆盖的人400的脸部的图像数据中无法检测出耳朵区域30。在此，在这种情况下，脸部朝向检测部43利用头发检测部42从人400的脸部的图像数据检测出头发区域。其次，脸部朝向检测部43计算第一距离L1并计算第三距离，该第三距离为从被包含在通过眼检测部122检测到的一方的眼睛区域50中的眼睛的位置起到与该眼睛的内眼角的位置相比位于外眼角侧的上述头发区域内的点为止的距离。然后，脸部朝向检测部43基于第一距离L1和第三距离检测脸部朝向信息。

以下，利用图7对从头发区域检测脸部朝向信息的处理进行说明。在图7的例子中，脸部朝向检测部43与图8的例子同样，判断被包含在左眼区域50L中的岛72表示左眼。而且，脸部朝向检测部43将岛73中的左眼的内眼角侧的端部P75作为轮廓点61进行检测，该岛73具有规定面积以下的面积，并且，从左眼区域50L起最远离作为左眼的内眼角侧的右方。而且，脸部朝向检测部43将表示左眼的岛72的重心的位置P72作为左眼的重心的位置62进行检测，将该岛72中的左眼的内眼角侧的端部P73作为左眼的内眼角的位置63进行检测。然后，脸部朝向检测部43计算从检测到的左眼的内眼角的位置63起到检测到的轮廓点61为止的水平方向的距离即第一距离L1。

而且，脸部朝向检测部43将通过头发检测部42检测到的头发区域的重心的位置P71作为所述头发区域内的点64进行检测。另外，所述头发区域内的点64并不局限于此，也可以是在表示头发区域的岛71的轮廓线上从被包含在左眼区域50L中的左眼的内眼角的位置63起最远离作为左眼的外眼角侧的左方的点P74。脸部朝向检测部43将从左眼的内眼角的位置63起到所述头发区域内的点64为止的水平方向的距离L3作为第三距离(以后，称为第三距离L3)进行计算。

而且，脸部朝向检测部43与图8的例子同样，计算第三距离L3相对于第一距离L1的比率，或者，第一距离L1相对于第三距离L3的比率。而且，脸部朝向检测部43通过将该计算出的比率输入到与第一函数相同的第二函数，获取与该输入的比率对应的姿势角度93作为脸部朝向程度。第二函数是表示姿势角度93(图9)与第三距离L3相对于第一距离L1的比率或者第一距离L1相对于第三距离L3的比率之间的关系的函数，可以基于实验值等进行预先设定。脸部朝向检测部43将以这种方式获取的脸部朝向程度作为脸部朝向信息进行检测。另外，脸部朝向程度的获取方法并不局限于此。例如，也可以预先设定表示第一距离L1与第三距离L3之间的差值和姿势角度93之间的关系的函数，并利用该函数获取脸部朝向程度。

单侧脸部视线检测部44，基于表示被包含在通过眼睛检测部122检测到的一方的眼睛区域50中的眼睛的位置的信息和通过脸部朝向检测部43检测到的脸部朝向信息，进行检测视线信息的第二处理。以下，对第二处理的详细内容进行说明。

图10是表示人400的视角94的示意图。一般而言，据说人400的眼睛的视角94相对于人400的脸部的正面方向92在左方以及右方被限定在0度以上60度以下的范围内。在此，在本实施方式假设视角94被预先设定为60度。

单侧脸部视线检测部44，在第二处理中，首先，从眼睛检测部122检测到的一方的眼睛区域50检测被包含在该一方的眼睛区域50中的眼睛的外眼角的位置。

图11是视线方向的检测方法的说明图。图11表示放大了图8所示的左眼区域50L的示意图。在图11的例子，单侧脸部视线检测部44将被脸部朝向检测部43判断为表示左眼的岛82的左方的端部P85作为左眼的外眼角的位置65进行检测。

单侧脸部视线检测部44获取从被包含在通过眼睛检测部122检测到的一方的眼睛区域50中的眼睛的重心的位置62起到该眼睛的外眼角的位置65为止的水平方向的距离(以后，称为重心外眼角间距离)。而且，单侧脸部视线检测部44获取从被包含在所述检测到的一方的眼睛区域50中的眼睛的重心的位置62起到该眼睛的内眼角的位置63为止的水平方向的距离(以后，称为重心内眼角间距离)。然后，单侧脸部视线检测部44，基于所获取的重心外眼角间距离以及重心内眼角间距离、预先设定的视角94，计算表示相对于脸部的正面方向92的视线方向的角度(以后，称为视线方向角度)。

具体而言，一般认为，被包含在通过眼睛检测部122检测到的一方的眼睛区域50中的眼睛的重心的位置62越接近该眼睛的内眼角的位置63，人400的视线就越朝向接近脸部的正面方向92的方向。另一方面，还认为，该眼睛的重心的位置62越接近该眼睛的外眼角的位置65，人400的视线就越朝向偏离脸部的正面方向92的方向，即，朝向相对于脸部的正面方向92接近向左方或右方偏离上述视角94的角度方向的方向。

在此，在图11的例子中，单侧脸部视线检测部44获取重心外眼角间距离K1，该重心外眼角间距离K1是从被包含在通过眼睛检测部122检测到的左眼区域50L中的左眼的重心的位置62起到该左眼的外眼角的位置65为止的水平方向的距离。而且，单侧脸部视线检测部44获取重心内眼角间距离K2，该重心内眼角间距离K2是从左眼的重心的位置62起到左眼的内眼角的位置63为止的水平方向的距离。然后，单侧脸部视线检测部44，通过利用了该获取的重心外眼角间距离K1以及重心内眼角间距离K2、预先设定的视角94的值α(＝60°)的以下的公式，计算视线方向角度β。

β＝α×(K2/K1)

单侧脸部视线检测部44，将该计算出的视线方向角度β与通过脸部朝向检测部43检测到的脸部朝向程度相加后的值，作为表示视线的方向相对于相机200的光轴91的角度进行计算。单侧脸部视线检测部44将该计算出的表示视线的方向相对于相机200的光轴91的角度作为视线信息进行检测。

其次，对图像处理装置100的动作进行说明。图12是表示第一实施方式涉及的图像处理装置100的动作的一个例子的流程图。

图像获取部121从相机200获取人400的脸部的图像数据(步骤S1)。其次，眼睛检测部122，通过将在步骤S1获取到的图像数据输入到用于检测眼睛区域50的分类器，从图像数据检测出右眼区域50R以及左眼区域50L(步骤S2)。

在步骤S2，如图3的例子所示，假设检测到了右眼区域50R和左眼区域50L(在步骤S3为“是”)。在这种情况下，双眼视线检测部123通过第一处理检测视线信息(步骤S4)，该第一处理利用了表示被包含在右眼区域50R中的右眼的位置的信息以及表示被包含在左眼区域50L中的左眼的位置的信息、从在步骤S1获取到的图像数据检测到的脸部朝向信息。

另一方面，如图5以及图6的例子所示，在步骤S2，假设仅能检测到右眼区域50R或者左眼区域50L中一方的眼睛区域50(在步骤S3为“否”)。在这种情况下，单眼视线检测部124，基于表示被包含在该一方的眼睛区域50中的眼睛的位置的信息和表示在人400的脸部与眼睛不同的部位的位置的信息，检测脸部朝向信息。而且，单眼视线检测部124通过第二处理检测视线信息(步骤S5)，该第二处理利用了表示该一方的眼睛的位置的信息和所检测到的脸部朝向信息。关于单眼视线检测部124在步骤S5的动作的详细内容将在以后说明。

在步骤S4或者步骤S5之后，输出部130将在步骤S4或者步骤S5检测到的视线信息输出到显示装置300(步骤S6)。

下面对单眼视线检测部124在步骤S5的动作进行说明。图13是表示第一实施方式涉及的单眼视线检测部124的动作的一个例子的流程图。

如果开始步骤S5，耳朵检测部41，通过将在步骤S1获取到的图像数据输入到用于检测右耳区域以及左耳区域的分类器，从该图像数据检测出耳朵区域30(步骤S51)。例如，在步骤S51，耳朵检测部41如图5所示从在步骤S1获取到的图像数据检测出左耳区域30L。

在步骤S51检测到耳朵区域30的情况下(在步骤S52为“是”)，脸部朝向检测部43，基于表示被包含在在步骤S2检测到的一方的眼睛区域50中的眼睛的位置的信息和表示被包含在在步骤S51检测到的耳朵区域30中的耳朵的位置的信息，检测脸部朝向信息(步骤S53)。

例如，在步骤S51，假设如图5所示检测到左耳区域30L。在这种情况下，在步骤S53，因为在步骤S51检测到左耳区域30L，所以脸部朝向检测部43判断脸部的朝向为朝向右。

在这种情况下，脸部朝向检测部43，如图8所示，基于在步骤S1获取到的图像数据和被包含在在步骤S2检测到的左眼区域50L中的左眼的内眼角的位置63，计算从左眼的内眼角的位置63起到轮廓点61为止的水平方向的距离即第一距离L1。脸部朝向检测部43，还将在步骤S51检测到的左耳区域30L中的左眼的内眼角侧的端部作为被包含在该耳朵区域30中的耳朵的位置，计算从左眼的内眼角的位置63起到该耳朵的位置为止的水平方向的距离即第二距离L2。

而且，脸部朝向检测部43计算第二距离L2相对于第一距离L1的比率或者第一距离L1相对于第二距离L2的比率，并将该计算出的比率输入到第一函数。由此，脸部朝向检测部43将与所输入的比率对应的姿势角度93(图9)作为脸部朝向程度而获取。脸部朝向检测部43将以这种方式获取到的脸部朝向程度作为脸部朝向信息进行检测。

另一方面，在步骤S51没有检测到耳朵区域30的情况下(在步骤S52为“否”)，脸部朝向检测部43利用头发检测部42从在步骤S1获取到的图像数据检测出头发区域(步骤S54)。例如，如图7所示，在步骤S54，通过头发检测部42从在步骤S1获取到的图像数据检测出脸部区域60，并将在使该脸部区域60二值化的区域具有最大面积的岛71作为头发区域进行检测。

而且，脸部朝向检测部43，基于表示在步骤S2检测到的被包含在一方的眼睛区域50的眼睛的位置的信息和表示在步骤S54检测到的被包含在头发区域的头发的位置的信息，检测脸部朝向信息(步骤S55)。

例如，在步骤S54，如图7所示，假设岛71被检测为头发区域。在这种情况下，在步骤S55，如上所述，因为被检测为头发区域的岛71的重心的位置P71存在于脸部区域60的左半部分的区域，所以脸部朝向检测部43判断脸部的朝向为朝向右。

在这种情况下，脸部朝向检测部43，如图7所示，基于在步骤S1获取到的图像数据和在步骤S2检测到的被包含在左眼区域50L的左眼的内眼角的位置63，计算从左眼的内眼角的位置63起到轮廓点61为止的水平方向的距离即第一距离L1。而且，脸部朝向检测部43，还将在步骤S54检测到的头发区域的重心的位置P71作为所述头发区域内的点64，计算从左眼的内眼角的位置63起到该头发区域内的点64为止的水平方向的距离即第三距离L3。

然后，脸部朝向检测部43计算第三距离L3相对于第一距离L1的比率或者第一距离L1相对于第三距离L3的比率，并将该计算出的比率输入到第二函数。由此，脸部朝向检测部43将与所输入的比率对应的姿势角度93(图9)作为脸部朝向程度而获取。脸部朝向检测部43将以这种方式获取到的脸部朝向程度作为脸部朝向信息进行检测。

在步骤S53或者步骤S55之后，单侧脸部视线检测部44，通过利用了表示在步骤S2检测到的被包含在一方的眼睛区域50的眼睛的位置的信息和在步骤S53或者步骤S55检测到的脸部朝向信息的第二处理，检测视线信息(步骤S56)。

例如，在步骤S56，单侧脸部视线检测部44，如图11所示，获取从在步骤S2检测到的被包含在左眼区域50L的左眼的重心的位置62到该左眼的外眼角位置65为止的水平方向的距离即重心外眼角间距离K1。而且，单侧脸部视线检测部44还获取从左眼的重心的位置62起到左眼的内眼角的位置63为止的水平方向的距离即重心内眼角间距离K2。然后，单侧脸部视线检测部44，通过利用了该获取的重心外眼角间距离K1以及重心内眼角间距离K2和预先设定的视角94的值α(＝60°)的上述公式(β＝α×(K2/K1)，计算视线方向角度β。单侧脸部视线检测部44，将该所计算出的视线方向角度β与在步骤S53或者步骤S55作为脸部朝向信息而检测到的脸部朝向程度相加的值，作为视线信息进行检测。

如以上说明所述，根据本实施方式，在从脸部的图像数据中仅能检测到右眼区域50R或者左眼区域50L其中一方的眼睛区域50的情况下，从脸部的图像数据检测耳朵区域30以及头发区域的至少其中之一。而且，基于表示被包含在该一方的眼睛区域50中的眼睛的位置的信息和表示被包含在该检测到的耳朵区域30以及头发区域的至少其中之一中的耳朵或者头发的位置的信息，检测脸部朝向信息。并且，基于该检测到的脸部朝向信息和表示上述眼睛的位置的信息，检测视线信息。

由此，本实施方式，即使是在只能获取到仅包含右眼或者左眼的脸部的图像数据的情况下，也可以基于耳朵或者头发与检测到的单眼之间的位置关系，代替双眼的位置关系，高精度地检测出脸部朝向信息。其结果，该构成，即使是在从脸部图像只能检测到一方的眼睛的情况下，也可以高精度地确定脸部的朝向，进而提高视线的检测精度。

另外，在步骤S54，也可以考虑到不能检测到头发区域的情况。在这种情况下，输出部130可以向显示装置300输出无法检测到视线信息的出错消息。或者，也可以假设能从脸部图像检测到的单眼和不能从脸部图像检测到的单眼都朝向大致相同的方向，来进行步骤S4(图12)以后的处理。

第二实施方式

第二实施方式是推测人400的感兴趣程度的实施方式。图14是表示第二实施方式涉及的图像处理系统1A的详细的构成的方框图。另外，在本实施方式，对于与第一实施方式相同的构成要素赋予相同的符号，并省略其说明。而且，在图14中，对于与图2为同一个名称但是功能不同的模块在末尾赋予A的符号。

视线检测装置120A还包含特征点检测部140以及感兴趣程度推测部150。

特征点检测部140，与头发检测部42(图3)同样，利用为了检测脸部区域而预先创建的分类器，从图像获取部121获取到的图像数据检测包含人400的脸部的至少一部分的脸部区域60。而且，特征点检测部140从该检测到的脸部区域60检测脸部的特征点。脸部的特征点是指在构成例如外眼角、内眼角、脸部的轮廓、鼻梁、嘴角以及眉毛等的脸部的多个部位之中的每一个部分位于特征位置的一个或多个点。特征点也被称为界标(landmark)。特征点检测部140可以通过执行利用了例如机器学习的框架的模型文件(model file of aframework)的界标检测处理来检测脸部的特征点。

感兴趣程度推测部150通过以下的处理来推测人400的感兴趣程度。首先，感兴趣程度推测部150，利用通过特征点检测部140检测到的脸部的特征点，从脸部区域60检测眉毛以及嘴角。在此，感兴趣程度推测部150可以通过在特征点检测部140检测到的脸部的特征点中确定被赋予了与眉毛以及嘴角分别对应的界标点编号的特征点，来检测眉毛以及嘴角。

其次，感兴趣程度推测部150，基于通过双眼视线检测部123或单眼视线检测部124检测到的视线信息和检测到的眉毛的位置以及嘴角的位置，推测人400的感兴趣程度，并将其输出到显示装置300。具体而言，感兴趣程度推测部150例如从存储器(图示省略)获取图案数据(pattern data)，该图案数据预先记述了例如人表现出喜悦、惊讶、愤怒、悲伤以及无表情等各种表情时眉毛以及嘴角的标准位置。而且，感兴趣程度推测部150，将检测到的人400的眉毛以及嘴角的位置与图案数据进行对照，来推测人400的表情。而且，感兴趣程度推测部150，利用所推测出的人400的表情和视线信息所示的视线，确定人400的视线朝向哪个方向或者人400的注视点位于哪个位置时人400都表现出什么样的表情。即，感兴趣程度推测部150将视线信息与人400的表情相互对应的数据作为人400的感兴趣程度进行确定。另外，在此，对感兴趣程度推测部150基于眉毛以及嘴角推测感兴趣程度进行了说明，但是，这仅仅是一个例子而已，也可以基于眉毛以及嘴角的其中之一来推测感兴趣程度。

如以上说明所述，根据本实施方式，因为除了利用视线信息之外还利用眉毛以及嘴角来推测人400的感兴趣程度，与仅基于视线信息推测感兴趣程度相比能更高精度地推测感兴趣程度。

变形例

(1)作为相机200在采用红外光相机的情况下，红外光相机可以用利用太阳光的光谱强度为比规定的第一波长衰减的规定的第二波长带宽的红外光的红外光相机来构成。规定的第一波长例如为850nm。规定的第二波长例如为940nm。第二波长的带宽例如为不包含850nm并且是以940nm为基准(例如，中心)的规定宽度的带宽。作为拍摄近红外光的红外光相机，已知有使用850nm的红外光的红外光相机。然而，由于太阳光的光谱强度在850nm没有被充分地衰减，在太阳光的光谱强度较强的室外存在无法进行高精度的视线检测的可能性。因此，本发明采用例如使用940nm带宽的红外光的相机作为红外光相机。由此，即使是在太阳光的光谱强度较强的室外也可以进行高精度的视线检测。在此，规定的第二波长为940nm，但是，这仅仅是一个例子而已，也可以是稍微偏离940nm的波长。另外，使用第二波长的红外光的红外光相机例如是具备照射第二波长的红外光的投光器的相机。

(2)在上述实施方式，对视线信息包含表示注视点的坐标数据进行了说明，但是，本发明并不局限于此。例如，视线信息也可以包含表示以注视点为基准(例如，中心)的规定尺寸的规定形状(例如，圆、四边形等)的区域即注视面的坐标数据。由此，可以不依赖于人400与注视对象物之间的距离或者注视对象物的大小而适当地判断注视对象物。

产业上的可利用性

本发明，因为可以高精度地检测视线信息，适用于利用视线信息对人的感兴趣对象的推测、人的状态推测以及利用视线的用户界面等。

Claims (16)

1.一种视线检测方法，是视线检测装置的视线检测方法，其特征在于包括以下步骤：

获取人的脸部的图像数据；

从所述脸部的图像数据检测包含所述人的左眼的左眼区域以及包含所述人的右眼的右眼区域；

在仅能检测到所述右眼区域或者所述左眼区域其中一方的眼睛区域的情况下，从所述脸部的图像数据检测包含所述人的耳朵的耳朵区域以及包含所述人的头发的头发区域的至少其中之一；

基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示被包含在所述耳朵区域的耳朵的位置以及被包含在所述头发区域的头发的位置的至少一方的位置的信息，检测表示所述脸部的朝向的信息；

基于表示所述一方的眼睛的位置的信息和表示所述脸部的朝向的信息，检测表示所述人的视线的信息。

2.根据权利要求1所述的视线检测方法，其特征在于，

在仅能检测到所述一方的眼睛区域的情况下，从所述脸部的图像数据检测所述耳朵区域，

在可以检测到所述耳朵区域的情况下，基于表示所述一方的眼睛的位置的信息和表示所述耳朵的位置的信息，检测表示所述脸部的朝向的信息。

3.根据权利要求2所述的视线检测方法，其特征在于，

在不能检测到所述耳朵区域的情况下，从所述脸部的图像数据检测所述头发区域，

基于表示所述一方的眼睛的位置的信息和表示所述头发的位置的信息，检测表示所述脸部的朝向的信息。

4.根据权利要求2所述的视线检测方法，其特征在于，

基于所述脸部的图像数据和表示所述一方的眼睛的位置的信息，检测表示与所述一方的眼睛的外眼角的位置相比存在于所述一方的眼睛的内眼角侧的所述脸部的轮廓线上的点的轮廓点，

基于从所述一方的眼睛的位置起到所述轮廓点为止的第一距离和从所述一方的眼睛的位置起到所述耳朵的位置为止的第二距离，检测表示所述脸部的朝向的信息。

5.根据权利要求3所述的视线检测方法，其特征在于，

基于所述脸部的图像数据和表示所述一方的眼睛的位置的信息，检测表示与所述一方的眼睛的外眼角的位置相比存在于所述一方的眼睛的内眼角侧的所述脸部的轮廓线上的点的轮廓点，

基于从所述一方的眼睛的位置起到所述轮廓点为止的第一距离和从所述一方的眼睛的位置起到与所述一方的眼睛的内眼角的位置相比位于外眼角侧的所述头发区域内的点为止的第三距离，检测表示所述脸部的朝向的信息。

6.根据权利要求1所述的视线检测方法，其特征在于，

在检测到所述右眼区域以及所述左眼区域的情况下，从所述脸部的图像数据检测表示所述脸部的朝向的信息，

基于表示被包含在所述右眼区域的右眼的位置以及被包含在所述左眼区域的左眼的位置的信息和表示所述脸部的朝向的信息，检测表示所述人的视线的信息。

7.一种视线检测装置，其特征在于包括：

图像获取部，获取人的脸部的图像数据；

眼睛检测部，从所述脸部的图像数据检测包含所述人的左眼的左眼区域以及包含所述人的右眼的右眼区域；

部位检测部，在仅能检测到所述右眼区域或者所述左眼区域其中一方的眼睛区域的情况下，从所述脸部的图像数据检测包含所述人的耳朵的耳朵区域以及包含所述人的头发的头发区域的至少其中之一；

脸部朝向检测部，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示被包含在所述耳朵区域的耳朵的位置以及被包含在所述头发区域的头发的位置的至少一方的位置的信息，检测表示所述脸部的朝向的信息；以及，

视线检测部，基于表示所述一方的眼睛的位置的信息和表示所述脸部的朝向的信息，检测表示所述人的视线的信息。

8.一种视线检测装置的控制程序，其特征在于，使所述视线检测装置所具备的计算机作为以下部而发挥作用：

图像获取部，获取人的脸部的图像数据；

眼睛检测部，从所述脸部的图像数据检测包含所述人的左眼的左眼区域以及包含所述人的右眼的右眼区域；

部位检测部，在仅能检测到所述右眼区域或者所述左眼区域其中一方的眼睛区域的情况下，从所述脸部的图像数据检测包含所述人的耳朵的耳朵区域以及包含所述人的头发的头发区域的至少其中之一；

脸部朝向检测部，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示被包含在所述耳朵区域的耳朵的位置以及被包含在所述头发区域的头发的位置的至少一方的位置的信息，检测表示所述脸部的朝向的信息；

视线检测部，基于表示所述一方的眼睛的位置的信息和表示所述脸部的朝向的信息，检测表示所述人的视线的信息。

9.一种视线检测方法，是视线检测装置的视线检测方法，其特征在于包括以下步骤：

获取人的脸部的图像数据；

从所述脸部的图像数据检测包含所述人的左眼的左眼区域以及包含所述人的右眼的右眼区域；

在检测到所述右眼区域以及所述左眼区域的情况下，从所述脸部的图像数据检测表示所述脸部的朝向的信息，通过第一处理检测表示所述人的视线的信息，所述第一处理利用了表示被包含在所述右眼区域的右眼的位置的信息以及表示被包含在所述左眼区域的左眼的位置的信息和表示所述脸部的朝向的信息；

在仅能检测到所述右眼区域或者所述左眼区域其中一方的眼睛区域的情况下，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示在所述脸部与眼睛不同的部位的位置的信息，检测表示所述脸部的朝向的信息，通过利用了表示所述一方的眼睛的位置的信息和表示所述脸部的朝向的信息的第二处理，检测表示所述人的视线的信息。

10.根据权利要求9所述的视线检测方法，其特征在于，

所述不同的部位是耳朵或者头发。

11.根据权利要求10所述的视线检测方法，其特征在于，

在仅能检测到所述一方的眼睛区域的情况下，从所述脸部的图像数据检测包含所述人的耳朵的耳朵区域，

在可以检测到所述耳朵区域的情况下，基于表示所述一方的眼睛的位置的信息和表示被包含在所述耳朵区域的耳朵的位置的信息，检测表示所述脸部的朝向的信息。

12.根据权利要求11所述的视线检测方法，其特征在于，

在不能检测到所述耳朵区域的情况下，从所述脸部的图像数据检测包含所述人的头发的头发区域，

基于表示所述一方的眼睛的位置的信息和表示被包含在所述头发区域的头发的位置的信息，检测表示所述脸部的朝向的信息。

13.根据权利要求11所述的视线检测方法，其特征在于，

基于所述脸部的图像数据和表示所述一方的眼睛的位置的信息，检测表示与所述一方的眼睛的外眼角的位置相比存在于所述一方的眼睛的内眼角侧的所述脸部的轮廓线上的点的轮廓点，

基于从所述一方的眼睛的位置起到所述轮廓点为止的第一距离和从所述一方的眼睛的位置起到所述耳朵的位置为止的第二距离，检测表示所述脸部的朝向的信息。

14.根据权利要求12所述的视线检测方法，其特征在于，

基于所述脸部的图像数据和表示所述一方的眼睛的位置的信息，检测表示与所述一方的眼睛的外眼角的位置相比存在于所述一方的眼睛的内眼角侧的所述脸部的轮廓线上的点的轮廓点，

基于从所述一方的眼睛的位置起到所述轮廓点为止的第一距离和从所述一方的眼睛的位置起到与所述一方的眼睛的内眼角的位置相比位于外眼角侧的所述头发区域内的点为止的第三距离，检测表示所述脸部的朝向的信息。

15.一种视线检测装置，其特征在于包括：

获取部，获取人的脸部的图像数据；

眼睛检测部，从所述脸部的图像数据检测包含所述人的左眼的左眼区域以及包含所述人的右眼的右眼区域；

双眼视线检测部，在检测到所述右眼区域以及所述左眼区域的情况下，从所述脸部的图像数据检测表示所述脸部的朝向的信息，通过第一处理检测表示所述人的视线的信息，所述第一处理利用了表示被包含在所述右眼区域的右眼的位置的信息以及表示被包含在所述左眼区域的左眼的位置的信息和表示所述脸部的朝向的信息；

单眼视线检测部，在仅能检测到所述右眼区域或者所述左眼区域其中一方的眼睛区域的情况下，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示在所述脸部与眼睛不同的部位的位置的信息，检测表示所述脸部的朝向的信息，通过利用了表示所述一方的眼睛的位置的信息和表示所述脸部的朝向的信息的第二处理，检测表示所述人的视线的信息。

16.一种视线检测装置的控制程序，其特征在于，使所述视线检测装置所具备的计算机作为以下部而发挥作用：

获取部，获取人的脸部的图像数据；

眼睛检测部，从所述脸部的图像数据检测包含所述人的左眼的左眼区域以及包含所述人的右眼的右眼区域；

双眼视线检测部，在检测到所述右眼区域以及所述左眼区域的情况下，从所述脸部的图像数据检测表示所述脸部的朝向的信息，通过第一处理检测表示所述人的视线的信息，所述第一处理利用了表示被包含在所述右眼区域的右眼的位置的信息以及表示被包含在所述左眼区域的左眼的位置的信息和表示所述脸部的朝向的信息；

单眼视线检测部，在仅能检测到所述右眼区域或者所述左眼区域其中一方的眼睛区域的情况下，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示在所述脸部与眼睛不同的部位的位置的信息，检测表示所述脸部的朝向的信息，通过利用了表示所述一方的眼睛的位置的信息和表示所述脸部的朝向的信息的第二处理，检测表示所述人的视线的信息。

Images