CN112306229A - 电子装置、控制方法和计算机可读介质 - Google Patents

Abstract

本发明涉及一种电子装置、控制方法和计算机可读介质。根据本发明的电子装置是能够通过拍摄经由眼睛窗框观看显示单元的画面的眼睛的图像来获取眼睛图像的电子装置，并且包括：估计单元，其被配置为基于所述眼睛图像来估计所述画面上的所述眼睛的视点；以及检测单元，其被配置为基于所述眼睛图像上的瞳孔图像或Purkinje图像的位置，来检测在所述眼睛图像上所述眼睛相对于与所述画面的中心相对应的位置发生偏移的偏移查看状态。

Description

电子装置、控制方法和计算机可读介质

技术领域

本发明涉及能够估计(检测)视点的电子装置。

背景技术

近年来见证了照相机的自动化和智能化的进步。日本特开2004-8323提出了如下的技术，该技术用于在无需手动输入被摄体位置的情况下，基于与透过取景器进行观看的拍摄者的视点(视线位置)有关的信息来识别该拍摄者的期望被摄体并控制焦点。日本特开2009-104524提出了如下的技术，该技术通过除了考虑眼球的转动角度之外、还考虑头部的转动角度和位置，来提高视点检测的精度。PCT申请公开2018-506781的日文译文提出了如下的技术：设置多个眼球灯，并且通过根据与来自眼球灯的光是否正到达用户的眼球有关的判断结果切换所使用的的眼球灯来检测焦点。日本特开2014-64094提出了用于切换取景器内的显示装置上的图像显示范围(显示图像的范围)的技术。

利用日本特开2004-8323的技术，通过基于通过拍摄用户(拍摄者)的眼睛的图像所获取到的眼睛图像上的瞳孔图像和Purkinje图像(普尔钦图像)的位置检测眼球的转动角度来估计(检测)用户的视点。然而，在用户将他/她的面部相对于取景器等偏移、使得头部进行大的平移运动时，眼睛图像上的瞳孔图像和Purkinje图像也进行大的平移运动，结果不能以高精度估计视点。

利用日本特开2009-104524的技术，通过拍摄整个面部而不仅仅是眼睛的图像、并且根据面部的特征点检测头部的位置和倾斜使得除了眼球的转动角度之外还考虑头部的位置和倾斜，来提高视点估计精度。然而，需要用于拍摄整个面部(整个头部)的图像的结构，这会增加装置的复杂度和成本。此外，在头部被隐藏且不能拍摄到头部的图像的状态(诸如用户正透过照相机的取景器进行观看的状态或者用户正佩戴VR眼镜(VR护目镜)的状态等)下，无法提高视点估计精度。

利用PCT申请公开2018-506781的日文译文，通过根据状况切换所使用的眼球灯来检测焦点。然而，由眼球灯产生的重像可能出现在眼睛图像上，这使得不能以高精度估计视点。

利用日本特开2014-64094的技术，为了省电而不是估计视点的目的，通常使显示装置上的图像显示范围变窄。因此，在估计视点时，图像显示范围不能切换到适当的范围，结果不能以高精度估计视点。

发明内容

本发明提供使得能够通过简单结构来检测不能以高精度进行视点估计的状态的技术。

本发明在其第一方面中提供一种电子装置，其能够通过拍摄经由眼睛窗框观看显示单元的画面的眼睛的图像来获取眼睛图像，所述电子装置包括：第一估计单元，其被配置为基于所述眼睛图像来估计所述画面上的所述眼睛的视点；以及检测单元，其被配置为基于所述眼睛图像上的瞳孔图像或者普尔钦图像即Purkinje图像的位置，来检测在所述眼睛图像上所述眼睛相对于与所述画面的中心相对应的位置发生偏移的偏移查看状态。

本发明在其第二方面中提供一种电子装置的控制方法，所述电子装置能够通过拍摄经由眼睛窗框观看显示单元的画面的眼睛的图像来获取眼睛图像，所述控制方法包括：基于所述眼睛图像来估计所述画面上的所述眼睛的视点；以及基于所述眼睛图像上的瞳孔图像或者普尔钦图像即Purkinje图像的位置，来检测在所述眼睛图像上所述眼睛相对于与所述画面的中心相对应的位置发生偏移的偏移查看状态。

本发明在其第三方面中提供一种存储有程序的计算机可读介质，其中，所述程序使得计算机执行电子装置的控制方法，所述电子装置能够通过拍摄经由眼睛窗框观看显示单元的画面的眼睛的图像来获取眼睛图像，以及所述控制方法包括：基于所述眼睛图像来估计所述画面上的所述眼睛的视点；以及基于所述眼睛图像上的瞳孔图像或者普尔钦图像即Purkinje图像的位置，来检测在所述眼睛图像上所述眼睛相对于与所述画面的中心相对应的位置发生偏移的偏移查看状态。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1A和1B是根据第一实施例的照相机的外观图；

图2是根据第一实施例的照相机的截面图；

图3是示出根据第一实施例的虚像的形成的图；

图4是根据第一实施例的照相机的框图；

图5A～5C是示出根据第一实施例的取景器视野的图；

图6是示出根据第一实施例的视野检测方法的原理的图；

图7A是示出根据第一实施例的眼睛图像的图，并且图7B是示出根据第一实施例的眼睛图像传感器的输出强度的图；

图8是根据第一实施例的视线检测操作的流程图；

图9A和9B是示出根据第一实施例的查看状态的图；

图10A和10B是示出根据第一实施例的倾斜透过观看状态的图；

图11A～11C是示出根据第一实施例的眼睛图像的图；

图12是根据第一实施例的照相机操作的流程图；

图13A～13C是示出根据第二实施例的指标的图；

图14A～14C是示出根据第二实施例的图像显示的图；

图15A和15B是示出根据第二实施例的查看状态的图；

图16是根据第二实施例的照相机操作的流程图；

图17A～17C是示出根据第三实施例的图像显示的图；

图18A～18C是示出根据第三实施例的查看状态的图；

图19是根据第四实施例的照相机操作的流程图；

图20是根据第五实施例的照相机的背面立体图；

图21是根据第五实施例的照相机的截面图；

图22是示出根据第五实施例的查看状态的图；

图23是根据第五实施例的照相机的框图；

图24是示出根据第五实施例的眼睛图像的图；

图25A～25C是示出根据第五实施例的查看状态的图；

图26是示出根据第五实施例的重像产生原理的图；

图27A～27C是示出根据第五实施例的眼睛图像的图；

图28A和28B是根据第五实施例的照相机的背面立体图；

图29是根据第五实施例的照相机操作的流程图；以及

图30A和30B是示出根据第五实施例的眼睛图像的图。

具体实施方式

如上所述，在现有技术中，在诸如眼睛图像上的瞳孔图像和Purkinje图像进行大的平移运动的情况等的情况下，不能以高精度估计视点(视线位置)。特别地，在佩戴眼镜的用户等透过照相机的取景器进行观看的情况下，通常不能使眼球足够靠近取景器，结果通常不能以高精度估计视点。更具体地，在眼球没有足够靠近取景器的状态下，视线可能被取景器的目镜窗框等遮挡，使得取景器内的可见范围受到限制，结果在从正前方透过取景器进行观看时，取景器内的画面的边缘可能不可见。在这种情况下，用户倾向于将他/她的头部从取景器的正前方移动大的平移运动以看见边缘，其结果是用户从某角度透过取景器进行观看。在用户从某角度透过取景器观看时头部所进行的平移运动的距离与通过(如制造商所推荐的)正常使用方法使用照相机的情况相比大的多，结果在视点估计结果中发生不可忽略的误差。

因而，在本发明中，基于所检测到的瞳孔图像和Purkinje图像来检测用户从某角度透过取景器进行观看的倾斜透过观看状态，并且抑制了由倾斜透过观看状态引起的不利影响(对视点检测的不利影响)。

第一实施例

以下将参考附图来说明本发明的第一实施例。

结构的说明

图1A和1B示出根据第一实施例的照相机1(数字静态照相机；可更换镜头照相机)的外观。图1A是正面立体图，并且图1B是背面立体图。如图1A所示，照相机1包括摄像镜头单元1A和照相机壳体1B。在照相机壳体1B上布置有作为用于接收来自用户(拍摄者)的摄像操作的操作构件的释放按钮5。如图1B所示，在照相机壳体1B的背面布置有用户观看照相机壳体1B内所设置的以下要说明的显示装置10(显示面板)所经由的目镜窗框121和目镜透镜12(目镜光学系统)。目镜窗框121围绕目镜透镜12，并且从目镜透镜12向着照相机壳体1B的外侧(背面侧)突出。注意，目镜光学系统可以包括多个透镜。在照相机壳体1B的背面还布置有用于接收来自用户的各种操作的操作构件41～43。例如，操作构件41是用于接收触摸操作的触摸面板，操作构件42是可以沿各个方向按下的操作杆，并且操作构件43是可以沿四个方向中的各方向按下的四向键。操作构件41(触摸面板)包括诸如液晶显示器等的显示面板，并且具有用于在显示面板上显示图像的功能。

图2是通过在由图1A所示的Y轴和Z轴形成的YZ平面上截断照相机1所获取到的截面图，并且示出照相机1的粗略内部结构。

摄像镜头单元1A包括两个透镜101、102、光圈111、光圈驱动单元112、透镜驱动马达113、透镜驱动构件114、光电耦合器115、脉冲板116、安装触点117和焦点调节电路118等。透镜驱动构件114由驱动齿轮等构成，并且光电耦合器115检测与透镜驱动构件114连动地移动的脉冲板116的转动，并将所检测到的转动传递至焦点调节电路118。焦点调节电路118通过基于来自光电耦合器115的信息和来自照相机壳体1B的信息(表示透镜驱动量的信息)驱动透镜驱动马达113来移动透镜101，并且这样做修改了焦点位置。安装触点117是摄像镜头单元1A和照相机壳体1B之间的接口。注意，为了简单起见，示出两个透镜101、102，但实际上，摄像镜头单元1A包括多于两个的透镜。

在照相机壳体1B中设置有图像传感器2、CPU 3、存储器单元4、显示装置10和显示装置驱动电路11等。图像传感器2布置在摄像镜头单元1A的预定成像面上。CPU 3是用于控制整个照相机1的微计算机的中央处理单元。存储器单元4存储图像传感器2所拍摄到的图像等。显示装置10由液晶等构成，并将所拍摄到的图像(被摄体图像)等显示在显示装置10的画面(显示面)上。显示装置驱动电路11驱动显示装置10。

用户可以经由目镜窗框121和目镜透镜12查看显示装置10的画面。更具体地，如图3所示，利用目镜透镜12将通过放大显示装置10(画面)所获取到的虚像300形成在与目镜透镜12相距约50cm～2m的位置。在图3中，虚像300形成在与目镜透镜12相距1m的位置。用户通过透过目镜窗框121进行观看来查看虚像300。

在照相机壳体1B中还设置有光源13a、13b、分光器15、受光透镜16、以及眼睛图像传感器17等。光源13a、13b是为了根据通过光的角膜反射所产生的反射图像(角膜反射图像)与瞳孔之间的关系检测视线方向而传统上在单镜头反光照相机等中使用的光源，并且用于照射用户的眼球14。更具体地，光源13a、13b是发射用户感测不到的红外光的红外发光二极管等，并且布置在目镜透镜12的周围。被照射的眼球14的光学图像(眼球图像；由从光源13a、13b发射并被眼球14反射的反射光所产生的图像)穿过目镜透镜12并被分光器15反射。然后，利用受光透镜16在由诸如CCD等的光电元件的二维阵列构成的眼睛图像传感器17上形成眼球图像。受光透镜16将眼球14的瞳孔与眼睛图像传感器17定位成处于共轭成像关系。使用以下要说明的预定算法，根据眼睛图像传感器17上所形成的眼球图像上的角膜反射图像的位置来检测眼球14的视线方向(显示装置10的画面上的视点)。

图4是示出照相机1内的电气结构的框图。视线检测电路201、测光电路202、自动焦点检测电路203、信号输入电路204、显示装置驱动电路11和光源驱动电路205等连接至CPU3。此外，CPU 3经由安装触点117向摄像镜头单元1A中所布置的焦点调节电路118以及摄像镜头单元1A内的光圈驱动单元112中所包括的光圈控制电路206发送信号。附接至CPU 3的存储器单元4具有用于存储来自图像传感器2和眼睛图像传感器17的摄像信号的功能、以及以下要说明的用于存储用于校正个体视线差异的视线校正参数的功能。

视线检测电路201对在眼睛图像传感器17(CCD-EYE)上形成眼球图像的状态下的眼睛图像传感器17的输出(眼睛的眼睛图像)进行A/D转换，并将该结果发送至CPU 3。CPU 3根据以下要说明的预定算法来从眼睛图像中提取检测视线所需的特征点，并且根据特征点的位置来计算用户的视线(显示装置10的画面上的视点)。

测光电路202对从兼用作测光传感器的图像传感器2获取到的信号、或者更具体为与视场的亮度相对应的亮度信号进行放大、对数压缩和A/D转换等，并将该结果作为视场亮度信息发送至CPU 3。

自动焦点检测电路203对来自图像传感器2的CCD中所包括的且用于检测相位差的多个检测元件(多个像素)的信号电压进行A/D转换，并将该结果发送至CPU 3。CPU 3根据来自多个检测元件的信号来计算到与各焦点检测点相对应的被摄体的距离。这是作为像面相位差AF已知的众所周知的技术。在第一实施例中，作为示例，假定在与图5A所示的取景器视野(显示装置10的画面)中的180个场所相对应的像面上的180个场所中分别设置焦点检测点。

开关SW1和开关SW2连接至信号输入电路204，其中该开关SW1通过释放按钮5的第一行程而接通(ON)，以开始照相机1中的测光、测距和视线检测操作等，该开关SW2通过释放按钮5的第二行程而接通，以开始摄像操作。来自开关SW1、SW2的接通信号被输入至信号输入电路204，并被发送至CPU3。

图5A是示出在显示装置10工作的状态(显示图像的状态)下的取景器视野的图。如图5A所示，取景器视野包括焦点检测区域500、180个测距点指标501、以及视野掩模502等。180个测距点指标501各自被显示成叠加在显示装置10上所显示的直通图像(实景取景图像)上，以显示在与像面上的焦点检测点相对应的位置中。此外，在180个测距点指标501中，通过框等来强调显示与当前视点A(估计位置)相对应的测距点指标501。

视线检测操作的说明

将使用图6、图7A、7B和图8来说明视线检测方法。图6是示出视线检测方法的原理的图、以及视线检测所使用的光学系统的示意图。如图6所示，光源13a、13b相对于受光透镜16的光轴大致对称配置，以照射用户的眼球14。从光源13a、13b发射并被眼球14反射的光的一部分由受光透镜16会聚在眼睛图像传感器17上。图7A是眼睛图像传感器17所拍摄到的眼睛图像(投射到眼睛图像传感器17上的眼睛图像)的示意图，并且图7B是示出眼睛图像传感器17中所设置的CCD的输出强度的图。图8是视线检测操作的示意流程图。

在视线检测操作开始时，在图8的步骤S801中，光源13a、13b向着用户的眼球14发射红外光。被红外光照射的用户的眼球的图像经由受光透镜16形成在眼睛图像传感器17上，并由眼睛图像传感器17进行光电转换。结果，获取到眼睛图像的可处理的电信号。

在步骤S802中，视线检测电路201将从眼睛图像传感器17获取到的眼睛图像(眼睛图像信号；眼睛图像的电信号)发送至CPU 3。

在步骤S803中，CPU 3根据在步骤S802中获取到的眼睛图像来确定光源13a、13b上的与角膜反射图像Pd、Pe和瞳孔中心c相对应的点的坐标。

光源13a、13b所发射的红外光照射用户的眼球14的角膜142。此时，由被角膜142的表面反射的红外光的一部分形成的角膜反射图像Pd、Pe由受光透镜16会聚并形成在眼睛图像传感器17上，以形成眼睛图像上的角膜反射图像Pd’、Pe’。同样，来自瞳孔141的边缘a、b的光束在眼睛图像传感器17上形成为图像，以形成眼睛图像上的瞳孔边缘图像a’、b’。

图7B示出与图7A的眼睛图像上的区域α’有关的亮度信息(亮度分布)。图7B示出X轴方向上的亮度分布，其中将眼睛图像的水平方向设置为X轴方向并将垂直方向设置为Y轴方向。在第一实施例中，将角膜反射图像Pd’、Pe’在X轴方向(水平方向)上的坐标设置为Xd、Xe，并且将瞳孔边缘图像a’、b’在X轴方向上的坐标设置为Xa、Xb。如图7B所示，在角膜反射图像Pd’、Pe’的坐标Xd、Xe处，获取到极高的亮度水平。在与瞳孔141的区域(在来自瞳孔141的光束在眼睛图像传感器17上形成为图像时获取到的瞳孔图像的区域)相对应的、从坐标Xa延伸到坐标Xb的区域中，除了在坐标Xd、Xe处以外，获取到极低的亮度水平。在瞳孔141的外侧的虹膜143的区域(在来自虹膜143的光束形成为图像时获取到的、在瞳孔图像的外侧的虹膜图像的区域)中，获取到上述两个类型的亮度之间的中间亮度。更具体地，在X坐标(X轴方向上的坐标)小于坐标Xa的区域和X坐标大于坐标Xb的区域中，获取到上述两个类型的亮度之间的中间亮度。

根据诸如图7B所示的亮度分布等的亮度分布，可以获取到角膜反射图像Pd’、Pe’的X坐标Xd、Xe和瞳孔边缘图像a’、b’的X坐标Xa、Xb。更具体地，可以获取到亮度极高的坐标作为角膜反射图像Pd’、Pe’的坐标，并且可以获取到亮度极低的坐标作为瞳孔边缘图像a’、b’的坐标。此外，在眼球14的光轴相对于受光透镜16的光轴的转动角度θx小的情况下，当来自瞳孔中心c的光束在眼睛图像传感器17上形成为图像时获取到的瞳孔中心图像c’(瞳孔图像的中心)的坐标Xc可被表示为Xc≈(Xa+Xb)/2。换句话说，可以根据瞳孔边缘图像a’、b’的X坐标Xa、Xb计算出瞳孔中心图像c’的坐标Xc。由此可以估计出角膜反射图像Pd’、Pe’的坐标和瞳孔中心图像c’的坐标。

在步骤S804中，CPU 3计算眼球图像的成像倍率β。成像倍率β是根据眼球14相对于受光透镜16的位置所确定的倍率，并且可以使用角膜反射图像Pd’、Pe’之间的间隔(Xd-Xe)的函数来确定。

在步骤S805中，CPU 3计算眼球14的光轴相对于受光透镜16的光轴的转动角度。角膜反射图像Pd和角膜反射图像Pe之间的中点的X坐标与角膜142的曲率中心O的X坐标大致一致。因此，当将从角膜142的曲率中心O到瞳孔141的中心c的标准距离设置为Oc时，可以使用以下所示的公式1来计算眼球14在Z-X平面(与Y轴垂直的平面)中的转动角度θx。可以通过与用于计算转动角度θx的方法相同的方法来计算眼球14在Z-Y平面(与X轴垂直的平面)中的转动角度θy。

β×Oc×SINθx≈{(Xd+Xe)/2}-Xc (公式1)

在步骤S806中，CPU 3使用在步骤S805中计算出的转动角度θx、θy来确定(估计)显示装置10的画面上的用户的视点(关注视线的位置；用户正观看的位置)。假定视点的坐标(Hx,Hy)是与瞳孔中心c相对应的坐标，则可以使用以下所示的公式2和3来计算视点的坐标(Hx,Hy)。

Hx＝m×(Ax×θx+Bx) (公式2)

Hy＝m×(Ay×θy+By) (公式3)

公式2和3中的参数m是由照相机1的取景器光学系统(受光透镜16等)的结构确定的常数、以及用于将转动角度θx、θy转换成显示装置10的画面上与瞳孔中心c相对应的坐标的转换系数。参数m是预先确定的，并存储在存储器单元4中。参数Ax、Bx、Ay、By是用于校正个体视线差异的视线校正参数，并且是通过进行以下要说明的校准操作获取到的。参数Ax、Bx、Ay、By是在视线检测操作开始之前存储在存储器单元4中的。

在步骤S807中，CPU 3将视点坐标(Hx,Hy)存储在存储器单元4中，并终止视线检测操作。

校准操作的说明

如上所述，可以在视线检测操作期间通过从眼睛图像获取眼球14的转动角度θx、θy并将瞳孔中心c的位置坐标转换成显示装置10的画面上的位置，来估计视点。

然而，由于诸如人类眼球的形状的个体差异等的因素，因此可能无法以高精度检测到视点。更具体地，如图5B所示，除非将视线校正参数Ax、Ay、Bx、By调整为适合于用户的值，否则实际视点B可能偏离估计视点C。在图5B中，用户正关注于人物，但照相机1错误地估计为用户正关注于背景，结果，适当的焦点检测和调整变得不可能。

因此，在照相机1进行摄像之前，需要进行校准操作，以获取适合于用户的视点校正参数，并将所获取到的参数存储在照相机1中。

传统上，在摄像之前通过在显示装置10的画面上强调显示如图5C所示的位置不同的多个指标并使用户观看这些指标来进行校准操作。然后，在众所周知的技术中，在用户关注于各指标的状态下进行视线检测操作，并且根据所计算出的多个视点(估计位置)和各个指标的坐标来确定适合于用户的视点校正参数。注意，对显示指标的方法没有特别限制，只要建议了用户要观看的位置即可，并且可以显示用作指标的图形，或者可以通过更改图像(所拍摄到的图像等)的亮度或颜色来显示指标。

用户在进行头部的大的平移运动之后透过取景器进行观看的查看状态的说明

在用户透过照相机的取景器进行观看等的情况下，用户可能根据诸如佩戴眼镜等的状况而在没有使眼球足够靠近取景器的情况下使用照相机。在眼球没有足够靠近取景器的状态下，如以下所述，视线可能被目镜窗框等遮挡，使得取景器内的可见范围受到限制，结果，在从正前方透过取景器进行观看时，取景器内的画面的边缘可能不可见。在这种情况下，用户倾向于将他/她的头部从取景器的正前方移动大的平移运动，以看到边缘，其结果是用户从某角度透过取景器进行观看。在用户从某角度透过取景器进行观看的情况下的头部所进行的平移运动的距离与通过(如制造商所推荐的)正常使用方法使用照相机的情况相比大得多，结果，在视点估计结果中发生不可忽略的误差。

现在将使用图9A、图9B、图10A和图10B来说明该透过观看状态。图9A、图9B、图10A和图10B是从Y轴正方向示出用户经由目镜窗框121和目镜透镜12查看显示装置10(画面)上的虚像300的状态的示意平面图。为了简单起见，从图9A、图9B、图10A和图10B中省略了目镜透镜12。如使用图3所述，同样在图9A、图9B、图10A和图10B所示的状态中，用户正查看通过使用未示出的目镜透镜12将显示装置10从其实际大小进行放大所获取到的虚像300。通常，虚像300被调整成形成在与目镜透镜12相距约数十cm至2m的位置。在图9A、图9B、图10A和图10B中，虚像300形成在与目镜透镜12(未示出)相距1m的位置。

在图9A中，在眼球14的中心O’位于与虚像300(显示装置10的画面)的中心相对的位置、即目镜透镜12的光轴穿过的位置的状态下，用户正关注于虚像300的大致中央。眼球14的视野范围(透过目镜窗框121的可见范围)由目镜窗框121的宽度等确定，并且在图9A中，将由穿过眼球14的瞳孔141和目镜窗框121的相应边缘的直线OA和直线OA’所限定的范围α设置为视野范围。在图9A中，整个虚像300包括在视野范围α中，因此用户可以查看显示装置10的整个画面(从一侧的边缘到相对侧的边缘)。

然而，在图9B中，由于诸如用户佩戴的眼镜插入在眼球14和目镜窗框121之间等的状况，因而眼球14和目镜窗框121之间的距离与在图9A中相比大了距离ΔL。因此，在图9B中，由穿过瞳孔141和目镜窗框121的相应边缘的直线OB和直线OB’所限定的视野范围β1比图9A的视野范围α窄。因此，虚像300的仅一部分包括在视野范围β1中，结果，用户不能查看未包括在视野范围β1中的虚像300的范围γ1、γ2(虚像300的边缘)。

注意，在第一实施例中，列举了目镜窗框121作为限制视野范围的因素，但该因素不限于此，并且例如，限制光线的掩模可能被附加至目镜透镜12，由此限制视野范围。视野范围可能受任何结构(因素)限制。

现在将使用图10A和图10B来说明用户在诸如图9B所示的状况等的状况中频繁采取的行动。

当用户希望在图9B所示的状态下看到不可见范围γ1时，如图10A所示，用户倾向于将包括眼球14的他/她的整个头部沿X轴正方向(纸面上的向下方向)移动大的平移运动。作为该平移运动的结果，眼球14的中心O’在与目镜透镜12的光轴垂直的方向上偏移，使得视野范围从范围β1变化到由穿过偏移后的眼球14的瞳孔141和目镜窗框121的相应边缘的直线OC和直线OC’所限定的范围β2。更具体地，视野范围沿X轴负方向(纸面上的向上方向)移动，使得包括平移运动之前不可见的范围γ1的范围β2变为视野范围。结果，范围γ1对于用户而言变为可见。然而，注意，纸面的向下方向的不可见范围从范围γ2扩大到范围γ2’。

同样，当用户希望在图9B所示的状态下看到不可见范围γ2时，如图10B所示，用户倾向于将包括眼球14的他/她的整个头部沿X轴负方向(纸面上的向上方向)移动大的平移运动。作为该平移运动的结果，眼球14的中心O’沿与目镜透镜12的光轴垂直的方向偏移，使得视野范围从范围β1变化到由穿过偏移后的眼球14的瞳孔141和目镜窗框121的相应边缘的直线OD和直线OD’所限定的β3。更具体地，视野范围沿X轴正方向(纸面上的向下方向)移动，使得包括平移运动之前不可见的范围γ2的范围β3变为视野范围。结果，范围γ2对于用户而言变为可见。然而，注意，纸面的向上方向的不可见范围从范围γ1扩大到范围γ1’。

图11A～11C是使用图10A和10B所述的眼球14的平移运动之前和之后的眼睛图像(眼球图像)的示意图。

图11A示出与图9B所示的状态相对应的眼睛图像，在该眼睛图像中，在将与虚像300(显示装置10的画面)的中心相对的位置(即，目镜透镜12的光轴穿过的位置)设置为眼球14的中心O’的状态下，用户正关注于虚像300的大致中央。在图11A中，瞳孔图像的中心以及两个Purkinje图像(P图像；角膜反射图像)的相应中心与眼睛图像的中心大致一致。在第一实施例中，眼睛图像的中心对应于显示装置10的画面的中心，或者更具体地对应于目镜透镜12的光轴，但这无需是该情况。

图11B示出与图10A所示的状态相对应的眼睛图像，在该眼睛图像中，用户在将眼球14沿X轴正方向移动大的平移运动之后，正透过目镜窗框121进行观看。

在图10A中，为了查看X轴负方向的边缘，眼球14的中心O’已从图9B的位置沿X轴正方向(与用户希望看到的方向相反的方向)平移地移动了移动量ΔB。此外，眼球14已沿X轴负方向(与用户希望看到的方向相同的方向)转动，使得瞳孔中心c的位置从眼球中心O’沿X轴负方向移动了移动量ΔW。在将眼球14的转动角度设置为角度θt并将眼球14的转动半径设置为半径R时，瞳孔141的移动量ΔW可被表示为ΔW＝R×sinθt。

在如使用图10A所示眼球14移动时，与在正常查看状态(制造商所推荐的查看状态；例如，用户从正前方透过取景器进行观看的查看状态)下相比，瞳孔图像和Purkinje图像在眼睛图像上平移移动了大得多的移动量。更具体地，当眼球14沿X轴负方向转动使得瞳孔141移动了移动量ΔW时，瞳孔图像沿X轴负方向移动了移动量ΔW×β(其中“β”是眼球图像的成像倍率(目镜透镜12的透镜倍率))。此外，当眼球14沿X轴正方向平移移动了移动量ΔB时，瞳孔图像沿X轴正方向平移移动了移动量ΔB×β。这里，与眼球14的平移运动相对应的移动量ΔB×β大大超过与眼球14的转动相对应的移动量ΔW×β。结果，如图11B所示，瞳孔图像位于在X轴正方向(纸面上的向右方向)、即与X轴负方向(与用户希望看到的方向相同的方向；纸面上的向左方向)相反的方向上与眼睛图像的中心(与显示装置10的画面的中心相对应的位置)相距远的场所。Purkinje图像同样进行大的平移运动。

图11C示出与图10B所示的状态相对应的眼睛图像，在该眼睛图像中，用户在将眼球14沿X轴负方向移动大的平移运动之后，正透过目镜窗框121进行观看。

在图10B中，为了查看X轴正方向的边缘，眼球14的中心O’已从图9B的位置沿X轴负方向(与用户希望看到的方向相反的方向)平移移动了移动量ΔB。此外，眼球14已沿X轴正方向(与用户希望看到的方向相同的方向)转动，使得瞳孔中心c的位置从眼球中心O’沿X轴正方向移动了移动量ΔW。如上所述，当将眼球14的转动角度设置为θt并将眼球14的转动半径设置为半径R时，瞳孔141的移动量ΔW可被表示为ΔW＝R×sinθt。

与如使用图10B所述眼球14移动时一样，与在正常查看状态下相比，瞳孔图像和Purkinje图像在眼睛图像上平移移动了大得多的移动量。更具体地，当眼球14沿X轴正方向转动使得瞳孔141移动了移动量ΔW时，瞳孔图像沿X轴正方向移动了移动量ΔW×β。此外，当眼球14沿X轴负方向平移移动了移动量ΔB时，瞳孔图像沿X轴负方向平移移动了移动量ΔB×β。这里，同样，与眼球14的平移运动相对应的移动量ΔB×β大大超过与眼球14的转动相对应的移动量ΔW×β。结果，如图11C所示，瞳孔图像位于在X轴负方向(纸面上的向左方向)、即与X轴正方向(与用户希望看到的方向相同的方向；纸面的向右方向)相反的方向上与眼睛图像的中心(与显示装置10的画面的中心相对应的位置)相距远的场所。Purkinje图像同样进行大的平移运动。

因此，在用户从某角度透过取景器进行观看的查看状态下，眼睛图像上的瞳孔图像和Purkinje图像位于正常查看状态下未设想的场所。结果，在图8的视线检测操作中获取到的视点估计结果中发生不可忽略的误差。

因此，在第一实施例中，检测到倾斜透过观看状态(用户从某角度透过取景器进行观看的查看状态；不能以高精度估计视点的查看状态；在眼睛图像上眼球14从与显示装置10的画面的中心相对应的位置偏移的偏移查看状态)。在检测到倾斜透过观看状态的情况下，进行预定处理以提示用户从正前方透过取景器进行观看而不是从某角度透过取景器进行观看。

倾斜透过观看检测方法的说明

显示装置10的画面(虚像)的边缘没有容纳于用户的视野使得用户尝试观看边缘的倾斜透过观看状态的第一特征是：从眼睛图像的中心到眼睛图像上的瞳孔图像的距离与在正常查看状态下相比大得多。因此，在第一实施例中，判断是否满足第一条件(即眼睛图像的中心(与显示装置10的画面的中心相对应的位置)和眼睛图像上的瞳孔图像的位置之间的差大于预定阈值)。然后，满足第一条件的状态被检测为倾斜透过观看状态。

该预定阈值例如是根据在正常查看状态下在眼睛图像上可以发生的瞳孔图像的移动量来确定的。当在正常查看状态下观看显示装置10的画面的边缘时，仅眼球转动，而头部保持大致不动。因此，可以根据眼球14的最大转动角度θmax、眼球14的转动半径R(图6中从眼球中心O’到瞳孔中心c的长度)和眼球图像的成像倍率β来计算眼睛图像上的瞳孔图像的最大移动量β×R×sinθmax。例如，该最大移动量β×R×sinθmax可被用作上述预定阈值。

注意，第一条件可以关注于眼睛图像上的Purkinje图像而不是眼睛图像上的瞳孔图像。更具体地，可以判断是否满足第一条件(即眼睛图像的中心与眼睛图像上的Purkinje图像的位置之间的差大于预定阈值)，并且满足第一条件的状态可被检测为倾斜透过观看状态。第一条件可以关注于瞳孔图像或Purkinje图像或者这两者。满足与瞳孔图像有关的第一条件或者满足与Purkinje图像有关的第一条件的状态可被检测为倾斜透过观看状态，或者满足这两者的状态可被检测为倾斜透过观看状态。

照相机操作的说明

现在将根据图12所示的流程图来说明根据第一实施例的照相机操作。

在照相机1的电源接通时，在步骤S1201中，图像传感器2开始获取直通图像(查看图像)并将直通图像的图像信号发送至CPU 3，于是CPU 3将所获取到的直通图像显示在显示装置10上。用户通过经由目镜窗框121和目镜透镜12观看显示装置10上所显示的直通图像来确认被摄体。照相机1的电源响应于对照相机1的用户操作而接通和断开(OFF)。

在步骤S1202中，CPU 3判断照相机1的电源是否为断开。CPU 3在电源为断开时，终止图12的处理流程，并且在电源未断开时，使处理进入步骤S1203。

在步骤S1203中，CPU 3开始获取在步骤S1201中开始查看直通图像的用户的眼睛图像，并进行图8的视线检测操作。在视线检测操作中，计算眼睛图像上的瞳孔图像的坐标、眼睛图像上的Purkinje图像的坐标和直通图像上的视点的坐标。

在步骤S1204中，CPU 3判断是否满足第一条件，或者更具体地，判断在步骤S1203的视线检测操作中检测到的瞳孔图像的位置是否在预定范围内。该预定范围是眼睛图像的部分范围，其从眼睛图像的中心延伸到与眼睛图像的中心分离了上述预定阈值(预定距离)的位置。CPU 3在瞳孔图像的位置在预定范围外的情况下，使处理进入步骤S1205，并且在瞳孔图像的位置在预定范围内的情况下，使处理进入步骤S1207。

在步骤S1205中，CPU 3判断为当前状态是倾斜透过观看状态。在步骤S1206中，由于在步骤S1203的视线检测操作期间获取到的视点估计结果包括不可忽略的误差，因此CPU3进行用以消除该误差(改善查看状态)的处理(查看状态改善处理)。然后，处理返回到步骤S1203，在该步骤S1203中再次进行视线检测操作。

在第一实施例中，CPU 3在查看状态改善处理中向用户发出诸如与查看状态有关的警告等的预定通知。例如，由于可以估计为从目镜窗框121的正前方的位置向着用户的头部的位置行进的方向与从眼睛图像的中心向着瞳孔图像行进的方向相同，因此CPU 3向用户提供用于将他/她的头部沿与这些方向相反的方向移动的方向信息。

注意，查看状态改善处理不限于预定通知，并且只要可以提示用户改善查看状态(从正前方透过目镜窗框121进行观看)，则例如可以进行任何处理作为查看状态改善处理。更具体地，查看状态改善处理可以包括缩小直通图像(查看图像)。通过缩小直通图像、使得直通图像的边缘更接近显示装置10的画面中心，用户可以在无需从某角度透过目镜窗框121进行观看的情况下查看整个直通图像，结果，可以消除倾斜透过观看状态。

步骤S1207的处理是在有利的查看状态(即，不是倾斜透过观看状态)下进行S1203的视线检测操作之后进行的，因此在步骤S1207的处理的时间点，获取到准确的视点估计结果。因此，在步骤S1207中，CPU 3将步骤S1203中获取到的准确估计结果(表示视点的框；视点框)以叠加在直通图像上的方式显示。结果，如图5A所示进行显示，由此可以向用户通知当前视点A(估计位置)。代替视点框，可以显示表示视点的点等。

在步骤S1208中，CPU 3等待预定时间。

在步骤S1209中，CPU 3判断用户是否按下(半按下)释放按钮5以接通开关SW1。例如，假定当用户同意聚集于以叠加在直通图像上的方式显示的视点框(表示估计视点的框)的位置时，用户通过半按下释放按钮5来接通开关SW1。CPU 3在开关SW1为接通时，使处理进入步骤S1210，并且在开关SW1不为接通时，使处理返回到步骤S1203，以重新估计视点。

在步骤S1210中，CPU 3进行用以测量到视线框的当前位置的距离的操作，并且通过强调显示视线框(例如，通过改变其颜色)来向用户通知进行了测距操作。

在步骤S1211中，CPU 3根据在步骤S1210中获取到的测距结果来驱动摄像镜头单元1A中的透镜101。结果，在以叠加在直通图像上的方式显示的视点框的位置上实现了聚焦。

在步骤S1212中，CPU 3判断用户是否进一步按下(全按下)释放按钮5以接通开关SW2。例如，假定当用户同意在当前聚焦位置进行摄像时，用户通过全按下释放按钮5来接通开关SW2。CPU 3在开关SW2为接通时使处理进入步骤S1213，并且在开关SW2不为接通时使处理返回到步骤S1209。

在步骤S1213中，CPU 3进行摄像操作，并将图像传感器2所获取到的图像信号存储在存储器单元4中。

在步骤S1214中，CPU 3将步骤S1213中存储在存储器单元4中的图像(所拍摄到的图像)显示在显示装置10上并持续预定时间，然后使处理返回到步骤S1202。

总结

根据第一实施例，如上所述，通过判断是否满足第一条件(即眼睛图像的中心与眼睛图像上的瞳孔图像(或Purkinje图像)的位置之间的差大于预定阈值)的简单结构，可以检测到倾斜透过观看状态。此外，当检测到倾斜透过观看状态时，可以提示用户改善查看状态，由此可以获取到准确(高度精确)的视点估计结果。

第二实施例

现在将说明本发明的第二实施例。注意，以下将省略对与第一实施例中相同的点(结构和处理等)的说明，并且将说明与第一实施例有所不同的点。在第一实施例所述的示例中，在显示直通图像的同时检测到倾斜透过观看状态。在第二实施例中，将说明在校准操作期间检测到倾斜透过观看状态的示例。此外，在第二实施例中，将说明基于倾斜透过观看状态检测结果来确定取景器内的图像显示范围(显示图像的范围)的示例。更具体地，将说明如下的示例：基于倾斜透过观看状态检测结果来确定显示装置10的图像显示范围，以提示用户代替从某角度透过取景器进行观看而是从正前方透过取景器进行观看。

如上所述，校准操作是通过在摄像之前在显示装置10的画面上强调显示位置不同的多个指标并使用户观看这些指标来进行的。例如，如图13A所示，指标显示在五个场所，即显示装置10的画面的中心以及该中心的上侧、下侧、左侧和右侧。在第二实施例中，一次显示一个指标，但作为替代，可以显示全部五个指标，并且可以顺次切换这五个指标中的强调显示的指标。然后，用户观看所显示的指标(强调显示的指标)。换句话说，在校准操作中，用户要观看的位置是由指标指定的。

在校准操作期间，在眼球14不够靠近目镜窗框121、使得显示装置10的画面的一部分没有容纳于用户的视野的状态下，用户可能无法查看位于画面的边缘的指标。例如，在图13A所示的视野范围β1(与从正前方透过目镜窗框121进行观看相对应的视野范围)中，用户可以看见画面的中心、上侧和下侧这三个场所的指标，但不能看见左侧和右侧这两个场所的指标。

在这种情况下，用户采用倾斜透过观看状态，以看见视野范围β1外的指标。在用于观看图13A所示的左侧指标(第一指标)的倾斜透过观看状态下，获取到诸如图11C所示的眼睛图像等的眼睛图像，并且在用于观看图13A所示的右侧指标(第二指标)的倾斜透过观看状态下，获取到诸如图11B所示的眼睛图像等的眼睛图像。

现在将说明图11C的眼睛图像。为了看见显示装置10的画面的左边缘(X轴正方向的边缘)的第一指标，用户如图10B所示将他/她的头部沿X轴负方向(与用户希望看到的方向相反的方向；向右方向)平移移动，然后透过目镜窗框121进行观看。因此，在图11C的眼睛图像上，瞳孔图像和Purkinje图像位于第一指标侧(X轴正方向侧)的相反侧(X轴负方向侧)上。

现在将说明图11B的眼睛图像。为了看见显示装置10的画面的右边缘(X轴负方向的边缘)的第二指标，用户如图10A所示将他/她的头部沿X轴正方向(与用户希望看到的方向相反的方向；向左方向)平移移动，然后透过目镜窗框121进行观看。因此，在图11B的眼睛图像上，瞳孔图像和Purkinje图像位于第二指标侧(X轴负方向侧)的相反侧(X轴正方向侧)上。

因此，在倾斜透过观看状态下的眼睛图像上，瞳孔图像和Purkinje图像位于用户希望看到的指标侧的相反侧。

倾斜透过观看检测方法的说明

如上所述，倾斜透过观看状态的第二特征是：在眼睛图像上，瞳孔图像位于用户希望看到的指标侧的相反侧。因此，在第二实施例中，使用第二条件(即，从眼睛图像的中心向着眼睛图像上的瞳孔图像行进的方向与从眼睛图像的中心向着眼睛图像上的指标对应位置(与要看到的指标相对应的位置)的方向相反)。因此，也可以通过判断是否满足第二条件的简单结构来检测倾斜透过观看状态。更具体地，满足第二条件的状态可被检测为倾斜透过观看状态。在第二实施例中，判断是否满足第一实施例中所述的第一条件和上述的第二条件这两者，并且满足第一条件和第二条件这两者的状态被检测为倾斜透过观看状态。通过使用第一条件和第二条件这两者，与在第一实施例中相比，可以以甚至更高的精度检测到倾斜透过观看状态。也可以使用第一条件和第二条件中的仅一个。

注意，在校准操作中，如上所述，用户要观看的位置是由指标指定的。因此，可以说第二条件是适合于检测校准操作期间的倾斜透过观看状态的条件。然而，只要在显示装置10的画面上强调显示用户要观看的位置，则第二条件也可有利地用于检测除校准操作期间以外的时间的倾斜透过观看状态。

注意，与第一条件同样，第二条件可以关注于眼睛图像上的Purkinje图像而不是眼睛图像上的瞳孔图像。更具体地，可以判断是否满足第二条件(即，从眼睛图像的中心向着眼睛图像上的Purkinje图像行进的方向与从眼睛图像的中心向着眼睛图像上的指标对应位置行进的方向相反)，并且满足与Purkinje图像有关的第二条件的状态可被检测为倾斜透过观看状态。第二条件可以关注于瞳孔图像或Purkinje图像或者这两者。满足与瞳孔图像有关的所有条件(第一条件和第二条件)或者与Purkinje图像有关的所有条件(第一条件和第二条件)的状态可被检测为倾斜透过观看状态。可选地，满足与瞳孔图像有关的所有条件以及与Purkinje图像有关的所有条件的状态可被检测为倾斜透过观看状态。此外，满足与瞳孔图像有关的条件的一部分(第一条件或第二条件)以及满足与Purkinje图像有关的条件的其余部分(第一条件和第二条件中的另一条件)的状态可被检测为倾斜透过观看状态。

注意，在第二实施例所述的示例中，用户在无法看到显示装置10的画面的左侧和右侧的两个指标时，采用倾斜透过观看状态，但用户在无法看到显示装置10的画面的上侧和下侧等的指标时，也可以采用倾斜透过观看状态。这些倾斜透过观看状态同样是使用第一条件和第二条件来检测的。

查看状态改善方法的说明

如上所述，当用户的视线被目镜窗框等遮挡、使得用户无法看到显示装置10(画面)的边缘时，用户采用倾斜透过观看状态。因此，在第二实施例中，当检测到倾斜透过观看状态时，显示装置10的图像显示范围被设置为相对于当前范围缩小的范围。

图14A示出在检测倾斜透过观看状态之前的图像显示状态。图15A是此时的查看状态的示意图。视野受到目镜窗框121限制，使得仅显示装置10(画面)上的虚像300的部分范围β1在视野内。因此，用户无法看到虚像300的部分范围γ1、γ2。为了看到范围γ1、γ2，用户采用倾斜透过观看状态，结果在视点估计结果中发生不可忽略的误差。

因此，在第二实施例中，如图14B所示，将显示装置10的图像显示范围缩小到用户可见的范围β1。图15B是示出缩小之后的查看状态的示意图。由于将图像显示范围缩小到与用户的视野范围相对应的范围β1，因此用户可以在无需采用倾斜透过观看状态的情况下看到显示装置10上所显示的整个图像。换言之，可以创建无需采用倾斜透过观看状态的状况(无需平移移动头部的状况)。因而，可以提示用户改善查看状态(消除倾斜透过观看状态)，结果可以获取到准确的(高度精确)的视点估计结果。

通过以这种方式基于倾斜透过观看状态检测结果将显示装置10的图像显示范围设置为缩小的范围，可以抑制倾斜透过观看状态，从而使得能够改善视点估计结果。注意，在上述示例中，将视野范围β1(在未检测到倾斜透过观看状态的查看状态下的视野范围；在用户从正前方透过取景器进行观看的查看状态下的视野范围)设置为图像显示范围，但图像显示范围可以窄于视野范围β1。只要将视野范围β1的至少一部分设置为图像显示范围，就可以抑制倾斜透过观看状态，从而使得能够改善视点估计结果。如图14C所示，可以在维持长宽比的同时从图14A所示的状态缩小图像显示范围。

照相机操作的说明

现在将根据图16所示的流程图来说明根据第二实施例的照相机操作。例如，响应于指示校准操作的开始的用户操作而开始图16的处理流程。上述的视野范围β1取决于眼球14的位置(眼球14与目镜窗框121之间的距离等)。因此，在图16的流程图上，基于倾斜透过观看状态检测结果来估计视野范围β1，并且基于所估计的视野范围β1(估计的视野范围)来确定显示装置10的图像显示范围。

在步骤S1601中，CPU 3将用户要关注于的第一指标(显示装置10的画面中心的左侧的指标)显示在显示装置10上。

在步骤S1602中，CPU 3等待预定时间。

在步骤S1603中，CPU 3判断用户是否按下(半按下)释放按钮5以接通开关SW1。例如，假定用户通过半按下释放按钮5来接通开关SW1，以表示她/他正关注于第一指标。CPU 3在开关SW1为接通时，使处理进入步骤S1604，并且在开关SW1不为接通时，使处理返回到步骤S1602。

在步骤S1604中，CPU 3进行图8的视线检测操作。在视线检测操作中，计算眼睛图像上的瞳孔图像的坐标、眼睛图像上的Purkinje图像的坐标、以及显示装置10的画面上的视点的坐标。

在步骤S1605中，CPU 3判断是否满足第一条件，或者更具体地，判断在步骤S1604的视线检测操作中检测到的瞳孔图像的位置是否在预定范围内。CPU 3在瞳孔图像的位置在预定范围外时，使处理进入步骤S1606，并且在瞳孔图像的位置在预定范围内时，使处理进入步骤S1609。

在步骤S1606中，CPU 3判断是否满足第二条件，或者更具体地，判断从眼睛图像的中心向着眼睛图像上的瞳孔图像行进的方向是否是X轴负方向(与从显示装置10的画面的中心向着第一指标行进的X轴正方向相反的方向)。CPU 3在瞳孔图像位于X轴负方向侧时，使处理进入步骤S1607，并且在瞳孔图像位于X轴正方向侧时，使处理进入步骤S1609。

在步骤S1607中，CPU 3判断为当前状态为倾斜透过观看状态。在步骤S1608中，由于在步骤S1604的视线检测操作期间获取到的视点估计结果包括不可忽略的误差、这意味着不能适当地进行校准(不能获取到适当的视线校正参数)，因此CPU 3进行查看状态改善处理。然后，处理返回到步骤S1602，在该步骤S1602中，再次进行视线检测操作。

在第二实施例中，如图13B所示，CPU 3在步骤S1608的查看状态改善处理期间，将第一指标移动得更靠近显示装置10的画面的中心。此外，CPU 3将所估计的视野范围(被估计为视野范围β1的视野范围)从默认范围(例如，画面的整个范围)缩小。更具体地，CPU 3将所估计的视野范围从左侧缩小，使得所估计的视野范围的左边缘的位置与第一指标的位置对齐。在图13B所示的状态中，第一指标仍布置在视野范围β1外，因此用户采用倾斜透过观看状态。因此，再次进行步骤S1608的查看状态改善处理，使得如图13C所示，在第一指标布置在视野范围β1内的状态下缩小所估计的视野范围。因而，用户可以在不必从某角度透过目镜窗框121进行观看的情况下查看第一指标，结果可以消除倾斜透过观看状态。因此，在消除了倾斜透过观看状态的时间点，视野范围β1的左边缘用作所估计的视野范围的左边缘(X轴正方向的边缘)。

注意，查看状态改善处理不限于上述处理，并且只要可以提示用户改善查看状态使得可以适当地进行校准，则例如可以进行任何处理作为查看状态改善处理。更具体地，如在第一实施例中所述，查看状态改善处理可以包括发出建立了倾斜透过观看状态的警告。

在步骤S1609中，CPU 3将用户要关注于的第二指标(显示装置10的画面中心的右侧的指标)显示在显示装置10上。此时，假定与第一指标有关的处理完成，因此不显示第一指标。

在步骤S1610中，CPU 3等待预定时间。

在步骤S1611中，CPU 3判断用户是否按下(半按下)释放按钮5以接通开关SW1。例如，假定用户通过半按下释放按钮5来接通开关SW1，以表示她/他正关注于第二指标。CPU 3在开关SW1为接通时使处理进入步骤S1612，并且在开关SW1不为接通时使处理返回到步骤S1610。

在步骤S1612中，CPU 3进行图8的视线检测操作。在视线检测操作中，计算眼睛图像上的瞳孔图像的坐标、眼睛图像上的Purkinje图像的坐标、以及显示装置10的画面上的视点的坐标。

在步骤S1613中，CPU 3判断是否满足第一条件，或者更具体地，判断在步骤S1612的视线检测操作中检测到的瞳孔图像的位置是否在预定范围内。CPU 3在瞳孔图像的位置在预定范围外时，使处理进入步骤S1614，并且在瞳孔图像的位置在预定范围内时，使处理进入步骤S1617。

在步骤S1614中，CPU 3判断是否满足第二条件，或者更具体地，判断从眼睛图像的中心向着眼睛图像上的瞳孔图像行进的方向是否是X轴正方向(与从显示装置10的画面的中心向着第二指标行进的X轴负方向相反的方向)。CPU 3在瞳孔图像位于X轴正方向侧时，使处理进入步骤S1615，并且在瞳孔图像位于X轴负方向侧时，使处理进入步骤S1617。

在步骤S1615中，CPU 3判断为当前状态是倾斜透过观看状态。在步骤S1616中，由于在步骤S1612的视线检测操作期间获取到的视点估计结果包括不可忽略的误差、这意味着不能适当地进行校准(不能获取到适当的视线校正参数)，因此CPU 3进行查看状态改善处理。然后，处理返回到步骤S1610，在该步骤S1610中，再次进行视线检测操作。在第二实施例中，与步骤S1608的查看状态改善处理同样，CPU 3在步骤S1616的查看状态改善处理期间将第二指标移动得更靠近显示装置10的画面的中心，由此更新所估计的视野范围。更具体地，所估计的视野范围从右侧缩小，使得所估计的视野范围的右边缘的位置与第二指标的位置对齐。与步骤S1608的查看状态改善处理同样，重复步骤S1616的查看状态改善处理，直到消除了倾斜透过观看状态为止。因此，在消除了倾斜透过观看状态的时间点，视野范围β1的右边缘用作所估计的视野范围的右边缘(X轴负方向的边缘)。

在步骤S1617中，CPU 3判断为与所有指标有关的处理均完成，并向用户通知成功进行了校准。此外，CPU 3根据在关注于各个指标时获取到的视点估计结果来计算视线校正参数，并将这些视线校正参数存储在存储器单元4中。注意，图16仅示出与第一指标(左侧指标)有关的处理和与第二指标(右侧指标)有关的处理，但实际中，该处理是针对图13A所示的五个指标中的各指标进行的。

因此，在第二实施例中，用于将指标移动得更靠近显示装置10的画面的中心、直到在画面的边缘显示指标之后不再检测到倾斜透过观看状态为止的控制是针对画面的多个边进行的。然后，将显示装置10的画面中的包括了在未检测到倾斜透过观看状态的情况下用户可以看到指标的多个位置的范围估计为视野范围β1。注意，估计视野范围β1的方法不限于此。作为代替，例如，可以在使指标的位置在多个预定位置之间变化的同时，检测到了未检测到倾斜透过观看状态的多个位置，并且可以将包括所检测到的多个位置的范围(包括这多个位置的最小范围)估计为视野范围β1。

在步骤S1618中，CPU 3将所估计的视野范围设置为显示装置10的图像显示范围，然后终止图16的处理流程。

总结

根据第二实施例，如上所述，通过除了使用第一条件之外还使用第二条件，与在第一实施例中相比，可以以甚至更高的精度检测到倾斜透过观看状态。

当在倾斜透过观看状态下进行校准操作时，在视点估计结果中包括不可忽略的误差，这使得无法获取到适当的视线校正参数。根据第二实施例，在校准操作期间检测到并消除了倾斜透过观看状态，因此可以获取到适当的视线校正参数。结果，可以提高在校准操作之后的摄像等期间估计视点的精度。

此外，根据第二实施例，将指标移动得更靠近显示装置10的画面的中心，以消除倾斜透过观看状态。然后可以从消除倾斜透过观看状态之后的多个指标中，指定与(用户从正前方透过目镜窗框121进行观看的)有利查看状态(即，非倾斜透过观看状态)相对应的视野范围β1。通过使用所指定的视野范围β1，可以提高照相机1的用户友好性。例如，通过在校准操作之后的摄像等期间显示容纳于所指定的视野范围β1的缩小查看图像，可以抑制倾斜透过观看状态，从而使得能够提高视点估计精度。更具体地，根据第二实施例，检测倾斜透过观看状态，由此基于倾斜透过观看状态检测结果来估计在未检测到倾斜透过观看状态的状态下的视野范围。然后基于所估计的视野范围来确定显示装置的图像显示范围。因此，通过简单的结构，可以确定在未检测到倾斜透过观看状态的状态下能够查看整个图像的图像显示范围，结果可以消除无法以高精度估计视点的状态。

注意，在上述的示例中，在校准操作期间估计视野范围，并且在校准操作期间或之后，基于所估计的视野范围来确定图像显示范围。然而，作为代替，在校准操作未在进行中的时间段期间，可以估计视野范围，并且可以基于所估计的视野范围来确定图像显示范围。此外，代替估计视野范围，可以基于倾斜透过观看状态检测结果(是否建立了倾斜透过观看状态、以及眼睛图像上的瞳孔图像和Purkinje图像的位置等)来修改图像显示范围的大小和/或位置。

第三实施例

现在将说明本发明的第三实施例。注意，以下将省略对与第二实施例相同的点(结构和处理等)的说明，并且将说明与第二实施例有所不同的点。在第二实施例所述的示例中，缩小图像显示范围。在第三实施例中，将说明移动图像显示范围的示例。

查看状态改善方法的说明

如上所述，当用户的视线被目镜窗框等遮挡、使得用户无法看到显示装置10(画面)的边缘时，用户采用倾斜透过观看状态。因此，在第三实施例中，当检测到倾斜透过观看状态时，从当前范围移动并设置显示装置10的图像显示范围。

图17A示出在检测倾斜透过观看状态之前的图像显示状态。图18A是此时的查看状态的示意图。视野受到目镜窗框121限制，使得仅显示装置10(画面)上的虚像300的部分范围β1在视野内。因此，用户无法看到虚像300的部分范围γ1、γ2。为了查看范围γ1、γ2，用户采用倾斜透过观看状态，结果在视点估计结果中发生不可忽略的误差。

因此，在第三实施例中，如图17B所示，使显示装置10的图像显示范围沿向左方向(X轴正方向)移动，使得显示装置10的图像显示范围的右边缘(X轴负方向的边缘)与用户可以看到的范围β1的右边缘一致。图18B是示出在该移动之后的查看状态的示意图。通过移动图像显示范围、使得X轴负方向上的图像显示范围的边缘包括在视野范围β1中，用户可以在无需采用倾斜透过观看状态的情况下看到显示装置10上所显示的图像的右边缘(X轴负方向的边缘)。换言之，可以创建无需采用倾斜透过观看状态的状况(无需平移移动头部的状况)作为在用户希望看到图像的右边缘的情况下的状况。因此，可以提示用户改善查看状态(消除倾斜透过观看状态)，结果可以获取到精确的(高精度的)视点估计结果。

如图17C所示，可以使显示装置10的图像显示范围沿向右方向(X轴负方向)移动，使得显示装置10的图像显示范围的左边缘(X轴正方向的边缘)与用户可以看到的范围β1的左边缘一致。图18C是示出在该移动之后的查看状态的示意图。通过移动图像显示范围、使得X轴正方向上的图像显示范围的边缘包括在视野范围β1中，用户可以在无需采用倾斜透过观看状态的情况下看到显示装置10上所显示的图像的左边缘(X轴正方向的边缘)。换言之，可以创建无需采用倾斜透过观看状态的状况(无需平移移动头部的状况)作为在用户希望看到图像的左边缘的情况下的状况。因此，可以提示用户改善查看状态(消除倾斜透过观看状态)，结果可以获取到精确的(高精度的)视点估计结果。

通过以这种方式使图像显示范围沿与用户希望看到的方向相反的方向移动，可以抑制倾斜透过观看状态，从而使得能够改善视点估计结果。注意，在上述示例中，使图像显示范围移动使得图像显示范围的边缘与视野范围β1的边缘一致，但只要使图像显示范围移动成至少包括视野范围β1的一部分，则没有特别限制图像显示范围的移动方向和移动量。通过使用第二实施例所述的方法等估计视野范围β1，可以基于所估计的视野范围β1(所估计的视野范围)来移动图像显示范围，使得图像显示范围至少包括视野范围β1的一部分。通过以这种方式移动图像显示范围，可以抑制倾斜透过观看状态，从而使得能够改善视点估计结果。

注意，当用户希望看到图像的右边缘(X轴负方向的边缘)时，优选使图像显示范围沿X轴正方向移动，并且当用户希望看到图像的左边缘(X轴正方向的边缘)时，优选使图像显示范围沿X轴负方向移动。因此，当在用户希望看到图像的右边缘的情况下检测到倾斜透过观看状态时，可以使图像显示范围沿X轴正方向移动，并且当在用户希望看到图像的左边缘的情况下检测到倾斜透过观看状态时，可以使图像显示范围沿X轴负方向移动。换言之，可以基于倾斜透过观看状态检测结果来确定图像显示范围的移动方向和移动量。当瞳孔图像和Purkinje图像位于沿X轴正方向相对于眼睛图像的中心大幅移开的位置时，可以判断为用户希望看到图像的右边缘，并且当瞳孔图像和Purkinje图像位于沿X轴负方向相对于眼睛图像的中心大幅移开的位置时，可以判断为用户希望看到图像的左边缘。

总结

根据第三实施例，如上所述，基于所估计的视野范围来使显示装置的图像显示范围移动。通过这种简单的结构，可以确定在未检测到倾斜透过观看状态的状态下能够查看整个图像的图像显示范围，结果可以消除无法以高精度估计视点的状态。

第四实施例

现在将说明本发明的第四实施例。注意，以下将省略对与第二实施例相同的点(结构和处理等)的说明，并且将说明与第二实施例有所不同的点。在第四实施例中，将说明在校准操作期间检测到倾斜透过观看状态的另一示例。

校准操作期间显示的多个指标包括夹持显示装置10的画面的中心的两个指标。更具体地，如图13A所示，第一指标(左侧指标)和第二指标(右侧指标)夹持显示装置10的画面的中心。如第二实施例中所述，在用于观看第一指标的倾斜透过观看状态下获取到的眼睛图像上，瞳孔图像和Purkinje图像位于第一指标测(X轴正方向侧)的相反侧(X轴负方向侧)。在用于观看第二指标的倾斜透过观看状态下获取到的眼睛图像中，瞳孔图像和Purkinje图像位于第二指标测(X轴负方向侧)的相反侧(X轴正方向侧)。换言之，在观看第一指标时获取到的眼睛图像上的瞳孔图像和Purkinje图像位于在观看第二指标时获取到的图像的相反侧。

倾斜透过观看检测方法的说明

如上文所述，倾斜透过观看状态的第三特征是：在观看第一指标时获取到的眼睛图像上的瞳孔图像和Purkinje图像位于在观看第二指标时获取到的图像的相反侧。因此，在第四实施例中，使用第三条件(即，在观看第一指标的情况下从眼睛图像的中心向着眼睛图像上的瞳孔图像行进的方向与在观看第二指标的情况下从眼睛图像的中心向着眼睛图像上的瞳孔图像行进的方向相反)。也可以通过判断是否满足第三条件的简单结构来检测倾斜透过观看状态。更具体地，满足第三条件的状态可被检测为倾斜透过观看状态。在第四实施例中，判断是否全部满足第二实施例中所述的第一条件和第二条件以及上述的第三条件，并且全部满足第一条件、第二条件和第三条件的状态被检测为倾斜透过观看状态。通过使用所有的第一条件、第二条件和第三条件，可以以与第二实施例中相比甚至更高的精度检测到倾斜透过观看状态。可以在不使用第二条件的情况下使用第一条件和第三条件。此外，可以单独使用第三条件。

注意，在校准操作中，如上所述，用户要观看的位置是由指标指定的。因此，可以说，第三条件是适合于检测校准操作期间的倾斜透过观看状态的条件。然而，只要在显示装置10的画面上强调显示用户要观看的位置，则第三条件也可以有利地用于检测除校准操作期间以外的时间的倾斜透过观看状态。

注意，与第一条件和第二条件同样，第三条件可以关注于眼睛图像上的Purkinje图像而不是眼睛图像上的瞳孔图像。更具体地，可以判断是否满足第三条件(即，在观看第一指标的情况下从眼睛图像的中心向着眼睛图像上的Purkinje图像行进的方向与在观看第二指标的情况下从眼睛图像的中心向着眼睛图像上的Purkinje图像行进的方向相反)，并且满足第三条件的状态可被检测为倾斜透过观看状态。第三条件可以关注于瞳孔图像或Purkinje图像或者这两者。满足与瞳孔图像有关的所有条件(第一条件、第二条件和第三条件)或者与Purkinje图像有关的所有条件(第一条件、第二条件和第三条件)的状态可被检测为倾斜透过观看状态。可选地，满足与瞳孔图像有关的所有条件以及与Purkinje图像有关的所有条件的状态可被检测为倾斜透过观看状态。此外，满足与瞳孔图像有关的条件的一部分以及与Purkinje图像有关的条件的其余部分的状态可被检测为倾斜透过观看状态。

注意，在第四实施例所述的示例中，用户在无法看到显示装置10的画面的左侧和右侧的两个指标时，采用倾斜透过观看状态，并且第一指标(左侧指标)和第二指标(右侧指标)用作夹持画面的中心的两个指标。然而，夹持显示装置10的画面的中心的两个指标不限于上述指标。例如，夹持显示装置10的画面的中心的两个指标可以是画面的上侧和下侧的两个指标。在这种情况下，可以使用第三条件来检测用户在无法看到显示装置10的画面的上侧和下侧的两个指标时所采用的倾斜透过观看状态。

照相机操作的说明

现在将根据图19所示的流程图来说明根据第四实施例的照相机操作。例如，响应于指示校准操作的开始的用户操作而开始图19的处理流程。

步骤S1901至S1904的处理与图16中的步骤S1601至S1604的处理相同，并且步骤S1905至S1908的处理与图16中的步骤S1609至S1612的处理相同。

在步骤S1909中，CPU 3基于步骤S1904的操作结果来判断在显示第一指标期间是否满足第一条件，或者更具体地，判断在第一指标的显示期间的瞳孔图像的位置是否在预定范围内。CPU 3在瞳孔图像的位置在预定范围外时，使处理进入步骤S1910，并且在瞳孔图像的位置在预定范围内时，使处理进入步骤S1915。步骤S1909的处理与图16中的步骤S1605的处理相同。

在步骤S1910中，CPU 3基于步骤S1904的操作结果来判断在显示第一指标期间是否满足第二条件，或者更具体地，判断在第一指标的显示期间从眼睛图像的中心向着眼睛图像上的瞳孔图像行进的方向是否为X轴负方向。CPU 3在瞳孔图像在X轴负方向侧时，使处理进入步骤S1911，并且在瞳孔图像在X轴正方向侧时，使处理进入步骤S1915。步骤S1910的处理与图16中的步骤S1606的处理相同。

在步骤S1911中，CPU 3基于步骤S1908的操作结果来判断在显示第二指标期间是否满足第一条件，或者更具体地，判断在第二指标的显示期间的瞳孔图像的位置是否在预定范围内。CPU 3在瞳孔图像的位置在预定范围外时，使处理进入步骤S1912，并且在瞳孔图像的位置在预定范围内时，使处理进入步骤S1915。步骤S1911的处理与图16中的步骤S1613的处理相同。

在步骤S1912中，CPU 3基于步骤S1904和S1908的操作结果来判断是否满足第三条件。更具体地，CPU 3判断在第一指标的显示期间从眼睛图像的中心向着眼睛图像上的瞳孔图像行进的方向与第二指标的显示期间从眼睛图像的中心向着眼睛图像上的瞳孔图像行进的方向是否相反。在第一指标的显示期间从眼睛图像的中心向着眼睛图像上的瞳孔图像行进的方向与第二指标的显示期间从眼睛图像的中心向着眼睛图像上的瞳孔图像行进的方向相反的情况下，CPU 3使处理进入步骤S1913。另一方面，在第一指标的显示期间从眼睛图像的中心向着眼睛图像上的瞳孔图像行进的方向与第二指标的显示期间从眼睛图像的中心向着眼睛图像上的瞳孔图像行进的方向相同的情况下，CPU 3使处理进入步骤S1915。

注意，步骤S1912的判断可以是与在显示第二指标期间是否满足第二条件有关的判断，或者更具体是与在第二指标的显示期间从眼睛图像的中心向着眼睛图像上的瞳孔图像行进的方向是否为X轴正方向有关的判断。换句话说，在步骤S1912中，可以进行与图16中的步骤S1614的处理相同的处理。

在步骤S1913中，CPU 3判断为第一指标的查看状态和第二指标的查看状态至少之一是倾斜透过观看状态。在步骤S1914中，由于在步骤S1904中估计的视点和/或在步骤S1908中估计的视点包括不可忽略的误差、这意味着无法适当地进行校准，因此CPU 3进行查看状态改善处理。然后，处理返回到步骤S1901，在该步骤S1901中再次进行视线检测操作。在第四实施例中，与第二实施例同样，CPU 3在步骤S1914的查看状态改善处理期间将第一指标和/或第二指标移动得更靠近显示装置10的画面的中心，由此更新所估计的视野范围。

在步骤S1915中，CPU 3判断为与所有指标有关的处理均完成，并向用户通知成功进行了校准。此外，CPU 3根据在关注于各个指标时获取到的视点估计结果来计算视线校正参数，并将这些视线校正参数存储在存储器单元4中。注意，图19仅示出与第一指标(左侧指标)有关的处理和与第二指标(右侧指标)有关的处理，但实际上，该处理是针对图13A所示的五个指标中的各指标进行的。

在步骤S1916中，CPU 3将所估计的视野范围设置为显示装置10的图像显示范围，然后终止图19的处理流程。

根据第四实施例，如上所述，通过除了使用第一条件和第二条件之外、还使用第三条件，与在第二实施例中相比，可以以甚至更高的精度检测到倾斜透过观看状态。此外，与在第二实施例中相比，可以更可靠地获取到适当的视线校正参数。结果，与在第二实施例中相比，可以更可靠地提高在校准操作之后的摄像等期间对视点进行估计的精度。

第五实施例

现在将说明本发明的第五实施例。注意，以下将省略对与第一实施例中相同的点(结构和处理等)的说明，并且将说明与第一实施例有所不同的点。当用户正佩戴眼镜时，来自用于照射用户的眼球的光源的光可能被眼镜的表面反射并穿过目镜透镜以进入眼睛图像传感器，并且该光可能作为重像出现在眼睛图像上。在倾斜透过观看状态下，用户在他/她的头部倾斜的情况下透过取景器进行观看，因此重像根据头部的倾斜而移动得更靠近眼睛图像的中心。结果，在重像与瞳孔图像或Purkinje图像重叠时，检测瞳孔图像和Purkinje图像的精度下降，这导致视点估计精度下降。在第五实施例中，将说明关注于该问题的示例。

结构的说明

图20是示出照相机1(数字静态照相机；可更换镜头照相机)的外观的背面立体图。照相机1的正面立体图与第一实施例(图1A)相同。如图20所示，在第五实施例中，在目镜透镜12的周围设置有用于照射用户的眼球的四个光源13a～13d。

图21示出照相机1的粗略内部结构。图22示出用户正透过目镜窗框121进行观看的状态。图23是示出照相机1内的电气结构的框图。如上所述，图21至图23除了设置有四个光源13a～13d以外与图2至图4相同。

在第五实施例中，如图21所示，假定用户正佩戴诸如一副眼镜144等的光学构件，并且当用户透过目镜窗框121进行观看时，该光学构件位于眼球14和目镜窗框121之间。

图24是眼睛图像传感器17所拍摄到的眼睛图像(投射到眼睛图像传感器17上的眼球图像)的示意图。由于使用了四个光源13a～13d，因此出现四个Purkinje图像(P图像；角膜反射图像)。基于已相对于目镜透镜在上下左右方向上偏移的多个光源所产生的多个Purkinje图像的组合(没有特别限制该组合)，可以按照与第一实施例相同的原理来检测视线。

对用户在将头部移动大的平移运动之后透过取景器进行观看的查看状态的说明

当用户在将他/她的头部平移移动之后从某角度透过取景器进行查看的情况下，用户通常转动(倾斜)他/她的整个头部(包括透过目镜窗框进行观看的眼球)、而不是仅转动眼球。当用户正佩戴眼镜、并且用户在他/她的头部倾斜的情况下透过取景器进行观看的情况下，用户正佩戴的眼镜在与头部相同的方向上倾斜。结果，由用于照射眼球的红外光中的、被眼镜的表面反射以经由目镜透镜入射到眼睛图像传感器的光所产生的重像根据眼镜的倾斜而移动得靠近眼睛图像的中央。重像与眼睛图像的中央附近的瞳孔图像和Purkinje图像重叠，由此阻碍了对这些图像的检测。在检测瞳孔图像和Purkinje图像的精度下降的情况下，视点估计精度也下降。

现在将使用图25A～25C来更详细地说明该现象。图25A～25C是从Y轴正方向示出用户使用右眼(纸面的向上方向侧的眼球)经由目镜窗框121和目镜透镜12查看显示装置10(画面)上的虚像300的状态的示意平面图。在图25A中，在眼球14的中心O’位于与虚像300的中心相对的位置、即目镜透镜12的光轴穿过的位置的状态下，用户正关注于虚像300(显示装置10的画面)的大致中央。在图25A中，用户无法查看范围γ1和γ2(虚像300的边缘)。

在用户希望看到在图25A的状态下不可见的范围γ1的情况下，如图25B所示，用户将包括眼球14的他/她的整个头部沿X轴正方向(纸面上的向下方向)移动大的平移运动。同样，在用户希望看到在图25A的状态下不可见的范围γ2的情况下，如图25C所示，用户将包括眼球14的他/她的整个头部沿X轴负方向(纸面上的向上方向)移动大的平移运动。此时，代替仅转动眼球14，头部通常从图25A所示的状态倾斜。在图25B和图25C中，头部相对于图25A的状态倾斜了角度θh。此外，在图25A～25C中，用户正佩戴眼镜144，并且眼镜144同样根据头部的倾斜而在与头部相同的方向上倾斜。结果，眼镜144的光轴的倾斜相对于目镜透镜12的光轴发生改变，并且与此相对应地，当来自光源的光在眼镜144的表面被反射上时所产生的重像的位置也发生改变。

例如，如图26所示，当从光源13a～13d发射的光被诸如一副眼镜等的光学构件的表面反射时产生上述重像，并且如图26的箭头所示，由此产生的反射光入射到眼睛图像传感器17。图26示出来自光源13a或光源13b的光的路径，但来自光源13c和13d的光可以以同样方式入射到眼睛图像传感器17。

图27A示出重像出现的眼睛图像的示例。在图27A中出现分别与四个光源13a～13d相对应的四个重像Ga～Gd。当从光源13a～13d发射的光被眼镜的表面反射时产生重像Ga～Gd，并且对于当从光源13a～13d发射的光被眼球的角膜表面反射时所产生的Purkinje图像，分别出现这些重像。图27A所示的眼睛图像对应于图25A所示的状态。如图27A所示，在诸如用户所佩戴的一副眼镜等的光学构件朝向正前方的情况下，重像Ga～Gd相对于眼睛图像的中央大致左右对称地出现。

这里，在眼镜连同头部的倾斜一起倾斜时所建立的倾斜透过观看状态下，重像移动，使得获取到诸如图27B所示的眼睛图像等的眼睛图像。在图27B中，由于伴随头部的倾斜的眼镜的倾斜，重像Ga～Gd都从图27A所示的状态沿X轴正方向(纸面上的向右方向)移动。结果，由光源13a产生的重像Ga与瞳孔图像的一部分重叠，使得瞳孔图像的该部分被隐藏。当瞳孔图像的至少一部分被隐藏时，检测瞳孔图像的精度下降。当瞳孔图像检测精度下降时，视点估计精度也下降。

因此，在第五实施例中，基于查看状态检测结果来判断多个光源中的、产生移动到眼睛图像的中央部(中央及其附近)的重像的光源，并且将所判断出的光源熄灭(OFF)。因而，可以抑制眼睛图像的中央部中的重像的发生，从而使得能够提高瞳孔图像检测精度。因此，可以提高视点估计精度。

对用于将光源熄灭的方法的说明

现在将更详细地说明如下的处理，该处理用于在检测到倾斜透过观看状态之后，通过将朝向与透过观看方向相对应的方向的光源熄灭以抑制眼睛图像的中央附近的重像的发生，来提高各种检测精度。

通过如由从图28A所示的状态向图28B所示的状态的变化所示、将光源13a～13d中的产生移动到眼睛图像的中央部的重像的光源熄灭，可以将妨碍各种检测的重像从眼睛图像中去除。

在图27B的示例中，源自光源13a的重像Ga妨碍各种检测，因此如图28B所示，应将光源13a熄灭。在光源13a熄灭的情况下，如图27C所示，重像Ga消失，因此可以以高精度检测到包括被重像重叠的部分的瞳孔图像。结果，可以抑制检测瞳孔图像和视线的精度的劣化。此时，由光源13a形成的Purkinje图像也消失，但由于Purkinje图像继续由多个其它光源形成，因此可以使用由多个其它光源(光源13b～13d)形成的多个Purkinje图像来以高精度进行视线检测。在第五实施例中，使用四个光源13a～13d来确保即使在一些光源熄灭时也能以高精度进行视线检测。注意，光源的数量不限于四个，但只要使用三个或更多个光源即可。可以将多个光源熄灭，但只要两个或更多个光源点亮即可。只要两个或更多个光源点亮，就可以进行视线检测。

然而，仅通过识别产生移动到眼睛图像的中央部中的重像的光源才能够进行上述处理(适当地将光源熄灭)。

因此，在第五实施例中，通过使用在其它实施例中所述的方法检测透过观看状态来判断头部的倾斜方向(或者换句话说，眼镜的倾斜方向)，根据该倾斜方向判断眼睛图像上的重像的移动方向，并且根据该移动方向判断要熄灭的光源。

如图25B所示，在当头部沿X轴正方向平移移动时实现的倾斜透过观看状态下，头部和眼镜144这两者都沿纸面上的顺时针方向倾斜。另一方面，如图25C所示，在当头部沿X轴负方向平移移动时实现的倾斜透过观看状态下，头部和眼镜144这两者都沿纸面上的逆时针方向倾斜。换言之，图25B中的头部和眼镜的倾斜方向与图25C中的头部和眼镜的倾斜方向相反。因而，可以从透过观看方向指定头部和眼镜的倾斜方向。可以从眼镜的倾斜方向获知重像的移动方向，因此可以指定产生接近眼睛图像的中央附近的重像的光源。通过将所指定的光源熄灭，如图27B所示，可以去除妨碍瞳孔图像的检测的重像，结果可以提高瞳孔图像检测精度。

照相机操作的说明

现在将根据图29所示的流程图来说明根据第五实施例的照相机操作。在这里所述的示例中，通过使用第一条件(即，眼睛图像的中心与眼睛图像上的瞳孔图像的位置之间的差大于预定阈值)的方法来检测倾斜透过观看状态。然而，可以通过诸如使用第二条件的方法等的其它方法来检测倾斜透过观看状态。在照相机1的电源接通时，图29的照相机操作开始。

步骤S2901～S2905和S2908～S2915的处理与图12(第一实施例)中的步骤S1201～S1205和S1207～S1214的处理相同。

在步骤S2906中，在检测到倾斜透过观看状态之后，CPU 3通过根据眼睛图像上的瞳孔图像的移动方向指定透过观看方向(头部和眼镜)来指定要熄灭的光源。在指定要熄灭的光源之后，CPU 3进入步骤S2907。

现在将说明步骤S2906的处理的具体示例。在图30A的眼睛图像上，瞳孔图像从预定范围沿纸面的向右方向移动。在这种情况下，可以判断为建立了通过头部沿X轴正方向的平移运动而导致的倾斜透过观看状态、或者换句话说图25B所示的状态。还可以判断为头部和眼镜的倾斜方向是图25B的纸面上的顺时针方向。可以根据眼镜的倾斜方向来指定要熄灭的光源。

在图30B的眼球图像上，与图30A相对比，瞳孔图像从预定范围沿纸面的向左方向移动。在这种情况下，可以判断为建立了通过头部沿X轴负方向的平移运动而导致的倾斜透过观看状态、或者换句话说图25C所示的状态。还可以判断为头部和眼镜的倾斜方向是图25C的纸面上的逆时针方向。可以根据眼镜的倾斜方向来指定要熄灭的光源。

在步骤S2907中，CPU 3将在步骤S2906中指定的光源熄灭。然后，CPU 3返回到步骤S2903的视线检测操作。在经过步骤S2905～S2907并返回到步骤S2903之后，CPU 3使用多个光源中的除在步骤S2907中熄灭的光源以外的光源来进行视线检测操作。结果，可以在没有重像妨碍瞳孔图像的检测的状态下以高精度检测到视线。

总结

根据第五实施例，如上所述，可以基于倾斜透过观看状态检测结果来选择多个光源中的作为眼睛图像的中央附近的重像的原因的光源，并将该光源熄灭。因此，可以抑制眼睛图像的中央附近的重像的发生，结果可以提高视线检测精度。

注意，第一实施例至第五实施例仅仅是示例，并且本发明还包括通过在本发明的精神的范围内适当修改或变形第一实施例至第五实施例的结构所获取到的结构。本发明还包括通过适当组合第一实施例至第五实施例的结构所获取到的结构。

此外，列举了照相机的取景器作为示例，但本发明不限于此。例如，当在为了体验VR(虚拟现实)等而佩戴在头部上的HMD(头戴式显示器)中进行视线检测的情况下，本发明可用于检测HMD相对于头部(眼球)偏移的查看状态。在没有经验的用户佩戴HMD的情况下或者在用户在佩戴HMD的状态下移动的情况下，可能发生该查看状态。同样，本发明可应用于诸如AR(增强现实)眼镜等的眼镜型视线检测装置。本发明适用于所有的电子装置，这些电子装置可以通过拍摄透过限制视野的眼睛窗框(诸如目镜窗框或眼镜框等)观看查看图像的眼睛的图像来获取眼睛图像，并且使用所获取到的眼睛图像来估计视点。

根据第一实施例至第五实施例，如上所述，可以提供诸如照相机、HMD或眼镜型视线检测装置等的电子装置，该电子装置通过简单结构来检测用户在将头部平移移动或倾斜之后主要从倾斜方向观看画面的查看状态。也可以提供如下的电子装置，该电子装置通过基于倾斜透过观看状态检测结果确定图像显示范围的简单结构来消除倾斜透过观看状态。另外，可以提供如下的电子装置，利用该电子装置，通过基于对倾斜透过观看状态下的诸如一副眼镜等的光学构件的倾斜的检测结果适当地将光源熄灭，来提高各种检测的精度。

根据本发明，可以通过简单结构来检测不能以高精度进行视点估计的状态。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (23)

1.一种电子装置，其能够通过拍摄经由眼睛窗框观看显示单元的画面的眼睛的图像来获取眼睛图像，所述电子装置包括：

第一估计单元，其被配置为基于所述眼睛图像来估计所述画面上的所述眼睛的视点；以及

检测单元，其被配置为基于所述眼睛图像上的瞳孔图像或者普尔钦图像即Purkinje图像的位置，来检测在所述眼睛图像上所述眼睛相对于与所述画面的中心相对应的位置发生偏移的偏移查看状态。

2.根据权利要求1所述的电子装置，其中，

所述检测单元将满足包括如下条件的预定条件的状态检测为所述偏移查看状态：所述瞳孔图像或者所述Purkinje图像的位置和与所述画面的中心相对应的位置之间的差大于预定阈值。

3.根据权利要求1或2所述的电子装置，其中，

能够经由所述眼睛窗框和目镜光学系统来查看所述画面，以及

与所述画面的中心相对应的位置是与所述目镜光学系统的光轴相对应的位置。

4.根据权利要求1或2所述的电子装置，还包括：

所述显示单元、所述眼睛窗框、以及被配置为拍摄所述眼睛的图像的摄像单元。

5.根据权利要求1或2所述的电子装置，其中，

在所述画面上，在改变所述眼睛要观看的指标的位置的同时显示所述指标，以及

所述检测单元将满足包括如下条件的预定条件的状态检测为所述偏移查看状态：在所述眼睛图像上，从与所述画面的中心相对应的位置向着所述瞳孔图像或者所述Purkinje图像行进的方向和从与所述画面的中心相对应的位置向着显示所述指标的位置行进的方向相反。

6.根据权利要求1或2所述的电子装置，其中，

在所述画面上显示所述眼睛要观看的多个指标，

所述多个指标包括夹持所述画面的中心的两个指标，以及

所述检测单元将满足包括如下条件的预定条件的状态检测为所述偏移查看状态：在观看所述两个指标中的一个指标的情况下从与所述画面的中心相对应的位置向着所述瞳孔图像或者所述Purkinje图像行进的方向和在观看所述两个指标中的另一指标的情况下从与所述画面的中心相对应的位置向着所述瞳孔图像或者所述Purkinje图像行进的方向相反。

7.根据权利要求1或2所述的电子装置，其中，

所述检测单元在用于获取用以估计所述视点的参数的校准操作期间检测所述偏移查看状态。

8.根据权利要求1或2所述的电子装置，还包括：

处理单元，其被配置为在检测到所述偏移查看状态的情况下，进行预定处理。

9.根据权利要求8所述的电子装置，其中，

所述预定处理是用于提示用户消除所述偏移查看状态的处理。

10.根据权利要求8所述的电子装置，其中，

所述预定处理是预定通知。

11.根据权利要求8所述的电子装置，其中，

所述预定处理是缩小所述画面上所显示的图像。

12.根据权利要求8所述的电子装置，其中，

在所述画面上显示所述眼睛要观看的指标，以及

所述预定处理是用于使所述指标的位置移动得更靠近所述画面的中心的处理。

13.根据权利要求8所述的电子装置，其中，

所述预定处理是用于基于所述检测单元所检测到的偏移查看状态来确定图像显示范围的处理，其中所述图像显示范围是所述画面中的显示图像的范围。

14.根据权利要求13所述的电子装置，还包括：

控制单元，其被配置为进行控制，以在所述画面上在改变所述眼睛要观看的指标的位置的同时显示所述指标；以及

第二估计单元，其被配置为将所述画面中的包括在未检测到所述偏移查看状态的情况下所述眼睛能够查看所述指标的多个位置的范围估计为在未检测到所述偏移查看状态的状态下的视野范围，

其中，所述处理单元基于所述第二估计单元所估计出的视野范围来确定所述图像显示范围。

15.根据权利要求14所述的电子装置，其中，

所述指标是在用于获取用以估计所述视点的参数的校准操作中所使用的指标。

16.根据权利要求14或15所述的电子装置，其中，

所述处理单元将所述视野范围的至少一部分确定为所述图像显示范围。

17.根据权利要求14或15所述的电子装置，其中，

所述处理单元确定所述图像显示范围，使得所述图像显示范围移动成包括所述视野范围的至少一部分。

18.根据权利要求14或15所述的电子装置，其中，

所述控制单元对所述画面的多个边进行控制，以在所述画面的边缘显示所述指标之后将所述指标移动得更靠近所述画面的中心，直到不再检测到所述偏移查看状态为止。

19.根据权利要求8所述的电子装置，其中，

所述预定处理是如下的处理：基于所述检测单元所检测到的所述偏移查看状态来检测位于所述眼睛窗框和所述眼睛之间的光学构件相对于未检测到所述偏移查看状态的状态的倾斜方向，并且根据所检测到的倾斜方向来将被配置为照射所述眼睛的多个光源的一部分熄灭。

20.根据权利要求19所述的电子装置，其中，

所述处理单元基于所述检测单元所检测到的所述偏移查看状态下的所述眼睛图像上的所述瞳孔图像或者所述Purkinje图像的位置来检测所述倾斜方向。

21.根据权利要求19或20所述的电子装置，其中，

所述多个光源是在偏离所述眼睛窗框中所设置的目镜光学系统的光轴的三个或更多个位置中分别设置的三个或更多个光源，以及

所述处理单元以使得至少两个光源点亮的方式熄灭一个或更多个光源。

22.一种电子装置的控制方法，所述电子装置能够通过拍摄经由眼睛窗框观看显示单元的画面的眼睛的图像来获取眼睛图像，所述控制方法包括：

基于所述眼睛图像来估计所述画面上的所述眼睛的视点；以及

基于所述眼睛图像上的瞳孔图像或者普尔钦图像即Purkinje图像的位置，来检测在所述眼睛图像上所述眼睛相对于与所述画面的中心相对应的位置发生偏移的偏移查看状态。

23.一种存储有程序的计算机可读介质，其中，所述程序使得计算机执行电子装置的控制方法，所述电子装置能够通过拍摄经由眼睛窗框观看显示单元的画面的眼睛的图像来获取眼睛图像，以及所述控制方法包括：

基于所述眼睛图像来估计所述画面上的所述眼睛的视点；以及

基于所述眼睛图像上的瞳孔图像或者普尔钦图像即Purkinje图像的位置，来检测在所述眼睛图像上所述眼睛相对于与所述画面的中心相对应的位置发生偏移的偏移查看状态。

Images