CN102548465B

CN102548465B - 视线估计装置

Info

Publication number: CN102548465B
Application number: CN201080019815.4A
Authority: CN
Inventors: 冈兼司; 筑泽宗太郎
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Automotive Electronic Systems Co ltd
Priority date: 2010-09-27
Filing date: 2010-12-14
Publication date: 2015-12-16
Anticipated expiration: 2030-12-14
Also published as: EP2457499A1; JP5466610B2; WO2012042580A1; EP2457499B1; CN102548465A; JP2012065997A; EP2457499A4

Abstract

本发明提供一种视线估计装置，即使在视线测量结果中包含由瞳孔的误检测导致的较大误差的情况下，其也能够没有延迟地得到误差被抑制的高精度的视线估计结果。视线估计装置(200)具备：图像输入部(201)，其拍摄人物而取入图像；视线测量部(202)，其根据拍摄的图像测量视线方向；视线测量结果保存部(211)，其保存过去测量的视线测量结果；代表值提取部(212)，其提取过去的视线测量结果的代表值；视线决定部(213)，其根据该代表值和该视线测量结果的差值是否小于规定的阈值T，决定将该代表值和该视线测量结果的其中一个作为视线估计结果。

Description

视线估计装置

技术领域

本发明涉及从由拍摄装置拍摄人物的面部附近区域的图像对该人物的视线方向进行估计的视线估计装置，更详细而言，涉及具有即使在由视线测量装置得到的视线测量结果中包含误差的情况下，通过将测量结果平滑化，也能够高精度地估计视线方向的功能的视线估计装置。

背景技术

近年来，设计出一种从使用设置于汽车内的车载摄像头拍摄驾驶员面部附近区域的图像估计驾驶员的视线方向，根据测量的视线方向判断驾驶员的漫不经心的状态，从而对驾驶员进行警告的系统。这种系统需要高精度地估计视线方向。

视线估计装置大体上分为两种，大致分为由放大眼部周边而拍摄的图像进行视线估计的装置和由广角拍摄包含了面部整体的面部周边的图像进行视线估计的装置。

其中，由对眼部周边进行放大并拍摄的图像进行视线估计的装置，可以进行高精度的视线估计，另一方面有如下缺点，如果头部移动则不能进行视线估计，从而不适合驾驶员的视线估计。

与此相对，由广角拍摄面部整体的图像进行视线估计的装置，即使头部比较自由地移动也能够进行视线估计，适合驾驶员的视线估计，但是，由于对眼部区域的像素数及分辨率变低，因此，有视线估计的精度容易恶化的缺点。

通常，由广角拍摄面部整体的图像进行视线估计的视线估计装置，通过检测拍摄的人物的瞳孔的中心位置来估计该人物的视线方向。这时，由于眼部区域的分辨率低，因此，在眼部区域周边的低亮度部分频繁发生瞳孔的误检测。

其结果，很多由瞳孔的误检测导致的较大误差包含在视线测量结果中。因此，为了高精度地估计视线方向，不是将暂且得到的视线测量结果直接输出，而是需要通过平滑化除去误差的影响。

因此，目前提出了使用某些信号处理技术使视线测量结果平滑化的方法。例如，为了得到高精度的视线估计结果，有使用小波分析进行平滑化处理的方法(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本专利第3760960号公报

发明内容

发明要解决的课题

但是，上述现有的技术中，在视线测量结果中包含较大误差的情况下，平滑化不充分。具体而言，经过分析实际发生的瞳孔的误检测，瞳孔的误检测在外眼角及虹膜轮廓的位置等远离瞳孔中心位置的位置上大致以数帧一次的频率发生。

例如图13所示，视线测量结果犹如脉冲(surge)电流。因此，对于这种视线测量结果即使进行高精度的平滑化处理，也不能除去较大误差，降低了视线估计结果的精度。

另外，在进行平滑化处理的情况下，平滑化后的视线测量结果通常比实际的测量值更延迟数帧量，出现实时性降低的问题。

本发明的目的在于，提供一种即使如图13所示在视线测量结果中包含由瞳孔的误检测导致的较大误差的情况下，也能够没有延迟地得到误差被抑制的高精度的视线估计结果的视线估计装置。

用于解决课题的手段

本发明的视线估计装置的构成具备：图像输入部，其拍摄包含眼睛的面部附近的区域并作为图像取入；视线测量部，其根据拍摄的图像测量视线方向；视线测量结果保存部，其保存用所述视线测量部在过去测量的视线测量结果；代表值提取部，其提取保存在所述视线测量结果保存部中的过去的视线测量结果的代表值；视线决定部，其根据由所述代表值提取部提取的代表值和由所述视线测量部测量的视线测量结果的差值D是否小于规定的阈值T，决定将所述代表值和所述视线测量结果的其中一个作为视线估计结果。

根据该构成，本发明的视线估计装置，在视线测量结果和代表值的差值D小于阈值T的情况下，将视线测量结果作为视线估计结果，在差值D大于或等于阈值T的情况下，将代表值作为视线估计结果，因此，即使在视线测量结果中包含由瞳孔的误检测导致的较大误差的情况下，也能够没有延迟地得到误差被抑制的高精度的视线估计结果。

另外，本发明的视线估计装置，也可以是，还具备决定所述阈值T的阈值决定部，所述阈值决定部在设定了在一帧期间视线可能移动的最大眼球旋转角度P和在瞳孔区域外误检测瞳孔的情况下的差值D的最小角度Q之后，决定将所述最大眼球旋转角度P以上且所述最小角度Q以下的值作为所述阈值T。

根据该构成，本发明的视线估计装置能够恰当地决定选择视线测量结果和代表值的其中一个时所用的阈值T，能够稳定地得到高精度的视线估计结果。

另外，也可以是，所述阈值决定部根据涉及控制眼球运动的肌肉的伸缩速度的已知值，设定上述最大眼球旋转角度P。

根据该构成，为了决定阈值T，本发明的视线估计装置能够将所参照的最大眼球旋转角度P作为常数，因此，能够缩短决定阈值T所需的时间。

另外，也可以是，所述阈值决定部根据过去从所述视线测量部及所述视线决定部至少一方输出的结果，对所述最大眼球旋转角度P进行微调。

根据该构成，本发明的视线估计装置根据视线测量结果及视线估计结果的至少一方对最大眼球旋转角度P进行微调，因此，能够提高最大眼球旋转角度P的精度。

另外，也可以是，所述阈值决定部根据连结从瞳孔的中心到眼球的中心的直线和连结从虹膜轮廓上的一点到上述眼球的中心的直线形成的角度、及所述最大眼球旋转角度P，设定上述最小角度Q。

根据该构成，为了决定阈值T，本发明的视线估计装置能够设定所参照的最小角度Q。

另外，也可以是，所述代表值提取部将所述视线测量结果保存部保存的视线测量结果的中央值作为所述代表值进行提取。

根据该构成，本发明的视线估计装置即使在得到误差较大的视线测量结果的情况下，也能够不延迟地得到误差被抑制的视线估计结果。

另外，也可以是，所述阈值决定部算出虹膜半径，根据算出的虹膜半径，算出连结从所述瞳孔的中心到所述眼球的中心的直线和连结从所述虹膜轮廓上的一点到所述眼球中心的直线形成的角度。

根据该构成，本发明的视线估计装置即使在驾驶员的虹膜半径存在个人差异的情况下，也能够稳定地得到高精度的视线估计结果。

另外，也可以是，本发明的视线估计装置还具备照射所述包含眼睛的面部附近区域的照射部，所述阈值决定部根据计算所述虹膜的半径的定时，改变取决于所述照射部的照射的状态。

根据该构成，本发明的视线估计装置，能够得到亮度稳定的面部周边图像，另一方面，在计算虹膜的半径时，能够根据驾驶员仅受到包含很多可见光的自然光的状态的图像算出虹膜的半径。

另外，也可以是，本发明的视线估计装置还具备对由所述视线决定部决定的值进行平滑化的时间序列滤波器。

根据该构成，本发明的视线估计装置能够得到误差被进一步抑制的高精度的视线估计结果。

发明效果

根据本发明，能够提供一种即使在视线测量结果中包含由瞳孔的误检测导致的较大误差的情况下，也能够没有延迟地得到误差被抑制的高精度的视线估计结果的视线估计装置。

附图说明

图1是表示本发明第一实施方式中的视线估计装置的概略构成的框图；

图2是表示对于构成本发明第一实施方式中的视线估计装置的视线测量部的作为输入图像的面部周边图像的概念图；

图3是表示从对于构成本发明第一实施方式中的视线估计装置的视线测量部的输入图像切出眼部周边并放大的眼部区域图像的图；

图4是表示本发明第一实施方式中的视线估计装置的视线测量结果和代表值的差值与各差值的发生频率的关系的曲线图；

图5是表示构成本发明第一实施方式中的视线估计装置的阈值决定部的构成的框图；

图6是眼球的示意图；

图7是表示构成本发明第一实施方式中的视线估计装置的视线决定部的动作的流程图；

图8是表示本发明第一实施方式中的视线静止时的视线估计装置的各部的处理结果的概念图；

图9是表示本发明第一实施方式中的视线移动时的视线估计装置的各部的处理结果的概念图；

图10是表示本发明第二实施方式中的视线估计装置的概略构成的框图；

图11是表示相对于本发明第二实施方式中的视线估计装置的近红外光照射环境下的输入图像的图；

图12是表示相对于本发明第二实施方式中的视线估计装置的可见光照射环境下的输入图像的图；

图13是表示通常的视线测量结果的曲线图。

标记说明

200、1100视线估计装置

201图像输入部

202视线测量部

203视线估计部

211视线测量结果保存部

212代表值提取部

213视线决定部

214阈值决定部

301面部周边图像

302、303、402、403眼睛的端点

401眼部区域图像

404、1001瞳孔中心

601、701表示视线测量结果的曲线图

602、702表示代表值的曲线图

603、703表示阈值处理的曲线图

604、704表示视线估计结果的曲线图

801最大眼球旋转角度决定部

802误测量时差值最小值决定部

803阈值设定部

901测量结果正确时的曲线图

902误测量时的曲线图

1002眼球中心

1003虹膜轮廓上的一点

1004虹膜角度

1005眼球半径

1006虹膜半径

1101照射部

具体实施方式

下面，参照附图对本发明的实施方式的视线估计装置进行说明。另外，如下所示的实施方式中，对同一构成要素标注同一符号，省略对其进行说明。

(第一实施方式)

图1是表示本发明第一实施方式的视线估计装置200的构成的框图。视线估计装置200，例如设于汽车的车厢内，和外部的警报装置连接。该警报装置根据视线估计装置200的视线估计结果，在判断为驾驶员长时间没有面向前面的情况下，通过对驾驶员进行警告而唤起其注意。

图1中，视线估计装置200具备：图像输入部201，其拍摄驾驶员的面部周边；视线测量部202，其从拍摄了驾驶员的面部周边的图像测量驾驶员的视线方向；视线估计部203，其对表示视线测量部202的测量结果的视线测量结果进行平滑化并估计驾驶员的视线方向。

图像输入部201由具备CCD(ChargeCoupledDevices，电荷耦合器件)或CMOS(ComplementaryMetalOxideSemiconductor，互补型金属氧化物半导体)等图像传感器的拍摄装置构成，能够拍摄前方的被摄体。图像输入部201设置于例如可以拍摄汽车方向盘之上及仪表盘之上的驾驶员的面部附近区域的地方，以便可以拍摄驾驶员的面部周边。

视线测量部202及视线估计部203例如由具备CPU(CentralProcessingUnit)及DSP(DigitalSignalProcessor)等处理器、RAM(RandomAccessMemory)、ROM(ReadOnlyMemory)、及输入输出接口的电子控制装置构成。

ROM中存储有用于使该电子控制装置作为视线测量部202及视线估计部203起作用的程序。即，该电子控制装置通过处理器将RAM作为作业区域执行存储于ROM中的程序，从而起到视线测量部202及视线估计部203的作用。

视线测量部202从由图像输入部201拍摄驾驶员的面部周边的面部周边图像，测量拍摄时的驾驶员的视线方向。下面，对由视线测量部202进行的视线方向的测量例进行说明。

视线测量部202对如图2所示的拍摄了驾驶员的面部周边区域的面部周边图像301中的至少一边的眼睛的端点302、303进行检测。例如，视线测量部202将眼睛端点的标准的图像作为样板预先保存，通过根据该样板图像在面部周边图像301内进行检索，对眼睛的端点302、303进行检测。

另外，视线测量部202穿过眼睛的端点302、303切出与眼睛的端点302、303之间的距离相应的尺寸的矩形，通过放大而获得如图3所示的眼部区域图像401。在此，视线测量部202在眼部区域图像401内对瞳孔的中心(以下仅称“瞳孔中心”)404进行检测。

例如，视线测量部202提取在眼部区域图像401中亮度低的像素，通过将提取的像素分组而提取瞳孔区域的候补之后，算出各瞳孔区域的候补的面积，选择具有最接近预先设定的瞳孔面积的面积的瞳孔区域的候补作为瞳孔区域，将选择的瞳孔区域的中心作为瞳孔中心404进行检测。

视线测量部202根据眼部区域图像401的眼睛的端点402、403及瞳孔中心404对视线方向进行检测。例如，视线测量部202对眼睛的端点402、403根据瞳孔中心404偏向左右多少，而算出视线的水平方向的角度。

另外，每当向驾驶员获取预先决定的多个角度时，视线测量部202可以通过预先保存从由图像输入部201拍摄的面部周边图像301得到的眼部区域图像401中的眼睛的端点402、403及瞳孔中心404的位置关系，算出更准确的视线角度。

由视线测量部202的测量结果中包含如图13所示的较大误差。因此，视线估计部203在将表示视线测量部202的测量结果的视线测量结果平滑化之后，对驾驶员的视线方向进行估计。另外，视线估计部203将估计的结果向警报装置输出。

图1中，视线估计部203具有：视线测量结果保存部211，其保存由视线测量部202测量的过去数帧量的视线测量结果；代表值提取部212，其提取过去数帧量的视线测量结果的代表值；视线决定部213，其决定视线方向；阈值决定部214，其决定根据视线决定部213所参照的阈值。

视线测量结果保存部211保存过去数帧量的视线测量结果。在此，对于视线测量结果保存部211保存的视线测量结果的数目，可以任意设定，但是，本实施方式中设为视线测量结果保存部211保存1秒量的帧数的视线测量结果。

代表值提取部212从保存于视线测量结果保存部211的过去的视线测量结果提取代表过去数帧量的视线测量结果的代表值。本实施方式中，代表值提取部212将保存于视线测量结果保存部211的视线测量结果的中央值作为代表值进行提取。

保存于视线测量结果保存部211的视线测量结果中多包含如图13所示的脉冲电流那种较大的误差，因此，代表值提取部212通过将视线测量结果的中央值作为代表值，能够提取视线测量结果中包含的误差的影响较小的代表值。

视线决定部213决定视线方向。具体而言，视线决定部213首先算出由视线测量部202测量的视线测量结果A和由代表值提取部212提取的代表值B的差值D。

另外，视线决定部213判断算出的差值D是否小于阈值T，在判断差值D小于阈值T的情况下，决定将视线测量结果A作为视线方向。另一方面，在判断差值D不小于阈值T，即，大于或等于阈值T的情况下，视线决定部213决定代表值B作为视线方向。

另外，视线决定部213将决定的视线方向作为视线估计结果向警报装置输出。在此，既可以将视线决定部213决定的视线方向照原样输入警报装置，也可以使用例如均值滤波器及卡尔曼滤波器等时间序列滤波器，在实施了延迟较小的平滑化处理之后再输入警报装置。

阈值决定部214根据每一帧的最大眼球旋转角度P和在瞳孔区域外误检测瞳孔的情况下的差值D的最小角度Q决定阈值T。

在此，参照图4对最大眼球旋转角度P及最小角度Q与阈值T的关系进行说明。图4表示在实际进行了视线测量的情况下，在横轴取差值D、在纵轴取差值D的发生频率时的曲线图的典型例。

在此，实线901表示视线测量结果准确时的曲线图，虚线902表示根据在瞳孔区域外误检测了瞳孔而误测量时的曲线图。从该曲线图可以认为最大眼球旋转角度P为实线901的上限值，最小角度Q为虚线902的下限值。

这样，通常，在实验上得知最小角度Q比最大眼球旋转角度P大，因此，通过在最大眼球旋转角度P和最小角度Q之间决定阈值T，能够判断差值D是由正确的测量结果得到的，还是由误测量得到的。

作为具体的构成，如图5所示，阈值决定部214具有最大眼球旋转角度决定部801、误测量时差值最小值决定部802、阈值设定部803。

最大眼球旋转角度决定部801决定最大眼球旋转角度P。该最大眼球旋转角度P根据有关控制眼球运动的肌肉的伸缩速度的医学上的已知值，可以认为是一定值。具体而言，通常的最大眼球速度为每秒300度，因此，在每秒30帧拍摄图像进行视线测量的情况下，每一帧的最大眼球旋转角度P定为10度。

另外，最大眼球旋转角度决定部801例如也可以根据视线测量部202的视线测量结果的历史及视线决定部213的视线估计结果的历史等过去的输出历史，对最大眼球旋转角度P进行微调。

例如，最大眼球旋转角度决定部801在最大眼球旋转角度P与过去的历史相比较过大的情况下，可以对最大眼球旋转角度P进行处理使其减小一定的微小值量。

误测量时差值最小值决定部802决定最小角度Q。在此，在瞳孔区域外误检测瞳孔的情况，大多发生在虹膜轮廓上或其外侧，这在实验上是已知的，因此，误测量时差值最小值决定部802利用该已知的值决定最小角度Q。

具体而言，如图6所示，误测量时差值最小值决定部802算出连结从瞳孔中心1001到眼球中心1002的直线和连结从虹膜轮廓上的一点1003到眼球中心1002的直线形成的角度(以下称为“虹膜角度”)1004，根据算出的虹膜角度1004和最大眼球旋转角度P决定最小角度Q。

在此，虹膜角度1004依存于眼球半径1005及虹膜半径1006，但是，一般成人中，眼球半径1005几乎没有各人之间的变动，关于虹膜半径1006变动也比较少，因此，能够根据医学上的已知的值设为一定值。

通常，虹膜半径1006为6mm、眼球半径1005为12mm，因此，虹膜角度1004为30度。误测量时差值最小值决定部802也考虑最大眼球旋转角度P，例如，在最大眼球旋转角度P定为10度的情况下，将最小角度Q定为20度。

另外，误测量时差值最小值决定部802可以根据图像处理算出虹膜半径1006，根据该算出结果算出虹膜角度1004。例如，图3中，误测量时差值最小值决定部802可以通过对由视线测量部202检测的在瞳孔中心404周边比一定亮度更小的像素进行分组而提取对应虹膜的像素，通过使提取的像素近似圆形，求得图像上的虹膜轮廓。

另外，如果图像输入部201的焦点距离、图像传感器的像素间距、及从摄像头到眼部周边的距离为已知，则能够将虹膜轮廓的实际尺寸从面部周边图像301导出，因此，误测量时差值最小值决定部802可以根据图像输入部201的焦点距离、图像传感器的像素间距、及从拍摄装置到眼部周边的距离从面部周边图像301算出虹膜半径1006。

在该情况下，误测量时差值最小值决定部802例如也可以使用相互的位置关系已知的2台摄像机，通过进行立体测距处理而算出从拍摄装置到眼部周边的距离。

阈值设定部803决定将最大眼球旋转角度P和最小角度Q之间的任意一个角度作为阈值T。例如，阈值设定部803能够在最大眼球旋转角度P定为10度、最小角度Q定为20度的情况下，决定阈值T为15度。

另外，阈值设定部803也可以考虑估计了头部的移动量的结果而使阈值T变动。例如，阈值设定部803也可以在头部向左右方向转动移动时，考虑到视线方向很有可能也会有较大的移动，将阈值T调大。在该情况下，阈值设定部803可以根据眼睛的端点402、403的移动量估计头部的移动量。

参照如图7所示的流程图对如上构成的视线决定部213的动作进行说明。

首先，由视线决定部213计算视线测量部202的视线测量结果A和由代表值提取部212提取的代表值B的差值D(S501)。接着，由视线决定部213判断差值D是否小于由阈值决定部214决定的阈值T(S502)。

在此，在判断差值D小于阈值T的情况下，视线测量结果A作为视线估计结果从视线决定部213输出(S503)。另一方面，在判断差值D不小于阈值T的情况下，代表值B作为视线估计结果从视线决定部213输出(S504)。

使用图8对由这样动作的视线决定部213得到的视线估计结果的输出例进行详细说明。如果视线测量结果A按时间序列绘图，则，例如曲线图601所示，视线测量结果A中会包含较大误差。

在此，如果作为曲线图601的各帧的代表值提取规定帧量的测量结果的中央值作为代表值，则，如曲线图602所示，提取的代表值的包含于视线测量结果A的误差被抑制。

之后，如果将曲线图601与曲线图602相比较，如曲线图603所示，双方的差值D都大于或等于阈值T，因此，作为视线估计结果得到曲线图604。这样，表示视线估计结果的曲线图604和代表值的曲线图602一致，因此，表示包含于视线估计结果中的误差被抑制。

下面，使用图9对视线决定部213的其它输出例进行说明。曲线图701表示视线方向以一定的速度变化。在此，如果作为曲线图701的各帧的代表值提取规定帧量的测量结果的中央值，则表示提取的代表值的曲线图702和曲线图701同样变动。

之后，将曲线图701与曲线图702相比较，如曲线图703所示，双方的差值D总是小于阈值T，因此，作为视线估计结果得到曲线图704。这样，表示视线估计结果的曲线图704和视线测量结果的曲线图701一致，因此，表示视线估计结果的延迟被抑制。

如上，如图8所示，视线决定部213能够抑制包含于视线估计结果中的较大误差，如图9所示，视线移动时，也能够没有延迟地抑制包含于视线估计结果中的误差。

这样，本发明第一实施方式的视线估计装置200在视线测量结果A和由代表值提取部212提取的代表值B的差值D小于阈值T的情况下，将视线测量结果A作为视线估计结果，在差值D大于或等于阈值T的情况下，将代表值B作为视线估计结果，因此，即使在视线测量结果中包含由瞳孔的误检测导致的较大误差的情况下，也能够没有延迟地得到误差被抑制的高精度的视线估计结果。

(第二实施方式)

如图10所示，本发明第二实施方式的视线估计装置1100除了本发明的第一实施方式的视线估计装置200的构成要件外，还具备照射包含驾驶员眼睛的面部附近的区域的照射部1101。

照射部1101由发出近红外线区域的光的灯构成，设于例如图像输入部201的附近，以使其光轴通过驾驶员的眼睛。近红外线区域的光对于驾驶员为不可见，但是能被CCD及CMOS等图像传感器探测。因此，从照射部1101照射的光在驾驶员的面部区域附近反射，图像输入部201能够拍摄反射的光的影像。

本实施方式中，阈值决定部214的误测量时差值最小值决定部802为了决定虹膜角度1004，而根据通过图像处理算出虹膜半径1006的时间改变照射部1101的照明状态。

照射部1101如果从阈值决定部214的误测量时差值最小值决定部802收到表示开始算出虹膜半径1006的定时信号，则中止照射。由此，在驾驶员仅接收到包含很多可见光的自然光的状态下，图像输入部201就能够获得图像，误测量时差值最小值决定部802用该图像能够算出虹膜角度1004。

另一方面，照射部1101如果从误测量时差值最小值决定部802接收到表示虹膜半径1006的算出结束的定时信号，则重新开始照射。

在此，就虹膜上的光的反射率而言，在可见光区域比在近红外光区域低，因此，在近红外光照射时，如图11所示，即使在虹膜的亮度高的情况下，在可见光下，如图12所示，虹膜的亮度也会变低，虹膜和巩膜(白眼珠)部分的亮度差变大。因此，通过如上述那样对照射部1101的照射进行控制，能够使虹膜半径1006的算出结果稳定。

这样，本发明第二实施方式的视线估计装置1100能够得到和本发明第一实施方式的视线估计装置200同样的效果，并且，即使在驾驶员的虹膜半径1006存在个人差异的情况下也能够稳定地没有延迟地得到高精度的视线估计结果。

另外，上述各实施方式中对用软件构成本发明的视线估计装置的情况举例进行了说明，但是，本发明的视线估计装置也可以用硬件构成。在该情况下，用于上述各实施方式的说明中的各功能块，典型地由集成电路即LSI(LargeScaleIntegration)构成。这些各功能块，个别地可以1芯片化。在此，LSI根据集成度的不同，有时也被称为IC(IntegratedCircuit)、系统LSI、超级LSI、超LSI。

另外，本发明的视线估计装置由LSI构成，除此之外还可以由专用电路或通用处理器构成。例如，制造LSI后，可以通过能够编程的FPGA(FieldProgrammableGateArray)、或能够重新构成LSI内部的电路单元的连接及设定的可重构处理器构成本发明的视线估计装置。

另外，如果通过半导体技术的进步或派生的其它技术，代替LS1的集成电路化的技术登场，则当然也可以使用该技术进行本发明的视线估计装置的各功能块的集成。

产业上的可利用性

本发明的视线估计装置能够输出精度高的视线估计结果，因此，作为可利用于使用车载用摄像头的漫不经心警报及疏忽检测的装置是有用的。另外，本发明的视线估计装置不仅是车载用途，还能够用于电视等AV设备操作、及监控摄像机中的人物行动解析等广泛用途中。

Claims

1.视线估计装置，其具备：

图像输入部，其拍摄包含眼睛的面部附近的区域并作为图像取入；

视线测量部，其根据拍摄的图像测量视线方向；

视线测量结果保存部，其保存用所述视线测量部在过去测量的视线测量结果；

代表值提取部，其提取保存在所述视线测量结果保存部中的过去的视线测量结果的代表值；

视线决定部，其根据由所述代表值提取部提取的代表值和由所述视线测量部测量的视线测量结果的差值D是否小于规定的阈值T，决定所述代表值和所述视线测量结果的其中一个作为视线估计结果，

还具备决定所述阈值T的阈值决定部，

所述阈值决定部在设定了在一帧期间视线可能移动的最大眼球旋转角度P和在瞳孔区域外误检测了瞳孔的情况下的差值D的最小角度Q之后，决定将所述最大眼球旋转角度P以上且所述最小角度Q以下的值作为所述阈值T。

2.如权利要求1所述的视线估计装置，其特征在于，所述阈值决定部根据涉及控制眼球运动的肌肉的伸缩速度的已知的值，设定所述最大眼球旋转角度P。

3.如权利要求2所述的视线估计装置，其特征在于，所述阈值决定部根据过去从所述视线测量部及所述视线决定部至少一方输出的结果，对所述最大眼球旋转角度P进行微调。

4.如权利要求1所述的视线估计装置，其特征在于，所述阈值决定部根据连结从瞳孔的中心到眼球的中心的直线和连结从虹膜轮廓上的一点到所述眼球的中心的直线所形成的角度、及所述最大眼球旋转角度P，设定所述最小角度Q。

5.如权利要求1所述的视线估计装置，其特征在于，所述代表值提取部将所述视线测量结果保存部保存的视线测量结果的中央值作为所述代表值进行提取。

6.如权利要求4所述的视线估计装置，其特征在于，所述阈值决定部算出虹膜半径，根据算出的虹膜半径，算出连结从所述瞳孔的中心到所述眼球的中心的直线和连结从所述虹膜轮廓上的一点到所述眼球的中心的直线所形成的角度。

7.如权利要求6所述的视线估计装置，其特征在于，

还具备照射所述包含眼睛的面部附近区域的照射部，

所述阈值决定部与计算所述虹膜的半径的定时相应，改变取决于所述照射部的照射的状态。

8.如权利要求1所述的视线估计装置，其特征在于，还具备对由所述视线决定部决定的值进行平滑化的时间序列滤波器。