CN101241548A - 睑检测装置及其程序 - Google Patents
睑检测装置及其程序 Download PDFInfo
- Publication number
- CN101241548A CN101241548A CNA200810005812XA CN200810005812A CN101241548A CN 101241548 A CN101241548 A CN 101241548A CN A200810005812X A CNA200810005812X A CN A200810005812XA CN 200810005812 A CN200810005812 A CN 200810005812A CN 101241548 A CN101241548 A CN 101241548A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- eyelid
- edge line
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000744 eyelid Anatomy 0.000 title claims abstract description 227
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 239000000284 extract Substances 0.000 claims abstract description 51
- 230000001815 facial effect Effects 0.000 claims description 70
- 238000000605 extraction Methods 0.000 claims description 49
- 238000010606 normalization Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 abstract description 55
- 238000012545 processing Methods 0.000 description 55
- 238000000034 method Methods 0.000 description 31
- 230000009471 action Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 12
- 210000004709 eyebrow Anatomy 0.000 description 4
- 238000000151 deposition Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000004087 circulation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Geometry (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种能够用少的运算正确地检测出睑的睑检测装置。摄像机(10)拍摄对象者的面部，计算机(14)的CPU(24)获取该动画像，并存储到图像存储器(22)。CPU(24)从存放在图像存储器(22)中的动图象的规定区域中提取由对象者的候选上睑和下睑的候选组合构成的边缘线。CPU(24)将所提取的边缘线内候选上睑的重心沿上下方向移动而候选下睑的重心不移动的边缘线判断为对象者的睑。
Description
技术领域
本发明涉及一种睑检测装置及其程序。
背景技术
已知从包含人的面部的图像中检测人的面部和眼睛的位置的技术。例如，在专利文献1中提出了一种面部检测装置，其将输入图像分割成小的区域，根据各小区域的亮度特征检测出眼睛的候选区域和眼睛之间的候选区域，根据眼睛的候选区域和眼睛之间的候选区域的位置关系确定眼睛之间的区域，从而按照包含眼睛之间的区域的方式确定眼睛和面部的区域。
但是，在专利文献1的面部检测装置中，由于从广大的区域中检测眼睛之间的局部区域，因此图像处理负担大。还有，由于根据上下左右相邻小区域的浓度直方图和边缘信息来判断有无眼镜，也考虑会受到眼镜的边框设计形状的影响，基于在这种条件下检测出的眼睛之间的区域，来确定左右眼睛的位置，因此不能否定出现误检结果的可能性。
还有，在专利文献2中，公开了一种检测正在驾驶车辆等移动体的驾驶员的眼睛的开闭状态的开闭状态检测装置。专利文献2所公开的开闭状态检测装置拍摄对象者的面部图像且检测所获得的面部图像中的上睑(的图像)。接着，所检测的上睑由多次曲线进行逼近(approximation)，并计算出逼近的多次曲线的曲率且将所计算出的曲率作为上睑的曲率，从而基于曲率的大小来判断眼睛的开闭。
上述开闭检测技术中，在对面部图像中的上睑进行检测时，有可能由于外部乱光进入的影响或眼镜等而造成上睑的误检测。还有，在检测上睑时，要进行多次曲线逼近并计算所逼近的多次曲线的曲率，因此需要进行庞大量的运算处理。
专利文献1：日本特开2001-216515号公报
专利文献1：日本特开2004-220080号公报
本发明是鉴于上述问题而作成的，其目的在于提供能够高精度且高速地判断睑(眼睛)的位置的睑检测装置。
还有，本发明的其他目的在于提供能够正确检测睑的睑检测装置。另外，本发明的其他目的在于提供能够利用少的运算来检测睑的睑检测装置。
发明内容
为实现上述目的，与本发明的第1观点有关的睑检测装置，其特征在于，具有：
存储在不同时刻获得的对象者的面部的多个图像的面部图像存储单元；
对存储在上述面部图像存储单元的多个图像进行处理且检测由眨眼引起的图像的变化的变化检测单元；和
基于上述变化检测单元所检测到的变化来检测对象者的睑的位置的睑检测单元。
也可以进一步具备：
例如，对存储在上述面部图像存储单元中的图像进行处理且提取相当于图像区域的边界的边缘线的边缘线提取单元；和
从上述边缘线提取单元提取的边缘线中提取由与上睑对应的边缘线和与下睑对应的边缘线的候选组合构成的边缘线对的候选睑提取单元，
上述睑检测单元还可以具有：将上述候选睑提取单元所提取的边缘线中的、构成对的候选上睑的边缘线的代表点沿规定方向移动之对判断为与上述对象者的上睑和下睑相对应的边缘线对的睑判断单元。
例如，也可以进一步具备：检测被包含于上述面部图像存储单元所存储的图像中的上述对象者的面部轮廓的中心线的中心线检测单元，
上述候选睑检测单元从上述边缘线提取单元所提取的边缘线对中的、以上述检测单元检测的中心线为轴呈线对称的边缘线对所存在的边缘线之对内、提取与上述对象者的上睑对应的边缘线和与下睑对应的边缘线的候选组合的边缘线对。
其特征还可以为，例如，上述变化检测单元还具有：对于上述候选睑提取单元所提取的复数对的边缘线，计算表示与上睑对应的边缘线的代表点和与下睑对应的边缘线的代表点之间的距离发生变化的状态的参数的参数计算单元；和
基于上述参数计算单元所计算的参数来计算用于表示上述边缘线是上述对象者的睑的准确度的可靠度(可靠性)的可靠度计算单元，
上述睑判断单元，在上述候选睑提取单元所提取的边缘线之对内，检测上述可靠度计算单元所计算的可靠度满足规定值的边缘线之对，并判断为上述对象者的睑。
其特征还可以为，例如，上述参数为上述距离变化的振幅和/或周期。
其特征还可以为，例如，具有：检测被包含于上述面部图像存储单元所存储的图像中的上述对象者的面部轮廓的中心线的中心线检测单元，
上述变化检测单元具有：
计算表示与上述候选睑提取单元所提取的上睑对应的边缘线的代表点和与下睑对应的边缘线的代表点之间的距离发生变化的状态的参数的参数计算单元；和
基于上述参数计算单元所计算的参数来计算边缘线用于表示边缘线之对是与上述对象者的上睑和下睑相对应的边缘线对的准确度的可靠度的可靠度计算单元，
上述睑判断单元，从上述候选睑提取单元所提取的边缘线之对内、以上述检测单元检测的中心线为轴呈线对称的边缘线之对所存在的边缘线之对中，检测出上述可靠度计算单元所计算的可靠度满足规定值的边缘线对，并判断为上述对象者的上睑和下睑的边缘线对。
还可以在对面部图像的浓度(梯度)或尺寸(纵横)、颜色等进行归一化(正规化)后再进行处理。
例如，上述变化检测单元还可以进一步具有：从存储在上述面部图像存储单元中的多个图像中检测面部区域的面部区域检测单元；
对上述面部区域检测单元检测的面部区域按照规定的尺寸进行归一化处理而生成面部区域图像的归一化单元；
存储有上述归一化单元生成的多个面部区域图像的归一化图像存储单元；
求出存储在上述归一化图像存储单元中的、最新的面部区域图像与其它多个面部区域图像之间的差分，生成多个差分图像的差分图像生成单元；和
从上述差分图像生成单元生成的多个差分图像中，将具有规定的阈值以上的浓度值的区域检测为动区域的动区域检测单元，
上述睑检测单元还具有：
从上述多个差分图像中选择上述动区域检测单元检测的最大的一个动区域的差分图像选择单元；和
从上述差分图像选择单元选择的差分图像的动区域中确定眼睛区域的眼睛区域确定单元。
例如，上述眼睛区域确定单元也可以基于眼睛的左右对称性来确定眼睛区域。
例如，上述归一化图像存储单元也可以存储与人的闭眼所花费时间相对应的时间、各面部区域图像。
与本发明的第2观点有关的睑检测装置，其特征在于，具有：
存储对象者的面部图像的面部图像存储单元；
从存储在上述面部图像存储单元的图像的规定区域基于图像的灰度提取边缘线的边缘线提取单元；
从上述边缘线提取单元提取的边缘线中提取由对象者的上睑的边缘线和下睑的边缘线的候选组合构成的边缘线对的候选睑提取单元；
检测被包含于上述面部图像存储单元所存储中的图像中的面部轮廓的中心线的中心线检测单元；和
在上述候选睑提取单元所提取的边缘线对内检测以上述检测单元检测的中心线为轴呈线对称的边缘线所存在的边缘线之对，从其中判断相当于与上述对象者的上睑和下睑对应的边缘线的睑判断单元。
与本发明的第3观点有关的程序，其特征在于，
使计算机具有如下单元的功能；
存储在不同时刻获得的对象者的多个面部图像的面部图像存储单元；
对存储在上述面部图像存储单元中的图像进行处理、提取相当于图像区域的边界的边缘线的边缘线提取单元；
从上述边缘线提取单元提取的边缘线中、提取由与上睑对应的边缘线和与下睑对应的边缘线的候选组合构成的边缘线对的候选睑提取单元；和
将上述候选睑提取单元所提取的边缘线中的、构成对的候选上睑的边缘线的代表点沿规定方向移动之对判断为与上述对象者的上睑和下睑相对应的边缘线对的睑判断单元。
与本发明的第4观点有关的程序，其特征在于，
使计算机具有如下单元的功能；
存储对象者的面部图像的面部图像存储单元；
从上述面部图像存储单元存储的图像的规定区域基于图像的灰度提取边缘线的边缘线提取单元；
从上述边缘线提取单元提取的边缘线中提取由对象者的上睑的边缘线和下睑的边缘线的候选组合构成的边缘线对的候选睑提取单元；
检测被包含于上述面部图像存储单元所存储的图像中的面部轮廓的中心线的中心线检测单元；和
在上述候选睑提取单元所提取的边缘线之对内检测出以上述检测单元检测的中心线为轴呈线对称的边缘线所存在的边缘线之对，从其中判断相当于与上述对象者的上睑和下睑对应的边缘线的睑判断单元。
与本发明的第5观点有关的程序，其特征在于，
使计算机具有如下单元的功能：
存储包含对象者的面部的图像的图像存储单元；
从存储在上述图像存储单元的多个图像中检测出面部区域的面部区域检测单元、
对上述面部区域检测单元检测的面部区域按照规定的尺寸进行归一化处理而生成面部区域图像的归一化单元；
存储有上述归一化单元生成的多个面部区域图像的面部图像存储单元；
求出在上述面部图像存储单元中存储的、最新的面部区域图像与其它多个面部区域图像之间的差分而生成多个差分图像的差分图像生成单元；
从上述差分图像生成单元生成的多个差分图像中将具有浓度值为规定的阈值以上的区域检测为动区域的的动区域检测单元；
从上述多个差分图像中选择上述动区域检测单元检测的最大的一个动区域的差分图像选择单元；和
从上述差分图像选择单元选择的差分图像的动区域中确定眼睛区域的眼睛区域确定单元。
利用本发明，可以提供一种能够用少的运算来正确检测睑的睑检测装置和程序。
附图说明
图1是表示本发明的第1实施形态有关的睑检测装置的框图。
图2是表示图1所示的计算机的结构的框图。
图3是说明存放在ROM或RAM中的各种数据的图。
图4是说明本发明的第1实施形态有关的处理的概要的图。
图5是说明第1实施形态的睑检测处理的流程图。
图6是表示本发明的第2实施形态有关的睑检测装置的累积处理的动作的流程图。
图7是表示图6所示的面部区域检测处理的动作的流程图。
图8是表示本发明的第2实施形态有关的睑检测装置的眼睛区域检测处理的动作的流程图。
图9是表示图8所示的差分图像生成处理的动作的流程图。
图10是表示图8所示的动区域检测处理的动作的流程图。
图11是表示图8所示的差分图像生成处理的动作的流程图。
图12是表示图8所示的眼睛区域确定处理的动作的流程图。
图13是表示面部图像检测的具体例的图。
图14是表示差分图像生成的具体例的图。
图15是表示眼睛区域检测的具体例的图。
图16是说明本发明的第3实施形态有关的处理的概要的图。
图17是说明第3实施形态的睑检测处理的流程图。
图18是说明本发明的第4实施形态有关的处理的概要的图。
图19是说明本发明的第4实施形态有关的处理的概要的图。
图20是说明第4实施形态的睑检测处理的流程图。
图中：10-摄像机，12-照明光源，14-计算机，16-显示装置，21-A/D变换器，22-图像存储器(面部图像存储单元)，23-ROM，24-CPU(边缘线提取单元、候选睑提取单元、睑判断单元、中心线检测单元)，25-RAM，26-显示控制装置，28-设定存储器，29-操作装置，50-睑检测装置
实施方式
(第1实施形态)
以下，说明与本发明的第1实施形态有关的睑检测装置。睑检测装置50从驾驶员的几个面部图像中检测出由眨眼引起的变化，并根据该变化所在部分来检测睑的位置。尤其，第1实施形态有关的睑检测装置50，基于图像的灰度提取边缘线从而提取候选睑，并且从该候选中将边缘线的代表点(该实施形态中为重心)沿规定方向移动之对判断为睑。
如图1所示，本实施形态的睑检测装置50具有拍摄驾驶员的面部并生成面部图像的摄像机10、对驾驶员的面部进行照明的照明光源12、检测驾驶员的面部中心位置的计算机14、和与计算机10连接的显示装置16而构成。
摄像机10利用例如CCD摄像机等，按照一定周期(例如，1/30秒)获得驾驶员的面部的灰度图像并进行输出。从摄像机10依次输出的面部图像不仅包括驾驶员的面部(的图像)，还包括其背景(的图像)等。
显示装置16由LCD(Liquid Crytal Display)或CRT(Cathode RayTube)等构成，显示从摄像机10拍摄的面部图像所生成的2值化图像等。另外，显示装置16不是必须设备，也可以不装备。
计算机14对由摄像机10获取的面部动画像进行处理来检测其睑的位置。如图2所示，计算机14由A/D变换器21、图像存储器22、ROM(ReadOnly Memory)23、CPU(Central Processing Unit)24、RAM(Random AccessMemory)25、显示控制装置26、光源控制装置27、设定存储器28、和操作装置29构成。
A/D(模拟/数字)变换器21将由摄像机10所拍摄的模拟图像信号转换为数字信号。
图像存储器22中存放由摄像机10生成并由A/D变换器进行数字化后的图像数据。
ROM23存储用于控制CPU的动作的程序。还有，ROM23存储用于进行后述的图像处理的各种固定数据。
CPU24对计算机14整体进行控制。还有，CPU24通过运行存放在ROM23中的程序，对由摄像机10获得的一系列面部图像进行处理，由此检测出睑。
RAM25起着CPU24的工作区域的作用。
显示控制装置26在CPU的控制的基础上，将影像数据等变换为显示装置16能够输出的数据形式，并输出到显示装置16。
光源控制装置27对照明光源12的点灯·灭灯进行控制。
设定存储器28中存放与CPU24处理面部动画像而检测出睑的处理设定有关的信息(以下，称为设定信息)。
操作装置29接收来自用户的操作信息，将操作所对应的操作信号输出到CPU24。
接着，参照图3对存放在ROM23中的固定数据的例子进行说明。首先，ROM23中存放如图3(a)所示那样的横边缘检测用索贝尔(Sobel)滤波器的算子(operator)。横边缘检测用索贝尔滤波算子是用于强调如图3(b)所示的横方向的浓淡差的算子。
设定存储器28预先存放如图3(c)所示那样的表示在RAM25存放的面部图像中被假定为眼睛和眉毛存在的区域的设定信息。例如，在图3(c)中，假定为眼睛和眉毛存在的区域被设定在“y1≤y≤y2”的范围。下面，将被假定为眼睛和眉毛存在的区域称为设定区域。
下面，说明具有上述结构的第1实施形态有关的睑检测装置50的动作。
首先，参照图4，说明睑检测装置50检测面部图像中的睑的动作的概要。
摄像机10按照一定周期(例如，1/30秒周期)拍摄如图3(c)所示的对象者的面部图像，并输出面部图像。所输出的面部图像依次存放在图像存储器22中。
接着，CPU24依次读出存放在图像存储器22中的面部图像，进行如下处理。
首先，CPU24获取存放在设定存储器28中的设定信息所表示的设定区域，在描绘的面部动画像的各自的图像的设定区域中，利用图3(a)所示的横边缘检测用索贝尔滤波器，进行提取图像内的横边缘线的处理。其结果，如图4(a)所示，将y轴方向上从亮像素转变为暗像素的边缘线表示为负边缘，将y轴方向上从光度暗的像素转变为亮像素的边缘线表示为正边缘。另外，在图上，由虚线表示负边缘，由实线表示正边缘。
接着，CPU24从所求出的负边缘和正边缘中，提取满足下面3个公式的负边缘和正边缘的组合。
Lp-Lm＜Lth... (1)
这里，Lp为表示正边缘的长度的值，Lm为表示负边缘的长度的值，Lth为阈值。满足公式(1)的负边缘和正边缘的长度在Lth的范围近似。
Cxp-Cxm＜Cxth... (2)
这里，Cxp为表示正边缘的重心(代表点)的x座标，Cxm为表示负边缘的重心(代表点)的x座标，Cxth为阈值。满足公式(2)的负边缘和正边缘的重心的x座标在Cxth的范围近似。
Dg＜Dth... (3)
这里，Dg为负边缘的重心与正边缘的重心之间的距离，Dth为阈值。满足公式(3)的负边缘和正边缘的重心之间距离在阈值Dth以内。
CPU24利用上述3个公式，在所提取的负边缘和正边缘的组合内，将负边缘作为候选上睑，将正边缘作为候选下睑。
即，满足公式(1)～(3)的负边缘和正边缘的组合为在某种程度上、长度相等、位置相近、重心的x座标一致的负边缘和正边缘的组合。
图4(b)表示基于公式(1)～(3)的负边缘和正边缘的组合的一个例子。正边缘102与负边缘103的组合、正边缘105与负边缘106的组合、正边缘107与负边缘108的组合、和正边缘109与负边缘110的组合都是对象者的候选睑。
CPU24对上述候选睑内不同时刻所获得的多个面部图像进行分析，将如图4(c)所示那样正边缘的重心沿y轴方向和反方向移动而与其相对负边缘的重心不移动的组合，判断为睑。这里，边缘线的代表点设为重心，但代表点也可以不是重心。例如，代表点也可以设为“对边缘强度进行加权计算后的点”、“边缘强度的极大点”、“边缘强度的极小点”、“图像上下方向的边缘线的顶点”、“图像上下方向的边缘线的下端点”等。
这里，参照图5，详细说明本发明的第1实施形态有关的睑检测装置50进行的睑检测处理。
CPU24周期性地(例如，每隔1/30秒)开始图5的处理。CPU24经由A/D变换器21获取摄像机10拍摄的对象者的面部图像，并存放在图像存储器22中(步骤S101)。
CPU24提取在图像存储器22中存放的面部图像的各图像中的、基于存放在设定存储器28中的设定信息的设定区域的部分(步骤S102)。
CPU24对面部动画像的各图像的设定区域的部分，利用存放在ROM23中的横边缘检测用索贝尔滤波器，进行提取横边缘线的处理(步骤S103)。
CPU24从所提取的边缘线中，提取满足上述公式(1)～(3)的负边缘和正边缘的组合(步骤S104)。
CPU24针对所提取的负边缘和正边缘的组合求出其重心。CPU24还求出与针对过去的面部图像所求出的正边缘和负边缘之对有关的各边缘的重心位置，并求出从一系列图像提取的各边缘线的重心的履历。这样，CPU24判断是否存在如图4(c)所示那样重心沿y轴方向或其反方向移动的正边缘与重心(几乎)不移动的负边缘之组合(步骤S105)。
在不存在重心沿y轴方向或其反方向移动的正边缘与重心不移动的负边缘之组合的情况下(步骤S105：NO)，CPU24变更存放在设定存储器28中的设定信息，变更或扩大设定区域(步骤S107)。然后，返回到步骤S102的处理。
在存在重心沿y轴方向或其反方向移动的正边缘与重心不移动的负边缘之组合的情况下(步骤S105：YES)，CPU24将该负边缘和正边缘之组合判断为对象者的睑(步骤S106)，然后结束处理。
这样，本发明的第1实施形态有关的睑检测装置50能够用少的运算正确检测出睑。即，能够检测出眼睛(的位置)。
另外，基于这样确定的上睑和下睑的位置，在此之后，可用于确定驾驶员的注视方向、或判断驾驶员是否处于清醒状态。例如，求出睑的位置所对应的瞳孔的位置，进一步求出面部的朝向，由此可以判断驾驶员的视线的朝向，并且利用所判断的视线的朝向进行车辆的各种控制。还有，在上睑与下睑的距离小于基准的状态维持一定时间以上的情况下，可以判断驾驶员正在打瞌睡，从而也可进行规定的控制。
(第2实施形态)
在第1实施形态中，睑检测装置50从所提取的负边缘和正边缘的组合中，将其重心沿规定方向移动的组合判断为对象者的睑。
在第2实施形态中，获取多个图像的差分，提取存在变化的部分。然后，从存在变化的部分中检测出睑。即，通过检测驾驶员的眨眼动作，来检测睑的位置(眼睛的区域)。
接着，说明睑检测装置50检测面部图像中的眼睛的区域的动作。
图6是表示CPU24运行的累积处理的动作的流程图。累计处理为CPU24从摄像机10所拍摄的图像中将面部区域提取并进行归一化且累积到图像存储器22的处理。
CPU24按照规定的帧周期(例如，33毫秒)，进行累积处理。首先，CPU24控制摄像机10，拍摄图像(步骤S210)。
接着，CPU24进行面部区域检测处理(步骤S220)。面部区域检测处理为从摄像机10所拍摄的包含面部图像的原图像中检测出面部图像的区域且提取该面部区域的处理。
图7是表示面部区域检测处理(步骤S220)的动作的流程图。首先，CPU24获得摄像机10拍摄的图像(步骤S221)。然后，CPU24对拍摄的图像的亮度进行横方向的微分(步骤S222)，从所获得的图像中提取纵边缘图像(步骤S223)。还有，为了明确所得到的纵边缘部分，将所得到的纵边缘图像二值化(步骤S224)。接着，将二值化后的图像以纵方向的长度加权后进行投影(步骤S225)，生成直方图(步骤S226)。具体来说，通过利用边缘部分的纵方向的长度的2次方的值进行加权，可以对纵向长的边缘部分进行强调且进行投影。由此，确定纵向长的面部的纵边缘(步骤S227)。
通过在纵方向循环进行同样处理，可以获得横边缘(步骤S221-S227)。
利用步骤S221-S227的处理，获得纵边缘和横边缘，从而将由该两边缘包围的部分提取为面部区域(步骤S228)。
如上所述，利用面部区域检测处理可以检测并提取面部区域。另外，从图像中检测面部区域的方法并不局限于该例所示的方法。例如，也可以与第1实施形态一样利用索贝尔滤波器，将拍摄的图像累计并进行时间微分(获得差分)且从该图像中获取直方图，从而提取面部区域。还有，也可以将该方法与前述方法组合在一起。另外，也可以利用预先登录的样板进行匹配，从而提取面部区域。
接着，CPU24将面部区域图像归一化(步骤S230)。这里，将在面部区域检测处理(步骤S220)提取的面部区域按照规定的尺寸进行归一化。通过面部区域检测处理提取的面部区域，由于驾驶员的姿势等就会使其尺寸和形状始终变化。在该处理中，由于进行各面部区域图像的帧间差分处理，因此按照可共同处理的方式将图像尺寸进行归一化。具体来说，对由面部区域检测处理(步骤S220)提取的面部图像进行线性归一化，以成为纵100像素×横100像素的图像。还有，CPU24将用于归一化处理的参数存储在RAM25中，以将从归一化处理后的图像中获得的眼睛区域变换为原图像的座标值(步骤S230)。另外，也可以进行浓度的归一化。
然后，CPU24将在步骤S230归一化处理后的面部图像存储在图像存储器22中(步骤S240)。这里，由于只累积归一化后的面部区域图像，因此可以节约图像存储器22的存储器空间。另外，为了进行帧间差分，需要累积多个归一化处理后的面部区域图像。这里，基于统计调查的人闭眼所需时间(50-150毫秒)，在150毫秒间(相当于4帧以上的时间)进行累积。
具体来说，在步骤S210，假定拍摄了如图13(a)所示的包括驾驶员的面部的图像(原图像)。在面部区域检测处理(步骤S220)，如图13(b)所示那样检测面部区域。然后，在步骤S230，如图13(c)所示，面部图像被归一化。
接着，说明眼睛区域检测处理。眼睛区域检测处理为从累积在图像存储器22中的面部图像中检测出眼睛区域的处理。图8是说明眼睛区域检测处理的动作的流程图。
在眼睛区域检测处理中，首先，CPU24进行差分图像生成处理(步骤S250)。差分图像生成处理是获取累积在图像存储器22中的最新图像与其它的全图像之间的差分、生成差分图像的处理。其详细动作后面再叙述。
然后，CPU24进行动区域检测处理(步骤S260)。动区域检测处理是基于由差分图像生成处理(步骤S250)生成的差分图像、检测具有运动的区域(动区域)的处理。其详细动作后面再叙述。
接着，CPU24进行差分图像选择处理(步骤S270)。差分图像选择处理是从差分图像生成处理(步骤S250)生成的、并在动区域检测处理(步骤S260)检测出动区域的多个差分图像中，选择用于检测眼睛区域的差分图像的处理。其详细动作后面再叙述。
然后，CPU24进行眼睛区域确定处理(步骤S280)。眼睛区域确定处理是从差分图像选择处理(步骤S270)所选择的差分图像的动区域中确定眼睛区域的处理。其详细动作后面再叙述。
接着，说明眼睛区域检测处理的各处理的详细动作。图9是表示差分图像生成处理(步骤S250)的动作的流程图。在差分图像生成处理中，首先，CPU24获得累积在图像存储器22中的多个面部图像(步骤S251)。然后，从其中确定最新的图像(步骤S252)。接着，CPU24获取最新图像与其它图像之间的差分，生成多个差分图像(步骤S253)。将该差分图像保存到RAM25中(步骤S254)。
具体来说，如图14所示，生成最新的归一化图像(a)与66毫秒前的归一化图像(b)之间的差分图像(e)、最新的归一化图像与99毫秒前的归一化图像(c)之间的差分图像(f)、最新的归一化图像与132毫秒前的归一化图像(d)之间的差分图像(g)。
另外，也可以利用统计等解析方法，获得与预先准备好的图像之间的差分，从而生成差分图像。
图10是表示动区域检测处理(步骤S260)的动作的流程图。在动区域检测处理中，首先，CPU24在差分图像生成处理(步骤S250)，获取生成的差分图像(步骤S261)。然后，从所获取的差分图像中，提取浓度值为规定值以上的像素(例如，浓度值为50以上的像素)(步骤S262)。然后，CPU24对在步骤S262提取的像素中的、附近的像素进行分组(步骤S263)。这里，将附近3个像素之内的像素分在同一组。然后，将分组后的区域作为动区域图像保存在RAM中(步骤S264)。通过对于所有的差分图像循环进行这些处理，可以检测所有的差分图像的动区域。
另外，也可以在该处理使用的条件中追加解像度、浓度梯度等。还有，分组时，除了像素的位置信息外，也可以追加浓度信息。
图11是表示差分图像选择处理(步骤S270)的动作的流程图。在差分图像选择处理中，首先，CPU24获得由动区域检测处理(步骤S260)检测出动区域的多个差分图像(动区域图像)(步骤S271)。然后，比较多个差分图像的动区域的像素合计值(动区域面积)(步骤S272)。根据比较结果，选择像素合计值最大的差分图像(步骤S273)，将其保存到RAM25(步骤S274)。
具体来说，从图14(a)-(g)的差分图像中，选择动区域面积最大的图14(f)。
如上所述，可以选择用于眼睛区域检测的差分图像。由于选择差分图像中动区域最大的，因此可以选择驾驶员眨眼以前和以后的差分图像。
图12是眼睛区域确定处理(步骤S280)的动作的流程图。在眼睛区域确定处理中，利用眼睛区域的左右对称性来确定眼睛区域。在眼睛区域确定处理中，首先，CPU24获得由差分图像生成处理(步骤S270)选择的差分图像(步骤S281)。然后，在分组后的动区域中，搜索左右方向存在的动区域(步骤S282)。然后，对于所检测的动区域，判断重心和面积(像素数)是否在规定的阈值内(步骤S283)。如果不在规定的阈值内(步骤S283：No)，则再次回到步骤S282的处理，搜索动区域。如果步骤S283中为规定的阈值内(步骤S283：Yes)，则将该区域确定为眼睛区域(步骤S284)，保存到RAM25(步骤S285)。即，在步骤S282、S283的处理中，将重心和面积不符合为眼睛区域的区域(左右平衡不好、太小、左右对称性不合适)排除出去。
具体来说，从图15(a)所示的图像中，排除没有对称性的部分，如图15(b)所示确定眼睛区域。
如上所述，可以确定眼睛区域。另外，在眼睛区域确定处理中，为了更正确地评价左右对称性，也可以将浓度值的平均值高的区域、区域中具有浓度差峰值的区域确定为眼睛区域。另外，也可以作为条件追加与从原图像提取的边缘部分之间的位置关系。
另外，基于归一化时采用的参数，将确定为眼睛区域的图像变换为原图像的尺寸。所变换的图像用于确定驾驶员的注视方向、和判断驾驶员是否清醒。
例如，也可以从判断为眼睛区域的区域中检测出第1实施形态中所示的边缘对，将该边缘对作为与上睑对应的边缘、与下睑对应的边缘进行处理。此时，也可以检查与上睑对应的边缘的重心的移动，从而判断为真正的上睑，也可以省略判断。
还有，也可以利用任意方法，从判断为眼睛区域的区域中提取眼睛的参数，用于其它控制中。
如上说明，通过获取帧间差分，从图像中提取眼睛出现的眨眼动作。然后，利用眼睛具有的图像特征对眼睛进行检测，从而能够防止错误地检测面部图像内存在的眉毛、胡须、眼镜框架等。还有，由于只要利用图像特征的眼镜区域的检测在面部图像这样限定的区域内进行即可，因此能够使处理速度高速化。这样，能够高速且高精度地检测眼睛的位置。
另外，归一化的对象可以不限制于面部尺寸，也可以对图像的浓度(灰度)、颜色等进行归一化处理。例如，对浓度进行归一化处理时，为了使处理对象的各图像的平均亮度相同，可以求出各图像的平均亮度，将该平均亮度与基准亮度之比值“基准亮度/平均亮度”乘以各图像内的全像素，来对各像素进行修正后，进行处理。另外，基准亮度为多个图像的共同的基准值。
(第3实施形态)
在第1实施形态中，睑检测装置50从所提取的负边缘和正边缘的组合中，将其重心沿规定方向移动的组合判断为对象者的睑。在第3实施形态中，还检测出对象者的面部轮廓的中心线，将负边缘和正边缘的组合、并相对于中心线为线对称的其它的负边缘和正边缘的组合判断为对象者的睑。另外，第3实施形态的结构与第1实施形态相同。
接着，参照图16(a)、(b)，说明睑检测装置50检测面部动画像中的睑的动作的概要。
首先，睑检测装置50进行与第1实施形态相同的处理，从图16(a)的面部图像中，求出面部轮廓的中心线200。
接着，从图16(a)所示图像中，提取y座标在y1-y2范围内的设定领域。
接着，对所提取的图像进行索贝尔滤波处理，如图16(b)所示，提取图16(b)所示那样的负边缘和正边缘的组合。这里，正边缘301和负边缘302的组合作为候选1，正边缘305和负边缘306的组合作为候选2，正边缘303和负边缘304的组合作为候选3，正边缘307和负边缘308的组合作为候选4，正边缘309和负边缘310的组合作为候选5。
接着，睑检测装置50将面部的中心线200作为基准，从候选中排除不存在相对于中心线200为线对称的边缘线之对(边缘线对)的那些候选。由此，排除了由正边缘309和负边缘310的组合构成的候选5。接着，从剩下的候选区域中，将相当于上睑的边缘线的重心发生移动的组合、即候选3和4判断为睑的边缘线对。
参照图17，详细说明与本发明的第3实施形态有关的睑检测装置50进行的睑检测处理。
CPU24周期性地开始图17的处理。首先，经由A/D变换器21获取摄像机10拍摄的对象者的面部动画像，并存放在图像存储器22中(步骤S301)。
CPU24检测出本次获取的面部图像中的各图像的面部轮廓的中心线(步骤S302)。
CPU24提取在图像存储器22中存放的面部图像的各图像中的、基于存放在设定存储器28中的设定信息的设定区域的部分(步骤S303)。
CPU24对面部图像的设定区域的部分，利用存放在ROM23中的横边缘检测用索贝尔滤波器，进行提取横边缘线的处理(步骤S304)。
CPU24从所求出的边缘线中，提取满足第1实施形态中使用的公式(1)～(3)的负边缘和正边缘的组合(步骤S305)。
CPU24从步骤S305所提取的负边缘和正边缘的组合中，排除不相对于中心线为线对称之对的那些组合(步骤S306)。
CPU24在剩下的负边缘和正边缘的组合中，判断是否存在中心线方向上重心移动的正边缘和重心不移动的负边缘的组合(步骤S307)。
当不存在中心线方向上重心移动的正边缘和重心不移动的负边缘的组合(步骤S307：NO)的情况下，CPU24变更存放在设定存储器28中的设定信息，变更或扩大设定区域(步骤S310)。然后，返回步骤S303的处理。
在存在中心线方向上重心移动的正边缘和重心(几乎)不移动的负边缘的组合(步骤S307：YES)的情况下，CPU24提取该负边缘和正边缘的组合(步骤S308)。
CPU24将负边缘和正边缘的组合中的、中心线方向上重心移动、存在相对于中心线为线对称之对的负边缘和正边缘的组合判断为对象者的睑(步骤S309)。
这样，与本发明的第3实施形态有关的睑检测装置50即使在设定区域中包含有对象者的嘴巴等情况下，也能够用少的运算来正确检测出睑。
另外，虽然与第1实施形态相对应而表示了检测睑的例子，但也可以利用第2实施形态的图12的步骤S282-S284适用于确定眼睛区域的情况。
(第4实施形态)
在第1实施形态中，睑检测装置50从所提取的负边缘和正边缘的组合中，将其重心沿规定方向移动的组合判断为对象者的睑。在第4实施形态中，进一步判别负边缘和正边缘的重心沿规定方向移动是否是由眨眼所引起的，并将判别为由眨眼所引起的负边缘和正边缘的组合判断为对象者的睑。另外，第4实施形态的结构与第1实施形态相同。
接着，参照图18、19，说明睑检测装置50检测面部动画像中的睑的动作的概要。
首先，睑检测装置50进行与第1实施形态相同的处理，提取图18所示那样的负边缘和正边缘的组合。这里，正边缘301和负边缘302的组合作为候选1，正边缘305和负边缘306的组合作为候选2，正边缘303和负边缘304的组合作为候选3，正边缘307和负边缘308的组合作为候选4，正边缘309和负边缘310的组合作为候选5。
然后，睑检测装置50针对候选1～5，检测负边缘的重心与正边缘的重心之间的距离Dg相对于时间轴的变化。图19(a)-(e)所示的图表示候选1～5的相对于时间轴的负边缘与正边缘的重心间距离Dg的变化。
例如，就候选1而言，如图19(a)所示，距离Dg相对于时间轴基本上没有变化。还有，如图19(b)所示，候选2的距离Dg相对于时间轴也基本上没有变化。例如，如图19(c)～(e)所示，候选3～5的距离Dg相对于时间轴在图中具有极小值401-410。
睑检测装置50从重心间距离Dg的极小点位置的周期、和/或极小点和极大点的距离(即振幅)中，计算出表示候选是对象者的睑的可能性的可靠度，将满足规定条件的可靠度的候选判断为对象者的睑。
作为可靠度，可以采用例如振幅的差量(dispersion)与周期的差量之和的倒数等。像眼睛眨眼那样，在相对的振幅固定、周期固定的情况下，可靠度高。另一方面，对于其它运动情况，通常振幅和周期具有离散偏差，由此，差量大而使可靠度降低。
这里，参照图20，详细说明与第4实施形态有关的睑检测装置50的CPU24进行的睑检测处理。
CPU24周期性地开始图20的处理，经由A/D变换器21获取摄像机10拍摄的对象者的面部图像，并存放在图像存储器22中(步骤S401)。
CPU24提取在存储器22中存放的面部图像的各图像中的、基于存放在设定存储器28中的设定信息的设定区域的部分(步骤S402)。
CPU24对面部图像的设定区域的部分，利用存放在ROM23中的横边缘检测用索贝尔滤波器，进行提取横边缘线的处理(步骤S403)。
CPU24从所求出的边缘线中，提取满足第1实施形态中使用的公式(1)～(3)的负边缘和正边缘的组合(步骤S404)。
CPU24针对所提取的负边缘和正边缘的组合求出其重心。CPU24还求出与针对过去的面部图像所求出的正边缘和负边缘之对有关的各边缘的重心位置，并求出从一系列图像提取的各边缘线的重心的履历。这样，CPU24判断是否存在重心沿y轴方向或其反方向移动的正边缘与重心(几乎)不移动的负边缘之组合(步骤S405)。
在不存在重心沿y轴方向或其反方向移动的正边缘与重心不移动的负边缘的组合的情况下(步骤S405：NO)，CPU24变更存放在设定存储器28中的设定信息，变更或扩大设定区域(步骤S410)。然后，返回步骤S402的处理。
在存在重心沿y轴方向或其反方向移动的正边缘与重心不移动的负边缘之组合的情况下(步骤S405：YES)，CPU24提取该负边缘和正边缘的组合(步骤S406)。
如上例所示，CPU24计算出在步骤S406提取的负边缘和正边缘的组合的可靠度(步骤S407)。
CPU24判断是否存在可靠度为规定值以上的负边缘和正边缘的组合(步骤S408)。
在判断不存在可靠度为规定值以上的负边缘和正边缘的组合的情况下(步骤S408：NO)，CPU24变更存放在设定存储器28中的设定信息，变更或扩大设定区域(步骤S410)。然后，返回步骤S402的处理。
在判断存在可靠度为规定值以上的负边缘和正边缘的组合的情况下(步骤S408：YES)，CPU24将可靠度为规定值以上的负边缘和正边缘的组合判断为对象者的睑(步骤S409)，然后结束处理。
这样，与本发明的第4实施形态有关的睑检测装置50与第3实施形态一样，即使在设定区域中包含有对象者的嘴巴等情况下，也能够用少的运算来正确检测出睑。例如，在图18、图19所示例中，将正边缘303和负边缘304的组合的候选3、正边缘307和负边缘308的组合的候选4检测为睑。
另外，本发明并不局限于上述实施形态，可以进行各种变形和应用。
在第3实施形态中，睑检测装置50提取负边缘和正边缘的组合，从相对于面部轮廓的中心线为线对称的负边缘和正边缘的组合中，将有运动的组合之对判断为睑。在第4实施形态中，睑检测装置50提取有运动的负边缘和正边缘的组合，并对负边缘的重心和正边缘的重心的运动进行评价而计算出可靠度，将可靠度为规定值以上的负边缘和正边缘的组合判断为睑。作为第2和第3实施形态的应用例，睑检测装置50也可以提取负边缘和正边缘的组合，提取相对于面部轮廓的中心线为线对称的负边缘和正边缘的组合，并对负边缘的重心和正边缘的重心的运动进行评价来计算可靠度，且将可靠度为规定值以上的负边缘和正边缘的组合判断为睑。
还有，睑检测装置50也可以单纯地提取作为候选的上睑与下睑的组合的边缘线，并将所提取的边缘线内相对于面部轮廓的中心线为线对称的边缘线之对判断为对象者的左右睑。
还有，在第1-4实施形态中，计算机14对于摄像机10所拍摄的对象者的面部动画像进行睑检测处理，但也可以从摄像机10以外的外部装置获得对象者的面部的动画像，并存放在图像存储器22中，然后对该动画像进行睑检测处理。还有，也可以对多个面部的图像进行睑检测处理。
Claims (14)
1.一种睑检测装置，其特征在于，具备：
面部图像存储单元，存储在不同时刻获得的对象者的面部的多个图像；
变化检测单元，对存储在上述面部图像存储单元的多个图像进行处理且检测由眨眼引起的图像的变化；和
睑检测单元，基于上述变化检测单元所检测出的变化来检测对象者的睑的位置。
2.根据权利要求1所述的睑检测装置，其特征在于，还具备：
边缘线提取单元，对存储在上述面部图像存储单元中的图像进行处理且提取相当于图像区域的边界的边缘线；和
候选睑提取单元，从上述边缘线提取单元提取的边缘线中提取上睑对应的边缘线和下睑对应的边缘线的组合候选的边缘线之对，
上述睑检测单元还具有：
睑判断单元，其将上述候选睑提取单元所提取的边缘线中的、构成对的候选上睑的边缘线的代表点沿规定方向移动之对判断为与上述对象者的上睑和下睑相对应的边缘线之对。
3.根据权利要求2所述的睑检测装置，其特征在于，还具有：
中心线检测单元，检测被包含于上述面部图像存储单元所存储的图像中的上述对象者的面部轮廓的中心线，
上述候选睑检测单元，从上述边缘线提取单元所提取的边缘线之对中的、以上述中心线检测单元检测的中心线为轴呈线对称的边缘线之对所存在的边缘线之对内，提取与上述对象者的上睑对应的边缘线和与下睑对应的边缘线的组合候选的边缘线之对。
4.根据权利要求2所述的睑检测装置，其特征在于：
上述变化检测单元还具有：
参数计算单元，对于上述候选睑提取单元所提取的复数对的边缘线，计算表示与上睑对应的边缘线的代表点和与下睑对应的边缘线的代表点之间的距离发生变化的状态的参数；和
可靠度计算单元，基于上述参数计算单元所计算的参数来计算用于表示上述边缘线是上述对象者的睑的准确度的可靠度，
上述睑判断单元，在上述候选睑提取单元所提取的边缘线之对内，检测出上述可靠度计算单元所计算的可靠度满足规定值的边缘线之对，并判断为上述对象者的睑。
5.根据权利要求4所述的睑检测装置，其特征在于：
上述参数为上述距离变化的振幅和/或周期。
6.根据权利要求2所述的睑检测装置，其特征在于，还具备：
检测单元，检测被包含于上述面部图像存储单元所存储的图像中的上述对象者的面部轮廓的中心线，
上述变化检测单元具有：
参数计算单元，计算表示与上述候选睑提取单元所提取的上睑对应的边缘线的代表点和与下睑对应的边缘线的代表点之间的距离发生变化的状态的参数；和
可靠度计算单元，基于上述参数计算单元所计算的参数来计算用于表示边缘线之对是与上述对象者的上睑和下睑相对应的边缘线之对的准确度的可靠度，
上述睑判断单元，从上述边缘线提取单元所提取的边缘线之对内、以上述检测单元检测的中心线为轴呈线对称之对所存在的边缘线之对中，检测出上述可靠度计算单元所计算的可靠度满足规定值的边缘线之对，并判断为上述对象者的上睑和下睑的边缘线之对。
7.根据权利要求2所述的睑检测装置，其特征在于，还具有：
归一化单元，对存储在上述面部图像存储单元中的多个面部图像的尺寸和/或浓度进行归一化处理。
8.根据权利要求1所述的睑检测装置，其特征在于，
上述变化检测单元还具有：
面部区域检测单元，从存储在上述面部图像存储单元中的多个图像中检测面部区域；
归一化单元，对上述面部区域检测单元检测出的面部区域按照规定的尺寸进行归一化处理而生成面部区域图像；
归一化图像存储单元，存储有上述归一化单元生成的多个面部区域图像；
差分图像生成单元，求出存储在上述归一化图像存储单元中的、最新的面部区域图像与其它多个面部区域图像之间的差分，生成多个差分图像；和
动区域检测单元，从上述差分图像生成单元生成的多个差分图像中，将具有规定阈值以上的浓度值的区域检测为动区域，
上述睑检测单元还具有：
差分图像选择单元，从上述多个差分图像中选择上述动区域检测单元检测的最大的一个动区域；和
眼睛区域确定单元，从上述差分图像选择单元选择的差分图像的动区域中确定眼睛区域。
9.根据权利要求8所述的睑检测装置，其特征在于，
上述眼睛区域确定单元基于动区域的左右对称性来确定眼睛区域。
10.根据权利要求8所述的睑检测装置，其特征在于：
上述归一化图像存储单元存储与人的闭眼所花费时间相对应的时间、各面部区域图像。
11.一种睑检测装置，其特征在于，具备：
面部图像存储单元，存储对象者的面部图像；
边缘线提取单元，从存储在上述面部图像存储单元的图像的规定区域基于图像的灰度提取边缘线；
候选睑提取单元，从上述边缘线提取单元提取的边缘线中提取对象者的上睑的边缘线和下睑的边缘线的组合候选的边缘线之对；
中心线检测单元，检测被包含于上述面部图像存储单元所存储的图像中的面部轮廓的中心线；和
睑判断单元，在上述候选睑提取单元所提取的边缘线之对内检测以上述检测单元检测的中心线为轴呈线对称的边缘线所存在的边缘线之对，从其中判断相当于与上述对象者的上睑和下睑对应的边缘线的边缘线之对。
12.一种程序，其特征在于，
使计算机具有如下单元的功能：
存储在不同时刻获得的对象者的多个面部图像的面部图像存储单元；
对存储在上述面部图像存储单元中的图像进行处理、提取相当于图像区域的边界的边缘线的边缘线提取单元；
从上述边缘线提取单元提取的边缘线中、提取由与上睑对应的边缘线和与下睑对应的边缘线的候选组合构成的边缘线之对的候选睑提取单元；和
将上述候选睑提取单元所提取的边缘线中的、构成对的候选上睑的边缘线的代表点沿规定方向移动之对判断为与上述对象者的上睑和下睑相对应的边缘线之对的睑判断单元。
13.根据权利要求12所述的程序，其特征在于，
上述边缘线提取单元基于灰度提取边缘线；
使计算机还具有如下单元的功能：
检测被包含于面部图像存储单元所存储的图像中的面部轮廓的中心线的中心线检测单元；和
在上述候选睑提取单元所提取的边缘线之对内检测出以上述检测单元检测的中心线为轴呈线对称的边缘线所存在的边缘线之对，从其中判断相当于与上述对象者的上睑和下睑对应的边缘线的睑判断单元。
14.一种程序，其特征在于，
使计算机具有如下单元的功能：
存储包含对象者的面部的图像的图像存储单元；
从存储在上述图像存储单元的多个图像中检测出面部区域的面部区域检测单元；
对上述面部区域检测单元检测的面部区域按照规定的尺寸进行归一化处理而生成面部区域图像的归一化单元；
存储有上述归一化单元生成的多个面部区域图像的面部图像存储单元；
求出在上述面部图像存储单元中储存的、最新的面部区域图像与其它多个面部区域图像之间的差分而生成多个差分图像的差分图像生成单元；
从上述差分图像生成单元生成的多个差分图像中将具有浓度值为规定的阈值以上的的区域检测为动区域的的动区域检测单元；
从上述多个差分图像中选择由上述动区域检测单元所检测出的最大的一个动区域的差分图像选择单元；和
从上述差分图像选择单元选择的差分图像的动区域中确定眼睛区域的眼睛区域确定单元。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007028822A JP4895847B2 (ja) | 2007-02-08 | 2007-02-08 | 瞼検出装置及びプログラム |
| JP2007028822 | 2007-02-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101241548A true CN101241548A (zh) | 2008-08-13 |
Family
ID=39468830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA200810005812XA Pending CN101241548A (zh) | 2007-02-08 | 2008-02-05 | 睑检测装置及其程序 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8351658B2 (zh) |
| EP (2) | EP1955647B1 (zh) |
| JP (1) | JP4895847B2 (zh) |
| CN (1) | CN101241548A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102667861A (zh) * | 2010-02-22 | 2012-09-12 | 丰田自动车株式会社 | 图像处理装置以及睡意判断装置 |
| CN104013384A (zh) * | 2014-06-11 | 2014-09-03 | 温州眼视光发展有限公司 | 眼前节断层图像特征提取方法 |
| CN104573704A (zh) * | 2013-10-09 | 2015-04-29 | 爱信精机株式会社 | 眼部检测装置、方法 |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4137969B2 (ja) * | 2006-12-04 | 2008-08-20 | アイシン精機株式会社 | 眼部検出装置、眼部検出方法及びプログラム |
| JP4895847B2 (ja) | 2007-02-08 | 2012-03-14 | アイシン精機株式会社 | 瞼検出装置及びプログラム |
| JP5262243B2 (ja) * | 2008-03-31 | 2013-08-14 | アイシン精機株式会社 | 眼開閉判別装置、及びプログラム |
| JP5296458B2 (ja) * | 2008-08-27 | 2013-09-25 | 安川情報システム株式会社 | 瞼開度検出装置、瞼開度検出方法および瞼開度検出プログラム |
| JP5128454B2 (ja) * | 2008-12-17 | 2013-01-23 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法及びプログラム |
| RU2545904C2 (ru) * | 2008-12-30 | 2015-04-10 | Конинклейке Филипс Электроникс Н.В. | Система и способ для проведения фототерапии |
| KR101032726B1 (ko) * | 2009-09-01 | 2011-05-06 | 엘지이노텍 주식회사 | 눈 상태 검출방법 |
| US20120076368A1 (en) * | 2010-09-27 | 2012-03-29 | David Staudacher | Face identification based on facial feature changes |
| JP2013015970A (ja) * | 2011-07-01 | 2013-01-24 | Aisin Seiki Co Ltd | 瞼検出装置、瞼検出方法及びプログラム |
| DE112011105441B4 (de) * | 2011-07-11 | 2019-11-14 | Toyota Jidosha Kabushiki Kaisha | Augenliderfassungsvorrichtung |
| US9110501B2 (en) * | 2012-04-17 | 2015-08-18 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting talking segments in a video sequence using visual cues |
| US9076034B2 (en) * | 2012-12-07 | 2015-07-07 | Analog Devices, Inc. | Object localization using vertical symmetry |
| JP6304999B2 (ja) | 2013-10-09 | 2018-04-04 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
| JP6187817B2 (ja) | 2013-10-09 | 2017-08-30 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
| JP6276662B2 (ja) | 2013-10-16 | 2018-02-07 | 日本特殊陶業株式会社 | ガスセンサ |
| US9335819B1 (en) * | 2014-06-26 | 2016-05-10 | Audible, Inc. | Automatic creation of sleep bookmarks in content items |
| TWI522257B (zh) * | 2014-07-09 | 2016-02-21 | 原相科技股份有限公司 | 車用安全系統及其運作方法 |
| US10013620B1 (en) * | 2015-01-13 | 2018-07-03 | State Farm Mutual Automobile Insurance Company | Apparatuses, systems and methods for compressing image data that is representative of a series of digital images |
| JP6514651B2 (ja) * | 2016-02-15 | 2019-05-15 | ルネサスエレクトロニクス株式会社 | 開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラム |
| US11321951B1 (en) | 2017-01-19 | 2022-05-03 | State Farm Mutual Automobile Insurance Company | Apparatuses, systems and methods for integrating vehicle operator gesture detection within geographic maps |
| JP7290930B2 (ja) | 2018-09-27 | 2023-06-14 | 株式会社アイシン | 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム |
| EP4113464A1 (en) | 2021-06-30 | 2023-01-04 | Tobii AB | An eye tracking system |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2500726B2 (ja) | 1992-06-12 | 1996-05-29 | 日本電気株式会社 | 上まぶた領域、目頭・目尻・上まぶた領域及び目の構造の検出方法及び装置 |
| JPH06308918A (ja) * | 1993-04-21 | 1994-11-04 | Fujitsu Ltd | 画面表示制御方法及び画面表示制御装置 |
| JP3293308B2 (ja) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | 人物状態検出装置 |
| DE4436190A1 (de) | 1994-10-10 | 1996-04-11 | Gerhard Prof Dr Bringmann | Halogenierte ß-Carbolin-Derivate, Verfahren zu ihrer Herstellung und Verwendung dieser Substanzen zur Hemmung der Atmungskette |
| JP3422183B2 (ja) | 1996-08-22 | 2003-06-30 | トヨタ自動車株式会社 | 顔画像における目の検出方法 |
| FR2773521B1 (fr) | 1998-01-15 | 2000-03-31 | Carlus Magnus Limited | Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci |
| JP2000123188A (ja) * | 1998-10-20 | 2000-04-28 | Toyota Motor Corp | 眼開閉判定装置 |
| FR2784887B1 (fr) | 1998-10-22 | 2001-01-19 | Renault | Systeme pour surveiller des yeux afin de detecter et de prevenir des baisses de vigilance d'un conducteur de vehicule |
| JP2000137792A (ja) | 1998-10-30 | 2000-05-16 | Toyota Motor Corp | 眼部検出装置 |
| JP3695990B2 (ja) * | 1999-05-25 | 2005-09-14 | 三菱電機株式会社 | 顔画像処理装置 |
| US6130617A (en) | 1999-06-09 | 2000-10-10 | Hyundai Motor Company | Driver's eye detection method of drowsy driving warning system |
| CN1144166C (zh) | 1999-06-17 | 2004-03-31 | 现代自动车株式会社 | 瞌睡驾驶警告系统的驾驶员瞌睡检测方法 |
| JP2001216515A (ja) | 2000-02-01 | 2001-08-10 | Matsushita Electric Ind Co Ltd | 人物の顔の検出方法およびその装置 |
| US6535223B1 (en) * | 2000-05-31 | 2003-03-18 | Schmidt Laboratories, Inc. | Method and system for determining pupiltary distant and element height |
| AUPQ896000A0 (en) * | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
| JP2003158643A (ja) * | 2001-11-20 | 2003-05-30 | Shibasoku:Kk | 信号処理方法及び信号処理装置 |
| EP1553872B1 (en) * | 2002-10-15 | 2010-01-13 | Volvo Technology Corporation | Method for interpreting a subjects head and eye activity |
| JP2004192552A (ja) * | 2002-12-13 | 2004-07-08 | Nissan Motor Co Ltd | 開閉眼判定装置 |
| JP4107087B2 (ja) | 2003-01-09 | 2008-06-25 | 日産自動車株式会社 | 開閉眼判定装置 |
| JP4162503B2 (ja) * | 2003-01-31 | 2008-10-08 | 富士通株式会社 | 眼の状態判定装置、眼の状態判定方法及びコンピュータプログラム |
| US7792335B2 (en) * | 2006-02-24 | 2010-09-07 | Fotonation Vision Limited | Method and apparatus for selective disqualification of digital images |
| KR100682889B1 (ko) * | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
| US7203340B2 (en) * | 2003-09-03 | 2007-04-10 | National Research Council Of Canada | Second order change detection in video |
| US7091471B2 (en) * | 2004-03-15 | 2006-08-15 | Agilent Technologies, Inc. | Using eye detection for providing control and power management of electronic devices |
| JP4059224B2 (ja) * | 2004-04-13 | 2008-03-12 | 株式会社デンソー | 運転者の外観認識システム |
| EP1748387B1 (en) * | 2004-05-21 | 2018-12-05 | Asahi Kasei Kabushiki Kaisha | Devices for classifying the arousal state of the eyes of a driver, corresponding method and computer readable storage medium |
| US7689010B2 (en) * | 2004-12-03 | 2010-03-30 | Invacare International Sarl | Facial feature analysis system |
| US7746235B2 (en) | 2005-03-10 | 2010-06-29 | Delphi Technologies, Inc. | System and method of detecting eye closure based on line angles |
| US7253739B2 (en) | 2005-03-10 | 2007-08-07 | Delphi Technologies, Inc. | System and method for determining eye closure state |
| JP2007156650A (ja) * | 2005-12-01 | 2007-06-21 | Sony Corp | 画像処理装置 |
| JP4760349B2 (ja) * | 2005-12-07 | 2011-08-31 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに、プログラム |
| US8208764B2 (en) * | 2006-01-21 | 2012-06-26 | Elizabeth Guckenberger | Photo automatic linking system and method for accessing, linking, and visualizing “key-face” and/or multiple similar facial images along with associated electronic data via a facial image recognition search engine |
| JP4137969B2 (ja) | 2006-12-04 | 2008-08-20 | アイシン精機株式会社 | 眼部検出装置、眼部検出方法及びプログラム |
| JP4895847B2 (ja) | 2007-02-08 | 2012-03-14 | アイシン精機株式会社 | 瞼検出装置及びプログラム |
-
2007
- 2007-02-08 JP JP2007028822A patent/JP4895847B2/ja not_active Expired - Fee Related
-
2008
- 2008-02-05 CN CNA200810005812XA patent/CN101241548A/zh active Pending
- 2008-02-06 EP EP20080151104 patent/EP1955647B1/en not_active Expired - Fee Related
- 2008-02-06 EP EP20130150818 patent/EP2583621A3/en not_active Withdrawn
- 2008-02-06 US US12/026,959 patent/US8351658B2/en active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102667861A (zh) * | 2010-02-22 | 2012-09-12 | 丰田自动车株式会社 | 图像处理装置以及睡意判断装置 |
| CN104573704A (zh) * | 2013-10-09 | 2015-04-29 | 爱信精机株式会社 | 眼部检测装置、方法 |
| CN104013384A (zh) * | 2014-06-11 | 2014-09-03 | 温州眼视光发展有限公司 | 眼前节断层图像特征提取方法 |
| CN104013384B (zh) * | 2014-06-11 | 2016-04-20 | 温州眼视光发展有限公司 | 眼前节断层图像特征提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008192100A (ja) | 2008-08-21 |
| EP2583621A3 (en) | 2014-01-22 |
| JP4895847B2 (ja) | 2012-03-14 |
| EP1955647B1 (en) | 2013-06-05 |
| EP2583621A2 (en) | 2013-04-24 |
| US20080212850A1 (en) | 2008-09-04 |
| EP1955647A1 (en) | 2008-08-13 |
| US8351658B2 (en) | 2013-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101241548A (zh) | 睑检测装置及其程序 | |
| CN108427503B (zh) | 人眼追踪方法及人眼追踪装置 | |
| CN106774863B (zh) | 一种基于瞳孔特征实现视线追踪的方法 | |
| CN111862157B (zh) | 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法 | |
| CN101196993B (zh) | 眼部检测装置及眼部检测方法 | |
| CN101271517B (zh) | 面部区域检测装置和方法 | |
| CA3039116C (en) | Method and apparatus and computer program for establishing a representation of a spectacle lens edge | |
| CN101344919B (zh) | 视线跟踪方法及应用该方法的残疾人辅助系统 | |
| CN101281646A (zh) | 基于视觉的驾驶员疲劳实时检测方法 | |
| KR101441333B1 (ko) | 인체 부분 검출 장치 및 그 방법 | |
| CN108205658A (zh) | 基于单双目视觉融合的障碍物检测预警系统 | |
| CN103279737B (zh) | 一种基于时空兴趣点的打架行为检测方法 | |
| CN106782268A (zh) | 显示系统和用于显示面板的驱动方法 | |
| CN101390128B (zh) | 脸部器官的位置的检测方法及检测系统 | |
| CN101813976A (zh) | 基于soc的视线跟踪人机交互方法及装置 | |
| CN108139582A (zh) | 用于数据采集和评估环境数据的方法和装置 | |
| CN107633240B (zh) | 视线追踪方法和装置、智能眼镜 | |
| CN105224285A (zh) | 眼睛开闭状态检测装置和方法 | |
| CN110063736B (zh) | 基于MOD-Net网络的眼动参数监测的疲劳检测及促醒系统 | |
| CN109165630A (zh) | 一种基于二维人眼识别的疲劳监测方法 | |
| CN112733772B (zh) | 仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统 | |
| EP3924710A1 (de) | Verfahren und vorrichtung zum vermessen der lokalen brechkraft und/oder der brechkraftverteilung eines brillenglases | |
| CN115019380A (zh) | 基于眼部图像的斜视智能识别方法、装置、终端及介质 | |
| CN115171024A (zh) | 一种基于视频序列的面部多特征融合疲劳检测方法及系统 | |
| CN207589060U (zh) | 一种结合视觉疲劳检测的裸眼立体显示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20080813 |