CN101266647A - 眼睑检测装置、眼睑检测方法及其程序 - Google Patents

眼睑检测装置、眼睑检测方法及其程序 Download PDF

Info

Publication number
CN101266647A
CN101266647A CNA2008100833819A CN200810083381A CN101266647A CN 101266647 A CN101266647 A CN 101266647A CN A2008100833819 A CNA2008100833819 A CN A2008100833819A CN 200810083381 A CN200810083381 A CN 200810083381A CN 101266647 A CN101266647 A CN 101266647A
Authority
CN
China
Prior art keywords
eyelid
eyes
image
candidate
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100833819A
Other languages
English (en)
Other versions
CN101266647B (zh
Inventor
铃木智晴
平槙崇
足立淳
大上健一
蜷川勇二
高桥健太郎
鱼住重康
中西悟
小岛真一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Toyota Motor Corp filed Critical Aisin Seiki Co Ltd
Publication of CN101266647A publication Critical patent/CN101266647A/zh
Application granted granted Critical
Publication of CN101266647B publication Critical patent/CN101266647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nonlinear Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种可以在短时间正确检测眼睑的眼睑检测装置。摄像机(10)拍摄对象者的面部，计算机(14)的CPU(24)获取该运动图像，并将其存放在图像存储器(22)中。CPU(24)从存放在图像存储器(22)中的运动图像的规定区域，提取作为对象者的上眼睑和下眼睑的候选组合的边缘线对。CPU(24)计算表示边缘线对的左右两端的部分包含眼睛尾部和眼睛头部中的至少一方的可能性的评价值。CPU(24)基于计算出的评价值检测对象者的眼睑的位置。

Description

眼睑检测装置、眼睑检测方法及其程序
技术区域
本发明涉及一种检测例如驾驶车辆等移动体的驾驶员等的眼睛的眼睑检测装置、眼睑检测方法及其程序。
背景技术
现在，已知有从包含人的面部的图像中检测人的面部和眼睛的位置的技术。例如，专利文献1中公开了以下技术，即从面部图像中提取与上眼睑对应的边缘线和与下眼睑对应的边缘线，生成其样板，将所生成的样板与候选眼睛进行匹配，从而能够连续正确地检测眼睛。
但是，在专利文献1的技术中，当与样板进行匹配时，进行相关值运算，需要处理时间。因此，难以利用处理速度较慢的车载用CPU进行运算。还有，如果采用专用的运算器，则会增加成本。
[专利文献1]日本专利特开2000-137792号公报
发明内容
本发明考虑到上述问题，其目的在于提供一种能够利用较少的运算检测眼睑(眼睛)的眼睑检测装置、眼睑检测方法及其程序。
为实现上述目的，与本发明的第1观点有关的眼睑检测装置的特征在于，包括：
面部图像存储机构，其存储对象者的面部的图像；
候选眼睑提取机构，其对存储在上述面部图像存储机构中的图像进行处理，提取由与上眼睑对应的线和与下眼睑对应的线构成的候选组合的线对；
参数计算机构，其计算表示上述面部图像存储机构存储的图像中的与上述候选眼睑提取机构所提取的线对相对应的部分中包含眼睛头部和眼睛尾部中的至少一方的可能性的参数；和
眼睑检测机构，其基于上述参数计算机构算出的参数，检测对象者的眼睑的位置。
例如，上述参数计算机构也可以计算表示上述面部图像存储机构存储的图像的规定部分中包含眼睛头部和眼睛尾部的至少一方的可能性的参数，该规定部分包含上述候选眼睑提取机构所提取的候选下眼睑的线的两端。
例如，上述参数计算机构也可以计算上述面部图像存储机构存储的图像的规定部分的多个像素的浓度的平均值，该规定部分包含上述候选眼睑提取机构所提取的候选下眼睑的线的两端；
基于所计算的多个像素的浓度的平均值，计算表示在上述面部图像存储机构存储的图像的规定部分中包含眼睛头部和眼睛尾部的至少一方的可能性的参数，该规定部分包含上述候选眼睑提取机构所提取的候选下眼睑的线的两端。
例如，可以还具有图案存储机构，其存储表示在面积等于包含上述线的两端的规定部分的区域中、与皮肤部分对应的皮肤区域和与眼睛部分对应的眼睛区域的图案，
上述参数计算机构计算上述面部图像存储机构存储的图像中的、与上述图案存储机构存储的图案所表示的皮肤区域对应的部分的多个像素的浓度的平均值、和上述面部图像存储机构存储的图像中的、与上述图案存储机构存储的图案所表示的眼睛区域对应的部分的多个像素的浓度的平均值之间的差分，
上述眼睑检测机构基于上述差分，检测眼睑。
例如，可以还具有图案存储机构，其存储表示面积小于包含上述线的两端的规定部分的区域中、与皮肤部分对应的皮肤区域和与眼睛部分对应的眼睛区域的图案，
上述参数计算机构具有差分计算机构，其将包含上述线的两端的规定部分中的一部分与上述图案存储机构所存储的图案进行对应，计算上述面部图像存储机构存储的图像中的与上述图案存储机构存储的图案所表示的皮肤区域对应的部分的多个像素的浓度的平均值、和上述面部图像存储机构存储的图像中的与上述图案存储机构存储的图案所表示的眼睛区域对应的部分的多个像素的浓度的平均值之间的差分，
使上述差分计算机构对包含上述线的两端的规定部分进行扫描，将计算出的多个差分中的最大值作为最大差分值，
上述眼睑检测机构基于上述最大差分值，检测眼睑。
与本发明的第2观点有关的眼睑检测方法的特征在于，
对面部图像进行处理，提取由眼睛的上眼睑和下眼睑构成的候选组合的线对，
计算表示所提取的由上眼睑和下眼睑构成的候选组合的线对包含眼睛头部和眼睛尾部中的至少一方的可能性的参数，
基于所计算出的参数，检测对象者的眼睑。
与本发明的第3观点有关的程序的特征在于：使计算机作为如下机构发挥功能，即：
面部图像存储机构，其存储对象者的面部的图像；
候选眼睑提取机构，其对存储在上述面部图像存储机构中的图像进行处理，提取由与上眼睑对应的线和与下眼睑对应的线构成的候选组合的线对；
参数计算机构，其计算表示上述面部图像存储机构存储的图像中的与上述候选眼睑提取机构所提取的线对相对应的部分中包含眼睛头部和眼睛尾部中的至少一方的可能性的参数；和
眼睑检测机构，其基于上述参数计算机构算出的参数，检测对象者的眼睑的位置。
利用本发明，可以提供一种能够利用较少的运算检测眼睑的眼睑检测装置、眼睑检测方法及其程序。
附图说明
图1是表示与本发明的第1实施方式有关的眼睑检测装置的结构的框图。
图2是表示图1所示的计算机的结构的框图。
图3是说明存放在ROM或RAM中的各种数据的图。
图4是说明存放在ROM或RAM中的各种数据的图。
图5是说明与本发明的第1实施方式有关的处理的概要的图。
图6是说明与本发明的第1实施方式有关的处理的概要的图。
图7是说明与本发明的第1实施方式有关的眼睑检测处理的流程图。
图8是说明第1实施方式的眼睑检测处理中的前处理的流程图。
图9是说明第1实施方式的眼睑检测处理中的面部位置检测处理的流程图。
图10是说明面部位置检测处理中的面部左右端检测处理的流程图。
图11是说明面部位置检测处理中的面部上下端检测处理的流程图。
图12是说明第1实施方式的眼睑检测处理中的候选眼睑提取处理的流程图。
图13是说明第1实施方式的眼睑检测处理中的眼睑判断处理的流程图。
图14是说明第2实施方式的眼睑检测处理的概要的图。
图15是说明第2实施方式的眼睑检测处理中的眼睑判断处理的流程图。
图中：10-摄像机，12-照明光源，14-计算机，16-显示装置，21-A/D变换器，22-图像存储器(面部图像存储机构)，23-ROM(图案存储机构)，24-CPU(候选眼睑提取机构、参数计算机构、眼睑检测机构)，25-RAM，26-显示控制装置，28-设定存储器，29-操作装置，50-眼睑检测装置。
具体实施方式
以下，说明与本发明的第1实施方式有关的眼睑检测装置50。
如图1所示，第1实施方式有关的眼睑检测装置50由：拍摄驾驶员的面部、生成面部图像的摄像机10；对驾驶员的面部进行照明的照明光源12；检测驾驶员的眼睑的计算机14；和与计算机14连接的显示装置16构成。
摄像机10例如由CCD摄像机构成，按照一定周期(例如1/30秒)获取并输出驾驶员的面部的灰度图像。从摄像机10依次输出的面部图像除了驾驶员的面部(的图像)外，还包含其背景(的图像)等。
显示装置16由LCD(Liquid Crystal Display)或CRT(Cathode RayTube)等构成，显示由摄像机10拍摄的面部图像生成的2值化图像。
计算机14是对利用摄像机10获取的面部运动图像进行处理，检测其眼睑的位置的装置。如图2所示，计算机14由A/D变换器21、图像存储器22、ROM(Read Only Memory)23、CPU(Central Processing Unit)24、RAM(Random Access Memory)25、显示控制装置26、光源控制装置27、设定存储器28、和操作装置29构成。
A/D(模拟/数字)变换器21将摄像机10拍摄的模拟图像信号变换为数字信号。
图像存储器22中存储由摄像机10生成、利用A/D变换器21进行数字化处理后的图像数据。
ROM23中存储用于控制CPU的动作的程序。还有，ROM23中存储用于执行后述的图像处理的各种固定数据。
CPU24对计算机14整体进行控制。还有，CPU24通过运行存放在ROM23中的程序，从而对摄像机10获取的一系列面部图像进行处理，检测出眼睑。
RAM25用作CPU24的工作区域。
显示控制装置26在CPU24的控制下，将视频数据转换为显示装置16可以输出的数据形式，输出到显示装置16。
光源控制装置27控制照明光源12的开灯、关灯。
设定存储器28中预先存储图4所示的各种参数。当CPU24从存放在RAM25中的面部图像中检测眼睑时，使用各种参数。详细情况后面叙述。
操作装置29接受来自用户的操作信息，将对应操作的操作信号输出到CPU24。
接着，参照图3，说明存放在ROM23中的固定数据的例子。首先，ROM23中存放有图3(a)所示的纵向边缘检测用佐贝尔滤波器的算符。纵向边缘检测用佐贝尔滤波器是强调图3(c)所示的横方向的浓淡差的算符。
还有，ROM23中存放有图3(b)所示的横向边缘检测用佐贝尔滤波器的算符。横向边缘检测用佐贝尔滤波器是强调图3(d)所示的横方向的浓淡差的算符。
ROM23中存放有图3(e)所示的左端用眼睛尾部·眼睛头部图案。左端用眼睛尾部·眼睛头部图案根据实际的眼睛尾部·眼睛头部的图像生成，由表示眼睛尾部·眼睛头部周边的皮肤的部分和表示眼睛的部分构成。在图中，白色方格的部分为表示皮肤的部分，黑色方格的部分为表示眼睛的部分。左端用眼睛尾部·眼睛头部图案用于判断实际的边缘线的左端附近的图像与眼睛尾部或者眼睛头部的相似程度。
ROM23中存放有图3(f)所示的右端用眼睛尾部·眼睛头部图案。右端用眼睛尾部·眼睛头部图案根据实际的眼睛尾部·眼睛头部的图像生成，由表示眼睛尾部·眼睛头部周边的皮肤的部分和表示眼睛的部分构成。在图中，白色方格的部分为表示皮肤的部分(以下称为皮肤部分)。黑色方格的部分为表示眼睛的部分(以下称为眼睛部分)。右端用眼睛尾部·眼睛头部图案用于判断实际的边缘线的右端附近的图像与眼睛尾部或者眼睛头部的相似程度。
参照图4，说明存放在设定存储器28中的各种参数的例子。
首先，眼睑检测用横向佐贝尔阈值为根据从面部图像中提取面部的眼睑区域时利用横向边缘线检测用佐贝尔滤波器处理过的各像素的浓度值的绝对值，判断是否为横向边缘线的阈值。
眼睑区域设定参数a、b为计算从所检测出的面部位置推定存在眼睑的眼睑区域的参数。
阈值Lth、Cxth、Dth为用于提取作为候选眼睑的边缘线对的阈值。
下面，说明具有上述结构的与第1实施方式有关的眼睑检测装置50的动作。
首先，参照图3-6，说明眼睑检测装置50检测面部图像中的眼睑的动作的概要。
摄像机10按照规定周期(例如，1/30秒周期)拍摄图5(a)所示的对象者的面部图像，并输出面部图像。所输出的面部图像依次存放在图像存储器22中。
接着，CPU24依次读出存放在图像存储器22中的面部图像，进行如下处理。
首先，CPU24利用纵向边缘检测用佐贝尔滤波器(图3(a))，对读出的面部图像进行处理，基于该面部图像的各像素的浓度值，检测面部的左右端。还有，CPU24利用横向边缘检测用佐贝尔滤波器(图3(b))，对读出的面部图像进行处理，基于该面部图像的各像素的浓度值，检测面部的上下端。
例如，对于图5(a)所示的面部图像，面部的左右端为x＝i、j，上下端为y＝m、n。从面部的左右端和上下端，可以检测面部位置。
CPU24基于存放在设定存储器28中的参数和所检测出的面部位置，提取图5(b)所示的推定为包含眼睑的眼睑区域。利用图5(a)所示的图，进行具体说明。当面部的左右端为x＝i、j、上下端为y＝m、n时，利用图4所示的存放在设定存储器28中的眼睑区域设定参数a、b，可以将眼睑区域表示为i≤x≤j且v≤y≤w(但是，v＝m+b，w＝n-a)。
CPU24利用横向边缘检测用佐贝尔滤波器(图3(b))，进行提取眼睑区域的图像中的横向边缘线的处理。这里，CPU24将利用横向边缘检测用佐贝尔滤波器处理过的各像素的微分值的绝对值在眼睑检测用横向佐贝尔阈值(图4)以上的像素判断为横向边缘线。
其结果如图5(c)所示，在y轴方向从亮像素变为暗像素的边缘线表示为负边缘，在y轴方向从暗像素变为亮像素的边缘线表示为正边缘。另外，图上负边缘用实线表示，正边缘用虚线表示。
接着，CPU24从所求得的负边缘线和正边缘线中，提取满足如下3个公式的负边缘和正边缘的组合(边缘线对)，作为候选上眼睑和候选下眼睑。
Lp-Lm＜Lth......(1)
这里，Lp是表示正边缘的长度的值，Lm是表示负边缘的长度的值，Lth是阈值。如图4所示，阈值Lth存放在设定存储器28中。满足公式(1)的负边缘和正边缘的长度用阈值Lth的范围近似表示。
Cxp-Cxm＜Cxth......(2)
这里，Cxp是正边缘的重心的x坐标，Cxm是负边缘的重心的x坐标，Cxth是阈值。如图4所示，阈值Cxth存放在设定存储器28中。满足公式(2)的负边缘和正边缘的重心的x坐标用阈值Cxth的范围近似表示。
Dg＜Dth......(3)
这里，Dg是负边缘的重心与正边缘的重心之间的距离，Dth是阈值。如图4所示，阈值Dth存放在设定存储器28中。满足公式(3)的负边缘和正边缘的重心间距离用阈值Dth的范围近似表示。
CPU24在利用上述3个公式提取的负边缘和正边缘的组合中，将负边缘作为候选上眼睑，正边缘作为候选下眼睑。
即，满足公式(1)-(3)的负边缘和正边缘的组合为在某种程度上长度相等、位置靠近、重心的x坐标一致的负边缘和正边缘的组合。
图5表示根据公式(1)-(3)的负边缘和正边缘的组合的一个例子。作为负边缘和正边缘的组合的候选1-7是对象者的候选眼睑(边缘线对)。
接着，CPU24针对各候选眼睑(边缘线对)，在其左右端设定眼睛尾部·眼睛头部区域。眼睛尾部·眼睛头部区域是眼睛尾部或眼睛头部存在的可能性高的区域。本实施例中，将以候选眼睑(边缘线对)的候选下眼睑(正边缘)的左右两端为中心的横5×纵5(像素)的区域。例如，如图6(a)、(b)所示，候选眼睑2中，在其候选下眼睑(正边缘)的左右端设定眼睛尾部·眼睛头部区域100、200。
CPU24对于以所设定的各候选眼睑的正边缘的左端为中心的眼睛尾部·眼睛头部区域，利用左端眼睛尾部·眼睛头部图案(图3(e))，计算左端眼睛尾部·眼睛头部评价值。还有，CPU24对于以所设定的各候选眼睑的正边缘的右端为中心的眼睛尾部·眼睛头部区域，利用右端眼睛尾部·眼睛头部图案(图3(f))，计算右端眼睛尾部·眼睛头部评价值。
具体来说，如图6(c)所示，CPU24在相当于进行佐贝尔滤波处理之前的原始图像的眼睛尾部·眼睛头部区域内配置眼睛尾部·眼睛头部图案。接着，CPU24计算相当于图案的皮肤部分的原始图像的浓度的平均值与相当于图案的眼睛部分的原始图像的浓度的平均值。CPU24将从所计算出的相当于皮肤部分的原始图像的浓度的平均值中减去相当于眼睛部分的原始图像的浓度的平均值后的值作为眼睛尾部·眼睛头部评价值。CPU24针对各候选眼睑(边缘线对)的左右端，分别计算眼睛尾部·眼睛头部评价值。
CPU24将所计算出的左端眼睛尾部·眼睛头部评价值与右端眼睛尾部·眼睛头部评价值的和最大和第二大的2个评价值判断为左右眼睑。
下面参照图7-13，详细说明眼睑检测装置50检测面部图像中的眼睑的动作。
参照图7所示的流程图，说明与本发明的第1实施方式有关的眼睑检测装置50进行的眼睑检测处理。
计算机14内的CPU24周期性地(例如，每隔1/30秒)开始图7的眼睑检测处理。
首先，接通眼睑检测装置50的电源后，CPU24进行后述的前处理，获取驾驶员的面部图像，提取纵向边缘线，并提取横向边缘线(步骤S100)。
接着，CPU24进行后述的面部位置检测处理，利用在上述前处理中提取的纵向边缘线检测面部的左右端，利用横向边缘线检测面部的上下端，检测面部图像的面部位置(步骤S200)。
CPU24进行后述的候选眼睑提取处理，利用在上述眼睑位置检测处理中检测的面部位置，从面部图像中提取眼睑区域，提取横向边缘线。从所提取的横向边缘线中，提取作为候选上下眼睑的边缘线的对(边缘线对)(步骤S300)。
CPU24进行后述的眼睑判断处理，对各候选眼睑的左右端设定眼睛尾部·眼睛头部区域，计算所设定的区域的眼睛尾部眼睛头部评价值，基于所计算的眼睛尾部眼睛头部评价值，判断左右眼睑(步骤S400)，然后结束处理。
这样，可以周期性地重复利用眼睑检测处理获取面部图像、从该图像中检测眼睑。
接着，说明在眼睑检测处理的步骤S100进行的前处理。简单说明如下。在前处理中，眼睑检测装置50拍摄驾驶员的面部图像，利用佐贝尔滤波器，进行边缘检测。
下面，参照图8，详细说明前处理(S100)。
首先，CPU24进行图像获取处理，即经由A/D变换器21，获取摄像机10拍摄的对象者的面部图像，并将其存放到图像存储器22中(步骤S110)。
接着，CPU24进行坐标变换处理，对存放在图像存储器22中的各面部图像的像素进行间隔提取处理，从而使其能够进行后述的佐贝尔滤波处理(步骤S120)。
CPU24利用存放在ROM23中的纵向边缘线检测用算符(图3(a))，对坐标变换后的面部图像进行处理，生成强调面部图像内的纵向边缘的图像。而且，CPU24利用存放在ROM23中的横向边缘线检测用算符(图3(b))，对坐标变换后的面部图像进行处理，生成强调面部图像内的横向边缘的图像(步骤S130)。
这样，利用前处理，可以生成强调了所拍摄的面部图像的纵向边缘的图像和强调了横向边缘的图像。
这里，说明在眼睑检测处理的步骤S200中进行的面部位置检测处理。简单说明如下。在面部位置检测处理中，眼睑检测装置50利用前处理中生成的强调了纵向边缘的图像和强调了横向边缘的图像，检测面部图像中的面部位置。
下面，参照图9，详细说明面部位置检测处理(S200)。
首先，CPU24进行后述的面部左右端检测处理，利用前处理中生成的强调了纵向边缘的图像，检测面部图像中的面部的左右端的位置(步骤S210)。
接着，CPU24进行后述的面部上下端检测处理，利用前处理中生成的强调了横向边缘的图像，检测面部图像中的面部的上下端的位置(步骤S220)，结束面部位置检测处理。
这样，利用面部位置检测处理，可以通过检测面部的左右端和上下端，从而检测面部图像中的面部位置。
这里，说明在面部位置检测处理的步骤S210进行的面部左右端检测处理。简单说明如下。在面部左右端检测处理中，眼睑检测装置50利用前处理中生成的强调了纵向边缘的图像，检测面部图像中的面部的左右端的位置。
下面，参照图10，详细说明面部左右端检测处理(S210)。
首先，CPU24进行面部左右端检测用直方图生成处理，即将利用纵向边缘检测用佐贝尔滤波器进行佐贝尔滤波处理后的各像素的值在纵方向进行投影，生成直方图(步骤S211)。具体来说，将各坐标的像素值分割成几个阶段，对于每个x值，确定取最多的各坐标的像素值的阶段。将每个x值的上述阶段的平均值的图形作为上述直方图。
CPU24在步骤S211生成的直方图中，提取取峰值的点(以下称为峰值点)(步骤S212)。
CPU24从步骤S212提取的峰值点中，提取其直方图的值在阈值以上的点，作为面部的左右端的候选值(步骤S213)。
CPU24对于步骤S213的处理结果，判断作为面部的左右端的候选值是否提取了2个直方图值在阈值以上的峰值点(步骤S214)。
如果判断为提取了2个直方图值在阈值以上的峰值点(步骤S214：是)，CPU24则进入步骤S216的处理，将所提取的2个峰值点的位置确定为面部的左右端(步骤S216)。
如果判断为没有提取2个直方图值在阈值以上的峰值点(步骤S214：否)，CPU24则从峰值点中提取两点距离作为人的面部宽度具有适当的间隔的2个峰值点的组合(步骤S215)。
CPU24将所提取的2个峰值点的位置确定为面部的左右端(步骤S216)。
这样，利用面部左右端检测处理，可以检测面部图像中的面部的左右端。
这里，说明在面部位置检测处理的步骤S220进行的面部上下端检测处理。简单说明如下。在面部上下端检测处理中，眼睑检测装置50利用在前处理中生成的强调了横向边缘的图像，检测面部图像的面部的上下端的位置。
下面，参照图11，详细说明面部上下端检测处理(S220)。
首先，CPU24进行面部上下端检测用直方图生成处理，即将利用横向边缘检测用佐贝尔滤波器进行佐贝尔滤波处理后的各像素的值在横方向进行投影，生成直方图(步骤S221)。具体来说，将各坐标的像素值分割成几个阶段，对于每个y值，确定取最多的各坐标的像素值的阶段。将每个y值的上述阶段的平均值的图形作为上述直方图。
CPU24在步骤S221生成的直方图中，提取取峰值的点(以下称为峰值点)(步骤S222)。
CPU24基于在步骤S222中提取的峰值点的直方图的值，将各点与眼睑·眉·口确定对应关系(步骤S223)。
CPU24在步骤S223中基于与眼睑·眉·口确定对应关系的各峰值点，计算面部图像中的面部的上下端位置(步骤S224)。例如，将离开所检测的眉的上方3个像素的位置作为面部的上端，将离开所检测的口的下方3个像素的位置作为面部的下端(口与颚之间)。
这样，利用面部上下端检测处理，可以计算面部图像中的面部的上下端位置。
这里，说明在眼睑检测处理的步骤S300进行的候选眼睑提取处理。简单说明如下。在候选眼睑提取处理中，眼睑检测装置50提取基于利用面部位置检测处理所检测的面部位置而推定为存在眼睑的特定区域。然后，眼睑检测装置50从所提取的区域中，利用横向边缘检测用佐贝尔滤波器，检测正边缘和负边缘，提取满足上述公式(1)-(3)的边缘线对，将其作为候选眼睑。
以下，参照图12，详细说明候选眼睑提取处理(步骤S300)。
首先，CPU24基于在面部位置检测处理所检测的面部的左右端和上下端的位置和眼睑区域设定参数，从存放在图像存储器22中的各面部图像中提取推定存在眼睑的区域的图像(步骤S310)。
CPU24从存放在ROM23中的横向边缘线检测用算符(图3(b))，对在步骤S310中提取出的区域的图像进行处理，将该图像的各像素的微分值的绝对值在眼睑检测用横向佐贝尔阈值以上的像素判断为横向边缘线，并进行提取(步骤S320)。
CPU24计算步骤S320中提取出的横向边缘线中的正边缘的长度Lp、负边缘的长度Lm、正边缘的重心的x坐标Cxp、负边缘的重心的x坐标Cxm、负边缘的重心与正边缘的重心之间的距离Dg(步骤S330)。
CPU24利用在步骤S330中计算出的各参数，将满足上述公式(1)-(3)的负边缘和正边缘的组合作为候选眼睑进行提取(步骤S340)。
这样，利用候选眼睑提取处理，可以在推定为存在眼睑的区域内，提取作为候选眼睑的负边缘和正边缘的组合。
这里，说明在眼睑检测处理的步骤S400进行的眼睑判断处理。简单来说，眼睑检测装置50针对在候选眼睑提取处理中提取出的各候选眼睑的左右端，设定眼睛尾部·眼睛头部区域，计算所设定的区域的眼睛尾部·眼睛头部评价值，将计算的左右端的眼睛尾部·眼睛头部评价值的和为最大的候选眼睑和第二大的候选眼睑判断为左右眼睑。
以下，参照图13，详细说明眼睑判断处理(S400)。
首先，CPU24从候选眼睑提取处理所提取出的候选眼睑中，选择没有计算眼睛尾部·眼睛头部评价值的任意的候选眼睑(步骤S410)。
接着，CPU24从所选择的候选眼睑的正边缘的左右端中，选择没有计算眼睛尾部·眼睛头部评价值的端(步骤S420)。
CPU24以所选择的候选眼睑的正边缘所选择的端为中心，设定眼睛尾部·眼睛头部区域(步骤S430)。
CPU24在相当于进行佐贝尔滤波处理之前的原始图像的眼睛尾部·眼睛头部区域内配置与所选择的端相对应的眼睛尾部·眼睛头部图案。接着，CPU24计算相当于图案的皮肤部分的原始图像的浓度的平均值与相当于图案的眼睛部分的原始图像的浓度的平均值。CPU24将从所计算的相当于皮肤部分的原始图像的浓度的平均值中减去相当于眼睛部分的原始图像的浓度的平均值后的值作为眼睛尾部·眼睛头部评价值(步骤S440)。
CPU24判断是否对所选择的候选眼睑的左右两端计算了眼睛尾部·眼睛头部评价值(步骤S450)。
如果判断为对所选择的候选眼睑的左右两端没有计算眼睛尾部·眼睛头部评价值(步骤S450：否)，CPU24回到步骤S420的处理。
如果判断为对所选择的候选眼睑的左右两端计算了眼睛尾部·眼睛头部评价值(步骤S450：是)，则CPU24判断是否对所有的候选眼睑计算了眼睛尾部·眼睛头部评价值(步骤S460)。
如果判断为没有对所有的候选眼睑计算眼睛尾部·眼睛头部评价值(步骤S460：否)，CPU24则回到步骤S410的处理。
如果判断为对所有的候选眼睑计算了眼睛尾部·眼睛头部评价值(步骤S460：是)，则CPU24对各候选眼睑计算左端的眼睛尾部·眼睛头部评价值与右端的眼睛尾部·眼睛头部评价值之和。CPU24将所算出的左端的眼睛尾部·眼睛头部评价值与右端的眼睛尾部·眼睛头部评价值之和的值最大的候选眼睑和第二大的候选眼睑判断为左右眼睑(步骤S470)。
这样，利用眼睑判断处理，可以计算评价各候选眼睑的左右端与眼睛尾部和眼睛头部的相似程度的评价值，基于该评价值，判断左右眼睑。
如上所述，第1实施方式的眼睑检测装置50从在不同的时刻拍摄的多个面部图像中检测面部位置。然后，眼睑检测装置50基于该面部位置，提取推定眼睑的存在的区域，从该区域中提取作为候选眼睑的边缘线对。眼睑检测装置50从所提取的候选眼睑(边缘线对)中，将包含眼睛尾部和眼睛头部的可能性高的那个判断为眼睑。因此，眼睑检测装置50能够正确地短时间地检测眼睑。
(第2实施方式)
在第1实施方式中，眼睑检测装置50在从候选眼睑中判别眼睑时，针对各候选眼睑，设定面积等于眼睛尾部·眼睛头部图案的眼睛尾部·眼睛头部区域，将该眼睛尾部·眼睛头部区域与眼睛尾部·眼睛头部图案进行对应，计算眼睛尾部·眼睛头部评价值。但是，在第2实施方式中，眼睑检测装置50也可以首先在从候选眼睑中判别眼睑时，针对各候选眼睑，设定图14(c)、(d)所示的面积大于眼睛尾部·眼睛头部图案的眼睛尾部·眼睛头部区域。接着，如图14(d)所示，眼睑检测装置50利用眼睛尾部·眼睛头部图案，扫描眼睛尾部·眼睛头部区域，计算所扫描部分的眼睛尾部·眼睛头部暂定评价值，将取最大值的眼睛尾部·眼睛头部暂定评价值作为眼睛尾部·眼睛头部评价值。但是，第2实施方式的眼睛尾部·眼睛头部区域为以候选眼睑的正边缘的左右两端为中心的横21×纵11“像素”的区域。
另外，与第2实施方式有关的眼睑检测装置的结构和与第1实施方式有关的眼睑检测装置的结构一样。还有，第2实施方式中的眼睑判断处理以外的处理与第1实施方式一样。
下面，参照图15，详细说明与第2实施方式有关的眼睑判断处理(S400)。
首先，CPU24从在候选眼睑提取处理所提取的候选眼睑中，选择没有计算眼睛尾部·眼睛头部评价值的任意的候选眼睑(步骤S510)。
接着，CPU24从所选择的候选眼睑的正边缘的左右端中，选择没有计算眼睛尾部·眼睛头部评价值的端(步骤S520)。
CPU24以所选择的候选眼睑的正边缘所选择的端为中心，设定眼睛尾部·眼睛头部区域(步骤S530)。
CPU24在设定的眼睛尾部·眼睛头部区域中选择任意点(x，y)(步骤S540)。
CPU24将进行佐贝尔滤波处理之前的原始图像的眼睛尾部·眼睛头部区域内的任意点(x，y)作为基点，配置所选择的端的眼睛尾部·眼睛头部图案。接着，CPU24计算相当于图案的皮肤部分的原始图像的浓度的平均值与相当于图案的眼睛部分的原始图像的浓度的平均值。CPU24将从所计算的相当于皮肤部分的原始图像的浓度的平均值中减去相当于眼睛部分的原始图像的浓度的平均值后的值作为眼睛尾部·眼睛头部暂定评价值σ(x，y)(步骤S550)。
CPU24判断在眼睛尾部·眼睛头部区域的全部区域是否计算了眼睛尾部·眼睛头部暂定评价值(步骤S560)。
如果判断为在眼睛尾部·眼睛头部区域的全部区域没有计算眼睛尾部·眼睛头部暂定评价值(步骤S560：否)，CPU24则回到步骤S540的处理。
如果判断为在眼睛尾部·眼睛头部区域的全部区域计算了眼睛尾部·眼睛头部暂定评价值(步骤S560：是)，CPU24则将计算的眼睛尾部·眼睛头部评价值中具有最大值的评价值作为所选择的候选眼睑的所选择的端的眼睛尾部·眼睛头部评价值(步骤S570)。
CPU24判断对所选择的候选眼睑的左右两端是否计算了眼睛尾部·眼睛头部评价值(步骤S580)。
如果判断为对所选择的候选眼睑的左右两端没有计算眼睛尾部·眼睛头部评价值(步骤S580：否)，CPU24则回到步骤S520的处理。
如果判断为对所选择的候选眼睑的左右两端计算了眼睛尾部·眼睛头部评价值(步骤S580：是)，CPU24则判断是否对所有的候选眼睑计算了眼睛尾部·眼睛头部评价值(步骤S590)。
如果判断为没有对所有的候选眼睑计算眼睛尾部·眼睛头部评价值(步骤S590：否)，CPU24则回到步骤S510的处理。
如果判断为对所有的候选眼睑计算了眼睛尾部·眼睛头部评价值(步骤S590：是)，则CPU24针对各候选眼睑，计算其左端的眼睛尾部·眼睛头部评价值与其右端的眼睛尾部·眼睛头部评价值的和。CPU24将计算出的左端的眼睛尾部·眼睛头部评价值与右端的眼睛尾部·眼睛头部评价值的和的值最大的候选眼睑和第二大的候选眼睑判断为左右眼睑(步骤S600)。
这样，利用第2实施方式的眼睑判断处理，从各候选眼睑的左右端附近的区域中提取与眼睛尾部和眼睛头部的相似部分，计算该提取部分的评价值，从而可以基于该评价值，判断左右眼睑。
如上所述，第1实施方式的眼睑检测装置50从在不同的时刻拍摄的多个面部图像中检测面部位置。然后，眼睑检测装置50基于该面部位置，提取推定为眼睑存在的区域，从该区域中提取作为候选眼睑的边缘线对。眼睑检测装置50针对所提取的候选眼睑(边缘线对)的左右端，设定面积大于眼睛尾部·眼睛头部图案的眼睛尾部·眼睛头部区域。接着，眼睑检测装置50利用眼睛尾部·眼睛头部图案扫描该眼睛尾部·眼睛头部区域的全部区域，计算所扫描部分的眼睛尾部·眼睛头部暂定评价值，将取最大值的眼睛尾部·眼睛头部暂定评价值作为眼睛尾部·眼睛头部评价值，基于眼睛尾部·眼睛头部评价值，判断左右眼睑。因此，眼睑检测装置50可以从各候选眼睑中提取与眼睛尾部·眼睛头部最为相似的部分，因而能够正确地短时间地检测眼睑。
另外，该发明并不局限于上述实施方式，可以进行各种变形和应用。
在第1实施方式和第2实施方式中，计算机14对于摄像机10拍摄的对象者的面部的运动图像进行眼睑检测处理。但是，在应用例中，也可以将从摄像机10以外的外部装置获取的对象者的面部的运动图像存放在图像存储器22中，然后对该运动图像进行眼睑检测处理。还有，也可以对多个面部的图像进行眼睑检测处理。
还有，在第1实施方式和第2实施方式中，在面部位置检测处理(S200)时，对面部图像进行佐贝尔滤波处理，然后从基于该像素值的直方图中检测面部位置。但是，在应用例中，也可以象日本专利特开2004-310396号公报所公开的那样，对构成摄影图像的各像素进行时间微分，然后将该时间微分值在纵方向进行投影，生成直方图，将边缘提取图像的直方图与时间微分图像的直方图进行合计，将合计后的直方图的峰值最大的那个判断为面部的两端，从而检测面部位置。
还有，在面部位置检测处理(S200)时，也可以利用样板匹配法，将面部图像与预先登记的某个样板进行匹配，从而检测面部位置。
还有，在上述实施方式中，将包含眼睛尾部和眼睛头部的可能性高的那个判断为眼睑，但也可以将包含眼睛尾部和眼睛头部中的某一个的可能性高的那个判断为眼睑。
还有，在上述实施方式中，为了在面部图像上提取相当于下眼睑的线，采用了利用佐贝尔滤波器提取横向边缘线的方法，但也可以采用其它方法。例如，也可以采用MAX-MIN滤波器来检测边缘。
还有，在上述实施方式中，以候选下眼睑(正边缘)的左右端为中心，设定了眼睛尾部·眼睛头部区域，但也可以左右端之外的正边缘上的点为中心，设定眼睛尾部·眼睛头部区域。例如，也可以设定为正边缘的端附近占区域的2/3左右，空白部分占1/3。
另外，与本发明有关的眼睑检测装置可以不依赖专用的系统，而采用通常的计算机系统来实现。例如，也可以构成为：将具有能够输入面部图像的计算机中运行的程序存放在计算机系统能够读取的记录介质(闪速存储器、CD-ROM、DVD-ROM等)中进行发行，通过将该程序安装到计算机系统中，从而实现进行上述处理的眼睑检测装置。还有，也可以将该程序存放在因特网等通信网络上的服务器装置具有的存储装置，通常的计算机通过下载等来实现眼睑检测装置。
还有，在OS(Operating System)与应用程序分担、或者OS与应用程序协同实现上述功能时，也可以只将应用程序部分存放在记录介质或存储装置中。
还有，也可以在载波中叠加计算机程序，经由通信网络进行分发。例如，也可以在通信网络上的服务器上发布上述程序，经由网络，分发上述程序。然后，启动该计算机程序，在OS控制下，与其他应用程序一样运行，从而进行上述处理。

Claims (9)

1.一种眼睑检测装置，包括：
面部图像存储机构，其存储对象者的面部的图像；
候选眼睑提取机构，其对存储在所述面部图像存储机构中的图像进行处理，提取由与上眼睑对应的线和与下眼睑对应的线构成的候选组合的线对；
参数计算机构，其计算表示所述面部图像存储机构存储的图像中的与所述候选眼睑提取机构所提取的线对相对应的部分中包含眼睛头部和眼睛尾部中的至少一方的可能性的参数；和
眼睑检测机构，其基于所述参数计算机构算出的参数，检测对象者的眼睑的位置。
2.根据权利要求1所述的眼睑检测装置，其特征在于，
所述参数计算机构计算表示所述面部图像存储机构存储的图像中的、包含所述候选眼睑提取机构所提取的作为候选下眼睑的线的两端的规定部分中包含眼睛头部和眼睛尾部中的至少一方的可能性的参数。
3.根据权利要求2所述的眼睑检测装置，其特征在于，
所述参数计算机构计算所述面部图像存储机构存储的图像中的包含所述候选眼睑提取机构所提取的作为候选下眼睑的线的两端的规定部分的多个像素的浓度的平均值，
基于所计算的多个像素的浓度的平均值，计算表示所述面部图像存储机构存储的图像的包含所述候选眼睑提取机构所提取的作为候选下眼睑的线的两端的规定部分中包含眼睛头部和眼睛尾部中的至少一方的可能性的参数。
4.根据权利要求3所述的眼睑检测装置，其特征在于，
还具有图案存储机构，其存储表示在面积等于包含所述线的两端的规定部分的区域中、与皮肤部分对应的皮肤区域和与眼睛部分对应的眼睛区域的图案，
所述参数计算机构计算所述面部图像存储机构存储的图像中的、与所述图案存储机构存储的图案所表示的皮肤区域对应的部分的多个像素的浓度的平均值、和所述面部图像存储机构存储的图像中的、与所述图案存储机构存储的图案所表示的眼睛区域对应的部分的多个像素的浓度的平均值之间的差分，
所述眼睑检测机构基于所述差分来检测眼睑。
5.根据权利要求3所述的眼睑检测装置，其特征在于，
还具有图案存储机构，其存储表示在面积小于包含所述线的两端的规定部分的区域中、与皮肤部分对应的皮肤区域和与眼睛部分对应的眼睛区域的图案，
所述参数计算机构具有差分计算机构，其将包含所述线的两端的规定部分中的一部分与所述图案存储机构所存储的图案进行对应，计算所述面部图像存储机构存储的图像中的、与所述图案存储机构存储的图案所表示的皮肤区域对应的部分的多个像素的浓度的平均值、和所述面部图像存储机构存储的图像中的、与所述图案存储机构存储的图案所表示的眼睛区域对应的部分的多个像素的浓度的平均值之间的差分，
使所述差分计算机构对包含所述线的两端的规定部分进行扫描，将计算出的多个差分中的最大值作为最大差分值，
所述眼睑检测机构基于所述最大差分值，检测眼睑。
6.根据权利要求1～5中任一项所述的眼睑检测装置，其特征在于，
所述眼睑检测机构检测对象者的左右眼睑。
7.根据权利要求6所述的眼睑检测装置，其特征在于，
所述眼睑检测机构检测的左右眼睑是所述参数计算机构计算出的参数最大的眼睑和参数第二大的眼睑。
8.一种眼睑检测方法，
对面部图像进行处理，提取由眼睛的上眼睑和下眼睑构成的候选组合的线对，
计算表示所提取的由上眼睑和下眼睑构成的候选组合的线对包含眼睛头部和眼睛尾部中的至少一方的可能性的参数，
基于所计算出的参数，检测对象者的眼睑的位置。
9.一种程序，
使计算机作为如下机构发挥功能，即：
面部图像存储机构，其存储对象者的面部的图像；
候选眼睑提取机构，其对存储在所述面部图像存储机构中的图像进行处理，提取由与上眼睑对应的线和与下眼睑对应的线构成的候选组合的线对；
参数计算机构，其计算表示所述面部图像存储机构存储的图像中的与所述候选眼睑提取机构所提取的线对相对应的部分中包含眼睛头部和眼睛尾部中的至少一方的可能性的参数；和
眼睑检测机构，其基于所述参数计算机构算出的参数，检测对象者的眼睑的位置。
CN2008100833819A 2007-03-15 2008-03-13 眼睑检测装置、眼睑检测方法及其程序 Active CN101266647B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007066780A JP4309928B2 (ja) 2007-03-15 2007-03-15 瞼検出装置、瞼検出方法、及び、プログラム
JP2007-066780 2007-03-15

Publications (2)

Publication Number Publication Date
CN101266647A true CN101266647A (zh) 2008-09-17
CN101266647B CN101266647B (zh) 2012-09-26

Family

ID=39587946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100833819A Active CN101266647B (zh) 2007-03-15 2008-03-13 眼睑检测装置、眼睑检测方法及其程序

Country Status (4)

Country Link
US (1) US7957566B2 (zh)
EP (1) EP1969994B1 (zh)
JP (1) JP4309928B2 (zh)
CN (1) CN101266647B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105792730A (zh) * 2013-12-03 2016-07-20 浜松光子学株式会社 测量装置和测量方法
CN105828701A (zh) * 2013-12-18 2016-08-03 浜松光子学株式会社 测量装置和测量方法
CN108135467A (zh) * 2015-08-21 2018-06-08 奇跃公司 眼睑形状估计
CN109087310A (zh) * 2018-07-24 2018-12-25 深圳大学 睑板腺纹理区域的分割方法、系统、存储介质及智能终端
CN110799986A (zh) * 2018-04-25 2020-02-14 北京嘀嘀无限科技发展有限公司 一种基于面部特征点的眨眼动作识别的系统和方法
US11538280B2 (en) 2015-08-21 2022-12-27 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
US11749025B2 (en) 2015-10-16 2023-09-05 Magic Leap, Inc. Eye pose identification using eye features

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5262243B2 (ja) * 2008-03-31 2013-08-14 アイシン精機株式会社 眼開閉判別装置、及びプログラム
JP4966260B2 (ja) * 2008-06-25 2012-07-04 キヤノン株式会社 画像処理方法および画像処理装置、プログラム並びに、コンピュータ読み取り可能な記憶媒体
JP5221436B2 (ja) * 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム
US8351662B2 (en) * 2010-09-16 2013-01-08 Seiko Epson Corporation System and method for face verification using video sequence
JP2012068948A (ja) * 2010-09-24 2012-04-05 Renesas Electronics Corp 顔属性推定装置およびその方法
WO2012140782A1 (ja) 2011-04-15 2012-10-18 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP6098133B2 (ja) * 2012-11-21 2017-03-22 カシオ計算機株式会社 顔構成部抽出装置、顔構成部抽出方法及びプログラム
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US10984235B2 (en) * 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
ES2610196A1 (es) * 2016-12-20 2017-04-26 Universitat D'alacant / Universidad De Alicante Método y dispositivo de autenticación biométrica mediante el reconocimiento del parpadeo
US10713483B2 (en) * 2018-03-20 2020-07-14 Welch Allyn, Inc. Pupil edge detection in digital imaging
JP7137746B2 (ja) * 2019-01-30 2022-09-15 株式会社Ｊｖｃケンウッド 映像処理装置、映像処理方法および映像処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3426060B2 (ja) * 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
US6381345B1 (en) 1997-06-03 2002-04-30 At&T Corp. Method and apparatus for detecting eye location in an image
JP3319408B2 (ja) 1998-10-12 2002-09-03 株式会社豊田中央研究所 顔の特徴抽出装置
US6018187A (en) 1998-10-19 2000-01-25 Hewlett-Packard Cmpany Elevated pin diode active pixel sensor including a unique interconnection structure
JP2000137792A (ja) 1998-10-30 2000-05-16 Toyota Motor Corp 眼部検出装置
JP2000311248A (ja) 1999-04-28 2000-11-07 Sharp Corp 画像処理装置
JP4184133B2 (ja) 2003-04-07 2008-11-19 株式会社豊田中央研究所 画像処理装置
US20050063568A1 (en) * 2003-09-24 2005-03-24 Shih-Ching Sun Robust face detection algorithm for real-time video sequence
KR100559471B1 (ko) * 2003-12-17 2006-03-10 한국전자통신연구원 대칭축을 이용한 얼굴 검출 시스템 및 방법
JP2006048205A (ja) * 2004-08-02 2006-02-16 Matsushita Electric Ind Co Ltd 瞳孔検出装置および虹彩認証装置
CN1613425A (zh) * 2004-09-15 2005-05-11 南京大学 司机疲劳预警生物识别的方法和系统
US7444017B2 (en) 2004-11-10 2008-10-28 Eastman Kodak Company Detecting irises and pupils in images of humans

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105792730A (zh) * 2013-12-03 2016-07-20 浜松光子学株式会社 测量装置和测量方法
CN105792730B (zh) * 2013-12-03 2018-03-20 浜松光子学株式会社 测量装置和测量方法
US10722112B2 (en) 2013-12-03 2020-07-28 Hamamatsu Photonics K.K. Measuring device and measuring method
CN105828701A (zh) * 2013-12-18 2016-08-03 浜松光子学株式会社 测量装置和测量方法
CN105828701B (zh) * 2013-12-18 2018-02-13 浜松光子学株式会社 测量装置和测量方法
US10478063B2 (en) 2013-12-18 2019-11-19 Hamamatsu Photonics K.K. Measurement device and measurement method
CN108135467A (zh) * 2015-08-21 2018-06-08 奇跃公司 眼睑形状估计
US11538280B2 (en) 2015-08-21 2022-12-27 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
US11749025B2 (en) 2015-10-16 2023-09-05 Magic Leap, Inc. Eye pose identification using eye features
CN110799986A (zh) * 2018-04-25 2020-02-14 北京嘀嘀无限科技发展有限公司 一种基于面部特征点的眨眼动作识别的系统和方法
CN109087310A (zh) * 2018-07-24 2018-12-25 深圳大学 睑板腺纹理区域的分割方法、系统、存储介质及智能终端
CN109087310B (zh) * 2018-07-24 2022-07-12 深圳大学 睑板腺纹理区域的分割方法、系统、存储介质及智能终端

Also Published As

Publication number Publication date
JP2008226125A (ja) 2008-09-25
US7957566B2 (en) 2011-06-07
EP1969994A3 (en) 2010-04-07
EP1969994B1 (en) 2013-02-20
JP4309928B2 (ja) 2009-08-05
CN101266647B (zh) 2012-09-26
EP1969994A2 (en) 2008-09-17
US20080226139A1 (en) 2008-09-18

Similar Documents

Publication Publication Date Title
CN101266647B (zh) 眼睑检测装置、眼睑检测方法及其程序
WO2020151489A1 (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
CN103440479B (zh) 一种活体人脸检测方法与系统
CN101271517B (zh) 面部区域检测装置和方法
CN105574518B (zh) 人脸活体检测的方法和装置
CN108764058B (zh) 一种基于热成像效应的双摄像头人脸活体检测方法
CN100357959C (zh) 面部器官位置检测设备、方法及程序
CN110287790B (zh) 一种面向静态多人场景的学习状态混合分析方法
JP5262243B2 (ja) 眼開閉判別装置、及びプログラム
CN104361326A (zh) 一种判别活体人脸的方法
JP2005242567A (ja) 動作評価装置及び方法
CN109359577A (zh) 一种基于机器学习的复杂背景下人数检测系统
CN111967319A (zh) 基于红外和可见光的活体检测方法、装置、设备和存储介质
KR100815209B1 (ko) 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법
CN111832464A (zh) 一种基于近红外摄像头的活体检测方法及装置
JP4848301B2 (ja) 瞼検出装置及びプログラム
CN116030516A (zh) 基于多任务学习与全局循环卷积的微表情识别方法及装置
CN115620405A (zh) 一种基于rPPG心率特性的人脸伪造视频检测方法
JP2767814B2 (ja) 顔画像検出方法及び装置
CN114120422A (zh) 一种基于局部图像数据融合的表情识别方法及装置
JP2008084109A (ja) 目開閉判定装置及び目開閉判定方法
JP4895876B2 (ja) 眼検出装置及びプログラム
JP4848303B2 (ja) 眼開閉判別装置及びプログラム
CN111126283A (zh) 一种自动过滤模糊人脸的快速活体检测方法及系统
CN110598568A (zh) 一种基于人脸表情分类的旅游景点智能拍照系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant