CN102164541A - 睁闭眼判别装置及程序 - Google Patents

睁闭眼判别装置及程序 Download PDF

Info

Publication number
CN102164541A
CN102164541A CN200980138165.2A CN200980138165A CN102164541A CN 102164541 A CN102164541 A CN 102164541A CN 200980138165 A CN200980138165 A CN 200980138165A CN 102164541 A CN102164541 A CN 102164541A
Authority
CN
China
Prior art keywords
expression
eyes
unit
cpu34
closing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200980138165.2A
Other languages
English (en)
Other versions
CN102164541B (zh
Inventor
森田贡规
平槙崇
足立淳
竹前嘉修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN102164541A publication Critical patent/CN102164541A/zh
Application granted granted Critical
Publication of CN102164541B publication Critical patent/CN102164541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/20—Calibration, including self-calibrating arrangements
    • G08B29/24—Self-calibration, e.g. compensating for environmental drift or ageing of components
    • G08B29/26—Self-calibration, e.g. compensating for environmental drift or ageing of components by updating and storing reference thresholds
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver

Abstract

计算机(30)从照相机(10)取得对被拍摄人员进行拍摄得到的脸部图像，根据取得的脸部图像推定被拍摄人员的表情。接着，根据该脸部图像求出被拍摄人员的眼睛开度，基于推定出的被拍摄人员的表情来设定眼睛开度的阈值。在该眼睛开度超过该阈值时，计算机(30)判别为被拍摄人员的眼睛睁开。另外，在该眼睛开度未超过该阈值时，判别为被拍摄人员的眼睛闭合。

Description

睁闭眼判别装置及程序
技术领域
本发明涉及适于基于被拍摄人员的表情来判别被拍摄人员的眼睛的睁闭状态的睁闭眼判别装置及用于在计算机上实现该睁闭眼判别装置的程序。
背景技术
目前，基于车辆驾驶员的脸部图像来判别驾驶员的眼睛的睁闭状态，从而检测驾驶员的瞌睡状态的瞌睡状态检测装置为人们所知。
例如，专利文献1中公开了一种瞌睡状态检测装置，该瞌睡状态检测装置与由光环境的变化或驾驶员的个体差异引起的脸部位置的差异相对应地检测驾驶员的瞌睡状态。专利文献1所公开的瞌睡状态检测装置在判定眼睛的睁闭时，根据眼睛区域所包含的标示(labelling)区域的纵向上的最大连续数来检测眼睛开度，从而判定睁闭状态。
另外，专利文献2中公开了一种眼睛状态检测装置，该眼睛状态检测装置推定驾驶员感到晃眼的状况并对睁闭眼判定基准值进行修正，由此谋求检测精度的提高。专利文献2所公开的眼睛状态检测装置在眼睛开度检测电路输出的多次眼睛开度值的时序变化中，学习眼睛开度的最大值、最小值来设定睁闭眼判定基准值。并且，专利文献2所公开的眼睛状态检测装置，例如在判定为驾驶员处于感到晃眼的状态时，以使睁闭眼判定基准值变小的方式进行修正。由此，能够防止在驾驶员因晃眼而眯眼时错误地判定为眼睛闭着。
并且，专利文献3公开了一种能够判定困倦状态的困倦判定装置。专利文献3所公开的困倦判定装置基于眼睛区域的图像来计算眼睛开度，并基于S型函数求得与计算出的眼睛开度相对应的权系数，用该权系数乘以眼睛开度来计算加权眼睛开度。并且，在专利文献3所公开的困倦判定装置将加权眼睛开度的累加值分别与预先规定的第一阈值及第二阈值进行比较，从而判定困倦等级。根据专利文献3所公开的困倦判定装置，将眼睛开度加权之后进行累加，因此对于如半睁眼的状态，能够在考虑该状态对困倦的贡献的情况下判定驾驶员的困倦状态。
另外，专利文献4中公开了一种眼睛状态检测装置，该眼睛状态检测装置具有基准值修正单元，该基准值修正单元在检测到驾驶开始而且判别为眼睛的眼睛开度正在变化时，再学习睁闭眼判定基准值。专利文献4所公开的眼睛状态检测装置根据周围的状况等而在恰当的时刻再学习睁闭眼判定基准值。在例如能够判断为由于光环境的变化使驾驶员处于晃眼的状况时，并不再学习睁闭眼判定基准值。由此，能够防止睁闭眼判定基准值缩小到必要以上，能够防止在不晃眼的状态下判断为驾驶员始终睁眼。
现有技术文献(专利文献)
专利文献1：日本特开平10-143669号公报
专利文献2：日本特开2000-198369号公报
专利文献3：日本特开2008-212298号公报
专利文献4：日本专利第3769442号公报
发明内容
发明所要解决的问题
然而，专利文献1至4所公开的装置并不是考虑驾驶员的表情来恰当地判定驾驶员的眼睛的睁闭状态的结构，因此往往会错误地判定驾驶员的眼睛的睁闭状态。
例如，在专利文献1所公开的瞌睡状态检测装置中，在驾驶员眯眼时上下眼睑的距离较近，因此往往无论驾驶员的表情如何，错误地判定为处于闭眼状态。
另外，专利文献2所公开的眼睛状态检测装置是根据眼睛周围的浓度信息等推定驾驶员所处的状态的装置。因此，例如，若眼睛周围被拍摄得较亮，则往往无论表情如何都推定驾驶员处于晃眼状态中。另外，反之，若眼睛周围较暗，则即使驾驶员觉得晃眼，往往也会推定为驾驶员未处于晃眼状态中。
另外，专利文献3所公开的困倦判定装置虽然能够考虑如半睁眼的状态而判定驾驶员的困倦等级，但并不能考虑驾驶员的整个表情而恰当地判定困倦等级。
另外，专利文献4所公开的眼睛状态检测装置以基于过去的状况生成的(再学习的)睁闭眼判定基准值作为睁闭眼判定的基准。因此，专利文献4所公开的眼睛状态检测装置不能与进行眼睛的睁闭判定时的驾驶员的表情等进行眼睛的睁闭判定时的状况相对应地恰当地进行睁闭眼判定。
本发明是鉴于上述问题而做出的，目的在于提供适于基于被拍摄人员的表情来判别被拍摄人员的眼睛的睁闭的睁闭眼判别装置及用于在计算机上实现该睁闭眼判别装置的程序。
用于解决问题的手段
为了实现上述目的，本发明的睁闭眼判别装置具有：
图像取得单元，其取得被拍摄人员的脸部的图像；
表情推定单元，其根据所述图像推定所述被拍摄人员的表情；
眼睛开度取得单元，其根据所述图像求出所述被拍摄人员的眼睛开度；
阈值设定单元，其基于所述表情推定单元推定出的表情，设定所述眼睛开度的阈值；
睁闭眼判别单元，其在判别为所述眼睛开度超过所述阈值时，判别为所述被拍摄人员的眼睛睁开，在判别为所述眼睛开度未超过所述阈值时，判别为所述被拍摄人员的眼睛闭合。
可以是：所述阈值设定单元在判别为所述表情推定单元推定出的表情是表示清醒度高的表情时将所述阈值设定得低，在判别为所述表情推定单元推定出的表情是表示清醒度低的表情时将所述阈值设定得高。
可以是：所述睁闭眼判别单元在判别为所述表情推定单元推定出的表情是表示清醒度高的表情时，无论所述眼睛开度如何都判别为所述被拍摄人员的眼睛睁开，在判别为所述表情推定单元推定出的表情是表示清醒度低的表情时，无论所述眼睛开度如何都判别为所述被拍摄人员的眼睛闭合。
也可以是：所述阈值设定单元将正在笑的表情、晃眼的表情或注视特定方向的表情判别为表示清醒度较高的表情。
可以是：所述阈值设定单元将快要睡着的表情判别为表示清醒度低的表情。
可以是：所述阈值设定单元将所述被拍摄人员注视所驾驶的车辆的计量仪器的表情判别为表示清醒度高的表情。
可以是：具有履历信息存储单元，该履历信息存储单元将第一信息与第二信息相对应地进行存储作为履历信息，其中，所述第一信息是指，表示所述表情推定单元推定出的表情的信息，所述第二信息是指，表示所述眼睛开度的信息；
所述阈值设定单元基于所述履历信息来设定所述阈值。
可以是：所述履历信息存储单元还将第三信息与表示所述表情推定单元推定出的表情的上述第一信息、表示所述眼睛开度的上述第二信息相对应地进行存储作为所述履历信息，其中，所述第三信息是指，表示所述睁闭眼判别单元判别出的判别结果的信息。
可以是：所述表情推定单元利用神经网络，根据所述图像推定所述被拍摄人员的表情。
可以是：所述神经网络是科荷伦型神经网络。
可以是：所述眼睛开度取得单元从所述图像中提取包括所述被拍摄人员的眼睛的图像并进行二值化处理，求出在进行过所述二值化处理的图像中沿着所述被拍摄人员的眼睛的上下方向连续排列的规定亮度的像素的数目的最大值作为所述眼睛开度。
为了实现上述目的，本发明的程序使计算机发挥以下单元的功能：
图像取得单元，其取得被拍摄人员的脸部的图像；
表情推定单元，其根据所述图像推定所述被拍摄人员的表情；
眼睛开度取得单元，其根据所述图像求出所述被拍摄人员的眼睛开度；
阈值设定单元，其基于所述表情推定单元推定出的表情，设定所述眼睛开度的阈值；
睁闭眼判别单元，其在判别为所述眼睛开度超过所述阈值时，判别为所述被拍摄人员的眼睛睁开，在判别为所述眼睛开度未超过所述阈值时，判别为所述被拍摄人员的眼睛闭合。
发明的效果
根据本发明的睁闭眼判别装置及程序，能够基于被拍摄人员的表情判定被拍摄人员的眼睛的睁闭状态。
附图说明
图1是本发明的第一至第三实施方式的睁闭眼判别装置的结构图。
图2是表示图1所示的计算机的结构的框图。
图3是表示本发明的第一实施方式的睁闭眼判别装置执行的睁闭眼状态判别处理的一个例子的流程图。
图4是表示本发明的第一实施方式的睁闭眼判别装置执行的学习处理的一个例子的流程图。
图5A是表示学习用的脸部图像的图(其一)。
图5B是表示学习用的脸部图像的图(其二)。
图5C是表示学习用的脸部图像的图(其三)。
图5D是表示学习用的脸部图像的图(其四)。
图5E是表示学习用的脸部图像的图(其五)。
图5F是表示学习用的脸部图像的图(其六)。
图6是用于说明学习后的表情图的图。
图7A是用于说明表情图的区域化的图(其一)。
图7B是用于说明表情图的区域化的图(其二)
图8是表示图3的流程图所示的表情推定处理的详情的一个例子的流程图。
图9是表示图3的流程图所示的眼睛开度检测处理的详情的一个例子的流程图。
图10是表示图9的流程图所示的眼睛位置检测处理的详情的一个例子的流程图。
图11A是表示脸部图像的一个例子的图。
图11B是用于说明提取亮度极小点的方法的图(其一)。
图11C是用于说明提取亮度极小点的方法的图(其二)
图12是用于说明提取亮度极小曲线组的方法的图。
图13是表示图9的流程图所示的二值化处理的详情的一个例子的流程图。
图14A是表示眼睛附近区域的图像的图。
图14B是用于说明提取亮度极小点的方法的图(其三)。
图14C是用于说明提取亮度极小点的方法的图(其四)。
图15是表示本发明的第二实施方式的睁闭眼判别装置执行的睁闭眼状态判别处理的一个例子的流程图。
图16是表示本发明的第三实施方式的睁闭眼判别装置执行的学习处理的一个例子的流程图。
图17是表示前馈神经网络(feed forward neural network)的一个例子的示意图。
图18是表示本发明的第三实施方式的睁闭眼判别装置执行的表情推定处理的一个例子的流程图。
图19是表示变形例的睁闭眼判别装置执行的睁闭眼状态判别处理的一个例子的流程图。
具体实施方式
(第一实施方式)
以下，参照附图说明本发明的第一实施方式的睁闭眼判别装置100。
首先，参照图1说明本发明的第一实施方式的睁闭眼判别装置100的结构。
如图1所示，睁闭眼判别装置100包括：照相机10，其对驾驶员的脸部进行拍摄从而生成包括驾驶员的脸部的图像(脸部图像)；照明光源20，其对驾驶员的脸部进行照明；计算机30，其判别驾驶员的眼睛的睁闭状态；及显示装置40，其与计算机30相连接。
照相机10以规定周期(例如1/30秒)取得包括驾驶员脸部和背景的图像(灰度图像)，并依次输出所取得的图像。照相机10将取得的图像例如作为模拟图像信号而输出。以下，为了便于说明，将照相机10取得的包括驾驶员的脸部和其背景的图像叫做“脸部图像”。
照相机10例如由CCD(Charge Coupled Device：电荷耦合器件)照相机等构成。
显示装置40对照相机10拍摄得到的脸部图像等进行显示。显示装置40例如由LCD(Liquid Crystal Display：液晶显示器)或CRT(Cathode Ray Tube：阴极射线管)等构成。
计算机30对照相机10拍摄得到的脸部图像进行处理从而判别图像中的眼睛的睁闭状态。如图2所示，计算机30例如包括A/D(Analog/Digital：模拟/数字)变换器31、图像存储器32、ROM(Read Only Memory：只读存储器)33、CPU(Central Processing Unit：中央处理单元)34、RAM(Random Access Memory：随机存取存储器)35、显示控制装置36、光源控制装置37、设定存储器38及操作装置39。
A/D变换器31将照相机10所供应的模拟图像信号变换为数字图像信号进行输出。
图像存储器32用于存储由A/D变换器31所输出的数字图像信号来表现的脸部图像。图像存储器32例如由SRAM(Static Random Access Memory：静态随机存取存储器)等构成。
ROM33用于存储用于对CPU34的动作进行控制的程序。另外，ROM33存储用于执行后述的图像处理的各种固定数据。
CPU34对计算机30整体的动作进行控制。CPU34通过执行ROM33中存储的程序，对照相机10生成的脸部图像进行处理从而判别驾驶员的眼睛的睁闭状态。
RAM35发挥CPU34的工作区域的功能。
显示控制装置36在CPU34的控制之下将例如图像存储器32中存储的脸部图像变换为显示装置40能够显示的数据形式，并供应给显示装置40。
光源控制装置37对照明光源20的点亮、灭灯进行控制。
设定存储器38用于存储后述的表情图、聚类结果等CPU34对脸部图像进行处理并判别眼睛的睁闭状态时所使用的数据(以下为“设定信息”)。
操作装置39接受来自用户的操作，并将与操作相对应的操作信号供应至CPU34。
接着，利用图3所示的流程图，说明睁闭眼判别装置100执行的睁闭眼状态判别处理。
睁闭眼判别装置100的电源一接通，计算机30内的CPU34定期(例如每隔1/30秒)执行图3所示的睁闭眼状态判别处理。
首先，CPU34执行睁闭眼状态判别处理中使用的变量的初始化等(步骤S101)。
然后，CPU34取得驾驶员的脸部图像(步骤S102)。具体而言，CPU34对A/D变换器31供应用照相机10输出的一帧模拟图像信号来表现的脸部图像，并将用该A/D变换器31输出的一帧数字图像信号来表现的脸部图像存储在图像存储器32中。
接着，CPU34执行表情推定处理(步骤S103)。CPU34执行的表情推定处理只要是根据脸部图像能够推定表情的处理即可，可以为任意处理。在本实施方式中，说明通过科荷伦(Kohonen)型神经网络来推定表情的处理。
另外，在利用科荷伦型神经网络推定表情时，需要预先学习在输入何种脸部图像时推定为何种表情。这里，参照图4所示的流程图说明CPU34在执行表情推定处理(步骤S103)之前所执行的学习处理。
CPU34对学习处理中使用的变量等进行初始化(步骤S201)。另外，CPU34对后述的表情图进行初始化，即，对各单元的网络连接权随机赋予较小的值来进行初始化。
接着，CPU34取得学习用的脸部图像(步骤S202)。CPU34对A/D变换器31供应例如用对各表情的驾驶员进行了拍摄的照相机10所输出的一帧模拟图像信号表现的脸部图像，并取得用该A/D变换器31输出的一帧数字图像信号表现的脸部图像作为学习用的脸部图像。
这里，参照附图说明学习用的脸部图像。
图5A至图5F例示出了学习用的脸部图像。图5A是对“无表情”的驾驶员进行拍摄得到的脸部图像的一个例子，图5B是对正感到“愤怒”的驾驶员进行拍摄得到的脸部图像的一个例子，图5C是对正感到“晃眼”的驾驶员进行拍摄得到的脸部图像的一个例子，图5D是对正感到“困倦”的驾驶员进行拍摄得到的脸部图像的一个例子，图5E是对正在“笑”的驾驶员进行拍摄得到的脸部图像的一个例子，图5F是对正感到“吃惊”的驾驶员进行拍摄得到的脸部图像的一个例子。
CPU34取得如图5A至图5F中例示的各表情的脸部图像。另外，表情并不限于上述六种表情，为了易于理解，将表情分类为上述六种表情中的任一种表情来进行说明。
CPU34将取得的学习用脸部图像标准化为规定格式的脸部图像(步骤S203)。例如，CPU34将取得的学习用脸部图像灰度化，并根据双眼的位置利用仿射变换来修正脸部的朝向、脸部的大小。然后，CPU34以鼻子的位置为中心将图像剪切为规定大小(例如，256×256像素(pixel))之后，压缩为规定的大小(例如，64×64像素)。CPU34将压缩后的脸部图像存储在图像存储器32中。
接着，CPU34更新表情图(步骤S204)。具体而言，CPU34通过利用以下的(1)式至(4)式执行各种运算来更新表情图。另外，表情图是指，能够将取得的学习用脸部图像(以下称为“输入图像”)做成由64(k方向)×64(l方向)像素构成的图像，并将与该输入图像相同尺寸的图像(以下称为“单元”)在k方向排列i个，在l方向排列j个的图像。
这里，若将输入图像的各像素的亮度值表示为xkl，将坐标为(i，j)的单元的各像素的亮度值(以下称为“网络连接权”。)表示为Wijkl，则输入图像与坐标为(i，j)的单元之间的类似度uij能够通过(1)式求出。然后，CPU34将类似度uij最大的单元确定为类似度最大单元。
u ij = Σ x kl w ijkl Σ x kl 2 Σ w ijkl 2 - - - ( 1 )
然后，CPU34利用(2)式至(4)式将以类似度最大单元为中心的邻域半径d内的连接权修正为与xkl接近。这里，w′ijkl是更新后的网络连接权，Wjjkl是更新前的网络连接权，ds是邻域半径，di和dj分别是从最佳整合单元到要更新的权为止的i方向和j方向上的距离，T是总学习次数，t是当前的学习次数，α(t)是学习系数。
w ijkl ′ = w ijkl + f ( d i ) f ( d j ) α ( t ) ( x kl - w ijkl ) - - - ( 2 )
f ( X ) = cos ( πX 2 d s ) - - - ( 3 )
α ( t + 1 ) = α ( t ) ( 1 - t T ) - - - ( 4 )
另外，通过如(3)式那样地设定f(X)，使得发生流畅的表情变化。另外，通过如(3)式那样地设定学习系数，使得学习系数随着学习进展而变小。即，权的更新量随着图上的离类似度最大单元的距离变大而减小，并且随着学习进展而减小。
接着，CPU34判别是否对全部的学习用脸部图像进行了学习(步骤S205)。CPU34判别当前的学习次数与总学习次数是否一致，在判别为一致时(步骤S205：是)，使处理转移到聚类(步骤S206)，在判别为不一致时(步骤S205：否)，使处理返回到脸部图像的取得(步骤S202)。即，CPU34通过反复执行从取得脸部图像(步骤S202)到更新表情图(步骤S204)的处理，来反复更新表情图，直到判别为当前的学习次数与总学习次数一致为止。
CPU34在判别为当前的学习次数与总学习次数一致时(步骤S205：是)执行聚类(步骤S206)。即，CPU34按照每种表情对学习后的表情图进行区域化。
图6是示意性地表示通过从取得学习用脸部图像(步骤S202)到更新表情图(步骤S204)为止的处理而进行了总学习次数次更新的表情图。如图6所示，学习后的表情图的各单元中形成表示表情的图像。另外，在学习前的表情图即CPU34刚刚执行初始化(步骤S201)之后的表情图的各单元中未形成表示表情的图像。这是因为，刚刚分配随机值作为网络连接权。
CPU34基于图6所示的表情图来求出各表情的类似度最大位置。CPU34求出如图7A所示的“无表情”的脸部图像的类似度最大位置51、“愤怒”的脸部图像的类似度最大位置52、“晃眼”的脸部图像的类似度最大位置53、“困倦”的脸部图像的类似度最大位置54、“笑”的脸部图像的类似度最大位置55及“吃惊”的脸部图像的类似度最大位置56。CPU34例如通过操作装置39从用户取得各表情的脸部图像的类似度最大位置。
然后，CPU34将表情f的类似度最大位置作为质心向量(centroid vector)Xf来实施聚类，并如图7B所示地进行区域化。如下所述地进行区域化：对表情图上的坐标(i，j)的神经元wij，将利用(5)式得到的df达到最小的表情f作为该神经元wij的表情而进行聚类。CPU34将表情图和聚类结果作为设定信息存储在设定存储器38中。
df＝|wij-Xf|              (5)
若聚类(步骤S206)结束，则CPU34将表情图和聚类结果作为设定信息存储在设定存储器38中并结束学习处理。
在执行表情推定处理(步骤S103)之前，CPU34预先执行以上所示的学习处理。
接着，利用图8所示的流程图说明睁闭眼判别装置100执行的表情推定处理(步骤S103)。另外，对睁闭眼判别装置100利用类似度最大位置法来推定表情的情况进行说明。
CPU34将图像存储器32中存储的脸部图像标准化为规定格式的脸部图像(步骤S301)。例如，CPU34将存储在图像存储器中的脸部图像灰度化，并根据双眼的位置，利用仿射变换来修正脸部的朝向、脸部的大小。然后，CPU34以鼻子的位置为中心将图像剪切为规定大小(例如，256×256像素)之后，压缩为规定的大小(例如，64×64像素)。CPU34将压缩后的脸部图像存储在图像存储器32中。
接着，CPU34取得类似度(步骤S302)。CPU34利用(1)式，将图像存储器32中存储的压缩后的脸部图像作为输入图像，分别求出该输入图像与构成存储在设定存储器38中的表情图的各单元之间的类似度。
然后，CPU34确定表情(步骤S303)。CPU34求出在步骤S302中求得的类似度最大的单元，将该单元所属的区域的表情确定为驾驶员的表情。CPU34将表示确定出的表情的信息(以下称为“推定表情数据”)存储在RAM35中。
若表情的确定(步骤S303)结束，则CPU34结束表情推定处理(步骤S103)。
CPU34结束表情推定处理(步骤S103)后，执行眼睛开度检测处理(步骤S104)。以下，参照图9所示的流程图详细地说明眼睛开度检测处理。另外，正在驾驶的驾驶员的一只眼睛睁眼另一只眼睛闭眼的情况是难以想象的。因此，为了易于理解，说明在眼睛开度检测处理中仅对任一只眼睛检测眼睛开度的情况。
CPU34首先执行眼睛位置检测处理(步骤S401)。这里，参照图10所示的流程图详细说明眼睛位置检测处理。这里，图11A示出了在脸部图像取得处理(步骤S102)中取得的脸部图像的一个例子。另外，假设该脸部图像为512像素(x轴方向)×512像素(y轴方向)且一个像素为24位(bit)的位图(Bitmap)格式的图像并进行说明。
CPU34检测出构成所选择的列的各像素的亮度(步骤S501)。另外，在图11A所示的例子中，选择的列是X坐标为Xa的列。CPU34对选择的列的512个像素，全部求出亮度。CPU34求出例如各像素的各色(R，G，B)的灰度值(0-255)的平均值，并将该平均值作为该像素的亮度。
接着，CPU34求出构成所选择的列的各像素的亮度的移动平均(步骤S502)。CPU34例如从Y坐标较小的像素开始依次计算在Y轴方向连续的10个像素的亮度的移动平均。图11B中示出了X坐标为Xa的列的亮度的移动平均与Y坐标之间的关系。
另外，在步骤S502中求出亮度的移动平均是为了在后述的处理中，能够减小局部的亮度变化的影响，能够捕捉到总体的亮度的变化。
接着，CPU34将在步骤S502中求出的亮度的移动平均对用于表示Y轴方向的位置的变量进行微分(步骤S503)。图11C中示出了X坐标为Xa的列的亮度的移动平均的微分值与Y坐标之间的关系。
接着，CPU34提取亮度达到极小的坐标(以下称为“亮度极小点”)(步骤S504)。在图11C所示的例子中，CPU34首先提取微分值从负变为正的亮度极小点p1至p3。然后，CPU34分别判别该检测出的亮度极小点p1至p3中的每个亮度极小点是否为亮度在某种程度上大幅变化的点。具体而言，CPU34针对亮度极小点p1至p3中的每个亮度极小点，提取微分值即将达到极小之前的点q1至q3，并分别判别该点q1至q3中的每个点是否为规定的阈值Dth以下。
在图11C所示的例子中，阈值Dth以下的点是点q1和点q2，点q3不在阈值Dth以下。因此，CPU34从亮度极小点p1至p3中排除亮度极小点p3，提取亮度极小点p1来作为亮度极小点A1，提取亮度极小点p2来作为亮度极小点A2。
接着，CPU34判别是否对全部列已完成亮度极小点的提取，即判别是否对全部列已完成从亮度检测(步骤S501)到亮度极小点提取(S504)为止的处理(步骤S505)。CPU34在判别为对全部列已完成亮度极小点的提取时(步骤S505：是)，提取亮度极小曲线组(步骤S506)。CPU34在判别为未对全部列完成亮度极小点的提取时(步骤S505：否)，对于未完成亮度极小点的提取的列，执行从亮度检测(步骤S501)到亮度极小点提取(S504)为止的处理。
CPU34在判别为对全部列已完成亮度极小点的提取时(步骤S505：是)，提取亮度极小曲线组(步骤S506)。CPU34将对各列提取的亮度极小点依次画成曲线，从而将对全部列提取的亮度极小点画成曲线。图12中示出了提取到的全部亮度极小点的分布的例子。例如，当CPU34在Xa列提取到亮度极小点A1和亮度极小点A2时，将亮度极小点A1和亮度极小点A2画成曲线，对于其他的列也同样地将提取到的亮度极小点画成曲线。这里，如图12所示，在两眉、两眼、鼻子及嘴附近存在由连续的亮度极小点构成的亮度极小曲线G1至G6。CPU34检测这些亮度极小曲线组。
亮度极小曲线的检测方法是任意的，但在连接例如X坐标相差为1且Y坐标相差为5以内的各个点时，可以检测所连接的亮度极小点数为三个以上的亮度极小点组，并将该亮度极小点组视为亮度极小曲线。在图12中示出了检测到G1至G6这六条亮度极小曲线的例子。另外，CPU34除了将构成亮度极小曲线的各点的坐标作为亮度极小曲线的属性而存储在RAM35中以外，还将亮度极小曲线的连续编号即曲线编号、构成亮度极小曲线的亮度极小点数即曲线长、构成亮度极小曲线的全部亮度极小点的X坐标的平均值即中心X坐标及构成亮度极小曲线的全部亮度极小点的Y坐标的平均值即中心Y坐标等作为亮度极小曲线的属性而存储在RAM35中。
接着，CPU34根据各亮度极小曲线的属性来检测眼睛的位置(步骤S507)。检测眼睛位置的方法是任意的，例如，根据通常的眼睛的特征，从在步骤S506中求出的亮度极小曲线组中提取良好地体现出眼睛的特征的亮度极小曲线，并根据该亮度极小曲线的属性求出眼睛的位置。
例如，设定“眼睛横向较长”、“眼睛是上凸型的弓形形状”、“眼睛的横向位置从脸部中心偏离”及“眼睛存在于眼眉之下”等条件。在设定此种条件时，CPU34基于“眼睛横向较长”这一条件，提取例如曲线长为5以上的亮度极小曲线。并且，CPU34基于“眼睛是上凸型的弓形形状”这一条件，例如提取构成亮度极小曲线的亮度极小点中的X坐标最小的亮度极小点的Y坐标、构成亮度极小曲线的亮度极小点中的X坐标最大的亮度极小点的Y坐标均大于中心Y坐标的亮度极小曲线。
另外，CPU34基于“眼睛的横向位置从脸部中心偏离”这一条件，例如提取在步骤S504中求出的全部亮度极小点的重心的X坐标与中心X坐标之间的差为10以上的曲线。并且，CPU34基于“眼睛存在于眼眉之下”这一条件，在例如存在两条彼此的中心X坐标之间的差为5以内的亮度极小曲线时，提取中心Y坐标较大的亮度极小曲线。
如以上那样，CPU34从亮度极小曲线组中提取与眼睛相当的亮度极小曲线，检测眼睛的位置。例如，在图12所示的例子中，CPU34提取亮度极小曲线G3作为表示右眼的亮度极小曲线，提取亮度极小曲线G4作为表示左眼的亮度极小曲线。然后，CPU34将由亮度极小曲线G3的中心X坐标和中心Y坐标构成的坐标设定为右眼的中心位置，将由亮度极小曲线G4的中心X坐标和中心Y坐标构成的坐标设定为左眼的中心位置。眼睛的位置检测(步骤S507)一结束，CPU34结束眼睛位置检测处理。
眼睛位置检测处理(步骤S401)一结束，CPU34设定包括眼睛的规定范围(以下称为“眼睛附近区域”)(步骤S402)。CPU34例如基于眼睛位置检测处理(步骤S401)中作为相当于眼睛的亮度极小曲线而提取出的亮度极小曲线的属性，设定眼睛附近区域。具体而言，例如，CPU34将X坐标与该亮度极小曲线的中心X坐标之间的距离为50以内且Y坐标与该亮度极小曲线的中心Y坐标之间的距离为20以内的区域设定为眼睛附近区域。
接着，CPU34执行二值化处理(步骤S403)。参照图13所示的流程图说明二值化处理。
在二值化处理中，首先，CPU34检测构成所选择的列的各像素的亮度(步骤S601)。CPU34对所选择的列的全部像素求出各像素的各色灰度值的平均值，并将该平均值作为该像素的亮度。这里，图14A示出了眼睛附近区域的图像的一个例子。CPU34对于每列执行从检测亮度(步骤S601)到提取亮度极小点(步骤S604)的处理。在图14A所示的例子中，所选择的列是X坐标为Xb的列。
接着，CPU34求出构成所选择的列的各像素的亮度的移动平均(步骤S602)。CPU34例如从Y坐标小的像素开始依次计算在Y轴方向连续的10个像素的亮度的移动平均。图14B示出了X坐标为Xb的列的亮度的移动平均与Y坐标之间的关系。
接着，CPU34将在步骤S602中求出的亮度的移动平均对用于表示Y轴方向的位置的变量进行微分(步骤S603)。图14C中示出了X坐标为Xb的列的亮度的移动平均的微分值与Y坐标之间的关系。
接着，CPU34提取亮度极小点(步骤S604)。在图14C所示的例子中，CPU34首先提取微分值从负变为正的亮度极小点P。然后，CPU34判别该检测到的亮度极小点P是否为亮度在某种程度上大幅变化的点。具体而言，CPU34针对亮度极小点P提取微分值即将达到极小之前的点R和微分值刚刚达到极大之后的点Q，判别点R是否为规定的阈值Dthm以下，并且判别点Q是否为规定的阈值Dthp以上。
在图14C所示的例子中，点R为规定的阈值Dthm以下，点Q为规定的阈值Dthp以上。因此，CPU34判别为亮度极小点P是亮度在某种程度上大幅变化的点，并将点R的移动平均Nbl和点Q的移动平均Nbh存储在RAM35中。
接着，CPU34判别是否对全部列已完成亮度极小点的提取，即判别是否对全部列已完成从亮度检测(步骤S601)到亮度极小点提取(S604)的处理(步骤S605)。CPU34在判别为对全部列已完成亮度极小点的提取时(步骤S605：是)，设定二值化的阈值(步骤S606)。CPU34在判别为未对全部列完成亮度极小点的提取时(步骤S605：否)，对于未完成亮度极小点的提取的列，执行从检测亮度(步骤S601)到提取亮度极小点(S604)的处理。
CPU34在判别为对全部列已完成亮度极小点的提取(步骤S605：是)时，设定二值化的阈值(步骤S606)。CPU34基于对各列提取到的点R的移动平均Nbl和点Q的移动平均Nbh来设定二值化的阈值。二值化的阈值的设定方法是任意的，例如有如以下的(a)至(g)那样地进行设定的方法。
(a)以各列的点R的移动平均Nbl的最小值为基准设定二值化的阈值。(b)以各列的点R的移动平均Nbl的最大值为基准设定二值化的阈值。(c)以各列的点Q的移动平均Nbh的最小值为基准设定二值化的阈值。(d)以各列的点Q的移动平均Nbh的最大值为基准设定二值化的阈值。(e)以各列的点R的移动平均Nbl的平均值为基准设定二值化的阈值。(f)以各列的点Q的移动平均Nbh的平均值为基准设定二值化的阈值。(g)以各列的点R的移动平均Nbl和各列的点Q的移动平均Nbh的平均值为基准设定二值化的阈值。
接着，CPU34基于在二值化阈值设定(步骤S606)中求出的阈值，将眼睛附近区域的图像二值化(步骤S607)。CPU34通过二值化来求出眼睛附近区域的二值化图像(由黑区域和白区域构成的图像)。CPU34在生成二值化图像后，结束二值化处理(步骤S403)。
接着，CPU34对二值化图像进行标示(步骤S404)。CPU34对在二值化处理(步骤S403)中生成的二值化图像，以黑区域为对象进行标示，求出一个以上的黑区域(以下称为“标示数据(label data)”)。
CPU34在判别为存在多个标示数据时，对标示数据进行选择(步骤S405)。在驾驶员戴着眼镜时等，根据标示，除了检测出与眼睛相当的标示数据以外，还会检测出与眼镜相当的标示数据等多个标示数据。此时，CPU34需要从多个标示数据中选择与眼睛相当的标示数据。
选择与眼睛相当的标示数据的方法是任意的，例如CPU34能够从未与眼睛附近区域的上端和下端相接触的标示数据中选择面积最大的标示数据作为与眼睛相当的标示数据。
然后，CPU34检测标示数据的最大连续数(步骤S406)。CPU34对于在标示数据选择(步骤S405)中选择出的标示数据，求出在Y轴方向上黑像素连续的长度最长的最大连续数。CPU34将求出的最大连续数作为眼睛开度与表情推定数据相对应地存储在RAM35中。CPU34在检测完标示数据的最大连续数之后，结束眼睛开度检测处理(步骤S104)。
接着，CPU34判别驾驶员的表情是否为正在笑的表情(步骤S105)。具体而言，CPU34基于在表情确定(步骤S303)中存储在RAM35中的推定表情数据判别驾驶员的表情是否是正在笑的表情。
CPU34在判别为驾驶员的表情是正在笑的表情时(步骤S105：是)，设定正在笑的表情用的阈值(步骤S106)。
另外，CPU34也可以读出预先存储在RAM35中的各表情用的阈值，也可以基于预先存储在RAM35中的眼睛开度的履历求出阈值。
能够推定在驾驶员做出正在笑的表情时驾驶员的清醒度高。因此，将较小的值设定为正在笑的表情用的阈值。例如，CPU34求出RAM35所存储的眼睛开度的履历中的正在笑的表情时检测到的眼睛开度的平均值，将该平均值的1/4的值设定为正在笑的表情用的阈值。
另一方面，CPU34在判别为驾驶员的表情不是正在笑的表情时(步骤S105：否)，判别驾驶员的表情是否为晃眼的表情(步骤S107)。
CPU34在判别为驾驶员的表情为晃眼的表情时(步骤S107：是)，设定晃眼的表情用的阈值(步骤S108)。
能够推定在驾驶员做出晃眼的表情时驾驶员的清醒度在某种程度上较高。因此，将某种程度上较小的值设定为晃眼的表情用的阈值。例如，CPU34求出RAM35所存储的眼睛开度的履历中的在晃眼的表情时检测到的眼睛开度的平均值，将该平均值的1/2的值设定为晃眼的表情用的阈值。
另外，CPU34在判别为驾驶员的表情不是晃眼的表情时(步骤S107：否)，判别驾驶员的表情是否为困倦的表情(步骤S109)。
CPU34在判别为驾驶员的表情是困倦的表情时(步骤S109：是)，设定困倦的表情用的阈值(步骤S110)。
能够推定在驾驶员做出困倦的表情时驾驶员的清醒度较低。因此，将较大的值设定为困倦的表情用的阈值。例如，CPU34求出RAM35所存储的眼睛开度中的判别为闭眼状态时的眼睛开度的平均值，求出该平均值与RAM35所存储的眼睛开度的最大值之间的中间值，并将该中间值与RAM35所存储的眼睛开度的最大值之间的中间值设定为困倦的表情用的阈值。
另一方面，CPU34判别为驾驶员的表情不是困倦的表情时(步骤S109：否)，设定通常的表情用的眼睛开度的阈值(步骤S111)。
例如，CPU34求出RAM35所存储的眼睛开度中的判别为闭眼状态时的眼睛开度的平均值，将该平均值与RAM35所存储的眼睛开度的最大值之间的中间值设定为通常的表情用的阈值。
CPU34在各表情用的阈值的设定结束后(步骤S106、步骤S108、步骤S110及步骤S111)，判别眼睛开度是否为所设定的阈值以上(步骤S112)。
CPU34在判别为眼睛开度为阈值以上时(步骤S112：是)，判定为驾驶员处于睁眼状态，并将表示驾驶员处于睁眼状态的数据与眼睛开度相对应地存储在RAM35中(步骤S113)。另一方面，CPU34在判别为眼睛开度不是阈值以上时(步骤S112：否)，判定为驾驶员处于闭眼状态，并将表示驾驶员处于闭眼状态的数据与眼睛开度相对应地存储在RAM35中(步骤S114)。CPU34在驾驶员的眼睛的睁闭状态的判定结束之后(步骤S113、步骤S114)，结束睁闭眼状态判别处理。
如上所述，本发明的第一实施方式的睁闭眼判别装置100基于驾驶员的表情判别驾驶员的眼睛的睁闭状态。具体而言，睁闭眼判别装置100推定驾驶员的表情，基于该推定出的驾驶员的表情改变判别眼睛的睁闭状态时的阈值。即，在推定出的驾驶员的表情是认为清醒度较高的表情时，将阈值设定得较低，在推定出的驾驶员的表情是认为清醒度较低的表情时，将阈值设定得较高。这样，睁闭眼判别装置100与根据驾驶员的表情而变化的眼睛状态的变化相对应地判别眼睛的睁闭状态。因此，能够期待减少驾驶员的眼睛的睁闭状态的误判定。
(第二实施方式)
第一实施方式的睁闭眼判别装置100无论驾驶员的表情为何种表情，都检测眼睛开度并设定眼睛开度的阈值，判别检测到的眼睛开度是否为阈值以上。但是，在驾驶员的表情是能够推定为清醒度较高(或较低)的表情时，也可以不检测眼睛开度，而进行睁眼判定(或闭眼判定)。
以下，利用图15所示的流程图说明第二实施方式的睁闭眼判别装置100执行的睁闭眼状态判别处理。另外，第二实施方式的睁闭眼判别装置100的结构与第一实施方式的睁闭眼判别装置100的结构相同，因此，省略对结构的说明。
睁闭眼判别装置100的电源一接通，计算机30内的CPU34定期(例如每隔1/30秒)执行图15所示的睁闭眼状态判别处理。
首先，CPU34执行睁闭眼状态判别处理中使用的变量的初始化等(步骤S701)。
然后，CPU34取得驾驶员的脸部图像(步骤S702)。具体而言，CPU34对A/D变换器31供应用照相机10输出的一帧模拟图像信号表现的脸部图像，并将用该A/D变换器31输出的一帧数字图像信号表现的脸部图像存储在图像存储器32中。
接着，CPU34执行表情推定处理(步骤S703)。即，睁闭眼判别装置100通过执行与图8的流程图所示的表情推定处理同样的处理来推定驾驶员的表情。
CPU34在表情推定处理(步骤S703)结束之后，判别驾驶员的表情是否为正在笑的表情(步骤S704)。具体而言，CPU34基于在表情确定(步骤S303)中存储在RAM35中的推定表情数据来判别驾驶员的表情是否为正在笑的表情。
能够推定在驾驶员做出正在笑的表情时驾驶员的清醒度较高。因此，CPU34在判别为驾驶员的表情是正在笑的表情时(步骤S704：是)，直接判定为睁眼，并将表示驾驶员处于睁眼状态的数据与眼睛开度相对应地存储在RAM35中(步骤S713)。
另一方面，CPU34在判别为驾驶员的表情不是正在笑的表情时(步骤S704：否)，执行眼睛开度检测处理(步骤S706)。另外，CPU34在步骤S706中执行的眼睛开度检测处理与图9的流程图所示的眼睛开度检测处理为同样的处理，因此省略说明。
CPU34在眼睛开度检测处理(步骤S706)结束之后，判别驾驶员的表情是否为晃眼的表情(步骤S707)。
CPU34在判别为驾驶员的表情是晃眼的表情时(步骤S707：是)，设定晃眼的表情用的眼睛开度的阈值(步骤S708)。
能够推定在驾驶员做出晃眼的表情时驾驶员的清醒度在某种程度上较高。因此，将某种程度上较小的值设定为晃眼的表情用的阈值。例如，CPU34求出RAM35所存储的眼睛开度的履历中的在晃眼的表情时检测到的眼睛开度的平均值，并将该平均值的1/2的值设定为晃眼的表情用的阈值。
另外，CPU34判别为驾驶员的表情不是晃眼的表情时(步骤S707：否)，判别驾驶员的表情是否为困倦的表情(步骤S709)。
CPU34判别为驾驶员的表情是困倦的表情时(步骤S709：是)，设定困倦的表情用的眼睛开度的阈值(步骤S710)。
能够推定在驾驶员做出困倦的表情时驾驶员的清醒度较低。因此，将较大的值设定为困倦的表情用的阈值。例如，CPU34求出RAM35所存储的眼睛开度中的判别为闭眼状态时的眼睛开度的平均值，求出该平均值与RAM35所存储的眼睛开度的最大值之间的中间值，并将该中间值与RAM35所存储的眼睛开度的最大值之间的中间值设定为困倦的表情用的阈值。
另一方面，CPU34在判别为驾驶员的表情不是困倦的表情时(步骤S709：否)，设定通常的表情用的眼睛开度的阈值(步骤S711)。
例如，CPU34求出RAM35所存储的眼睛开度中的判别为闭眼状态时的眼睛开度的平均值，并将该平均值与RAM35所存储的眼睛开度的最大值之间的中间值设定为通常的表情用的阈值。
CPU34在各表情用的阈值的设定结束之后(步骤S708、步骤S710及步骤S711)，判别眼睛开度是否为阈值以上(步骤S712)。
CPU34在判别为眼睛开度为阈值以上时(步骤S712：是)，判定为驾驶员处于睁眼状态，并将表示驾驶员处于睁眼状态的数据与眼睛开度相对应地存储在RAM35中(步骤S713)。另一方面，CPU34在判别为眼睛开度不是阈值以上时(步骤S712：否)，判定为驾驶员处于闭眼状态，并将表示驾驶员处于闭眼状态的数据与眼睛开度相对应地存储在RAM35中(步骤S714)。CPU34在驾驶员的眼睛的睁闭状态的判定结束之后(步骤S713和步骤S714)，结束睁闭眼状态判别处理。
如上所述，本发明的第二实施方式的睁闭眼判别装置100在推定为驾驶员的表情是认为驾驶员的清醒度较高的表情时，并不检测眼睛开度而判定为处于睁眼状态。因此，能够缩短睁闭眼状态判别处理的处理时间。另外，在本实施方式中，在驾驶员的表情为正在笑的表情时，推定驾驶员的清醒度较高。但是，能够推定为驾驶员的清醒度较高的表情不限于正在笑的表情，例如，也可以在做出晃眼的表情时推定为驾驶员的清醒度较高。另外，在推定为驾驶员的清醒度较低时，也可以不检测眼睛开度而判定为处于闭眼状态。
(第三实施方式)
第一、第二实施方式的睁闭眼判别装置100利用科荷伦型神经网络来推定表情。但是，推定驾驶员的表情的方法不限于利用科荷伦型神经网络的方法，例如，也可以是利用前馈神经网络的方法。
首先，参照图16所示的流程图说明前馈神经网络的学习处理。
CPU34对在学习处理中使用的变量等进行初始化(步骤S801)。另外，CPU34对后述的各系数随机赋予较小的值来进行初始化。
接着，CPU34取得学习用脸部图像(步骤S802)。CPU34例如对A/D变换器31供应用照相机10输出的一帧模拟图像信号表现的脸部图像，并取得用该A/D变换器31输出的一帧数字图像信号表现的脸部图像作为学习用脸部图像。另外，CPU34取得表示该取得的脸部图像的表情为何种表情的真实表情数据。CPU34例如通过操作装置39从用户取得真实表情数据。
CPU34将取得的学习用脸部图像修正为规定格式的脸部图像(步骤S803)。例如，CPU34对取得的学习用脸部图像进行灰度化，根据双眼的位置，利用仿射变换来修正脸部的朝向、脸部的大小，并将修正后的脸部图像存储在图像存储器32中。
接着，CPU34从修正后的脸部图像中提取特征部分(步骤S804)。CPU34从修正后的脸部图像中提取根据驾驶员的表情而大幅变化的眼睛、眼眉及嘴等特征部分，并将提取到的特征部分的图像存储在图像存储器32中。
接着，CPU34基于提取到的特征部分的图像取得该特征部分的特征量(步骤S805)。CPU34例如提取眼睛开度、眼眉角度及嘴的开度作为特征量。
然后，CPU34对前馈神经网络中的各运算的系数进行修正(步骤S806)。另外，在本实施方式中，作为前馈神经网络，采用多层感知器(perceptron)。这里，参照图17简单地说明前馈神经网络。
如图17所示，前馈神经网络由输入层、中间层及输出层这三层构成。在图17所示的例子中，输入层由三个节点构成，中间层由四个节点构成，输出层由三个节点构成。
这里，当对构成输入层的节点供应特征量作为谓词变项(自变数)时，基于这些谓词变项来计算目标变量(应变数)，并从构成输出层的节点输出该目标变量。以下，说明如何根据谓词变项计算目标变量。
在谓词变项为眼睛开度X1、眼眉角度X2及嘴的开度X3这三个，目标变量为与困倦的表情的类似度Y1、与晃眼的表情的类似度Y2、与正在笑的表情的类似度Y3这三个时，例如，以使以下的(6)式至(8)式所示的关系成立的方式来构成前馈神经网络。另外，a11、a12、a13、a21、a22、a23、a31、a32及a33是对各谓词变项加权的系数。
Y1＝a11X1+a12X2+a13X3                (6)
Y2＝a21X1+a22X2+a23X3                (7)
Y3＝a31X1+a32X2+a33X3                (8)
CPU34基于谓词变项、目标变量及在步骤S802中从用户取得的真实表情数据，修正各系数。具体而言，CPU34以使三个目标变量中的、表示与真实表情数据所表示的表情的类似度的目标变量的值变大的方式对各系数进行修正。例如，真实表情数据所表示的表情为正在笑的表情时，以使与正在笑的表情的类似度Y3变大的方式对各系数进行修正。
接着，CPU34判别是否已经学习了全部脸部图像(步骤S807)。CPU34判别当前的学习次数是否与总学习次数一致，在判别为一致时(步骤S807：是)，将各系数作为设定信息而存储在设定存储器38中并结束学习处理，在判定为不一致时(步骤S807：否)，使处理返回到脸部图像的取得(步骤S802)。即，CPU34通过反复执行从脸部图像取得(步骤S802)到系数修正(步骤S806)的处理来反复进行系数的修正，直到判定为当前的学习次数与总学习次数一致为止。
CPU34在执行表情推定处理(步骤S703)之前，预先执行以上所示的学习处理。
接着，利用图18所示的流程图，说明本发明的第三实施方式的睁闭眼判别装置100执行的表情推定处理。
CPU34将图像存储器32中存储的脸部图像修正为规定格式的脸部图像(步骤S901)。例如，CPU34对图像存储器32中存储的脸部图像进行灰度化，并根据双眼的位置，利用仿射变换来修正脸部的朝向、脸部的大小，并将修正后的脸部图像存储在图像存储器32中。
接着，CPU34从修正后的脸部图像提取特征部分(步骤S902)。CPU34从修正后的脸部图像中提取根据驾驶员的表情而大幅变化的眼睛、眼眉及嘴等特征部分，并将提取到的特征部分的图像存储在图像存储器32中。
然后，CPU34基于提取到的特征部分的图像取得该特征部分的特征量(步骤S903)。CPU34例如提取眼睛开度、眼眉角度及嘴的开度等作为特征量。
然后，CPU34确定表情(步骤S904)。CPU34基于在步骤S903中提取到的特征量来求出与各表情的类似度，将求出的类似度最高的表情确定为驾驶员的表情。CPU34将表示确定出的表情的信息作为推定表情数据存储在RAM35中。
CPU34在表情的确定(步骤S904)结束之后，结束表情推定处理(步骤S703)。
第三实施方式的睁闭眼判别装置100利用前馈神经网络来推定驾驶员的表情。即使在这种情况下，也能够根据推定出的驾驶员的表情来推定驾驶员的清醒状态，有望减少驾驶员的眼睛的睁闭状态的误判定。这样，本发明的睁闭眼判别装置100与推定驾驶员的表情的方法无关。
(变形例)
第一至第三实施方式的睁闭眼判别装置100根据推定出的表情为何种表情来改变阈值。但是，也可以根据推定出的表情来求出驾驶员的清醒度，并设定与该清醒度相对应的阈值。例如，第三实施方式的睁闭眼判别装置100设定为b1＜0，0＜b2＜b3，求出b1Y1+b2Y2+b3Y3作为清醒度，并设定与该清醒度相对应的阈值。
在上述第一至第三实施方式中，睁闭眼判别装置100通过神经网络来推定表情。但是，推定表情的方法只要是根据脸部图像推定表情的方法即可，并不限于利用神经网络的方法。
另外，求出眼睛开度的方法也不限于第一实施方式中所示的方法，可以采用任意的方法。
在上述第一至第三实施方式中，示出了CPU34从照相机10取得对驾驶员进行拍摄而得到的脸部图像并进行处理的例子。但是，CPU34也可以从预先存储有对驾驶员进行拍摄而得到的脸部图像的图像存储器32取得脸部图像并进行处理。这样，睁闭眼判别装置也可以不具有照相机。
在上述第一实施方式中，在驾驶员的表情为通常认为驾驶员的清醒度较高的表情(例如正在笑的表情、晃眼的表情)时，将较小的值设定为眼睛开度的阈值，在驾驶员的表情是通常认为驾驶员的清醒度较低的表情(例如困倦的表情)时，将较大的值设定为眼睛开度的阈值。但是，关于在驾驶员的表情为何种表情时判别为驾驶员的清醒度较高(或较低)，能够任意进行设定。
例如，在驾驶员做出被认为是注视特定的物(例如，速度计、转速计及油位表等计量仪器类)或人(在副驾驶座的人)等的表情时，能够判别为驾驶员的清醒度较高，并将眼睛开度的阈值设定得较低。以下，利用图19所示的流程图说明本变形例的睁闭眼判别装置100执行的睁闭眼状态判别处理。另外，由于从初始化(步骤S1001)到眼睛开度检测处理(步骤S1004)的处理与图3所示的睁闭眼状态判别处理相同，因此省略说明。
CPU34在眼睛开度检测处理(步骤S1004)结束之后，判别驾驶员的表情是否为注视车辆的计量仪器的表情(步骤S1005)。CPU34在判别为驾驶员的表情为注视车辆的计量仪器的表情时(步骤S1005：是)，将比较小的值设定为阈值而作为注视车辆的计量仪器的表情用的阈值(步骤S1006)。另一方面，CPU34在判别为驾驶员的表情不是注视车辆的计量仪器的表情时(步骤S1005：否)，设定通常的表情用的眼睛开度的阈值(步骤S1007)。以下，与图3所示的睁闭眼状态判别处理同样地，CPU34将在步骤1004中检测到的眼睛开度与在步骤S1006或步骤S1007中设定的阈值进行比较(步骤S1008)，执行睁眼判定(步骤S1009)或闭眼判定(步骤S1010)。
如图19所示的睁闭眼状态判别处理那样，在判别为驾驶员的表情是注视特定物的表情时，通过设定为易于判定为睁眼的眼睛开度的阈值，能够适宜地判别驾驶员是否睁眼。另外，在判别为驾驶员的表情是眼睛开度较高的表情(注视特定物的表情)时，如第二实施方式中的说明那样，可以不执行检测眼睛开度的处理而判定为睁眼。另外，关于驾驶员的表情是否为注视车辆的计量仪器的表情，能够通过利用神经网络的表情推定来容易地实现。
另外，本发明的睁闭眼判别装置能够不借助专用的系统，而利用通常的计算机系统来实现。例如，也可以在能够输入脸部图像的计算机，将用于执行上述动作的程序存储并分配在软盘、CD-ROM(Compact Disk Read-Only Memory：只读光盘)、DVD(Digital Versatile Disk：数字视频光盘)及MO(Magneto Optical Disk：磁光盘)等计算机可读取的记录介质中，并将上述存储介质安装在计算机系统中，以此构成执行上述处理的睁闭眼判别装置。
并且，可以将程序事先存储在互联网上的服务器装置所具有的磁盘装置等中，例如叠加在载波上而下载到计算机中等。
另外，在上述实施方式中，CPU34发挥图像取得单元、表情推定单元、眼睛开度取得单元、阈值设定单元及睁闭眼判别单元的功能。本发明并不限定于此，图像取得单元、表情推定单元、眼睛开度取得单元、阈值设定单元及睁闭眼判别单元也可以分别由硬件来构成。
另外，在上述实施方式中，RAM35发挥履历信息存储单元的功能。但不限于此，也可以利用硬盘等存储装置作为履历信息存储单元。
本申请基于2008年12月17日申请的日本国专利申请2008-320889号。在本说明书中引入日本国专利申请2008-320889号的说明书、权利要求书及全部附图作为参考。
产业上的可用性
本发明的睁闭眼判别装置及程序适用于判别被拍摄人员的眼睛的睁闭状态。
附图标记的说明
10：照相机；
20：照明光源；
30：计算机；
31：A/D变换器；
32：图像存储器；
33：ROM；
34：CPU；
35：RAM；
36：显示控制装置；
37：光源控制装置；
38：设定存储器；
39：操作装置；
40：显示装置；
100：睁闭眼判别装置。

Claims (12)

1.一种睁闭眼判别装置，其特征在于，具有：
图像取得单元，其取得被拍摄人员的脸部的图像；
表情推定单元，其根据所述图像推定所述被拍摄人员的表情；
眼睛开度取得单元，其根据所述图像求出所述被拍摄人员的眼睛开度；
阈值设定单元，其基于所述表情推定单元推定出的表情，设定所述眼睛开度的阈值；
睁闭眼判别单元，其在判别为所述眼睛开度超过所述阈值时，判别为所述被拍摄人员的眼睛睁开，在判别为所述眼睛开度未超过所述阈值时，判别为所述被拍摄人员的眼睛闭合。
2.根据权利要求1所述的睁闭眼判别装置，其特征在于，所述阈值设定单元在判别为所述表情推定单元推定出的表情是表示清醒度高的表情时，将所述阈值设定得低，在判别为所述表情推定单元推定出的表情是表示清醒度低的表情时，将所述阈值设定得高。
3.根据权利要求1所述的睁闭眼判别装置，其特征在于，所述睁闭眼判别单元在判别为所述表情推定单元推定出的表情是表示清醒度高的表情时，无论所述眼睛开度如何都判别为所述被拍摄人员的眼睛睁开，在判别为所述表情推定单元推定出的表情是表示清醒度低的表情时，无论所述眼睛开度如何都判别为所述被拍摄人员的眼睛闭合。
4.根据权利要求2所述的睁闭眼判别装置，其特征在于，所述阈值设定单元将正在笑的表情或晃眼的表情或注视特定方向的表情判别为表示清醒度高的表情。
5.根据权利要求2所述的睁闭眼判别装置，其特征在于，所述阈值设定单元将快要睡着的表情判别为表示清醒度低的表情。
6.根据权利要求2所述的睁闭眼判别装置，其特征在于，所述阈值设定单元将所述被拍摄人员注视所驾驶的车辆的计量仪器的表情判别为表示清醒度高的表情。
7.根据权利要求1至6中任一项所述的睁闭眼判别装置，其特征在于，
具有履历信息存储单元，该履历信息存储单元将第一信息与第二信息相对应地进行存储作为履历信息，其中，所述第一信息是指，表示所述表情推定单元推定出的表情的信息，所述第二信息是指，表示所述眼睛开度的信息；
所述阈值设定单元基于所述履历信息来设定所述阈值。
8.根据权利要求7所述的睁闭眼判别装置，其特征在于，所述履历信息存储单元还将第三信息与表示所述表情推定单元推定出的表情的上述第一信息、表示所述眼睛开度的上述第二信息相对应地进行存储作为所述履历信息，其中，所述第三信息是指，表示所述睁闭眼判别单元判别出的判别结果的信息。
9.根据权利要求1至6中任一项所述的睁闭眼判别装置，其特征在于，所述表情推定单元利用神经网络，根据所述图像推定所述被拍摄人员的表情。
10.根据权利要求9所述的睁闭眼判别装置，其特征在于，所述神经网络为科荷伦型神经网络。
11.根据权利要求1至6中任一项所述的睁闭眼判别装置，其特征在于，所述眼睛开度取得单元从所述图像中提取包括所述被拍摄人员的眼睛的图像并进行二值化处理，求出在进行过所述二值化处理的图像中沿着所述被拍摄人员的眼睛的上下方向连续排列的规定亮度的像素的数目的最大值作为所述眼睛开度。
12.一种程序，其特征在于，使计算机发挥以下单元的功能：
图像取得单元，其取得被拍摄人员的脸部的图像；
表情推定单元，其根据所述图像推定所述被拍摄人员的表情；
眼睛开度取得单元，其根据所述图像求出所述被拍摄人员的眼睛开度；
阈值设定单元，其基于所述表情推定单元推定出的表情，设定所述眼睛开度的阈值；
睁闭眼判别单元，其在判别为所述眼睛开度超过所述阈值时，判别为所述被拍摄人员的眼睛睁开，在判别为所述眼睛开度未超过所述阈值时，判别为所述被拍摄人员的眼睛闭合。
CN2009801381652A 2008-12-17 2009-12-02 睁闭眼判别装置 Active CN102164541B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008320889A JP5208711B2 (ja) 2008-12-17 2008-12-17 眼開閉判別装置及びプログラム
JP2008-320889 2008-12-17
PCT/JP2009/070249 WO2010071021A1 (ja) 2008-12-17 2009-12-02 眼開閉判別装置及びプログラム

Publications (2)

Publication Number Publication Date
CN102164541A true CN102164541A (zh) 2011-08-24
CN102164541B CN102164541B (zh) 2013-11-13

Family

ID=42268694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801381652A Active CN102164541B (zh) 2008-12-17 2009-12-02 睁闭眼判别装置

Country Status (5)

Country Link
US (1) US8139819B2 (zh)
EP (1) EP2368496B1 (zh)
JP (1) JP5208711B2 (zh)
CN (1) CN102164541B (zh)
WO (1) WO2010071021A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831399A (zh) * 2012-07-30 2012-12-19 华为技术有限公司 确定眼睛状态的方法和装置
CN102955565A (zh) * 2011-08-31 2013-03-06 德信互动科技（北京）有限公司 人机互动系统和方法
CN103369248A (zh) * 2013-07-20 2013-10-23 厦门美图移动科技有限公司 一种闭眼后睁开的拍照方法
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
CN105827969A (zh) * 2016-03-29 2016-08-03 乐视控股（北京）有限公司 一种智能拍照的方法、装置及移动设备
CN106257549A (zh) * 2015-06-22 2016-12-28 罗伯特·博世有限公司 用于提供眼睛睁开距离用的参考水平的方法和装置
CN107341468A (zh) * 2017-06-30 2017-11-10 北京七鑫易维信息技术有限公司 驾驶员状态识别方法、装置、存储介质及处理器
CN109717879A (zh) * 2017-10-31 2019-05-07 丰田自动车株式会社 状态推定系统
CN110222674A (zh) * 2015-07-14 2019-09-10 原相科技股份有限公司 眼睛状态侦测方法以及眼睛状态侦测系统
CN110263641A (zh) * 2019-05-17 2019-09-20 成都旷视金智科技有限公司 疲劳检测方法、装置及可读存储介质
WO2020015145A1 (zh) * 2018-07-16 2020-01-23 华为技术有限公司 一种检测眼睛睁闭状态的方法及电子设备
US10963135B2 (en) 2019-03-15 2021-03-30 Oracle International Corporation Language-based manipulation of data visualizations
CN113449584A (zh) * 2020-03-24 2021-09-28 丰田自动车株式会社 睁眼度计算装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5361547B2 (ja) * 2008-08-07 2013-12-04 キヤノン株式会社 撮像装置及び撮影方法、プログラム
JP2012203551A (ja) * 2011-03-24 2012-10-22 Komatsu Ltd 居眠り抑制システム及びダンプトラック
JP6075982B2 (ja) * 2012-07-03 2017-02-08 大和ハウス工業株式会社 顔しかめ検出システム及び顔しかめ検出方法
US9503632B2 (en) * 2012-12-04 2016-11-22 Lg Electronics Inc. Guidance based image photographing device and method thereof for high definition imaging
US9849834B2 (en) * 2014-06-11 2017-12-26 Ford Gloabl Technologies, L.L.C. System and method for improving vehicle wrong-way detection
JP2016115120A (ja) * 2014-12-15 2016-06-23 アイシン精機株式会社 開閉眼判定装置および開閉眼判定方法
JP2016115117A (ja) * 2014-12-15 2016-06-23 アイシン精機株式会社 判定装置および判定方法
FR3032919B1 (fr) 2015-02-19 2017-02-10 Renault Sa Procede et dispositif de detection d'un changement de comportement de conducteur d'un vehicule automobile
CN105354986B (zh) * 2015-11-12 2017-12-01 熊强 汽车司机驾驶状态监测系统及方法
US11144756B2 (en) * 2016-04-07 2021-10-12 Seeing Machines Limited Method and system of distinguishing between a glance event and an eye closure event
WO2019028798A1 (zh) 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
DE102017216837A1 (de) 2017-09-22 2019-03-28 Audi Ag Gestik- und Mimiksteuerung für ein Fahrzeug
JP6888542B2 (ja) * 2017-12-22 2021-06-16 トヨタ自動車株式会社 眠気推定装置及び眠気推定方法
WO2019205007A1 (en) 2018-04-25 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for blink action recognition based on facial feature points
US10684681B2 (en) 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
JP6992693B2 (ja) * 2018-07-23 2022-01-13 トヨタ自動車株式会社 乗員状態認識装置
DE112019007052T5 (de) 2019-03-20 2022-01-27 Mitsubishi Electric Corporation Wachsamkeitsgrad-Einschätzungsvorrichtung, Vorrichtung zur Unterstützung eines automatischen Fahrens und Wachsamkeits-Einschätzungsverfahren
JP7328089B2 (ja) 2019-09-05 2023-08-16 トヨタ自動車株式会社 閉眼判定装置
DE112019007765T5 (de) 2019-09-30 2022-06-15 Mitsubishi Electric Corporation Bildanzeigeeinrichtung, Anzeigesteuerungseinrichtung, und Anzeigesteuerungsverfahren, und Programm und Aufzeichnungsmedium
JP7217838B2 (ja) * 2020-09-24 2023-02-03 三菱電機株式会社 開口度算出装置
WO2023095229A1 (ja) 2021-11-25 2023-06-01 三菱電機株式会社 覚醒度推定装置および覚醒度推定方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000198369A (ja) * 1998-12-28 2000-07-18 Niles Parts Co Ltd 眼の状態検出装置、居眠り運転警報装置
JP2007257043A (ja) * 2006-03-20 2007-10-04 Nissan Motor Co Ltd 乗員状態推定装置および乗員状態推定方法
JP2008257575A (ja) * 2007-04-06 2008-10-23 Fujitsu Ltd 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6443669A (en) 1987-08-12 1989-02-15 Kokuyo Kk Expansion movable stepped stand with handrail device
JP3444115B2 (ja) 1996-11-13 2003-09-08 日産自動車株式会社 居眠り状態検出装置
JP3769442B2 (ja) 2000-02-15 2006-04-26 ナイルス株式会社 眼の状態検出装置
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
US7301464B2 (en) * 2005-05-24 2007-11-27 Electronic Data Systems Corporation Process and method for safer vehicle navigation through facial gesture recognition and operator condition monitoring
US7692548B2 (en) * 2006-09-12 2010-04-06 Deere & Company Method and system for detecting operator alertness
US8045766B2 (en) * 2007-02-16 2011-10-25 Denso Corporation Device, program, and method for determining sleepiness
JP4743137B2 (ja) 2007-03-01 2011-08-10 株式会社豊田中央研究所 眠気判定装置及びプログラム
JP4375420B2 (ja) * 2007-03-26 2009-12-02 株式会社デンソー 眠気警報装置、及びプログラム
JP4788786B2 (ja) * 2009-02-09 2011-10-05 株式会社デンソー 眠気検出装置，プログラムおよび眠気検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000198369A (ja) * 1998-12-28 2000-07-18 Niles Parts Co Ltd 眼の状態検出装置、居眠り運転警報装置
JP2007257043A (ja) * 2006-03-20 2007-10-04 Nissan Motor Co Ltd 乗員状態推定装置および乗員状態推定方法
JP2008257575A (ja) * 2007-04-06 2008-10-23 Fujitsu Ltd 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102955565A (zh) * 2011-08-31 2013-03-06 德信互动科技（北京）有限公司 人机互动系统和方法
CN102831399A (zh) * 2012-07-30 2012-12-19 华为技术有限公司 确定眼睛状态的方法和装置
CN103369248A (zh) * 2013-07-20 2013-10-23 厦门美图移动科技有限公司 一种闭眼后睁开的拍照方法
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
CN106257549A (zh) * 2015-06-22 2016-12-28 罗伯特·博世有限公司 用于提供眼睛睁开距离用的参考水平的方法和装置
CN106257549B (zh) * 2015-06-22 2020-08-11 罗伯特·博世有限公司 用于提供眼睛睁开距离用的参考水平的方法和装置
CN110222674A (zh) * 2015-07-14 2019-09-10 原相科技股份有限公司 眼睛状态侦测方法以及眼睛状态侦测系统
CN105827969A (zh) * 2016-03-29 2016-08-03 乐视控股（北京）有限公司 一种智能拍照的方法、装置及移动设备
CN107341468A (zh) * 2017-06-30 2017-11-10 北京七鑫易维信息技术有限公司 驾驶员状态识别方法、装置、存储介质及处理器
CN109717879A (zh) * 2017-10-31 2019-05-07 丰田自动车株式会社 状态推定系统
CN109717879B (zh) * 2017-10-31 2021-09-24 丰田自动车株式会社 状态推定系统
WO2020015145A1 (zh) * 2018-07-16 2020-01-23 华为技术有限公司 一种检测眼睛睁闭状态的方法及电子设备
US10963135B2 (en) 2019-03-15 2021-03-30 Oracle International Corporation Language-based manipulation of data visualizations
CN110263641A (zh) * 2019-05-17 2019-09-20 成都旷视金智科技有限公司 疲劳检测方法、装置及可读存储介质
CN113449584A (zh) * 2020-03-24 2021-09-28 丰田自动车株式会社 睁眼度计算装置
CN113449584B (zh) * 2020-03-24 2023-09-26 丰田自动车株式会社 睁眼度计算装置

Also Published As

Publication number Publication date
WO2010071021A1 (ja) 2010-06-24
EP2368496A4 (en) 2012-05-30
US8139819B2 (en) 2012-03-20
EP2368496B1 (en) 2013-11-06
EP2368496A1 (en) 2011-09-28
JP5208711B2 (ja) 2013-06-12
CN102164541B (zh) 2013-11-13
JP2010142345A (ja) 2010-07-01
US20110235919A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
CN102164541B (zh) 睁闭眼判别装置
US11769056B2 (en) Synthetic data for neural network training using vectors
US11967151B2 (en) Video classification method and apparatus, model training method and apparatus, device, and storage medium
US8694449B2 (en) Neuromorphic spatiotemporal where-what machines
Cui et al. The empathic framework for task learning from implicit human feedback
CN109255359B (zh) 一种基于复杂网络分析方法的视觉问答问题解决方法
Wu et al. Anticipating daily intention using on-wrist motion triggered sensing
JP4757787B2 (ja) 感情推定装置
CN113282840B (zh) 一种训练采集综合管理平台
CN111046655A (zh) 一种数据处理方法、装置及计算机可读存储介质
Essam et al. Mlhandwrittenrecognition: Handwritten digit recognition using machine learning algorithms
CN113221683A (zh) 教学场景下基于cnn模型的表情识别方法
CN115937946A (zh) 一种基于多模态数据融合的在线学习状态检测方法
CN115661450A (zh) 一种基于对比知识蒸馏的类别增量语义分割方法
CN110969109B (zh) 一种非受限条件下眨眼检测模型及其构建方法和应用
Wang et al. Affective Behavior Learning for Social Robot Haru with Implicit Evaluative Feedback
Nunes Deep emotion recognition through upper body movements and facial expression
Kousalya et al. Prediction of Best Optimizer for Facial Expression Detection using Convolutional Neural Network
Xue et al. Recent research trends on Model Compression and Knowledge Transfer in CNNs
KR102649899B1 (ko) 인공지능 모델 및 ar을 활용한 차량 수출 정보 및 차량 상태 모델링 정보 생성 방법, 장치 및 시스템
Sharma et al. Deep convolutional network based real time fatigue detection and drowsiness alertness system
Wang et al. Human Action Recognition Based on Image Coding and CNN
Wang et al. Control Method Based on Deep Reinforcement Learning for Robotic Follower with Monocular Vision
Wang et al. Shaping Haru’s Affective Behavior with Valence and Arousal Based Implicit Facial Feedback
Ul Haq et al. Fuzzy Facial Expression Recognition and Recommendation System

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant