CN110009870A - 疲劳驾驶预警系统驾驶员眼睛的智能识别方法 - Google Patents
疲劳驾驶预警系统驾驶员眼睛的智能识别方法 Download PDFInfo
- Publication number
- CN110009870A CN110009870A CN201910128181.9A CN201910128181A CN110009870A CN 110009870 A CN110009870 A CN 110009870A CN 201910128181 A CN201910128181 A CN 201910128181A CN 110009870 A CN110009870 A CN 110009870A
- Authority
- CN
- China
- Prior art keywords
- driver
- eyes
- candidate
- image processing
- nostril
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001508 eye Anatomy 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 21
- 210000004709 eyebrow Anatomy 0.000 claims abstract description 7
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 15
- 230000001815 facial effect Effects 0.000 claims description 11
- 238000012634 optical imaging Methods 0.000 claims 1
- 206010039203 Road traffic accident Diseases 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Abstract
本发明公开了疲劳驾驶预警系统驾驶员眼睛的智能识别方法，具体包括以下步骤：从近红外摄像机相机获取候选区域的图像，从二维人脸图像中，确定一个候选对之间的候选对作为鼻孔，设置剩余候选对形成以鼻孔‑眼睛/眉毛候选对的两个等边三角形，确定一个候选对形成较小的等边三角形的外侧就是驾驶员的眼睛。本发明的有益效果：可以从脸部图像中准确地提取眼睛，从而提高眼睛识别的可靠性，从而更准确地评估驾驶员是否有昏昏欲睡等疲劳驾驶行为，有效避免交通事故的发生。
Description
技术领域
本发明涉及驾驶安全领域，具体来说涉及疲劳驾驶预警系统驾驶员眼睛的智能识别方法。
背景技术
近年来，智能的先进的主动安全技术以预防道路交通事故和减少碰撞时损失。
其中，疲劳导致昏昏欲睡的驾驶警告系统，监控驾驶员的状况，判断他是否昏昏欲睡，通过发出预警有助于防止司机在驾驶时因疲劳而发生事故。因此，在启动警报之前，需要监控驾驶员的状况，判断他是否昏昏欲睡。这样的睡意检测系统，通过近红外摄像机拍摄，使用图像处理技术和人工智能算法来分析驾驶员面部的图像，特别是眼睛的闭合次数、频率等。这样，驾驶员眼睛的提取非常重要，如果系统没有检测到驾驶员眼睛的话，无法判断司机是否昏昏欲睡，这就无法有效避免道路交通事故的发生。
发明内容
针对相关技术中的问题，本发明提出疲劳驾驶预警系统驾驶员眼睛的智能识别方法，解决现有因驾驶员眼睛识别度不高造成交通事故频发的问题。
为了实现上述技术目的，本发明的技术方案是这样的：
疲劳驾驶预警系统驾驶员眼睛的智能识别方法，具体包括以下步骤：
S1：近红外摄像机拍摄驾驶员的面部，并向图像处理装置发送连续捕获的二维面部灰度图像信号；
S2：图像处理装置从二维面部灰度图像中提取黑电平特征区域，所提取的黑电平特征区域包括眼睛、眉毛、鼻孔及嘴唇之间的直线；图像处理装置将成对存在的特征区域设置为候选对，由此产生以眼睛、眉毛及鼻孔构成的三个候选对；
S3：图像处理装置确定两个黑色区域彼此位置最靠近的一个候选对是鼻孔；
S4：鼻孔与其它两个候选对之间分别构成一个等边三角形，将这两个等边三角形作为眼睛对；
S5：图像处理装置选择步骤S4中较小的等边三角形，确定与较小的等边三角形相关的候选对为驾驶员的眼睛。
进一步的，步骤S1中所述近红外摄像机为CCD摄像机。
进一步的，步骤S1中近红外摄像机拍摄并发送驾驶员面部图像信息的具体流程为：近红外摄像机调整适当的角度对准驾驶员，同时近红外摄像机采用940nm红外补光照射驾驶员正面头像，驾驶员的正面头像通过镜头光学成像，并将成像投射到图像传感器上，图像传感器向图像处理装置发送成像电信号。
进一步的，所述图像处理装置包括ISP图像处理模块及运算分析处理模块。
进一步的，步骤S3中各所述等边三角形均是由鼻孔与每个候选对眼睛区的两个中心点连接构成。
本发明的有益效果：可以从脸部图像中准确地提取眼睛，从而提高眼睛识别的可靠性，从而更准确地评估驾驶员是否有昏昏欲睡等疲劳驾驶行为，有效避免交通事故的发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述疲劳驾驶预警系统驾驶员眼睛的智能识别设备的结构框图；
图2是根据本发明实施例所述疲劳驾驶预警系统驾驶员眼睛的智能识别方法的流程图；
图3是根据本发明实施例由红外摄像机拍摄灰度图像执行眼睛检测的过程示意图；
图4是根据本发明实施例所述近红外摄像机的结构图；
图5是根据本发明实施例所述近红外摄像机的工作流程图；
图6是根据本发明实施例所述图像处理装置的工作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，疲劳驾驶预警系统驾驶员眼睛的智能识别设备，包括：
近红外摄像机，拍摄驾驶员面部图像，并将采集到的成像光信号转换成电信号，发送给图像处理装置；和图像处理装置，接收成像电信号，并进行处理、分析，以实现对眼睛的识别。
如图2-3所示，疲劳驾驶预警系统驾驶员眼睛的智能识别方法，具体包括以下步骤：
S1：近红外摄像机拍摄驾驶员的面部，并向图像处理装置发送连续捕获的二维面部灰度图像信号；
S2：图像处理装置从二维面部灰度图像中提取黑电平特征区域，所提取的黑电平特征区域包括眼睛、眉毛、鼻孔及嘴唇之间的直线；图像处理装置将成对存在的特征区域设置为候选对，由此产生以眼睛、眉毛及鼻孔构成的三个候选对；
S3：图像处理装置确定两个黑色区域彼此位置最靠近的一个候选对是鼻孔；
S4：鼻孔与其它两个候选对之间分别构成一个等边三角形，将这两个等边三角形作为眼睛对；
S5：图像处理装置选择步骤S4中较小的等边三角形，确定与较小的等边三角形相关的候选对为驾驶员的眼睛。
在一个具体的实施例中，步骤S1中所述近红外摄像机为CCD摄像机。
在一个具体的实施例中，所述图像处理装置包括ISP图像处理模块及运算分析处理模块。
在一个具体的实施例中，步骤S3中各所述等边三角形均是由鼻孔与每个候选对眼睛区的两个中心点连接构成。
近红外摄像机的结构如图4所示，包括前外盖2和与所述前外盖2相配合安装的后盖6，前外盖2与后盖6起到防尘和保护的作用，所述前外盖2与后盖6之间形成的内部空腔安装有电路板组件5，所述电路板组件5用作图像信号的处理，电路板组件5包括图像传感器及图像处理装置，所述电路板组件5与前外盖2之间安装有镜头4，所述镜头4两侧安装有近红外940nm补光灯板3，所述前外盖2上设有深色亚克力盖板1，用来防尘和透光。
近红外摄像机工作流程如图5所示，近红外摄像机调整适当的角度对准驾驶员，同时近红外摄像机采用940nm红外补光照射驾驶员正面头像，驾驶员的正面头像通过镜头4光学成像，并将成像投射到图像传感器上，图像传感器向图像处理装置发送成像电信号，实现光信号到电信号的转变。
图像处理装置工作流程如图6所示，图像传感器将成像电信号发送给图像处理装置中的ISP图像处理模块（ISP图像处理模块可以进行自动曝光控制、自动增益控制、自动平衡及色彩校正等），经ISP图像处理模块处理的图像传输到AI主板上，通过其上的主芯片进行运算分析，达到对眼睛的识别。
该眼睛识别方法采用三角形定位可以从脸部图像中准确地提取眼睛，从而提高眼睛识别的可靠性，从而更准确地评估驾驶员是否有昏昏欲睡等疲劳驾驶行为，有效避免交通事故的发生。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.疲劳驾驶预警系统驾驶员眼睛的智能识别方法，其特征在于，具体包括以下步骤：
S1：近红外摄像机拍摄驾驶员的面部，并向图像处理装置发送连续捕获的二维面部灰度图像信号；
S2：图像处理装置从二维面部灰度图像中提取黑电平特征区域，所提取的黑电平特征区域包括眼睛、眉毛、鼻孔及嘴唇之间的直线；图像处理装置将成对存在的特征区域设置为候选对，由此产生以眼睛、眉毛及鼻孔构成的三个候选对；
S3：图像处理装置确定两个黑色区域彼此位置最靠近的一个候选对是鼻孔；
S4：鼻孔与其它两个候选对之间分别构成一个等边三角形，将这两个等边三角形作为眼睛对；
S5：图像处理装置选择步骤S4中较小的等边三角形，确定与较小的等边三角形相关的候选对为驾驶员的眼睛。
2.根据权利要求1所述的疲劳驾驶预警系统驾驶员眼睛的智能识别方法，其特征在于，步骤S1中所述近红外摄像机为CCD摄像机。
3.根据权利要求1所述的疲劳驾驶预警系统驾驶员眼睛的智能识别方法，其特征在于，步骤S1中近红外摄像机拍摄并发送驾驶员面部图像信息的具体流程为：近红外摄像机调整适当的角度对准驾驶员，同时近红外摄像机采用940nm红外补光照射驾驶员正面头像，驾驶员的正面头像通过镜头光学成像，并将成像投射到图像传感器上，图像传感器向图像处理装置发送成像电信号。
4.根据权利要求1-3任意一项所述的疲劳驾驶预警系统驾驶员眼睛的智能识别方法，其特征在于，所述图像处理装置包括ISP图像处理模块及运算分析处理模块。
5.根据权利要求1所述的疲劳驾驶预警系统驾驶员眼睛的智能识别方法，其特征在于，步骤S3中各所述等边三角形均是由鼻孔与每个候选对眼睛区的两个中心点连接构成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910128181.9A CN110009870A (zh) | 2019-02-21 | 2019-02-21 | 疲劳驾驶预警系统驾驶员眼睛的智能识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910128181.9A CN110009870A (zh) | 2019-02-21 | 2019-02-21 | 疲劳驾驶预警系统驾驶员眼睛的智能识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110009870A true CN110009870A (zh) | 2019-07-12 |
Family
ID=67165789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910128181.9A Pending CN110009870A (zh) | 2019-02-21 | 2019-02-21 | 疲劳驾驶预警系统驾驶员眼睛的智能识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110009870A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1277416A (zh) * | 1999-06-09 | 2000-12-20 | 现代自动车株式会社 | 瞌睡驾驶警告系统的驾驶员眼睛检测方法 |
| EP1701319A1 (en) * | 2005-03-10 | 2006-09-13 | Omron Corporation | Illuminating apparatus, image capturing apparatus, and monitoring apparatus, for vehicle driver |
| CN101639894A (zh) * | 2009-08-31 | 2010-02-03 | 华南理工大学 | 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统 |
| CN103594003A (zh) * | 2013-11-13 | 2014-02-19 | 安徽三联交通应用技术股份有限公司 | 一种用于驾驶人的远程监控与异常预警的系统及方法 |
| CN204946265U (zh) * | 2015-09-16 | 2016-01-06 | 苏州清研微视电子科技有限公司 | 用于疲劳驾驶预警系统的智能照明系统 |
| CN109327547A (zh) * | 2018-11-26 | 2019-02-12 | 湖北大学 | 一种智慧车载全天候健康监测分析平台 |
-
2019
- 2019-02-21 CN CN201910128181.9A patent/CN110009870A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1277416A (zh) * | 1999-06-09 | 2000-12-20 | 现代自动车株式会社 | 瞌睡驾驶警告系统的驾驶员眼睛检测方法 |
| EP1701319A1 (en) * | 2005-03-10 | 2006-09-13 | Omron Corporation | Illuminating apparatus, image capturing apparatus, and monitoring apparatus, for vehicle driver |
| CN101639894A (zh) * | 2009-08-31 | 2010-02-03 | 华南理工大学 | 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统 |
| CN103594003A (zh) * | 2013-11-13 | 2014-02-19 | 安徽三联交通应用技术股份有限公司 | 一种用于驾驶人的远程监控与异常预警的系统及方法 |
| CN204946265U (zh) * | 2015-09-16 | 2016-01-06 | 苏州清研微视电子科技有限公司 | 用于疲劳驾驶预警系统的智能照明系统 |
| CN109327547A (zh) * | 2018-11-26 | 2019-02-12 | 湖北大学 | 一种智慧车载全天候健康监测分析平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7916904B2 (en) | Face region detecting device, method, and computer readable recording medium | |
| US7620216B2 (en) | Method of tracking a human eye in a video image | |
| CN104573622B (zh) | 人脸检测装置、方法 | |
| CN102625047A (zh) | 面部成像系统和用于控制面部成像系统的方法 | |
| CN105095893A (zh) | 图像采集装置和方法 | |
| CN102841354A (zh) | 一种具有显示屏幕的电子设备的保护视力实现方法 | |
| JP5127531B2 (ja) | 画像監視装置 | |
| CN103136505A (zh) | 利用多种生理信息混合辨识身份的系统及方法 | |
| JP2003536303A (ja) | 近赤外線偽装検出 | |
| CN109255282B (zh) | 一种生物识别方法、装置和系统 | |
| CN107517340B (zh) | 一种摄像模组及电子设备 | |
| JP2000083930A (ja) | アイリスを用いた個人識別装置 | |
| CN107609471A (zh) | 一种人脸活体检测方法 | |
| JP2015075914A (ja) | 眼部検出装置、方法、およびプログラム | |
| JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
| JP2009219555A (ja) | 眠気検知装置、運転支援装置、眠気検知方法 | |
| CN106446822B (zh) | 基于圆拟合的眨眼检测方法 | |
| CN106447828A (zh) | 一种带有虹膜识别功能的行车记录仪 | |
| CN109727426A (zh) | 一种机械式车库人员误入监测识别预警系统及检测方法 | |
| CN106599779A (zh) | 一种人耳识别方法 | |
| JPH1040386A (ja) | 虹彩認識システム | |
| CN205942740U (zh) | 虹膜识别装置 | |
| CN110009870A (zh) | 疲劳驾驶预警系统驾驶员眼睛的智能识别方法 | |
| CN109815778A (zh) | 一种基于眼部特征的身份识别电子系统 | |
| CN102340628A (zh) | 摄影机及其控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190712 |