CN105894735B - 一种智能化车载疲劳监测系统及方法 - Google Patents
一种智能化车载疲劳监测系统及方法 Download PDFInfo
- Publication number
- CN105894735B CN105894735B CN201610379858.2A CN201610379858A CN105894735B CN 105894735 B CN105894735 B CN 105894735B CN 201610379858 A CN201610379858 A CN 201610379858A CN 105894735 B CN105894735 B CN 105894735B
- Authority
- CN
- China
- Prior art keywords
- data transmission
- transmission device
- clouds
- module
- sent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Developmental Disabilities (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Emergency Management (AREA)
- Optics & Photonics (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Processing (AREA)
- Emergency Alarm Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种智能化车载疲劳监测系统及方法，涉及汽车安全领域。其特征在于，所述系统包括：所述系统包括：车载端、云端、用户移动端和监管端；所述车载端包括：视频采集模块、编码处理模块、算法处理模块、传感器系统、中央处理器和操作界面；所述云端包括：数据传输装置、云端数据接收装置和云端处理器；所述监管端包括：监管部门数据传输装置和监管部门处理器；所述用户移动端包括：移动端数据传输模块和移动端操作界面。该发明具有监测准确、可靠、具备大数据分析和监管功能、改良传统算法，算法陷阱等优点。
Description
技术领域
本发明涉及汽车安全领域，特别涉及一种智能化车载疲劳监测系统及方法。
背景技术
如何为驾驶员提供一个有效实用的安全辅助驾驶系统是车辆安全驾驶的一个重要课题。基于机器视觉的疲劳驾驶检测技术已在国内外开展了广泛研究，其中以驾驶员眼部特征的检测最为广泛。
日常行车时我们都会碰到前一天睡眠时间过少，睡眠质量过差；道路条件甚好致使路面情况单一；遇到风沙、雨、雾、雪天气状况；长时间、长距离行车；车速过快或过慢；到达目的地有时间限制等等情况，这些都会是诱发您疲劳驾驶的因素，甚至车辆自身或车外噪声和振动严重；座椅调整不当等原因都会造成您疲劳驾驶，从而诱发交通事故。
驾车时出现换档不及时、不准确，说明人体已经处于轻微疲劳状态；当出现操作动作呆滞，有时甚至会忘记将要进行的操作，说明人体已处于中度疲劳；当出现下意识操作或出现短时间睡眠现象时，说明人体已处于重度疲劳，往往醒来时便已酿成大祸。在危急情况发生之前，疲劳驾驶的最初迹象是可以被探测出来的，这时响起的警报音往往就是将驾驶员从死神手中拯救出来的最佳时机。
现有的疲劳监测系统主要存在如下的缺陷：
1、监测不准确：现有的疲劳监测系统，要么利用传感器进行监测，要么利用单纯的图像处理。而这两者往往都存在一定的缺陷，常常导致监测结果不不准确，导致监测结果非常不准确，从而产生误报警。
2、缺乏大数据分析：由于很多驾驶员疲劳驾驶是一个长期性的过程，如果没有针对驾驶员进行长期性的分析。也缺乏第三方对驾驶员进行监督管理，导致很多长期疲劳驾驶的驾驶员不能得到警醒，从而不能防患于未然。
3、算法落后：现有的疲劳监测系统，大都采用老旧的图像算法。而由于疲劳监测和普通的图像识别有很大差异性。如果一味采用旧算法，直接会导致监测结果不准确和算法复杂，处理起来非常缓慢。
发明内容
鉴于此，本发明提供了一种智能化车载疲劳监测系统及方法，该发明具有监测准确、可靠、具备大数据分析和监管功能、改良传统算法，算法陷阱等优点。
本发明采用的技术方案如下：
一种智能化车载疲劳监测系统，其特征在于，所述系统包括：车载端、云端、用户移动端和监管端；所述车载端包括：视频采集模块、编码处理模块、算法处理模块、传感器系统、中央处理器和操作界面；所述云端包括：数据传输装置、云端数据接收装置和云端处理器；所述监管端包括：监管部门数据传输装置和监管部门处理器；所述用户移动端包括：移动端数据传输模块和移动端操作界面；
所述视频采集模块信号连接于编码处理模块；所述编码处理模块信号连接于算法处理模块；所述算法处理模块信号连接于中央处理器；所述中央处理器分别信号连接于操作界面、传感器系统、预警装置和数据传输装置；所述数据传输装置信号连接于云端数据传输装置；所述云端数据传输装置分别信号连接于移动端数据传输模块、云端处理器和监管部门处理器；所述移动端数据传输模块信号连接于移动端操作界面；所述云端处理器信号连接于监管部门数据传输装置；所述监管部门数据传输装置信号连接于监管部门处理器。
所述视频采集模块，用于采集驾驶员的面部图像信息，将获取到的图像信息发送至编码处理模块；所述编码处理模块用于将接收到的面部图像信息进行数字视频编解码处理，将处理后的面部图像信息发送至算法处理模块；所述算法处理模块，用于通过图像识别算法对接收到的面部图像信息进行算法处理，判断驾驶员的精神状态，将判断结果发送至中央处理器；所述传感器系统，包括：血氧传感器和酸碱度传感器；所述血氧传感器用于实时监测人体的血氧信息，将监测到的血氧信息发送至中央处理器；所述酸碱度传感器用于监测人体皮肤上的酸碱度值，将监测到的酸碱度值发送至中央处理器；所述中央处理器，用于根据接收到的数据信息判断驾驶员当前是否处于疲劳状态，将判断结果分别发送至操作界面、预警装置和数据传输装置；所述操作界面，用于显示判断结果；所述预警装置，用于根据判断结果发出预警信号。
所述云端处理器，用于将云端数据传输装置发送过来的数据信息存储在本地，每隔一定周期，对存储在本地的数据信息进行大数据统计分析，将分析结果发送至监管部门数据传输装置；以及接受来自监管端的评估结果，将评估结果存储在本地，定期将该评估结果发送至用户移动端。
所述监管部门处理器，用于根据云端发送过来的大数据统计分析结果，对该驾驶人员的精神状态进行人为评估，将评估结果经云端数据传输装置发送至云端处理器进行存储。
所述用户移动端操作界面，用于将云端发送过来的评估结果进行显示。
所述算法处理模块采用的图像识别方法包括以下步骤：
步骤1：对编码处理模块发送过来的图像信息进行基于肤色聚类的人脸检测；
步骤2：根据人脸检测结果，根据眼睛在人脸的几何位置分布，确定眼睛的大概位置，缩小眼球检测的区域范围；
步骤3：在缩小的眼球搜索范围内，利用边缘检测算法对眼部区域进行边缘检测，提取眼部的边缘信息，并对其进行二值化处理，再对二值化后的眼部区域进行连通成分分析，采用基于区域连通的二值图像滤波方法去除眼部周围图像噪声点的干扰；
步骤4：根据改进的积分投影算法，计算左右眼角和上下眼睑的距离，确定驾驶员眼睛的睁闭状态；
步骤5：定义眨眼平率，并据此实现疲劳驾驶的检测。
所述基于肤色聚类的人脸检测方法包括以下步骤：
步骤1：从摄像头采集到的图像为RGB格式，利用如下公式实现将RGB格式转换为
步骤2：再利用如下公式将驾驶员的肤色区域检测出来：
R>G&&|R-G|≥11
340≤S≤359P0≤S≤50
0.12≤T≤0.7&&0.3≤V≤1.0
步骤3：然后对人脸进行水平和垂直投影，确定脸部的边界区域，边界确定公式如下：
其中，h、w分别为用水平和垂直投影求得的脸部区域的高度和宽度。
所述眼部感兴趣区域确定的方法包括以下步骤：
步骤1：假设检测到的人脸区域长度为HF；宽度为WF；
步骤2：在数垂直方向上，眼睛位于脸部二分之一以上，头顶以下HF/5的区域。
步骤3：在水平方向上，眼部边界区域得定位于距离脸部左边界WF/8出开始到距离眼部右边界WF/8处的区域。
采用以上技术方案，本发明产生了以下有益效果：
1、监测准确：本发明采用的疲劳监测系统，具有监测准确，除了采用采集图像监测作为主要评判手段以外，还添加了传感器系统作为辅助监测。将两个监测结果综合起来作为评判手段，可以大大提升监测的准确性和科学性。
2、大数据分析：本发明将大数据和云存储的概念引用到疲劳监测中来。除了针对单次疲劳驾驶进行预警以外，还可以针对多次疲劳驾驶数据，统计出一段时间内疲劳驾驶的次数，根据这些数据发出不同程度的预警。
3、算法先进：本发明对传统的图像识别算法进行了改进，主要进行了基于肤色聚类的人脸检测、眼部感兴趣区域确定、基于Sobel算子的边缘检测、采用改进积分投影算法确定左右眼角和上下眼睑的距离。通过这些来识别驾驶员的眨眼频率，并根据眨眼频率来综合判定驾驶员的疲劳程度。
3、具备监督功能：本发明将大数据处理结果和监管部门进行连接，监管部门可以实时接收到驾驶员长期精神状态的分析。并提炼出某些高危驾驶员的数据信息，并由监管部门提出预警，在危险发出之时就起到预防作用。
附图说明
图1是本发明的一种智能化车载疲劳监测系统及方法的系统结构示意图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明实施例1中提供了一种智能化车载疲劳监测系统，系统结构如图1所示：
一种智能化车载疲劳监测系统，其特征在于，所述系统包括：车载端、云端、用户移动端和监管端；所述车载端包括：视频采集模块、编码处理模块、算法处理模块、传感器系统、中央处理器和操作界面；所述云端包括：数据传输装置、云端数据接收装置和云端处理器；所述监管端包括：监管部门数据传输装置和监管部门处理器；所述用户移动端包括：移动端数据传输模块和移动端操作界面；
所述视频采集模块信号连接于编码处理模块；所述编码处理模块信号连接于算法处理模块；所述算法处理模块信号连接于中央处理器；所述中央处理器分别信号连接于操作界面、传感器系统、预警装置和数据传输装置；所述数据传输装置信号连接于云端数据传输装置；所述云端数据传输装置分别信号连接于移动端数据传输模块、云端处理器和监管部门处理器；所述移动端数据传输模块信号连接于移动端操作界面；所述云端处理器信号连接于监管部门数据传输装置；所述监管部门数据传输装置信号连接于监管部门处理器。
所述视频采集模块，用于采集驾驶员的面部图像信息，将获取到的图像信息发送至编码处理模块；所述编码处理模块用于将接收到的面部图像信息进行数字视频编解码处理，将处理后的面部图像信息发送至算法处理模块；所述算法处理模块，用于通过图像识别算法对接收到的面部图像信息进行算法处理，判断驾驶员的精神状态，将判断结果发送至中央处理器；所述传感器系统，包括：血氧传感器和酸碱度传感器；所述血氧传感器用于实时监测人体的血氧信息，将监测到的血氧信息发送至中央处理器；所述酸碱度传感器用于监测人体皮肤上的酸碱度值，将监测到的酸碱度值发送至中央处理器；所述中央处理器，用于根据接收到的数据信息判断驾驶员当前是否处于疲劳状态，将判断结果分别发送至操作界面、预警装置和数据传输装置；所述操作界面，用于显示判断结果；所述预警装置，用于根据判断结果发出预警信号。
所述云端处理器，用于将云端数据传输装置发送过来的数据信息存储在本地，每隔一定周期，对存储在本地的数据信息进行大数据统计分析，将分析结果发送至监管部门数据传输装置；以及接受来自监管端的评估结果，将评估结果存储在本地，定期将该评估结果发送至用户移动端。
所述监管部门处理器，用于根据云端发送过来的大数据统计分析结果，对该驾驶人员的精神状态进行人为评估，将评估结果经云端数据传输装置发送至云端处理器进行存储。
所述用户移动端操作界面，用于将云端发送过来的评估结果进行显示。
本发明实施例2中提供了一种智能化车载疲劳监测系统及方法，系统结构图如图1所述：
一种智能化车载疲劳监测系统，其特征在于，所述系统包括：车载端、云端、用户移动端和监管端；所述车载端包括：视频采集模块、编码处理模块、算法处理模块、传感器系统、中央处理器和操作界面；所述云端包括：数据传输装置、云端数据接收装置和云端处理器；所述监管端包括：监管部门数据传输装置和监管部门处理器；所述用户移动端包括：移动端数据传输模块和移动端操作界面；
所述视频采集模块信号连接于编码处理模块；所述编码处理模块信号连接于算法处理模块；所述算法处理模块信号连接于中央处理器；所述中央处理器分别信号连接于操作界面、传感器系统、预警装置和数据传输装置；所述数据传输装置信号连接于云端数据传输装置；所述云端数据传输装置分别信号连接于移动端数据传输模块、云端处理器和监管部门处理器；所述移动端数据传输模块信号连接于移动端操作界面；所述云端处理器信号连接于监管部门数据传输装置；所述监管部门数据传输装置信号连接于监管部门处理器。
所述视频采集模块，用于采集驾驶员的面部图像信息，将获取到的图像信息发送至编码处理模块；所述编码处理模块用于将接收到的面部图像信息进行数字视频编解码处理，将处理后的面部图像信息发送至算法处理模块；所述算法处理模块，用于通过图像识别算法对接收到的面部图像信息进行算法处理，判断驾驶员的精神状态，将判断结果发送至中央处理器；所述传感器系统，包括：血氧传感器和酸碱度传感器；所述血氧传感器用于实时监测人体的血氧信息，将监测到的血氧信息发送至中央处理器；所述酸碱度传感器用于监测人体皮肤上的酸碱度值，将监测到的酸碱度值发送至中央处理器；所述中央处理器，用于根据接收到的数据信息判断驾驶员当前是否处于疲劳状态，将判断结果分别发送至操作界面、预警装置和数据传输装置；所述操作界面，用于显示判断结果；所述预警装置，用于根据判断结果发出预警信号。
所述云端处理器，用于将云端数据传输装置发送过来的数据信息存储在本地，每隔一定周期，对存储在本地的数据信息进行大数据统计分析，将分析结果发送至监管部门数据传输装置；以及接受来自监管端的评估结果，将评估结果存储在本地，定期将该评估结果发送至用户移动端。
所述监管部门处理器，用于根据云端发送过来的大数据统计分析结果，对该驾驶人员的精神状态进行人为评估，将评估结果经云端数据传输装置发送至云端处理器进行存储。
所述用户移动端操作界面，用于将云端发送过来的评估结果进行显示。
所述算法处理模块采用的图像识别方法包括以下步骤：
步骤1：对编码处理模块发送过来的图像信息进行基于肤色聚类的人脸检测；
步骤2：根据人脸检测结果，根据眼睛在人脸的几何位置分布，确定眼睛的大概位置，缩小眼球检测的区域范围；
步骤3：在缩小的眼球搜索范围内，利用边缘检测算法对眼部区域进行边缘检测，提取眼部的边缘信息，并对其进行二值化处理，再对二值化后的眼部区域进行连通成分分析，采用基于区域连通的二值图像滤波方法去除眼部周围图像噪声点的干扰；
步骤4：根据改进的积分投影算法，计算左右眼角和上下眼睑的距离，确定驾驶员眼睛的睁闭状态；
步骤5：定义眨眼平率，并据此实现疲劳驾驶的检测。
所述基于肤色聚类的人脸检测方法包括以下步骤：
步骤1：从摄像头采集到的图像为RGB格式，利用如下公式实现将RGB格式转换为
步骤2：再利用如下公式将驾驶员的肤色区域检测出来：
R>G&&|R-G|≥11
340≤S≤359P0≤S≤50
0.12≤T≤0.7&&0.3≤V≤1.0
步骤3：然后对人脸进行水平和垂直投影，确定脸部的边界区域，边界确定公式如下：
其中，h、w分别为用水平和垂直投影求得的脸部区域的高度和宽度。
所述眼部感兴趣区域确定的方法包括以下步骤：
步骤1：假设检测到的人脸区域长度为HF；宽度为WF；
步骤2：在数垂直方向上，眼睛位于脸部二分之一以上，头顶以下HF/5的区域。
步骤3：在水平方向上，眼部边界区域得定位于距离脸部左边界WF/8出开始到距离眼部右边界WF/8处的区域。
本发明实施例3中提供了一种智能化车载疲劳监测系统及方法，系统结构如图1所示：
一种智能化车载疲劳监测系统，其特征在于，所述系统包括：车载端、云端、用户移动端和监管端；所述车载端包括：视频采集模块、编码处理模块、算法处理模块、传感器系统、中央处理器和操作界面；所述云端包括：数据传输装置、云端数据接收装置和云端处理器；所述监管端包括：监管部门数据传输装置和监管部门处理器；所述用户移动端包括：移动端数据传输模块和移动端操作界面；
所述视频采集模块信号连接于编码处理模块；所述编码处理模块信号连接于算法处理模块；所述算法处理模块信号连接于中央处理器；所述中央处理器分别信号连接于操作界面、传感器系统、预警装置和数据传输装置；所述数据传输装置信号连接于云端数据传输装置；所述云端数据传输装置分别信号连接于移动端数据传输模块、云端处理器和监管部门处理器；所述移动端数据传输模块信号连接于移动端操作界面；所述云端处理器信号连接于监管部门数据传输装置；所述监管部门数据传输装置信号连接于监管部门处理器。
所述视频采集模块，用于采集驾驶员的面部图像信息，将获取到的图像信息发送至编码处理模块；所述编码处理模块用于将接收到的面部图像信息进行数字视频编解码处理，将处理后的面部图像信息发送至算法处理模块；所述算法处理模块，用于通过图像识别算法对接收到的面部图像信息进行算法处理，判断驾驶员的精神状态，将判断结果发送至中央处理器；所述传感器系统，包括：血氧传感器和酸碱度传感器；所述血氧传感器用于实时监测人体的血氧信息，将监测到的血氧信息发送至中央处理器；所述酸碱度传感器用于监测人体皮肤上的酸碱度值，将监测到的酸碱度值发送至中央处理器；所述中央处理器，用于根据接收到的数据信息判断驾驶员当前是否处于疲劳状态，将判断结果分别发送至操作界面、预警装置和数据传输装置；所述操作界面，用于显示判断结果；所述预警装置，用于根据判断结果发出预警信号。
所述云端处理器，用于将云端数据传输装置发送过来的数据信息存储在本地，每隔一定周期，对存储在本地的数据信息进行大数据统计分析，将分析结果发送至监管部门数据传输装置；以及接受来自监管端的评估结果，将评估结果存储在本地，定期将该评估结果发送至用户移动端。
所述监管部门处理器，用于根据云端发送过来的大数据统计分析结果，对该驾驶人员的精神状态进行人为评估，将评估结果经云端数据传输装置发送至云端处理器进行存储。
所述用户移动端操作界面，用于将云端发送过来的评估结果进行显示。
所述算法处理模块采用的图像识别方法包括以下步骤：
步骤1：对编码处理模块发送过来的图像信息进行基于肤色聚类的人脸检测；
步骤2：根据人脸检测结果，根据眼睛在人脸的几何位置分布，确定眼睛的大概位置，缩小眼球检测的区域范围；
步骤3：在缩小的眼球搜索范围内，利用边缘检测算法对眼部区域进行边缘检测，提取眼部的边缘信息，并对其进行二值化处理，再对二值化后的眼部区域进行连通成分分析，采用基于区域连通的二值图像滤波方法去除眼部周围图像噪声点的干扰；
步骤4：根据改进的积分投影算法，计算左右眼角和上下眼睑的距离，确定驾驶员眼睛的睁闭状态；
步骤5：定义眨眼平率，并据此实现疲劳驾驶的检测。
所述基于肤色聚类的人脸检测方法包括以下步骤：
步骤1：从摄像头采集到的图像为RGB格式，利用如下公式实现将RGB格式转换为
步骤2：再利用如下公式将驾驶员的肤色区域检测出来：
R>G&&|R-G|≥11
340≤S≤359P0≤S≤50
0.12≤T≤0.7&&0.3≤V≤1.0
步骤3：然后对人脸进行水平和垂直投影，确定脸部的边界区域，边界确定公式如下：
其中，h、w分别为用水平和垂直投影求得的脸部区域的高度和宽度。
所述眼部感兴趣区域确定的方法包括以下步骤：
步骤1：假设检测到的人脸区域长度为HF；宽度为WF；
步骤2：在数垂直方向上，眼睛位于脸部二分之一以上，头顶以下HF/5的区域。
步骤3：在水平方向上，眼部边界区域得定位于距离脸部左边界WF/8出开始到距离眼部右边界WF/8处的区域。
本发明采用的疲劳监测系统，具有监测准确，除了采用采集图像监测作为主要评判手段以外，还添加了传感器系统作为辅助监测。将两个监测结果综合起来作为评判手段，可以大大提升监测的准确性和科学性。
本发明将大数据和云存储的概念引用到疲劳监测中来。除了针对单次疲劳驾驶进行预警以外，还可以针对多次疲劳驾驶数据，统计出一段时间内疲劳驾驶的次数，根据这些数据发出不同程度的预警。
本发明对传统的图像识别算法进行了改进，主要进行了基于肤色聚类的人脸检测、眼部感兴趣区域确定、基于Sobel算子的边缘检测、采用改进积分投影算法确定左右眼角和上下眼睑的距离。通过这些来识别驾驶员的眨眼频率，并根据眨眼频率来综合判定驾驶员的疲劳程度。
本发明将大数据处理结果和监管部门进行连接，监管部门可以实时接收到驾驶员长期精神状态的分析。并提炼出某些高危驾驶员的数据信息，并由监管部门提出预警，在危险发出之时就起到预防作用。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (4)
1.一种智能化车载疲劳监测系统，其特征在于，所述系统包括：车载端、云端、用户移动端和监管端；所述车载端包括：视频采集模块、编码处理模块、算法处理模块、传感器系统、中央处理器和操作界面；所述云端包括：数据传输装置、云端数据接收装置和云端处理器；所述监管端包括：监管部门数据传输装置和监管部门处理器；所述用户移动端包括：移动端数据传输模块和移动端操作界面；
所述视频采集模块信号连接于编码处理模块；所述编码处理模块信号连接于算法处理模块；所述算法处理模块信号连接于中央处理器；所述中央处理器分别信号连接于操作界面、传感器系统、预警装置和数据传输装置；所述数据传输装置信号连接于云端数据传输装置；所述云端数据传输装置分别信号连接于移动端数据传输模块、云端处理器和监管部门处理器；所述移动端数据传输模块信号连接于移动端操作界面；所述云端处理器信号连接于监管部门数据传输装置；所述监管部门数据传输装置信号连接于监管部门处理器；
所述视频采集模块，用于采集驾驶员的面部图像信息，将获取到的图像信息发送至编码处理模块；所述编码处理模块用于将接收到的面部图像信息进行数字视频编解码处理，将处理后的面部图像信息发送至算法处理模块；所述算法处理模块，用于通过图像识别算法对接收到的面部图像信息进行算法处理，判断驾驶员的精神状态，将判断结果发送至中央处理器；所述传感器系统，包括：血氧传感器和酸碱度传感器；所述血氧传感器用于实时监测人体的血氧信息，将监测到的血氧信息发送至中央处理器；所述酸碱度传感器用于监测人体皮肤上的酸碱度值，将监测到的酸碱度值发送至中央处理器；所述中央处理器，用于根据接收到的数据信息判断驾驶员当前是否处于疲劳状态，将判断结果分别发送至操作界面、预警装置和数据传输装置；所述操作界面，用于显示判断结果；所述预警装置，用于根据判断结果发出预警信号。
2.如权利要求1所述的智能化车载疲劳监测系统，其特征在于，所述云端处理器，用于将云端数据传输装置发送过来的数据信息存储在本地，每隔一定周期，对存储在本地的数据信息进行大数据统计分析，将分析结果发送至监管部门数据传输装置；以及接受来自监管端的评估结果，将评估结果存储在本地，定期将该评估结果发送至用户移动端。
3.如权利要求2所述的智能化车载疲劳监测系统，其特征在于，所述监管部门处理器，用于根据云端发送过来的大数据统计分析结果，对该驾驶人员的精神状态进行人为评估，将评估结果经云端数据传输装置发送至云端处理器进行存储。
4.如权利要求3所述的智能化车载疲劳监测系统，其特征在于，所述用户移动端操作界面，用于将云端发送过来的评估结果进行显示。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610379858.2A CN105894735B (zh) | 2016-05-31 | 2016-05-31 | 一种智能化车载疲劳监测系统及方法 |
| CN201711164784.1A CN107909772A (zh) | 2016-05-31 | 2016-05-31 | 一种智能化车载疲劳监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610379858.2A CN105894735B (zh) | 2016-05-31 | 2016-05-31 | 一种智能化车载疲劳监测系统及方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711164784.1A Division CN107909772A (zh) | 2016-05-31 | 2016-05-31 | 一种智能化车载疲劳监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105894735A CN105894735A (zh) | 2016-08-24 |
| CN105894735B true CN105894735B (zh) | 2018-02-13 |
Family
ID=56710989
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711164784.1A Pending CN107909772A (zh) | 2016-05-31 | 2016-05-31 | 一种智能化车载疲劳监测方法 |
| CN201610379858.2A Active CN105894735B (zh) | 2016-05-31 | 2016-05-31 | 一种智能化车载疲劳监测系统及方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711164784.1A Pending CN107909772A (zh) | 2016-05-31 | 2016-05-31 | 一种智能化车载疲劳监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN107909772A (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106205057A (zh) * | 2016-09-21 | 2016-12-07 | 成都创慧科达科技有限公司 | 一种基于ZigBee技术的辅助驾驶系统及方法 |
| CN106558190A (zh) * | 2016-12-06 | 2017-04-05 | 天津泓耘财科技发展有限公司 | 一种机动车疲劳驾驶预警监控系统 |
| CN106976460A (zh) * | 2017-05-18 | 2017-07-25 | 益阳市首航电子科技有限公司 | 车辆安全驾驶测控系统 |
| CN107918215A (zh) * | 2017-11-30 | 2018-04-17 | 西安科锐盛创新科技有限公司 | 防止疲劳驾驶的眼镜 |
| CN108109077A (zh) * | 2017-12-29 | 2018-06-01 | 海南绿色能源与环境工程技术研究院 | 一种跨区域清洁能源互联网系统 |
| CN108875541A (zh) * | 2018-03-16 | 2018-11-23 | 中国计量大学 | 一种基于虚拟现实技术的视觉疲劳检测算法 |
| CN108312964A (zh) * | 2018-03-21 | 2018-07-24 | 华南理工大学 | 一种疲劳驾驶状态识别预警系统及方法 |
| CN110281944A (zh) * | 2019-06-12 | 2019-09-27 | 浙江亚太机电股份有限公司 | 基于多信息融合的驾驶员状态监测系统 |
| CN111784984B (zh) * | 2020-06-09 | 2022-07-19 | 宁波吉利汽车研究开发有限公司 | 一种分布式预警系统、方法及装置 |
| CN111800508B (zh) * | 2020-07-06 | 2021-04-23 | 地上铁租车（深圳）有限公司 | 基于大数据的自动驾驶故障监测方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101520455A (zh) * | 2009-02-24 | 2009-09-02 | 徐加彬 | 智能人体酸碱仪与身心健康状态参数的检测方法 |
| CN103871122A (zh) * | 2014-03-11 | 2014-06-18 | 深圳市朗仁科技有限公司 | 驾驶行为分析方法及分析系统 |
| CN103886717A (zh) * | 2014-04-12 | 2014-06-25 | 合肥天海电气技术有限公司 | 一种光照自适应的疲劳驾驶检测系统及检测方法 |
| CN104217298A (zh) * | 2014-09-16 | 2014-12-17 | 浪潮集团有限公司 | 一种基于云存储的gps政务车辆管理系统 |
| CN104268701B (zh) * | 2014-09-29 | 2016-03-30 | 清华大学 | 一种营运车辆驾驶安全性评价系统及评价方法 |
| CN105534531A (zh) * | 2014-10-29 | 2016-05-04 | 上海华博信息服务有限公司 | 一种防疲劳驾驶的方法及系统 |
| CN104442989A (zh) * | 2014-11-24 | 2015-03-25 | 京东方科技集团股份有限公司 | 汽车方向盘 |
| CN104875744B (zh) * | 2015-04-28 | 2017-09-12 | 奇瑞汽车股份有限公司 | 驾驶员身体状态监测方法及系统 |
| CN105006103B (zh) * | 2015-06-15 | 2018-04-06 | 深圳市欧克勒亚科技有限公司 | 一种行车安全警示系统 |
| CN205158585U (zh) * | 2015-11-30 | 2016-04-13 | 宁波力芯科信息科技有限公司 | 一种预防疲劳驾驶的智能设备及系统 |
-
2016
- 2016-05-31 CN CN201711164784.1A patent/CN107909772A/zh active Pending
- 2016-05-31 CN CN201610379858.2A patent/CN105894735B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107909772A (zh) | 2018-04-13 |
| CN105894735A (zh) | 2016-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105894735B (zh) | 一种智能化车载疲劳监测系统及方法 | |
| CN105448041B (zh) | 一种人体摔倒智能控制系统及其方法 | |
| CN106709420B (zh) | 一种监测营运车辆驾驶人员驾驶行为的方法 | |
| CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
| CN106585624B (zh) | 驾驶员状态监控方法及装置 | |
| CN104732251B (zh) | 一种基于视频的机车司机驾驶状态检测方法 | |
| CN105069976B (zh) | 一种疲劳检测和行驶记录综合系统及疲劳检测方法 | |
| CN110751051B (zh) | 一种基于机器视觉的异常驾驶行为检测方法 | |
| CN102426757A (zh) | 基于模式识别的安全驾驶监控系统和方法 | |
| CN106218405A (zh) | 疲劳驾驶监控方法及云端服务器 | |
| CN110532976A (zh) | 基于机器学习和多特征融合的疲劳驾驶检测方法及系统 | |
| CN104361716A (zh) | 实时检测疲劳并提醒的方法 | |
| CN104517410A (zh) | 一种智能防溺水系统及方法 | |
| CN107595307A (zh) | 基于机器视觉人眼识别的疲劳驾驶检测装置及检测方法 | |
| CN103824420A (zh) | 基于心率变异性非接触式测量的疲劳驾驶识别系统 | |
| CN102054163A (zh) | 基于单目视觉的驾驶员疲劳检测方法 | |
| CN109367479A (zh) | 一种疲劳驾驶监测方法及装置 | |
| CN106355838A (zh) | 一种疲劳驾驶检测方法和系统 | |
| CN106080194A (zh) | 防疲劳驾驶的预警方法和系统 | |
| CN208126407U (zh) | 基于软硬件协同图像处理的防疲劳驾驶系统 | |
| CN109190600A (zh) | 一种基于视觉传感器的驾驶员监控系统 | |
| CN106467057A (zh) | 车道偏离预警的方法、装置及系统 | |
| CN108670278A (zh) | 一种基于智能手机的驾驶员疲劳检测和报警系统及方法 | |
| CN109969195A (zh) | 一种驾驶员面部行为异常报警系统及方法和基于其的车辆 | |
| CN212624073U (zh) | 一种安全驾驶预警系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Jianfeng Inventor after: Li Jiahong Inventor before: Zeng Li |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180510 Address after: 523073 Hongyuan mansion 1508, 1 Hongyuan Road, Nancheng street, Dongguan, Guangdong. Patentee after: Guangdong Hongyuan Group Industry Development Co.,Ltd. Address before: 510000 1402 office building, 383 office building, Panyu Avenue North, Panyu District Town, Guangzhou, Guangdong, Panyu, China Patentee before: Guangzhou Zhirongjie Intellectual Property Service Co.,Ltd. Effective date of registration: 20180510 Address after: 510000 1402 office building, 383 office building, Panyu Avenue North, Panyu District Town, Guangzhou, Guangdong, Panyu, China Patentee after: Guangzhou Zhirongjie Intellectual Property Service Co.,Ltd. Address before: 610000 Wuhou District Wuhou new town administrative committee, Chengdu, Sichuan, 2 Wuyi East Road 15, 1 units, 2 level 231. Patentee before: CHENGDU JIUSHIDU INDUSTRIAL PRODUCTS DESIGN Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180712 Address after: 523073 Dongguan City, Guangdong Province, Dongcheng camphor industrial area Patentee after: GUANGDONG WINNERWAY (Group) PHARMACEUTICAL Co.,Ltd. Address before: 523073 Hongyuan mansion 1508, 1 Hongyuan Road, Nancheng street, Dongguan, Guangdong. Patentee before: Guangdong Hongyuan Group Industry Development Co.,Ltd. |