CN111166357A - 多传感器融合的疲劳监测装置系统及其监测方法 - Google Patents

多传感器融合的疲劳监测装置系统及其监测方法 Download PDF

Info

Publication number
CN111166357A
CN111166357A CN202010008999.XA CN202010008999A CN111166357A CN 111166357 A CN111166357 A CN 111166357A CN 202010008999 A CN202010008999 A CN 202010008999A CN 111166357 A CN111166357 A CN 111166357A
Authority
CN
China
Prior art keywords
user
fatigue
driver
module
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010008999.XA
Other languages
English (en)
Inventor
李明
靳飞
廖政炯
陶斯禄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yuran Zhihui Technology Co Ltd
Original Assignee
Sichuan Yuran Zhihui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yuran Zhihui Technology Co Ltd filed Critical Sichuan Yuran Zhihui Technology Co Ltd
Priority to CN202010008999.XA priority Critical patent/CN111166357A/zh
Publication of CN111166357A publication Critical patent/CN111166357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Hospice & Palliative Care (AREA)
  • Computer Security & Cryptography (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供多传感器融合的疲劳监测装置系统及其监测方法，摄像头采集被监测驾驶员面部特征，毫米波雷达用于采集被监测驾驶员的生理体征参数；信号处理模块根据当前驾驶员的生理体征参数以及面部特征结合历史存储数据以及医学指导数据，利用机器学习算法，判断驾驶员是否处于疲劳状态；得出判断结果后输出给报警显示模块；数据存储模块存储被监测对象的身份信息和以往采集的被监测对象的数据及医学认可的普适性指标；报警显示模块显示当前被监测对象是否处于疲劳状态，并可进行报警提示。本发明对每个被监测对象进行识别，从而降低个体体征差异对检测结果的影响；多重信息融合检测，提高检测结果准确性，降低虚警。

Description

多传感器融合的疲劳监测装置系统及其监测方法
技术领域
本发明属于数字信号处理器应用领域，具体涉及一种多传感器融合的疲劳监测装置系统及其监测方法，用于对驾驶人疲劳状态实时监测及预警，对驾驶员在行车中出现的疲劳现象实时检测并施以适当警告。
背景技术
疲劳驾驶是当今交通安全的重要隐患之一。驾驶员在疲劳时，其对周围环境的感知能力、形势判断能力和对车辆的操控能力都有不同程度的下降，因此很容易发生交通事故。在全世界范围内，疲劳驾驶是造成交通事故的重要因素之一。据世界卫生组织的报告显示，每年全球的道路交通事故中死亡人数近万，直接经济损失达上百亿美元。根据交通事故统计年鉴，超过30％的公路交通事故和15-20％的铁路交通事故与驾驶疲劳有关，疲劳驾驶严重威胁着人们的生命和财产安全。检测驾驶员是否为疲劳驾驶，并进行及时预警，将有效减少因疲劳驾驶而造成的道路交通事故。因此，研究和开发高性能的驾驶员疲劳状态实时监测及预警技术，对改善交通安全状况意义重大。疲劳检测是对驾驶员在行车中出现的疲劳现象实时检测并施以适当警告的过程。
现有技术之一，基于摄像头采集面部特征的检测方法。利用摄像头对驾驶员的面部进行图像采集，通过对驾驶员面部特征(如眼睛、头、嘴巴)的分析进行疲劳驾驶行为判定。如CN200610012623公开了通过驾驶员面部图像信号经处理后得到眼睛图像，同时实现眼跟踪，用模板匹配法来识别眼状态，根据眼状态计算眨眼持续时间、眨眼频率等，以判断驾驶员的疲劳状态。
该技术利用摄像头采集面部图像容易受环境光线变化影响，图像质量不佳容易影响疲劳检测的准确性。此外，仅通过面部特征，未考虑人体本身生理参数变化，判断标准过于单调，容易导致误判。
现有技术之二，基于穿戴式传感器采集生理特征的检测方法。正常驾驶与疲劳驾驶下生理特征是有差异的，因此，可以通过检测脑电信号、心电信号、呼吸等生理特征判断驾驶员是否为疲劳驾驶行为。如CN201110119582公开了通过信号处理模块对采集的脑电信号进行实时处理，利用与疲劳有关的指标特征，对特征进行识别，判断驾驶员的疲劳状态。
该技术相关专利公布的方法需通过佩戴穿戴式传感器进行生理特征的采集，穿戴式方案束缚感强，对驾驶员的正常操作存在一定干扰，用户体验差，且需要经常维护，如经常进行充电，使用较麻烦。
现有技术之三，基于驾驶行为的检测方法。根据驾驶员操作行为(方向盘、刹车踏板、油门踏板)和基于车辆运行状态(速度、加速度、车道横向位置和车身横摆角)检测疲劳驾驶行为。如CN201410115634公开了通过发动机管理系统、车身稳定系统、转角传感器、组合仪表，集成在车身控制器中的疲劳驾驶检测模块判断是否为疲劳驾驶行为。
该技术驾驶人的操作除了与疲劳状态有关外，还受到个人习惯、行驶速度、道路环境、操作技能的影响，车辆的行驶状态也与车辆特性、道路等很多环境因素有关，这种检测方法属于间接检测，对驾驶疲劳的敏感度不高，在夜晚或冰封的雨雪天气，检测容易失败。
现有技术之四，基于微波信号提取生理参数的检测方法。CN 201110335699公布了一种通过发射微波信号采集回波检测驾驶员呼吸状况的驾驶员疲劳的无线监测装置。通过检测的驾驶员呼吸频率与阈值对比，进而判断是否进入疲劳状态
该技术仅利用微波信号检测驾驶员呼吸频率判断是否进入疲劳状态，所采用的检测指标过于单调，因为人体呼吸频率受个人身体素质、外界环境、情绪、身体状态的影响较大，单纯采用呼吸频率作为检测指标，容易形成误判。同时专利中公布的方案并未说明其射频部分采用多通道还是单通道工作模式，这里默认其为单通道工作模式，如果采用单通道工作模式，容易受空间内其他人员回波信号的干扰，并且由于呼吸对应的胸腔位移较小，单通道工作模式无法保证高信噪比，测量精度低。
发明内容
针对上述技术问题，本发明提供一种多传感器融合的疲劳监测装置系统及其监测方法，对每一个被监测对象进行个性化管理，充分考虑个体差异对监测指标的影响。同时采用非接触式测量手段，无需接触人体即可测量人体的心率和呼吸频率以及心跳和呼吸的振幅，用于疲劳检测。
本发明中的毫米波雷达采用阵列天线，并与摄像头进行坐标系统一，利用摄像头获取被监测对象的胸腔位置，然后毫米波雷达形成特定波束指向，将主波束指向被监测对象胸腔，不仅可避其他人员的干扰，同时提高信噪比。此外，本发明还将面部特征与生理指标(心率、呼吸)相结合，利用机器学习的方法，通过多重指标提升疲劳检测的准确率。
具体技术方案为：
多传感器融合的疲劳监测装置系统，包括以下模块：传感器模块、信号处理模块、数据存储模块、报警显示模块；
具体各个模块功能为：传感器模块：包括摄像头和毫米波雷达，所述的摄像头用于采集被监测驾驶员面部特征和胸腔位置坐标，毫米波雷达用于采集被监测驾驶员的生理体征参数；
所述的生理体征参数，包括心率和呼吸；所述的面部特征包括眼动频率、眼睛纵横比、头部姿态、面部肌肉特征。
其中，所述的摄像头，采集驾驶员的面部特征用于疲劳检测；对驾驶员进行人脸识别，从而使系统对每个驾驶员实现个性化管理；并为毫米波雷达提供胸腔位置从而使毫米波雷达实现特定方向的波束指向；
所述的毫米波雷达：采用阵列天线设计，对将主瓣指向特定方向，利用微动特征提取算法获取驾驶员心率、呼吸以及心跳幅度和呼吸幅度；所述的毫米波雷达的波束主瓣指向特定方向为驾驶员胸腔位置。
信号处理模块：处理来自传感器模块的原始数据，从而获取当前驾驶员的生理体征参数和面部特征以及胸腔位置坐标(为毫米波雷达提供波束指向)；根据当前采集数据结合历史存储数据以及医学认可的普适性指标，判断驾驶员是否处于疲劳状态；得出判断结果后输出给后端的报警显示模块；
数据存储模块：存储有不同监测对象的身份信息，用于身份识别；对不同用户采集的信息进行独立长期存档；还存储有医学认可的普适性指标；存储不限于本地存储方式，也可通过利用通信模块，将数据发送到云端进行云存储；当存储空间满时按时间顺序采用循环替换的方式进行存储空间管理；
所述的信号处理模块，在开始工作后根据摄像头信息识别被监测对象为新用户还是老用户，若为老用户则直接执行是否为疲劳状态的判断操作；如果为新用户则为该用户建立独立的用户档案，然后执行判断是否为疲劳状态的操作。
报警显示模块：根据信号处理模块的判断结果显示当前被监测对象是否处于疲劳状态，当被监测对象处于疲劳状态时及时报警。报警方式可通过蜂鸣器、声光报警器或方向盘振动器等方式实现，也可通过无线通信模块(不限于Zigbee、蓝牙、WiFi、GSM、WCDMA、LTE、5G、NB-IOT)将报警信息传输到手机利用APP进行报警或者其他终端设备上进行报警
上述的多传感器融合的疲劳监测装置系统的监测方法，包括以下步骤：
(1)系统开机后初始化各个模块；
(2)调用摄像头采集用户信息，并对采集到的用户进行面部识别；
(3)如果判断为新用户则针对该用户建立相应账户、档案用于存储当前用户的面部特征信息及生理体征参数，如果为老用户则直接进入该用户的账户下进行后续操作；
(4)对采集到当前用户的图像信息进行处理，通过处理分别获得用户胸腔位置坐标和用户面部特征信息；
(5)根据用户胸腔位置调整毫米波雷达波束指向，将主瓣指向用户胸腔位置；
(6)利用毫米波雷达获取用户的心率和呼吸的生理体征参数；
(7)将采集的用户当前面部特征和生理体征参数存储在当前用户账户下；
(8)将当前采集的面部特征和生理体征参数结合用户历史存储记录及医学认可的普适性指标进行疲劳检测判断；
(9)判断当前用户是否为疲劳状态，如果是疲劳状态则进行报警显示，如果判断为非疲劳状态则显示正常，之后本次检测结束，进入下一次检测循环。
本发明提供多传感器融合的疲劳监测装置系统及其监测方法，与现有技术相比，具有的有益效果：
1、通过摄像头对每个被监测对象进行识别，针对每一个个体运行独立的检测标准(即检测方式相同，但阈值不同)，从而降低个体体征差异对检测结果的影响；
2、多重信息融合检测，将面部特征与身体的体征参数(心率/呼吸)结合进行疲劳检测，多重特征检测可提高检测结果准确性，降低虚警；
3、毫米波雷达采用阵列天线设计，可进行波束形成，利用摄像头提供的人体胸腔位置坐标，将主波束指向被监测对象胸腔，避免被其他人员干扰，同时提高信噪比。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的结构示意图；
图2为本发明的方法流程图；
图3为本发明的疲劳检测数据处理方案原理框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之上或之下可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征之上、上方和上面包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征之下、下方和下面包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
本发明提供的多传感器融合的疲劳监测装置系统结构，如图1所示。
图1中各个模块功能具体描述如下：
传感器模块：包括摄像头和毫米波雷达，其中摄像头用于采集被监测驾驶员面部特征，毫米波雷达用于采集被监测驾驶员生理体征参数；所述的生理体征参数，包括心率和呼吸；所述的面部特征包括眼动频率、眼睛纵横比、头部姿态、面部肌肉特征。
摄像头主要功能详细的为：(1)采集驾驶员的面部特征用于疲劳检测；(2)对驾驶员进行人脸识别，从而使系统对每个驾驶员实现个性化管理；(3)为毫米波雷达提供胸腔位置从而使毫米波雷达实现特定方向的波束指向；
毫米波雷达：采用阵列天线设计，多发多收，可进行波束形成，可将波束的主瓣指向特定方向，本系统中为驾驶员胸腔位置，利用微动特征提取算法可获取驾驶员心率、呼吸以及心跳幅度和呼吸幅度。
信号处理模块：该模块的功能为处理来自传感器模块即摄像头和毫米波雷达的原始数据，从而获取被监测驾驶员的生理体征参数以及面部特征。为了判断驾驶员是否处于疲劳状态，需要根据当前采集数据结合历史存储数据以及医学认可的普适性指标。该模块得出判断结果后输出给后端的报警显示模块。此外，信号处理模块在开始工作后会根据摄像头信息识别被监测对象为新用户还是老用户，若为老用户则直接执行是否为疲劳状态的判断操作。如果为新用户则为该用户建立独立的用户档案，然后执行判断是否为疲劳状态的操作。
数据存储模块：该模块不仅存储有不同监测对象的身份信息用于身份识别，还可对不同用户采集的信息，包括面部特征图像信息和生理参数信息，进行独立长期存档。此外，该模块还存储有医学认可的普适性指标，包括面部特征指标和生理体征参数指标。存储不限于本地存储方式，也可通过利用通信模块，将数据发送到云端进行云存储，当存储空间满时按时间顺序采用循环替换的方式进行存储空间管理。
报警显示模块：可根据信号处理模块的判断结果显示当前被监测对象是否处于疲劳状态，当被监测对象处于疲劳状态时及时报警。报警方式可通过蜂鸣器、声光报警器或方向盘振动器等方式实现，也可通过无线通信模块(不限于Zigbee、蓝牙、WiFi、GSM、WCDMA、LTE、5G、NB-IOT)将报警信息传输到手机利用APP进行报警或者其他终端设备上进行报警
该多传感器融合的疲劳监测装置工作流程如图2所示，具体如下：
(1)系统开机后初始化各个模块；
(2)调用摄像头采集用户信息，并对采集到的用户进行面部识别；
(3)如果判断为新用户则针对该用户建立相应账户/档案用于存储当前用户的面部特征信息及生理体征参数，如果为老用户则直接进入该用户的账户下进行后续操作；
(4)对采集到当前用户的图像信息进行处理，通过处理分别获得用户胸腔位置坐标和用户面部特征信息；
(5)根据用户胸腔位置调整毫米波雷达波束指向，将主瓣指向用户胸腔位置；
(6)利用毫米波雷达获取用户的心率和呼吸的生理体征参数；
(7)将采集的用户当前面部特征和生理体征参数存储在当前用户账户下；
(8)将当前采集的面部特征和生理体征参数结合用户历史存储记录及医学正常指标进行疲劳检测判断；
(9)判断当前用户是否为疲劳状态，如果是疲劳状态则进行报警显示，如果判断为非疲劳状态则显示正常，之后本次检测结束，进入下一次检测循环。
本实施例提供一种更加具体的疲劳检测判断方法。
检测体征：
①心率
②心跳幅度
③呼吸频率
④呼吸幅度
⑤眼动频率
⑥眼睛纵横比
⑦头部姿态
⑧面部肌肉特征
疲劳检测数据处理方案具体实施框图如图3所示，首先利用数据学习模型对历史数据(包括非疲劳状态和疲劳状态的历史数据)分别进行处理，根据处理结果确定疲劳状态检测各指标的阈值，然后结合医学指导数据对实测体征指标数据利用疲劳检测判断模块进行疲劳状态判断，输出当前是否处于疲劳状态，如果处于疲劳状态，则更新疲劳状态历史数据，如果处于非疲劳状态则更新非疲劳状态历史数据。
图3中涉及的数据学习模型可采用无监督强化学习模型，但不局限于该种方法。同时对于新用户，由于历史数据非常有限，仅通过数据学习模型难以准确确定准确的判断阈值，因此，本专利中疲劳监测状态判断模块对根据历史数据获得的检测阈值和医学指导数据的阈值设定不同的权重，即在对新用户进行检测时，医学指导数据的权重高，随着历史数据积累，数据学习模型确定的检测阈值精度不断提升，对数据学习模型所得检测阈值的权重不断提高。
假设用向量来表示各项体征参数，其中v表示当前实测数据，v'表示医学指导数据指标，v”表示数据学习模型根据历史数据得到的指标，α(0＜α≤1)表示医学指导数据在进行状态判断时的权重，则根据历史数据得到指标进行状态判断的权重为1-α，则总体判断指标可表示为η
η＝αf(v-v')+(1-α)f(v-v”)
其中f(.)表示对各项体征指标进行综合的函数，可表征当前实测数据与医学指导数据指标或数据学习模型所得指标的差距。综合指标参数用η0表示，当η≤η0时，当前处于正常状态，当η＞η0时，当前处于疲劳状态。
本发明提供的多传感器融合的疲劳监测装置系统及其监测方法，关键的技术要点及其技术效果为：
1、针对个体用户的体征参数进行个性化管理，比如摄像头进行面部识别；
2、将毫米波雷达监测的心率、呼吸与摄像头提取的面部特征结合用于疲劳检测；
3、毫米波雷达采用阵列天线，并与摄像头进行坐标系统一，利用摄像头获取被监测对象的胸腔位置，然后毫米波雷达进行波束形成，将主波束指向被监测对象胸腔，避免被其他干扰，同时提高信噪比。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经根据如上所述的优选实施例描述了本发明，但是应该理解，这些实施例仅是说明性的，并且权利要求不限于那些实施例。鉴于本公开内容，本领域技术人员将能够进行修改和替换，这些修改和替换被认为落入所附权利要求的范围内。本说明书中公开或说明的每个特征可以结合在本发明中，无论是单独的还是与本文公开或说明的任何其他特征的任何适当组合。

Claims (8)

1.多传感器融合的疲劳监测装置系统，其特征在于，包括以下模块：传感器模块、信号处理模块、数据存储模块、报警显示模块；
所述的传感器模块，包括摄像头和毫米波雷达，所述的摄像头，采集面部特征用于身份识别、采集面部特征用于疲劳检测、采集胸腔位置坐标，为毫米波雷达提供波束指向；毫米波雷达用于采集被监测驾驶员的生理体征参数；
所述的信号处理模块，处理来自传感器模块的原始数据，从而获取当前驾驶员的生理体征参数以及面部特征；根据当前采集数据结合历史存储数据以及医学指导数据，利用机器学习算法，判断驾驶员是否处于疲劳状态；得出判断结果后输出给后端的报警显示模块；
所述的数据存储模块，存储有不同被监测对象的身份信息，用于身份识别；对不同用户采集的生理体征参数和面部特征信息进行独立长期存档；还存储有医学认可的普适性的指标；存储不限于本地存储方式，也可通过利用通信模块，将数据发送到云端进行云存储；当存储空间满时按时间顺序采用循环替换的方式进行存储空间管理；
所述的报警显示模块，根据信号处理模块的判断结果显示当前被监测对象是否处于疲劳状态，当被监测对象处于疲劳状态时及时报警；报警方式通过蜂鸣器、声光报警器或方向盘振动方式实现，或者通过无线通信模块将报警信息传输到手机利用APP进行报警或者其他终端设备上进行报警。
2.根据权利要求1所述的多传感器融合的疲劳监测装置系统，其特征在于，所述的摄像头，采集驾驶员的面部特征用于疲劳检测；对驾驶员进行人脸识别，从而使系统对每个驾驶员实现个性化管理；并为毫米波雷达提供胸腔位置从而使毫米波雷达的波束指向被监测驾驶员胸腔位置，提升测量精度，且避免其他乘员影响测量结果。
3.根据权利要求1所述的多传感器融合的疲劳监测装置系统，其特征在于，所述的毫米波雷达：采用阵列天线设计，可对主瓣设定特定指向，利用微动特征提取算法获取驾驶员心率、呼吸以及心跳幅度和呼吸幅度。
4.根据权利要求3所述的多传感器融合的疲劳监测装置系统，其特征在于，所述的天线主瓣指向特定方向为驾驶员胸腔位置。
5.根据权利要求1所述的多传感器融合的疲劳监测装置系统，其特征在于，所述的生理体征参数，包括心率和呼吸。
6.根据权利要求1所述的多传感器融合的疲劳监测装置系统，其特征在于，所述的面部特征包括眼动频率、眼睛纵横比、头部姿态、面部肌肉特征。
7.根据权利要求1所述的多传感器融合的疲劳监测装置系统，其特征在于，所述的信号处理模块，在开始工作后根据摄像头采集被监测驾驶员面部信息识别被监测对象为新用户还是老用户，若为老用户则直接执行是否为疲劳状态的判断操作；如果为新用户则为该用户建立独立的用户档案，然后再执行判断是否为疲劳状态的操作。
8.根据权利要求1到7任一项所述的多传感器融合的疲劳监测装置系统的监测方法，其特征在于，包括以下步骤：
(1)系统开机后初始化各个模块；
(2)调用摄像头采集用户面部信息，并对采集到的用户进行面部识别；
(3)如果判断为新用户则针对该用户建立相应账户、档案用于存储当前用户的面部特征信息及生理体征参数，如果为老用户则直接进入该用户的账户下进行后续操作；
(4)对采集到当前用户的图像信息进行处理，通过处理分别获得用户胸腔位置坐标和用户面部特征信息；
(5)根据用户胸腔位置调整毫米波雷达波束指向，将主瓣指向用户胸腔位置；
(6)利用毫米波雷达获取用户的心率和呼吸的生理体征参数；
(7)将采集的用户当前面部特征和生理体征参数存储在当前用户账户下；
(8)将当前采集的面部特征和生理体征参数结合用户历史存储记录及医学认可的普适性指标进行疲劳检测判断；
(9)判断当前用户是否为疲劳状态，如果是疲劳状态则进行疲劳显示，并报警，如果判断为非疲劳状态则显示正常，之后本次检测结束，进入下一次检测循环。
CN202010008999.XA 2020-01-06 2020-01-06 多传感器融合的疲劳监测装置系统及其监测方法 Pending CN111166357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010008999.XA CN111166357A (zh) 2020-01-06 2020-01-06 多传感器融合的疲劳监测装置系统及其监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010008999.XA CN111166357A (zh) 2020-01-06 2020-01-06 多传感器融合的疲劳监测装置系统及其监测方法

Publications (1)

Publication Number Publication Date
CN111166357A true CN111166357A (zh) 2020-05-19

Family

ID=70646567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010008999.XA Pending CN111166357A (zh) 2020-01-06 2020-01-06 多传感器融合的疲劳监测装置系统及其监测方法

Country Status (1)

Country Link
CN (1) CN111166357A (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111568406A (zh) * 2020-05-26 2020-08-25 湖南森鹰科技有限公司 一种疲劳与健康监测设备
CN111657973A (zh) * 2020-07-09 2020-09-15 海南科技职业大学 一种基于人工智能的疲劳程度检测系统
CN111657971A (zh) * 2020-07-07 2020-09-15 电子科技大学 基于微多普勒和视觉感知融合的非接触测谎系统及方法
CN111657889A (zh) * 2020-06-03 2020-09-15 大连理工大学 一种基于毫米波雷达的非接触式驾驶员疲劳检测方法
CN111803098A (zh) * 2020-07-16 2020-10-23 北京敬一科技有限公司 一种基于大数据的疲劳监测仪及监测方法
CN111968340A (zh) * 2020-08-21 2020-11-20 无锡威孚高科技集团股份有限公司 一种疲劳驾驶检测预警装置
CN111968341A (zh) * 2020-08-21 2020-11-20 无锡威孚高科技集团股份有限公司 一种疲劳驾驶检测系统及方法
CN111990968A (zh) * 2020-08-07 2020-11-27 北京航空航天大学杭州创新研究院 一种信号监测方法、设备、存储介质及系统
CN112061048A (zh) * 2020-09-07 2020-12-11 华人运通(上海)云计算科技有限公司 场景触发的方法、装置、设备和存储介质
CN112185587A (zh) * 2020-09-24 2021-01-05 东风汽车集团有限公司 一种自动驾驶车内健康监测方法及存储介质
CN112464896A (zh) * 2020-12-14 2021-03-09 北京易华录信息技术股份有限公司 一种基于学生行为的身心状态分析系统
CN112556193A (zh) * 2020-11-17 2021-03-26 芜湖美的厨卫电器制造有限公司 用于热水器的控制方法、装置、处理器及热水器
CN112641445A (zh) * 2021-01-19 2021-04-13 深圳市阿尔法车联网技术有限公司 一种基于车联网数据信息化的汽车用户健康、行为监测系统及方法
CN112674721A (zh) * 2020-12-25 2021-04-20 中科芯未来微电子科技成都有限公司 一种多功能疲劳预警及酒驾检测方向盘
CN113378702A (zh) * 2021-06-09 2021-09-10 国网浙江宁波市奉化区供电有限公司 一种用于登杆作业的多特征融合的疲劳监测识别方法
CN113420624A (zh) * 2021-06-11 2021-09-21 华中师范大学 一种非接触式疲劳检测方法及系统
CN113558621A (zh) * 2021-07-23 2021-10-29 福州数据技术研究院有限公司 一种驾驶员疲劳检测与提醒的方法和系统
CN113593185A (zh) * 2021-07-30 2021-11-02 上海交通大学宁波人工智能研究院 一种非接触式的办公人员疲劳检测系统和方法
CN113624514A (zh) * 2021-08-17 2021-11-09 中国汽车技术研究中心有限公司 驾驶员状态监控产品的测试方法、系统、电子设备及介质
CN113799702A (zh) * 2021-09-15 2021-12-17 塔里木大学 基于人脸识别的车辆安全报警系统
CN114098733A (zh) * 2021-11-23 2022-03-01 安徽富煌科技股份有限公司 一种基于雷视融合的驾乘人员体征智能检测装置
CN114237534A (zh) * 2021-12-02 2022-03-25 北京德为智慧科技有限公司 一种显示器及其控制方法
TWI767528B (zh) * 2021-01-22 2022-06-11 財團法人工業技術研究院 非接觸肌動訊號偵測及輔助裝置與方法
CN115294730A (zh) * 2022-08-11 2022-11-04 深圳市锐驰曼科技发展有限公司 一种基于ai视频与毫米波雷达融合技术的疲劳驾驶监测系统
CN116269394A (zh) * 2023-02-13 2023-06-23 湖南汽车工程职业学院 一种可穿戴式人体驾驶疲劳监测装置
CN116439710A (zh) * 2023-04-11 2023-07-18 中国人民解放军海军特色医学中心 一种基于生理信号的舰船驾驶员疲劳检测系统及方法
WO2023185002A1 (zh) * 2022-03-31 2023-10-05 比亚迪股份有限公司 方向盘的振动控制系统、控制方法和车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104590130A (zh) * 2015-01-06 2015-05-06 上海交通大学 基于图像识别的后视镜自适应调节方法
CN204926416U (zh) * 2015-08-14 2015-12-30 龙泉千成电子科技有限公司 防疲劳方向盘套
US20160353995A1 (en) * 2015-06-04 2016-12-08 Under Armour, Inc. System and Method for Monitoring Fatigue
CN106491156A (zh) * 2016-10-13 2017-03-15 杭州电子科技大学 一种基于多源信息融合的汽车疲劳驾驶检测方法
CN108875642A (zh) * 2018-06-21 2018-11-23 长安大学 一种多指标融合的驾驶员疲劳检测的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104590130A (zh) * 2015-01-06 2015-05-06 上海交通大学 基于图像识别的后视镜自适应调节方法
US20160353995A1 (en) * 2015-06-04 2016-12-08 Under Armour, Inc. System and Method for Monitoring Fatigue
CN204926416U (zh) * 2015-08-14 2015-12-30 龙泉千成电子科技有限公司 防疲劳方向盘套
CN106491156A (zh) * 2016-10-13 2017-03-15 杭州电子科技大学 一种基于多源信息融合的汽车疲劳驾驶检测方法
CN108875642A (zh) * 2018-06-21 2018-11-23 长安大学 一种多指标融合的驾驶员疲劳检测的方法

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111568406A (zh) * 2020-05-26 2020-08-25 湖南森鹰科技有限公司 一种疲劳与健康监测设备
CN111657889A (zh) * 2020-06-03 2020-09-15 大连理工大学 一种基于毫米波雷达的非接触式驾驶员疲劳检测方法
CN111657971A (zh) * 2020-07-07 2020-09-15 电子科技大学 基于微多普勒和视觉感知融合的非接触测谎系统及方法
CN111657973A (zh) * 2020-07-09 2020-09-15 海南科技职业大学 一种基于人工智能的疲劳程度检测系统
CN111803098A (zh) * 2020-07-16 2020-10-23 北京敬一科技有限公司 一种基于大数据的疲劳监测仪及监测方法
CN111990968A (zh) * 2020-08-07 2020-11-27 北京航空航天大学杭州创新研究院 一种信号监测方法、设备、存储介质及系统
CN111968340A (zh) * 2020-08-21 2020-11-20 无锡威孚高科技集团股份有限公司 一种疲劳驾驶检测预警装置
CN111968341A (zh) * 2020-08-21 2020-11-20 无锡威孚高科技集团股份有限公司 一种疲劳驾驶检测系统及方法
CN112061048A (zh) * 2020-09-07 2020-12-11 华人运通(上海)云计算科技有限公司 场景触发的方法、装置、设备和存储介质
CN112061048B (zh) * 2020-09-07 2022-05-20 华人运通(上海)云计算科技有限公司 场景触发的方法、装置、设备和存储介质
CN112185587A (zh) * 2020-09-24 2021-01-05 东风汽车集团有限公司 一种自动驾驶车内健康监测方法及存储介质
CN112556193A (zh) * 2020-11-17 2021-03-26 芜湖美的厨卫电器制造有限公司 用于热水器的控制方法、装置、处理器及热水器
CN112464896A (zh) * 2020-12-14 2021-03-09 北京易华录信息技术股份有限公司 一种基于学生行为的身心状态分析系统
CN112674721A (zh) * 2020-12-25 2021-04-20 中科芯未来微电子科技成都有限公司 一种多功能疲劳预警及酒驾检测方向盘
CN112641445A (zh) * 2021-01-19 2021-04-13 深圳市阿尔法车联网技术有限公司 一种基于车联网数据信息化的汽车用户健康、行为监测系统及方法
CN112641445B (zh) * 2021-01-19 2021-11-09 深圳市阿尔法车联网技术有限公司 一种基于车联网数据信息化的汽车用户健康、行为监测系统及方法
TWI767528B (zh) * 2021-01-22 2022-06-11 財團法人工業技術研究院 非接觸肌動訊號偵測及輔助裝置與方法
US11612737B2 (en) 2021-01-22 2023-03-28 Industrial Technology Research Institute Non-contact muscle signal sensing and assisting device and method
CN113378702A (zh) * 2021-06-09 2021-09-10 国网浙江宁波市奉化区供电有限公司 一种用于登杆作业的多特征融合的疲劳监测识别方法
CN113420624A (zh) * 2021-06-11 2021-09-21 华中师范大学 一种非接触式疲劳检测方法及系统
WO2022257187A1 (zh) * 2021-06-11 2022-12-15 华中师范大学 一种非接触式疲劳检测方法及系统
CN113558621B (zh) * 2021-07-23 2023-08-01 福州数据技术研究院有限公司 一种驾驶员疲劳检测与提醒的方法和系统
CN113558621A (zh) * 2021-07-23 2021-10-29 福州数据技术研究院有限公司 一种驾驶员疲劳检测与提醒的方法和系统
CN113593185A (zh) * 2021-07-30 2021-11-02 上海交通大学宁波人工智能研究院 一种非接触式的办公人员疲劳检测系统和方法
CN113624514A (zh) * 2021-08-17 2021-11-09 中国汽车技术研究中心有限公司 驾驶员状态监控产品的测试方法、系统、电子设备及介质
CN113799702A (zh) * 2021-09-15 2021-12-17 塔里木大学 基于人脸识别的车辆安全报警系统
CN114098733A (zh) * 2021-11-23 2022-03-01 安徽富煌科技股份有限公司 一种基于雷视融合的驾乘人员体征智能检测装置
CN114237534A (zh) * 2021-12-02 2022-03-25 北京德为智慧科技有限公司 一种显示器及其控制方法
WO2023185002A1 (zh) * 2022-03-31 2023-10-05 比亚迪股份有限公司 方向盘的振动控制系统、控制方法和车辆
CN115294730A (zh) * 2022-08-11 2022-11-04 深圳市锐驰曼科技发展有限公司 一种基于ai视频与毫米波雷达融合技术的疲劳驾驶监测系统
CN116269394A (zh) * 2023-02-13 2023-06-23 湖南汽车工程职业学院 一种可穿戴式人体驾驶疲劳监测装置
CN116269394B (zh) * 2023-02-13 2024-03-05 湖南汽车工程职业学院 一种可穿戴式人体驾驶疲劳监测装置
CN116439710A (zh) * 2023-04-11 2023-07-18 中国人民解放军海军特色医学中心 一种基于生理信号的舰船驾驶员疲劳检测系统及方法
CN116439710B (zh) * 2023-04-11 2023-10-20 中国人民解放军海军特色医学中心 一种基于生理信号的舰船驾驶员疲劳检测系统及方法

Similar Documents

Publication Publication Date Title
CN111166357A (zh) 多传感器融合的疲劳监测装置系统及其监测方法
EP3132739B1 (en) Enhancing vehicle system control
CN106236046A (zh) 驾驶员疲劳监测系统
CN105595996B (zh) 一种眼电与脑电综合判定的疲劳驾驶脑电监测方法
CN105564436A (zh) 一种高级驾驶辅助系统
CN106236047A (zh) 驾驶员疲劳监测系统的控制方法
CN115768671A (zh) 用于自主交通工具的晕动症检测系统
CN105996990A (zh) 一种融合心率和驾驶动作的疲劳驾驶预警手环及预警方法
CN105595997B (zh) 一种基于台阶式疲劳判定的疲劳驾驶脑电监测方法
CN104484570B (zh) 一种电子终端及信息处理方法
CN109381201A (zh) 车载疲劳监测系统
CN111968341A (zh) 一种疲劳驾驶检测系统及方法
CN109949438B (zh) 异常驾驶监测模型建立方法、装置及存储介质
CN109977930A (zh) 疲劳驾驶检测方法及装置
CN111105594A (zh) 车辆及驾驶员疲劳驾驶的识别方法、装置
CN107554293A (zh) 一种安全驾驶预警装置及安全驾驶预警方法
Chang et al. Real-time physiological and facial monitoring for safe driving
Rajkumarsingh et al. Drowsiness detection using android application and mobile vision face api
CN108898795B (zh) 一种基于移动设备的行人状态实时分析方法及系统
CN110329405A (zh) 一种骑行管理系统
CN116965781B (zh) 一种驾驶员生命体征和驾驶行为监控方法及系统
CN116491935A (zh) 一种智能穿戴设备的运动健康监测方法、系统及介质
CN114435373B (zh) 疲劳驾驶检测方法、装置、计算机设备和存储介质
Pravinth Raja et al. Smart Steering Wheel for Improving Driver’s Safety Using Internet of Things
KR101834906B1 (ko) 생체신호와 웨어러블 디바이스 기반의 사용자 이상상태 검출 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200519

RJ01 Rejection of invention patent application after publication