CN108682119B - 基于智能手机和智能手表的驾驶员疲劳状态检测方法 - Google Patents

基于智能手机和智能手表的驾驶员疲劳状态检测方法 Download PDF

Info

Publication number
CN108682119B
CN108682119B CN201810530670.2A CN201810530670A CN108682119B CN 108682119 B CN108682119 B CN 108682119B CN 201810530670 A CN201810530670 A CN 201810530670A CN 108682119 B CN108682119 B CN 108682119B
Authority
CN
China
Prior art keywords
data
driver
sensor data
acceleration
deceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810530670.2A
Other languages
English (en)
Other versions
CN108682119A (zh
Inventor
孙棣华
赵敏
黄勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201810530670.2A priority Critical patent/CN108682119B/zh
Publication of CN108682119A publication Critical patent/CN108682119A/zh
Application granted granted Critical
Publication of CN108682119B publication Critical patent/CN108682119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness

Abstract

本发明属交通安全技术领域，公开了一种基于智能手机和智能手表的驾驶员疲劳状态检测方法，包括如下步骤：通过智能手机和智能手表采集车辆行驶状态数据和驾驶员操作行为数据；将智能手表采集到的驾驶员操作行为数据中叠加的车辆行驶状态信息分离，得到能够反映驾驶员操作行为的数据信息；根据车辆行驶状态信息和驾驶员操作行为信息提取驾驶员疲劳状态特征值；基于遗传算法将提取的驾驶员疲劳状态特征值中的冗余特征指标去掉，利用去掉冗余特征指标后的特征指标组合作为输入，建立基于BP神经网络的疲劳检测模型，对驾驶员状态进行监测。

Description

基于智能手机和智能手表的驾驶员疲劳状态检测方法
技术领域
本发明属交通安全技术领域，具体涉及驾驶员疲劳状态的检测方法。
背景技术
随着我国机动车数量的持续增长，道路交通安全问题日益严峻，疲劳驾驶作为普遍的违法驾驶行为之一，给社会带来了巨大的安全隐患。疲劳驾驶是指驾驶员在长时间连续行车后，产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象，如果继续驾驶，驾驶员很容易在驾驶途中产生困倦，甚至打瞌睡，进而引发严重交通事故。
为了防止驾驶员疲劳驾驶，我国《道路交通安全法实施条例》明确规定驾驶员不得连续驾驶机动车超过4小时未停车休息或者停车休息时间少于20分钟，否则将受到相应的行政处罚。然而，在现实生活中，驾驶员很少能够意识到自己处于疲劳驾驶状态，交通安全隐患很大。因此，实时检测驾驶员的驾驶状态，并在驾驶员产生疲劳状态后作出必要提示显得非常必要。
现有研究中比较成熟的疲劳检测方法主要有基于计算机视觉和视频图像处理的非接触式检测方法，但这类检测方法算法非常复杂，且容易受到光照等外在环境的干扰。而基于驾驶员生理指标的检测方法主要通过采集驾驶员脑电信号、心电信号等生理数据，分析驾驶过程的生理特征迁移规律，实现驾驶员的疲劳状态检测，但这类检测方法需要在驾驶人身体的某一部位安装数据采集传感器，容易导致驾驶员分心或不舒适等问题，且设备十分昂贵，其工程实用性颇受限制。所以需要寻求一种不易受到外界干扰、成本低、安装方便、对驾驶员不会产生干扰且检测准确的疲劳状态检测方法。
发明内容
有鉴于此，本发明提出了一种基于智能手机和智能手表的驾驶员疲劳驾驶检测方法，利用智能手机和智能手表的加速度传感器、陀螺仪传感器和方向传感器数据对驾驶员疲劳状态进行识别，以提高识别的实用性和准确性。
为达到上述目的，本发明提供如下技术方案：
基于智能手机和智能手表的驾驶员疲劳状态检测方法，包括如下步骤：
1)通过智能手机和智能手表采集车辆行驶状态数据和驾驶员操作行为数据；
2)将智能手表采集到的驾驶员操作行为数据中叠加的车辆行驶状态信息分离，得到能够反映驾驶员操作行为的数据信息；
3)根据车辆行驶状态信息和驾驶员操作行为信息提取驾驶员疲劳状态特征值，包括：车辆加减速频数、车辆加减速度均值、车辆加减速度标准差、车辆加减速度极大值、车辆加减速持续时间、车辆加减速时间间隔、方向盘转角速度极大值、方向盘转角速度均值、方向盘转角速度标准差、驾驶员手腕转动频数、方向盘连续不动时间、驾驶员手腕加减速度极大值中的至少一个；
4)基于遗传算法将步骤3)提取的驾驶员疲劳状态特征值中的冗余特征指标去掉，利用去掉冗余特征指标后的特征指标组合作为输入，建立基于BP神经网络的疲劳检测模型，对驾驶员状态进行监测。
进一步，所述步骤1)中，智能手机固定于汽车内，智能手表佩戴在驾驶员手腕上，采集车辆行驶过程中的手机的加速度传感器数据Ap＝(pax,pay,paz)、陀螺仪传感器数据Gp＝(pgx,pgy,pgz)和方向传感器数据(pox,poy,poz)，以及采集驾驶员操作方向盘过程中的手表的加速度传感器数据Aw＝(wax,way,waz)、陀螺仪传感器数据Gw＝(wgx,wgy,wgz)、方向传感器数据(wox,woy,woz)，以及记录数据采集时刻的时间t，每次采集将形成一个数据序列，该数据序列中每一行数据形式为{pax、pay、paz,pgx、pgy、pgz,pox、poy、poz,wax、way、waz,wgx、wgy、wgz,wox、woy、woz,ti}(i＝1,2,3…)，其中ti为采样时刻，将数据序列存储到一个数据文件中。
进一步，所述步骤2)具体包括如下步骤：
21)假设以智能手机坐标系Y轴正向向前与车头正向平行，Z轴垂直于水平面向上的姿态为智能手机标准姿态，此时对应的智能手机坐标系为标准坐标系，将智能手机加速度传感器数据Ap＝(pax,pay,paz)、手机陀螺仪传感器数据Gp＝(pgx,pgy,pgz)和智能手表加速度传感器数据Aw＝(wax,way,waz)、智能手表陀螺仪传感器数据Gw＝(wgx,wgy,wgz)分别转换成标准坐标系对应的手机加速度传感器数据A′p＝(pa′x,pa′y,pa′z)、手机陀螺仪传感器数据G′p＝(pg′x,pg′y,pg′z)、手表加速度传感器数据A′w＝(wa′x,wa′y,wa′z)、手表陀螺仪传感器数据G′w＝(wg′x,wg′y,wg′z)：
Figure GDA0002366734650000031
Figure GDA0002366734650000032
其中，α＝poz、β＝poy，Rap为加速度传感器数据旋转矩阵，Rop为陀螺仪传感器数据旋转矩阵。按照同样的旋转方法利用夹角woz和woy可以将手表加速度传感器数据Aw＝(wax,way,waz)、陀螺仪传感器数据Gw＝(wgx,wgy,wgz)旋转得到手表加速度传感器数据A′w＝(wa′x,wa′y,wa′z)、陀螺仪传感器数据G′w＝(wg′x,wg′y,wg′z)；
22)使用下式，将标准坐标系下的智能手机加速度传感器数据、陀螺仪传感器数据与智能手表对应的传感器数据进行差值运算得到能够反映驾驶员操作行为的数据信息：
Anwi＝A′wi-A′pi＝[wa′xi-pa′xi,wa′yi-pa′yi,wa′zi-pa′zi]；
Gnwi＝G′wi-G′pi＝[wg′xi-pg′xi,wg′yi-pg′yi,wg′zi-pg′zi]；
其中，A′wi、A′pi分别表示ti(i＝1,2,3…)时刻对应的手表加速度传感器数据A′w、手机加速度传感器数据A′p，G′wi、G′pi分别表示ti(i＝1,2,3…)时刻对应的手表陀螺仪传感器数据G′w、手机陀螺仪传感器数据G′p，Anwi、Gnwi分别表示数据分离得到的能够反映驾驶员操作行为的ti(i＝1,2,3…)时刻的加速度传感器数据、陀螺仪传感器数据。
进一步，所述步骤3)具体包括如下步骤：
31)通过下列算式计算加速度传感器数据和陀螺仪传感器数据的合成值及Gnwi的Z轴分量的积分值：
Figure GDA0002366734650000041
Figure GDA0002366734650000042
Figure GDA0002366734650000043
Figure GDA0002366734650000044
Figure GDA0002366734650000045
其中，degi表示从数据采集开始时刻到ti时刻的积分值，由此将步骤1)中的数据序列转换成{|A′pi|,|G′pi|,|Anwi|,|Gnwi|,degi,ti}(i＝1,2,3…)的形式；
32)将步骤31)获得的数据序列按照每2min为一个数据单元依次划分成多个数据单元；
33)从步骤32)获得的数据单元提取特征值，特征值包括：车辆加减速频数为数据单元中|A′pi|大于0.25m/s2的个数，车辆加减速度均值
Figure GDA0002366734650000046
n表示第j个数据单元中|A′pi|的个数，Amean(j)表示第j个数据单元的车辆加减速度均值；车辆加减速度标准差
Figure GDA0002366734650000047
AStd(j)表示第j个数据单元的车辆加减速度标准差；车辆加减速度极大值为数据单元中|A′pi|的最大值；车辆加减速持续时间为数据单元中|A′pi|连续大于0.25m/s2对应的时间长度；车辆加减速时间间隔为数据单元中|A′pi|连续小于0.25m/s2对应的时间长度；方向盘转角速度极大值为数据单元中|G′nwi|的最大值；向盘转角速度均值
Figure GDA0002366734650000048
n表示第j个数据单元中|G′nwi|的个数，Gmean(j)表示第j个数据单元的方向盘转角速度均值；方向盘转角速度标准差为
Figure GDA0002366734650000051
GStd(j)表示第j个数据单元的方向盘转角速度标准差；驾驶员手腕转动频数为数据单元中|degi|大于10°的个数；方向盘连续不动时间为数据单元中|degi|连续小于10°对应的时间长度；驾驶员手腕加减速度极大值为数据单元中|Anwi|的最大值。
进一步，基于遗传算法将步骤3)提取的驾驶员疲劳状态特征值中的冗余特征指标去掉，利用去掉冗余特征指标后的特征指标组合作为输入，建立基于BP神经网络的疲劳检测模型，对驾驶员状态进行监测。所述步骤4)具体包括如下步骤：
41)将步骤3)得到的特征指标数据进行归一化处理，使各个特征指标的量纲统一，避免较大的特征指标值掩盖掉较小的特征指标值的变化，提高疲劳检测模型的准确性；
42)为了不失一般性，从步骤41)中归一化后的数据中随机选取总样本的90％的样本作为训练集，剩余的样本则作为测试集；
43)利用遗传算法进行优化计算，首先需要将解空间映射到编码空间，每个编码对应一中筛选方案。筛选前共有12个特征指标，将编码长度设计为12，染色体的每一位对应一个输入自变量，每一位的基因值只能是“1”和“0”两种情况，如果染色体某一位值为“1”，表示该位对应的输入自变量作为最终检测模型的一个输入自变量，染色体某一位值为“0”则表示对应的输入自变量不作为最终检测模型的输入自变量。遗传算法优化过程如图3所示，其中适应度函数选取测试集数据误差平方和的倒数：
Figure GDA0002366734650000052
式中的
Figure GDA0002366734650000053
表示测试集的预测值，ti(i＝1,2,3…n)表示测试集的真实值，n为测试集的样本数目。
为了避免初始权值和阈值的随机性对适应度函数计算的影响，针对每一个体计算适应度函数值时，均用遗传算法对所建立的BP神经网络的初始权值和阈值进行优化，初始权值和阈值优化过程如图4所示，并以优化后的权值和阈值作为BP神经网络的初始权值和阈值；
44)利用遗传算法优化计算后得到检测模型的输入自变量组合，把输入自变量组合对应的数据提取出来得到新的训练集/测试集数据；
45)利用新的训练集数据对BP神经网络模型进行训练，训练完成后用新的测试集数据对检测模型进行测试，直到检测模型的检测准确率达到实际应用要求后才算训练完成；
46)利用训练完成的基于BP神经网络的疲劳检测模型对实时采集到的数据进行疲劳识别。
进一步，所述步骤46)还包括如果识别状态为疲劳就对驾驶员进行预警提示的步骤。
本发明的有益效果在于：
1、本发明提出的基于智能手机和智能手表的驾驶员疲劳状态检测方法，仅利用智能手机和智能手表就能实现对驾驶员疲劳状态的实时检测，不再需要额外购买昂贵的设备，降低了驾驶员疲劳状态的检测成本。
2、本发明的检测方法使用了智能手机和智能手表的加速度传感器、陀螺仪传感器和方向传感器数据，通过数据分离分别得到能够表征车辆行驶状态和驾驶员操作行为的数据信息，并从中提取了多个疲劳特征指标，提升了驾驶员疲劳状态检测的准确率。
3、本发明的检测方法避开了使用容易受到外界干扰的计算机视觉和视频图像处理的疲劳检测方法，并且不会对驾驶员正常驾驶产生干扰，可以显著提高疲劳检测的实用性。
4、本发明的检测方法能够实时对驾驶员的状态进行检测，当驾驶员疲劳驾驶时进行实时预警提示，能够有效地避免发生因疲劳驾驶所导致的交通事故。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1是本发明提出的基于智能手机和智能手表的驾驶员疲劳状态检测方法流程示意图；
图2是智能手机坐标系示意图；
图3是智能手机标准放置姿态图；
图4是遗传算法优化步骤框图；
图5是遗传算法优化BP神经网络初始权值/阈值步骤框图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述,但所举实施例不作为对本发明的限定。
参见图1-5，本实施例的基于智能手机和智能手表的驾驶员疲劳状态检测方法，包括如下步骤：
1)通过智能手机和智能手表采集车辆行驶状态数据和驾驶员操作行为数据；智能手机固定于汽车内，智能手表佩戴在驾驶员手腕上，用手机按照100Hz的频率分别采集车辆行驶过程中的手机的加速度传感器数据Ap＝(pax,pay,paz)、陀螺仪传感器数据Gp＝(pgx,pgy,pgz)和方向传感器数据(pox,poy,poz)，以及采集驾驶员操作方向盘过程中的手表的加速度传感器数据Aw＝(wax,way,waz)、陀螺仪传感器数据Gw＝(wgx,wgy,wgz)、方向传感器数据(wox,woy,woz)，以及记录数据采集时刻的时间t，每次采集将形成一个数据序列，该数据序列中每一行数据形式为{pax、pay、paz,pgx、pgy、pgz,pox、poy、poz,wax、way、waz,wgx、wgy、wgz,wox、woy、woz,ti}(i＝1,2,3…)，其中ti为采样时刻，将数据序列存储到一个数据文件中。
2)将智能手表采集到的驾驶员操作行为数据中叠加的车辆行驶状态信息分离，得到能够反映驾驶员操作行为的数据信息；具体包括如下步骤：
21)假设以智能手机坐标系Y轴正向向前与车头正向平行，Z轴垂直于水平面向上的姿态为智能手机标准姿态，如图2、3所示，此时对应的智能手机坐标系为标准坐标系，将智能手机加速度传感器数据Ap＝(pax,pay,paz)、手机陀螺仪传感器数据Gp＝(pgx,pgy,pgz)和智能手表加速度传感器数据Aw＝(wax,way,waz)、智能手表陀螺仪传感器数据Gw＝(wgx,wgy,wgz)分别转换成标准坐标系对应的手机加速度传感器数据A′p＝(pa′x,pa′y,pa′z)、手机陀螺仪传感器数据G′p＝(pg′x,pg′y,pg′z)、手表加速度传感器数据A′w＝(wa′x,wa′y,wa′z)、手表陀螺仪传感器数据G′w＝(wg′x,wg′y,wg′z)：
Figure GDA0002366734650000081
Figure GDA0002366734650000082
其中，α＝poz、β＝poy，Rap为加速度传感器数据旋转矩阵，Rop为陀螺仪传感器数据旋转矩阵。按照同样的旋转方法利用夹角woz和woy可以将手表加速度传感器数据Aw＝(wax,way,waz)、陀螺仪传感器数据Gw＝(wgx,wgy,wgz)旋转得到手表加速度传感器数据A′w＝(wa′x,wa′y,wa′z)、陀螺仪传感器数据G′w＝(wg′x,wg′y,wg′z)；
22)使用下式，将标准坐标系下的智能手机加速度传感器数据、陀螺仪传感器数据与智能手表对应的传感器数据进行差值运算得到能够反映驾驶员操作行为的数据信息：
Anwi＝A′wi-A′pi＝[wa′xi-pa′xi,wa′yi-pa′yi,wa′zi-pa′zi]；
Gnwi＝G′wi-G′pi＝[wg′xi-pg′xi,wg′yi-pg′yi,wg′zi-pg′zi]；
其中，A′wi、A′pi分别表示ti(i＝1,2,3…)时刻对应的手表加速度传感器数据A′w、手机加速度传感器数据A′p，G′wi、G′pi分别表示ti(i＝1,2,3…)时刻对应的手表陀螺仪传感器数据G′w、手机陀螺仪传感器数据G′p，Anwi、Gnwi分别表示数据分离得到的能够反映驾驶员操作行为的ti(i＝1,2,3…)时刻的加速度传感器数据、陀螺仪传感器数据。
3)根据车辆行驶状态信息和驾驶员操作行为信息提取驾驶员疲劳状态特征值，包括：车辆加减速频数、车辆加减速度均值、车辆加减速度标准差、车辆加减速度极大值、车辆加减速持续时间、车辆加减速时间间隔、方向盘转角速度极大值、方向盘转角速度均值、方向盘转角速度标准差、驾驶员手腕转动频数、方向盘连续不动时间、驾驶员手腕加减速度极大值中的至少一个；具体包括如下步骤：
31)通过下列算式计算加速度传感器数据和陀螺仪传感器数据的合成值及Gnwi的Z轴分量的积分值：
Figure GDA0002366734650000091
Figure GDA0002366734650000092
Figure GDA0002366734650000093
Figure GDA0002366734650000094
Figure GDA0002366734650000095
其中，degi表示从数据采集开始时刻到ti时刻的积分值，由此将步骤1)中的数据序列转换成{|A′pi|,|G′pi|,|Anwi|,|Gnwi|,degi,ti}(i＝1,2,3…)的形式；
33)将步骤31)获得的数据序列按照每2min为一个数据单元依次划分成多个数据单元；
33)从步骤32)获得的数据单元提取特征值，特征值包括：车辆加减速频数为数据单元中|A′pi|大于0.25m/s2的个数，车辆加减速度均值
Figure GDA0002366734650000096
n表示第j个数据单元中|A′pi|的个数，Amean(j)表示第j个数据单元的车辆加减速度均值；车辆加减速度标准差
Figure GDA0002366734650000101
AStd(j)表示第j个数据单元的车辆加减速度标准差；车辆加减速度极大值为数据单元中|A′pi|的最大值；车辆加减速持续时间为数据单元中|A′pi|连续大于0.25m/s2对应的时间长度；车辆加减速时间间隔为数据单元中|A′pi|连续小于0.25m/s2对应的时间长度；方向盘转角速度极大值为数据单元中|G′nwi|的最大值；向盘转角速度均值
Figure GDA0002366734650000102
n表示第j个数据单元中|G′nwi|的个数，Gmean(j)表示第j个数据单元的方向盘转角速度均值；方向盘转角速度标准差为
Figure GDA0002366734650000103
GStd(j)表示第j个数据单元的方向盘转角速度标准差；驾驶员手腕转动频数为数据单元中|degi|大于10°的个数；方向盘连续不动时间为数据单元中|degi|连续小于10°对应的时间长度；驾驶员手腕加减速度极大值为数据单元中|Anwi|的最大值。
4)基于遗传算法将步骤3)提取的驾驶员疲劳状态特征值中的冗余特征指标去掉，利用去掉冗余特征指标后的特征指标组合作为输入，建立基于BP神经网络的疲劳检测模型，对驾驶员状态进行监测。具体包括如下步骤：
41)将步骤3)得到的特征指标数据进行归一化处理，使各个特征指标的量纲统一，避免较大的特征指标值掩盖掉较小的特征指标值的变化，提高疲劳检测模型的准确性；
42)为了不失一般性，从步骤41)中归一化后的数据中随机选取总样本的90％的样本作为训练集，剩余的样本则作为测试集；
43)利用遗传算法进行优化计算，首先需要将解空间映射到编码空间，每个编码对应一中筛选方案。筛选前共有12个特征指标，将编码长度设计为12，染色体的每一位对应一个输入自变量，每一位的基因值只能是“1”和“0”两种情况，如果染色体某一位值为“1”，表示该位对应的输入自变量作为最终检测模型的一个输入自变量，染色体某一位值为“0”则表示对应的输入自变量不作为最终检测模型的输入自变量。遗传算法优化过程如图3所示，其中适应度函数选取测试集数据误差平方和的倒数：
Figure GDA0002366734650000111
式中的
Figure GDA0002366734650000112
表示测试集的预测值，ti(i＝1,2,3…n)表示测试集的真实值，n为测试集的样本数目；
为了避免初始权值和阈值的随机性对适应度函数计算的影响，针对每一个体计算适应度函数值时，均用遗传算法对所建立的BP神经网络的初始权值和阈值进行优化，初始权值和阈值优化过程如图4所示，并以优化后的权值和阈值作为BP神经网络的初始权值和阈值；
44)利用遗传算法优化计算后得到检测模型的输入自变量组合，把输入自变量组合对应的数据提取出来得到新的训练集/测试集数据；
45)利用新的训练集数据对BP神经网络模型进行训练，训练完成后用新的测试集数据对检测模型进行测试，直到检测模型的检测准确率达到实际应用要求后才算训练完成；
46)利用训练完成的基于BP神经网络的疲劳检测模型对实时采集到的数据进行疲劳识别，如果识别状态为疲劳就对驾驶员进行预警提示。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (3)

1.基于智能手机和智能手表的驾驶员疲劳状态检测方法，其特征在于，包括如下步骤：
1)通过智能手机和智能手表采集车辆行驶状态数据和驾驶员操作行为数据；具体过程如下：
智能手机固定于汽车内，智能手表佩戴在驾驶员手腕上，采集车辆行驶过程中的手机的加速度传感器数据Ap＝(pax,pay,paz)、陀螺仪传感器数据Gp＝(pgx,pgy,pgz)和方向传感器数据(pox,poy,poz)，以及采集驾驶员操作方向盘过程中的手表的加速度传感器数据Aw＝(wax,way,waz)、陀螺仪传感器数据Gw＝(wgx,wgy,wgz)、方向传感器数据(wox,woy,woz)，以及记录数据采集时刻的时间t，每次采集将形成一个数据序列，该数据序列中每一行数据形式为{pax、pay、paz,pgx、pgy、pgz,pox、poy、poz,wax、way、waz,wgx、wgy、wgz,wox、woy、woz,ti}(i＝1,2,3…)，其中ti为采样时刻，将数据序列存储到一个数据文件中；
2)将智能手表采集到的驾驶员操作行为数据中叠加的车辆行驶状态信息分离，得到能够反映驾驶员操作行为的数据信息；具体包括如下步骤：
21)假设以智能手机坐标系Y轴正向向前与车头正向平行，Z轴垂直于水平面向上的姿态为智能手机标准姿态，此时对应的智能手机坐标系为标准坐标系，将智能手机加速度传感器数据Ap＝(pax,pay,paz)、手机陀螺仪传感器数据Gp＝(pgx,pgy,pgz)和智能手表加速度传感器数据Aw＝(wax,way,waz)、智能手表陀螺仪传感器数据Gw＝(wgx,wgy,wgz)分别转换成标准坐标系对应的手机加速度传感器数据A′p＝(pa′x,pa′y,pa′z)、手机陀螺仪传感器数据G′p＝(pg′x,pg′y,pg′z)、手表加速度传感器数据A′w＝(wa′x,wa′y,wa′z)、手表陀螺仪传感器数据G′w＝(wg′x,wg′y,wg′z)：
Figure FDA0002366734640000021
Figure FDA0002366734640000022
其中，α＝poz、β＝poy，Rap为加速度传感器数据旋转矩阵，Rop为陀螺仪传感器数据旋转矩阵；按照同样的旋转方法利用夹角woz和woy可以将手表加速度传感器数据Aw＝(wax,way,waz)、陀螺仪传感器数据Gw＝(wgx,wgy,wgz)旋转得到手表加速度传感器数据A′w＝(wa′x,wa′y,wa′z)、陀螺仪传感器数据G′w＝(wg′x,wg′y,wg′z)；
22)使用下式，将标准坐标系下的智能手机加速度传感器数据、陀螺仪传感器数据与智能手表对应的传感器数据进行差值运算得到能够反映驾驶员操作行为的数据信息：
Anwi＝A′wi-A′pi＝[wa′xi-pa′xi,wa′yi-pa′yi,wa′zi-pa′zi]；
Gnwi＝G′wi-G′pi＝[wg′xi-pg′xi,wg′yi-pg′yi,wg′zi-pg′zi]；
其中，A′wi、A′pi分别表示ti(i＝1,2,3…)时刻对应的手表加速度传感器数据A′w、手机加速度传感器数据A′p，G′wi、G′pi分别表示ti(i＝1,2,3…)时刻对应的手表陀螺仪传感器数据G′w、手机陀螺仪传感器数据G′p，Anwi、Gnwi分别表示数据分离得到的能够反映驾驶员操作行为的ti(i＝1,2,3…)时刻的加速度传感器数据、陀螺仪传感器数据；
3)根据车辆行驶状态信息和驾驶员操作行为信息基于滑动时间窗口提取驾驶员疲劳状态特征值，包括以下三类数据：车辆加减速数据，方向盘转动数据，驾驶员手腕运动数据；其中，车辆加减速数据包括：车辆加减速频数、车辆加减速度均值、车辆加减速度标准差、车辆加减速度极大值、车辆加减速持续时间、车辆加减速时间间隔中的至少一个；方向盘转动数据包括：方向盘转角速度极大值、方向盘转角速度均值、方向盘转角速度标准差、方向盘连续不动时间中的至少一个；驾驶员手腕运动数据包括：驾驶员手腕转动频数、驾驶员手腕加减速度极大值中的至少一个；
具体的提取步骤如下：
31)通过下列算式计算加速度传感器数据和陀螺仪传感器数据的合成值及Gnwi的Z轴分量的积分值：
Figure FDA0002366734640000031
Figure FDA0002366734640000032
Figure FDA0002366734640000033
Figure FDA0002366734640000034
Figure FDA0002366734640000035
其中，degi表示从数据采集开始时刻到ti时刻的积分值，由此将步骤1)中的数据序列转换成{|A′pi|,|G′pi|,|Anwi|,|Gnwi|,degi,ti}(i＝1,2,3…)的形式；
32)将步骤31)获得的数据序列按照每2min为一个数据单元依次划分成多个数据单元；
33)从步骤32)获得的数据单元提取特征值，特征值包括：车辆加减速频数为数据单元中|A′pi|大于0.25m/s2的个数，车辆加减速度均值
Figure FDA0002366734640000036
n表示第j个数据单元中|A′pi|的个数，Amean(j) 表示第j个数据单元的车辆加减速度均值；车辆加减速度标准差
Figure FDA0002366734640000041
AStd(j)表示第j个数据单元的车辆加减速度标准差；车辆加减速度极大值为数据单元中|A′pi|的最大值；车辆加减速持续时间为数据单元中|A′pi|连续大于0.25m/s2对应的时间长度；车辆加减速时间间隔为数据单元中|A′pi|连续小于0.25m/s2对应的时间长度；方向盘转角速度极大值为数据单元中|G′nwi|的最大值；方 向盘转角速度均值
Figure FDA0002366734640000042
n表示第j个数据单元中|G′nwi|的个数，Gmean(j)表示第j个数据单元的方向盘转角速度均值；方向盘转角速度标准差为
Figure FDA0002366734640000043
GStd(j)表示第j个数据单元的方向盘转角速度标准差；驾驶员手腕转动频数为数据单元中|degi|大于10°的个数；方向盘连续不动时间为数据单元中|degi|连续小于10°对应的时间长度；驾驶员手腕加减速度极大值为数据单元中|Anwi|的最大值；
4)基于遗传算法将步骤3)提取的驾驶员疲劳状态特征值中的冗余特征指标去掉，利用去掉冗余特征指标后的特征指标组合作为输入，建立基于BP神经网络的疲劳检测模型，对驾驶员状态进行监测。
2.根据权利要求1所述的基于智能手机和智能手表的驾驶员疲劳状态检测方法，其特征在于，所述步骤4)具体包括如下步骤：
41)将步骤3)得到的特征指标数据进行归一化处理，使各个特征指标的量纲统一；
42)从步骤41)中归一化后的数据中随机选取总样本的90％的样本作为训练集，剩余的样本则作为测试集；
43)利用遗传算法进行优化计算，首先需要将解空间映射到编码空间，每个编码对应一中筛选方案；针对每一个体计算适应度函数值时，均用遗传算法对所建立的BP神经网络的初始权值和阈值进行优化，并以优化后的权值和阈值作为BP神经网络的初始权值和阈值；
44)利用遗传算法优化计算后得到检测模型的输入自变量组合，把输入自变量组合对应的数据提取出来得到新的训练集/测试集数据；
45)利用新的训练集数据对BP神经网络模型进行训练，训练完成后用新的测试集数据对检测模型进行测试，直到检测模型的检测准确率达到实际应用要求后才算训练完成；
46)利用训练完成的基于BP神经网络的疲劳检测模型对实时采集到的数据进行疲劳识别。
3.根据权利要求2所述的基于智能手机和智能手表的驾驶员疲劳状态检测方法，其特征在于：所述步骤46)还包括如果识别状态为疲劳就对驾驶员进行预警提示的步骤。
CN201810530670.2A 2018-05-29 2018-05-29 基于智能手机和智能手表的驾驶员疲劳状态检测方法 Active CN108682119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810530670.2A CN108682119B (zh) 2018-05-29 2018-05-29 基于智能手机和智能手表的驾驶员疲劳状态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810530670.2A CN108682119B (zh) 2018-05-29 2018-05-29 基于智能手机和智能手表的驾驶员疲劳状态检测方法

Publications (2)

Publication Number Publication Date
CN108682119A CN108682119A (zh) 2018-10-19
CN108682119B true CN108682119B (zh) 2020-05-26

Family

ID=63808639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810530670.2A Active CN108682119B (zh) 2018-05-29 2018-05-29 基于智能手机和智能手表的驾驶员疲劳状态检测方法

Country Status (1)

Country Link
CN (1) CN108682119B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109346166B (zh) * 2018-11-22 2022-04-05 广东顺德奥为德科技有限公司 一种医院住院部用智能医护手环的深度学习建模方法
CN109708634A (zh) * 2018-12-12 2019-05-03 平安科技（深圳）有限公司 自动判断驾驶行为的方法、装置、存储介质及电子设备
CN110393531A (zh) * 2019-05-23 2019-11-01 重庆大学 一种基于智能设备的疲劳驾驶检测方法及系统
CN110171426B (zh) * 2019-05-23 2021-07-02 重庆大学 一种基于智能设备的驾驶员危险驾驶行为识别方法及系统
CN111016914B (zh) * 2019-11-22 2021-04-06 华东交通大学 基于便携终端信息的险态驾驶场景辨识系统及其辨识方法
CN111806453B (zh) * 2020-07-09 2021-11-23 重庆大学 一种驾驶员手部运动状态下脱离方向盘检测方法及装置
CN112052905B (zh) * 2020-09-11 2023-02-03 重庆科技学院 一种基于循环神经网络的驾驶人多操作疲劳特征提取方法
CN114376577B (zh) * 2022-02-23 2022-07-29 北京中科智易科技有限公司 一种基于三轴加速度振动分析乘员疲劳度的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103445777B (zh) * 2012-06-01 2015-12-02 中国人民解放军第四军医大学 睡眠与疲劳监测类手表装置以及常态化小装置的监测方法
EP3177204A1 (en) * 2014-09-09 2017-06-14 Torvec, Inc. Methods and apparatus for monitoring alertness of an individual utilizing a wearable device and providing notification
CN104269026B (zh) * 2014-09-25 2017-01-18 同济大学 基于Android平台的疲劳驾驶实时监控与预警方法
CN104952210B (zh) * 2015-05-15 2018-01-05 南京邮电大学 一种基于决策级数据融合的疲劳驾驶状态检测系统和方法
CN105205990B (zh) * 2015-10-29 2018-03-06 长安大学 基于智能手表的驾驶员疲劳驾驶的预警系统及预警方法
CN105825625A (zh) * 2016-04-29 2016-08-03 大连楼兰科技股份有限公司 用于车辆疲劳驾驶提醒的车联网平台
CN106448059A (zh) * 2016-06-06 2017-02-22 清华大学 基于腕带仪器的驾驶员疲劳检测方法
CN106184220B (zh) * 2016-06-30 2018-08-21 南京航空航天大学 一种基于车辆定位轨迹的车道内异常驾驶检测方法
CN106384129B (zh) * 2016-09-13 2018-07-20 西安科技大学 一种基于闭环驾驶模型的驾驶员驾驶状态辨识方法
CN107415953B (zh) * 2017-04-28 2019-10-25 东软集团股份有限公司 一种驾驶行为识别方法、装置及设备
CN107235045A (zh) * 2017-06-29 2017-10-10 吉林大学 考虑生理与操控信息的驾驶员路怒状态车载识别交互系统
CN107351915B (zh) * 2017-07-12 2019-05-14 哈尔滨工业大学 一种汽车方向盘转角信息采集系统及采集方法
CN108068823A (zh) * 2017-12-06 2018-05-25 上海评驾科技有限公司 一种车辆驾驶行为检测方法

Also Published As

Publication number Publication date
CN108682119A (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN108682119B (zh) 基于智能手机和智能手表的驾驶员疲劳状态检测方法
CN107492251B (zh) 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法
WO2019047596A1 (zh) 一种用于驾驶模式切换的方法和装置
CN105564436A (zh) 一种高级驾驶辅助系统
CN112319488B (zh) 一种机动车驾驶员驾驶风格的识别方法及系统
CN106339692B (zh) 一种疲劳驾驶状态信息确定方法及系统
CN110765807A (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
CN104021370A (zh) 一种基于视觉信息融合的驾驶员状态监测方法及系统
CN113635897B (zh) 一种基于风险场的安全驾驶预警方法
CN105882515A (zh) 应用于行车记录仪的信息处理方法、装置及行车记录仪
CN109094574B (zh) 一种基于台架的无人车驾驶状态测量控制系统
CN114030475A (zh) 一种车辆辅助驾驶方法、装置、车辆及存储介质
CN114092922A (zh) 一种基于特异性的驾驶员情绪识别及行为干预方法
CN115179960A (zh) 一种多源数据采集人车状态综合监测系统及方法
CN112215093A (zh) 一种车辆驾驶能力水平的评价方法及装置
CN112698660B (zh) 基于9轴传感器的驾驶行为视觉感知装置及方法
CN110393531A (zh) 一种基于智能设备的疲劳驾驶检测方法及系统
CN113602287A (zh) 一种面向低驾龄女性驾驶员的人机共驾系统
CN107358678B (zh) 一种驾驶事件检测和识别方法
EP3382570A1 (en) Method for characterizing driving events of a vehicle based on an accelerometer sensor
Wu et al. Fuzzy logic based driving behavior monitoring using hidden markov models
Wang et al. EEG-based emergency braking intention prediction for brain-controlled driving considering one electrode falling-off
CN113362565A (zh) 一种基于决策算法的疲劳驾驶预警方法及系统
CN114103966A (zh) 一种辅助驾驶的控制方法、装置和系统
CN111806453B (zh) 一种驾驶员手部运动状态下脱离方向盘检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant