CN112277957B - 一种用于驾驶员分心纠正的预警方法及其系统、存储介质 - Google Patents

一种用于驾驶员分心纠正的预警方法及其系统、存储介质 Download PDF

Info

Publication number
CN112277957B
CN112277957B CN202011160050.8A CN202011160050A CN112277957B CN 112277957 B CN112277957 B CN 112277957B CN 202011160050 A CN202011160050 A CN 202011160050A CN 112277957 B CN112277957 B CN 112277957B
Authority
CN
China
Prior art keywords
driver
distraction
image
arm
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011160050.8A
Other languages
English (en)
Other versions
CN112277957A (zh
Inventor
梁伟强
蔡吉晨
李雪辉
何家寿
陈烯桐
辛聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202011160050.8A priority Critical patent/CN112277957B/zh
Publication of CN112277957A publication Critical patent/CN112277957A/zh
Application granted granted Critical
Publication of CN112277957B publication Critical patent/CN112277957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于驾驶员分心纠正的预警方法及其系统、存储介质，所述方法包括：获取车辆周围环境信息以及车辆状态信息，并根据所述车辆周围环境信息以及车辆状态信息判定是否启动图像采集；若判定启动图像采集，则生成图像采集指令，并将所述图像采集指令发送至图像采集单元，以采集驾驶员当前的行为图像序列；将所述行为图像序列输入到预先训练好的分心检测模型中进行分心判断，并输出判断结果；根据所述分心检测结果确定是否进行预警，其中当且仅当所述判断结果为驾驶员处于分心状态时，生成预警指令，并将预警指令发送至提示单元以进行预警提示。本发明能够提高驾驶员分心状态检测的准确度，并在检测到驾驶员处于分心状态时，进行预警提醒。

Description

一种用于驾驶员分心纠正的预警方法及其系统、存储介质
技术领域
本发明涉及安全驾驶技术领域，具体涉及一种用于驾驶员分心纠正的预警方法及其系统、存储介质。
背景技术
随着目前市面上车辆数量越来越多，驾驶员人群日益扩大，市场对驾驶安全也提出了更多的要求。除开汽车故障之外，导致交通事故最大的诱因是人为因素，人为因素在道路交通事故成因方面占很大的比例。而在人为因素中起主导作用的因素也大多与驾驶人注意力不集中有关，包括由驾驶人注意力不集中、注意力不当、注意力下降等原因引起的分心驾驶和疲劳驾驶等不当驾驶方式。另外一些驾驶员行车过程中的不良习惯也会给驾驶员带来安全隐患，例如在驾驶过程中不由自主地分神，东张西望，或者低头拾物，或者操作移动终端(手机)看短信息、打电话等等，这些不良习惯对行车安全造成了巨大的威胁。
驾驶分心是主要的人因之一，也是引发道路交通事故的主要原因。驾驶分心大大增加了事故风险，不仅危害自身生命财产安全，而且对其他道路使用者造成了巨大的潜在危险。因此，如何实时、有效检测驾驶人分心状态是解决驾驶分心问题的一个难点，并且将本车驾驶人异常状态信息及时、准确传递给其他车主也是一大关键点。
目前的驾驶分心检测方法主要是基于驾驶人生理反应特征、驾驶人操作行为、车辆行驶轨迹、面部的监测。使用心电、肌电、皮肤导电率等驾驶人生理特征可以直观反映驾驶人的驾驶状态，但是这些都是靠人体传感器，连续性和可靠性低。利用驾驶人操作行为以及车辆行驶轨迹可以间接反映驾驶人的状态。这两种方法的数据获取较为简单，但是检测结果受到驾驶人经验、车辆类型、道路几何条件等几何特征影响，对驾驶人分心状态检测的准确度不高。对于侧重在面部的监测，而诸如玩手机的手部动作则监测不到，其对驾驶员是否分心的检测判断只关注了面部信息中的局部特征眼睛，而忽视了驾驶员的整体动态，即只关注了“点”的局部信息而忽略了“面”所呈现的全局信息，对驾驶员的分神状态不能从整体进行把握，存在一定的漏检缺陷，并且所应用的算法耗费的计算量大，计算时间也较长。
发明内容
本发明的目的在于提出一种用于驾驶员分心纠正的预警方法及其系统、存储介质，提高驾驶员分心状态检测的准确度，并在检测到驾驶员处于分心状态时，进行预警提醒。
为实现上述目的，根据第一方面，本发明的实施例提出一种用于驾驶员分心纠正的预警方法，其特征在于，包括：
获取当前的车辆周围环境信息以及车辆状态信息，并根据所述车辆周围环境信息以及车辆状态信息判定是否启动图像采集；
若判定启动图像采集，则生成图像采集指令，并将所述图像采集指令发送至图像采集单元，以采集驾驶员当前的行为图像序列；
将所述行为图像序列输入到预先训练好的分心检测模型中，提取所述行为图像序列各图像帧中驾驶员的头部特征和手臂特征，根据提取得到的头部特征和手臂特征判定驾驶员是否处于分心状态，输出分心检测结果；
根据所述分心检测结果确定是否进行预警，其中当且仅当所述判断结果为驾驶员处于分心状态时，生成预警指令，并将所述预警指令发送至提示单元以进行预警提示。
可选地，所述车辆周围环境信息包括前方道路口的车流量信息和人流量信息；所述车辆状态信息包括方向盘转角和车辆速度；
所述根据所述车辆周围环境信息以及车辆状态信息判定是否启动图像采集，包括：
当前方道路口车流量、前方道路口人流量、方向盘转角、车辆速度中的至少一个达到对应预设的阈值时，判定启动图像采集。
可选地，所述根据提取得到的头部特征和手臂特征判定驾驶员是否处于分心状态，包括：
根据所述头部特征和手臂特征识别驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径是否异常，当驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径中任一个存在异常时，判断驾驶员是否处于分心状态。
可选地，所述根据提取得到的头部特征和手臂特征判定驾驶员是否处于分心状态，包括：
根据所述行为图像序列中每一帧图像的驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径，对每一帧图像进行编码赋值；其中，赋值的编码为四位二进制编码，第一位表示驾驶员行为异常，第二位表示头部偏转异常，第三位表示手臂弯曲程度及姿态异常，第四位表示头部与手臂之间的距离及路径异常；
根据所述行为图像序列中每一帧图像的所赋值的编码判断驾驶员是否处于分心状态。
可选地，所述提取所述行为图像序列各图像帧中驾驶员的头部特征和手臂特征，包括：
对所述行为图像序列进行预处理；
对预处理后的行为图像序列转换成灰度图像序列；
对所述灰度图像序列进行伽马校正；
对校正后的图像序列进行求取其梯度及梯度方向；
进行重叠块直方图归一化，将图像序列中的每一帧图像均分为多个大小相同的细胞单元，将梯度方向划分为9个方向，每个方向的区间为[0°,20°]，其中，像素点的梯度大小表示该像素点的权值，当某个像素点的梯度方向在9个方向中的一个方向时，则该梯度方向的区间直方图计数上加上该像素点的权值，将上下左右相邻的2×2个细胞单元组成一个连通区域的块整体；
对有重叠部分块整体的直方图进行归一化，将所有块整体的特征向量组合起来形成HOG特征描述符以用于表征整个图像，选取一幅图像中的一个窗口来进行特征提取得到对应的头部特征和手臂特征。
根据第二方面，本发明的实施例提出一种用于驾驶员分心纠正的预警系统，包括：
图像采集触发单元，用于获取当前的车辆周围环境信息以及车辆状态信息，并根据所述车辆周围环境信息以及车辆状态信息判定是否启动图像采集；
图像采集控制单元，用于当所述图像采集触发单元判定启动图像采集时，生成图像采集指令，并将所述图像采集指令发送至图像采集单元，以采集驾驶员当前的行为图像序列；
分心判断单元，用于将所述行为图像序列输入到预先训练好的分心检测模型中，提取所述行为图像序列各图像帧中驾驶员的头部特征和手臂特征，根据提取得到的头部特征和手臂特征判定驾驶员是否处于分心状态，输出分心检测结果；以及
预警单元，用于根据所述分心检测结果确定是否进行预警，其中当且仅当所述判断结果为驾驶员处于分心状态时，生成预警指令，并将所述预警指令发送至提示单元以进行预警提示。
可选地，所述车辆周围环境信息包括前方道路口的车流量信息和人流量信息；所述车辆状态信息包括方向盘转角和车辆速度；
所述图像采集触发单元，具体用于：
当前方道路口车流量、前方道路口人流量、方向盘转角、车辆速度中的至少一个达到对应预设的阈值时，判定启动图像采集。
可选地，所述分心判断单元，具体用于：
根据所述头部特征和手臂特征识别驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径是否异常，当驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径中任一个存在异常时，判断驾驶员是否处于分心状态。
可选地，所述分心判断单元，具体用于：
根据所述行为图像序列中每一帧图像的驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径，对每一帧图像进行编码赋值；其中，赋值的编码为四位二进制编码，第一位表示驾驶员行为异常，第二位表示头部偏转异常，第三位表示手臂弯曲程度及姿态异常，第四位表示头部与手臂之间的距离及路径异常；以及
根据所述行为图像序列中每一帧图像的所赋值的编码判断驾驶员是否处于分心状态。
根据第三方面，本发明的实施例提出一种计算机可读存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在的一个或多个设备执行根据第一方面实施例所述的用于驾驶员分心纠正的预警方法。
本发明实施例提出一种用于驾驶员分心纠正的预警方法及其系统、存储介质，通过预先训练具有高度个性化的分心检测模型，并在当前的车辆周围环境信息以及车辆状态信息满足触发条件时启动对驾驶员行为图像序列的采集动作，本发明实施例提出了利用驾驶员行为作为分析检测的依据，考虑了驾驶员头部和手臂的动作行为，相比现有的只关注面部信息中的局部特征眼睛，而忽视了驾驶员的整体动态的分心识别方法而言，能够大大提高识别的响应速度，提高驾驶员分心状态检测的准确度，并在检测到驾驶员处于分心状态时，进行预警提醒，对驾驶员的分心行为进行纠正，提高驾驶安全性，有利于减少交通事故的发生。
本发明的其它特征和优点将在随后的说明书中阐述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中一种用于驾驶员分心纠正的预警方法的流程示意图。
图2为本发明一实施例中一种用于驾驶员分心纠正的预警系统框架图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
本发明一实施例提出一种用于驾驶员分心纠正的预警方法，参阅图1，本实施例方法包括如下步骤S1～S4：
步骤S1、获取当前的车辆周围环境信息以及车辆状态信息，并根据所述车辆周围环境信息以及车辆状态信息判定是否启动图像采集。
具体而言，步骤中可以周期性地或实时地获取当前的车辆周围环境信息以及车辆状态信息，根据当前的车辆周围环境信息以及车辆状态信息可以识别出当前的驾驶场景是否需要进行分心检测，步骤S1的目的在于减少分心检测的频率，以在有必要的情况下再执行分心检测，减少车辆的计算资源耗费，降低车辆的硬件性能要求，从而降低车辆造价成本。
步骤S2、若判定启动图像采集，则生成图像采集指令，并将所述图像采集指令发送至图像采集单元，以采集驾驶员当前的行为图像序列。
具体而言，当步骤S1判定启动图像采集时，则进入步骤S2，步骤S2中生成一图像采集指令，该图像采集指令用于控制车载图像采集单元(摄像头)采集驾驶员当前的行为图像序列。车载图像采集单元设置于车厢内，当车载图像采集单元响应接收到所述图像采集指令，开启摄像头对驾驶员行为进行拍摄得到行为图像序列，所述行为图像序列包括按设定时间间隔排序的多帧图像。
优选地，本实施例中摄像头拍摄驾驶员行为图像时，是从驾驶员正面方向或侧面方向进行拍摄，图像内容应包含驾驶员的头部以及手臂。
在本实施例中，所述行为图像序列优选但不限于为包括60帧图像。
在本实施例中，所述行为图像序列的相邻图像帧之间的时间间隔优选但不限于为0.8～1.0秒。
步骤S3、将所述行为图像序列输入到预先训练好的分心检测模型中，提取所述行为图像序列各图像帧中驾驶员的头部特征和手臂特征，根据提取得到的头部特征和手臂特征判定驾驶员是否处于分心状态，输出分心检测结果。
具体而言，步骤中所述分心检测模型包括特征提取部分和特征分类部分，特征提取部分用于依序对所述行为图像序列的每一图像帧进行图像处理，提取图像帧中的驾驶员头部特征和手臂特征。特征分类部分可以通过SVM分类器预先训练得到。
其中，所述分析检测结果包括“驾驶员处于分心状态”与“驾驶员处于正常状态”。
步骤S4、根据所述分心检测结果确定是否进行预警，其中当且仅当所述判断结果为驾驶员处于分心状态时，生成预警指令，并将所述预警指令发送至提示单元以进行预警提示。
具体而言，步骤S4中预警提示的方式可以是警报提示，对应的提示单元为报警器。
本发明实施例提出了利用驾驶员行为作为分析检测的依据，考虑了驾驶员头部和手臂的动作行为，相比现有的只关注面部信息中的局部特征眼睛，而忽视了驾驶员的整体动态的分心识别方法而言，能够大大提高识别的响应速度，提高驾驶员分心状态检测的准确度，并在检测到驾驶员处于分心状态时，进行预警提醒，对驾驶员的分心行为进行纠正，提高驾驶安全性，有利于减少交通事故的发生。
可选地，在本实施例中，所述车辆周围环境信息包括前方道路口的车流量信息和人流量信息；所述车辆状态信息包括方向盘转角和车辆速度；
可选地，在本实施例步骤S1中，根据所述车辆周围环境信息以及车辆状态信息判定是否启动图像采集，包括：
当前方道路口车流量、前方道路口人流量、方向盘转角、车辆速度中的至少一个达到对应预设的阈值时，判定启动图像采集。
具体而言，预先设定车流量阈值、人流量阈值、方向盘偏转角度阈值以及车速阈值，当所述前方道路口车流量、前方道路口人流量、方向盘转角、车辆速度之中任一个达到对应阈值时，则成功触发，启动对驾驶员行为图像的采集动作，完成对驾驶员当前行为图像序列的采集。
可选地，在本实施例步骤S3中，根据提取得到的头部特征和手臂特征判定驾驶员是否处于分心状态，包括：
根据所述头部特征和手臂特征识别驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径是否异常，当驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径中任一个存在异常时，判断驾驶员是否处于分心状态。
具体地：
根据所述行为图像序列中每一帧图像的驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径，对每一帧图像进行编码赋值；其中，赋值的编码为四位二进制编码，第一位表示驾驶员行为异常，第二位表示头部偏转异常，第三位表示手臂弯曲程度及姿态异常，第四位表示头部与手臂之间的距离及路径异常；以及
根据所述行为图像序列中每一帧图像的所赋值的编码判断驾驶员是否处于分心状态。
具体而言，四位二进制编码中，第一位为粗粒度类识别编码，所有的不良示例图像帧的第一位均为1，后续三位分别对应：
“头部特征”的异常偏转方向及偏转时长，以编码1表示异常，0表示正常；
“手臂特征”的异常弯曲程度及姿态，以编码1表示异常，0表示正常；
“头部特征”与“手臂特征”两者间的异常距离和路径，以编码1表示异常，0表示正常。
具体而言，本实施例分心检测模型的训练过程如下步骤a1～a7：
步骤a1、采集个体驾驶员在驾驶过程中的规范驾驶行为和不良驾驶行为所对应的规范驾驶行为图像序列和不良驾驶行为图像序列，构成随机序列图像的训练用图像集；
步骤a2、对采集的训练用图像集进行图像预处理；包括：对图像上的“兴趣点区域”进行标记；并对标记了“兴趣点区域”的图像依次进行灰度化处理、图像增强、中值滤波以及归一化处理。
其中，对图像上的“兴趣点区域”进行标记具体是对图像上的驾驶员的“头部特征”、“手臂特征”进行标记，在后期的训练识别中，方便快速定位识别图像上的关键信息，通过“头部特征”的偏转方向及偏转时长，以及“手臂特征”的弯曲程度及姿态，以及“头部特征”与“手臂特征”两者间的距离和路径，可以识别出驾驶员是在正常驾驶，还是在玩手机、打电话或者喝水等等。
其中，对图像进行的灰度化处理、图像增强、中值滤波目的是削弱噪声、光线、拍摄角度等外界因素的影响，增强有效信息。中值滤波目的在于削弱孤立噪声，保护图像边缘信息，避免图像轮廓边缘噪声化造成的识别误差。归一化处理目的是减少图像因缩放、平移、分割、形变等一些几何变化造成的影响，保证图像上的“头部特征”与“手臂特征”不受几何变化产生相对位置的失实，方便后续对图像上的“兴趣点区域”上的特征更快地进行特征提取。
步骤a3、对预处理的训练用图像集进行驾驶员行为特征提取；包括：
3.1、对预处理后的图像进行灰度化，将RGB分量转换成灰度图像，转换公式为：
Gray＝0.3*R+0.59*G+0.11*B
其中，Gray为灰度图像，R、G、B分别为原图像的R、G、B分量；
3.2、对转化后的灰度图像进行伽马校正，将图像整体亮度提高或降低，校正表达式为：
Y(x，y)＝I(x，y)γ
其中，Y(x，y)为校正后的图像，I(x，y)为校正前的图像，γ＝0.3；
3.3、对经过颜色空间归一化后的图像，求取其梯度及梯度方向，分别在水平和垂直方向进行计算，梯度算子为：水平方向[-1、0、1]，垂直方向[-1、0、1]T，
其中：
Gx(x，y)＝I(x+1，y)-I(x-1，y)
Gy(x，y)＝I(x，y+1)-I(x，y-1)
Figure BDA0002743965090000111
Figure BDA0002743965090000112
3.4、重叠块直方图归一化，将图像均分为多个大小相同的细胞单元，将梯度方向划分为9个方向，每个方向的区间为[0°，20°]，其中，像素点的梯度大小表示该点的权值，当某个像素点的梯度方向在9个方向中的一个方向时，则该方向的区间直方图计数上就会加上该点的权值，然后将上下左右相邻的2x2个细胞单元组成一个连通区域的块整体，每个细胞单元包含9维特征向量，每个块整体的信息由4x9＝36维特征向量来表征；
3.5、对有重叠部分块整体的直方图进行归一化，将所有块整体的特征向量都组合起来，形成HOG特征描述符，用来表征整个图像，选取一幅图像中的一个窗口来进行特征提取。
步骤a4、将特征提取后获得的特征向量通过基于Libsvm库的SVM分类器进行训练和识别，获得粗粒度训练模型；
其中，基于Libsvm库的SVM分类器的分类决策函数为：
Figure BDA0002743965090000121
其中，(Xi，Yi)为第i个样本集的特征向量表达，其中，Xi为该样本集的特征向量，Yi为1或-1，m为样本集个数，β为拉格朗日乘子；K(x，x(i))为核函数，b为常数1。
步骤a5、将典型的不良驾驶行为图像进行标记特征标记，构成优化用图像集；
步骤a6、将优化用图像集输入粗粒度训练模型进行优化，迭代出细粒度的分心检测模型；
步骤a7、将采集的驾驶员当前的行为图像序列输入到优化后的细粒度的分心检测模型中进行分心识别。
示例性地，可以利用OpenCV来实现本实施例。
在OpenCV的安装路径下，以getFiles()来遍历步骤a3取得的训练用图像集文件夹下所有图像文件，getHeadPzYc()用来获取“头部特征”的异常偏转方向及偏转时长的图像和与其对应的Labels，该例程将Labels定为1，getHeadPzZc()用来获取“头部特征”的正常偏转方向及偏转时长的图像和与其对应的Labels，该例程将Labels定为0；
其中：getHeadPzYc()为“头部特征”的异常偏转方向及偏转时长的函数，getHeadPzZc()为“头部特征”的正常偏转方向及偏转时长的函数。
同理。getHandWqYc()用来获取“手臂特征”的异常弯曲程度及姿态的图像和与其对应的Labels，该例程将Labels定为1，getHandWqZc()用来获取“手臂特征”的正常弯曲程度及姿态的图像和与其对应的Labels，该例程将Labels定为0；
其中：getHandWqYc()为“手臂特征”的异常弯曲程度及姿态的函数，getHandWqZc()为“手臂特征”的正常弯曲程度及姿态的函数。
同理，getHeadHandYcJl()用来获取“头部特征”与“手臂特征”两者间的异常距离和路径的图像和与其对应的Labels，该例程将Labels定为1，getHeadHandZcJl()用来获取“手臂特征”的正常弯曲程度及姿态的图像和与其对应的Labels，该例程将Labels定为0；
其中：getHeadHandYcJl()为“头部特征”与“手臂特征”两者间的异常距离和路径的函数，getHeadHandZcJl()为“头部特征”与“手臂特征”两者间的异常距离和路径的函数。
将图像的头部特征和手臂特征写入到容器中，紧接着会将标签写入另一个容器中，并建立一一对应的映射关系。在主函数中，将getHeadPzYc()、getHeadPzZc()；getHandWqYc()、getHandWqZc()；getHeadHandYcJl()、getHeadHandZcJl()写好的包含特征的矩阵拷贝给trainingData，将包含标签的vector容器进行类型转换后拷贝到trainingLabels里，至此，数据准备工作完成，trainingData与trainingLabels就是要训练的数据。
其中，基于SVM分类器将具有典型不良驾驶行为图像的图像归为不良示例图像集，对不良示例图像集中的各具有不同不良驾驶行为的图像进行统一编码赋值，本实施例中以四位二进制编码作为赋值编码，每一位编码分别以0表示正常，1表示异常。即将各类典型不良驾驶行为图像构成的图像集统一归集，用作后续细粒度训练用的细粒度样本，即图像集为高度集中的不良驾驶行为图像，也即赋值编码中首位均为1的图像，即细粒度样本。
Opencv将SVM封装成CvSVM库，通过其中的svm.train()函数来完成粗粒度模型的训练，即完成上述的不良示例图像集中的各具有不同不良驾驶行为的图像的统一编码赋值。在完成了粗粒度模型训练后，再将优化用图像集迭代至粗粒度模型训练出细粒度的分心检测模型，即1100、1010、1001、1101、1110、1111四类分别对应不同不良驾驶行为的图像训练集。基于以上训练过程可知，当输入一幅图像的头部特征以及手臂特征时，能够基于训练学习得到的判断经验，根据头部特征和手臂特征判断是否存在行为异常，对应输出该图像的赋值编码。在识别出输入图像所携带的编码赋值为上述任一项时，即可准确地判定该当前输入的图像即为对应的一种不良驾驶行为明确的分心驾驶行为，可快速予以介入，在识别驾驶员当前的驾驶行为具有分心状态时，则发出警报，提醒驾驶员纠正其当前容易引起分心的行为，督促其保证驾驶的专注度。
可选地，在本实施例步骤S3中，所述提取所述行为图像序列各图像帧中驾驶员的头部特征和手臂特征，包括：
对所述行为图像序列进行预处理；
对预处理后的行为图像序列转换成灰度图像序列；
对所述灰度图像序列进行伽马校正；
对校正后的图像序列进行求取其梯度及梯度方向；
进行重叠块直方图归一化，将图像序列中的每一帧图像均分为多个大小相同的细胞单元，将梯度方向划分为9个方向，每个方向的区间为[0°,20°]，其中，像素点的梯度大小表示该像素点的权值，当某个像素点的梯度方向在9个方向中的一个方向时，则该梯度方向的区间直方图计数上加上该像素点的权值，将上下左右相邻的2×2个细胞单元组成一个连通区域的块整体，每个细胞单元包含9维特征向量，每个块整体的信息采用36维特征向量来表征；
对有重叠部分块整体的直方图进行归一化，将所有块整体的特征向量组合起来形成HOG特征描述符以用于表征整个图像，选取一幅图像中的一个窗口来进行特征提取得到对应的头部特征和手臂特征。
需说明的是，提取所述行为图像序列各图像帧中驾驶员的头部特征和手臂特征的内容与分心检测模型训练过程中的步骤a3相同，因此，相关内容可以参阅步骤a3获得，此处不再赘述。
参阅图2，本发明另一实施例提出一种用于驾驶员分心纠正的预警系统，包括：
图像采集触发单元1，用于获取当前的车辆周围环境信息以及车辆状态信息，并根据所述车辆周围环境信息以及车辆状态信息判定是否启动图像采集；
图像采集控制单元2，用于当所述图像采集触发单元1判定启动图像采集时，生成图像采集指令，并将所述图像采集指令发送至图像采集单元，以采集驾驶员当前的行为图像序列；
分心判断单元3，用于将所述行为图像序列输入到预先训练好的分心检测模型中，提取所述行为图像序列各图像帧中驾驶员的头部特征和手臂特征，根据提取得到的头部特征和手臂特征判定驾驶员是否处于分心状态，输出分心检测结果；以及
预警单元4，用于根据所述分心检测结果确定是否进行预警，其中当且仅当所述判断结果为驾驶员处于分心状态时，生成预警指令，并将所述预警指令发送至提示单元以进行预警提示。
可选地，所述车辆周围环境信息包括前方道路口的车流量信息和人流量信息；所述车辆状态信息包括方向盘转角和车辆速度；
所述图像采集触发单元2，具体用于：
当前方道路口车流量、前方道路口人流量、方向盘转角、车辆速度中的至少一个达到对应预设的阈值时，判定启动图像采集。
可选地，所述分心判断单元3，具体用于：
根据所述头部特征和手臂特征识别驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径是否异常，当驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径中任一个存在异常时，判断驾驶员是否处于分心状态。
具体地：根据所述行为图像序列中每一帧图像的驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径，对每一帧图像进行编码赋值；其中，赋值的编码为四位二进制编码，第一位表示驾驶员行为异常，第二位表示头部偏转异常，第三位表示手臂弯曲程度及姿态异常，第四位表示头部与手臂之间的距离及路径异常；以及
根据所述行为图像序列中每一帧图像的所赋值的编码判断驾驶员是否处于分心状态。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
需说明的是，上述实施例所述系统与上述实施例所述方法对应，因此，上述实施例所述系统未详述部分可以参阅上述实施例所述方法的内容得到，此处不再赘述。
并且，上述实施例所述驾驶员分心纠正的预警系统如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
本发明另一实施例提出一种计算机可读存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在的一个或多个设备执行根据第一方面实施例所述的用于驾驶员分心纠正的预警方法。
示例性地，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种用于驾驶员分心纠正的预警方法，其特征在于，包括：
获取当前的车辆周围环境信息以及车辆状态信息，并根据所述车辆周围环境信息以及车辆状态信息判定是否启动图像采集；
若判定启动图像采集，则生成图像采集指令，并将所述图像采集指令发送至图像采集单元，以采集驾驶员当前的行为图像序列；
将所述行为图像序列输入到预先训练好的分心检测模型中，提取所述行为图像序列各图像帧中驾驶员的头部特征和手臂特征，根据提取得到的头部特征和手臂特征判定驾驶员是否处于分心状态，输出分心检测结果；其中，所述根据提取得到的头部特征和手臂特征判定驾驶员是否处于分心状态，包括：根据所述行为图像序列中每一帧图像的驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径，对每一帧图像进行编码赋值，并根据每一帧图像进行编码赋值确定所述头部特征和手臂特征识别驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径是否异常，当驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径中任一个存在异常时，判断驾驶员是否处于分心状态；
根据所述分心检测结果确定是否进行预警，其中当且仅当判断结果为驾驶员处于分心状态时，生成预警指令，并将所述预警指令发送至提示单元以进行预警提示。
2.根据权利要求1所述的用于驾驶员分心纠正的预警方法，其特征在于，所述车辆周围环境信息包括前方道路口的车流量信息和人流量信息；所述车辆状态信息包括方向盘转角和车辆速度；
所述根据所述车辆周围环境信息以及车辆状态信息判定是否启动图像采集，包括：
当前方道路口车流量、前方道路口人流量、方向盘转角、车辆速度中的至少一个达到对应预设的阈值时，判定启动图像采集。
3.根据权利要求1所述的用于驾驶员分心纠正的预警方法，其特征在于，所述对每一帧图像进行编码赋值，包括：
赋值的编码为四位二进制编码，第一位表示驾驶员行为异常，第二位表示头部偏转异常，第三位表示手臂弯曲程度及姿态异常，第四位表示头部与手臂之间的距离及路径异常。
4.根据权利要求1所述的用于驾驶员分心纠正的预警方法，其特征在于，所述提取所述行为图像序列各图像帧中驾驶员的头部特征和手臂特征，包括：
对所述行为图像序列进行预处理；
对预处理后的行为图像序列转换成灰度图像序列；
对所述灰度图像序列进行伽马校正；
对校正后的图像序列进行求取其梯度及梯度方向；
进行重叠块直方图归一化，将图像序列中的每一帧图像均分为多个大小相同的细胞单元，将梯度方向划分为9个方向，每个方向的区间为[0°,20°]，其中，任一像素点的梯度大小表示该像素点的权值，当某个像素点的梯度方向在9个方向中的一个方向时，则该梯度方向的区间直方图计数上加上该像素点的权值，将上下左右相邻的2×2个细胞单元组成一个连通区域的块整体；
对有重叠部分块整体的直方图进行归一化，将所有块整体的特征向量组合起来形成HOG特征描述符以用于表征整个图像，并选取一幅图像中的一个窗口来进行特征提取得到对应的头部特征和手臂特征。
5.一种用于驾驶员分心纠正的预警系统，其特征在于，包括：
图像采集触发单元，用于获取当前的车辆周围环境信息以及车辆状态信息，并根据所述车辆周围环境信息以及车辆状态信息判定是否启动图像采集；
图像采集控制单元，用于当所述图像采集触发单元判定启动图像采集时，生成图像采集指令，并将所述图像采集指令发送至图像采集单元，以采集驾驶员当前的行为图像序列；
分心判断单元，用于将所述行为图像序列输入到预先训练好的分心检测模型中，提取所述行为图像序列各图像帧中驾驶员的头部特征和手臂特征，根据提取得到的头部特征和手臂特征判定驾驶员是否处于分心状态，输出分心检测结果；其中，所述分心判断单元根据所述行为图像序列中每一帧图像的驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径，对每一帧图像进行编码赋值，并根据每一帧图像进行编码赋值确定所述头部特征和手臂特征识别驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径是否异常，当驾驶员头部偏转方向及偏转时长、手臂弯曲程度及姿态、头部与手臂之间的距离及路径中任一个存在异常时，判断驾驶员是否处于分心状态；以及
预警单元，用于根据所述分心检测结果确定是否进行预警，其中当且仅当判断结果为驾驶员处于分心状态时，生成预警指令，并将所述预警指令发送至提示单元以进行预警提示。
6.根据权利要求5所述的用于驾驶员分心纠正的预警系统，其特征在于，所述车辆周围环境信息包括前方道路口的车流量信息和人流量信息；所述车辆状态信息包括方向盘转角和车辆速度；
所述图像采集触发单元，具体用于：
当前方道路口车流量、前方道路口人流量、方向盘转角、车辆速度中的至少一个达到对应预设的阈值时，判定启动图像采集。
7.根据权利要求5所述的用于驾驶员分心纠正的预警系统，其特征在于，所述分心判断单元对每一帧图像进行编码赋值，包括：
赋值的编码为四位二进制编码，第一位表示驾驶员行为异常，第二位表示头部偏转异常，第三位表示手臂弯曲程度及姿态异常，第四位表示头部与手臂之间的距离及路径异常。
8.一种计算机可读存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在的一个或多个设备执行如权利要求1至4中任意一项所述的用于驾驶员分心纠正的预警方法。
CN202011160050.8A 2020-10-27 2020-10-27 一种用于驾驶员分心纠正的预警方法及其系统、存储介质 Active CN112277957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011160050.8A CN112277957B (zh) 2020-10-27 2020-10-27 一种用于驾驶员分心纠正的预警方法及其系统、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011160050.8A CN112277957B (zh) 2020-10-27 2020-10-27 一种用于驾驶员分心纠正的预警方法及其系统、存储介质

Publications (2)

Publication Number Publication Date
CN112277957A CN112277957A (zh) 2021-01-29
CN112277957B true CN112277957B (zh) 2022-06-24

Family

ID=74373294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011160050.8A Active CN112277957B (zh) 2020-10-27 2020-10-27 一种用于驾驶员分心纠正的预警方法及其系统、存储介质

Country Status (1)

Country Link
CN (1) CN112277957B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113060144A (zh) * 2021-03-12 2021-07-02 上海商汤临港智能科技有限公司 分心提醒方法及装置、电子设备和存储介质
CN114155555B (zh) * 2021-12-02 2022-06-10 北京中科智易科技有限公司 人体行为人工智能判断系统和方法
CN114267206A (zh) * 2021-12-28 2022-04-01 上汽大众汽车有限公司 安全报警方法、安全报警装置、安全报警系统及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
CN106874831A (zh) * 2016-12-14 2017-06-20 财团法人车辆研究测试中心 驾驶行为侦测方法及其系统
CN110097586A (zh) * 2019-04-30 2019-08-06 青岛海信网络科技股份有限公司 一种人脸检测追踪方法及装置
CN110648397A (zh) * 2019-09-18 2020-01-03 Oppo广东移动通信有限公司 场景地图生成方法、装置、存储介质及电子设备
CN111062300A (zh) * 2019-12-11 2020-04-24 深圳市赛梅斯凯科技有限公司 驾驶状态检测方法、装置、设备及计算机可读存储介质
CN111079475A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
FR3089328A1 (fr) * 2018-12-03 2020-06-05 Valeo Comfort And Driving Assistance Dispositif et procédé de détection de la distraction d’un conducteur d’un véhicule

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6812952B2 (ja) * 2017-11-15 2021-01-13 オムロン株式会社 脇見判定装置、脇見判定方法、およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
CN106874831A (zh) * 2016-12-14 2017-06-20 财团法人车辆研究测试中心 驾驶行为侦测方法及其系统
CN111079475A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
FR3089328A1 (fr) * 2018-12-03 2020-06-05 Valeo Comfort And Driving Assistance Dispositif et procédé de détection de la distraction d’un conducteur d’un véhicule
CN110097586A (zh) * 2019-04-30 2019-08-06 青岛海信网络科技股份有限公司 一种人脸检测追踪方法及装置
CN110648397A (zh) * 2019-09-18 2020-01-03 Oppo广东移动通信有限公司 场景地图生成方法、装置、存储介质及电子设备
CN111062300A (zh) * 2019-12-11 2020-04-24 深圳市赛梅斯凯科技有限公司 驾驶状态检测方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN112277957A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN112277957B (zh) 一种用于驾驶员分心纠正的预警方法及其系统、存储介质
CN111274881B (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
CN110532976B (zh) 基于机器学习和多特征融合的疲劳驾驶检测方法及系统
CN109460699B (zh) 一种基于深度学习的驾驶员安全带佩戴识别方法
US10417486B2 (en) Driver behavior monitoring systems and methods for driver behavior monitoring
US9881221B2 (en) Method and system for estimating gaze direction of vehicle drivers
JP5127392B2 (ja) 分類境界確定方法及び分類境界確定装置
WO2020048265A1 (zh) 多级目标分类及交通标志检测方法和装置、设备、介质
CN109460704B (zh) 一种基于深度学习的疲劳检测方法、系统和计算机设备
Dozza et al. Recognising safety critical events: Can automatic video processing improve naturalistic data analyses?
CN110826370B (zh) 车内人员的身份识别方法、装置、车辆及存储介质
Yuen et al. Looking at faces in a vehicle: A deep CNN based approach and evaluation
CN110866427A (zh) 一种车辆行为检测方法及装置
CN111434553B (zh) 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置
CN110490171B (zh) 一种危险姿态识别方法、装置、计算机设备及存储介质
WO2018215861A1 (en) System and method for pedestrian detection
WO2022161139A1 (zh) 行驶朝向检测方法、装置、计算机设备及存储介质
CN115331205A (zh) 一种云边协同的驾驶员疲劳检测系统
JP2023542058A (ja) 相補的分類器を使用して異常を検出するための異常検出器
KR20160067631A (ko) 차량번호판 인식방법
CN116729254A (zh) 基于俯瞰图像的公交驾驶舱安全驾驶行为监测系统
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN114758326A (zh) 一种交通岗位工作行为状态实时检测系统
KR20230099590A (ko) 코드인식장치 및 이를 이용한 문자코드 추출 방법
CN112329566A (zh) 一种精准感知机动车驾驶人员头部动作的视觉感知系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant