CN113449678A - 驾驶状态的检测方法、装置、计算机设备及存储介质 - Google Patents
驾驶状态的检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113449678A CN113449678A CN202110795185.XA CN202110795185A CN113449678A CN 113449678 A CN113449678 A CN 113449678A CN 202110795185 A CN202110795185 A CN 202110795185A CN 113449678 A CN113449678 A CN 113449678A
- Authority
- CN
- China
- Prior art keywords
- driving state
- data
- determining
- time period
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000006399 behavior Effects 0.000 claims description 68
- 206010048232 Yawning Diseases 0.000 claims description 15
- 241001282135 Poromitra oscitans Species 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000004397 blinking Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012417 linear regression Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 101000802779 Rattus norvegicus Alpha-1-macroglobulin Proteins 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种驾驶状态的检测方法、装置、计算机设备及存储介质。所述方法包括：获取设定时间段内的人脸关键点，并确定用户脸部数据；获取所述时间段内的车辆控制行为数据；根据所述用户脸部数据和所述车辆控制行为数据，确定驾驶状态；根据所述驾驶状态，确定并执行对应的处理任务。本发明实施例可以降低驾驶状态检测成本，提高驾驶状态检测准确率。
Description
技术领域
本发明实施例涉及数据处理领域，尤其涉及一种驾驶状态的检测方法、装置、计算机设备及存储介质。
背景技术
在高速公路快速发展的时代，疲劳驾驶是造成交通事故的主要元凶之一。随着人们安全意识和科学技术的提高，疲劳驾驶检测手段应运而生。
目前所知的疲劳驾驶检测方法主要有基于生理信号的疲劳检测方法和基于行车信息的疲劳检测方法。基于生理信号的疲劳检测方法通过检测包括脑电波、心率等生理信号来判别驾驶员注意力对否集中，从而进行疲劳检测。
上述方法中，基于生理信号的疲劳检测方法需要高精度的检测设备，检测成本较高。
发明内容
本发明实施例提供一种驾驶状态的检测方法、装置、计算机设备及存储介质，可以降低驾驶状态检测成本，提高驾驶状态检测准确率。
第一方面，本发明实施例提供了一种驾驶状态的检测方法，包括：
获取设定时间段内的人脸关键点，并确定用户脸部数据；
获取所述时间段内的车辆控制行为数据；
根据所述用户脸部数据和所述车辆控制行为数据，确定驾驶状态；
根据所述驾驶状态，确定并执行对应的处理任务。
第二方面，本发明实施例还提供了一种驾驶状态的检测装置，包括：
用户脸部数据获取模块，用于获取设定时间段内的人脸关键点，并确定用户脸部数据；
车辆控制行为数据获取模块，用于获取所述时间段内的车辆控制行为数据；
驾驶状态确定模块，用于根据所述用户脸部数据和所述车辆控制行为数据，确定驾驶状态；
处理任务执行模块，用于根据所述驾驶状态，确定并执行对应的处理任务。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本发明实施例中任一所述的驾驶状态的检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的驾驶状态的检测方法。
本发明实施例通过获取人脸关键点，确定用户脸部数据，以及统计车辆控制行为数据，可以充分根据用户脸部状态和车辆的行驶状态，检测用户的驾驶状态，解决了基于生理信号的疲劳检测导致成本高的问题，可以通过图像处理和车辆上传感器即可检测用户脸部数据和车辆控制行为数据，降低检测成本，同时通过多维度数据，检测驾驶状态，提高驾驶状态检测准确率。
附图说明
图1是本发明实施例一中的一种驾驶状态的检测方法的流程图；
图2a是本发明实施例二中的一种驾驶状态的检测方法的流程图；
图2b是本发明实施例二中的一种公式参数计算的流程图；
图2c是本发明实施例二中的一种驾驶状态的检测方法的流程图；
图3是本发明实施例三中的一种驾驶状态的检测装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的一种驾驶状态的检测方法的流程图，本实施例可适用于检测车辆内驾驶员的驾驶状态的情况，该方法可以由本发明实施例提供的驾驶状态的检测装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成计算机设备中，例如车载终端或手机等。如图1所示，本实施例的方法具体包括：
S110，获取设定时间段内的人脸关键点，并确定用户脸部数据。
人脸关键点为车辆内驾驶员的人脸关键点。设定时间段内可以是指统计时长。示例性的，设定时间段为10秒或5分钟。通常需要检测用户连续变化的脸部状态，需要连续统计设定时间段内的人脸关键点的变化数据。用户脸部数据用于与车辆控制行为数据共同配合确定驾驶状态。用户脸部数据可以是指描述用户脸部上与驾驶状态关联的数据。示例性的，用户脸部数据根据眨眼频率和/或打呵欠频率确定。
具体的，车辆中配置有采集车辆内驾驶员的人脸图像的摄像设备。通过该摄像设备，可以在设定时间段内，多次对驾驶员的人脸进行图像采集，或者直接对驾驶员的人脸进行视频采集。采集的图像的数量或视频中包括的图像帧的数量即为帧数。在每个人脸图像中，可以确定人脸图像，并进行人脸对齐，检测出人脸关键点。示例性的，可以通过利用使用Viola-Jones人脸检测算法做人脸定位，使用人脸对齐算法获取人脸关键点(如48个关键点)的位置。从48个关键点中，筛选出眼睛关键点，并根据时间连续的多个图像中眼睛关键点的变化，计算眨眼睛频率，以及筛选出嘴巴关键点，并根据时间连续的多个图像中嘴巴关键点的变化，计算打呵欠行为次数。
可选的，所述确定用户脸部数据，包括：根据所述时间段内的人脸关键点，计算眼睛闭合帧数和打呵欠行为次数；统计所述时间段内人脸关键点的采集帧数；根据所述眼睛闭合帧数和所述打呵欠行为次数，和所述采集帧数，计算度量疲劳的物理量，并确定为用户脸部数据。
根据时间段内采集到的时间连续的多个图像中的人脸关键点，计算眼睛闭合帧数和打呵欠行为次数。统计设定时间段内人脸关键点的采集帧数，是指时间段内采集的图像的数量。
根据眨眼睛频率和打呵欠的频率计算度量疲劳/瞌睡的物理量(Percentage ofEyeIid CIosure over the PupiI,over Time，PERCLOS)的值，PERCLOS值的计算公式如下：
示例性的，在图像中，可以通过左眼眼尾关键点的位置、左眼眼角关键点的位置、左眼上眼框中心点的位置和左眼下眼框中心点的位置以及右眼眼角关键点的位置、右眼眼尾关键点的位置、右眼上眼框中心点的位置和右眼下眼框中心点的位置分别计算左眼和右眼的闭合程度，并根据时间连续的多个图像中，眼睛闭合程度由大变小再变大，且最小闭合程度小于设定闭合阈值时，确定一次眨眼行为，并累计，将次数累计结果与时间段时长的比值，确定为眨眼频率；并通过左嘴角关键点的位置、右嘴角关键点的位置、嘴部上唇中心点的位置和嘴部下唇中心点的位置计算嘴部的张开程度，根据时间连续的多个图像中，嘴部的张开程度由小变大再变小，且最大张开程度大于设定张开阈值时，确定一次打呵欠行为，并累计，将次数累计结果与时间段时长的比值，确定为打呵欠频率。
通过眼睛闭合帧数、打呵欠行为次数和采集帧数，计算度量疲劳的物理练个，并确定用户脸部数据，可以综合考虑眼睛闭合和打呵欠的行为，并确定度量疲劳的行为频率，以作为驾驶状态的确定因素，可以从眼睛和嘴巴两个维度最终检测驾驶状态，提高驾驶状态的检测准确率。
S120，获取所述时间段内的车辆控制行为数据。
车辆控制行为数据用于与用户脸部数据共同配合，确定驾驶状态。车辆控制行为数据可以是指描述车辆内驾驶员对车辆的控制行为。
S130，根据所述用户脸部数据和所述车辆控制行为数据，确定驾驶状态。
可以根据用户脸部数据和车辆控制行为数据，并进行综合考虑，计算驾驶状态值，并根据预先配置的驾驶状态值与驾驶状态的对应关系，确定计算得到的驾驶状态值对应的驾驶状态。示例性的，根据用户脸部数据和车辆控制行为数据，计算驾驶状态值，可以是通过乘积、指数乘积或加权和等计算方式计算得到。
S140，根据所述驾驶状态，确定并执行对应的处理任务。
处理任务可以是指与驾驶状态对应的任务。处理任务可以为空。在驾驶状态为非疲劳驾驶状态时，处理任务可以是在车载终端的显示屏幕上生成“驾驶状态良好，继续保持”的文本提示用户，或通过麦克风播放“驾驶状态良好，继续保持”语音等，或处理任务为空。在驾驶状态为疲劳驾驶状态时，处理任务可以是在车载终端的显示屏幕上生成“驾驶状态不好，请休息”的文本提示用户，或播放“驾驶状态不好，请休息”语音等。
可选的，所述驾驶状态为疲劳驾驶状态，所述根据所述驾驶状态，确定并执行对应的处理任务，包括：通过提示模块，对驾驶员进行疲劳状态预警；和/或通过辅助驾驶模块控制车辆进行路边停靠。
提示模块用于生成疲劳状态信息，并向用户预警。疲劳状态预警，用于提示用户疲劳状态。示例性的，提示模块可以包括显示屏幕或麦克风等。辅助驾驶模块用于辅助用户自动驾驶车辆。控制车辆路边停靠，用于提示驾驶员进行休息，或者，更换驾驶员。
通过在疲劳状态下，通过提示模块，向用户预警，和/或通过辅助驾驶模块控制车辆路边停靠，可以准确根据疲劳状态进行车辆的控制处理，及时向用户反馈疲劳状态，以及及时控制车辆，提高车辆行驶安全性。
本发明实施例通过获取人脸关键点，确定用户脸部数据，以及统计车辆控制行为数据，可以充分根据用户脸部状态和车辆的行驶状态，检测用户的驾驶状态，解决了基于生理信号的疲劳检测导致成本高的问题，可以通过图像处理和车辆上传感器即可检测用户脸部数据和车辆控制行为数据，降低检测成本，同时通过多维度数据，检测驾驶状态，提高驾驶状态检测准确率。
实施例二
图2a为本发明实施例二中的一种驾驶状态的检测方法的流程图，本实施例以上述实施例为基础进行具体化。将车辆控制行为数据，具体化为下述至少一项：道路偏移数据、方向盘转动数据、油门深度数据和刹车深度数据。
本实施例的方法具体包括：
S210，获取设定时间段内的人脸关键点，并确定用户脸部数据。
本发明实施例中未详细介绍的描述可以参考上述实施例的描述。
S220，获取所述时间段内的车辆控制行为数据；所述车辆控制行为数据包括下述至少一项：道路偏移数据、方向盘转动数据、油门深度数据和刹车深度数据。
道路偏移数据用于描述车辆偏移正常道路的程度。方向盘转动数据用于描述车辆转向的行为。油门深度数据用于描述车辆加速行驶的行为，刹车深度数据用于描述车辆减速行驶的行为。
可选的，所述获取所述时间段内的车辆控制行为数据，包括：获取所述时间段内的车辆压线时长，并计算与所述时间段时长的比值，确定为道路偏移数据；在所述时间段内，按照预设转动统计次数，统计方向盘转动角度，并累加；计算各所述方向盘转动角度的累加之和，与所述转动统计次数的比值，确定为方向盘转动数据；在所述时间段内，按照预设油门统计次数，统计油门踩踏距离，并累加；计算各所述油门踩踏距离的累加之和，与所述油门统计次数的比值，确定为油门深度数据；在所述时间段内，按照预设刹车统计次数，统计刹车踩踏距离，并累加；计算各所述刹车踩踏距离的累加之和，与所述刹车统计次数的比值，确定为刹车深度数据。
车辆压线时长是指，车辆在行驶的过程中，车辆的车身与标志线重合的时长。其中，车辆压线的行为可以通过行车记录仪等摄像设备采集图像，检测图像中车身与标志线是否重合确定。通常，车辆在行驶过程中会避免压线，同时变道操作仅会引起短暂的车辆压线行为，而在驾驶员疲劳时，注意力不集中，导致车辆长时间压线，从而，车辆压线时长可用于描述驾驶员的驾驶状态。示例性的，检测到连续多张图像检测到车身与标志线重合，将时间次序最早的图像对应的时间点与时序次序最晚的图像对应的时间点之间的时长，确定为车辆压线时长。在时间段内，可以检测多组连续多张图像检测到车身与标志线重合，每组可以确定一个车辆压线时长，可以计算各组的车辆压线时长之和，得到时间段内的车辆压线时长，其中，每组可以将该组中时间次序最早的图像对应的时间点与时序次序最晚的图像之间的时长，确定为该组对应的车辆压线时长。计算时间段内的车辆压线时长与时间段时长的比值，确定为该时间段的道路偏移数据。
方向盘转动角度是指，车辆在行驶过程中，车辆的方向盘转变的角度。其中，方向盘转动的角度，可以通过车辆中的传感器检测得到。通常，车辆在行驶过程中，方向盘会频繁转动，在驾驶员疲劳时，注意力不集中，导致车辆长时间不改变方向，从而，方向盘转动角度可用于描述驾驶员的驾驶状态。通常，间隔指定周期，检测一次方向盘转动角度，在时间段内检测的次数为转动统计次数，转动统计次数与指定周期对应。转动统计次数为时间段内检测到的方向盘转动角度的数量，按照转动统计次数，逐一累加各次的方向盘转动角度，其中，得到的累加和为各次的方向盘转动角度的绝对值之和，其中，可以设定某一方向的角度为正值，相反方向的角度为负值，例如，顺时针方向的角度为正值，逆时针方向的角度为负值；或者，顺时针方向的角度为正值，逆时针方向的角度为负值。计算时间段内检测到的各方向盘转动角度的累加之和，与该时间段内检测到的转动统计次数的比值，确定为该时间段的方向盘转动数据。
油门踩踏距离是指，车辆在行驶过程中，油门踏板被踩踏的长度。其中，油门踩踏距离，可以通过车辆中的传感器检测得到。通常，车辆在行驶过程中，油门踩踏距离会频繁变动，在驾驶员疲劳时，注意力不集中，导致车辆长时间匀速不加速，从而，油门踩踏距离可用于描述驾驶员的驾驶状态。通常，间隔指定周期，检测一次油门踩踏距离，在时间段内检测的次数为油门统计次数，时间段内检测到的油门统计次数与指定周期对应。油门统计次数为时间段内检测到的油门踩踏距离的数量，按照油门统计次数，逐一累加各次的油门踩踏距离，累加和即为各次的油门踩踏距离的绝对值之和。计算时间段内检测到的各油门踩踏距离的累加之和，与该时间段内检测到的油门统计次数的比值，确定为该时间段的油门深度数据。
刹车踩踏距离是指，车辆在行驶过程中，刹车踏板被踩踏的长度。其中，刹车踩踏距离可以通过车辆中的传感器检测得到。通常，车辆在行驶过程中，刹车踩踏距离会频繁变动，在驾驶员疲劳时，注意力不集中，导致车辆长时间匀速不减速，从而，刹车踩踏距离可用于描述驾驶员的驾驶状态。通常，间隔指定周期，检测一次刹车踩踏距离，在时间段内检测的次数为刹车统计次数，刹车统计次数与指定周期对应。刹车统计次数为时间段内检测到的刹车踩踏距离的数量，按照刹车统计次数，逐一累加各次的刹车踩踏距离，累加和即为各次的刹车踩踏距离的绝对值之和。计算时间段内检测到的各刹车踩踏距离的累加之和，与该时间段内检测到的刹车统计次数的比值，确定为该时间段的刹车深度数据。
通过针对多维车辆控制行为，并设置相应的计算方法，可以精准测量各维度车辆控制行为的行为数据，从而精准确定驾驶状态。
S230，根据所述用户脸部数据和所述车辆控制行为数据，确定驾驶状态。
可选的，所述根据所述用户脸部数据和所述车辆控制行为数据，确定驾驶状态，包括：基于如下公式，计算驾驶状态值；
其中，x1为用户脸部数据，xi(i大于等于2)为车辆控制行为数据；aj为参数，其中，j＝0、1、i，y为疲劳值，Y为驾驶状态值；对所述驾驶状态值和预设状态阈值进行比较，并根据比较结果，确定驾驶状态。
疲劳值用于描述综合驾驶员的驾驶行为。驾驶状态值用于描述驾驶员的驾驶状态。驾驶状态与疲劳值成正比，驾驶状态值为大于0，且小于1的值。通常，用户脸部数据对驾驶状态的代表性较高，即用户脸部数据对驾驶状态的贡献程度较大，可以在驾驶状态值中，增加用户脸部数据的比重。
状态阈值用于确定驾驶状态。比较结果为驾驶状态值和状态阈值的数值比较结果。示例性的，状态阈值为0.5，Y大于0.5为疲劳状态，小于等于0.5为非疲劳状态。
在测试过程中，传统单一PERCLOS算法误检率在8％左右，在恶劣情况下(驾驶员眼睛小和/或光线强等情况)，误检率达到15％。而使用本公式之后，误检率下降至4％，在恶劣情况下，误检率达到8％，明显降低了误检率，同时，提高了驾驶状态的检测准确率。
通过上述公式，综合考虑多维度疲劳因素，并增加贡献程度较高的用户脸部数据在疲劳值计算公式中的权重，兼顾多维度检测，同时增加贡献程度高的因素权重，提高驾驶状态的检测准确率。
可选的，在基于如下公式，计算驾驶状态值之前，还包括：获取驾驶状态样本集合，所述驾驶状态样本包括：疲劳驾驶状态样本和非疲劳驾驶状态样本；基于梯度下降法，根据所述驾驶状态样本集合，计算各所述参数。
疲劳驾驶状态样本包括疲劳状态下的用户脸部数据和疲劳状态下的车辆控制行为数据；非疲劳驾驶状态样本包括非疲劳状态下的用户脸部数据和非疲劳状态下的车辆控制行为数据，其中，车辆控制行为数据包括道路偏移数据、方向盘转动数据、油门深度数据和刹车深度数据。
将各样本代入到上述公式中，从而公式中，参数aj为未知量，可以通过梯度下降法，计算各公式参数aj。
其中，梯度下降法是指，目的是通过迭代找到目标函数的最小值，或者收敛到最小值。在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向。
梯度下降法的计算过程：先决条件：确认公式的假设函数和损失函数，对于线性回归，假设函数hθ(x1,x2,…xn)＝θ0+θ1x1+…+θnxn的矩阵表达方式为：hθ(X)＝Xθ，其中，假设函数hθ(X)为mx1的向量，θ为(n+1)x1的向量，里面有n+1个代数法的模型参数。X为mx(n+1)维的矩阵。m代表样本的个数，n+1代表样本的特征数。损失函数的表达式为：J(θ)＝12(Xθ-Y)T(Xθ-Y),其中Y是样本的输出向量，维度为mx1。算法相关参数初始化：θ向量可以初始化为默认值，或者调优后的值。算法终止距离ε，可以初始化为0，步长α可以初始化为1，。算法过程：1)确定当前位置的损失函数的梯度，对于θ向量，其梯度表达式如下：
2)用步长乘以损失函数的梯度，得到当前位置下降的距离。3)确定θ向量里面的每个值，梯度下降的距离都小于ε，如果小于ε则算法终止，当前θ向量即为最终结果，否则进入下一步。4)更新θ向量，其更新表达式如下：
更新完毕后继续转入步骤1)。
下面用线性回归的例子来具体描述梯度下降。假设样本是(x(0)1,x(0)2,...x(0)n,y0),(x(1)1,x(1)2,...x(1)n,y1),...(x(m)1,x(m)2,...x(m)n,ym)(x1(0),x2(0),...xn(0),y0),(x1(1),x2(1),...xn(1),y1),...(x1(m),x2(m),...xn(m),ym),损失函数如前面先决条件所述：
J(θ0,θ1...,θn)＝12m∑j＝0m(hθ(x(j)0,x(j)1,...x(j)n)-yj)2J(θ0,θ1...,θn)
＝12m∑j＝0m(hθ(x0(j),x1(j),...xn(j))-yj)2。
则在算法过程步骤1中对于θiθi的偏导数计算如下：
由于样本中没有x0x0上式中令所有的xj0x0j为1。
步骤4中θiθi的更新表达式如下：
θi＝θi-α1m∑j
＝0m(hθ(x(j)0,x(j)1,...xjn)-yj)x(j)iθi＝θi-α1m∑j
＝0m(hθ(x0(j),x1(j),...xnj)-yj)xi(j)
从这个例子可以看出当前点的梯度方向是由所有的样本决定的，加1m1m是为了好理解。由于步长也为常数，相应的乘积也为常数，所以这里α1mα1m可以用一个常数表示。
通过梯度下降法可以准确计算出公式，从而使公式拟合出更准确的疲劳值，提高疲劳值的检测准确率，从而提高驾驶状态的检测准确率。
在一个具体的例子中，参数的计算过程如图2b所示，根据采集的视频，形成视频样本数据，并分别获取用户脸部数据、道路偏移数据、方向盘转动数据、油门深度数据和刹车深度数据，并计算疲劳值y，计算驾驶状态值Y，并计算驾驶状态值Y与状态阈值的比较结果，确定驾驶状态，根据驾驶状态的真实结果，更新公式中参数。其中，y、Y和比较结果中都包含公式参数未知量。
在公式参数迭代训练完成之后，应用过程如图2c所示，根据采集的视频，形成视频数据，并分别获取用户脸部数据、道路偏移数据、方向盘转动数据、油门深度数据和刹车深度数据，并计算疲劳值y，计算驾驶状态值Y，并计算驾驶状态值Y与状态阈值的比较结果，确定驾驶状态。
S240，根据所述驾驶状态，确定并执行对应的处理任务。
本发明实施例通过配置车辆控制行为数据包括多个维度，可以增加车辆控制行为数据的覆盖范围，提高车辆控制行为数据表征驾驶状态的代表性，以便从多个维度评估驾驶状态，提高驾驶状态的准确率。
实施例三
图3为本发明实施例三中的一种驾驶状态的检测装置的示意图。实施例四是实现本发明上述实施例提供的驾驶状态的检测方法的相应装置，该装置可采用软件和/或硬件的方式实现，并一般可集成计算机设备中。
相应的，本实施例的装置可以包括：
用户脸部数据获取模块310，用于获取设定时间段内的人脸关键点，并确定用户脸部数据；
车辆控制行为数据获取模块320，用于获取所述时间段内的车辆控制行为数据；
驾驶状态确定模块330，用于根据所述用户脸部数据和所述车辆控制行为数据，确定驾驶状态；
处理任务执行模块340，用于根据所述驾驶状态，确定并执行对应的处理任务。
本发明实施例通过获取人脸关键点，确定用户脸部数据，以及统计车辆控制行为数据，可以充分根据用户脸部状态和车辆的行驶状态，检测用户的驾驶状态，解决了基于生理信号的疲劳检测导致成本高的问题，可以通过图像处理和车辆上传感器即可检测用户脸部数据和车辆控制行为数据，降低检测成本，同时通过多维度数据，检测驾驶状态，提高驾驶状态检测准确率。
进一步的，所述用户脸部数据获取模块310，具体用于：根据所述时间段内的人脸关键点，计算眼睛闭合帧数和打呵欠行为次数；统计所述时间段内人脸关键点的采集帧数；根据所述眼睛闭合帧数和所述打呵欠行为次数，和所述采集帧数，计算度量疲劳的物理量，并确定为用户脸部数据。
进一步的，所述车辆控制行为数据包括下述至少一项：道路偏移数据、方向盘转动数据、油门深度数据和刹车深度数据。
进一步的，所述车辆控制行为数据获取模块320，具体用于：获取所述时间段内的车辆压线时长，并计算与所述时间段时长的比值，确定为道路偏移数据；在所述时间段内，按照预设转动统计次数，统计方向盘转动角度，并累加；计算各所述方向盘转动角度的累加之和，与所述转动统计次数的比值，确定为方向盘转动数据；在所述时间段内，按照预设油门统计次数，统计油门踩踏距离，并累加；计算各所述油门踩踏距离的累加之和，与所述油门统计次数的比值，确定为油门深度数据；在所述时间段内，按照预设刹车统计次数，统计刹车踩踏距离，并累加；计算各所述刹车踩踏距离的累加之和，与所述刹车统计次数的比值，确定为刹车深度数据。
进一步的，所述驾驶状态确定模块330，具体用于：
基于如下公式，计算驾驶状态值；
其中，x1为用户脸部数据，xi(i大于等于2)为车辆控制行为数据；aj为参数，其中，j＝0、1、i，y为疲劳值，Y为驾驶状态值；对所述驾驶状态值和预设状态阈值进行比较，并根据比较结果，确定驾驶状态。
进一步的，所述驾驶状态的检测装置，还包括：公式参数计算模块，用于在基于如下公式，计算驾驶状态值之前，获取驾驶状态样本集合，所述驾驶状态样本包括：疲劳驾驶状态样本和非疲劳驾驶状态样本；基于梯度下降法，根据所述驾驶状态样本集合，计算各所述参数。
进一步的，所述驾驶状态为疲劳驾驶状态，所述处理任务执行模块340，具体用于：通过提示模块，对驾驶员进行疲劳状态预警；和/或通过辅助驾驶模块控制车辆进行路边停靠。
上述装置可执行本发明实施例所提供的方法，具备执行方法相应的功能组件和有益效果。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。计算机设备12可以是挂接在总线上的设备。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(PerIPheral Component Interconnect，PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序组件，这些程序组件被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序组件42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序组件42包括但不限于操作系统、一个或者多个应用程序、其它程序组件以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序组件42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它组件通信。应当明白，尽管图4中未示出，可以结合计算机设备12使用其它硬件和/或软件组件，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列(Redundant Arrays of Inexpensive Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的方法。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的驾驶状态的检测方法：
也即，该程序被处理器执行时实现：获取设定时间段内的人脸关键点，并确定用户脸部数据；获取所述时间段内的车辆控制行为数据；根据所述用户脸部数据和所述车辆控制行为数据，确定驾驶状态；根据所述驾驶状态，确定并执行对应的处理任务。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read OnlyMemory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN或WAN——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种驾驶状态的检测方法，其特征在于，包括：
获取设定时间段内的人脸关键点，并确定用户脸部数据；
获取所述时间段内的车辆控制行为数据；
根据所述用户脸部数据和所述车辆控制行为数据，确定驾驶状态；
根据所述驾驶状态，确定并执行对应的处理任务。
2.根据权利要求1所述的方法，其特征在于，所述确定用户脸部数据，包括：
根据所述时间段内的人脸关键点，计算眼睛闭合帧数和打呵欠行为次数；
统计所述时间段内人脸关键点的采集帧数；
根据所述眼睛闭合帧数和所述打呵欠行为次数，和所述采集帧数，计算度量疲劳的物理量，并确定为用户脸部数据。
3.根据权利要求1所述的方法，其特征在于，所述车辆控制行为数据包括下述至少一项：道路偏移数据、方向盘转动数据、油门深度数据和刹车深度数据。
4.根据权利要求3所述的方法，其特征在于，所述获取所述时间段内的车辆控制行为数据，包括：
获取所述时间段内的车辆压线时长，并计算与所述时间段时长的比值，确定为道路偏移数据；
在所述时间段内，按照预设转动统计次数，统计方向盘转动角度，并累加；
计算各所述方向盘转动角度的累加之和，与所述转动统计次数的比值，确定为方向盘转动数据；
在所述时间段内，按照预设油门统计次数，统计油门踩踏距离，并累加；
计算各所述油门踩踏距离的累加之和，与所述油门统计次数的比值，确定为油门深度数据；
在所述时间段内，按照预设刹车统计次数，统计刹车踩踏距离，并累加；
计算各所述刹车踩踏距离的累加之和，与所述刹车统计次数的比值，确定为刹车深度数据。
5.根据权利要求1所述的方法，其特征在于，所述根据所述用户脸部数据和所述车辆控制行为数据，确定驾驶状态，包括：
基于如下公式，计算驾驶状态值；
其中，x1为用户脸部数据，xi(i大于等于2)为车辆控制行为数据；aj为参数，其中，j＝0、1、i，y为疲劳值，Y为驾驶状态值；
对所述驾驶状态值和预设状态阈值进行比较，并根据比较结果，确定驾驶状态。
6.根据权利要求5所述的方法，其特征在于，在基于如下公式，计算驾驶状态值之前，还包括：
获取驾驶状态样本集合，所述驾驶状态样本包括：疲劳驾驶状态样本和非疲劳驾驶状态样本；
基于梯度下降法，根据所述驾驶状态样本集合，计算各所述参数。
7.根据权利要求1所述的方法，其特征在于，所述驾驶状态为疲劳驾驶状态，
所述根据所述驾驶状态，确定并执行对应的处理任务，包括：
通过提示模块，对驾驶员进行疲劳状态预警；和/或
通过辅助驾驶模块控制车辆进行路边停靠。
8.一种驾驶状态的检测装置，其特征在于，包括：
用户脸部数据获取模块，用于获取设定时间段内的人脸关键点，并确定用户脸部数据；
车辆控制行为数据获取模块，用于获取所述时间段内的车辆控制行为数据；
驾驶状态确定模块，用于根据所述用户脸部数据和所述车辆控制行为数据，确定驾驶状态；
处理任务执行模块，用于根据所述驾驶状态，确定并执行对应的处理任务。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的驾驶状态的检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的驾驶状态的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795185.XA CN113449678A (zh) | 2021-07-14 | 2021-07-14 | 驾驶状态的检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795185.XA CN113449678A (zh) | 2021-07-14 | 2021-07-14 | 驾驶状态的检测方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113449678A true CN113449678A (zh) | 2021-09-28 |
Family
ID=77816186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110795185.XA Pending CN113449678A (zh) | 2021-07-14 | 2021-07-14 | 驾驶状态的检测方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113449678A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105096528A (zh) * | 2015-08-05 | 2015-11-25 | 广州云从信息科技有限公司 | 一种疲劳驾驶检测方法及系统 |
| CN105956548A (zh) * | 2016-04-29 | 2016-09-21 | 奇瑞汽车股份有限公司 | 驾驶员疲劳状况检测方法和装置 |
| CN110143202A (zh) * | 2019-04-09 | 2019-08-20 | 南京交通职业技术学院 | 一种危险驾驶识别与预警方法及系统 |
| JP2021034035A (ja) * | 2019-08-28 | 2021-03-01 | 潘文橋 | 人面識別に基づいた智能化車載疲労検出システム、方法および装置 |
-
2021
- 2021-07-14 CN CN202110795185.XA patent/CN113449678A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105096528A (zh) * | 2015-08-05 | 2015-11-25 | 广州云从信息科技有限公司 | 一种疲劳驾驶检测方法及系统 |
| CN105956548A (zh) * | 2016-04-29 | 2016-09-21 | 奇瑞汽车股份有限公司 | 驾驶员疲劳状况检测方法和装置 |
| CN110143202A (zh) * | 2019-04-09 | 2019-08-20 | 南京交通职业技术学院 | 一种危险驾驶识别与预警方法及系统 |
| JP2021034035A (ja) * | 2019-08-28 | 2021-03-01 | 潘文橋 | 人面識別に基づいた智能化車載疲労検出システム、方法および装置 |
Non-Patent Citations (2)
| Title |
|---|
| 吴超仲 等: "基于驾驶操作行为的驾驶员疲劳状态识别模型研究", 中国安全科学学报, no. 04 * |
| 胥川;裴赛君;王雪松;: "基于无侵入测量指标的个体差异化驾驶疲劳检测", 中国公路学报, no. 10 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3627180B1 (en) | Sensor calibration method and device, computer device, medium, and vehicle | |
| CN111741884B (zh) | 交通遇险和路怒症检测方法 | |
| CN110765807B (zh) | 驾驶行为分析、处理方法、装置、设备和存储介质 | |
| CN109255341B (zh) | 障碍物感知错误数据的提取方法、装置、设备及介质 | |
| CN111731284B (zh) | 一种辅助驾驶方法、装置、车载终端设备和存储介质 | |
| CN109345829B (zh) | 无人车的监控方法、装置、设备及存储介质 | |
| CN112630799B (zh) | 用于输出信息的方法和装置 | |
| CN113022578B (zh) | 基于车辆运动信息乘客提醒方法、系统、车辆及存储介质 | |
| KR20200010051A (ko) | 운동 검출 방법, 장치, 기기 및 매체 | |
| CN109637148B (zh) | 车载鸣笛监控系统、方法、存储介质及设备 | |
| CN113460062A (zh) | 驾驶行为分析系统 | |
| CN112115820A (zh) | 车载辅助驾驶方法及装置、计算机装置及可读存储介质 | |
| Xiang et al. | Prediction of dangerous driving behavior based on vehicle motion state and passenger feeling using Cloud Model and Elman Neural Network | |
| CN112698660B (zh) | 基于9轴传感器的驾驶行为视觉感知装置及方法 | |
| CN113449678A (zh) | 驾驶状态的检测方法、装置、计算机设备及存储介质 | |
| JP6866443B2 (ja) | 障害物速度の検出方法、障害物速度の検出装置、コンピュータ機器、記憶媒体及び車両 | |
| CN115641570B (zh) | 驾驶行为确定方法、装置、电子设备和存储介质 | |
| CN112766023A (zh) | 目标对象的姿态确定方法、装置、介质及设备 | |
| CN116101205A (zh) | 基于车内摄像头的智能座舱车内智能感知系统 | |
| US20210209399A1 (en) | Bounding box generation for object detection | |
| CN111797659A (zh) | 辅助驾驶方法、装置、存储介质及电子设备 | |
| CN114919577B (zh) | 一种车辆驾驶控制方法、装置、设备、介质 | |
| US11881065B2 (en) | Information recording device, information recording method, and program for recording information | |
| US20210225051A1 (en) | Bounding box generation for object detection | |
| CN113844456B (zh) | Adas自动开启方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231130 Address after: 518000 Baoneng Center, No. 3008 Baoneng North Road, Luohu District, Shenzhen, Guangdong Province Applicant after: Shenzhen Shengbo Hairui Management Co.,Ltd. Address before: 510530 Room 601, No. 59, lichui street, Huangpu District, Guangzhou, Guangdong Applicant before: Baoneng (Guangzhou) Automobile Research Institute Co.,Ltd. |