CN108446678A - 一种基于骨骼特征的危险驾驶行为识别方法 - Google Patents

Abstract

本发明涉及一种基于骨骼特征的危险驾驶行为识别方法，所述方法包括下列步骤：危险驾驶行为模型训练步骤，根据驾驶行为的历史影像信息，确定用于区别驾驶行为种类的特征，根据确定的特征提取对应的骨骼特征信息并进行训练，确定危险驾驶行为模型；危险驾驶行为识别步骤，采集驾驶员在驾驶过程中的当前影像信息，代入到危险驾驶行为模型中进行测试，根据测试结果确定危险驾驶行为的预测结果。与现有技术相比，本发明具有预测准确性高、实时处理性强以及硬件成本低等优点。

Description

一种基于骨骼特征的危险驾驶行为识别方法

技术领域

本发明涉及行为识别领域，尤其是涉及一种基于骨骼特征的危险驾驶行为识别方法。

背景技术

随着经济水平的不断发展，汽车已经成为一种普遍的交通工具，但随之而来的还有大量的交通事故。通过对这些事故的分析，可以得出，驾驶员的危险行为已经成为交通事故的主要原因。因此驾驶员的行为规范至关重要，对其行为检测的需求也不断提高。以往，通常采用监控录像和人为分析的方式来对汽车驾驶员的行为进行采集与检测。但这样的传统方法一般无法做到实时处理，对于驾驶员的行为分析也会相当繁琐。

专利CN105551182A提供了一种基于Kinect人体姿势识别的驾驶状态监测系统，通过Kinect传感器和红外摄像机来捕捉驾驶员的人体切面图像，从而实现对人体关节点位置的识别，并根据关节识别的结果分别分析驾驶员的头部、脊椎和手臂等部位的动作，从而判断驾驶员是否有危险驾驶行为，这个系统一方面硬件成本高，需要Kinect传感器和红外摄像机的配合才能对驾驶员的行为进行识别，另一方面，该系统的分析模式是将驾驶员的整体动作拆分为人体多个部位各自的动作，由于人体的危险驾驶行为往往是多个通过部位一起动作来体现，因此该系统的分析不具有完整性，准确程度明显下降。

发明内容

本发明的目的是针对上述问题提供一种基于骨骼特征的危险驾驶行为识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于骨骼特征的危险驾驶行为识别方法，所述方法包括下列步骤：

危险驾驶行为模型训练步骤，根据驾驶行为的历史影像信息，确定用于区别驾驶行为种类的特征，根据确定的特征提取对应的骨骼特征信息并进行训练，确定危险驾驶行为模型；

危险驾驶行为识别步骤，采集驾驶员在驾驶过程中的当前影像信息，代入到危险驾驶行为模型中进行测试，根据测试结果确定危险驾驶行为的预测结果。

优选地，所述危险驾驶行为模型训练步骤包括下列步骤：

A1)读取驾驶行为的历史影像信息，并根据驾驶行为的种类进行分类标注；

A2)将分类后的历史影像信息输入到骨骼算法模型，提取骨骼特征点，确定用于区别驾驶行为种类的特征，根据确定的的特征提取对应的骨骼特征信息；

A3)根据步骤A2)得到的骨骼特征信息进行训练，得到危险驾驶行为模型。

优选地，所述步骤A2)包括：

A21)将分类后的历史影像信息输入到骨骼算法模型，提取骨骼特征点，得到历史影像信息的每一帧的特征点文本数据；

A22)根据所有的特征点文本数据对应的驾驶行为的种类，确定不同种类驾驶行为发生时变化差异大的骨骼特征点组别，作为区别驾驶行为种类的特征；

A23)将历史影像信息按一定帧数长度划分为多个时间窗口，读取每个时间窗口内的特征，并将与特征对应的驾驶行为的种类作为真值，得到对应的骨骼特征信息。

优选地，每个所述时间窗口包含的帧数为55～65帧。

优选地，所述步骤A3)包括：

A31)将步骤A2)得到的骨骼特征信息随机划分为训练集和验证集；

A32)根据随机森林训练方法对训练集内的骨骼特征信息进行训练，得到中间训练模型；

A33)根据步骤A32)得到的中间训练模型，对验证集内的骨骼特征信息进行测试，判断准确率是否达到阈值，若是则将当前的中间训练模型作为危险驾驶行为模型，若否则修改随机森林训练过程中的参数，并返回步骤A32)。

优选地，所述步骤A33)中根据中间训练模型对验证集内的骨骼特征信息进行测试的过程次数不少于1次。

优选地，所述危险驾驶行为识别步骤包括：

B1)采集驾驶员在驾驶过程中的当前影像信息；

B2)提取当前影像信息对应的骨骼特征信息；

B3)将步骤B2)中提取到的当前影像信息对应的骨骼特征信息通过危险驾驶行为模型，得到危险驾驶行为的预测结果。

优选地，所述步骤B2)包括：

B21)将步骤B1)采集的当前影像信息按照一定帧数长度划分为多个时间窗口，读取每个时间窗口内对应的所有特征，作为一组测试数据；

B22)整理当前影像信息内包含的所有组测试数据，作为当前影像信息对应的骨骼特征信息。

优选地，所述步骤B3)包括：

B31)将步骤B2)中提取到的当前影像信息对应的骨骼特征信息通过危险驾驶行为模型，得到每组测试数据对应的危险驾驶行为预测种类和对应的预测概率，作为危险驾驶行为的初始预测结果；

B32)将预测概率最大的预测种类作为每组测试数据的预测值；

B33)根据每组测试数据的预测值对危险驾驶行为的初始预测结果进行平滑滤波，得到危险驾驶行为的预测结果。

与现有技术相比，本发明具有以下有益效果：

(1)本发明提出的方法，通过历史的骨骼特征信息来训练出危险驾驶行为模型，在识别时只需将当前影像信息通过训练好的模型即可识别出是否发生危险驾驶，这样的方法主要的优点有两个，一是直接通过驾驶行为的影像信息即可提取相应的骨骼特征信息，无需Kinect传感器的配合，硬件成本低；二是本发明提出的方法首先是根据历史影像信息确定区别驾驶行为种类的特征，来作为骨骼特征信息提取的依据，因此提取的骨骼特征信息是基于驾驶员整个身体的整体动作，而不是每个部位单独的动作来考虑的，因此整体性强，从而识别的结果更为准确，提升了整个方法的准确程度。

(2)在训练过程中，在确定特征时，是通过大量的历史数据来确定不同种类驾驶行为发生时变化差异大的骨骼特征点组别，也就是说特征的确定是通过大量历史数据的汇集来实现的，因此选取的特征是具有着极强的代表性的，从而可以大大提升本发明中识别的危险驾驶行为识别的准确性。

(3)在训练过程中，将根据历史影像信息提取的骨骼特征信息首先划分为训练集和验证集，通过训练集训练后再通过验证集的验证结果不断进行修正，这样的方式可以使得训练得到的模型具有着极强的代表性，从而进一步提升了识别的准确程度。

(4)将训练好的模型通过验证集进行测试验证时，过程次数不少于1次，这样的多次验证过程可以进一步提高模型的精确程度，从而提升危险驾驶行为识别的准确性。

(5)在进行危险驾驶行为识别时，在将当前影像对应的骨骼特征信息通过危险驾驶行为模型后，将每组的预测值都进行了平滑滤波，这样可以过滤掉部分不准确的预测结果，提高危险驾驶行为识别的准确性。

附图说明

图1为危险驾驶行为模型训练步骤的方法流程图；

图2为危险驾驶行为识别步骤的方法流程图；

图3为手部特征点示意图；

图4为肢体特征点示意图；

图5为本实施例中危险驾驶行为识别的初步识别结果；

图6为本实施例中危险驾驶行为识别在经历过平滑滤波后的识别结果。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提出了一种基于骨骼特征的危险驾驶行为识别方法，包括下列步骤：

危险驾驶行为模型训练步骤，根据驾驶行为的历史影像信息，确定区别驾驶行为种类的特征，根据确定的特征提取对应的骨骼特征信息并进行训练，确定危险驾驶行为模型；

危险驾驶行为识别步骤，采集驾驶员在驾驶过程中的当前影像信息，代入到危险驾驶行为模型中进行测试，根据测试结果确定危险驾驶行为的预测结果。

其中，如图1所示，危险驾驶行为模型训练步骤包括下列步骤：

A1)读取驾驶行为的历史影像信息，并根据驾驶行为的种类进行分类标注；

A2)将分类后的历史影像信息输入到骨骼算法模型，如CMU提出的openpose多人姿态估计骨骼算法模型、谷歌提出的deepgaze研究头部姿态和注意力方向算法模型以及Facebook提出的mask RCNN等现有的比较成熟的骨骼算法模型，可以根据实际情况进行选择，提取骨骼特征点，确定用于区别驾驶行为种类的特征，根据确定的特征提取对应的骨骼特征信息，包括：

A21)将分类后的历史影像信息输入到骨骼算法模型，提取骨骼特征点，得到历史影像信息的每一帧的特征点文本数据；

A22)根据所有的特征点文本数据对应的驾驶行为的种类，确定不同种类驾驶行为发生时变化差异大的骨骼特征点组别，作为区别驾驶行为种类的特征；

A23)将历史影像信息按一定帧数长度划分为多个时间窗口，每个时间窗口包含的帧数相同，一般选在55～65帧之间，本实施例中，每个时间窗口包含的帧数均为60帧，读取每个时间窗口内的特征，并将与特征对应的驾驶行为的种类作为真值，得到对应的骨骼特征信息；

A3)根据步骤A2)得到的骨骼特征信息进行训练，得到危险驾驶行为模型，包括：

A31)将步骤A2)得到的骨骼特征信息随机划分为训练集和验证集；

A32)根据随机森林训练方法对训练集内的骨骼特征信息进行训练，得到中间训练模型；

A33)根据步骤A32)得到的中间训练模型，对验证集内的骨骼特征信息进行测试，判断准确率是否达到阈值，若是则将当前的中间训练模型作为危险驾驶行为模型，若否则修改随机森林训练过程中的参数，并返回步骤A32)。

如图2所示，危险驾驶行为识别步骤包括：

B1)采集驾驶员在驾驶过程中的当前影像信息；

B2)提取当前影像信息对应的骨骼特征信息，包括：

B21)将步骤B1)采集的当前影像信息按照一定帧数长度划分为多个时间窗口，读取每个时间窗口内对应的所有特征，作为一组测试数据；

B22)整理当前影像信息内包含的所有组测试数据，作为当前影像信息对应的骨骼特征信息；

B3)将步骤B2)中提取到的当前影像信息对应的骨骼特征信息通过危险驾驶行为模型，得到危险驾驶行为的预测结果，包括：

B31)将步骤B2)中提取到的当前影像信息对应的骨骼特征信息通过危险驾驶行为模型，得到每组测试数据对应的危险驾驶行为预测种类和对应的预测概率，作为危险驾驶行为的初始预测结果；

B32)将预测概率最大的预测种类作为每组测试数据的预测值；

B33)根据每组测试数据的预测值对危险驾驶行为的初始预测结果进行平滑滤波，得到危险驾驶行为的预测结果。

根据上述步骤，本实施例中描述了在危险驾驶行为模型还未训练出的情况下，进行危险驾驶行为识别的完整过程：

首先为了通过训练得到危险驾驶行为模型，需要进行数据收集：将车内摄像头安装在车内后视镜的位置上，注意摄像头视野不被遮挡，而且可以完全录制到驾驶员的上半身全景，包括头部，肩膀，腹部以及双手。分别录制出不同驾驶员在驾驶过程中的各种危险驾驶行为与正常驾驶行为，危险驾驶行为包括：吸烟，喝水，玩手机，双手离开方向盘，接打电话等，正常驾驶行为包括观看左右后视镜，打方向盘，触碰显示屏等。录制的视频包含白天，黑夜以及各种天气状况下的场景，特别在场景采光不佳时，应该使用星光摄像机，保证能够采集到明亮清晰的画面。并且相关行为的每段视频控制在10秒至20秒之间，保证每段视频清流畅，并剔除不符合要求的视频段落，包括驾驶员行为不完整，视频模糊，摄像头视角不全情况等。按照行为类别对所有视频进行分类，并进行标注。

接着对收集到的数据进行数据处理：将上述录制的视频以及标注作为训练过程的输入数据。将收集到的视频输入骨骼算法模型，得到汽车驾驶员的骨骼特征点，包括身体的18个特征点和两只手部的各21个特征点，共计60个特征点，如图3和图4所示。对于视频的每一帧都可以得到一组特征点文本，每组文本包含60组数据，对应60个特征点，每一组数据(特征点)包含一个可以表示位置的二维坐标(x，y)与可信度p，其中0<＝p<＝1,。对于部分无法检测到的缺省值，其二维坐标以及可信度的原始值为(0,0)和0。在处理的过程中，以前一帧相应的特征点对应的数据作为该缺省值的值。提取出每组数组的二维坐标构成初始数据集。

在对数据处理完整后，即可进行骨骼特征信息的收集：根据得到的特征点坐标收集一系列的特征。驾驶员的不同行为对于不同的特征会产生较大差异的表现，这些特征包括各个关节处的角度特征，相对距离特征，移动速度特征以及相对位置的特征等，特征涉及到驾驶员上半身的所有关节与手部的重要关节。详细如下表所示，总计20个特征。取录像的60帧作为一个时间窗口，即每个时间窗口的特征维数为60*20＝1200维，真值为实际对应的各类行为，将这样的数据作为收集的骨骼特征信息。

表1由骨骼特征点得到的特征

编号	特征点选择	特征
			(1)	左肩2，左肘3，左手4	左手肘部的弯转角度
(2)	右肩5，右肘6，右手7	右手肘部的弯转角度
			(3)	颈部1，左肩2，左肘3	左肩部的弯转角度
(4)	颈部1，右肩5，右肘6，	右肩部的弯转角度
			(5)	左肘3，右肘6	肘部的距离
(6)	左手4，右手7	手部的距离
			(7)	鼻子0，左手4	鼻子到左手的距离
(8)	鼻子0，右手7	鼻子都右手的距离
			(9)	左肩2	左肩的移动速度
(10)	右肩5	右肩的移动速度
			(11)	左手4	左手的移动速度
(12)	右手7	右手的移动速度
			(13)	左手食指关节5，6，7	左手食指角度
(14)	左手中指关节9,10,11	左手中指角度
			(15)	右手食指关节5，6，7	右手食指角度
(16)	右手中指关节9,10,11	右手中指角度
			(17)	左手0，鼻子0	左手到鼻子的距离
(18)	右手0，鼻子0	右手到鼻子距离
			(19)	左手0	左手移动速度
(20)	右手0	右手移动速度

在骨骼特征信息收集完成后，即可进行模型的训练与测试：整合所有数据以及对应的真值，通过随机森林训练得到模型。在训练的过程中，将原始数据集分割成两部分，包括训练集和验证集，其中测试集不参与训练。在训练的过程中，选择信息增益作为特征选择得到标准，其中当前集合D中的第k类样本所占比例为，则D的信息熵定义为：

其中，y代表分类的类别数；Ent(D)的值越小，则D的纯度越高。

信息增益的表达式为：

其中，a为对应的具体特征，v当前具体特征a下的分类节点，当信息增益越大时，则所选的特征进行的分类就越纯。

则通过训练集得到一个预测模型，用该预测模型对验证集进行测试，若正确率低于98％，再通过不断修改随机森林的参数(决策树深度，子节点个数等)，以提高正确率。当正确率稳定在98％以上时，改变测试集数据，重复上述过程，直到最终正确率稳定在98％以上，确定最终的危险驾驶行为模型。

在得到上述的危险驾驶行为模型后，每次需要进行危险驾驶行为的识别时，只需采集当前驾驶员的驾驶视频，从视频的第一帧开始取，每60帧作为一个时间窗口，最后一个时间窗口为倒数第60帧至最后一帧，将每个时间窗口按照危险驾驶行为模型训练步骤中的过程进行处理，最终每一个时间窗口包含1200维特征，以此作为一组测试数据。将每组测试数据输入到训练模型中，可以得到每种行为的预测概率。这样得到的预测概率往往具有较大的波动，结果不太准确，如图5所示，为了解决这样的情况，本实施例需要对预测结果进行平滑滤波，具体为：对于某一段测试数据的预测结果，结合其前后四段的预测结果，共计9组，求出每一种预测行为的平均值，公式如下：

其中，p(x₀)为当前段测试数据的预测结果，p(x_-1)、p(x_-2)、p(x_-3)和p(x_-4)分别为当前段数据前四段的预测结果，p(x₁)、p(x₂)、p(x₃)和p(x₄)分别为当前段数据后四段的预测结果，则为每一种预测行为的平均值。最终取各预测行为平均值最大的一类作为最终结果，若该最大值小于30％，则该帧的预测行为置空，通过这种方式可以有效的减小波动，效果如图6所示。

Claims (9)

1.一种基于骨骼特征的危险驾驶行为识别方法，其特征在于，所述方法包括下列步骤：

危险驾驶行为模型训练步骤，根据驾驶行为的历史影像信息，确定用于区别驾驶行为种类的特征，根据确定的特征提取对应的骨骼特征信息并进行训练，确定危险驾驶行为模型；

危险驾驶行为识别步骤，采集驾驶员在驾驶过程中的当前影像信息，代入到危险驾驶行为模型中进行测试，根据测试结果确定危险驾驶行为的预测结果。

2.根据权利要求1所述的基于骨骼特征的危险驾驶行为识别方法，其特征在于，所述危险驾驶行为模型训练步骤包括下列步骤：

A1)读取驾驶行为的历史影像信息，并根据驾驶行为的种类进行分类标注；

A2)将分类后的历史影像信息输入到骨骼算法模型，提取骨骼特征点，确定用于区别驾驶行为种类的特征，根据确定的的特征提取对应的骨骼特征信息；

A3)根据步骤A2)得到的骨骼特征信息进行训练，得到危险驾驶行为模型。

3.根据权利要求2所述的基于骨骼特征的危险驾驶行为识别方法，其特征在于，所述步骤A2)包括：

A21)将分类后的历史影像信息输入到骨骼算法模型，提取骨骼特征点，得到历史影像信息的每一帧的特征点文本数据；

A22)根据所有的特征点文本数据对应的驾驶行为的种类，确定不同种类驾驶行为发生时变化差异大的骨骼特征点组别，作为区别驾驶行为种类的特征；

A23)将历史影像信息按一定帧数长度划分为多个时间窗口，读取每个时间窗口内的特征，并将与特征对应的驾驶行为的种类作为真值，得到对应的骨骼特征信息。

4.根据权利要求3所述的基于骨骼特征的危险驾驶行为识别方法，其特征在于，每个所述时间窗口包含的帧数为55～65帧。

5.根据权利要求2所述的基于骨骼特征的危险驾驶行为识别方法，其特征在于，所述步骤A3)包括：

A31)将步骤A2)得到的骨骼特征信息随机划分为训练集和验证集；

A32)根据随机森林训练方法对训练集内的骨骼特征信息进行训练，得到中间训练模型；

A33)根据步骤A32)得到的中间训练模型，对验证集内的骨骼特征信息进行测试，判断准确率是否达到阈值，若是则将当前的中间训练模型作为危险驾驶行为模型，若否则修改随机森林训练过程中的参数，并返回步骤A32)。

6.根据权利要求5所述的基于骨骼特征的危险驾驶行为识别方法，其特征在于，所述步骤A33)中根据中间训练模型对验证集内的骨骼特征信息进行测试的过程次数不少于1次。

7.根据权利要求1所述的基于骨骼特征的危险驾驶行为识别方法，其特征在于，所述危险驾驶行为识别步骤包括：

B1)采集驾驶员在驾驶过程中的当前影像信息；

B2)提取当前影像信息对应的骨骼特征信息；

B3)将步骤B2)中提取到的当前影像信息对应的骨骼特征信息通过危险驾驶行为模型，得到危险驾驶行为的预测结果。

8.根据权利要求7所述的基于骨骼特征的危险驾驶行为识别方法，其特征在于，所述步骤B2)包括：

B21)将步骤B1)采集的当前影像信息按照一定帧数长度划分为多个时间窗口，读取每个时间窗口内对应的所有特征，作为一组测试数据；

B22)整理当前影像信息内包含的所有组测试数据，作为当前影像信息对应的骨骼特征信息。

9.根据权利要求8所述的基于骨骼特征的危险驾驶行为识别方法，其特征在于，所述步骤B3)包括：

B31)将步骤B2)中提取到的当前影像信息对应的骨骼特征信息通过危险驾驶行为模型，得到每组测试数据对应的危险驾驶行为预测种类和对应的预测概率，作为危险驾驶行为的初始预测结果；

B32)将预测概率最大的预测种类作为每组测试数据的预测值；

B33)根据每组测试数据的预测值对危险驾驶行为的初始预测结果进行平滑滤波，得到危险驾驶行为的预测结果。