CN109815884A - 基于深度学习的不安全驾驶行为检测方法及装置 - Google Patents
基于深度学习的不安全驾驶行为检测方法及装置 Download PDFInfo
- Publication number
- CN109815884A CN109815884A CN201910051565.5A CN201910051565A CN109815884A CN 109815884 A CN109815884 A CN 109815884A CN 201910051565 A CN201910051565 A CN 201910051565A CN 109815884 A CN109815884 A CN 109815884A
- Authority
- CN
- China
- Prior art keywords
- unsafe driving
- behavior
- unsafe
- image
- activity recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 230000003542 behavioural effect Effects 0.000 title claims abstract description 26
- 230000006399 behavior Effects 0.000 claims abstract description 253
- 230000000694 effects Effects 0.000 claims abstract description 94
- 238000012549 training Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 206010057315 Daydreaming Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种基于深度学习的不安全驾驶行为检测方法及装置。基于深度学习的不安全驾驶行为检测的方法包括：采集目标车辆中驾驶员在驾驶目标车辆时的目标行为图像；根据不安全驾驶行为识别网络识别目标行为图像中的不安全驾驶行为和不安全驾驶行为所属类别，不安全驾驶行为识别网络用于识别目标行为图像中所包括的不安全驾驶行为和不安全驾驶行为所属类别，不安全驾驶行为所属类别为预先设置；当目标行为图像中包括不安全驾驶行为时，根据不安全驾驶行为识别网络的识别结果确定目标车辆中驾驶员的不安全驾驶行为和驾驶员的不安全驾驶行为所属类别。本申请能够准确检测驾驶员的不安全驾驶行为，有效地降低车辆事故发生的概率。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于深度学习的不安全驾驶行为检测方法及装置。
背景技术
众所周知，在车辆行驶过程中，如果驾驶员出现疲劳驾驶、注意力不集中等情况，则很容易导致使车辆发生交通事故。所以，目前为了避免因驾驶员疲劳驾驶等原因导致交通事故发生，通常会在车辆中设置驾驶员疲劳检测设备。驾驶员疲劳检测设备通过驾驶员疲劳检测方法可以检测驾驶员是否处于疲劳状态，在检测出驾驶员疲劳时可以对驾驶员进行提醒。
但是，目前的驾驶员疲劳检测方法中通常只是通过对驾驶员的面部特征进行检测来判断驾驶员是否疲劳，但是驾驶员在驾驶车辆时，除了疲劳驾驶还有一些其他不安全驾驶行为也会导致车辆发生交通事故，例如，驾驶员在驾车时打电话、吸烟等情况，而驾驶员疲劳检测方法并不能准确的检测这些不安全驾驶行为，无法更加有效地降低车辆事故发生的概率。
发明内容
本申请提供了一种基于深度学习的不安全驾驶行为检测方法及装置，能够准确检测驾驶员的不安全驾驶行为，有效地降低车辆事故发生的概率。
第一方面，本申请提供了一种基于深度学习的不安全驾驶行为检测方法，包括：
采集目标车辆中驾驶员在驾驶所述目标车辆时的目标行为图像；
根据不安全驾驶行为识别网络识别所述目标行为图像中的不安全驾驶行为和所述不安全驾驶行为所属类别，所述不安全驾驶行为识别网络用于识别所述目标行为图像中所包括的不安全驾驶行为和所述不安全驾驶行为所属类别，所述不安全驾驶行为所属类别为预先设置，所述不安全驾驶行为识别网络为通过预设深度学习算法预先训练得到；
当所述目标行为图像中包括不安全驾驶行为时，根据所述不安全驾驶行为识别网络的识别结果检测所述目标车辆中驾驶员的不安全驾驶行为和所述驾驶员的不安全驾驶行为所属类别。
本申请实施例中，通过不安全驾驶行为识别网络可以对采集的目标行为图像进行识别，识别出目标行为图像所包括的不安全驾驶行为，以及识别出目标行为图像所包括不安全驾驶行为所属类别，从而可以确定出目标驾驶员在驾驶目标车辆时出现的不安全驾驶行为，以及此行为所属的类别，从而可以更加准确的检测出驾驶员的不安全驾驶行为，更有效的降低目标车辆事故发生的概率。
结合第一方面，在第一方面的第一种可能的实施方式中，在所述采集目标车辆中驾驶员在驾驶所述目标车辆时的目标行为图像之前，还包括：
获取不安全驾驶行为图像，其中，所述不安全驾驶行中标注出所述不安全驾驶行为图像中的不安全驾驶行为区域以及所述不安全驾驶行为区域所属类别；
通过所述不安全驾驶行为图像对预设不安全驾驶行为识别网络通过所述深度学习算法进行训练，得到所述不安全驾驶行为识别网络。
结合第一方面，在第一方面的第二种可能的实施方式中，所述根据不安全驾驶行为识别网络识别所述目标行为图像中的不安全驾驶行为和所述不安全驾驶行为所属类别，包括：
通过所述不安全驾驶行为识别网络中特征提取网络提取所述目标行为图像的特征；
基于所述特征通过所述不安全驾驶行为识别网络中检测网络识别出所述不安全驾驶行为和所述不安全驾驶行为所属类别。
结合第一方面，在第一方面的第三种可能的实施方式中，在所述根据不安全驾驶行为识别网络识别所述目标行为图像中的不安全驾驶行为和所述不安全驾驶行为所属类别之前，包括：
将所述目标行为图像的像素值调整为所述不安全驾驶行为识别网络所能识别图像的像素值。
结合第一方面或第一方面的任一种可能的实施方式，所述预设不安全驾驶行为识别网络包括单次多目标检测器(Single Shot MultiBox Detector，SSD)。
第二方面，本申请提供了一种基于深度学习的不安全驾驶行为检测装置，包括用于实现本申请第一方面及第一方面的各实现方式中的方法的功能单元。
第三方面，本申请提供了一种基于深度学习的不安全驾驶行为检测设备，包括：处理器和存储器；
所述存储器用于存储计算机程序代码，所述计算机程序代码包括指令；
所述处理器用于执行所述指令，以使所述不安全驾驶行为检测的设备实现如第一方面或第一方面的任一种实施方式所述的不安全驾驶行为检测的方法。
第四方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如第一方面或第一方面的任一种实施方式所述的不安全驾驶行为检测的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1是根据本申请实施例提供的一种基于深度学习的不安全驾驶行为检测方法的示意性流程图；
图2是根据本发明实施例提供的一种基于深度学习的不安全驾驶行为检测装置的示意框图；
图3是根据本发明实施例提供的又一种基于深度学习的不安全驾驶行为检测装置的示意框图；
图4是根据本发明实施例提供的一种基于深度学习的不安全驾驶行为检测设备的示意框图。
具体实施方式
在不冲突的情况下，本申请中的各实施例及各实施例中的不同特征可以相互组合。
本申请实施例可以用于驾驶员在驾驶行驶车辆时对驾驶员的不安全驾驶行为检测的场景，驾驶员的不安全驾驶行为可以包括驾驶员影响安全驾驶的多种行为，例如驾驶员抽烟、驾驶员与其他人聊天、驾驶员打电话、驾驶员侧身、驾驶员吃东西等等。本申请实施例中更加准确的检测出驾驶员的不安全驾驶行为，从而更有效的降低目标车辆事故发生的概率。
本申请一实施例提供了一种基于深度学习的不安全驾驶行为检测方法，如图1所示，该方法包括以下步骤。
101，采集目标车辆中驾驶员在驾驶所述目标车辆时的目标行为图像。
其中，本申请中首先要采集目标驾驶员在驾驶所述目标车辆时的目标行为图像，以通过对目标行为图像的分析来确定目标驾驶员是否存在不安全驾驶行为。
采集目标行为图像的方式可以为在目标车辆中设置拍摄设备，例如摄像头，拍摄设备需要能够准确的拍摄到驾驶员的驾驶行为。如果目标车辆中包括拍摄设备，并能够满足本申请的需求，例如车载摄像头，则可以直接使用目标车辆中包括拍摄设备。拍摄设备可以预先设置为所拍摄目标行为图像能够直接用于不安全驾驶行为识别网络识别，例如设置拍摄设备所拍摄目标行为图像的大小为不安全驾驶行为识别网络所识别图像的大小，如此可以简化不安全驾驶行为的检测过程。如果拍摄设备所拍摄目标行为图像不能够直接用于不安全驾驶行为识别网络识别，则在步骤101之后还需要对拍摄设备所拍摄目标行为图像进行处理，例如调整目标行为图像的大小等等，以便于可以通过不安全驾驶行为识别网络对目标行为图像进行处理。
需要说明的是，拍摄设备在一些场景中所拍摄的目标行为图像并不适合直接通过不安全驾驶行为识别网络进行识别，此时还需要对拍摄的目标行为图像进行预处理，以保证后续识别的准确性。例如，在夜晚或比较暗的场景中，光线会太暗，直接识别所拍摄的目标行为图像会影响识别的效果，所以此时可以对拍摄的目标行为图像进行对比度增强处理。这种场景中，还可以设置比如晚上8点到第二天早上4点的时间段内，对拍摄的目标行为图像进行对比度增强处理后再进行后续步骤操作，而对于其余时间段拍摄的目标行为图像不进行对比度增强处理而直接进行后续步骤操作，如此不需要添加红外摄像头等硬件设备，即可实现对夜晚场景下驾驶员的不安全驾驶行为的识别，可以节省硬件成本。
102，根据不安全驾驶行为识别网络识别目标行为图像中的不安全驾驶行为和不安全驾驶行为所属类别。
其中，不安全驾驶行为识别网络用于识别目标行为图像中所包括的不安全驾驶行为和不安全驾驶行为所属类别，不安全驾驶行为的所属类别为预先设置。本申请实施例中不安全驾驶行为识别网络可以通过预设深度学习算法预先训练得到。
不安全驾驶行为识别网络可以通过对目标行为图像的识别，识别出目标行为图像中所包括的不安全驾驶行为。并且不安全驾驶行为识别网络预设了不安全行为的类别，在其识别出目标行为图像中所包括的不安全驾驶行为的同时还可以识别出这些不安全驾驶行为所属的类别。不安全行为的类别可以包括驾驶员吃东西、驾驶员说话、驾驶员侧身等等。
作为本申请实施例的一种实施方式，在步骤102之前还可以包括：将目标行为图像的像素值调整为不安全驾驶行为识别网络所能识别图像的像素值。
如果不安全驾驶行为识别网络在运行时对输入行为图像的像素值有限制，则需要先将目标行为图像的像素值调整为不安全驾驶行为识别网络所能识别图像的像素值，再将调整像素值后的目标行为图像输入不安全驾驶行为识别网络，以便于不安全驾驶行为识别网络可以准确识别输入的目标行为图像，保证不安全驾驶行为识别的准确性。
在本申请实施例中，本步骤可以具体执行为：通过不安全驾驶行为识别网络中特征提取网络提取目标行为图像的特征；基于特征通过不安全驾驶行为识别网络中检测网络识别出不安全驾驶行为和不安全驾驶行为所属类别。
不安全驾驶行为识别网络可以包括特征提取网络和检测网络，在输入目标行为图像后通过特征提取网络来提取出目标行为图像的特征，在基于提取的特征通过检测网络识别出不安全驾驶行为和不安全驾驶行为所属类别。
需要说明的是，由于目标行为图像中可能包括不安全驾驶行为，也可能不包括不安全驾驶行为，所以步骤102的识别结果可能为识别出目标行为图像中的不安全驾驶行为和不安全驾驶行为所属类别，也可能为识别出目标行为图像中不包括不安全驾驶行为，所以得出识别结果后还需执行步骤103。
103，当目标行为图像中包括不安全驾驶行为时，根据不安全驾驶行为识别网络的识别结果确定目标车辆中驾驶员的不安全驾驶行为和驾驶员的不安全驾驶行为所属类别。
通过步骤102中不安全驾驶行为识别网络的识别，根据识别的结果可以检测出目标车辆中驾驶员的不安全驾驶行为和驾驶员的不安全驾驶行为所属类别。
需要说明的是，本申请实施例中，在执行步骤103后，可以确定出目标车辆中驾驶员的不安全驾驶行为和驾驶员的不安全驾驶行为所属类别后，可以提示给驾驶员，以便于提醒驾驶员改正不安全驾驶行为，保证驾驶的安全性，降低目标车辆事故发生的概率。
本申请实施例中，通过不安全驾驶行为识别网络可以对采集的目标行为图像进行识别，识别出目标行为图像所包括的不安全驾驶行为，以及识别出目标行为图像所包括不安全驾驶行为所述的类别，从而可以确定出目标驾驶员在驾驶目标车辆时出现的不安全驾驶行为以及此行为的类别，从而可以更加准确的检测出驾驶员的不安全驾驶行为，更有效的降低目标车辆事故发生的概率。
作为本申请实施例的又一种实施方式，由于步骤102中通过不安全驾驶行为识别网络进行识别，所以在步骤101之前还可以包括不安全驾驶行为识别网络的训练过程。
具体的，在步骤101之前还可以包括：获取不安全驾驶行为图像，其中，所述不安全驾驶行中标注出所述不安全驾驶行为图像中的不安全驾驶行为区域以及所述不安全驾驶行为区域所属类别；通过不安全驾驶行为图像对预设不安全驾驶行为识别网络通过所述深度学习算法进行训练，得到所述不安全驾驶行为识别网络。
预设不安全驾驶行为识别网络为预先建立的网络，具体的，可以为SSD。建立预设不安全驾驶行为识别网络后，需要对其进行训练，以便于能够准确识别出图像中的不安全驾驶行为。
训练预设不安全驾驶行为识别网络时需要先采集训练数据，即采集驾驶员在驾驶车辆时的不安全驾驶行为图像。不安全驾驶行为图像为包括不安全驾驶行为的图像，采集方式可以为通过拍摄设备拍摄驾驶员在驾驶时的图像，然后从拍摄的图像中选出不安全驾驶行为图像。
采集到不安全驾驶行为图像后，还需要标注出不安全驾驶行为图像中不安全驾驶区域，以及不安全驾驶行为区域所属的类别，即得到不安全驾驶行为图像，以便于对预设不安全驾驶行为识别网络进行训练。
对于每个采集的不安全驾驶行为图像，需要标注出其所包括不安全驾驶行为的区域坐标和类别，以便于对不安全驾驶行为识别网络进行训练。标注不安全驾驶行为的区域坐标是指将不安全驾驶行为图像中所包括不安全驾驶行为的区域通过坐标标注出来，例如，不安全驾驶行为图像中所包括不安全驾驶行为的区域通常可以采用矩形框来表示，所以标注方式可以为标注包括不安全驾驶行为的矩形框的对角顶点的坐标，或者标注包括不安全驾驶行为的矩形框的一个顶点以及该包括不安全驾驶行为的矩形框的长和宽。标注不安全驾驶行为的类别是指将不安全驾驶行为图像中的不安全驾驶行为分类后，确定出各类别的标志符，然后在不安全驾驶行为图像中所包括不安全驾驶行为标注对应类别的标志符。
需要说明的是，采集到不安全驾驶行为图像后，在对采集的不安全驾驶行为图像标注之前，还可以预先对采集的不安全驾驶行为图像进行处理，例如进行对比度增强处理等，以便于更好的训练预设不安全驾驶行为识别网络。同时，在对采集的不安全驾驶行为图像标注之前，如果采集的不安全驾驶行为图像不适合预设不安全驾驶行为识别网络所识别，也需要对采集的不安全驾驶行为图像进行处理，例如，预设不安全驾驶行为识别网络所能识别图像的像素值为300×300，则在对采集的不安全驾驶行为图像标注之前，需要将采集的行为图像的像素值调整为300×300后再进行标注。
具体的，在训练预设不安全驾驶行为识别网络时，可以在标注不安全驾驶行为图像后，将各类别中不安全行为图像按比例分为对应此类别的训练数据、对应此类别的校验数据和对应此类别的测试数据，比例具体可以为8:1:1。然后将各类别对应的训练数据汇总作为训练预设不安全驾驶行为识别网络的总训练数据，将各类别对应的校验数据汇总作为训练预设不安全驾驶行为识别网络的总校验数据，以及将各类别对应的检测数据汇总作为训练预设不安全驾驶行为识别网络的总检测数据。训练数据用于对预设不安全驾驶行为识别网络训练，校验数据对训练的预设不安全驾驶行为识别网络进行校验，测试数据用于对训练的预设不安全驾驶行为网络进行测试。通常情况下，对预设不安全驾驶行为识别网络边训练边测试，以便于实时调整预设不安全驾驶行为识别网络中的参数。测试数据用于对训练一段时间后的预设不安全驾驶行为网络准确率进行测试，如果测试的准确率能够满足要求，则表示不安全驾驶行为网络训练完成。
本申请实施例中，预设不安全驾驶行为识别网络可以为SSD，以SSD为例进行说明。SSD网络包括特征提取网络和检测网络(如，多层融合检测网络)等。特征提取网络可以包括多个卷基层，例如可以包括7个卷积层(如conv4_3、conv6、conv7、conv8_2、conv9_2、conv10_2和conv11_2)。将训练数据输入预设不安全驾驶行为识别网络中首先通过特征提取网络可以得到对应7各卷积层对应的7种特征图。由于卷积层conv6和卷积层conv7输出特征图的像素值均为19×19，所以后续处理中可以只选其中一个卷积层输出的特征图进行处理，例如选择卷积层conv7输出特征图。得到特征图后，多层融合检测网络对6种像素值不同的特征图中每个点标注一系列固定大小的默认框(具体默认框的数量和大小可以设置，例如conv4_3、conv10_2和conv11_2对应特征图可以设置每个点标注4个默认框，conv7、conv8_2和conv9_2均设置每个点有6个默认框)，然后通过卷积核(通常为2个3*3的卷积核)分别预测边界框的位置和预测边界框中区域所属不安全驾驶行为类别的置信度。进而可以根据预测的置信度和预测边界框的参数计算出总的损失函数，基于总的损失函数可以看出网络训练的程度，再通过随机梯度下降法训练预设不安全驾驶行为识别网络，直到总的损失函数达到预设条件，从而结束训练得到不安全驾驶行为识别网络。
需要说明的是，在上述训练过程中，对于输入SSD的不安全驾驶行为图像，由于不安全驾驶行为图像中标注的不安全驾驶行为区域(以下称真实框)的坐标，可以通过计算真实框与SSD中默认框之间的交并比来得出，可以计算出与真实框相匹配默认框的个数，并将默认框中与该真实框相匹配的默认框作为前景(可以表示为Pos属于前景的默认框集合)，将默认框中不与该真实框相匹配的默认框作为背景(可以表示为Neg属于背景的默认框集合)。同时，还会确定出真实框内不安全行为所属类别。本申请实施例中，真实框、默认框和预测的边界框可以通过中心点、宽和高来表示坐标，具体可以表示为(cx，cy，w，h)，cx表示对应真实框、默认框或预测边界框的中心点的横坐标，cy表示对应真实框、默认框或预测边界框的中心点的纵坐标，w表示对应真实框、默认框或预测边界框的宽，h表示对应真实框、默认框或预测边界框的中心点的高。
本申请实施例中，以预设不安全驾驶行为识别网络为SSD为例，总的损失函数为置信度损失函数Lconf(confidence loss)和边界框定位损失函数Lloc(localization loss)的加权和。总的损失函数如下公式1所示，置信度损失函数Lconf如下公式2所示，边界框定位损失函数Lloc如下公式3所示。
在上述公式中，x在公式2和公式3中表示不同参数，在公式2中x代表在公式3中x代表c表示预测边界框中区域所属不安全驾驶行为类别的置信度，l表示预测边界框，g表示真实框。N表示SSD中与输入的不安全驾驶行为图像中所标注的不安全驾驶行为的区域(以下称不安全驾驶行为图像中所标注的真实框)相匹配默认框的个数。边界框定位损失函数Lloc包括前景损失函数和背景损失两部分，α是前景损失和背景损失的调节比例。i表示第i个默认框，j表示第j个真实框，i为大于零且小于等于默认框总数的整数，j为大于零且小于等于真实框总数的整数。i∈Pos表示Pos中第i个默认框，i∈Neg表示Neg中第i个默认框。
本申请实施例中，设置了多个不安全驾驶行为的类别，在这些类别中，真实框与默认框只会关于一个类别相匹配，所以对于如果第i个默认框与第j个真实框关于类别p匹配，则取值为1，如果第i个默认框与第j个真实框关于类别p不匹配，则取值为0。在公式2中，类别p为第i个默认框与第j个真实框相匹配的类别，所以取值为1。在公式3中，类别k为第i个默认框与第j个真实框相匹配的类别，所以取值为1。其中类别p和类别k可以为同一类别。公式2中的计算公式如公式4所示。在公式4中，表示第i个默认框的第j个预测边界框的类别为p的置信度。公式3中函数smoothL1(t)(其中，)的取值与参数t有关，即与参数的取值有关，当|t|＜1时，smoothL1(t)＝0.5t2；当t取|t|＜1范围以外的值时，smoothL1(t)＝|t|-0.5。表示第i个默认框相对于第j个预测边界框的偏移量，表示第i个默认框相对于第j个真实框的偏移量。本申请实施例中，真实框、默认框和预测的边界框的坐标表示为(cx，cy，w，h)，第j个真实框坐标可以表示为 第i个默认框可以表示为对应的的取值可以表示为对应的的取值可以表示为 的取值计算如公式5、公式6、公式7和公式8所示。
需要说明的是，本申请实施例中，在上述过程的基础上，步骤103可以具体执行为：将所有预测默认框的进行非极大值抑制处理，剔除重叠的默认框，得到每个类别中置信度最高的窗口，得到不安全驾驶行为和对应的类别，从而实现不安全驾驶行为检测。
图2是根据本申请实施例提供的一种基于深度学习的不安全驾驶行为检测装置200的示意性框图，如图2所示，该不安全驾驶行为检测装置200包括：
采集单元201，用于采集目标车辆中驾驶员在驾驶所述目标车辆时的目标行为图像；
识别单元202，用于根据不安全驾驶行为识别网络识别所述目标行为图像中的不安全驾驶行为和所述不安全驾驶行为所属类别，所述不安全驾驶行为识别网络用于识别所述目标行为图像中所包括的不安全驾驶行为和所述不安全驾驶行为所属类别，所述不安全驾驶行为所属类别为预先设置，所述不安全驾驶行为识别网络为通过预设深度学习算法预先训练得到；
检测单元203，用于根据所述不安全驾驶行为识别网络的识别结果检测所述目标车辆中驾驶员的不安全驾驶行为和所述驾驶员的不安全驾驶行为所属类别。
本申请实施例中，通过不安全驾驶行为识别网络可以对采集的目标行为图像进行识别，识别出目标行为图像所包括的不安全驾驶行为，以及识别出目标行为图像所包括不安全驾驶行为所述的类别，从而可以确定出目标驾驶员在驾驶目标车辆时出现的不安全驾驶行为以及此行为的类别，从而可以更加准确的检测出驾驶员的不安全驾驶行为，例如疲劳驾驶等，更有效的降低目标车辆事故发生的概率。
可以理解的是，如图3所示，所述装置200还可以包括：
获取单元204，用于获取不安全驾驶行为图像，其中，所述不安全驾驶行中标注出所述不安全驾驶行为图像中的不安全驾驶行为区域以及所述不安全驾驶行为区域所属的类别；
训练单元205，用于通过所述不安全驾驶行为图像对预设不安全驾驶行为识别网络通过所述深度学习算法进行训练，得到所述不安全驾驶行为识别网络。
可以理解的是，所述识别单元203具体用于：
通过所述不安全驾驶行为识别网络中特征提取网络提取所述目标行为图像的特征；
基于所述特征通过所述不安全驾驶行为识别网络中检测网络识别出所述不安全驾驶行为和所述不安全驾驶行为所属类别。
可以理解的是，如图3所示，所述装置200还可以包括：
调整单元206，用于将所述行为图像的像素值调整为所述预设不安全驾驶行为识别网络所能识别的像素值。
可以理解的是，所述预设不安全驾驶行为识别网络包括SSD。
根据本申请实施例的基于深度学习的不安全驾驶行为检测装置200，可对应于根据本申请实施例的基于深度学习的不安全驾驶行为检测方法中的执行主体，并且基于深度学习的不安全驾驶行为检测装置200中的各个模块分别为了实现图1所示方法中的相应流程，为了简洁，在此不再赘述。
图4是根据本申请实施例的一种基于深度学习的不安全驾驶行为检测设备400的示意性框图。如图4所示，设备400包括处理器401、存储器402和通信接口403，通信接口403用于与外部设备通信。
处理器401可以包括中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或其组合。处理器401还可以进一步包括硬件芯片，例如专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。处理器401中的各电路可以是独立的，也可以集成在一个或多个芯片中。
存储器401可以是独立的器件也可以集成在处理器401中。存储器401可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)。存储器401也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flashmemory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)。存储器401还可以包括上述种类的存储器的任意组合。
可选地，存储器402还用于存储计算机程序指令，处理器401执行所述存储器402存储的计算机程序指令，实现上面图1所示的方法。
通信接口403可以为可以是无线接口或有线接口。其中，无线接口可以是蜂窝移动网络接口，无线局域网(WLAN)接口等。有线接口可以是以太网接口，例如或光接口或电接口。
设备400还可以包括总线404，总线404用于连接处理器401、存储器402和通信接口403，使处理器401、存储器402和通信接口403通过总线404进行相互通信。
在一个实施方式中，所述存储器402用于存储程序代码，所述处理器401用于调用所述程序代码以实现图4中的功能和步骤。
在上述实施例中，可以全部或部分地通过软件、硬件或者其组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、双绞线、光纤)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，光盘)、或者半导体介质(例如固态硬盘)等。
Claims (10)
1.一种基于深度学习的不安全驾驶行为检测方法，其特征在于，包括：
采集目标车辆中驾驶员在驾驶所述目标车辆时的目标行为图像；
根据不安全驾驶行为识别网络识别所述目标行为图像中的不安全驾驶行为和所述不安全驾驶行为所属类别，所述不安全驾驶行为识别网络用于识别所述目标行为图像中所包括的不安全驾驶行为和所述不安全驾驶行为所属类别，所述不安全驾驶行为所属类别为预先设置，所述不安全驾驶行为识别网络为通过预设深度学习算法预先训练得到；
当所述目标行为图像中包括不安全驾驶行为时，根据所述不安全驾驶行为识别网络的识别结果确定所述目标车辆中驾驶员的不安全驾驶行为和所述驾驶员的不安全驾驶行为所属类别。
2.根据权利要求1所述的方法，其特征在于，在所述采集目标车辆中驾驶员在驾驶所述目标车辆时的目标行为图像之前，还包括：
获取不安全驾驶行为图像，其中，所述不安全驾驶行中标注出所述不安全驾驶行为图像中的不安全驾驶行为区域以及所述不安全驾驶行为区域所属类别；
通过所述不安全驾驶行为图像对预设不安全驾驶行为识别网络通过所述深度学习算法进行训练，得到所述不安全驾驶行为识别网络。
3.根据权利要求1所述的方法，其特征在于，所述根据不安全驾驶行为识别网络识别所述目标行为图像中的不安全驾驶行为和所述不安全驾驶行为所属类别，包括：
通过所述不安全驾驶行为识别网络中特征提取网络提取所述目标行为图像的特征；
基于所述特征通过所述不安全驾驶行为识别网络中检测网络识别出所述不安全驾驶行为和所述不安全驾驶行为所属类别。
4.根据权利要求1所述的方法，其特征在于，在所述根据不安全驾驶行为识别网络识别所述目标行为图像中的不安全驾驶行为和所述不安全驾驶行为所属类别之前，包括：
将所述目标行为图像的像素值调整为所述不安全驾驶行为识别网络所能识别图像的像素值。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述预设不安全驾驶行为识别网络包括单次多目标检测器SSD。
6.一种基于深度学习的不安全驾驶行为检测装置，其特征在于，包括：
采集单元，用于采集目标车辆中驾驶员在驾驶所述目标车辆时的目标行为图像；
识别单元，用于根据不安全驾驶行为识别网络识别所述目标行为图像中的不安全驾驶行为和所述不安全驾驶行为所属类别，所述不安全驾驶行为识别网络用于识别所述目标行为图像中所包括的不安全驾驶行为和所述不安全驾驶行为所属类别，所述不安全驾驶行为所属类别为预先设置，所述不安全驾驶行为识别网络为通过预设深度学习算法预先训练得到；
确定单元，用于当所述目标行为图像中包括不安全驾驶行为时，根据所述不安全驾驶行为识别网络的识别结果确定所述目标车辆中驾驶员的不安全驾驶行为和所述驾驶员的不安全驾驶行为所属类别。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
获取单元，用于获取不安全驾驶行为图像，其中，所述不安全驾驶行中标注出所述不安全驾驶行为图像中的不安全驾驶行为区域以及所述不安全驾驶行为区域所属的类别；
训练单元，用于通过所述不安全驾驶行为图像对预设不安全驾驶行为识别网络通过所述深度学习算法进行训练，得到所述不安全驾驶行为识别网络。
8.根据权利要求6所述的装置，其特征在于，所述识别单元具体用于：
通过所述不安全驾驶行为识别网络中特征提取网络提取所述目标行为图像的特征；
基于所述特征通过所述不安全驾驶行为识别网络中检测网络识别出所述不安全驾驶行为和所述不安全驾驶行为所属类别。
9.根据权利要求6所述的装置，其特征在于，还包括：
调整单元，用于将所述目标行为图像的像素值调整为所述不安全驾驶行为识别网络所能识别图像的像素值。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述预设不安全驾驶行为识别网络包括单次多目标检测器SSD。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910051565.5A CN109815884A (zh) | 2019-01-21 | 2019-01-21 | 基于深度学习的不安全驾驶行为检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910051565.5A CN109815884A (zh) | 2019-01-21 | 2019-01-21 | 基于深度学习的不安全驾驶行为检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109815884A true CN109815884A (zh) | 2019-05-28 |
Family
ID=66604587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910051565.5A Pending CN109815884A (zh) | 2019-01-21 | 2019-01-21 | 基于深度学习的不安全驾驶行为检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109815884A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533328A (zh) * | 2019-08-30 | 2019-12-03 | 广州广电城市服务集团股份有限公司 | 一种项目现场运行调度方法、装置、介质及终端设备 |
| CN110705416A (zh) * | 2019-09-24 | 2020-01-17 | 武汉工程大学 | 一种基于驾驶员面部图像建模的安全驾驶预警方法及系统 |
| CN111008567A (zh) * | 2019-11-07 | 2020-04-14 | 郑州大学 | 一种驾驶员行为识别方法 |
| CN111341106A (zh) * | 2020-03-11 | 2020-06-26 | 北京汽车集团有限公司 | 交通预警方法、装置和设备 |
| CN112149589A (zh) * | 2020-09-28 | 2020-12-29 | 南京领行科技股份有限公司 | 车内驾驶员行为识别方法及装置 |
| CN112926510A (zh) * | 2021-03-25 | 2021-06-08 | 深圳市商汤科技有限公司 | 异常驾驶行为识别方法及装置、电子设备和存储介质 |
| US20220292605A1 (en) * | 2020-05-26 | 2022-09-15 | BlueOwl, LLC | Systems and methods for identifying distracted driving events using common features |
| US11518391B1 (en) | 2020-05-26 | 2022-12-06 | BlueOwl, LLC | Systems and methods for identifying distracted driving events using semi-supervised clustering |
| US11518392B1 (en) | 2020-06-26 | 2022-12-06 | BlueOwl, LLC | Systems and methods for identifying distracted driving events using unsupervised clustering |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3193318A1 (en) * | 2016-01-18 | 2017-07-19 | Autoliv Development AB | Driver monitoring system and driver monitoring method for a motor vehicle |
| CN107862296A (zh) * | 2017-11-20 | 2018-03-30 | 深圳市深视创新科技有限公司 | 驾驶员行为的监控方法及系统、计算机可读存储介质 |
| CN108382396A (zh) * | 2018-02-02 | 2018-08-10 | 辽宁友邦网络科技有限公司 | 驾驶员驾驶状态识别系统及其应用方法 |
| CN108446678A (zh) * | 2018-05-07 | 2018-08-24 | 同济大学 | 一种基于骨骼特征的危险驾驶行为识别方法 |
| CN108647630A (zh) * | 2018-05-08 | 2018-10-12 | 北京优创新港科技股份有限公司 | 一种基于视频识别的危险驾驶行为监督方法与装置 |
| CN109002807A (zh) * | 2018-07-27 | 2018-12-14 | 重庆大学 | 一种基于ssd神经网络的驾驶场景车辆检测方法 |
-
2019
- 2019-01-21 CN CN201910051565.5A patent/CN109815884A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3193318A1 (en) * | 2016-01-18 | 2017-07-19 | Autoliv Development AB | Driver monitoring system and driver monitoring method for a motor vehicle |
| CN107862296A (zh) * | 2017-11-20 | 2018-03-30 | 深圳市深视创新科技有限公司 | 驾驶员行为的监控方法及系统、计算机可读存储介质 |
| CN108382396A (zh) * | 2018-02-02 | 2018-08-10 | 辽宁友邦网络科技有限公司 | 驾驶员驾驶状态识别系统及其应用方法 |
| CN108446678A (zh) * | 2018-05-07 | 2018-08-24 | 同济大学 | 一种基于骨骼特征的危险驾驶行为识别方法 |
| CN108647630A (zh) * | 2018-05-08 | 2018-10-12 | 北京优创新港科技股份有限公司 | 一种基于视频识别的危险驾驶行为监督方法与装置 |
| CN109002807A (zh) * | 2018-07-27 | 2018-12-14 | 重庆大学 | 一种基于ssd神经网络的驾驶场景车辆检测方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533328A (zh) * | 2019-08-30 | 2019-12-03 | 广州广电城市服务集团股份有限公司 | 一种项目现场运行调度方法、装置、介质及终端设备 |
| CN110705416B (zh) * | 2019-09-24 | 2022-03-01 | 武汉工程大学 | 一种基于驾驶员面部图像建模的安全驾驶预警方法及系统 |
| CN110705416A (zh) * | 2019-09-24 | 2020-01-17 | 武汉工程大学 | 一种基于驾驶员面部图像建模的安全驾驶预警方法及系统 |
| CN111008567A (zh) * | 2019-11-07 | 2020-04-14 | 郑州大学 | 一种驾驶员行为识别方法 |
| CN111008567B (zh) * | 2019-11-07 | 2023-03-24 | 郑州大学 | 一种驾驶员行为识别方法 |
| CN111341106A (zh) * | 2020-03-11 | 2020-06-26 | 北京汽车集团有限公司 | 交通预警方法、装置和设备 |
| US20220292605A1 (en) * | 2020-05-26 | 2022-09-15 | BlueOwl, LLC | Systems and methods for identifying distracted driving events using common features |
| US11518391B1 (en) | 2020-05-26 | 2022-12-06 | BlueOwl, LLC | Systems and methods for identifying distracted driving events using semi-supervised clustering |
| US11810198B2 (en) * | 2020-05-26 | 2023-11-07 | BlueOwl, LLC | Systems and methods for identifying distracted driving events using common features |
| US11518392B1 (en) | 2020-06-26 | 2022-12-06 | BlueOwl, LLC | Systems and methods for identifying distracted driving events using unsupervised clustering |
| US11738759B2 (en) | 2020-06-26 | 2023-08-29 | BlueOwl, LLC | Systems and methods for identifying distracted driving events using unsupervised clustering |
| CN112149589B (zh) * | 2020-09-28 | 2022-07-08 | 南京领行科技股份有限公司 | 车内驾驶员行为识别方法及装置 |
| CN112149589A (zh) * | 2020-09-28 | 2020-12-29 | 南京领行科技股份有限公司 | 车内驾驶员行为识别方法及装置 |
| CN112926510A (zh) * | 2021-03-25 | 2021-06-08 | 深圳市商汤科技有限公司 | 异常驾驶行为识别方法及装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109815884A (zh) | 基于深度学习的不安全驾驶行为检测方法及装置 | |
| KR102151365B1 (ko) | 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스 | |
| CN108764202B (zh) | 机场异物识别方法、装置、计算机设备及存储介质 | |
| CN106485215B (zh) | 基于深度卷积神经网络的人脸遮挡检测方法 | |
| CN105426870B (zh) | 一种人脸关键点定位方法及装置 | |
| KR102328734B1 (ko) | 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치 | |
| CN107851195B (zh) | 利用神经网络进行目标检测 | |
| US20200074178A1 (en) | Method and system for facilitating recognition of vehicle parts based on a neural network | |
| CN110033481B (zh) | 用于进行图像处理的方法和设备 | |
| CN111079640B (zh) | 一种基于自动扩增样本的车型识别方法及系统 | |
| CN110807491A (zh) | 车牌图像清晰度模型训练方法、清晰度检测方法及装置 | |
| CN105938559A (zh) | 使用卷积神经网络的数字图像处理 | |
| CN105631439A (zh) | 人脸图像处理方法和装置 | |
| CN110706261A (zh) | 车辆违章检测方法、装置、计算机设备和存储介质 | |
| JP2022521038A (ja) | 顔認識方法、ニューラルネットワークのトレーニング方法、装置及び電子機器 | |
| CN110059646B (zh) | 训练动作规划模型的方法及目标搜索方法 | |
| CN111144398A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN112818871B (zh) | 一种基于半分组卷积的全融合神经网络的目标检测方法 | |
| CN114663871A (zh) | 图像识别方法、训练方法、装置、系统及存储介质 | |
| CN112232133A (zh) | 基于深度卷积神经网络的输电线路图像识别方法及装置 | |
| CN108717520A (zh) | 一种行人重识别方法及装置 | |
| CN108363962B (zh) | 一种基于多层次特征深度学习的人脸检测方法及系统 | |
| CN110321867B (zh) | 基于部件约束网络的遮挡目标检测方法 | |
| CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
| CN114549414A (zh) | 一种针对轨道数据的异常变化检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190528 |