CN112132015A - 违规驾驶姿势的检测方法、装置、介质和电子设备 - Google Patents

违规驾驶姿势的检测方法、装置、介质和电子设备 Download PDF

Info

Publication number
CN112132015A
CN112132015A CN202011003091.6A CN202011003091A CN112132015A CN 112132015 A CN112132015 A CN 112132015A CN 202011003091 A CN202011003091 A CN 202011003091A CN 112132015 A CN112132015 A CN 112132015A
Authority
CN
China
Prior art keywords
image
driver
feature
target image
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011003091.6A
Other languages
English (en)
Inventor
吴晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202011003091.6A priority Critical patent/CN112132015A/zh
Publication of CN112132015A publication Critical patent/CN112132015A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及交通及人工智能技术领域，揭示了一种违规驾驶姿势的检测方法、装置、介质及电子设备。该方法包括：确定目标图像，所述目标图像中包括驾驶员的驾驶姿势；基于所述目标图像，通过预先构建的特征提取模型对所述目标图像进行特征提取，得到至少一种尺度的特征图，所述特征提取模型包括DarkNet神经网络模型和Attention模型；根据所述特征图，通过预先训练的检测框检测所述驾驶员是否存在违规驾驶行为。此方法下，能够提高对驾驶员违规驾驶姿势进行检测的准确性。

Description

违规驾驶姿势的检测方法、装置、介质和电子设备
技术领域
本申请涉及交通及人工智能技术领域，特别地，涉及一种违规驾驶姿势的检测方法、装置、介质和电子设备。
背景技术
目前，驾驶员违规驾驶行为是交通事故频发的重要原因之一，随着驾驶员违规驾驶行为日益增多，对驾驶员违规行为的自动检测变得尤为重要，而在一定程度上，可以通过检测驾驶员的驾驶姿势来检测驾驶员的违规驾驶行为。
在现有技术中针对图像中驾驶员驾驶姿势的检测算法，可以在晴天、白天、无遮挡等简单场景下达到实时检测并具有较高准确率的检测效果，但在雾霾、雨天、夜间、有遮挡等困难场景下，其检测的准确性都还相对较低。
基于此，如何提高对驾驶员违规驾驶姿势进行检测的准确性是亟待解决的技术问题。
发明内容
本申请的目的在于提供一种违规驾驶姿势的检测方法及装置、计算机可读存储介质、电子设备，从而可以提高对驾驶员违规驾驶姿势进行检测的准确性。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供了一种违规驾驶姿势的检测方法，所述方法包括：确定目标图像，所述目标图像中包括驾驶员的驾驶姿势；基于所述目标图像，通过预先构建的特征提取模型对所述目标图像进行特征提取，得到至少一种尺度的特征图，所述特征提取模型包括DarkNet神经网络模型和Attention模型；根据所述特征图，通过预先训练的检测框检测所述驾驶员是否存在违规驾驶行为。
根据本申请实施例的一个方面，提供了一种违规驾驶姿势的检测装置，所述装置包括：确定单元，被用于确定目标图像，所述目标图像中包括驾驶员的驾驶姿势；提取单元，被用于基于所述目标图像，通过预先构建的特征提取模型对所述目标图像进行特征提取，得到至少一种尺度的特征图，所述特征提取模型包括DarkNet神经网络模型和Attention模型；检测单元，被用于根据所述特征图，通过预先训练的检测框检测所述驾驶员是否存在违规驾驶行为。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序包括可执行指令，当该可执行指令被处理器执行时，实现如上述实施例中所述的违规驾驶姿势的检测方法。
根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储所述处理器的可执行指令，当所述可执行指令被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的违规驾驶姿势的检测方法。
在本申请一些实施例的技术方案中，通过包括DarkNet神经网络模型和Attention模型的特征提取模型对目标图像中驾驶员的驾驶姿势进行特征提取，得到至少一种尺度的特征图，可以保证对目标图像中的图像特征信息进行提取的完整性和召唤率，故通过预先训练的检测框对特征图的检测，能够提高对驾驶员违规驾驶姿势进行检测的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过参照附图详细描述其示例性实施例，本申请的上述和其它特征及优点将变得更加明显。
图1示出了根据本申请一个实施例的违规驾驶姿势的检测方法的应用场景示意图；
图2示出了根据本申请一个实施例的违规驾驶姿势的检测方法的流程图；
图3示出了根据本申请一个实施例的确定目标图像的细节流程图；
图4示出了根据本申请一个实施例的通过预先构建的特征提取模型对所述目标图像进行特征提取的细节流程图；
图5示出了根据本申请一个实施例的DarkNet神经网络模型的框架示意图；
图6示出了根据本申请一个实施例的Attention模型的框架示意图；
图7示出了根据本申请一个实施例的基于第一图像特征和第二图像特征确定至少一种尺度的特征图的细节流程图；
图8示出了根据本申请一个实施例的通过预先训练的检测框检测所述驾驶员是否存在违规驾驶行为的细节流程图；
图9示出了根据本申请一个实施例的训练检测框的细节流程图；
图10示出了根据本申请一个实施例的违规驾驶姿势的检测装置的框图；
图11示出了根据本申请一个实施例的实现违规驾驶姿势的检测方法的计算机可读存储介质；
图12示出了根据本申请一个实施例的实现违规驾驶姿势的检测方法的电子设备示例框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
还需要注意的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在图示或描述的那些以外的顺序实施。
首先，本申请对违规驾驶姿势检测方法的应用场景进行简单说明。
在本申请的一个实施例中，违规驾驶姿势的检测方法可以是实施在如图1所示的场景中，参照图1，示出了根据本申请一个实施例的违规驾驶姿势的检测方法的应用场景示意图。
首先需要说明的是，违规驾驶姿势的检测方法可以是基于如图所示的服务器104来实现的，当然，如图所示的服务器也可以由平板电脑、笔记本电脑等具有触摸式屏幕的电子设备来替代。
此外，违规驾驶姿势的检测方法还可以由具有云计算功能的云服务器来执行。具体的，所述云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展。通过建立云计算资源池(简称云平台，一般称为IaaS(Infrastructureas a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
在如图1所示例的场景中，驾驶员驾驶车辆101行驶在道路上，监控设备102用于录制或者拍摄车辆101中驾驶员的驾驶姿势，并将录制或者拍摄到的影像文件发送给服务器104，服务器104根据接收到的影像文件，通过执行本申请所提供的违规驾驶姿势的检测方法，对车辆101中的驾驶员是否存在违规驾驶行为(违规驾驶姿势)进行检测。
在本申请中，驾驶员违规驾驶行为包括接听电话，玩手机以及打瞌睡等行为，而违规驾驶行为可以通过违规驾驶姿势体现，因此，可以通过检测驾驶员是否存在违规驾驶姿势来检测驾驶员是否存在违规驾驶行为。
下面将结合图2对本申请实施例的违规驾驶姿势的检测方法的技术方案的实现细节进行详细阐述：
参见图2，示出了根据本申请一个实施例的示出的违规驾驶姿势的检测的流程图。该违规驾驶姿势的检测方法可以由具有计算处理功能的实体设备或者虚拟设备来执行。如图2所示，该违规驾驶姿势的检测方法至少包括步骤210至步骤250：
在步骤210中，确定目标图像，所述目标图像中包括驾驶员的驾驶姿势。
在本申请的一个实施例中，确定目标图像可以按照如图所示的步骤执行。
参见图3，示出了根据本申请一个实施例的确定目标图像的细节流程图。具体包括步骤211至212：
步骤211，获取原始图像，所述原始图像中包括驾驶员的驾驶姿势。
在本申请中，原始图像可以指包括有驾驶员的监控照片，例如，可以通过截取监控视频流中的图像获得监控照片。
步骤212，分别将所述原始图像在水平方向的水平像素数量和垂直方向的垂直像素数量调整为预定数值，得到目标图像，其中，所述水平像素数量和所述垂直像素数量相等。
在本申请中，在对原始图像在水平方向的像素数量和垂直方向的像素数量进行调整时，在水平方向的像素数量和在垂直方向的像素数量需要保持相等，且在水平方向的像素数量和在垂直方向的像素数量均需要满足2的n次方(n为正整数)，例如调整之后的目标图像的像素数量可以为512×512，也可以为256×256，还可以为1024×1024。这样做是为了在后续处理过程中对目标图像进行卷积处理。
继续参照图2，在步骤230中，基于所述目标图像，通过预先构建的特征提取模型对所述目标图像进行特征提取，得到至少一种尺度的特征图，所述特征提取模型包括DarkNet神经网络模型和Attention模型。
具体的，通过预先构建的特征提取模型对所述目标图像进行特征提取，得到至少一种尺度的特征图，可以按照如图4所述的步骤执行。
参见图4，示出了根据本申请一个实施例的通过预先构建的特征提取模型对所述目标图像进行特征提取的细节流程图。具体包括步骤231至233：
步骤231，将所述目标图像输入至所述DarkNet神经网络模型，以输出得到第一图像特征。
参见图5，示出了根据本申请一个实施例的DarkNet神经网络模型的框架示意图。
如图5所示，DarkNet神经网络模型500的主干网络使用了6个CresX结构组件510，其中X代表数字，具体包括Cres2，Cres4，Cres8，Cres8，Cres4，Cres2等等。DarkNet神经网络模型500具有残差结构，即在Dark Net神经网络模型500中，主要由残差单元叠加而成，使用这种结构可以让网络结构更深。
进一步的，在图5中，CBM组件511是DarkNet神经网络模型的基本组件，一个CBM组件511由卷积层后接批归一化Batch Normalization(BN)和Mish激活函数(或者Leaky ReLU激活函数)，在本申请中，随着层深的增加，Mish激活函数的好处在于训练稳定性、平均准确率、峰值准确率等方面都有全面的提高。
在本申请中，DarkNet神经网络模型500能够显著增强了雾霾、雨天、夜间、有遮挡等困难场景下的特征表达能力，从而提高了对驾驶员违规驾驶姿势进行检测的整体准确率和召回率。
步骤232，将所述第一图像特征输入至所述Attention模型，以输出得到第二图像特征。
参见图6，示出了根据本申请一个实施例的Attention模型的框架示意图。
具体的，如图6所示，经过DarkNet神经网络模型500输出的第一图像特征(矩阵)输入Attention模型600中，具体经过全局平均池化、全连接+Relu激活函数、1×1卷积+Sigmoid激活函数、两个矩阵相乘，得到第二图像特征。
例如，假设输入矩阵大小为4×32×32×75，则执行全局平均池化后得到的矩阵大小为4×75，接着执行全连接+Relu激活函数得到的矩阵大小仍为4×75，然后执行1×1卷积+Sigmoid激活函数得到大小为4×75的矩阵，最后将矩阵4×32×32×75和矩阵4×75这两个矩阵进行相乘得到最终的大小为4×32×32×75的输出矩阵，即第二图像特征。
在本申请中，Attention模型600使模型注意力能够集中在驾驶员区域以提取到更细节的特征，大大提高了提取特征的整体质量，从而提高了对驾驶员违规驾驶姿势进行检测的整体准确率和召回率。
步骤233，基于第一图像特征和第二图像特征，确定至少一种尺度的特征图。
在本实施例的一个具体实现中，基于第一图像特征和第二图像特征，确定至少一种尺度的特征图可以按照如图7所示的步骤执行。
参见图7，示出了根据本申请一个实施例的基于第一图像特征和第二图像特征确定至少一种尺度的特征图的细节流程图。具体包括步骤2331至2333：
步骤2331，对所述第二图像特征进行连续7次卷积处理，得到第一尺度特征图。
步骤2332，对所述第二图像特征进行连续6次卷积处理，得到第三图像特征；对所述第三图像特征进行降采样处理，得到第四图像特征；将所述第一图像特征与所述第四图像特征进行残差连接处理，得到第五图像特征；对所述第五图像特征进行连续7次卷积处理，得到第二尺度特征图。
步骤2333，对所述第五图像特征进行连续6次卷积处理，得到第六图像特征；对所述第六图像特征进行降采样处理，得到第七图像特征；将所述第一图像特征与所述第七图像特征进行残差连接处理，得到第八图像特征；对所述第八图像特征进行连续7次卷积处理，得到第三尺度特征图。
可见，在本申请中，基于第一图像特征和第二图像特征，多次执行3×3卷积+批归一化+Mish激活函数、1×1卷积、降采样处理、残差连接等操作步骤，得到至少一种尺度的特征图，例如，得到三种不同尺度的特征图y1、y2、y3。
继续参照图2，在步骤250中，根据所述特征图，通过预先训练的检测框检测所述驾驶员是否存在违规驾驶行为。
在本申请的一个实施例中，通过预先训练的检测框检测所述驾驶员是否存在违规驾驶行为可以按照如图8所示的步骤执行。
参见图8，示出了根据本申请一个实施例的通过预先训练的检测框检测所述驾驶员是否存在违规驾驶行为的细节流程图。具体包括步骤251至252：
步骤251，通过预先训练的检测框，遍历所述特征图的各个区域，其中，针对每一个区域，确定一个用于表征驾驶员存在违规驾驶行为的置信度。
步骤252，根据所述置信度，确定所述驾驶员是否存在违规驾驶行为。
具体的，在本申请中，可以是在所述置信度超过第二预定阈值时，确定所述驾驶员存在违规驾驶行为。
在本申请中，首先可以通过预先训练的检测框在特征图上检测出驾驶员的位置。然后，再对驾驶员的驾驶姿势是否为违规姿势进行分类(二分类)，例如驾驶具有打电话的违规姿势或者驾驶员不具有打电话的违规姿势。
具体的，请参照如下公式：
Lconf(o,c)＝﹣∑(oiln(Sigmoid(ci))+(1﹣oi)ln(1﹣Sigmoid(ci)))
在通过检测框在特征图上检测驾驶员的位置时，可以首先通过目标置信度预测检测框内存在驾驶员的概率，目标置信度损失Lconf(o,c)，采用的是二值交叉熵损失，其中oi∈(0,1)，表示检测框i中是否真实存在驾驶员，0表示不存在，1表示存在。Sigmoid(ci)表示检测框i内是否存在驾驶员的Sigmoid概率(将预测值ci通过Sigmoid函数得到)。
进一步的，请参照如下公式：
Figure BDA0002694986640000081
根据如上公式，可以通过目标类别损失检测驾驶员的是否存在某种违规驾驶姿势(例如，驾驶员存在打电话姿势)，目标类别损失Lcla(o,c)同样采用的是二值交叉熵损失，其中oij∈(0,1)，表示检测框i中是否真实存在第j类违规驾驶姿势，0表示不存在，1表示存在。Sigmoid(cij)表示检测框i内存在第j类违规驾驶姿势的Sigmoid概率(将预测值cij通过Sigmoid函数得到)。
在本申请中，步骤251中的检测框可以按照如图9所示的步骤训练：
参见图9，示出了根据本申请一个实施例的训练检测框的细节流程图。具体包括步骤2511至2514：
步骤2511，在用于训练检测框的辅助特征图上标注由驾驶员违规驾驶姿势而确定的参照框。
步骤2512，通过Kmeans++算法聚类得到至少一种形状的先验框。
步骤2513，针对每一种形状的先验框，遍历所述辅助特征图的各个区域，其中，针对每一个区域，得到所述先验框与所述参照框的交并比值。
步骤2514，在所述交并比值超过第一预定阈值时，将所述先验框确定为检测框。
需要说明的是，交并比是指先验框与参照框之间面积交集与面积并集的比值。
在本申请中，通过Kmeans++算法聚类得到至少一种形状的先验框，可以改善了先验框的生成质量，从而提高了检测框的定位精度，进一步提高了对驾驶员违规驾驶姿势进行检测的整体准确率和召回率。
综上所述，在本申请一些实施例的技术方案中，通过包括DarkNet神经网络模型和Attention模型的特征提取模型对目标图像中驾驶员的驾驶姿势进行特征提取，得到至少一种尺度的特征图，可以保证对目标图像中的图像特征信息进行提取的完整性和召唤率，故通过预先训练的检测框对特征图的检测，能够提高对驾驶员违规驾驶姿势进行检测的准确性。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的违规驾驶姿势的检测方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的违规驾驶姿势的检测方法的实施例。
图10示出了根据本申请一个实施例的违规驾驶姿势的检测装置的框图。
参照图10所示，根据本申请的一个实施例的违规驾驶姿势的检测装置1000，所述装置包括：确定单元1001，提取单元1002和检测单元1003。
其中，确定单元1001，被用于确定目标图像，所述目标图像中包括驾驶员的驾驶姿势；提取单元1002，被用于基于所述目标图像，通过预先构建的特征提取模型对所述目标图像进行特征提取，得到至少一种尺度的特征图，所述特征提取模型包括DarkNet神经网络模型和Attention模型；检测单元1003，被用于根据所述特征图，通过预先训练的检测框检测所述驾驶员是否存在违规驾驶行为。
在本申请的一些实施例中，基于前述方案，所述确定单元1001包括：获取单元，被用于获取原始图像，所述原始图像中包括驾驶员的驾驶姿势；调整单元，被用于分别将所述原始图像在水平方向的水平像素数量和垂直方向的垂直像素数量调整为预定数值，得到目标图像，其中，所述水平像素数量和所述垂直像素数量相等。
在本申请的一些实施例中，基于前述方案，所述提取单元1002配置为：将所述目标图像输入至所述DarkNet神经网络模型，以输出得到第一图像特征；将所述第一图像特征输入至所述Attention模型，以输出得到第二图像特征；基于第一图像特征和第二图像特征，确定至少一种尺度的特征图。
在本申请的一些实施例中，基于前述方案，所述提取单元1002配置为：对所述第二图像特征进行连续7次卷积处理，得到第一尺度特征图；对所述第二图像特征进行连续6次卷积处理，得到第三图像特征；对所述第三图像特征进行降采样处理，得到第四图像特征；将所述第一图像特征与所述第四图像特征进行残差连接处理，得到第五图像特征；对所述第五图像特征进行连续7次卷积处理，得到第二尺度特征图；对所述第五图像特征进行连续6次卷积处理，得到第六图像特征；对所述第六图像特征进行降采样处理，得到第七图像特征；将所述第一图像特征与所述第七图像特征进行残差连接处理，得到第八图像特征；对所述第八图像特征进行连续7次卷积处理，得到第三尺度特征图。
在本申请的一些实施例中，基于前述方案，所述检测单元1003配置为：通过预先训练的检测框，遍历所述特征图的各个区域，其中，针对每一个区域，确定一个用于表征驾驶员存在违规驾驶行为的置信度；根据所述置信度，确定所述驾驶员是否存在违规驾驶行为。
在本申请的一些实施例中，基于前述方案，所述检测单元1003配置为：在所述置信度超过第一预定阈值时，确定所述驾驶员存在违规驾驶行为。
在本申请的一些实施例中，基于前述方案，所述装置还包括训练单元，被用于：在用于训练检测框的辅助特征图上标注由驾驶员违规驾驶姿势而确定的参照框；通过Kmeans++算法聚类得到至少一种形状的先验框；针对每一种形状的先验框，遍历所述辅助特征图的各个区域，其中，针对每一个区域，得到所述先验框与所述参照框的交并比值；在所述交并比值超过第二预定阈值时，将所述先验框确定为检测框。
应当注意，尽管在上文详细描述中提及了违规驾驶姿势的检测方法以及违规驾驶姿势的检测装置的若干单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
作为另一方面，本申请还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。
参考图11所示，描述了根据本申请的实施方式的用于实现上述方法的程序产品1100，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
作为另一方面，本申请还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图12来描述根据本申请的这种实施方式的电子设备1200。图12显示的电子设备1200仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：上述至少一个处理单元1210、上述至少一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元1210)的总线1230。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1210执行，使得所述处理单元1210执行本说明书上述“实施例方法”部分中描述的根据本申请各种示例性实施方式的步骤。
存储单元1220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1221和/或高速缓存存储单元1222，还可以进一步包括只读存储单元(ROM)1223。
存储单元1220还可以包括具有一组(至少一个)程序模块1225的程序/实用工具1224，这样的程序模块1225包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1200也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1200交互的设备通信，和/或与使得该电子设备1200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1250进行。并且，电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1260通过总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
此外，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种违规驾驶姿势的检测方法，其特征在于，所述方法包括：
确定目标图像，所述目标图像中包括驾驶员的驾驶姿势；
基于所述目标图像，通过预先构建的特征提取模型对所述目标图像进行特征提取，得到至少一种尺度的特征图，所述特征提取模型包括DarkNet神经网络模型和Attention模型；
根据所述特征图，通过预先训练的检测框检测所述驾驶员是否存在违规驾驶行为。
2.根据权利要求1所述的方法，其特征在于，所述确定目标图像，所述目标图像中包括驾驶员的驾驶姿势，包括：
获取原始图像，所述原始图像中包括驾驶员的驾驶姿势；
分别将所述原始图像在水平方向的水平像素数量和垂直方向的垂直像素数量调整为预定数值，得到目标图像，其中，所述水平像素数量和所述垂直像素数量相等。
3.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像，通过预先构建的特征提取模型对所述目标图像进行特征提取，得到至少一种尺度的特征图，包括：
将所述目标图像输入至所述DarkNet神经网络模型，以输出得到第一图像特征；
将所述第一图像特征输入至所述Attention模型，以输出得到第二图像特征；
基于第一图像特征和第二图像特征，确定至少一种尺度的特征图。
4.根据权利要求3所述的方法，其特征在于，所述基于第一图像特征和第二图像特征，确定至少一种尺度的特征图，包括：
对所述第二图像特征进行连续7次卷积处理，得到第一尺度特征图；
对所述第二图像特征进行连续6次卷积处理，得到第三图像特征；对所述第三图像特征进行降采样处理，得到第四图像特征；将所述第一图像特征与所述第四图像特征进行残差连接处理，得到第五图像特征；对所述第五图像特征进行连续7次卷积处理，得到第二尺度特征图；
对所述第五图像特征进行连续6次卷积处理，得到第六图像特征；对所述第六图像特征进行降采样处理，得到第七图像特征；将所述第一图像特征与所述第七图像特征进行残差连接处理，得到第八图像特征；对所述第八图像特征进行连续7次卷积处理，得到第三尺度特征图。
5.根据权利要求1所述的方法，其特征在于，所述根据所述特征图，通过预先训练的检测框检测所述驾驶员是否存在违规驾驶行为，包括：
通过预先训练的检测框，遍历所述特征图的各个区域，其中，针对每一个区域，确定一个用于表征驾驶员存在违规驾驶行为的置信度；
根据所述置信度，确定所述驾驶员是否存在违规驾驶行为。
6.根据权利要求5所述的方法，其特征在于，所述根据所述置信度，确定所述驾驶员是否存在违规驾驶行为，包括：
在所述置信度超过第一预定阈值时，确定所述驾驶员存在违规驾驶行为。
7.根据权利要求5所述的方法，其特征在于，所述检测框通过如下方式训练得到：
在用于训练检测框的辅助特征图上标注由驾驶员违规驾驶姿势而确定的参照框；
通过Kmeans++算法聚类得到至少一种形状的先验框；
针对每一种形状的先验框，遍历所述辅助特征图的各个区域，其中，针对每一个区域，得到所述先验框与所述参照框的交并比值；
在所述交并比值超过第二预定阈值时，将所述先验框确定为检测框。
8.一种违规驾驶姿势的检测装置，其特征在于，所述装置包括：
确定单元，被用于确定目标图像，所述目标图像中包括驾驶员的驾驶姿势；
提取单元，被用于基于所述目标图像，通过预先构建的特征提取模型对所述目标图像进行特征提取，得到至少一种尺度的特征图，所述特征提取模型包括DarkNet神经网络模型和Attention模型；
检测单元，被用于根据所述特征图，通过预先训练的检测框检测所述驾驶员是否存在违规驾驶行为。
9.一种计算机可读程序介质，其特征在于，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1至7中任一项所述的方法。
10.一种违规驾驶姿势的检测电子设备，其特征在于，所述电子设备包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至7任一项所述的方法。
CN202011003091.6A 2020-09-22 2020-09-22 违规驾驶姿势的检测方法、装置、介质和电子设备 Pending CN112132015A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011003091.6A CN112132015A (zh) 2020-09-22 2020-09-22 违规驾驶姿势的检测方法、装置、介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011003091.6A CN112132015A (zh) 2020-09-22 2020-09-22 违规驾驶姿势的检测方法、装置、介质和电子设备

Publications (1)

Publication Number Publication Date
CN112132015A true CN112132015A (zh) 2020-12-25

Family

ID=73842396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011003091.6A Pending CN112132015A (zh) 2020-09-22 2020-09-22 违规驾驶姿势的检测方法、装置、介质和电子设备

Country Status (1)

Country Link
CN (1) CN112132015A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861608A (zh) * 2020-12-30 2021-05-28 浙江万里学院 一种分心驾驶行为的检测方法及系统
CN113283286A (zh) * 2021-03-24 2021-08-20 上海高德威智能交通系统有限公司 一种驾驶员异常行为检测方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013013487A1 (zh) * 2011-07-26 2013-01-31 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN109389068A (zh) * 2018-09-28 2019-02-26 百度在线网络技术（北京）有限公司 用于识别驾驶行为的方法和装置
CN109543627A (zh) * 2018-11-27 2019-03-29 西安电子科技大学 一种判断驾驶行为类别的方法、装置、及计算机设备
CN109886209A (zh) * 2019-02-25 2019-06-14 成都旷视金智科技有限公司 异常行为检测方法及装置、车载设备
CN111222449A (zh) * 2020-01-02 2020-06-02 上海中安电子信息科技有限公司 一种基于固定摄像头图像的驾驶员行为检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013013487A1 (zh) * 2011-07-26 2013-01-31 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN109389068A (zh) * 2018-09-28 2019-02-26 百度在线网络技术（北京）有限公司 用于识别驾驶行为的方法和装置
CN109543627A (zh) * 2018-11-27 2019-03-29 西安电子科技大学 一种判断驾驶行为类别的方法、装置、及计算机设备
CN109886209A (zh) * 2019-02-25 2019-06-14 成都旷视金智科技有限公司 异常行为检测方法及装置、车载设备
CN111222449A (zh) * 2020-01-02 2020-06-02 上海中安电子信息科技有限公司 一种基于固定摄像头图像的驾驶员行为检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861608A (zh) * 2020-12-30 2021-05-28 浙江万里学院 一种分心驾驶行为的检测方法及系统
CN113283286A (zh) * 2021-03-24 2021-08-20 上海高德威智能交通系统有限公司 一种驾驶员异常行为检测方法和装置
CN113283286B (zh) * 2021-03-24 2023-11-21 上海高德威智能交通系统有限公司 一种驾驶员异常行为检测方法和装置

Similar Documents

Publication Publication Date Title
US9665962B2 (en) Image distractor detection and processng
EP4053735A1 (en) Method for structuring pedestrian information, device, apparatus and storage medium
CN109635783B (zh) 视频监控方法、装置、终端和介质
CN112016467B (zh) 交通标志识别模型训练方法、识别方法、系统、设备及介质
CN112668588B (zh) 车位信息生成方法、装置、设备和计算机可读介质
JP7273129B2 (ja) 車線検出方法、装置、電子機器、記憶媒体及び車両
JP2021119506A (ja) ナンバープレート認識方法、ナンバープレート認識モデルの訓練方法及び装置
CN114202743A (zh) 自动驾驶场景下基于改进faster-RCNN的小目标检测方法
CN112650300B (zh) 一种无人机避障方法和装置
CN112132015A (zh) 违规驾驶姿势的检测方法、装置、介质和电子设备
CN111405475A (zh) 一种多维感知数据碰撞融合分析方法和装置
CN111192312A (zh) 基于深度学习的深度图像获取方法、装置、设备及介质
CN114612904A (zh) 车位情况信息推送方法、装置、电子设备和存储介质
CN107729944B (zh) 一种低俗图片的识别方法、装置、服务器及存储介质
CN116778415A (zh) 一种无人机用人群计数网络模型及计数方法
CN115331048B (zh) 图像分类方法、装置、设备以及存储介质
CN114429631B (zh) 三维对象检测方法、装置、设备以及存储介质
CN115527163A (zh) 目标检测模型优化方法、装置、电子设备及可读存储介质
CN116229535A (zh) 人脸检测模型的训练方法、人脸检测方法及装置
CN110544221B (zh) 训练方法及装置、去雨方法、终端设备、存储介质
CN113610856A (zh) 训练图像分割模型和图像分割的方法和装置
CN113191364A (zh) 车辆外观部件识别方法、装置、电子设备和介质
CN112801960A (zh) 图像处理方法及装置、存储介质、电子设备
CN111160197A (zh) 人脸检测方法、装置、电子设备、存储介质
CN117788842B (zh) 图像检索方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination