CN114092902A - 电动自行车违规行为的检测方法及装置 - Google Patents

电动自行车违规行为的检测方法及装置 Download PDF

Info

Publication number
CN114092902A
CN114092902A CN202010746583.8A CN202010746583A CN114092902A CN 114092902 A CN114092902 A CN 114092902A CN 202010746583 A CN202010746583 A CN 202010746583A CN 114092902 A CN114092902 A CN 114092902A
Authority
CN
China
Prior art keywords
lane line
line image
position information
electric bicycle
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010746583.8A
Other languages
English (en)
Inventor
王向鸿
王鹏飞
李京
郝尚荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN202010746583.8A priority Critical patent/CN114092902A/zh
Publication of CN114092902A publication Critical patent/CN114092902A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种电动自行车违规行为的检测方法及装置，该电动自行车违规行为的检测方法包括：获取电动自行车上摄像装置拍摄的车道线图像；对车道线图像中的车道线进行识别，得到车道线在车道线图像上的第一位置信息；基于车道线图像获取车道线图像的预设参考点的第二位置信息；基于第一位置信息和第二位置信息确定电动自行车的违规行为。本申请通过设置在电动自行车上的摄像装置拍摄车道线图像，对车道线的位置进行识别，然后根据车道线和预设参考点的位置确定违规行为，无需对电动自行车的位置进行识别即可确定违规行为，避免了电动自行车位置识别误差对检测结果的影响，提高了电动自行车违规行为的检测方法的精确度。

Description

电动自行车违规行为的检测方法及装置
技术领域
本申请涉及电动车违规行为检测技术领域，具体涉及一种电动自行车违规行为的检测方法及装置。
背景技术
近年来，电动自行车在我国迅速普及，逐渐成为群众中短途出行的重要交通工具，目前全社会保有量约2亿辆。随之而来的是部分驾驶员无安全驾驶意识，占用机动车道、闯红灯、逆向行驶、违法载人、酒后驾驶、非法营运、加装车篷、违禁通行等电动车乱象，使得电动车交通事故率连年攀升。由于缺乏相应的交通管理规则和措施，电动自行车成了城市交通乱象的罪魁祸首之一。
现有技术中，检测电动自行车是否违规主要靠部署在城市的公共道路、各类园区、高速公路主路以及重要出入口等处的静态摄像头来对违规行为图像进行采集，然后再确定违规行为，这种方案需要识别电动自行车和车道线的位置，然后对电动自行车是否违规进行判断，然而通过人工或机器对电动自行车的位置进行识别均存在误差，现有方案精确度较低。
也即，现有技术中，电动自行车违规行为的检测方法精确度较低。
发明内容
本申请提供一种电动自行车违规行为的检测方法及装置，旨在解决电动自行车违规行为的检测方法精确度较低的问题。
一方面，本申请提供一种检测方法，所述检测方法包括：
获取电动自行车上摄像装置拍摄的车道线图像；
对所述车道线图像中的车道线进行识别，得到所述车道线在所述车道线图像上的第一位置信息；
基于所述车道线图像获取所述车道线图像的预设参考点的第二位置信息；
基于所述第一位置信息和所述第二位置信息确定所述电动自行车的违规行为。
其中，所述对所述车道线图像中的车道线进行识别，得到所述车道线在所述车道线图像上的第一位置信息，包括：
对所述车道线图像进行语义分割，得到车道线在所述车道线图像上的第一位置信息。
其中，所述对所述车道线图像进行语义分割，得到车道线在所述车道线图像上的第一位置信息，包括：
基于具有注意力机制的分类神经网络模型对所述车道线图像进行图像分类，得到所述车道线图像的至少两个分类结果和所述至少两个分类结果对应的至少两个分类置信度；
若所述至少两个分类置信度中的所有分类置信度均小于预设值，则对所述车道线图像进行语义分割，得到所述车道线在所述车道线图像上的第一位置信息。
其中，所述基于具有注意力机制的分类神经网络模型对所述车道线图像进行图像分类，得到所述车道线图像的至少两个分类结果和所述至少两个分类结果对应的至少两个分类置信度，包括：
提取所述车道线图像的第一特征图；
基于注意力机制对所述第一特征图的权重进行重分配，得到重分配后的第二特征图；
基于所述第二特征图对所述车道线图像进行图像分类，得到所述车道线图像的至少两个分类结果和所述至少两个分类结果对应的至少两个分类置信度。
其中，所述检测方法还包括：
若所述至少两个分类置信度中存在不小于预设值的分类置信度，则将所述至少两个分类结果中分类置信度最大的分类结果确定为目标分类结果；
基于所述目标分类结果确定所述电动自行车的违规行为。
其中，所述预设参考点为所述车道线图像的图像中心点，所述车道线包括第一车道线和第二车道线；所述第一位置信息包括所述第一车道线在所述车道线图像上的第三位置信息和所述第二车道线在所述车道线图像上的第四位置信息；
所述基于所述第一位置信息和所述第二位置信息确定所述电动自行车的违规行为，包括：
基于所述第三位置信息和所述第二位置信息确定所述第一车道线与所述图像中心点的第一相对位置关系；
若所述第一相对位置关系满足第一预设条件，则基于所述第四位置信息和第二位置信息确定所述第二车道线与所述图像中心点的第二相对位置关系；
基于所述第二相对位置关系确定所述电动自行车的违规行为。
其中，所述检测方法还包括，
若所述第一相对位置关系不满足第一预设条件，则确定所述电动自行车的违规行为为逆行。
一方面，本申请提供一种电动自行车违规行为的检测装置，所述检测装置包括：
第一获取单元，用于获取电动自行车上摄像装置拍摄的车道线图像；
车道线识别单元，用于对所述车道线图像中的车道线进行识别，得到所述车道线在所述车道线图像上的第一位置信息；
第二获取单元，用于基于所述车道线图像获取所述车道线图像的预设参考点的第二位置信息；
确定单元，用于基于所述第一位置信息和所述第二位置信息确定所述电动自行车的违规行为。
其中，所述车道线识别单元，还用于对所述车道线图像进行语义分割，得到车道线在所述车道线图像上的第一位置信息。
其中，所述车道线识别单元，还用于基于具有注意力机制的分类神经网络模型对所述车道线图像进行图像分类，得到所述车道线图像的至少两个分类结果和所述至少两个分类结果对应的至少两个分类置信度；
若所述至少两个分类置信度中的所有分类置信度均小于预设值，则对所述车道线图像进行语义分割，得到所述车道线在所述车道线图像上的第一位置信息。
其中，所述车道线识别单元，还用于提取所述车道线图像的第一特征图；
基于注意力机制对所述第一特征图的权重进行重分配，得到重分配后的第二特征图；
基于所述第二特征图对所述车道线图像进行图像分类，得到所述车道线图像的至少两个分类结果和所述至少两个分类结果对应的至少两个分类置信度。
其中，所述确定单元，还用于若所述至少两个分类置信度中存在不小于预设值的分类置信度，则将所述至少两个分类结果中分类置信度最大的分类结果确定为目标分类结果；
基于所述目标分类结果确定所述电动自行车的违规行为。
其中，所述预设参考点为所述车道线图像的图像中心点，所述车道线包括第一车道线和第二车道线；所述第一位置信息包括所述第一车道线在所述车道线图像上的第三位置信息和所述第二车道线在所述车道线图像上的第四位置信息；
所述确定单元，还用于基于所述第三位置信息和所述第二位置信息确定所述第一车道线与所述图像中心点的第一相对位置关系；
若所述第一相对位置关系满足第一预设条件，则基于所述第四位置信息和第二位置信息确定所述第二车道线与所述图像中心点的第二相对位置关系；
基于所述第二相对位置关系确定所述电动自行车的违规行为。
其中，所述确定单元，还用于若所述第一相对位置关系不满足第一预设条件，则确定所述电动自行车的违规行为为逆行。
一方面，本申请还提供一种电子设备，所述电子设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的电动自行车违规行为的检测方法。
一方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行第一方面中任一项所述的电动自行车违规行为的检测方法中的步骤。
本申请提供一种电动自行车违规行为的检测方法，通过设置在电动自行车上的摄像装置拍摄车道线图像，对车道线的位置进行识别，然后根据车道线和预设参考点的位置确定违规行为，无需对电动自行车的位置进行识别即可确定违规行为，避免了电动自行车位置识别误差对检测结果的影响，提高了电动自行车违规行为的检测方法的精确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的电动自行车违规行为的检测系统的场景示意图；
图2是本申请实施例提供的电动自行车违规行为的检测方法的一个实施例流程示意图；
图3是本申请实施例中提供的电动自行车违规行为的检测装置一个实施例结构示意图；
图4是本申请实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或相对位置关系为基于附图所示的方位或相对位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
需要说明的是，本申请实施例方法由于是在电子设备中执行，各电子设备的处理对象均以数据或信息的形式存在，例如时间，实质为时间信息，可以理解的是，后续实施例中若提及尺寸、数量、位置等，均为对应的数据存在，以便电子设备进行处理，具体此处不作赘述。
本申请实施例提供一种电动自行车违规行为的检测方法及装置，以下分别进行详细说明。
请参阅图1，图1为本申请实施例所提供的电动自行车违规行为的检测系统的场景示意图，该电动自行车违规行为的检测系统可以包括电子设备100，电子设备100中集成有电动自行车违规行为的检测装置，如图1中的电子设备。
本申请实施例中电子设备100主要用于获取电动自行车上摄像装置拍摄的车道线图像；对车道线图像中的车道线进行识别，得到车道线在车道线图像上的第一位置信息；基于车道线图像获取车道线图像的预设参考点的第二位置信息；基于第一位置信息和第二位置信息确定电动自行车的违规行为。
本申请实施例中，该电子设备100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本申请实施例中所描述的电子设备100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的电子设备，例如图1中仅示出1个电子设备，可以理解的，该电动自行车违规行为的检测系统还可以包括一个或多个其他服务，具体此处不作限定。
另外，如图1所示，该电动自行车违规行为的检测系统还可以包括存储器200，用于存储数据。
需要说明的是，图1所示的电动自行车违规行为的检测系统的场景示意图仅仅是一个示例，本申请实施例描述的电动自行车违规行为的检测系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着电动自行车违规行为的检测系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
首先，本申请实施例中提供一种电动自行车违规行为的检测方法，该检测方法包括：获取电动自行车上摄像装置拍摄的车道线图像；对车道线图像中的车道线进行识别，得到车道线在车道线图像上的第一位置信息；基于车道线图像获取车道线图像的预设参考点的第二位置信息；基于第一位置信息和第二位置信息确定电动自行车的违规行为。
参阅图2，图2是本申请实施例提供的电动自行车违规行为的检测方法的一个实施例流程示意图。如图2所示，该检测方法包括：
S201、获取电动自行车上摄像装置拍摄的车道线图像。
本申请实施例中，摄像装置可以是固定于电动自行车上的相机、手机、行车记录仪等，能够实时对电动自行车前方的路况进行拍摄，得到车道线视频。具体的，电动自行车违规行为的检测装置获取电动自行车上摄像装置拍摄的车道线视频，按预设频率对车道线视频解码并提取车道线图像。其中，预设频率可以是1hz，0.5hz等，根据检测装置的计算能力具体设置即可。
S202、对车道线图像中的车道线进行识别，得到车道线在车道线图像上的第一位置信息。
本申请实施例中，对车道线图像进行语义分割，得到车道线在车道线图像上的第一位置信息。语义分割是计算机视觉中的基本任务，在语义分割中我们需要将视觉输入分为不同的语义可解释类别，语义的可解释性即分类类别在真实世界中是有意义的。语义分割的过程可以理解为在图片的每一个像素点上执行分类，对图像中的每个像素打上类别标签，例如把图像分为人(红色)、车道线(绿色)等标签。当然，也可以对车道线进行实例分割，得到车道线在车道线图像上的第一位置信息。
具体的，可以通过DABNet、cgnet(Context Guided Network，上下文引导网络)、bisenet(Bilatel Segmentation Network，双侧分割网络)等轻量级的语义分割网络模型对车道线图像进行语义分割，得到车道线图像上每个被标识为车道线的像素点，从而得到车道线在车道线图像上的第一位置信息。其中，第一位置信息可以为第一车道线的坐标，在车道线图像建立坐标系，即可得到第一车道线每个像素点的坐标。
进一步的，轻量级的语义分割网络模型为训练过的轻量级的语义分割网络模型。
DABNet(Depth-wise Asymmetric Bottleneck DAB module，深度的非对称瓶颈模块)，高效的利用深度的非对称卷积和空洞卷积来建立一个瓶颈结构。利用DAB模块构建的DABNet可以构造充足的感受野并密集的利用上下文信息，而且不需要任何的预训练和后处理，就可以达到较高的精度。网络首先采用三个3x3卷积来提取最初的特征，初始下采样策略，是一个步长2的3x3卷积和2x2的最大池化的concat，其余的下采样阶段，都是步长为2的3x3卷积，为了使得下采样率不是特别大。在下采样的阶段，都会将原始图concatenates到下采样的模块中，来促进功能重用并补偿信息的丢失。为了更好地加强空间关系和特征传播，引入了块间级联以将高级特征与低级特征相结合，这意味着在每个DAB块中堆叠第一个DAB模块和最后一个DAB模块。对于空洞卷积，DAB块1中的所有DAB模块都包括具有空洞率为2的深度的非对称空洞卷积，并且DAB块2中的空洞率分别为4、4、8、8、16、16。
在一个具体的实施例中，对车道线图像进行语义分割，得到车道线在车道线图像上的第一位置信息，还可以包括以下步骤：
(1)基于具有注意力机制的分类神经网络模型对车道线图像进行图像分类，得到车道线图像的至少两个分类结果和至少两个分类结果对应的至少两个分类置信度。
具体的，提取车道线图像的第一特征图；基于注意力机制对第一特征图的权重进行重分配，得到重分配后的第二特征图；基于第二特征图对车道线图像进行图像分类，得到车道线图像的至少两个分类结果和至少两个分类结果对应的至少两个分类置信度。
例如，至少两个分类结果分别是机动车道逆行、占用机动车道以及非机动车道逆行。经过具有注意力机制的分类神经网络模型对车道线图像进行图像分类后，得到的分类结果是：占用机动车道，分类置信度0.2；机动车道逆行，分类置信度0.7；非机动车道逆行；分类置信度0.1。
其中，具有注意力机制的分类神经网络模型可以是具有注意力机制的Efficientnet分类网络模型。Efficientnet(Rethinking Model Scaling forConvolutional Neural Networks)的基础网络架构是通过使用神经网络架构搜索(neuralarchitecture search)设计得到。使用简单而高效的复合系数来权衡网络深度、宽度和输入图片分辨率。
具体的，可以通过标注有违规行为的车道线图片对该具有注意力机制的分类神经网络模型进行训练，得到训练后的具有注意力机制的分类神经网络模型，利用训练后的具有注意力机制的分类神经网络模型对车道线图像进行图像分类。
在本申请的一个实施例中，该具有注意力机制的Efficientnet分类网络模型可以为Efficientnet-b0结构，包含多个相连接的卷积层和全连接层，在卷积层最后引入注意力机制模块，对图像特征进行重分配，通过学习的方式来自动获取到每个特征通道的重要程度，该模块包含全局平均池化层，1*1卷积层和批归一化层以及Sigmoid。经过注意力机制模块后，连接全连接层，经过softmax获得相应违规行为的分类置信度。
(2)若至少两个分类置信度中的所有分类置信度均小于预设值，则对车道线图像进行语义分割，得到车道线在车道线图像上的第一位置信息。
其中，预设值可以为0.7、0.8等。若至少两个分类置信度中的所有分类置信度均小于预设值，表明具有注意力机制的分类神经网络模型无法提供置信度较高的预测结果，每个预测结果均不可信，因此需要再次进行预测，则对车道线图像进行语义分割，得到车道线在车道线图像上的第一位置信息。也即，在初次预测结果不满足要求时，通过更准确的语义分割对车道线图像进行再次预测，能够对疑似违规的车道线图像进行再次判断，提高电动自行车违规行为确定的准确度。
进一步的，若至少两个分类置信度中存在不小于预设值的分类置信度，则将至少两个分类结果中分类置信度最大的分类结果确定为目标分类结果；基于目标分类结果确定电动自行车的违规行为。例如，占用机动车道，分类置信度0.05；机动车道逆行，分类置信度0.85；非机动车道逆行；分类置信度0.1，预设值是0.8，则目标分类结果为机动车道逆行，将机动车道逆行确定电动自行车的违规行为。也即，通过具有注意力机制的分类神经网络模型对电动自行车的违规行为进行初次预测，在初次预测的结果满足要求时，直接根据预测的分类结果确定违规行为，提高检测效率。
S203、基于车道线图像获取车道线图像的预设参考点的第二位置信息。
本申请实施例中，预设参考点可以为车道线图像上预设的像素点，具体可以为车道线图像的图像中心点。当然，预设参考点也可以根据摄像装置相对电动自行车的安装位置进行一些调整，本申请对此不作限定。具体的，第二位置信息为车道线图像的中心点的坐标。
S204、基于第一位置信息和第二位置信息确定电动自行车的违规行为。
本申请实施例中，车道线包括第一车道线和第二车道线。例如，第一车道线为黄色实车道线、第二车道线为白实车道线。当然，第一车道线也可以是道路中央的隔离带或护栏等，第二车道线也可以是白虚车道线，根据不同的道路情况确定即可。第一位置信息包括第一车道线在车道线图像上的第三位置信息和第二车道线在车道线图像上的第四位置信息。第三位置信息为第一车道线在车道线图像上的坐标；第四位置信息为第二车道线在车道线图像上的坐标。
在一个具体的实施例中，电动自行车的违规行为可以是：占用机动车道和逆行。在另一个具体的实施例中，电动自行车的违规行为可以是：占用机动车道、机动车道逆行以及非机动车道逆行，即，将逆行的违规行为进一步细分为机动车道逆行和非机动车道逆行。
在一个具体的实施例中，基于第一位置信息和第二位置信息确定电动自行车的违规行为，包括：
(1)基于第三位置信息和第二位置信息确定第一车道线与图像中心点的第一相对位置关系。
例如，第一相对位置关系为图像中心点位于第一车道线的左侧，或者图像中心点位于第一车道线的右侧。
具体的，从第一位置信息中获取第一车道线中与图像中心点横坐标相同的目标像素点，若图像中心点位于目标像素点的左侧，则确定图像中心点位于第一车道线的左侧；若图像中心点位于目标像素点的右侧，则确定图像中心点位于第一车道线的右侧。
(2)若第一相对位置关系满足第一预设条件，则基于第四位置信息和第二位置信息确定第二车道线与图像中心点的第二相对位置关系。
其中，第一预设条件可以为表示第一车道线和图像中心点位置关系的预设条件，具体可以为图像中心点位于第一车道线的左侧。具体的，第一预设条件可以根据当地的交通法规进行确定。例如，中国的交通法规中，车辆靠道路右侧行驶为正常行驶。
当第一相对位置关系满足第一预设条件时，则表明电动自行车没有处于逆行状态，此时需要进一步根据第二车道线判断电动自行车的违规行为。具体的，基于第四位置信息和第二位置信息确定第二车道线与图像中心点的第二相对位置关系。例如，第二相对位置关系可以包括：图像中心点位于第二车道线的左侧、有且仅有一条第二车道线位于图像中心点的左侧。第二相对位置关系的确定可参考第一相对位置关系的确定方法。
(3)基于第二相对位置关系确定电动自行车的违规行为。
例如，若图像中心点位于第二车道线的左侧，则对应电动自行车的违规行为为占用机动车道；若有且仅有一条第二车道线位于图像中心点的左侧，则对应电动自行车正常行驶。
进一步的，当第一相对位置关系不满足第一预设条件时，则表明电动自行车处于逆行状态，确定电动自行车的违规行为为逆行。更进一步的，当确定电动自行车的违规行为为逆行时，基于第二相对位置关系确定电动自行车的违规行为是非机动车道逆行还是机动车道逆行。例如，当确定电动自行车的违规行为为逆行时，若有且仅有一条第二车道线位于图像中心点的右侧，则对应电动自行车的违规行为非机动车道逆行；若图像中心点位于第二车道线的右侧，则对应电动自行车的违规行为为机动车道逆行。
本申请提供一种电动自行车违规行为的检测方法，通过设置在电动自行车上的摄像装置拍摄车道线图像，对车道线的位置进行识别，然后根据车道线和预设参考点的位置确定违规行为，无需对电动自行车的位置进行识别即可确定违规行为，避免了电动自行车位置识别误差对检测结果的影响，提高了电动自行车违规行为的检测方法的精确度。
为了更好实施本申请实施例中电动自行车违规行为的检测方法，在电动自行车违规行为的检测方法基础之上，本申请实施例中还提供一种电动自行车违规行为的检测装置，如图3所示，图3是本申请实施例中提供的电动自行车违规行为的检测装置一个实施例结构示意图，该电动自行车违规行为的检测装置包括：
第一获取单元301，用于获取电动自行车上摄像装置拍摄的车道线图像；
车道线识别单元302，用于对车道线图像中的车道线进行识别，得到车道线在车道线图像上的第一位置信息；
第二获取单元303，用于基于车道线图像获取车道线图像的预设参考点的第二位置信息；
确定单元304，用于基于第一位置信息和第二位置信息确定电动自行车的违规行为。
其中，车道线识别单元302，还用于对车道线图像进行语义分割，得到车道线在车道线图像上的第一位置信息。
其中，车道线识别单元302，还用于基于具有注意力机制的分类神经网络模型对车道线图像进行图像分类，得到车道线图像的至少两个分类结果和至少两个分类结果对应的至少两个分类置信度；
若至少两个分类置信度中的所有分类置信度均小于预设值，则对车道线图像进行语义分割，得到车道线在车道线图像上的第一位置信息。
其中，车道线识别单元302，还用于提取车道线图像的第一特征图；
基于注意力机制对第一特征图的权重进行重分配，得到重分配后的第二特征图；
基于第二特征图对车道线图像进行图像分类，得到车道线图像的至少两个分类结果和至少两个分类结果对应的至少两个分类置信度。
其中，确定单元304，还用于若至少两个分类置信度中存在不小于预设值的分类置信度，则将至少两个分类结果中分类置信度最大的分类结果确定为目标分类结果；
基于目标分类结果确定电动自行车的违规行为。
其中，预设参考点为车道线图像的图像中心点，车道线包括第一车道线和第二车道线；第一位置信息包括第一车道线在车道线图像上的第三位置信息和第二车道线在车道线图像上的第四位置信息；
确定单元304，还用于基于第三位置信息和第二位置信息确定第一车道线与图像中心点的第一相对位置关系；
若第一相对位置关系满足第一预设条件，则基于第四位置信息和第二位置信息确定第二车道线与图像中心点的第二相对位置关系；
基于第二相对位置关系确定电动自行车的违规行为。
其中，确定单元304，还用于若第一相对位置关系不满足第一预设条件，则确定电动自行车的违规行为为逆行。
本申请实施例还提供一种电子设备，其集成了本申请实施例所提供的任一种电动自行车违规行为的检测装置。如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器601是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
电子设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
获取电动自行车上摄像装置拍摄的车道线图像；对车道线图像中的车道线进行识别，得到车道线在车道线图像上的第一位置信息；基于车道线图像获取车道线图像的预设参考点的第二位置信息；基于第一位置信息和第二位置信息确定电动自行车的违规行为。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种电动自行车违规行为的检测方法中的步骤。例如，所述计算机程序被处理器进行加载可以执行如下步骤：
获取电动自行车上摄像装置拍摄的车道线图像；对车道线图像中的车道线进行识别，得到车道线在车道线图像上的第一位置信息；基于车道线图像获取车道线图像的预设参考点的第二位置信息；基于第一位置信息和第二位置信息确定电动自行车的违规行为。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种电动自行车违规行为的检测方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种电动自行车违规行为的检测方法，其特征在于，所述检测方法包括：
获取电动自行车上摄像装置拍摄的车道线图像；
对所述车道线图像中的车道线进行识别，得到所述车道线在所述车道线图像上的第一位置信息；
基于所述车道线图像获取所述车道线图像的预设参考点的第二位置信息；
基于所述第一位置信息和所述第二位置信息确定所述电动自行车的违规行为。
2.如权利要求1所述的检测方法，其特征在于，所述对所述车道线图像中的车道线进行识别，得到所述车道线在所述车道线图像上的第一位置信息，包括：
对所述车道线图像进行语义分割，得到车道线在所述车道线图像上的第一位置信息。
3.如权利要求2所述的检测方法，其特征在于，所述对所述车道线图像进行语义分割，得到车道线在所述车道线图像上的第一位置信息，包括：
基于具有注意力机制的分类神经网络模型对所述车道线图像进行图像分类，得到所述车道线图像的至少两个分类结果和所述至少两个分类结果对应的至少两个分类置信度；
若所述至少两个分类置信度中的所有分类置信度均小于预设值，则对所述车道线图像进行语义分割，得到所述车道线在所述车道线图像上的第一位置信息。
4.如权利要求3所述的检测方法，其特征在于，所述基于具有注意力机制的分类神经网络模型对所述车道线图像进行图像分类，得到所述车道线图像的至少两个分类结果和所述至少两个分类结果对应的至少两个分类置信度，包括：
提取所述车道线图像的第一特征图；
基于注意力机制对所述第一特征图的权重进行重分配，得到重分配后的第二特征图；
基于所述第二特征图对所述车道线图像进行图像分类，得到所述车道线图像的至少两个分类结果和所述至少两个分类结果对应的至少两个分类置信度。
5.如权利要求3所述的检测方法，其特征在于，所述检测方法还包括：
若所述至少两个分类置信度中存在不小于预设值的分类置信度，则将所述至少两个分类结果中分类置信度最大的分类结果确定为目标分类结果；
基于所述目标分类结果确定所述电动自行车的违规行为。
6.如权利要求1-5任意一项所述的检测方法，其特征在于，所述预设参考点为所述车道线图像的图像中心点，所述车道线包括第一车道线和第二车道线；所述第一位置信息包括所述第一车道线在所述车道线图像上的第三位置信息和所述第二车道线在所述车道线图像上的第四位置信息；
所述基于所述第一位置信息和所述第二位置信息确定所述电动自行车的违规行为，包括：
基于所述第三位置信息和所述第二位置信息确定所述第一车道线与所述图像中心点的第一相对位置关系；
若所述第一相对位置关系满足第一预设条件，则基于所述第四位置信息和第二位置信息确定所述第二车道线与所述图像中心点的第二相对位置关系；
基于所述第二相对位置关系确定所述电动自行车的违规行为。
7.如权利要求6所述的检测方法，其特征在于，所述检测方法还包括，
若所述第一相对位置关系不满足第一预设条件，则确定所述电动自行车的违规行为为逆行。
8.一种电动自行车违规行为的检测装置，其特征在于，所述检测装置包括：
第一获取单元，用于获取电动自行车上摄像装置拍摄的车道线图像；
车道线识别单元，用于对所述车道线图像中的车道线进行识别，得到所述车道线在所述车道线图像上的第一位置信息；
第二获取单元，用于基于所述车道线图像获取所述车道线图像的预设参考点的第二位置信息；
确定单元，用于基于所述第一位置信息和所述第二位置信息确定所述电动自行车的违规行为。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至8任一项所述的电动自行车违规行为的检测方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至8任一项所述的电动自行车违规行为的检测方法中的步骤。
CN202010746583.8A 2020-07-29 2020-07-29 电动自行车违规行为的检测方法及装置 Pending CN114092902A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010746583.8A CN114092902A (zh) 2020-07-29 2020-07-29 电动自行车违规行为的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010746583.8A CN114092902A (zh) 2020-07-29 2020-07-29 电动自行车违规行为的检测方法及装置

Publications (1)

Publication Number Publication Date
CN114092902A true CN114092902A (zh) 2022-02-25

Family

ID=80294932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010746583.8A Pending CN114092902A (zh) 2020-07-29 2020-07-29 电动自行车违规行为的检测方法及装置

Country Status (1)

Country Link
CN (1) CN114092902A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973451A (zh) * 2022-05-06 2022-08-30 江苏经贸职业技术学院 一种人工智能安全分析的外卖行车记录仪
CN115294774A (zh) * 2022-06-20 2022-11-04 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973451A (zh) * 2022-05-06 2022-08-30 江苏经贸职业技术学院 一种人工智能安全分析的外卖行车记录仪
CN115294774A (zh) * 2022-06-20 2022-11-04 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置
CN115294774B (zh) * 2022-06-20 2023-12-29 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置

Similar Documents

Publication Publication Date Title
Rasouli et al. Are they going to cross? a benchmark dataset and baseline for pedestrian crosswalk behavior
Xu et al. Car detection from low‐altitude UAV imagery with the Faster R‐CNN
CN113688652B (zh) 一种异常驾驶行为的处理方法和装置
WO2021073267A1 (zh) 基于图像识别的行人闯红灯检测方法、装置及相关设备
CN112289037B (zh) 基于复杂环境下高视角的机动车辆违规停车检测方法及系统
Deshmukh et al. Swin transformer based vehicle detection in undisciplined traffic environment
CN114092902A (zh) 电动自行车违规行为的检测方法及装置
CN112749622B (zh) 应急车道占用识别方法和装置
Yang et al. Traffic flow estimation and vehicle‐type classification using vision‐based spatial–temporal profile analysis
Lu et al. A new video‐based crash detection method: balancing speed and accuracy using a feature fusion deep learning framework
CN112614102A (zh) 一种车辆检测方法、终端及其计算机可读存储介质
Ge et al. Light-weighted vehicle detection network based on improved YOLOv3-tiny
Suttiponpisarn et al. Detection of wrong direction vehicles on two-way traffic
Hosseini et al. An unsupervised learning framework for detecting adaptive cruise control operated vehicles in a vehicle trajectory data
CN112633228A (zh) 停车检测方法、装置、设备及存储介质
Guo et al. Real-time dense traffic detection using lightweight backbone and improved path aggregation feature pyramid network
Wang et al. ATG-PVD: Ticketing parking violations on a drone
CN115520216A (zh) 行车状态判断方法、装置、计算机设备和存储介质
Hu et al. An image-based crash risk prediction model using visual attention mapping and a deep convolutional neural network
CN114724107A (zh) 一种图像检测方法、装置、设备及介质
Ge et al. Theory and method of data collection for mixed traffic flow based on image processing technology
Yu et al. A Real-Time Traffic Light Detection Algorithm Based on Adaptive Edge Information
De Luelmo et al. Visual Parking Space Estimation Using Detection Networks and Rule-Based Systems
Pranata Improved Visual Background Extractor for Illegally Parked Vehicle Detection.
Maaloul Video-based algorithms for accident detections

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination