CN111523464A - 车辆违法变道的检测方法和装置 - Google Patents

车辆违法变道的检测方法和装置 Download PDF

Info

Publication number
CN111523464A
CN111523464A CN202010325478.7A CN202010325478A CN111523464A CN 111523464 A CN111523464 A CN 111523464A CN 202010325478 A CN202010325478 A CN 202010325478A CN 111523464 A CN111523464 A CN 111523464A
Authority
CN
China
Prior art keywords
vehicle
license plate
image
information
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010325478.7A
Other languages
English (en)
Inventor
周康明
张宪法
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202010325478.7A priority Critical patent/CN111523464A/zh
Publication of CN111523464A publication Critical patent/CN111523464A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供一种车辆违法变道的检测方法和装置，该方法包括：获取多帧连续的待审核图像和待检测车辆的车牌信息；基于车辆检测网络模型识别待审核图像中的机动车辆及其位置信息；基于车牌检测网络模型获取机动车辆的车牌图像；基于图像文字识别模型在车牌图像中识别机动车辆的车牌信息；将待检测车辆的车牌信息与每个机动车辆的车牌信息进行匹配，将匹配成功的机动车辆确定为目标检测车辆；获取目标检测车辆所在图像中的路面标线信息；根据目标检测车辆在每一帧图像中的位置信息和路面标线信息，检测所述目标检测车辆是否违法变道。本实施例能够快速从复杂环境中识别目标车辆及其车牌信息并判断其是否违法变道，提高了检测准确率和效率。

Description

车辆违法变道的检测方法和装置
技术领域
本发明实施例涉及智能交通技术领域，尤其涉及一种车辆违法变道的检测方法和装置。
背景技术
车辆违法变道行驶是很常见的一种交通违规事件，据统计有超过一半的交通事故都和违法变道有关系，违法变道行驶不仅给自己带来安全隐患，还会威胁到其他群众的生命安全，因此违法变道的检测具有重要的实际意义。
现有技术中，检测违法变道车辆的方法是通过在道路上安装摄像机，抓拍道路上行驶的车辆，相关检测人员通过查看连续抓拍的多帧图像，来检测图像中的车辆是否违法变道。
然而，这种方法需要耗费大量的人力成本和时间成本，且由于检测人员长时间重复查看图像会处于疲劳、注意力不集中等状态，从而可能出现检测错误的情况，导致检测准确率和效率降低。
发明内容
本发明实施例提供一种车辆违法变道的检测方法和装置，以解决现有技术中人工根据抓拍图像检测车辆违法变道导致的检测准确效率和准确率低，且耗费人力成本和之间成本的问题。
本发明实施例的第一方面提供一种车辆违法变道的检测方法，包括：
获取多帧连续的待审核图像和待检测车辆的车牌信息；
基于车辆检测网络模型，识别所述待审核图像中的所有机动车辆以及机动车辆的位置信息；
基于车牌检测网络模型，获取所述所有机动车辆的车牌图像；
基于图像文字识别模型，在所述车牌图像中识别每个机动车辆的车牌信息；
将所述待检测车辆的车牌信息与所述每个机动车辆的车牌信息进行匹配，并将匹配成功的机动车辆确定为目标检测车辆；
获取所述目标检测车辆所在图像中的路面标线信息；
根据所述目标检测车辆在每一帧待审核图像中的位置信息和所述路面标线信息，检测所述目标检测车辆是否违法变道。
可选的，所述车牌信息包括车牌字符；所述将所述待检测车辆的车牌信息与所述每个机动车辆的车牌信息进行匹配，并将匹配成功的机动车辆确定为目标检测车辆，包括：
将所述待检测车辆的车牌字符与每个机动车辆的车牌字符进行对比，若存在相同字符且相同字符数量大于预设阈值，则将对应的机动车辆确定为目标检测车辆。
可选的，所述获取所述目标检测车辆所在图像中的路面标线信息，包括：
在预先建立的结构化文件中，读取所述目标检测车辆所在图像中的路面标线信息，所述路面标线信息包括停止线、白色实线和黄色实线；
其中，一个结构化文件对应存储一个检测道路的路面标线信息。
可选的，所述根据所述目标检测车辆在每一帧待审核图像中的位置信息和所述路面标线信息，检测所述目标检测车辆是否违法变道，包括：
根据所述路面标线信息对每一条路面标线进行线性拟合，得到拟合后的路面标线信息；
根据所述目标检测车辆在每一帧待审核图像中的位置信息和拟合后的路面标线信息，确定所述目标检测车辆在每一帧待审核图像中所在车道的车道编号；
若所述目标车辆在每一帧待审核图像中所在车道的车道编号不相同，则确定所述目标车辆违法变道；否则，确定所述目标车辆未违法变道。
可选的，所述方法还包括训练得到所述车辆检测网络模型的步骤：
采集第一训练样本，所述第一训练样本包括：预设数量帧审核图像、每帧审核图像中标记的车辆位置信息以及车辆类型，所述车辆类型包括机动车类型和非机动车类型；
将所述第一训练样本作为输入量，输入预先建立的第一深度学习神经网络进行训练，得到车辆检测网络模型。
可选的，所述方法还包括训练得到所述车牌检测网络模型的步骤：
采集第二训练样本，所述第二训练样本包括：每一帧审核图像中的车辆图像以及每个车辆图像中标记的车牌位置信息；
将所述第二训练样本作为输入量，输入预先建立的第二深度学习神经网络进行训练，得到车牌检测网络模型。
可选的，所述方法还包括训练得到图像文字识别模型的步骤：
采集第二训练样本，所述第二训练样本包括：车牌图像以及每个车牌图像中标记的车牌字符；
将所述第二训练样本作为输入量，输入预先建立得到的第三深度学习神经网络进行训练，得到图像文字识别模型。
本发明实施例的第二方面提供一种车辆违法变道的检测装置，包括：
第一获取模块，用于获取多帧连续的待审核图像和待检测车辆的车牌信息；
车辆识别模块，用于基于车辆检测网络模型，识别所述待审核图像中的所有机动车辆以及机动车辆的位置信息；
车牌识别模块，用于基于车牌检测网络模型，获取所述所有机动车辆的车牌图像；
字符识别模块，用于基于图像文字识别模型，在所述车牌图像中识别每个机动车辆的车牌信息；
匹配模块，用于将所述待检测车辆的车牌信息与所述每个机动车辆的车牌信息进行匹配，并将匹配成功的机动车辆确定为目标检测车辆；
第二获取模块，用于获取所述目标检测车辆所在图像中的路面标线信息；
检测模块，用于根据所述目标检测车辆在每一帧待审核图像中的位置信息和所述路面标线信息，检测所述目标检测车辆是否违法变道。
本发明实施例的第三方面提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行本发明实施例第一方面提供的车辆违法变道的检测方法。
本发明实施例的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现本发明实施例的第一方面提供的车辆违法变道的检测方法。
本发明实施例提供一种车辆违法变道的检测方法和装置，通过获取多帧连续的待审核图像和待检测车辆的车牌信息；然后基于车辆检测网络模型，自动快速的识别出所述待审核图像中的所有机动车辆以及机动车辆的位置信息；根据车牌检测网络模型，可以自动快速获取所有机动车辆的车牌图像；再根据图像文字识别模型，在所述车牌图像中识别出每个机动车辆的车牌信息；然后，将所述待检测车辆的车牌信息与所述每个机动车辆的车牌信息进行匹配，并将匹配成功的机动车辆确定为目标检测车辆；获取所述目标检测车辆所在图像中的路面标线信息；根据所述目标检测车辆在每一帧待审核图像中的位置信息和所述路面标线信息，检测所述目标检测车辆是否违法变道。本实施例通过利用深度学习网络模型，能够自动快速的在复杂环境中识别出目标检测车辆及其车牌信息并判断其是否违法变道，降低了人工成本和时间成本，提高了检测准确率和效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一示例性实施例示出的车辆违法变道的检测方法的应用场景图；
图2是本发明一示例性实施例示出的车辆违法变道的检测方法的流程示意图；
图3是本发明另一示例性实施例示出的车辆违法变道的检测方法的流程示意图；
图4是本发明另一示例性实施例示出的车辆违法变道的检测方法的应用场景图；
图5是本发明另一示例性实施例示出的车辆违法变道的检测装置的结构示意图；
图6是本发明一示例性实施例示出的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
车辆违法变道行驶是很常见的一种交通违规事件，据统计有超过一半的交通事故都和违法变道有关系，违法变道行驶不仅给自己带来安全隐患，还会威胁到其他群众的生命安全，因此违法变道的检测具有重要的实际意义。
现有技术中，检测违法变道车辆的方法是通过在道路上安装摄像机，抓拍道路上行驶的车辆，相关检测人员通过查看连续抓拍的多帧图像，来检测图像中的车辆是否违法变道。然而，这种方法需要耗费大量的人力成本和时间成本，且由于检测人员长时间重复查看图像会处于疲劳、注意力不集中等状态，从而可能出现检测错误的情况，导致检测准确率和效率降低。
针对此缺陷，本发明的技术方案主要在于：通过获取多帧连续的待审核图像和待检测车辆的车牌信息；利用预先训练得到的深度学习网络模型，在多帧连续的待审核图像中快速识别出所有机动车辆和机动车辆在审核图像中的位置信息，然后在获取机动车辆的车牌图像，从车牌图像中识别车牌子信息价格识别出来的机动车辆的车牌信息和待检测车辆的车牌信息进行匹配，并将匹配成功的机动车辆确定为目标检测车辆；获取目标检测车辆所在图像中的路面标线信息；根据目标检测车辆在每一帧待审核图像中的位置信息和路面标线信息，检测所述目标检测车辆是否违法变道。通过利用深度学习网络模型，能够自动快速的在复杂环境中识别出目标检测车辆及其车牌信息并判断其是否违法变道，降低了人工成本和时间成本，提高了检测准确率和效率。
图1是本发明一示例性实施例示出的车辆违法变道的检测方法的应用场景图。
如图1所示，图1中的a和b分别为抓拍的连续两帧图像，其中，黄色实线101为该路段禁止跨越的车道线；第一车辆102在第一帧图像(图1中的a)和第二帧图像(图1中的b)中行驶车道未改变，说明第一车辆出现违法变道；第二车车辆103在第二帧图像(图1中的b)中行驶车道相较于第一帧图像(图1中的a)发生了改变，说明第二车辆在该路段出现了违法变道行为。
图2是本发明一示例性实施例示出的车辆违法变道的检测方法的流程示意图，本实施例提供的方法的执行主体可以是处理器，也可以是具有图像信息处理功能的终端设备等。
如图2所示，本实施例提供的方法可以包括以下步骤。
S201，获取多帧连续的待审核图像和待检测车辆的车牌信息。
具体的，相关技术人员会在需要检测的路段附近安装摄像头，用来抓拍该路段的车辆，得到连续的多帧图像，并将拍到的多帧图像存储到服务器中，同时识别出抓拍得到的图像中所有车辆的车牌信息，存储在服务器中。当检查该路段的车辆的行驶状况时，直接从服务器中获取至少两帧图像。
S202，基于车辆检测网络模型，识别所述待审核图像中的所有机动车辆以及机动车辆的位置信息。
其中，车辆检测网络模型是根据预先根据大量训练样本训练得到的，用于表征审核图像到车辆类型和车辆位置信息的映射，车辆类型包括机动车辆和非机动车辆。
具体的，将至少两帧连续的待审核图像作为输入量，输入到车辆检测网络模型中，得到的输出量即为待审核图像中所有车辆的车辆类型和车辆位置信息。
本步骤中，通过车辆检测网络模型，可以快速识别出待审核图像中所有的机动车辆和非机动车辆，以及车辆的位置信息，如果识别到的车辆为非机动车辆，则直接过滤掉；如果识别到的车辆为机动车辆，则进行下一步。
S203，基于车牌检测网络模型，获取所述所有机动车辆的车牌图像。
其中，车牌检测网络模型是预先根据大量的相关训练样本进行训练得到的，用于表征机动车辆的图像到其车牌图像的映射。
具体的，将步骤S202中车辆检测网络模型的输出量作为车牌检测网络模型的输入量，输入到车牌检测网络模型中，得到的输出量即为机动车辆的车牌图像。
本步骤中，通过利用车牌检测网络模型，可以快速获取车辆检测网络模型识别出的机动车辆的车牌图像。
S204，基于图像文字识别模型，在所述车牌图像中识别每个机动车辆的车牌信息。
其中，车牌信息可以是车牌号，即车牌上的字符。图像文字识别模型是预先根据大量训练样本训练得到的，用于表征车牌图像到车牌图像中的车牌信息的映射。
具体的，将步骤S203中车牌检测网络模型的输出量(即车牌图像)作为图像文字识别模型的输入量输入其中，得到的输出量即为车牌图像上的车牌信息。
本步骤中，通过图像文字识别模型可以快速识别出车牌图像中的车牌信息。
S205，将所述待检测车辆的车牌信息与所述每个机动车辆的车牌信息进行匹配，并将匹配成功的机动车辆确定为目标检测车辆。
具体的，使用待检测车辆的车牌信息与步骤S204中得到的机动车辆的车牌信息进行对比匹配；如果匹配不到，那么直接判定该待检测车辆违法变道情况为疑似，疑似原因是待检测车辆不存在；如果匹配成功，则将其确定为目标检测车辆，并获取目标检测车辆在每一帧待审核图像中的位置信息。
S206，获取所述目标检测车辆所在图像中的路面标线信息。
其中，路边标线信息包括停止线、白色实线和黄色实线的位置信息。
具体的，预先将所有检测路段的标线信息存储于结构化文件中，每个检测路段的单独存储于一个结构化文件中，当需要获取相应路段上的标线信息时，直接读取该路段对应的结构化文件得到。
S207，根据所述目标检测车辆在每一帧待审核图像中的位置信息和所述路面标线信息，检测所述目标检测车辆是否违法变道。
具体的，根据目标检测车辆在每一帧待审核图像中的位置信息和该路段的路面标线信息，判断目标检测车辆在连续的几帧图像中是否一直处于同一个车道上，如果是，则说明该目标检测车辆不存在违法变道的情况；否则，目标检测车辆不存在违法变道的情况。
本实施例中，通过利用多种深度学习网络模型，可以快速自动的从复杂路况的图像中识别出机动车辆及其位置信息，并根据其位置信息和路面标线信息判断目标检测车辆是否存在违法变道情况，大大节省了人力成本和时间成本，同时提高了检测饿准确率和效率。
图3是本发明另一示例性实施例示出的车辆违法变道的检测方法的流程示意图，本实施例在图2所示实施例的基础上对车辆违法变道的检测方法进一步详细描述。
如图3所示，本实施例提供的方法可以包括以下步骤。
S301，获取多帧连续的待审核图像和待检测车辆的车牌信息。
具体的，相关技术人员会在需要检测的路段附近安装摄像头，用来抓拍该路段的车辆，得到连续的多帧图像，并将拍到的多帧图像存储到服务器中，同时识别出抓拍得到的图像中所有车辆的车牌信息，存储在服务器中。当检查该路段的车辆的行驶状况时，直接从服务器中获取至少两帧图像。
S302，基于车辆检测网络模型，识别所述待审核图像中的所有机动车辆以及机动车辆的位置信息。
其中，车辆检测网络模型是根据预先根据大量训练样本训练得到的，用于表征审核图像到车辆图像、车辆类型和车辆位置信息的映射，车辆类型包括机动车辆和非机动车辆。
具体的，将至少两帧连续的待审核图像作为输入量，输入到车辆检测网络模型中，得到的输出量即为待审核图像中所有车辆的车辆类型和车辆位置信息。
本步骤中，通过车辆检测网络模型，可以快速识别出待审核图像中所有的机动车辆和非机动车辆，以及车辆的位置信息，如果识别到的车辆为非机动车辆，则直接过滤掉；如果识别到的车辆为机动车辆，则进行下一步。如果检测到一帧图像中所有的车辆均为非机动车辆，则过滤掉该图像。
进一步的，本实施例提供的方法还包括：训练得到所述车辆检测网络模型的步骤。
具体的，采集第一训练样本，所述第一训练样本包括：预设数量帧审核图像、每帧审核图像中标记的车辆位置信息以及车辆类型，所述车辆类型包括机动车类型和非机动车类型；将所述第一训练样本作为输入量，输入预先建立的第一深度学习神经网络进行训练，得到车辆检测网络模型。
其中，第一深度学习神经网络是yolo-V3网络。
示例性的，获取摄像头抓拍的大量图像，人工在图像中标记所有出现的车辆，并标记该车辆的类型为机动车还是非机动车。由于图像上的车辆形状不规则，可以采用矩形框标记的方式，图像中框选出所有车辆，利用矩形框的四个角在图像上的坐标信息来表示车辆在图像中的位置信息，将标注好的图像输入yolo-V3网络进行训练，得到车辆检测网络模型。
S303，基于车牌检测网络模型，获取所述所有机动车辆的车牌图像。
其中，车牌检测网络模型是预先根据大量的相关训练样本进行训练得到的，用于表征机动车辆的图像到其车牌图像的映射。
具体的，将步骤S302中车辆检测网络模型的输出量作为车牌检测网络模型的输入量，输入到车牌检测网络模型中，得到的输出量即为机动车辆的车牌图像。
本步骤中，通过利用车牌检测网络模型，可以快速获取车辆检测网络模型识别出的机动车辆的车牌图像。
进一步的，本实施例提供的方法还包括：训练得到所述车牌检测网络模型的步骤。
具体的，采集第二训练样本，所述第二训练样本包括：每一帧审核图像中的车辆图像以及每个车辆图像中标记的车牌位置信息；将所述第二训练样本作为输入量，输入预先建立的第二深度学习神经网络进行训练，得到车牌检测网络模型。
其中，第二深度学习神经网络是SSD网络。
示例性的，获取大量的车辆图像，采用矩形框标记的方式在车辆图像中框选出车牌，矩形框的四个角的坐标表示车牌位置信息，将带有标记的车辆图像输入到SSD网络中进行训练，得到车牌检测网络模型。
S304，基于图像文字识别模型，在所述车牌图像中识别每个机动车辆的车牌信息，所述车牌信息包括车牌字符。
其中，车牌信息可以是车牌号，即车牌上的字符。图像文字识别模型是预先根据大量训练样本训练得到的，用于表征车牌图像到车牌图像中的车牌信息的映射。
具体的，将步骤S303中车牌检测网络模型的输出量(即车牌图像)作为图像文字识别模型的输入量输入其中，得到的输出量即为车牌图像上的车牌信息。
本步骤中，通过图像文字识别模型可以快速识别出车牌图像中的车牌信息。
进一步的，本实施例提供的方法还包括：训练得到图像文字识别模型的步骤。
具体的，采集第二训练样本，所述第二训练样本包括：车牌图像以及每个车牌图像中标记的车牌字符；将所述第二训练样本作为输入量，输入预先建立得到的第三深度学习神经网络进行训练，得到图像文字识别模型。
其中，第三深度学习神经网络是CRNN网络。
示例性的，获取大量的车牌图像，人工在车牌图像中标记车牌字符作为标签，将标注好的车牌图像和标签输入CRNN网络进行训练，得到图像文字识别模型。
S305，将所述待检测车辆的车牌字符与每个机动车辆的车牌字符进行对比，若存在相同字符且相同字符数量大于预设阈值，则将对应的机动车辆确定为目标检测车辆。
优选的，将预设阈值设置为3，当待检测车辆的车牌字符与待审核图像中识别出的机动车辆的车牌字符，存在3个以上相同字符时，则说明该机动车辆就是待检测车辆，然后将其确定为目标检测车辆；如果相同字符数量为3个或少于3个，则该机动车辆不是待检测车辆，如果多帧待审核图像中的机动车辆的车牌字符均与待检测车辆不匹配，则说明该待检测车辆可能不存在。
S306，在预先建立的结构化文件中，读取所述目标检测车辆所在图像中的路面标线信息，所述路面标线信息包括停止线、白色实线和黄色实线的位置信息；其中，一个结构化文件对应存储一个检测道路的路面标线信息。
具体的，人工采用不同颜色标记待审核图像中对应的路段的路面标线信息，标线信息包括：每条标线的类别(比如：停止线、黄色单实线、黄色双实线等)以及标线的位置信息(比如标线在图像中的坐标)。预先将所有检测路段的标线信息存储于结构化文件中，每个检测路段的单独存储于一个结构化文件中，当需要获取相应路段上的标线信息时，直接读取该路段对应的结构化文件得到。
其中，结构化文件可以但不限于是json文件。
S307，根据所述路面标线信息对每一条路面标线进行线性拟合，得到拟合后的路面标线信息。
其中，拟合线段可以通过opencv里面的函数“cv::fitLine()”获得。
示例性的，假设白实线和黄实线统称为车道线，车道线拟合后统一为
Figure BDA0002463052430000111
第i条车道线拟合线
Figure BDA0002463052430000112
的上顶点坐标为
Figure BDA0002463052430000113
下顶点坐标为
Figure BDA0002463052430000114
表达式为
Figure BDA0002463052430000115
其中n表示黄实线和白实线共有n条，
Figure BDA0002463052430000116
和
Figure BDA0002463052430000117
为预先设定的系数。假设停止线的拟合线段为
Figure BDA0002463052430000118
第i条停止线拟合线
Figure BDA0002463052430000119
的上顶点坐标为
Figure BDA00024630524300001110
下顶点坐标为
Figure BDA00024630524300001111
表达式为
Figure BDA0002463052430000121
其中m表示停止线共有m条，
Figure BDA0002463052430000122
和
Figure BDA0002463052430000123
为预先设定的系数。
S308，根据所述目标检测车辆在每一帧待审核图像中的位置信息和拟合后的路面标线信息，确定所述目标检测车辆在每一帧待审核图像中所在车道的车道编号。
S309，若所述目标车辆在每一帧待审核图像中所在车道的车道编号不相同，则确定所述目标车辆违法变道；否则，确定所述目标车辆未违法变道。
具体的，根据目标检测车辆在每一帧待审核图像中的位置信息和该路段的路面标线信息，判断目标检测车辆在连续的几帧图像中是否一直处于同一个车道上，如果是，则说明该目标检测车辆不存在违法变道的情况；否则，目标检测车辆不存在违法变道的情况。即，判断目标检测车辆在每一帧待审核图像中所在的车道编号是否相同，若相同，则说明目标检测车辆未违法变道，若不同，则说明目标检测车辆出现了违法变道的情况。
为了更清楚的描述车辆违法变道的检测过程，下面以两帧待审核图像为例进行说明。
如图4所示，包含摄像头抓拍的前后两帧含有目标检测车辆401的图像，分别为图4中的a和b，第一帧图像a(记为X1)和第二帧图像b(记为X2)，获取目标检测车辆再第一帧图像的位置，即获取目标车辆在第一帧图像的检测框位置，记为
Figure BDA0002463052430000124
左上角点坐标为p(x,y)，高为h1，宽为w1；在第二帧图像X2的检测框位置记为
Figure BDA0002463052430000125
左上角点坐标为
Figure BDA0002463052430000126
高为h2，宽为w2。
参见图4，两帧图像中的路面车道线包括：白实线402，黄实线403以及停止线404，对每一条路面标线进行线性拟合，假设白实线和黄实线统称为车道线，车道线拟合后统一为
Figure BDA0002463052430000127
第i条车道线拟合线
Figure BDA0002463052430000128
的上顶点坐标为
Figure BDA0002463052430000129
下顶点坐标为
Figure BDA00024630524300001210
表达式为
Figure BDA00024630524300001211
其中n表示黄实线和白实线共有n条，
Figure BDA00024630524300001212
和
Figure BDA00024630524300001213
为预先设定的系数。假设停止线的拟合线段为
Figure BDA0002463052430000131
第i条停止线拟合线
Figure BDA0002463052430000132
的上顶点坐标为
Figure BDA0002463052430000133
下顶点坐标为
Figure BDA0002463052430000134
表达式为
Figure BDA0002463052430000135
其中m表示停止线共有m条，
Figure BDA0002463052430000136
和
Figure BDA0002463052430000137
为预先设定的系数。
然后，分别获得目标检测车辆在图像中的位置信息和路面车道标线信息，首先计算目标检测车辆在图像X1的检测框
Figure BDA0002463052430000138
所在的车道编号，记为
Figure BDA0002463052430000139
然后再计算目标车辆在图像X2的检测框
Figure BDA00024630524300001310
所在的车道编号记为
Figure BDA00024630524300001311
如果满足number1＝number2，并且目标检测车辆在两帧图像中没有驶离停止线离开车道线，则目标车辆未出现违法变道行为，车辆不违法；否则，目标检测车辆出现违法变道行为，目标检测车辆违法。
进一步的，计算目标检测车辆在第一帧图像X1的检测框
Figure BDA00024630524300001312
所在的车道编号
Figure BDA00024630524300001313
计算方法包括以下步骤：
第一步，对车道线进行编号，编号原则为图像中最左边的车道线编号为0，往右数，车道线每增加一条编号加1，那么最右边的车道线编号为n。车道线编号计算方法为：首先找出所有车道线中下顶点纵坐标最小的值
Figure BDA00024630524300001314
以及所有车道线中上顶点纵坐标最大的值
Figure BDA00024630524300001315
方法为：令
Figure BDA00024630524300001316
和
Figure BDA00024630524300001317
然后遍历车道线lsolid中的每一条，如果其下顶点的纵坐标出现满足
Figure BDA00024630524300001318
的情况，那么更新
Figure BDA00024630524300001319
同样如果其上顶点的纵坐标出现满足
Figure BDA00024630524300001320
的情况，那么更新
Figure BDA00024630524300001321
直到i＝n遍历完每一条车道线。此时找到
Figure BDA00024630524300001322
和
Figure BDA00024630524300001323
然后计算两个值的均值
Figure BDA00024630524300001324
接着计算每一条车道线在纵坐标
Figure BDA00024630524300001325
时的横坐标
Figure BDA00024630524300001326
例如第i条车道线的横坐标为
Figure BDA0002463052430000141
然后对每一条车道线按照其在点
Figure BDA0002463052430000142
处的横坐标值大小进行升序排列，那么横坐标
Figure BDA0002463052430000143
值最小的所对应的车道线编号为0，第二小的对应车道线编号为1。以此类推，值最大的对应的车道线编号为n，最终会给每一条车道线进行了编号，假设最终编号后的车道线为
Figure BDA0002463052430000144
第二步，计算检测框
Figure BDA0002463052430000145
所在的车道编号
Figure BDA0002463052430000146
首先计算检测框的中心点
Figure BDA0002463052430000147
其中函数floor(x)是对x向下取整。然后计算每条车道线在纵坐标
Figure BDA0002463052430000148
时的横坐标
Figure BDA0002463052430000149
例如第i条车道线的横坐标为
Figure BDA00024630524300001410
接着寻找距离中心点
Figure BDA00024630524300001411
最近的左侧车道线和右侧车道线，左侧车道线计算方法为：令
Figure BDA00024630524300001412
遍历每一条车道线，如果第i条车道线的横坐标
Figure BDA00024630524300001413
满足条件
Figure BDA00024630524300001414
并且
Figure BDA00024630524300001415
那么更新
Figure BDA00024630524300001416
直到i＝n遍历完每一条车道线，此时的
Figure BDA00024630524300001417
为距离中心点
Figure BDA00024630524300001418
最近的左侧车道线编号，如果
Figure BDA00024630524300001419
表示目标车辆左侧不存在车道线。右侧车道线计算方法为：令
Figure BDA00024630524300001420
遍历每一条车道线，如果第i条车道线的横坐标
Figure BDA00024630524300001421
满足条件
Figure BDA00024630524300001422
并且
Figure BDA00024630524300001423
那么更新
Figure BDA00024630524300001424
直到i＝n遍历完每一条车道线，此时的
Figure BDA00024630524300001425
为距离中心点
Figure BDA00024630524300001426
最近的右侧车道线编号，如果
Figure BDA00024630524300001427
表示目标车辆右侧不存在车道线。那么最终获得目标车辆在第一帧图像X1的检测框
Figure BDA00024630524300001428
所在的车道编号
Figure BDA00024630524300001429
进一步的，判断目标车辆在第一帧图像X1中是否驶离停止线，不在车道线内。由上述步骤获得目标车辆所在的车道编号为
Figure BDA0002463052430000151
如果
Figure BDA0002463052430000152
并且
Figure BDA0002463052430000153
那么车辆在第一帧图中未在车道线内，直接判定目标车辆不存在违法变道行为，目标车辆不违法；否则需判断是否驶离车道线，判断方法为：首先寻找编号为
Figure BDA0002463052430000154
和
Figure BDA0002463052430000155
对应的车道线，假设车道线为
Figure BDA0002463052430000156
和
Figure BDA0002463052430000157
然后计算两条车道线上顶点中纵坐标最大的值
Figure BDA0002463052430000158
以及下顶点中纵坐标最小的值
Figure BDA0002463052430000159
接着判断车辆是否驶离停止线，而不在车道线内，如果满足条件
Figure BDA00024630524300001510
或者
Figure BDA00024630524300001511
则目标检测车辆在第一帧图中未在车道线内，直接判定目标车辆不存在违法变道行为，目标车辆不违法；否则目标车辆所在的车道线编号
Figure BDA00024630524300001512
有效。
进一步的，计算目标检测车辆在第二帧图像X2的检测框
Figure BDA00024630524300001513
所在的车道编号，记为
Figure BDA00024630524300001514
计算步骤如下：
第一步，首先计算检测框的中心点
Figure BDA00024630524300001515
其中
Figure BDA00024630524300001516
Figure BDA00024630524300001517
其中函数floor(x)是对x向下取整。然后计算每条车道线在纵坐标
Figure BDA00024630524300001518
时的横坐标
Figure BDA00024630524300001519
例如第i条车道线的横坐标为
Figure BDA00024630524300001520
接着寻找距离中心点
Figure BDA00024630524300001521
最近的左侧车道线和右侧车道线，左侧车道线计算方法为：令
Figure BDA00024630524300001522
Figure BDA00024630524300001523
遍历每一条车道线，如果第i条车道线的横坐标
Figure BDA00024630524300001524
满足条件
Figure BDA00024630524300001525
并且
Figure BDA00024630524300001526
那么更新
Figure BDA00024630524300001527
直到i＝n遍历完每一条车道线，此时的
Figure BDA00024630524300001528
为距离中心点
Figure BDA00024630524300001529
最近的左侧车道线编号，如果
Figure BDA00024630524300001530
表示目标车辆左侧不存在车道线。右侧车道线计算方法为：令
Figure BDA0002463052430000161
遍历每一条车道线，如果第i条车道线的横坐标
Figure BDA0002463052430000162
满足条件
Figure BDA0002463052430000163
并且
Figure BDA0002463052430000164
那么更新
Figure BDA0002463052430000165
直到i＝n遍历完每一条车道线，此时的
Figure BDA0002463052430000166
为距离中心点
Figure BDA0002463052430000167
最近的右侧车道线编号，如果
Figure BDA0002463052430000168
表示目标车辆右侧不存在车道线。那么初步获得目标车辆在第二帧图像X2的检测框
Figure BDA0002463052430000169
所在的车道编号为
Figure BDA00024630524300001610
第二步，对第一步获得的车道编号
Figure BDA00024630524300001611
进行修正，修正的原因是当目标车辆压车道线时，审核人员会根据前后两帧车身向左或者向右的偏移比例来判定是属于哪个车道线进而判断是否变道违法。修正方法为：假设
Figure BDA00024630524300001612
和
Figure BDA00024630524300001613
对应的车道线分别为
Figure BDA00024630524300001614
和
Figure BDA00024630524300001615
首先判断目标车辆是否存在压线情况，如果存在则需要对
Figure BDA00024630524300001616
进行修正，否则不需要修正，直接进行下一步。
当存在压线情况时，且压左侧车道线，目标车辆中心点到最近左侧车道线的距离小于检测框的宽一半即
Figure BDA00024630524300001617
那么目标车辆压左侧车道线，否则不压左侧车道线。当存在压左侧车道线时，需要根据上一帧图像目标车辆所在的车道线编号进行修正当前图像中目标车辆所在的车道线编号，如果当前帧的左侧车道线编号不等于上一帧右侧车道线编号时，不需要进行修正，直接进行下一步；如果当前帧的左侧车道线编号等于上一帧右侧车道线编号即
Figure BDA00024630524300001618
那么需要根据审核人员设定的车身压线偏移比例来确定其是否发生车辆变道行为。假设人工设定阈值为thresh，当满足目标车辆中心点到最近左侧车道线的距离小于检测框宽的(thresh-0.5)倍，即
Figure BDA00024630524300001619
时，目标车辆未发生变道，原因是车辆在压上一帧右侧车道线即当前帧左侧车道线时，车身向右偏移的比例未达到审核要求，结果当前帧的目标车辆所在的车道编号为
Figure BDA0002463052430000171
当满足目标车辆中心点到最近左侧车道线的距离大于等于检测框宽的(thresh-0.5)倍即
Figure BDA0002463052430000172
时，目标车辆发生变道，原因是车辆在压上一帧右侧车道线即当前帧左侧车道线时，车身向右偏移的比例达到审核要求，结果当前帧的目标车辆所在的车道编号为
Figure BDA0002463052430000173
当存在压右侧车道线时，即目标车辆中心点到最近右侧车道线的距离小于检测框的宽一半即
Figure BDA0002463052430000174
那么目标车辆压右侧车道线，否则不压右侧车道线。当存在压右侧车道线时，同样需要根据上一帧图像目标车辆所在的车道线编号进行修正当前图像中目标车辆所在的车道线编号，如果当前帧的右侧车道线编号不等于上一帧左侧车道线编号时，不需要进行修正，直接进行下一步。如果当前帧的右侧车道线编号等于上一帧左侧车道线编号即
Figure BDA0002463052430000175
且同时如果满足目标车辆中心点到最近右侧车道线的距离小于检测框宽的(thresh-0.5)倍即
Figure BDA0002463052430000176
时，目标车辆未发生变道，原因是车辆在压上一帧左侧车道线即当前帧右侧车道线时，车身向左偏移的比例未达到审核要求，结果当前帧的目标车辆所在的车道编号为
Figure BDA0002463052430000177
当满足目标车辆中心点到最近左侧车道线的距离大于等于检测框宽的(thresh-0.5)倍即
Figure BDA0002463052430000178
时，目标车辆发生变道，原因是车辆在压上一帧左侧车道线即当前帧右侧车道线时，车身向左偏移的比例达到审核要求，结果当前帧的目标车辆所在的车道编号为
Figure BDA0002463052430000179
进一步的，判断目标检测车辆在第二帧图像X2中是否驶离停止线，不在车道线内。由上述步骤获得目标检测车辆在第二帧图像X2中的车道线编号为
Figure BDA00024630524300001710
如果
Figure BDA00024630524300001711
并且
Figure BDA00024630524300001712
那么车辆在第二帧图像中未在车道线内，直接判定目标车辆不存在违法变道行为，目标检测车辆不违法；否则需判断是否驶离车道线，判断方法为：首先寻找编号为
Figure BDA0002463052430000181
和
Figure BDA0002463052430000182
对应的车道线，假设车道线为
Figure BDA0002463052430000183
和
Figure BDA0002463052430000184
然后计算两条车道线上顶点中纵坐标最大的值
Figure BDA0002463052430000185
以及下顶点中纵坐标最小的值
Figure BDA0002463052430000186
接着判断车辆是否驶离停止线，而不在车道线内，如果满足条件
Figure BDA0002463052430000187
或者
Figure BDA0002463052430000188
则目标车辆在第二帧图像中未在车道线内，直接判定目标车辆不存在违法变道行为，目标车辆不违法；否则目标车辆所在的车道线编号
Figure BDA0002463052430000189
有效。
经上述步骤，获得有效的前后两帧图像中目标检测车辆所在的车道线编号分别为
Figure BDA00024630524300001810
和
Figure BDA00024630524300001811
如果满足number1＝number2，则目标车辆未出现违法变道行为，车辆未违法，否则车辆违法。
需要说明的是，上述实施例中仅提供了两帧待审核图像中车辆违法变道的计算方法，但并不限于两帧待审核图像；在具体实施时，还可以是多帧待审核图像，其计算方法与上述示例一致，此处不再赘述。
图5是本发明另一示例性实施例示出的车辆违法变道的检测装置的结构示意图。
如图5所示，本实施例提供的装置包括：第一获取模块501，车辆识别模块502，车牌识别模块503，字符识别模块504，匹配模块505，第二获取模块506，检测模块507；其中，第一获取模块，用于获取多帧连续的待审核图像和待检测车辆的车牌信息；车辆识别模块，用于基于车辆检测网络模型，识别所述待审核图像中的所有机动车辆以及机动车辆的位置信息；车牌识别模块，用于基于车牌检测网络模型，获取所述所有机动车辆的车牌图像；字符识别模块，用于基于图像文字识别模型，在所述车牌图像中识别每个机动车辆的车牌信息；匹配模块，用于将所述待检测车辆的车牌信息与所述每个机动车辆的车牌信息进行匹配，并将匹配成功的机动车辆确定为目标检测车辆；第二获取模块，用于获取所述目标检测车辆所在图像中的路面标线信息；检测模块，用于根据所述目标检测车辆在每一帧待审核图像中的位置信息和所述路面标线信息，检测所述目标检测车辆是否违法变道。
进一步的，所述车牌信息包括车牌字符；所述匹配模块具体用于：将所述待检测车辆的车牌字符与每个机动车辆的车牌字符进行对比，若存在相同字符且相同字符数量大于预设阈值，则将对应的机动车辆确定为目标检测车辆。
进一步的，所述第二获取模块具体用于：在预先建立的结构化文件中，读取所述目标检测车辆所在图像中的路面标线信息，所述路面标线信息包括停止线、白色实线和黄色实线；其中，一个结构化文件对应存储一个检测道路的路面标线信息。
进一步的，所述检测模块具体用于：根据所述路面标线信息对每一条路面标线进行线性拟合，得到拟合后的路面标线信息；根据所述目标检测车辆在每一帧待审核图像中的位置信息和拟合后的路面标线信息，确定所述目标检测车辆在每一帧待审核图像中所在车道的车道编号；若所述目标车辆在每一帧待审核图像中所在车道的车道编号不相同，则确定所述目标车辆违法变道；否则，确定所述目标车辆未违法变道。
进一步的，本实施例提供的装置还包括：采集训练模块，所述训练模块具体用于：采集第一训练样本，所述第一训练样本包括：预设数量帧审核图像、每帧审核图像中标记的车辆位置信息以及车辆类型，所述车辆类型包括机动车类型和非机动车类型；将所述第一训练样本作为输入量，输入预先建立的第一深度学习神经网络进行训练，得到车辆检测网络模型。
进一步的，所述采集训练模块还用于：采集第二训练样本，所述第二训练样本包括：每一帧审核图像中的车辆图像以及每个车辆图像中标记的车牌位置信息；将所述第二训练样本作为输入量，输入预先建立的第二深度学习神经网络进行训练，得到车牌检测网络模型。
进一步的，所述采集训练模块还用于：采集第二训练样本，所述第二训练样本包括：车牌图像以及每个车牌图像中标记的车牌字符；将所述第二训练样本作为输入量，输入预先建立得到的第三深度学习神经网络进行训练，得到图像文字识别模型。
本实施例中各个模块的详细功能描述请参考有关该方法的实施例中的描述，此处不做详细阐述说明。
图6为本发明实施例提供的电子的硬件结构示意图。如图6所示，本实施例提供的电子设备600包括：至少一个处理器601和存储器602。其中，处理器601、存储器602通过总线603连接。
在具体实现过程中，至少一个处理器601执行所述存储器602存储的计算机执行指令，使得至少一个处理器601执行上述方法实施例中的车辆违法变道的检测方法。
本实施例中，电子设备可以是一种终端，比如，手机、电脑等。
处理器601的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图6所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请的另一实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述方法实施例中的车辆违法变道的检测方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种车辆违法变道的检测方法，其特征在于，包括：
获取多帧连续的待审核图像和待检测车辆的车牌信息；
基于车辆检测网络模型，识别所述待审核图像中的所有机动车辆以及机动车辆的位置信息；
基于车牌检测网络模型，获取所述所有机动车辆的车牌图像；
基于图像文字识别模型，在所述车牌图像中识别每个机动车辆的车牌信息；
将所述待检测车辆的车牌信息与所述每个机动车辆的车牌信息进行匹配，并将匹配成功的机动车辆确定为目标检测车辆；
获取所述目标检测车辆所在图像中的路面标线信息；
根据所述目标检测车辆在每一帧待审核图像中的位置信息和所述路面标线信息，检测所述目标检测车辆是否违法变道。
2.根据权利要求1所述的方法，其特征在于，所述车牌信息包括车牌字符；所述将所述待检测车辆的车牌信息与所述每个机动车辆的车牌信息进行匹配，并将匹配成功的机动车辆确定为目标检测车辆，包括：
将所述待检测车辆的车牌字符与每个机动车辆的车牌字符进行对比，若存在相同字符且相同字符数量大于预设阈值，则将对应的机动车辆确定为目标检测车辆。
3.根据权利要求1所述的方法，其特征在于，所述获取所述目标检测车辆所在图像中的路面标线信息，包括：
在预先建立的结构化文件中，读取所述目标检测车辆所在图像中的路面标线信息，所述路面标线信息包括停止线、白色实线和黄色实线；
其中，一个结构化文件对应存储一个检测道路的路面标线信息。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述目标检测车辆在每一帧待审核图像中的位置信息和所述路面标线信息，检测所述目标检测车辆是否违法变道，包括：
根据所述路面标线信息对每一条路面标线进行线性拟合，得到拟合后的路面标线信息；
根据所述目标检测车辆在每一帧待审核图像中的位置信息和拟合后的路面标线信息，确定所述目标检测车辆在每一帧待审核图像中所在车道的车道编号；
若所述目标车辆在每一帧待审核图像中所在车道的车道编号不相同，则确定所述目标车辆违法变道；否则，确定所述目标车辆未违法变道。
5.根据权利要求1所述的方法，其特征在于，还包括训练得到所述车辆检测网络模型的步骤：
采集第一训练样本，所述第一训练样本包括：预设数量帧审核图像、每帧审核图像中标记的车辆位置信息以及车辆类型，所述车辆类型包括机动车类型和非机动车类型；
将所述第一训练样本作为输入量，输入预先建立的第一深度学习神经网络进行训练，得到车辆检测网络模型。
6.根据权利要求5所述的方法，其特征在于，还包括训练得到所述车牌检测网络模型的步骤：
采集第二训练样本，所述第二训练样本包括：每一帧审核图像中的车辆图像以及每个车辆图像中标记的车牌位置信息；
将所述第二训练样本作为输入量，输入预先建立的第二深度学习神经网络进行训练，得到车牌检测网络模型。
7.根据权利要求6所述的方法，其特征在于，还包括训练得到图像文字识别模型的步骤：
采集第二训练样本，所述第二训练样本包括：车牌图像以及每个车牌图像中标记的车牌字符；
将所述第二训练样本作为输入量，输入预先建立得到的第三深度学习神经网络进行训练，得到图像文字识别模型。
8.一种车辆违法变道的检测装置，其特征在于，包括：
第一获取模块，用于获取多帧连续的待审核图像和待检测车辆的车牌信息；
车辆识别模块，用于基于车辆检测网络模型，识别所述待审核图像中的所有机动车辆以及机动车辆的位置信息；
车牌识别模块，用于基于车牌检测网络模型，获取所述所有机动车辆的车牌图像；
字符识别模块，用于基于图像文字识别模型，在所述车牌图像中识别每个机动车辆的车牌信息；
匹配模块，用于将所述待检测车辆的车牌信息与所述每个机动车辆的车牌信息进行匹配，并将匹配成功的机动车辆确定为目标检测车辆；
第二获取模块，用于获取所述目标检测车辆所在图像中的路面标线信息；
检测模块，用于根据所述目标检测车辆在每一帧待审核图像中的位置信息和所述路面标线信息，检测所述目标检测车辆是否违法变道。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-7任一项所述的车辆违法变道的检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-7任一项所述的车辆违法变道的检测方法。
CN202010325478.7A 2020-04-23 2020-04-23 车辆违法变道的检测方法和装置 Pending CN111523464A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010325478.7A CN111523464A (zh) 2020-04-23 2020-04-23 车辆违法变道的检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010325478.7A CN111523464A (zh) 2020-04-23 2020-04-23 车辆违法变道的检测方法和装置

Publications (1)

Publication Number Publication Date
CN111523464A true CN111523464A (zh) 2020-08-11

Family

ID=71904313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010325478.7A Pending CN111523464A (zh) 2020-04-23 2020-04-23 车辆违法变道的检测方法和装置

Country Status (1)

Country Link
CN (1) CN111523464A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814765A (zh) * 2020-08-31 2020-10-23 蔻斯科技(上海)有限公司 车辆压线的确定方法、装置、设备和存储介质
CN112115939A (zh) * 2020-08-26 2020-12-22 深圳市金溢科技股份有限公司 车辆车牌的识别方法、装置
CN112270245A (zh) * 2020-10-23 2021-01-26 平安科技（深圳）有限公司 行车违法检测方法、装置、设备及计算机介质
CN112580457A (zh) * 2020-12-09 2021-03-30 上海眼控科技股份有限公司 车辆视频的处理方法、装置、计算机设备和存储介质
CN112650876A (zh) * 2020-12-30 2021-04-13 北京嘀嘀无限科技发展有限公司 图像处理方法、装置、电子设备、存储介质和程序产品
CN112668428A (zh) * 2020-12-21 2021-04-16 北京百度网讯科技有限公司 车辆变道的检测方法、路侧设备、云控平台和程序产品
CN112668391A (zh) * 2020-11-25 2021-04-16 上海眼控科技股份有限公司 一种车辆行为识别方法、装置、设备及存储介质
CN112785850A (zh) * 2020-12-29 2021-05-11 上海眼控科技股份有限公司 车辆变道未打灯的识别方法及装置
CN112818753A (zh) * 2021-01-11 2021-05-18 精英数智科技股份有限公司 采坑坠物检测方法、装置及系统
CN112949465A (zh) * 2021-02-26 2021-06-11 上海商汤智能科技有限公司 车辆连续变道识别方法、装置、设备及存储介质
CN113469121A (zh) * 2021-07-21 2021-10-01 浙江大华技术股份有限公司 一种车辆状态的识别方法及装置
CN113569666A (zh) * 2021-07-09 2021-10-29 东风汽车集团股份有限公司 车辆连续违法变道的检测方法及计算机设备
CN113743316A (zh) * 2021-09-07 2021-12-03 北京建筑大学 基于目标检测的车辆加塞行为识别方法、系统及装置
CN113851001A (zh) * 2021-09-17 2021-12-28 同济大学 多车道合并违法自动审核方法、系统、装置和存储介质
CN114387533A (zh) * 2022-01-07 2022-04-22 北京远度互联科技有限公司 道路违规识别的方法、装置、电子设备及存储介质
CN115019511A (zh) * 2022-06-29 2022-09-06 九识(苏州)智能科技有限公司 基于自动驾驶车辆的识别机动车违规变道的方法和装置
CN112115939B (zh) * 2020-08-26 2024-06-04 深圳市金溢科技股份有限公司 车辆车牌的识别方法、装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208019A (zh) * 2011-06-03 2011-10-05 东南大学 基于车载摄像机的车辆变道检测方法
CN103942960A (zh) * 2014-04-22 2014-07-23 深圳市宏电技术股份有限公司 一种车辆变道检测方法及装置
CN106981202A (zh) * 2017-05-22 2017-07-25 中原智慧城市设计研究院有限公司 一种基于车道模型的车辆来回变道检测方法
CN109740424A (zh) * 2018-11-23 2019-05-10 深圳市华尊科技股份有限公司 交通违规识别方法及相关产品
US20190329777A1 (en) * 2018-04-27 2019-10-31 Honda Motor Co., Ltd. Systems and methods for anticipatory lane change
CN110675637A (zh) * 2019-10-15 2020-01-10 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208019A (zh) * 2011-06-03 2011-10-05 东南大学 基于车载摄像机的车辆变道检测方法
CN103942960A (zh) * 2014-04-22 2014-07-23 深圳市宏电技术股份有限公司 一种车辆变道检测方法及装置
CN106981202A (zh) * 2017-05-22 2017-07-25 中原智慧城市设计研究院有限公司 一种基于车道模型的车辆来回变道检测方法
US20190329777A1 (en) * 2018-04-27 2019-10-31 Honda Motor Co., Ltd. Systems and methods for anticipatory lane change
CN109740424A (zh) * 2018-11-23 2019-05-10 深圳市华尊科技股份有限公司 交通违规识别方法及相关产品
CN110675637A (zh) * 2019-10-15 2020-01-10 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115939A (zh) * 2020-08-26 2020-12-22 深圳市金溢科技股份有限公司 车辆车牌的识别方法、装置
CN112115939B (zh) * 2020-08-26 2024-06-04 深圳市金溢科技股份有限公司 车辆车牌的识别方法、装置
CN111814765A (zh) * 2020-08-31 2020-10-23 蔻斯科技(上海)有限公司 车辆压线的确定方法、装置、设备和存储介质
CN112270245A (zh) * 2020-10-23 2021-01-26 平安科技（深圳）有限公司 行车违法检测方法、装置、设备及计算机介质
CN112270245B (zh) * 2020-10-23 2023-05-26 平安科技（深圳）有限公司 行车违法检测方法、装置、设备及计算机介质
CN112668391A (zh) * 2020-11-25 2021-04-16 上海眼控科技股份有限公司 一种车辆行为识别方法、装置、设备及存储介质
CN112580457A (zh) * 2020-12-09 2021-03-30 上海眼控科技股份有限公司 车辆视频的处理方法、装置、计算机设备和存储介质
CN112668428A (zh) * 2020-12-21 2021-04-16 北京百度网讯科技有限公司 车辆变道的检测方法、路侧设备、云控平台和程序产品
CN112785850A (zh) * 2020-12-29 2021-05-11 上海眼控科技股份有限公司 车辆变道未打灯的识别方法及装置
CN112650876A (zh) * 2020-12-30 2021-04-13 北京嘀嘀无限科技发展有限公司 图像处理方法、装置、电子设备、存储介质和程序产品
CN112818753A (zh) * 2021-01-11 2021-05-18 精英数智科技股份有限公司 采坑坠物检测方法、装置及系统
CN112949465A (zh) * 2021-02-26 2021-06-11 上海商汤智能科技有限公司 车辆连续变道识别方法、装置、设备及存储介质
CN113569666A (zh) * 2021-07-09 2021-10-29 东风汽车集团股份有限公司 车辆连续违法变道的检测方法及计算机设备
CN113569666B (zh) * 2021-07-09 2023-12-15 东风汽车集团股份有限公司 车辆连续违法变道的检测方法及计算机设备
CN113469121A (zh) * 2021-07-21 2021-10-01 浙江大华技术股份有限公司 一种车辆状态的识别方法及装置
CN113743316B (zh) * 2021-09-07 2023-09-19 北京建筑大学 基于目标检测的车辆加塞行为识别方法、系统及装置
CN113743316A (zh) * 2021-09-07 2021-12-03 北京建筑大学 基于目标检测的车辆加塞行为识别方法、系统及装置
CN113851001B (zh) * 2021-09-17 2023-08-29 同济大学 多车道合并违法自动审核方法、系统、装置和存储介质
CN113851001A (zh) * 2021-09-17 2021-12-28 同济大学 多车道合并违法自动审核方法、系统、装置和存储介质
CN114387533A (zh) * 2022-01-07 2022-04-22 北京远度互联科技有限公司 道路违规识别的方法、装置、电子设备及存储介质
CN115019511A (zh) * 2022-06-29 2022-09-06 九识(苏州)智能科技有限公司 基于自动驾驶车辆的识别机动车违规变道的方法和装置

Similar Documents

Publication Publication Date Title
CN111523464A (zh) 车辆违法变道的检测方法和装置
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN106991820B (zh) 违规车辆处理方法及装置
CN111382704A (zh) 基于深度学习的车辆压线违章判断方法、装置及存储介质
CN106373426A (zh) 基于计算机视觉的停车位及违规占道停车监控方法
CN105631470A (zh) 一种车牌类型验证的方法及系统
KR101102572B1 (ko) 차량 번호판 인식방법
CN111369801B (zh) 车辆识别方法、装置、设备和存储介质
CN111242002B (zh) 基于计算机视觉的共享单车规范化停放判定方法
CN110321823B (zh) 基于深度学习的斑马线礼让行人违法二次检测方法
KR101834838B1 (ko) 영상처리를 이용한 도로 교통 정보 제공 시스템 및 방법
CN111814765A (zh) 车辆压线的确定方法、装置、设备和存储介质
CN113011331B (zh) 机动车是否礼让行人的检测方法、装置、电子设备及介质
CN114387591A (zh) 车牌识别方法、系统、设备及存储介质
CN105574485A (zh) 一种车辆信息识别方法及系统
CN111008554B (zh) 一种基于深度学习的动态交通斑马线内不礼让行人识别方法
CN113408364B (zh) 一种临时车牌识别方法、系统、装置及存储介质
CN112329886A (zh) 双车牌识别方法、模型训练方法、装置、设备及存储介质
CN114693722B (zh) 一种车辆行驶行为检测方法、检测装置及检测设备
CN111768630A (zh) 一种违章废图检测方法、装置及电子设备
CN113435350A (zh) 一种交通标线检测方法、装置、设备和介质
CN115834838A (zh) 一种隧道内的监控方法、设备和介质
CN115019263A (zh) 交通监管模型的建立方法、交通监管系统及方法
CN114596439A (zh) 一种基于图像的车险智能定损及核损方法、装置和电子设备
CN112597945A (zh) 车辆检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination