CN110765952A - 车辆违法视频的处理方法、装置及计算机设备 - Google Patents

车辆违法视频的处理方法、装置及计算机设备 Download PDF

Info

Publication number
CN110765952A
CN110765952A CN201911017270.2A CN201911017270A CN110765952A CN 110765952 A CN110765952 A CN 110765952A CN 201911017270 A CN201911017270 A CN 201911017270A CN 110765952 A CN110765952 A CN 110765952A
Authority
CN
China
Prior art keywords
image
target vehicle
frame
vehicle
primary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911017270.2A
Other languages
English (en)
Inventor
周康明
王赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kos Technology Shanghai Co Ltd
Shanghai Eye Control Technology Co Ltd
Original Assignee
Kos Technology Shanghai Co Ltd
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kos Technology Shanghai Co Ltd, Shanghai Eye Control Technology Co Ltd filed Critical Kos Technology Shanghai Co Ltd
Priority to CN201911017270.2A priority Critical patent/CN110765952A/zh
Publication of CN110765952A publication Critical patent/CN110765952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种车辆违法视频的处理方法、装置及计算机设备。该方法包括：获取目标车辆的车牌信息；从车辆违法视频中获取多帧主用图像，并在相邻两帧的主用图像之间获取多帧备用图像；根据目标车辆的车牌信息，确定各帧主用图像中的目标车辆和各帧主用图像中目标车辆的位置；若判断任一帧主用图像中目标车辆的位置定位错误，根据定位正确主用图像中的目标车辆图像，确定备用图像中的目标车辆；并利用多帧备用图像重新确定定位错误主用图像中的目标车辆和定位错误主用图像中目标车辆的位置。从而确保目标车辆定位的准确率，并提高车辆违法视频审核的准确率。

Description

车辆违法视频的处理方法、装置及计算机设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种车辆违法视频的处理方法、装置及计算机设备。
背景技术
随着社会经济的迅速发展、城市发展进程的加快，城市人口的不断增加，人民生活水平的不断提高，私家车的数量不断增多，导致城市交通问题也越来越多。
现有机动车辆违法审核采用的方式为：前端设备进行抓拍含有目标车辆的不同时间点的离散图像或者是连续的视频，一种是由人工查看抓拍的图像或者视频进行审核，一种是尝试采用智能算法对抓拍的图像或者视频进行智能审核。
但是，在传统技术中，存在车辆违法视频审核准确率不高的技术问题。
发明内容
基于此，有必要针对传统技术中存在的车辆违法视频审核准确率不高的技术问题，提供一种车辆违法视频的处理方法、装置及计算机设备。
一种车辆违法视频的处理方法，所述方法包括：获取目标车辆的车牌信息；从车辆违法视频中获取多帧主用图像，并在相邻两帧的所述主用图像之间获取多帧备用图像；对各帧所述主用图像进行检测，根据所述目标车辆的车牌信息，确定各帧所述主用图像中的目标车辆和各帧所述主用图像中目标车辆的位置；若判断任一帧所述主用图像中目标车辆的位置定位错误，对位于定位错误主用图像之前的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定所述备用图像中的目标车辆；且所述定位正确主用图像位于所述定位错误主用图像的前一帧；根据所述备用图像中的目标车辆图像和所述定位错误主用图像，重新确定所述定位错误主用图像中的目标车辆和所述定位错误主用图像中目标车辆的位置。
上述车辆违法视频的处理方法，通过利用多帧备用图像对定位错误主用图像中目标车辆的位置进行纠错，确保目标车辆定位的准确率，从而提高车辆违法视频审核的准确率。
附图说明
图1为一个实施例中车辆违法视频的处理的应用环境图；
图2a为一个实施例中车辆违法视频的处理的流程示意图；
图2b为一个实施例中目标车辆的位置的示意图；
图3为一个实施例中车辆违法视频的处理的流程示意图；
图4为一个实施例中车辆违法视频的处理的流程示意图；
图5为一个实施例中车辆违法视频的处理的流程示意图；
图6为一个实施例中车辆违法视频的处理的流程示意图；
图7为一个实施例中车辆违法视频的处理的流程示意图；
图8为一个实施例中车辆违法视频的处理装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
请参见图1，本申请一个实施例提供的应用环境的示意图。该应用环境可以包括：第一计算机设备110、第二计算机设备120和图像采集设备130。其中，第一计算机设备110和第二计算机设备120是指具有较强的数据存储和计算能力的电子设备，例如第一计算机设备110、第二计算机设备120可以是PC(Personal Computer，个人计算机)或服务器。通过视频采集设备130对行驶车辆进行视频采集，得到行驶车辆的视频文件，并通过网络连接将行驶车辆的视频文件发送至第一计算机设备110。在对行驶车辆的违法视频进行处理之前，需要技术人员在第二计算机设备120上构建深度学习模型，并通过第二计算机设备120对构建的深度学习模型进行训练。技术人员也可以在第二计算机设备120上构建分割模型，并通过第二计算机设备120对构建的分割模型进行训练。完成训练的深度学习模型和分割模型可以从第二计算机设备120发布至第一计算机设备110中。第一计算机设备110可以获取目标车辆的车牌信息，从车辆违法视频中获取多帧主用图像，并在相邻两帧的主用图像之间获取多帧备用图像；对各帧主用图像进行检测，根据目标车辆的车牌信息，确定各帧主用图像中的目标车辆和各帧主用图像中目标车辆的位置；若判断任一帧主用图像中目标车辆的位置定位错误，对位于定位错误主用图像之前的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定备用图像中的目标车辆；且定位正确主用图像位于定位错误主用图像的前一帧；根据备用图像中的目标车辆图像和定位错误主用图像，重新确定定位错误主用图像中的目标车辆和定位错误主用图像中目标车辆的位置。可以理解的是，第一计算机设备110也可以采用终端的形式，终端可以是诸如手机、平板电脑、电子书阅读器、多媒体播放设备、可穿戴设备、PC等电子设备。终端通过目标检测模型、分割模型完成车辆违法视频的处理工作。
在一个实施例中，如图2a所示，提供了一种车辆违法视频的处理方法，以该方法应用于图1中的第一计算机设备110为例进行说明，包括以下步骤：
S210、获取目标车辆的车牌信息；
S220、从车辆违法视频中获取多帧主用图像，并在相邻两帧的主用图像之间获取多帧备用图像。
其中，目标车辆是指需要进行违法审核的机动车辆。车牌信息用于唯一地标识各辆车，可以是车牌号。通过视频采集设备对目标车辆的行驶状态进行视频采集，采集到的视频文件可以保存在视频采集设备本地，也可以通过有线连接方式或者无线连接方式发送至第一计算机设备或者与第一计算机设备通信连接的服务器。且视频文件由多帧连续的视频图像组成。具体地，为了核实目标车辆是否违法，需要获取包括目标车辆图像的多帧视频图像和目标车辆的车牌信息。可以事先从车辆违法视频中获取包括目标车辆的多帧视频图像，并将包括目标车辆图像的多帧视频图像保存在第一计算机设备本地或者与第一计算机设备通信连接的服务器。
进一步地，由于影响车辆违法视频审核准确率的主要因素是目标车辆的定位，若目标车辆的定位准确，则可以找到正确的目标车辆，目标车辆的定位错误，则无法找到正确的目标车辆。本实施例中，在相邻的每两帧主用图像之间获取多帧图像作为备用图像，则多帧视频图像可以包括多帧主用图像和多帧备用图像。主要通过多帧主用图像定位目标车辆的位置以核实目标车辆是否违法，若判定主用图像中目标车辆的定位存在错误时，启用多帧备用图像对定位错误主用图像中目标车辆的位置重新定位，一定程度上提升了目标车辆定位的准确率，从而提高车辆违法视频审核的准确率。
S230、对各帧主用图像进行检测，根据目标车辆的车牌信息，确定各帧主用图像中的目标车辆和各帧主用图像中目标车辆的位置。
具体地，各帧主用图像包括多辆车辆，视频图像中可以包括目标车辆，也可以不包括目标车辆。对各帧主用图像中的各车辆进行检测，获得各帧主用图像中各车辆的位置。根据各车辆的位置从各帧主用图像中将检测到的车辆进行车辆图像的提取，检测到的车辆图像中包括对应的车牌信息。将获取的目标车辆的车牌信息与各检测到的各车辆图像所包括的车牌信息进行对比，确定各帧视频图像是否包括目标车辆。若各帧视频图像包括目标车辆，针对各帧主用图像进行目标车辆的追踪检测，确定各帧主用图像中的目标车辆。由于已经检测得知各帧主用图像中各车辆的位置，从而可以确定各帧主用图像中目标车辆的位置。
S240、若判断任一帧主用图像中目标车辆的位置定位错误，对位于定位错误主用图像之前的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定备用图像中的目标车辆。
其中，为了确保车辆违法视频审核的准确性，在对主用图像中目标车辆进行定位后，需要进一步地判断目标车辆的位置是否正确。若目标车辆位置正确，包括该目标车辆的主用图像为定位正确主用图像；若目标车辆位置错误，包括该目标车辆的主用图像为定位错误主用图像。其中，定位正确主用图像位于定位错误主用图像的前一帧。具体地，针对任一帧主用图像，在确定该帧主用图像中目标车辆的位置后，判断该帧主用图像中目标车辆的位置是否定位错误，若判定该帧主用图像中目标车辆的位置定位错误，启用该定位错误主用图像前的备用图像对目标车辆的位置进行纠错。对位于定位错误主用图像之前的备用图像进行检测，获得备用图像中各车辆的位置。根据各车辆的位置从备用图像中将检测到的各车辆进行车辆图像的提取。根据定位正确主用图像中的目标车辆图像，从提取得到的各车辆图像中确定备用图像中的目标车辆。
S250、根据备用图像中的目标车辆图像和定位错误主用图像，重新确定定位错误主用图像中的目标车辆和定位错误主用图像中目标车辆的位置。
具体地，在判定任一帧主用图像中目标车辆的位置定位错误后，确定该帧主用图像为定位错误主用图像，且舍弃该帧主用图像中确定的目标车辆。利用步骤S240中备用图像中的目标车辆和定位错误主用图像进一步地重新确定该定位错误主用图像中的目标车辆。由于可以事先得知定位错误主用图像中各车辆的位置，从而可以确定定位错误主用图像中目标车辆的位置。
本实施例中，通过获取目标车辆的车牌信息；从车辆违法视频中获取多帧主用图像，并在相邻两帧的主用图像之间获取多帧备用图像；并对各帧主用图像进行检测，根据目标车辆的车牌信息，确定各帧主用图像中的目标车辆和各帧主用图像中目标车辆的位置；若判断任一帧主用图像中目标车辆的位置定位错误，则对位于定位错误主用图像之前的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定备用图像中的目标车辆；最后，根据备用图像中的目标车辆图像和定位错误主用图像，重新确定定位错误主用图像中的目标车辆和定位错误主用图像中目标车辆的位置。实现了利用备用图像对定位错误主用图像中目标车辆的位置进行纠错，确保目标车辆定位的准确率，从而提高车辆违法视频审核的准确率。
在一个实施例中，根据相邻两帧主用图像中目标车辆的位移判断任一帧主用图像中目标车辆的位置是否定位错误。相邻两帧主用图像分别记为第N-1帧主用图像和第N帧主用图像。可以在第N-1帧主用图像中目标车辆的位置定位准确的前提下，若第N-1帧和第N帧主用图像中目标车辆的位移小于位移阈值时，则判定第N帧主用图像中目标车辆的位置定位准确。若第N-1帧和第N帧主用图像中目标车辆的位移大于位移阈值时，则判定第N帧主用图像中目标车辆的位置定位错误。
具体地，根据行车速度、相邻两帧视频图像的时间间隔设定位移阈值的大小。如图2b所示，目标车辆210在第N主用图像中的位置记为(xn，yn)，则目标车辆210在多帧主用图像中的位置可以依次记为(x1，y1)，(x2，y2)，(x3，y3)...(xn-1，yn-1)，(xn，yn)…位移阈值记为Txy。依次比较第N-1帧主用图像和第N帧主用图像目标车辆的x坐标和y坐标。若|xn-1-xn|＜Txy或者|yn-1-yn|＜Txy，说明相邻两帧主用图像中目标车辆的位移较小，第N帧主用图像中目标车辆的定位大概率是正确的。
若|xn-1-xn|＞Txy或者|yn-1-yn|＞Txy，说明相邻两帧主用图像中目标车辆的位移较大，第N帧主用图像中目标车辆的定位大概率是错误的。
本实施例中，利用相邻两帧主用图像中目标车辆的位移进行目标车辆定位准确性的判断，以确保目标车辆定位的准确性，从而提升车辆违法视频审核准确率。
在一个实施例中，如图3所示，对各帧主用图像进行检测，根据目标车辆的车牌信息，确定各帧主用图像中的目标车辆和各帧主用图像中目标车辆的位置，包括以下步骤：
S310、通过车辆检测模型对第一帧主用图像进行车辆检测，获得第一帧主用图像中各车辆的位置；
S320、根据第一帧主用图像中各车辆的位置，提取第一帧主用图像中的各车辆图像。
其中，车辆检测模型是指从待检测图像中将感兴趣的目标(比如行驶车辆)检测出来的机器学习模型。比如，车辆检测模型可以是基于深度学习目标检测算法模型。具体地，从车辆违法视频中获取多帧主用图像，通过车辆检测模型对多帧主用图像的第一帧主用图像进行车辆检测，获得第一帧主用图像中各车辆的位置。从而根据第一帧主用图像中各车辆的位置，对第一帧主用图像中的各车辆图像进行提取或者截取。
S330、通过车牌检测模型对提取得到的各车辆图像进行车牌检测，获得各车辆图像中的车牌位置；
S340、根据各车辆图像中的车牌位置，提取各车辆图像中的车牌图像。
其中，车牌检测模型是指从车辆图像中将感兴趣的车牌图像检测出来的机器学习模型。具体地，各车辆图像包括车牌图像。将各车辆图像分别输入至车牌检测模型，通过车牌检测模型对各车辆图像分别进行车牌检测，获得各车辆图像中的车牌位置。从而根据各车辆图像中的车牌位置，从各车辆图像中提取或者截取车牌图像。
S350、通过车牌识别模型对提取得到的各车牌图像进行车牌识别，获得第一帧主用图像中的各车辆的车牌信息；
S360、将目标车辆的车牌信息与第一帧主用图像中的各车辆的车牌信息进行比对，确定第一帧主用图像中的目标车辆，并确定第一帧主用图像中目标车辆的位置。
其中，车牌号码识别模型是指对车牌图像中的车牌信息进行识别的机器学习模型。具体地，将各车牌图像输入至车牌号码识别模型进行识别，从各车牌图像中识别出车牌号码的各个字符，从而获取第一帧主用图像中各车辆的车牌信息。由于已经获取目标车辆的车牌信息，将目标车辆的车牌信息与第一帧主用图像中的各车辆的车牌信息进行比对，将与目标车辆的车牌信息一致的车辆确定为第一帧主用图像中的目标车辆。由于已经通过车辆检测模型获得第一帧主用图像中各车辆的位置，从而确定第一帧主用图像中目标车辆的位置。
在一个实施例中，如图4所示，在检测到第一帧主用图像中目标车辆以及目标车辆的位置后，利用第一帧主用图像中目标车辆对第二帧主用图像进行检测，则该方法还可以包括以下步骤：
S410、通过车辆检测模型对第二帧主用图像进行车辆检测，获得第二帧主用图像中各车辆的位置；
S420、根据第二帧主用图像中各车辆的位置，提取第二帧主用图像中的各车辆图像；
S430、通过车辆重识别模型，根据第一帧主用图像中的目标车辆图像、第二帧主用图像中的各车辆图像确定第二帧主用图像中的目标车辆，并确定第二帧主用图像中目标车辆的位置；
S440、若第二帧主用图像中目标车辆的位置定位正确，则依次类推，执行上述确定主用图像中的目标车辆的步骤，直至确定最后一帧主用图像中目标车辆以及目标车辆的位置。
具体地，在检测到第一帧主用图像中目标车辆以及目标车辆的位置之后，将第二帧主用图像输入至车辆检测模型，通过车辆检测模型对第二帧主用图像进行车辆检测，获得第二帧主用图像中各车辆的位置。从而根据第二帧主用图像中各车辆的位置，对第二帧主用图像中的各车辆图像进行提取或者截取。利用车辆重识别模型，根据第一帧主用图像中的目标车辆图像对第二帧主用图像中的各车辆图像进行识别，确定第二帧主用图像中的目标车辆。由于已经通过车辆检测模型获得第二帧主用图像中各车辆的位置，从而确定第二帧主用图像中目标车辆的位置。
在确定第二帧主用图像中目标车辆的位置后，判断第二帧主用图像中目标车辆的位置是否定位错误，若判定该帧主用图像中目标车辆的位置定位准确，利用车辆重识别模型，根据第二帧主用图像中的目标车辆图像对第三帧主用图像中的各车辆图像进行识别，确定第三帧主用图像中的目标车辆，并确定第三帧主用图像中目标车辆的位置。依次类推，直至确定最后一帧主用图像中目标车辆以及目标车辆的位置。
本实施例中，通过判断各帧主用图像中目标车辆的位置是否定位错误，确定各帧主用图像中目标车辆定位的准确性。
在一个实施例中，如图5所示，对位于定位错误主用图像之前的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定备用图像中的目标车辆，包括以下步骤：
S510、根据定位正确主用图像中目标车辆的位置，缩小位于定位错误主用图像之前的备用图像中目标车辆的检测范围。
其中，由于备用图像是从相邻两帧的主用图像之间获取的，本实施例中的备用图像是位于相邻的两帧定位正确主用图像与定位错误主用图像之间的，定位错误主用图像与各帧备用图像之间的时间间隔是比较小的，目标车辆的位移也比较小，所以目标车辆在各帧备用图像中的位置与定位正确主用图像中的位置是相近的，因此不需要对备用图像的整个范围进行检测，可以缩小备用图像中目标车辆的检测范围，从而提升检测速率。具体地，由于已经得知定位正确主用图像中目标车辆的位置，且定位正确主用图像中目标车辆的位置与备用图像中目标车辆的位置是相近的，则可以根据定位正确主用图像中目标车辆的位置进一步地缩小备用图像中目标车辆的检测范围。可理解的是，检测范围的形状可以是规则的，比如矩形或者圆，也可以是不规则的，确保目标车辆位于检测范围内即可。
进一步地，根据定位正确主用图像中目标车辆的位置，缩小位于定位错误主用图像之前的备用图像中目标车辆的检测范围，包括：设置定位正确主用图像中目标车辆的位置为圆心；根据设置的圆心和预设半径，缩小位于定位错误主用图像之前的备用图像中目标车辆的检测范围。
其中，预设半径记为R。R的取值与视频图像的分辨率有关，一般是随着视频图像的分辨率的变大而变大，同时也与相邻两帧视频图像之间的间隔时间、车辆行驶速度相关。因此，R的取值可以根据实际情况而设定，且R的取值需要确定目标车辆位于检测范围内。具体地，以定位正确主用图像中目标车辆的位置为圆心，并设置合理的半径R，缩小位于定位错误主用图像之前的各帧备用图像中目标车辆的检测范围。
S520、对缩小检测范围的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定备用图像中的目标车辆。
具体地，对缩小检测范围的备用图像进行检测，获得检测范围内各车辆的位置。根据检测范围内各车辆的位置将备用图像中将检测到的各车辆进行车辆图像的提取。根据定位正确主用图像中的目标车辆图像，从提取得到的各车辆图像中确定备用图像中的目标车辆。
本实施例中，通过根据定位正确主用图像中目标车辆的位置，缩小位于定位错误主用图像之前的备用图像中目标车辆的检测范围，并对缩小检测范围的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定备用图像中的目标车辆，提升了目标车辆定位的准确率。
在一个实施例中，如图6所示，对缩小检测范围的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定备用图像中的目标车辆，包括以下步骤：
S610、通过车辆检测模型对缩小检测范围的第一帧备用图像进行车辆检测，从第一帧备用图像中获得检测范围内各车辆的位置；
S620、根据检测范围内各车辆的位置，提取检测范围内的各车辆图像；
S630、通过车辆重识别模型，根据定位正确主用图像中的目标车辆图像、检测范围内的各车辆图像确定第一帧备用图像中的目标车辆；
S640、依次类推，执行上述确定备用图像中的目标车辆的步骤，直至确定最后一帧备用图像中目标车辆。
具体地，为了提升目标车辆定位的准确性，由于定位正确主用图像与备用图像之间的时间间隔较小，根据定位正确主用图像中目标车辆的位置，缩小位于定位错误主用图像之前的备用图像中目标车辆的检测范围。进一步地，通过车辆检测模型对缩小检测范围的第一帧备用图像进行车辆检测，获得检测范围内各车辆的位置。从而根据检测范围内各车辆的位置，将第一帧备用图像中各车辆图像进行提取或者截取。利用车辆重识别模型，根据定位正确主用图像中的目标车辆图像对第一帧备用图像中检测范围内的各车辆图像进行识别，在缩小后的检测范围内确定第一帧备用图像中的目标车辆。
在第一帧备用图像中的目标车辆后，通过车辆检测模型对缩小检测范围的第二帧备用图像进行车辆检测，获得第二帧备用图像中检测范围内各车辆的位置。从而根据第二帧备用图像中检测范围内各车辆的位置，将检测范围内的各车辆图像进行提取或者截取。利用车辆重识别模型，根据第一帧备用图像中的目标车辆图像对第二帧备用图像中检测范围内的各车辆图像进行识别，在缩小后的检测范围内确定第二帧备用图像中的目标车辆。依次类推，执行上述在缩小后的检测范围内确定各帧备用图像中的目标车辆的步骤，直至确定最后一帧备用图像中目标车辆。
在一个实施例中，该方法还包括以下步骤：根据最后一帧备用图像中的目标车辆图像和定位错误主用图像，重新确定定位错误主用图像中的目标车辆；通过车辆检测模型对定位错误主用图像后的下一帧主用图像进行车辆检测，获得下一帧主用图像中各车辆的位置；根据下一帧主用图像中各车辆的位置，提取下一帧主用图像中的各车辆图像；通过车辆重识别模型，根据定位错误主用图像中重新确定的目标车辆图像、下一帧主用图像中的各车辆图像确定下一帧主用图像中的目标车辆；若下一帧主用图像中目标车辆的位置定位正确，则依次类推，执行上述确定主用图像中的目标车辆的步骤，直至确定最后一帧主用图像中目标车辆。
本实施中，通过利用最后一帧备用图像中的目标车辆图像重新确定定位错误主用图像中的目标车辆，对主用图像中的目标车辆进行纠错。确保目标车辆定位的准确率，从而提高车辆违法视频审核的准确率。
在一个实施例中，将上述实施例中的目标车辆定位过程应用至车辆违反导向规定的审核过程中时，如图7所示，该方法还包括以下步骤：
S710、通过分割模型对各帧主用图像进行场景分割，从各帧主用图像分别对应的分割结果中选择像素点个数最大的分割结果作为路面标线信息；
S720、根据路面标线信息和目标车辆的位置确定目标车辆所在车道的导向线类型。
其中，分割模型是指从待检测图像中将图像中属于不同类别的像素点(比如车道线、导向线、背景类图像)区分开来的机器学习模型。输入一张待检测图像进入分割模型，分割模型输出待检测图像中每个像素点属于背景类图像，还是属于车道线、导向线中的某一类别。利用分割模型对待检测图像进行检测为本领域技术人员公知，在此不再赘述。具体地，将各帧主用图像分别输入至分割模型，利用分割模型对各帧主用图像进行场景分割，获取各帧主用图像分别对应的分割结果，且不同的分割结果对应不同的场景信息。为了确保车辆违法视频的审核的正确性，需要对各帧主用图像的分割结果进行融合以获得比较准确的车道线、导向线、停止线等场景信息，提高车道线、导向线、停止线的分割准确率，为车辆违法视频的审核工作打下基础。对各帧主用图像分割后得到像素点个数不等的分割结果，像素点个数越多，表明该分割结果包括的场景信息越全面。因此，从各帧主用图像分别对应的分割结果中选择像素点个数最大的分割结果作为最终的路面标线信息。由于分割模型的输出包括导向线的位置、车道线的位置和导向线类型等，且最终的路面标线信息可以包括车道线位置、导向线位置、停止线位置中的至少一种，还可以包括车道线、导向线、停止线中的至少一种，则根据车道线的位置和目标车辆的位置确定目标车辆所在的车道，并确定目标车辆所在车道的导向线类型。
S730、根据各帧主用图像中目标车辆的位置确定目标车辆的行驶方向。
具体地，由于行驶状态的目标车辆在各时刻具有不同的位置，即在各帧主用图像中具有不同的位置，目标车辆在各帧主用图像中的位置可以反映目标车辆的行驶轨迹和行驶方向。即可根据各帧主用图像中目标车辆的位置确定目标车辆的行驶方向。
S740、若导向线类型与目标车辆的行驶方向匹配，则判定目标车辆不违法。
具体地，在确定其目标车辆的行驶方向和所在车道的导向线类型后，判断所在车道的导向线类型与行驶方向是否匹配，根据匹配的结果，判断目标车辆是否违法。比如，利用分割模型检测到目标车辆所在的车道的导向线为直行导向线，且目标车辆的行驶方向为直行，则导向线类型与目标车辆的行驶方向匹配，判定目标车辆不违法。
进一步地，若导向线类型与目标车辆的行驶方向不匹配，则判定目标车辆违法。具体地，在确定其目标车辆的行驶方向和所在车道的导向线类型后，判断所在车道的导向线类型与行驶方向是否匹配，根据匹配的结果，判断目标车辆是否违法。比如，利用分割模型检测到目标车辆所在的车道的导向线为左转导向线，但目标车辆的行驶方向为直行，则导向线类型与目标车辆的行驶方向不匹配，判定目标车辆违法。
在一个实施例中，从车辆违法视频中获取多帧主用图像，包括：获取车辆违法视频；从车辆违法视频中以第一时间间隔等时地获取多帧主用图像。在相邻两帧的主用图像之间获取多帧备用图像，包括：在相邻两帧的主用图像之间，以第二时间间隔等时地获取多帧备用图像。其中，第二时间间隔小于第一时间间隔。
其中，通过视频采集设备对目标车辆的行驶状态进行视频采集，采集到的视频文件可以保存在视频采集设备本地，也可以通过有线连接方式或者无线连接方式发送至第一计算机设备或者与第一计算机设备通信连接的服务器。且视频文件由多帧连续的视频图像组成。具体地，从第一计算机设备本地、与第一计算机设备通信连接的服务器或者视频采集设备获取车辆违法视频，车辆违法视频包括多帧连续的视频图像。按照预设的第一时间间隔从多帧连续的视频图像选择预设数量帧的主用图像，即可得到车辆违法视频中的多帧主用图像。该多帧主用图像可以包括车辆违法视频的第一帧图像，等时间间隔地从车辆违法视频选择等间隔的多帧视频图像。比如选择车辆违法视频的第1帧、第5帧、第9帧、第13帧、第17帧，则多帧主用图像对应的图像序列为(1,5,9,13,17)。多帧视频图像也可以从除车辆违法视频第一帧图像之外的其它帧视频图像进行选择。比如选择车辆违法视频的第2帧、第7帧、第12帧、第17帧、第22帧，则多帧主用图像对应的图像序列为(2,7,12,17,22)。比如选择车辆违法视频的第4帧、第10帧、第16帧、第22帧、第28帧，则多帧主用图像对应的图像序列为(4,10,16,22,28)。
进一步地，在相邻两帧的主用图像之间，以第二时间间隔等时地获取多帧备用图像。比如，多帧主用图像对应的图像序列为(4,10,16,22,28)，在第4帧视频图像和第10帧视频图像之间获取第5帧、第7帧、第9帧视频图像作为第一组备用图像。在第10帧视频图像和第16帧视频图像之间获取第11帧、第13帧、第15帧视频图像作为第二组备用图像。在第16帧视频图像和第22帧视频图像之间获取第17帧、第19帧、第21帧视频图像作为第三组备用图像。在第22帧视频图像和第28帧视频图像之间获取第23帧、第25帧、第27帧视频图像作为第三组备用图像。可见，从车辆违法视频中获取的视频图像序列为[4，(5,7,9)，10,(11,13,15)，16,(17,19,21)，22,(23,25,27)，28]。
可以理解的是，在选择视频图像时，不能选择目标车辆超出停止线的视频图像，否则无法判断视频图像中的目标车辆来自哪个车道。另外，所取预设数量帧视频图像中相邻两帧视频图像中目标车辆位移比较小。预设的第一时间间隔和第二时间间隔可以根据实际情况设定，预设数量帧的主用图像也可以根据实际情况而定，比如5张、10张等。预设数量帧的备用图像也可以根据实际情况而定，比如2张、3张、4张等。备用图像相比于主用图像，相邻两帧备用图像之间的间隔时间更短，目标车辆位移以及姿态变化更小。
在一个实施例中，从各帧主用图像分别对应的分割结果中选择像素点个数最大的分割结果作为路面标线信息，包括：确定各帧主用图像分别对应的分割结果的像素点个数；若第N帧主用图像的分割结果的像素点个数大于像素点个数阈值，则保留第N帧主用图像的分割结果；从被保留的分割结果中选择像素点个数最大的分割结果作为路面标线信息。
其中，在车辆行驶的情境中，不可避免地存在一些遮挡等因素导致并不是每帧主用图像中的场景信息是全面的。各帧主用图像中包括不同的场景信息，有些帧主用图像中可能包括至少一条车道线和背景类图像，有些帧主用图像中可能包括导向线、车道线和背景类图像，有些帧主用图像中可能包括导向线、车道线、停止线和背景类图像。为了减弱这些遮挡对车辆违法视频的审核，对各帧主用图像的分割结果进行信息融合。
具体地，将获取的各帧主用图像分别输入至分割模型，利用分割模型对各帧主用图像进行场景分割，获取每帧主用图像中可能包含的车道线、导向线、停止线等信息。对各帧主用图像分割后得到像素点个数不等的分割结果，确定各帧主用图像分别对应的分割结果的像素点个数。可以根据实际情况设置像素点个数阈值T,对各帧主用图像分别对应的分割结果进行过滤，若第N帧主用图像的分割结果的像素点个数大于像素点个数阈值，则保留第N帧主用图像的分割结果。当第N帧主用图像的分割结果的像素点个数小于阈值T时，即舍弃该分割结果，从而过滤掉信息不全面的分割结果。在相近帧主用图像的分割结果中，取分割像素点数最大的分割结果作为最终的路面标线信息。从而得到多帧路面标线信息图像分割并信息融合后的车道线、导向线、停止线等信息。本实施例中，通过使用多帧路面标线信息图像的综合结果会使得分割结果更加准确。
在一个实施例中，路面标线信息包括导向线类型、导向线位置以及车道线位置。根据路面标线信息和目标车辆的位置确定目标车辆所在车道的导向线类型，包括：根据第一帧主用图像中目标车辆的位置以及车道线位置，确定目标车辆所在的车道以及目标车辆两边的车道线；根据目标车辆两边的车道线的位置以及导向线位置确定目标车辆所在车道的导向线，并确定目标车辆所在车道的导向线类型。
具体地，通过分割模型对主用图像进行场景分割，可以得到各导向线的类别、各导向线的位置和车道线的位置，并在主用图像中标示出各个导向线的外接矩形框。通过车辆检测模型检测出主用图像中的目标车辆的位置信息。通过计算目标车辆的中心点至车道线的距离，选择距离最近的两条车道线作为目标车辆两边的车道线，目标车辆两边的车道线可以是目标车辆所在的车道的左车道线和右车道线。在主用图像中存在多个导向线，通过分割模型获得各个导向线的位置，并确定各个导向线的中心点。计算各个导向线的中心点至两边车道线的距离，选择距离两边车道线最近的导向线作为两边车道线之间的导向线，并识别出该导向线的类型，即可确定目标车辆所在车道的导向线类型。可以理解的是，应该使用同一帧的主用图像确定目标车辆以及导向线类型。本实施例中使用第一帧主用图像确定导向线类型，则同样使用第一帧主用图像确定目标车辆。
在一个实施例中，本申请提供一种车辆违法视频的处理方法，该方法包括以下步骤：
S802、获取目标车辆的车牌信息。
S804、从车辆违法视频中获取多帧主用图像，并在相邻两帧的主用图像之间获取多帧备用图像。
S806、通过车辆检测模型对第一帧主用图像进行车辆检测，获得第一帧主用图像中各车辆的位置。
S808、根据第一帧主用图像中各车辆的位置，提取第一帧主用图像中的各车辆图像。
S810、通过车牌检测模型对提取得到的各车辆图像进行车牌检测，获得各车辆图像中的车牌位置。
S812、根据各车辆图像中的车牌位置，提取各车辆图像中的车牌图像。
S814、通过车牌识别模型对提取得到的各车牌图像进行车牌识别，获得第一帧主用图像中的各车辆的车牌信息。
S816、将目标车辆的车牌信息与第一帧主用图像中的各车辆的车牌信息进行比对，确定第一帧主用图像中的目标车辆，并确定第一帧主用图像中目标车辆的位置。
S818、通过车辆检测模型对第二帧主用图像进行车辆检测，获得第二帧主用图像中各车辆的位置。
S820、根据第二帧主用图像中各车辆的位置，提取第二帧主用图像中的各车辆图像。
S822、通过车辆重识别模型，根据第一帧主用图像中的目标车辆图像、第二帧主用图像中的各车辆图像确定第二帧主用图像中的目标车辆，并确定第二帧主用图像中目标车辆的位置。
S824、若第二帧主用图像中目标车辆的位置定位正确，则依次类推，执行上述确定主用图像中的目标车辆的步骤，直至确定最后一帧主用图像中目标车辆以及目标车辆的位置。
S826、若判断第二帧主用图像中目标车辆的位置定位错误，根据第一帧主用图像中目标车辆的位置，缩小第二帧主用图像之前的备用图像中目标车辆的检测范围。
其中，设置第一帧主用图像中目标车辆的位置为圆心；根据设置的圆心和预设半径，缩小第二帧主用图像之前的备用图像中目标车辆的检测范围。
S828、通过车辆检测模型对缩小检测范围的第一帧备用图像进行车辆检测，从第一帧备用图像中获得检测范围内各车辆的位置。
S830、根据检测范围内各车辆的位置，提取检测范围内的各车辆图像。
S832、通过车辆重识别模型，根据第一帧主用图像中的目标车辆图像、检测范围内的各车辆图像确定第一帧备用图像中的目标车辆。
S834、依次类推，执行上述确定备用图像中的目标车辆的步骤，直至确定最后一帧备用图像中目标车辆。
S836、根据最后一帧备用图像中目标车辆图像和第二帧主用图像，重新确定第二帧主用图像中的目标车辆和第二帧主用图像中目标车辆的位置。
S838、通过车辆检测模型对第三帧主用图像进行车辆检测，获得第三帧主用图像中各车辆的位置。
S840、根据第三帧主用图像中各车辆的位置，提取第三帧主用图像中的各车辆图像。
S842、通过车辆重识别模型，根据第二帧主用图像中的目标车辆图像、第三帧主用图像中的各车辆图像确定第三帧主用图像中的目标车辆，并确定第三帧主用图像中目标车辆的位置。
S844、依次类推，若判定任一帧主用图像中目标车辆的位置定位错误，执行上述重新确定定位错误主用图像中的目标车辆的步骤，直至确定最后一帧主用图像中目标车辆以及目标车辆的位置。
S846、通过分割模型对各帧主用图像进行场景分割，从各帧主用图像分别对应的分割结果中选择像素点个数最大的分割结果作为路面标线信息。
S848、根据路面标线信息和目标车辆的位置确定目标车辆所在车道的导向线类型。
S850、根据各帧主用图像中目标车辆的位置确定目标车辆的行驶方向。
S852、若导向线类型与目标车辆的行驶方向匹配，则判定目标车辆不违法。
S854、若导向线类型与目标车辆的行驶方向不匹配，则判定目标车辆违法。
应该理解的是，虽然上述各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，本申请提供一种车辆违法视频的处理装置800，如图8所示，该装置包括：
第一获取模块810，用于获取目标车辆的车牌信息；
第二获取模块820，从车辆违法视频中获取多帧主用图像，并在相邻两帧的主用图像之间获取多帧备用图像；
第一检测模块830，用于对各帧主用图像进行检测，根据目标车辆的车牌信息，确定各帧主用图像中的目标车辆和各帧主用图像中目标车辆的位置；
第二检测模块840，若判断任一帧主用图像中目标车辆的位置定位错误，对位于定位错误主用图像之前的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定备用图像中的目标车辆；其中，所述定位正确主用图像位于所述定位错误主用图像的前一帧；
重新定位模块850，用于根据备用图像中的目标车辆图像和定位错误主用图像，重新确定定位错误主用图像中的目标车辆和定位错误主用图像中目标车辆的位置。
关于车辆违法视频的处理装置的具体限定可以参见上文中对于车辆违法视频的处理方法的限定，在此不再赘述。上述车辆违法视频的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆违法视频的处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行计算机程序时实现以下步骤：获取目标车辆的车牌信息；从车辆违法视频中获取多帧主用图像，并在相邻两帧的主用图像之间获取多帧备用图像；对各帧主用图像进行检测，根据目标车辆的车牌信息，确定各帧主用图像中的目标车辆和各帧主用图像中目标车辆的位置；若判断任一帧主用图像中目标车辆的位置定位错误，对位于定位错误主用图像之前的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定备用图像中的目标车辆；其中，所述定位正确主用图像位于所述定位错误主用图像的前一帧；根据备用图像中的目标车辆图像和定位错误主用图像，重新确定定位错误主用图像中的目标车辆和定位错误主用图像中目标车辆的位置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取目标车辆的车牌信息；从车辆违法视频中获取多帧主用图像，并在相邻两帧的主用图像之间获取多帧备用图像；对各帧主用图像进行检测，根据目标车辆的车牌信息，确定各帧主用图像中的目标车辆和各帧主用图像中目标车辆的位置；若判断任一帧主用图像中目标车辆的位置定位错误，对位于定位错误主用图像之前的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定备用图像中的目标车辆；其中，所述定位正确主用图像位于所述定位错误主用图像的前一帧；根据备用图像中的目标车辆图像和定位错误主用图像，重新确定定位错误主用图像中的目标车辆和定位错误主用图像中目标车辆的位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过车辆检测模型对第一帧主用图像进行车辆检测，获得第一帧主用图像中各车辆的位置；根据第一帧主用图像中各车辆的位置，提取第一帧主用图像中的各车辆图像；通过车牌检测模型对提取得到的各车辆图像进行车牌检测，获得各车辆图像中的车牌位置；根据各车辆图像中的车牌位置，提取各车辆图像中的车牌图像；通过车牌识别模型对提取得到的各车牌图像进行车牌识别，获得第一帧主用图像中的各车辆的车牌信息；将目标车辆的车牌信息与第一帧主用图像中的各车辆的车牌信息进行比对，确定第一帧主用图像中的目标车辆，并确定第一帧主用图像中目标车辆的位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过车辆检测模型对第二帧主用图像进行车辆检测，获得第二帧主用图像中各车辆的位置；根据第二帧主用图像中各车辆的位置，提取第二帧主用图像中的各车辆图像；通过车辆重识别模型，根据第一帧主用图像中的目标车辆图像、第二帧主用图像中的各车辆图像确定第二帧主用图像中的目标车辆，并确定第二帧主用图像中目标车辆的位置；若第二帧主用图像中目标车辆的位置定位正确，则依次类推，执行上述确定主用图像中的目标车辆的步骤，直至确定最后一帧主用图像中目标车辆以及目标车辆的位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据定位正确主用图像中目标车辆的位置，缩小位于定位错误主用图像之前的备用图像中目标车辆的检测范围；对缩小检测范围的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定备用图像中的目标车辆。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过车辆检测模型对缩小检测范围的第一帧备用图像进行车辆检测，从第一帧备用图像中获得检测范围内各车辆的位置；根据检测范围内各车辆的位置，提取检测范围内的各车辆图像；通过车辆重识别模型，根据定位正确主用图像中的目标车辆图像、检测范围内的各车辆图像确定第一帧备用图像中的目标车辆；依次类推，执行上述确定备用图像中的目标车辆的步骤，直至确定最后一帧备用图像中目标车辆。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种车辆违法视频的处理方法，其特征在于，所述方法包括：
获取目标车辆的车牌信息；
从车辆违法视频中获取多帧主用图像，并在相邻两帧的所述主用图像之间获取多帧备用图像；
对各帧所述主用图像进行检测，根据所述目标车辆的车牌信息，确定各帧所述主用图像中的目标车辆和各帧所述主用图像中目标车辆的位置；
若判断任一帧所述主用图像中目标车辆的位置定位错误，对位于定位错误主用图像之前的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定所述备用图像中的目标车辆；其中，所述定位正确主用图像位于所述定位错误主用图像的前一帧；
根据所述备用图像中的目标车辆图像和所述定位错误主用图像，重新确定所述定位错误主用图像中的目标车辆和所述定位错误主用图像中目标车辆的位置。
2.根据权利要求1所述的方法，其特征在于，所述对各帧所述主用图像进行检测，根据所述目标车辆的车牌信息，确定各帧所述主用图像中的目标车辆和各帧所述主用图像中目标车辆的位置，包括：
通过车辆检测模型对第一帧主用图像进行车辆检测，获得所述第一帧主用图像中各车辆的位置；
根据所述第一帧主用图像中各车辆的位置，提取所述第一帧主用图像中的各车辆图像；
通过车牌检测模型对提取得到的各车辆图像进行车牌检测，获得所述各车辆图像中的车牌位置；
根据各车辆图像中的车牌位置，提取所述各车辆图像中的车牌图像；
通过车牌识别模型对提取得到的各车牌图像进行车牌识别，获得所述第一帧主用图像中的各车辆的车牌信息；
将所述目标车辆的车牌信息与所述第一帧主用图像中的各车辆的车牌信息进行比对，确定所述第一帧主用图像中的目标车辆，并确定所述第一帧主用图像中目标车辆的位置。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
通过所述车辆检测模型对第二帧主用图像进行车辆检测，获得所述第二帧主用图像中各车辆的位置；
根据所述第二帧主用图像中各车辆的位置，提取所述第二帧主用图像中的各车辆图像；
通过车辆重识别模型，根据所述第一帧主用图像中的目标车辆图像、所述第二帧主用图像中的各车辆图像确定所述第二帧主用图像中的目标车辆，并确定所述第二帧主用图像中目标车辆的位置；
若所述第二帧主用图像中目标车辆的位置定位正确，则依次类推，执行上述确定所述主用图像中的目标车辆的步骤，直至确定最后一帧主用图像中目标车辆以及所述目标车辆的位置。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述对位于定位错误主用图像之前的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定所述备用图像中的目标车辆，包括：
根据所述定位正确主用图像中目标车辆的位置，缩小所述位于定位错误主用图像之前的备用图像中目标车辆的检测范围；
对缩小检测范围的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定所述备用图像中的目标车辆。
5.根据权利要求4所述的方法，其特征在于，所述根据所述定位正确主用图像中目标车辆的位置，缩小所述位于定位错误主用图像之前的备用图像中目标车辆的检测范围，包括：
设置所述定位正确主用图像中目标车辆的位置为圆心；
根据设置的圆心和预设半径，缩小所述位于定位错误主用图像之前的备用图像中目标车辆的检测范围。
6.根据权利要求4所述的方法，其特征在于，所述对缩小检测范围的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定所述备用图像中的目标车辆，包括：
通过车辆检测模型对缩小检测范围的第一帧备用图像进行车辆检测，从所述第一帧备用图像中获得所述检测范围内各车辆的位置；
根据所述检测范围内各车辆的位置，提取所述检测范围内的各车辆图像；
通过车辆重识别模型，根据所述定位正确主用图像中的目标车辆图像、所述检测范围内的各车辆图像确定所述第一帧备用图像中的目标车辆；
依次类推，执行上述确定所述备用图像中的目标车辆的步骤，直至确定最后一帧备用图像中目标车辆。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述最后一帧备用图像中的目标车辆图像和所述定位错误主用图像，重新确定所述定位错误主用图像中的目标车辆；
通过车辆检测模型对所述定位错误主用图像后的下一帧主用图像进行车辆检测，获得所述下一帧主用图像中各车辆的位置；
根据所述下一帧主用图像中各车辆的位置，提取所述下一帧主用图像中的各车辆图像；
通过车辆重识别模型，根据所述定位错误主用图像中重新确定的目标车辆图像、所述下一帧主用图像中的各车辆图像确定所述下一帧主用图像中的目标车辆；
若所述下一帧主用图像中目标车辆的位置定位正确，则依次类推，执行上述确定所述主用图像中的目标车辆的步骤，直至确定最后一帧主用图像中目标车辆。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过分割模型对各帧所述主用图像进行场景分割，从各帧所述主用图像分别对应的分割结果中选择像素点个数最大的分割结果作为路面标线信息；
根据所述路面标线信息和所述目标车辆的位置确定所述目标车辆所在车道的导向线类型；
根据各帧所述主用图像中目标车辆的位置确定所述目标车辆的行驶方向；
若所述导向线类型与所述目标车辆的行驶方向匹配，则判定所述目标车辆不违法。
9.根据权利要求8所述的方法，其特征在于，所述从各帧所述主用图像分别对应的分割结果中选择像素点个数最大的分割结果作为路面标线信息，包括：
确定各帧所述主用图像分别对应的分割结果的像素点个数；
若第N帧主用图像的分割结果的像素点个数大于像素点个数阈值，则保留第N帧主用图像的分割结果；
从被保留的分割结果中选择像素点个数最大的分割结果作为路面标线信息。
10.根据权利要求8所述的方法，其特征在于，所述路面标线信息包括导向线类型、导向线位置以及车道线位置；所述根据所述路面标线信息和所述目标车辆的位置确定所述目标车辆所在车道的导向线类型，包括：
根据第一帧主用图像中目标车辆的位置以及车道线位置，确定所述目标车辆所在的车道以及所述目标车辆两边的车道线；
根据所述目标车辆两边的车道线的位置以及所述导向线位置确定所述目标车辆所在车道的导向线，并确定所述目标车辆所在车道的导向线类型。
11.根据权利要求8所述的方法，其特征在于，所述方法还包括：
若所述导向线类型与所述目标车辆的行驶方向不匹配，则判定所述目标车辆违法。
12.一种车辆违法视频的处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标车辆的车牌信息；
第二获取模块，从车辆违法视频中获取多帧主用图像，并在相邻两帧的所述主用图像之间获取多帧备用图像；
第一检测模块，用于对各帧所述主用图像进行检测，根据所述目标车辆的车牌信息，确定各帧所述主用图像中的目标车辆和各帧所述主用图像中目标车辆的位置；
第二检测模块，若判断任一帧所述主用图像中目标车辆的位置定位错误，对位于定位错误主用图像之前的备用图像进行检测，根据定位正确主用图像中的目标车辆图像，确定所述备用图像中的目标车辆；其中，所述定位正确主用图像位于所述定位错误主用图像的前一帧；
重新定位模块，用于根据所述备用图像中的目标车辆图像和所述定位错误主用图像，重新确定所述定位错误主用图像中的目标车辆和所述定位错误主用图像中目标车辆的位置。
13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。
CN201911017270.2A 2019-10-24 2019-10-24 车辆违法视频的处理方法、装置及计算机设备 Pending CN110765952A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911017270.2A CN110765952A (zh) 2019-10-24 2019-10-24 车辆违法视频的处理方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911017270.2A CN110765952A (zh) 2019-10-24 2019-10-24 车辆违法视频的处理方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN110765952A true CN110765952A (zh) 2020-02-07

Family

ID=69333365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911017270.2A Pending CN110765952A (zh) 2019-10-24 2019-10-24 车辆违法视频的处理方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN110765952A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539337A (zh) * 2020-04-26 2020-08-14 上海眼控科技股份有限公司 车辆姿态矫正方法、装置及设备
CN112712708A (zh) * 2020-12-28 2021-04-27 上海眼控科技股份有限公司 信息检测方法、装置、设备及存储介质
CN113326775A (zh) * 2021-05-31 2021-08-31 Oppo广东移动通信有限公司 图像处理方法及装置、终端及可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945210A (zh) * 2010-09-29 2011-01-12 无锡中星微电子有限公司 运动跟踪预测方法
CN103400391A (zh) * 2013-08-09 2013-11-20 北京博思廷科技有限公司 一种基于改进的随机森林的多目标跟踪方法及装置
CN103426183A (zh) * 2013-07-10 2013-12-04 上海理工大学 运动物体跟踪方法以及装置
CN104463901A (zh) * 2013-09-25 2015-03-25 北京环境特性研究所 一种机场跑道异物检测快速定位方法
US9028067B1 (en) * 2014-05-28 2015-05-12 Sightex LLC Relocated virtual retinal image method and system
CN105243674A (zh) * 2015-09-16 2016-01-13 阔地教育科技有限公司 一种防止运动目标误检装置及方法
CN106652477A (zh) * 2017-03-06 2017-05-10 北京惠泽智业科技有限公司 一种违章识别的方法及装置
CN107342868A (zh) * 2017-07-31 2017-11-10 赵飞腾 鉴别合法用户的自动化装置
CN107600067A (zh) * 2017-09-08 2018-01-19 中山大学 一种基于多视觉惯导融合的自主泊车系统及方法
CN108875480A (zh) * 2017-08-15 2018-11-23 北京旷视科技有限公司 一种人脸特征信息的追踪方法、装置及系统
CN109978919A (zh) * 2019-03-22 2019-07-05 广州小鹏汽车科技有限公司 一种基于单目相机的车辆定位方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945210A (zh) * 2010-09-29 2011-01-12 无锡中星微电子有限公司 运动跟踪预测方法
CN103426183A (zh) * 2013-07-10 2013-12-04 上海理工大学 运动物体跟踪方法以及装置
CN103400391A (zh) * 2013-08-09 2013-11-20 北京博思廷科技有限公司 一种基于改进的随机森林的多目标跟踪方法及装置
CN104463901A (zh) * 2013-09-25 2015-03-25 北京环境特性研究所 一种机场跑道异物检测快速定位方法
US9028067B1 (en) * 2014-05-28 2015-05-12 Sightex LLC Relocated virtual retinal image method and system
CN105243674A (zh) * 2015-09-16 2016-01-13 阔地教育科技有限公司 一种防止运动目标误检装置及方法
CN106652477A (zh) * 2017-03-06 2017-05-10 北京惠泽智业科技有限公司 一种违章识别的方法及装置
CN107342868A (zh) * 2017-07-31 2017-11-10 赵飞腾 鉴别合法用户的自动化装置
CN108875480A (zh) * 2017-08-15 2018-11-23 北京旷视科技有限公司 一种人脸特征信息的追踪方法、装置及系统
CN107600067A (zh) * 2017-09-08 2018-01-19 中山大学 一种基于多视觉惯导融合的自主泊车系统及方法
CN109978919A (zh) * 2019-03-22 2019-07-05 广州小鹏汽车科技有限公司 一种基于单目相机的车辆定位方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539337A (zh) * 2020-04-26 2020-08-14 上海眼控科技股份有限公司 车辆姿态矫正方法、装置及设备
CN112712708A (zh) * 2020-12-28 2021-04-27 上海眼控科技股份有限公司 信息检测方法、装置、设备及存储介质
CN113326775A (zh) * 2021-05-31 2021-08-31 Oppo广东移动通信有限公司 图像处理方法及装置、终端及可读存储介质
CN113326775B (zh) * 2021-05-31 2023-12-29 Oppo广东移动通信有限公司 图像处理方法及装置、终端及可读存储介质

Similar Documents

Publication Publication Date Title
CN110533925B (zh) 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN110634153A (zh) 目标跟踪模板更新方法、装置、计算机设备和存储介质
CN112488064B (zh) 一种人脸追踪方法、系统、终端及存储介质
CN110765952A (zh) 车辆违法视频的处理方法、装置及计算机设备
CN110826484A (zh) 车辆重识别的方法、装置、计算机设备及模型训练方法
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
CN111950329A (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
CN110619330A (zh) 识别模型的训练方法、装置、计算机设备及识别方法
CN112712703A (zh) 车辆视频的处理方法、装置、计算机设备和存储介质
CN110675637A (zh) 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN112580457A (zh) 车辆视频的处理方法、装置、计算机设备和存储介质
JP2022025008A (ja) テキスト行識別に基づくナンバープレート識別方法
CN110598687A (zh) 车辆识别码的检测方法、装置及计算机设备
CN111091215B (zh) 车辆识别方法、装置、计算机设备和存储介质
CN111753639B (zh) 感知地图生成方法、装置、计算机设备和存储介质
CN112183307A (zh) 文本识别方法、计算机设备和存储介质
CN111192392A (zh) 身份验证方法、装置、计算机设备和计算机可读存储介质
CN111832561B (zh) 基于计算机视觉的字符序列识别方法、装置、设备和介质
CN110188591A (zh) 套牌车辆的识别方法、装置、计算机设备和存储介质
CN112241705A (zh) 基于分类回归的目标检测模型训练方法和目标检测方法
WO2016164834A4 (en) Augmenting transport services using driver profiling
CN115392407A (zh) 基于无监督学习的危险源预警方法、装置、设备及介质
CN111368728A (zh) 安全监测方法、装置、计算机设备和存储介质
CN112446375A (zh) 车牌识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20221209

AD01 Patent right deemed abandoned