CN111368639B - 车辆越线判定方法、装置、计算机设备和存储介质 - Google Patents

车辆越线判定方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111368639B
CN111368639B CN202010084656.1A CN202010084656A CN111368639B CN 111368639 B CN111368639 B CN 111368639B CN 202010084656 A CN202010084656 A CN 202010084656A CN 111368639 B CN111368639 B CN 111368639B
Authority
CN
China
Prior art keywords
vehicle
image
key points
lane
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010084656.1A
Other languages
English (en)
Other versions
CN111368639A (zh
Inventor
罗振杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010084656.1A priority Critical patent/CN111368639B/zh
Publication of CN111368639A publication Critical patent/CN111368639A/zh
Application granted granted Critical
Publication of CN111368639B publication Critical patent/CN111368639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种车辆越线判定方法、装置、计算机设备和存储介质。所述方法通过获取目标图像中的车辆图像，根据关键点检测卷积神经网络对所述车辆图像进行检测，输出关键点；根据图像分割模型获取所述目标图像中的车道线，根据关键点与车道线的相对位置判断车辆是否越线；通过车辆上的关键点精细化表征车辆的位置信息，利用车道线的几何方程与关键点位置来判断车辆是否越线，使得判断结果更加准确，减少了越线的误判概率。

Description

车辆越线判定方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种车辆越线判定方法、装置、计算机设备和存储介质。
背景技术
随着图像处理技术的不断发展，图像处理技术越来越多地被用于车辆交通违章判定的应用场景之中，其中，机动车越线是交通违章中的一种常见类型，在交通违章的智能化判罚系统中，首先需要获得目标车辆位置信息，然后结合场景中车道线等环境信息，按一定的规则来判定车辆是否越线违章。然而，相关技术中使用目标检测矩形框来反映目标车辆位置的信息，车辆的目标检测框是指一个包含目标车辆的外接矩形，往往只能反映目标的整体位置属性，有时车辆的检测矩形框偏大一些，矩形框已经越过了车道线，可是实际上车辆的轮胎没有发生越线，而有时车辆检测矩形框也会偏小，矩形框没有越过车道线，可实际上车辆已经发生越线行为。
针对相关技术中，车辆越线违章判定不准确的问题，目前尚未提出有效的解决方案。
发明内容
基于此，有必要针对上述技术问题，提供一种车辆越线判定方法、装置、计算机设备和存储介质。
根据本发明的一个方面，提供了一种车辆越线判定的方法，包括以下步骤：
通过目标检测模型，获取目标图像中的车辆图像；
根据关键点检测卷积神经网络对所述车辆图像进行检测，输出关键点；
获取所述目标图像中的车道线，根据所述关键点与所述车道线的相对位置判断所述车辆图像中的车辆是否越线。
在其中一个实施例中，所述根据关键点检测卷积神经网络，对所述车辆图像进行关键点检测，输出关键点包括：
根据关键点检测卷积神经网络，将所述车辆图像进行前向预测得到关键点的热力图，所述热力图的每一个通道代表一个关键点类型，所述通道中的峰值位置是与所述通道对应的所述关键点类型的关键点定位，输出所述关键点定位。
在其中一个实施例中，所述热力图通道中的峰值位置是与所述热力图通道对应的所述关键点类型的关键点定位，输出所述关键点定位包括：
将各个所述通道的所述热力图归一化；
在第一通道的所述峰值位置数值小于或者等于第一阈值的情况下，判断与所述第一通道对应的关键点为不可见关键点；
在第一通道的所述峰值位置数值大于所述第一阈值的情况下，判断与所述第一通道对应的关键点为可见关键点；输出所述可见关键点。
在其中一个实施例中，所述根据图像分割模型获取所述目标图像中的车道线，根据所述关键点与所述车道线的相对位置判断所述车辆图像中的车辆是否越线包括：
判断所述关键点是否位于所述车道线的不同侧，
若否，则所述车辆没有越线；
若有，分别获取第一关键点与所述车道线的第一距离，获取第二关键点与所述车道线的第二距离，根据所述第一距离和所述第二距离评估所述车辆的越线程度，其中，所述第一关键点和所述第二关键点分别为所述车道线的两侧距离所述车道线距离最远的所述关键点。
在其中一个实施例中，所述根据所述第一距离和所述第二距离评估所述车辆的越线程度包括，
计算所述第一距离与所述第二距离的比值，其中，所述第一距离小于或者等于所述第二距离，
在所述比值大于或者等于第二阈值的情况下，判断所述车辆越线；
在所述比值小于所述第二阈值的情况下，判断所述第一关键点是否位于所述车辆的前半侧，
若是，则所述车辆没有越线；若否，则所述车辆越线。
在其中一个实施例中，所述通过目标检测模型，获取目标图像中的车辆图像包括：
通过目标检测模型，检测得到所述车辆的第一矩形框，将所述第一矩形框按预设比例向外扩大得到第二矩形框，将所述第二矩形框从所述目标图像中裁剪，指示所述裁剪得到的图像为所述车辆图像。
在其中一个实施例中，所述根据图像分割模型获取所述目标图像中的车道线包括：
根据深度学习图像分割模型，分割得到所述目标图像中的车道线部分，通过所述车道线部分的像素坐标拟合得到所述车道线的几何方程。
根据本发明的另一个方面，还提供一种车辆越线判定装置，所述装置包括：
目标模块，用于通过深度学习目标检测模型，获取目标图像中的车辆图像；
关键点模块，用于根据关键点检测卷积神经网络对所述车辆图像进行检测，输出关键点；
判断模块，根据图像分割模型获取所述目标图像中的车道线，根据所述关键点与所述车道线的相对位置判断所述车辆图像中的车辆是否越线。
根据本发明的另一个方面，还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述车辆越线判定方法。
根据本发明的另一个方面，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述车辆越线判定方法。
上述车辆越线判定的方法、装置、计算机设备和存储介质通过深度学习目标检测模型，获取目标图像中的车辆图像，根据关键点检测卷积神经网络对所述车辆图像进行检测，输出关键点；根据图像分割模型获取所述目标图像中的车道线，根据关键点与车道线的相对位置判断车辆是否越线；基于单帧图像进行机动车关键点检测的方法来判别越线违章，不需要序列帧的信息，对于动态以及静态机动车目标均可以作违章判别，通过车辆上的关键点精细化表征车辆的位置信息，利用车道线的几何方程与关键点位置来判断车辆是否越线，使得判断结果更加准确，减少了越线的误判概率。
附图说明
图1是根据本发明一个实施例中车辆越线判定方法的应用场景图；
图2是根据本发明一个实施例中车辆越线判定方法的流程图一；
图3是根据本发明一个实施例中关键点的示意图；
图4是根据本发明一个实施例中车辆越线判定方法的流程图二；
图5是根据本发明一个实施例中车辆越线判定方法的流程图三；
图6是根据本发明一个实施例中车辆越线比例评估值的示意图一；
图7是根据本发明一个实施例中车辆越线比例评估值的示意图二；
图8是根据本发明一个实施例中车辆越线比例评估值的示意图三；
图9是根据本发明一个实施例中车辆越线比例评估值的示意图四；
图10是根据本发明一个实施例中车辆越线判定方法的流程图四；
图11是根据本发明一个实施例中车辆越线判定方法的流程图五；
图12是根据本发明一个具体实施例中车辆越线判定方法的流程图；
图13是根据本发明一个实施例中车辆越线判定装置的示意图；
图14是根据本发明一个实施例中计算机设备的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1是根据本发明一个实施例中车辆越线判定方法的应用场景图，本申请提供的车辆越线判定方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信，外接监控设备106通过网络与服务器104进行通信。外接监控设备106采集视频或者图像信息，并且将采集到的视频或者图像信息发送给服务器104，服务器104获取用于判断的目标图像，服务器104通过目标检测模型，获取目标图像中的车辆图像，根据关键点检测卷积神经网络对车辆图像进行检测，输出车辆关键点，根据图像分割模型获取目标图像中的车道线，根据关键点与车道线的相对位置判断车辆图像中的车辆是否越线，将判断结果反馈给终端102。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现，终端102和服务器104可以是同一个设备，服务器104和外接监控设备106可以是同一个设备，例如，外接监控设备106内的处理器即可执行上述车辆越线判定方法。
在一个实施例中，图2是根据本发明一个实施例中车辆越线判定方法的流程图一，如图2所示，提供了一种车辆越线判定方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤S210，通过目标检测模型，获取目标图像中的车辆图像。
其中，步骤S210中使用的目标检测算法，可以是可变性组件模型(DeformablePart Model，DPM)算法、卷积神经网络(Convolutional Neural Networks,，CNN)算法、区域卷积神经网络(Region-CNN，RCNN)算法等对目标图像进行检测分析，优选地，采用YOLO2目标检测模型，检测出机动车的矩形框位置，将矩形框内的图像视为车辆图像。
步骤S220，根据关键点检测卷积神经网络对车辆图像进行检测，输出关键点；
在步骤S220中，将车辆图像进行车辆关键点检测，其中车辆关键点共有18个类型，图3是根据本发明一个实施例中关键点的示意图，如图3所示，车辆前半侧的点包含左前轮、右前轮、左雾灯、右雾灯、左大灯、右大灯、左后视镜、右后视镜、车顶右前角、车顶左前角，车辆后半侧的点包含左后轮、右后轮、车顶左后角、车顶右后角、左后灯、右后灯、后围板左侧点、后围板右侧点。优选地，为了适应摄像机安装角度，提高方案通用性，采用检测以上全部的关键点进行越线违章判断。在实际应用中，可以仅考虑前轮、大灯、后视镜、后轮、后灯以及后围板这6个关键点。在图像处理中，关键点本质上是一种特征，它是对一个固定区域或者空间物理关系的抽象描述，描述的是一定邻域范围内的组合或上下文关系，它不仅仅是一个点信息，或代表一个位置，更代表着上下文与周围邻域的组合关系，可以利用关键点检测卷积神经网络，通过点分类或者点回归的方法进行检测。
步骤S230，获取目标图像中的车道线，根据关键点与车道线的相对位置判断车辆图像中的车辆是否越线。
在步骤S230中，根据分割算法或者通过手动指定，获取到目标图像中的车道线，再根据步骤S220中获取到的关键点位置，比较两者之间的相对位置，判断车辆是否越线。例如，通过比较车辆的前轮关键点或者大灯关键点是否越过停车线来判断车辆是否越线，或者通过比较车辆的右前角与左前角关键点是否位于实线车道线的两侧来判断车辆是否越线行驶。本步骤中的关键点和车道线的比较可以根据违章越线的具体规章以及判断规则进行设定。
上述车辆越线判定的方法、装置、计算机设备和存储介质通过深度学习目标检测模型，获取目标图像中的车辆图像，根据关键点检测卷积神经网络对车辆图像进行检测，输出关键点；根据图像分割模型获取目标图像中的车道线，根据关键点与车道线的相对位置判断车辆是否越线；通过车辆上的关键点精细化表征车辆的位置信息，利用车道线的几何方程与关键点位置来判断车辆是否越线，使得判断结果更加准确，减少了越线的误判概率；同时，车辆关键点数量和种类多，比简单的车灯和车牌更丰富，其中含有的车轮关键点更适合判定越线违章行为，此外，上述方法采用的是基于单帧图像进行机动车关键点检测的方法来判别越线违章，不需要序列帧的信息，对于动态以及静态机动车目标均可以作违章判别。
在一个实施例中，图4是根据本发明一个实施例中车辆越线判定方法的流程图二，如图4所示，根据关键点检测卷积神经网络，对车辆图像进行关键点检测，输出关键点包括：步骤S410，根据关键点检测卷积神经网络，将车辆图像进行前向预测得到关键点的热力图，热力图的每一个通道代表一个关键点类型，通道中的峰值位置是与通道对应的关键点类型的关键点定位，输出关键点定位。
在本实施例中，将车辆图像送入关键点检测卷积神经网络，进行前向预测得到关键点定位的热力图。关键点检测卷积神经网络的基础结构是resnet18网络，后面再添加三层反卷积层作最后关键点热力图的预测，热力图的每一个通道代表一个关键点类型，该热力图通道中的峰值位置即为该类型关键点的定位。采用深度卷积网络进行车辆关键点的提取，卷积特征比简单的纹理特征、颜色特征更具备深层次的语义信息，能相对稳健地检测到车辆关键部位，从而实现更加准确的关键点定位。
在一个实施例中，图5是根据本发明一个实施例中车辆越线判定方法的流程图三，如图5所示，热力图通道中的峰值位置是与热力图通道对应的关键点类型的关键点定位，输出关键点定位包括：
步骤S510，将各个通道的热力图归一化；
步骤S520，在第一通道的峰值位置数值小于或者等于第一阈值的情况下，判断与第一通道对应的关键点为不可见关键点；
在第一通道的峰值位置数值大于第一阈值的情况下，判断与第一通道对应的关键点为可见关键点；输出可见关键点。
在本实施例中，输出关键点时判断该关键点是否为可见关键点，筛选可见关键点作为输出。将每一个通道的热力图进行归一化处理，设定一个阈值，该阈值可以通过对关键点检测模型的训练获得，通过该阈值对可见关键点和不可见关键点进行分类，当热力图峰值位置的数值大于该阈值，则认为是可见关键点，输出其峰值处的图像坐标即为该类型关键点的位置；当热力图峰值位置的数值小于等于该阈值，则认为该关键点是不可见关键点，不输出。通过本实施例中的方案，输出关键点时仅输出可见关键点，而可见关键点是置信度较高的点，利用这些置信度较高的点进行越线判定，进一步提高了越线判断的准确性。
在一个实施例中，获取目标图像中的车道线，根据关键点与车道线的相对位置判断车辆图像中的车辆是否越线包括：
判断关键点是否位于车道线的不同侧，若否，则车辆没有越线，无需进行进一步判定；
若有，分别获取第一关键点与车道线的第一距离，获取第二关键点与车道线的第二距离，根据第一距离和第二距离评估车辆的越线程度，其中，第一关键点和第二关键点分别为车道线的两侧距离车道线距离最远的关键点。例如，当车辆的左雾灯和右雾灯分别位于车道线的两侧，车辆左侧距离车道线最远的关键点为车后围板左侧点，车后围板左侧点距离车道线的距离即为第一距离，车辆右侧距离车道线最远的关键点为右雾灯，右雾灯距离车道线的距离即为第二距离，那么，通过将第一距离、第二距离分别和车辆的宽度进行比较，可以进一步精确地判断车辆是否越线。例如，以车身宽度为参照，当第二距离为车身宽度的五分之一时，判定车辆轻微越线或者非违章越线，而第一距离和第二距离均为车身宽度的一半时，则判定车辆明显违章越线，满足处罚条件。在本实施例中，通过对关键点以及车道线之间的距离对车辆越线进行更加精确的分析，从而使得越线判断更加准确，误差更小。
在一个实施例中，根据第一距离和第二距离评估车辆的越线程度包括，
计算第一距离与第二距离的比值，其中，第一距离小于或者等于第二距离，在比值大于或者等于第二阈值的情况下，判断车辆越线；在比值小于第二阈值的情况下，判断第一关键点是否位于车辆的前半侧，若是，则车辆没有越线；若否，则车辆越线。
在上述实施例中，为了评估车辆穿越车道线的严重程度，分别计算位于车道线两侧的所有关键点距离车道线方程的最远距离d1和d2，并用下面的公式1计算车辆越线比例评估值T：
Figure BDA0002381617590000081
如果车辆越线比例评估值T大于或者等于实际项目中的判罚阈值，则该机动车目标存在违章越线，上述判罚阈值可以根据具体的交通规则或者判罚规则进行设定。图6是根据本发明一个实施例中车辆越线比例评估值的示意图一，图7是根据本发明一个实施例中车辆越线比例评估值的示意图二，图6为电警场景下的示意图，图7为卡口场景下的示意图，如图6和图7所示，图中车辆的车辆越线比例评估值T大于判罚值，判定车辆有明显的越线行为。在车辆越线比例评估值T小于实际项目中的判罚阈值的情况下，如果d1和d2中较小的点是位于车身前半侧的点，则该机动车无越线违章；如果d1和d2中较小的点是位于车身后半侧的点，图8是根据本发明一个实施例中车辆越线比例评估值的示意图三，图9是根据本发明一个实施例中车辆越线比例评估值的示意图四，如图8和图9所示，说明此时的目标图像中车辆已经沿着行驶方向几乎穿越了车道线的情况，则判定该机动车越线违章。上述车辆越线判定方法，通过将车辆关键点距离车道线的距离根据公式1进行定量分析，并结合关键点位于车身的位置，更加精确地确定车辆是否越线，上述方法只利用了车道线两侧距离车道线距离最远的关键点对车辆越线比例进行定量计评估，不仅便于分析计算，，而且定量分析的精确度更高，进一步提高了越线判断的准确度，减小了判断误差。
在一个实施例中，图10是根据本发明一个实施例中车辆越线判定方法的流程图四，如图10所示，通过目标检测模型，获取目标图像中的车辆图像包括：
步骤S1010，通过目标检测模型，检测得到车辆的第一矩形框，将第一矩形框按预设比例向外扩大得到第二矩形框，将第二矩形框从目标图像中裁剪，指示裁剪得到的图像为车辆图像。根据具体项目要求，选用一种深度学习目标检测模型，例如采用YOLO2目标检测模型，检测出车辆的矩形框位置，对每一个检测车辆得到的矩形框的长宽以矩形框中心为对称，向外按一定比例扩大，然后将车辆图像从目标图像中裁剪出来，其中矩形框长宽向外扩大的比例需要按实际目标检测模型的定位精度来选取。由于目标检测模型得到的矩形框用于示意车辆，有时候并不能包括车辆的所有关键点，因此，在获取车辆图像时，可以适当地将矩形框向外扩大，以使得矩形框可以尽可能地包括车辆的各个关键点。可选地，在截取到车辆图像并对图像中的关键点进行检测后，对于根据车辆图像输出的关键点位置，结合车辆图像在目标图像的位置，将关键点坐标从车辆图像中的坐标转化到目标图像的坐标，以便后续进行关键点位置和车道线位置的对比。在本实施例中，在根据目标检测算法得到车辆的矩形框位置之后，对该矩形框进行扩大，再截取车辆图像，从而使得车辆图像中关键点的类型更加全面和完整，后续越线的判断也更加精确。
在一个实施例中，图11是根据本发明一个实施例中车辆越线判定方法的流程图五，如图11所示，根据图像分割模型获取目标图像中的车道线包括：
步骤S1110，根据深度学习图像分割模型，分割得到目标图像中的车道线部分，通过车道线部分的像素坐标拟合得到车道线的几何方程。在本步骤中，首先读入摄像机采集的目标图像，将目标图像转换为三原色(Red、Green、Blue，RGB)模式，采用深度学习图像分割模型，分割出图像中的车道线部分，通过同一条车道线部分的像素坐标拟合得到车道线段在图像中的几何方程：y＝aix+bi，其中，ai和bi表示的是第i条车道线几何方程的系数，x和y分别是车道线上像素点的图像坐标，优选地，由于车道线是线段，所以该方程的取值范围有约束，x和y的范围根据线段范围选取。通过上述实施例，可以在目标图像中，准确地通过坐标和函数表达式标识出车道线，从而使得后续的车辆越线判定更加准确。
在一个具体的实施例中，图12是根据本发明一个具体实施例中车辆越线判定方法的流程图，如图12所示，车辆越线判定方法包括：
步骤S1210，输入目标图像，转为RGB模式；
步骤S1220，采用深度学习分割模型分割目标图像，获取车道线，拟合车道线几何方程；
步骤S1230，采用深度学习目标检测模型检测目标图像中的车辆，截取车辆图像；
步骤S1240，对车辆图像进行关键点检测；
步骤S1250，通过车道线方程与关键点位置分布判定车辆是否越线。
上述实施例采用车辆关键点来表征车辆的局部位置，比矩形检测框的表征方法更精细，避免了由于矩形框尺寸预测误差带来的越线违章误判。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，图13是根据本发明一个实施例中车辆越线判定装置的示意图，如图13所示，提供了一种车辆越线判定装置，该装置包括：
目标模块132，用于通过目标检测模型，获取目标图像中的车辆图像；
关键点模块134，用于根据关键点检测卷积神经网络对车辆图像进行检测，输出关键点；
判断模块136，根据图像分割模型获取目标图像中的车道线，根据关键点与车道线的相对位置判断车辆图像中的车辆是否越线。
关于车辆越线判定装置的具体限定可以参见上文中对于车辆越线判定方法的限定，在此不再赘述。上述车辆越线判定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
上述车辆越线判定装置，通过深度学习目标检测模型，获取目标图像中的车辆图像，根据关键点检测卷积神经网络对车辆图像进行检测，输出关键点；根据图像分割模型获取目标图像中的车道线，根据关键点与车道线的相对位置判断车辆是否越线；通过车辆上的关键点精细化表征车辆的位置信息，利用车道线的几何方程与关键点位置来判断车辆是否越线，使得判断结果更加准确，减少了越线的误判概率。
在一个实施例中，图14是根据本发明一个实施例中计算机设备的示意图，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆越线判定方法。
上述计算机设备，通过深度学习目标检测模型，获取目标图像中的车辆图像，根据关键点检测卷积神经网络对车辆图像进行检测，输出关键点；根据图像分割模型获取目标图像中的车道线，根据关键点与车道线的相对位置判断车辆是否越线；通过车辆上的关键点精细化表征车辆的位置信息，利用车道线的几何方程与关键点位置来判断车辆是否越线，使得判断结果更加准确，减少了越线的误判概率。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述车辆越线判定方法。
上述计算机可读存储介质，通过深度学习目标检测模型，获取目标图像中的车辆图像，根据关键点检测卷积神经网络对车辆图像进行检测，输出关键点；根据图像分割模型获取目标图像中的车道线，根据关键点与车道线的相对位置判断车辆是否越线；通过车辆上的关键点精细化表征车辆的位置信息，利用车道线的几何方程与关键点位置来判断车辆是否越线，使得判断结果更加准确，减少了越线的误判概率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种车辆越线判定方法，其特征在于，所述方法包括：
通过目标检测模型，从目标图像中检测得到所述车辆的第一矩形框，将所述第一矩形框按预设比例向外扩大得到第二矩形框，将所述第二矩形框从所述目标图像中裁剪，指示所述裁剪得到的图像为所述车辆图像；
根据关键点检测卷积神经网络对所述车辆图像进行检测，输出关键点；
在截取到所述车辆图像并对所述车辆图像中的关键点进行检测后，根据所述车辆图像输出的所述关键点的位置，将所述关键点的坐标从所述车辆图像中的坐标转换到所述目标图像的坐标；
根据图像分割模型获取所述目标图像中的车道线，并判断所述关键点是否位于所述车道线的不同侧；若否，则所述车辆没有越线；若是，分别获取第一关键点与所述车道线的第一距离，获取第二关键点与所述车道线的第二距离，根据所述第一距离和所述第二距离评估所述车辆的越线程度，其中，所述第一关键点和所述第二关键点分别为所述车道线的两侧距离所述车道线距离最远的所述关键点；所述根据所述第一距离和所述第二距离评估所述车辆的越线程度包括：计算所述第一距离与所述第二距离的比值，其中，所述第一距离小于或者等于所述第二距离；在所述比值大于或者等于第二阈值的情况下，判断所述车辆越线；在所述比值小于所述第二阈值的情况下，进一步判断所述第一关键点是否位于所述车辆的前半侧，若是，则判断所述车辆没有越线；若否，则判断所述车辆越线。
2.根据权利要求1所述的方法，其特征在于，所述根据关键点检测卷积神经网络，对所述车辆图像进行关键点检测，输出关键点包括：
根据关键点检测卷积神经网络，将所述车辆图像进行前向预测得到关键点的热力图，所述热力图的每一个通道代表一个关键点类型，所述通道中的峰值位置是与所述通道对应的所述关键点类型的关键点定位，输出所述关键点定位。
3.根据权利要求2所述的方法，其特征在于，所述热力图通道中的峰值位置是与所述热力图通道对应的所述关键点类型的关键点定位，输出所述关键点定位包括：
将各个所述通道的所述热力图归一化；
在第一通道的所述峰值位置数值小于或者等于第一阈值的情况下，判断与所述第一通道对应的关键点为不可见关键点；
在第一通道的所述峰值位置数值大于所述第一阈值的情况下，判断与所述第一通道对应的关键点为可见关键点；输出所述可见关键点。
4.根据权利要求1所述的方法，其特征在于，所述根据图像分割模型获取所述目标图像中的车道线包括：
根据深度学习图像分割模型，分割得到所述目标图像中的车道线部分，通过所述车道线部分的像素坐标拟合得到所述车道线的几何方程。
5.一种车辆越线判定装置，其特征在于，所述装置包括：
目标模块，用于通过目标检测模型，从目标图像中检测得到所述车辆的第一矩形框，将所述第一矩形框按预设比例向外扩大得到第二矩形框，将所述第二矩形框从所述目标图像中裁剪，指示所述裁剪得到的图像为所述车辆图像；
关键点模块，用于根据关键点检测卷积神经网络对所述车辆图像进行检测，输出关键点；还用于在截取到所述车辆图像并对所述车辆图像中的关键点进行检测后，对于根据所述车辆图像输出的所述关键点的位置，将所述关键点的坐标从所述车辆图像中的坐标转换到所述目标图像的坐标；
判断模块，用于根据图像分割模型获取所述目标图像中的车道线，并判断所述关键点是否位于所述车道线的不同侧；若否，则所述车辆没有越线；若是，分别获取第一关键点与所述车道线的第一距离，获取第二关键点与所述车道线的第二距离，根据所述第一距离和所述第二距离评估所述车辆的越线程度，其中，所述第一关键点和所述第二关键点分别为所述车道线的两侧距离所述车道线距离最远的所述关键点；所述根据所述第一距离和所述第二距离评估所述车辆的越线程度包括：计算所述第一距离与所述第二距离的比值，其中，所述第一距离小于或者等于所述第二距离；在所述比值大于或者等于第二阈值的情况下，判断所述车辆越线；在所述比值小于所述第二阈值的情况下，进一步判断所述第一关键点是否位于所述车辆的前半侧，若是，则判断所述车辆没有越线；若否，则判断所述车辆越线。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202010084656.1A 2020-02-10 2020-02-10 车辆越线判定方法、装置、计算机设备和存储介质 Active CN111368639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010084656.1A CN111368639B (zh) 2020-02-10 2020-02-10 车辆越线判定方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010084656.1A CN111368639B (zh) 2020-02-10 2020-02-10 车辆越线判定方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111368639A CN111368639A (zh) 2020-07-03
CN111368639B true CN111368639B (zh) 2022-01-11

Family

ID=71207999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010084656.1A Active CN111368639B (zh) 2020-02-10 2020-02-10 车辆越线判定方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111368639B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882882B (zh) * 2020-07-31 2021-06-25 浙江东鼎电子股份有限公司 一种动态平板秤称重区域汽车跨车道行驶行为检测方法
CN112200765B (zh) * 2020-09-04 2024-05-14 浙江大华技术股份有限公司 车辆中被误检的关键点的确定方法及装置
CN112200884B (zh) * 2020-09-08 2024-05-03 浙江大华技术股份有限公司 一种车道线的生成方法及装置
CN114613147B (zh) * 2020-11-25 2023-08-04 浙江宇视科技有限公司 一种车辆违章的识别方法、装置、介质及电子设备
CN112541419A (zh) * 2020-12-08 2021-03-23 北京精英路通科技有限公司 基于图像的定位方法、位置关系判断方法及其装置
CN112785850A (zh) * 2020-12-29 2021-05-11 上海眼控科技股份有限公司 车辆变道未打灯的识别方法及装置
CN112784817B (zh) * 2021-02-26 2023-01-31 上海商汤科技开发有限公司 车辆所在车道检测方法、装置、设备及存储介质
CN112949470A (zh) * 2021-02-26 2021-06-11 上海商汤智能科技有限公司 车辆变道转向灯识别方法、装置、设备及存储介质
CN112949465A (zh) * 2021-02-26 2021-06-11 上海商汤智能科技有限公司 车辆连续变道识别方法、装置、设备及存储介质
CN113657291A (zh) * 2021-08-19 2021-11-16 上海商汤智能科技有限公司 车辆行为检测方法、装置及系统
CN115588008B (zh) * 2022-11-29 2023-02-17 城云科技（中国）有限公司 基于视觉的单车规范摆放的判定方法及其应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182393A (zh) * 2017-12-22 2018-06-19 上海信耀电子有限公司 一种汽车及其应用的前车跟踪方法及系统
CN109584300A (zh) * 2018-11-20 2019-04-05 浙江大华技术股份有限公司 一种确定车头朝向角度的方法及装置
CN109740525A (zh) * 2018-12-29 2019-05-10 上海依图网络科技有限公司 一种视频中对象的确定方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247199B (zh) * 2013-05-15 2015-03-11 安徽三联交通应用技术股份有限公司 一种机动车移动位置和姿态的精确测量方法
CN104167109B (zh) * 2014-07-17 2016-08-24 浙江宇视科技有限公司 车辆位置的检测方法和检测装置
CN106598055B (zh) * 2017-01-19 2019-05-10 北京智行者科技有限公司 一种智能车局部路径规划方法及其装置、车辆
CN108229468B (zh) * 2017-06-28 2020-02-21 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN110443148B (zh) * 2019-07-10 2021-10-22 广州市讯码通讯科技有限公司 一种动作识别方法、系统和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182393A (zh) * 2017-12-22 2018-06-19 上海信耀电子有限公司 一种汽车及其应用的前车跟踪方法及系统
CN109584300A (zh) * 2018-11-20 2019-04-05 浙江大华技术股份有限公司 一种确定车头朝向角度的方法及装置
CN109740525A (zh) * 2018-12-29 2019-05-10 上海依图网络科技有限公司 一种视频中对象的确定方法及装置

Also Published As

Publication number Publication date
CN111368639A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111368639B (zh) 车辆越线判定方法、装置、计算机设备和存储介质
CN111178245A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN110634153A (zh) 目标跟踪模板更新方法、装置、计算机设备和存储介质
WO2022099511A1 (zh) 基于点云数据的地面分割方法、装置和计算机设备
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
CN111191533B (zh) 行人重识别的处理方法、装置、计算机设备和存储介质
WO2006129218A1 (en) Method and a system for detecting a road at night
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
US20210117703A1 (en) Road obstacle detection device, road obstacle detection method, and computer-readable storage medium
CN111753639B (zh) 感知地图生成方法、装置、计算机设备和存储介质
CN111178224B (zh) 物体规则判断方法、装置、计算机设备和存储介质
CN111161202A (zh) 车辆行为信息获取方法、装置、计算机设备和存储介质
CN114998856B (zh) 一种多相机图像的3d目标检测方法、装置、设备及介质
CN111160086A (zh) 车道线识别方法、装置、设备和存储介质
CN111582077A (zh) 基于人工智能软件技术的安全带佩戴检测方法和装置
WO2023071024A1 (zh) 驾驶辅助模式切换方法、装置、设备及存储介质
CN115063781A (zh) 车位检测方法、装置、设备和存储介质
US11250269B2 (en) Recognition method and apparatus for false detection of an abandoned object and image processing device
CN112001378A (zh) 基于特征空间的车道线处理方法、装置、车载终端和介质
CN116681739A (zh) 目标运动轨迹生成方法、装置及电子设备
CN111709377A (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN111144404A (zh) 遗留物体检测方法、装置、系统、计算机设备和存储介质
CN117423085A (zh) 一种导流线区域检测方法及系统
CN117392638A (zh) 一种服务于机器人场景的开放物体类别感知方法及装置
CN113793250B (zh) 位姿评价方法、位姿确定方法、对应装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant