CN111814765A - 车辆压线的确定方法、装置、设备和存储介质 - Google Patents

车辆压线的确定方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111814765A
CN111814765A CN202010892189.5A CN202010892189A CN111814765A CN 111814765 A CN111814765 A CN 111814765A CN 202010892189 A CN202010892189 A CN 202010892189A CN 111814765 A CN111814765 A CN 111814765A
Authority
CN
China
Prior art keywords
target vehicle
line
determining
fitting
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010892189.5A
Other languages
English (en)
Other versions
CN111814765B (zh
Inventor
张宪法
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kos Technology Shanghai Co ltd
Original Assignee
Kos Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kos Technology Shanghai Co ltd filed Critical Kos Technology Shanghai Co ltd
Priority to CN202010892189.5A priority Critical patent/CN111814765B/zh
Publication of CN111814765A publication Critical patent/CN111814765A/zh
Application granted granted Critical
Publication of CN111814765B publication Critical patent/CN111814765B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供一种车辆压线的确定方法、装置、设备和存储介质，该方法包括：对待审核的交通图像进行语义分割，得到交通图像中目标车辆的分割信息；基于目标车辆的分割信息对目标车辆的底盘框进行拟合处理，拟合成功后得到目标车辆的底盘拟合框；若目标车辆的底盘拟合框与车道线相交，则确定目标车辆压线。根据本发明实施例的技术方案，能够准确高效地确定目标车辆是否压线，既节约了人力成本，又能够保证审核工作的公开公正。

Description

车辆压线的确定方法、装置、设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种车辆压线的确定方法、装置、设备和存储介质。
背景技术
在交通领域，车辆压线行驶是一个重要的违法类型，此行为不仅给自己带来了安全隐患，而且也威胁到其它群众的生命安全，因此，如何确定车辆是否压线行驶成为了关注的焦点。
目前的技术方案中，通过交通摄像头抓拍交通图像，采用人工方式对交通图像进行审核，确定车辆是否压线。然而，人工方式不仅成本较高，效率低下，并且长时间重复性查看图片易使人产生疲劳、注意力不集中等状态，最终影响审核准确率。
因此，如何高效准确低成本地确定车辆是否压线成为了亟待解决的技术难题。
发明内容
本发明实施例提供一种车辆压线的确定方法、装置、设备和存储介质，用于解决如何高效准确低成本地确定车辆是否压线的问题。
根据本发明实施例第一方面，提供了一种车辆压线的确定方法，包括：
对待审核的交通图像进行语义分割，得到所述交通图像中目标车辆的分割信息；
基于所述目标车辆的分割信息对所述目标车辆的底盘框进行拟合处理，拟合成功后得到所述目标车辆的底盘拟合框；
若所述目标车辆的底盘拟合框与车道线相交，则确定所述目标车辆压线。
根据本发明实施例第二方面，一种车辆压线的确定装置，包括：
分割模块，用于对待审核的交通图像进行语义分割，得到所述交通图像中目标车辆的分割信息；
拟合模块，用于基于所述目标车辆的分割信息对所述目标车辆的底盘框进行拟合处理，拟合成功后得到所述目标车辆的底盘拟合框；
压线确定模块，用于若所述目标车辆的底盘拟合框与车道线相交，则确定所述目标车辆压线。
本发明实施例的第三方面，提供了一种车辆压线的确定设备，包括：接收器、处理器、存储器以及发送器；存储器用于存储计算机程序和数据，所述处理器调用存储器存储的计算机程序，以执行第一方面任一实施例提供的车辆压线的确定方法。
本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序在被处理器执行时用于执行第一方面任一实施例提供的车辆压线的确定方法。
根据本发明实施例提供的车辆压线的确定方法、装置、设备和存储介质，一方面，通过目标车辆的分割信息对目标车辆的底盘框进行拟合，能够高效准确地确定目标车辆的底盘框的位置；另一方面，基于目标车辆的底盘拟合框是否与车道线相交，确定目标车辆是否压线，能够准确高效地确定目标车辆是否压线；再一方面，由于整个审核过程全程自动化进行检测识别，既节约了人力成本，又能够保证审核工作的公开公正。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明的一些实施例提供的车辆压线的确定方法的应用场景的示意图。
图2为根据本发明的一些实施例提供的车辆压线的确定方法的流程示意图。
图3为根据本发明的一些实施例提供的拟合目标车辆的底盘框的流程示意图。
图4为根据本发明的另一些实施例提供的车辆压线的确定方法的流程示意图。
图5为根据本发明的一些实施例提供的车辆底盘拟合框的拟合过程的示意图。
图6为根据本发明的一些实施例提供的车辆底盘拟合框的拟合结果的示意图。
图7为根据本发明的一些实施例提供的车辆底盘拟合框判断压线的示意图。
图8为根据本发明的一些实施例提供的通过车辆检测框判断压线的示意图。
图9为根据本发明的又一些实施例提供的车辆压线的确定方法的流程示意图。
图10为根据本发明的一些实施例提供的车辆压线的确定装置的示意框图。
图11为根据本发明的一些实施例提供的拟合模块的示意框图。
图12为根据本发明的一些实施例提供的车辆压线的确定设备实施例的示意框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前的技术方案中，通过交通摄像头抓拍交通图像，通过人工方式对交通图像进行审核，确定车辆是否压线。然而，人工方法不仅成本较高，效率低下，并且长时间重复性查看图片易使人产生疲劳、注意力不集中等状态，最终影响审核准确率。
基于上述内容，本发明的基本思想在于：基于目标车辆的分割信息对目标车辆的底盘框进行拟合处理，得到目标车辆的底盘拟合框；基于目标车辆的底盘拟合框是否与车道线相交，确定目标车辆是否压线。一方面，通过目标车辆的分割信息对目标车辆的底盘框进行拟合，能够高效准确地确定目标车辆的底盘框的位置；另一方面，基于目标车辆的底盘拟合框是否与车道线相交，确定目标车辆是否压线，能够准确高效地确定目标车辆是否压线；再一方面，由于整个审核过程全程自动化进行检测识别，既节约了人力成本，又能够保证审核工作的公开公正。
下面通过具体的实施方式对本发明提供的车辆压线的确定方法进行说明。
图1为根据本发明的一些实施例提供的车辆压线的确定方法的应用场景的示意图。参照图1所示，在交通摄像头抓拍的交通图像中，车辆110行驶在道路上，在道路上画有车道线120。对该交通图像进行语义分割，得到车辆110的分割信息，基于车辆110的分割信息对车辆110的底盘框进行拟合处理，得到车辆110的底盘拟合框；若车辆110的底盘拟合框与车道线相交，则确定车辆110压线。
下面结合图1的应用场景，参考图2来描述根据本发明的示例性实施例的车辆压线的确定方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施例在此方面不受任何限制。相反，本发明的实施例可以应用于适用的任何场景。
图2为根据本发明的一些实施例提供的车辆压线的确定方法的流程示意图。该车辆压线的确定方法包括步骤S210至步骤S230，可以由通用计算机执行，下面结合附图对示例实施例中的车辆压线的确定方法进行详细的描述。
在步骤S210中，对交通图像进行语义分割，得到交通图像中目标车辆的分割信息。
在示例实施例中，获取通过摄像头拍摄的交通图像，基于深度学习网络模型对交通图像的道路上各个车辆的车辆信息进行语义分割，得到交通图像中目标车辆的分割信息。
需要说明说明的是，深度学习网络模型可以为金字塔场景解析网络（PyramidScene Parsing Network，PSPNet），也可以为其他适当的语义分割模型例如全卷积网络(Fully Convolutional Networks，FCN)模型或卷积神经网络模型等，本发明对此不进行特殊限定。
在步骤S220中，基于目标车辆的分割信息对目标车辆的底盘框进行拟合处理，拟合成功后得到目标车辆的底盘拟合框。
在示例实施例中，基于目标车辆的分割信息确定目标车辆的分割轮廓。例如，目标车辆的分割信息中可能还包含其他物体例如车辆的轮廓信息，需要从目标车辆的分割信息中确定目标车辆的分割轮廓，具体而言，通过判断目标车辆的分割信息中包含的各个点是否位于目标车辆的检测框内，如果位于目标车辆的检测框内，则将该点记录为有效点，确定由有效点构成的轮廓的外接最小矩形的面积，若该面积大于预定阈值，则将有效点构成的轮廓作为目标车辆的分割轮廓。
进一步地，基于目标车辆的分割轮廓对目标车辆的底盘框进行拟合处理。例如，在示例实施例中，基于目标车辆的分割轮廓对目标车辆的底盘框的四个边进行拟合，得到目标车辆的底盘拟合框。
在步骤S230中，若目标车辆的底盘拟合框与车道线相交，则确定目标车辆压线。
在示例实施例中，获取目标车辆所处位置的车道线信息；确定车道线信息中的车道线与底盘拟合框是否存在交点；若存在交点，则确定目标车辆的底盘拟合框与车道线相交。
根据图2的示例实施例中的技术方案，一方面，通过目标车辆的分割信息对目标车辆的底盘框进行拟合，能够高效准确地确定目标车辆的底盘框的位置；另一方面，基于目标车辆的底盘拟合框是否与车道线相交，确定目标车辆是否压线，能够准确高效地确定目标车辆是否压线；再一方面，由于整个审核过程全程自动化进行检测识别，既节约了人力成本，又能够保证审核工作的公开公正。
图3为根据本发明的一些实施例提供的拟合目标车辆的底盘框的流程示意图。
参照图3所示，在步骤S310中，基于目标车辆的分割轮廓，确定目标车辆的底盘框的下边界拟合区域，该下边界拟合区域为对底盘框的下边界进行拟合的区域。
在示例实施例中，从所述目标车辆的检测框的下边界开始，统计分割轮廓中纵坐标为检测框的下边界的纵坐标的点的数量；若该数量大于或等于预定阈值，则将统计的各个点所处的区域作为目标车辆的底盘框的第一下边界拟合区域；若该数量小于该预定阈值，则将更新纵坐标的值，统计分割轮廓中纵坐标为更新后的纵坐标的点的数量，直到该数量大于或等于该预定阈值为止。
需要说明的是，由于不同车辆在交通图像中的大小不同，该预定阈值可以根据目标车辆的检测框的长宽比确定，例如该预定阈值可以为目标车辆的检测框的长宽比与目标车辆的分割轮廓中包含的点的数量的乘积，目标车辆的检测框的长宽比为检测框的宽与检测框的长宽之和的比值。
在步骤S320中，通过下边界拟合区域内的点拟合目标车辆的底盘框的下边界。
在示例实施例中，对第一下边界拟合区域中的点进行直线拟合，得到第一线段；基于该第一线段确定所述目标车辆的底盘框的下边界。例如，在一些实施例中，可以将第一线段下方的点组成的区域作为目标车辆的底盘框的第二下边界拟合区域；对第二拟合区域中的点进行直线拟合，得到第二线段；基于第二线段确定目标车辆的底盘框的下边界。
进一步地，在示例实施例中，基于所述第二线段确定所述目标车辆的底盘框的下边界，包括：确定第二线段的长度与检测框的宽的长度比值；确定分割轮廓的面积与测框的面积的面积比值；若该长度比值在预定长度比值区间，并且该面积比值在预定面积比值区间，则确定第二线段拟合成功；将第二线段作为目标车辆的底盘框的下边界。
在步骤S330中，基于底盘框的下边界的第一端点以及目标车辆的分割轮廓，确定目标车辆的底盘框的第一侧边界。
在示例实施例中，第一侧边界为底盘框的可靠侧边界，可靠侧边界为摄像头拍摄的目标车辆的图像中能够看到的一侧的边界，例如，图4、图5中的右侧边界，可以根据目标车辆的车牌中心点的位置确定可靠侧边界。进一步地，基于底盘框的下边界的第一端点以及检测框的第一侧上部端点，确定所述目标车辆的底盘框的第一侧边界拟合区域；对第一侧边界拟合区域中的点进行直线拟合，得到第三线段；将第三线段作为目标车辆的底盘框的第一侧边界。
此外，为了更准确地确定目标车辆的底盘框的第一侧边界，在示例实施例中，将第三线段作为目标车辆的底盘框的第一侧边界，包括：确定第三线段所处直线与第二线段所处直线的第一交点；确定第三线段直线与第一目标直线的第二交点，其中，第一目标直线的横坐标为检测框的左侧端点的横坐标；确定第二线段的第一侧端点和第一交点的连线的中心点；将第二交点与该中心点的连线形成的第四线段作为矫正后的第三线段；将该第四线段作为目标车辆的底盘框的第一侧边界。
在步骤S340中，基于底盘框下边界的第二端点以及目标车辆的分割轮廓，确定目标车辆的底盘框的第二侧边界。
在示例实施例中，第一侧边界为底盘框的可靠侧边界，第二侧边界为底盘框的辅助侧边界。基于底盘框下边界的第二端点以及目标车辆的分割轮廓，确定目标车辆的底盘框的第二侧边界。具体而言，确定目标车辆的车牌中心点与目标点形成的第一连接线，该目标点基于目标车辆的类型确定；确定第三线段所处直线与第一连接线的第三交点；基于第三交点与底盘框的下边界的第二端点形成的第二连接线；将目标直线与第二连接线的交点作为第二侧边界的上端点，该目标直线为过第三线段的上端点与底盘框的下边界平行的直线；将底盘框的下边界的第二端点作为底盘框的第二侧边界的下端点。
在步骤S350中，基于底盘框的下边界、第一侧边界以及第二侧边界中的至少两个，确定目标车辆的底盘框的上边界。
在示例实施例中，可以基于底盘框的下边界和第一侧边界确定目标车辆的底盘框的上边界；也可以基于底盘框的第一侧边界以及第二侧边界确定目标车辆的底盘框的上边界；还可以基于底盘框的下边界和第二侧边界确定目标车辆的底盘框的上边界。例如，可以将过第一侧边界的上端点以及第二侧边界的上端点形成的线段，作为目标车辆的底盘框的上边界。
根据图3的示例实施例中的方案，能够高效准确地拟合出目标车辆的底盘框，从而能够根据底盘拟合框是否与车道线相交，确定目标车辆是否压线，进而能够准确高效地确定目标车辆是否压线。
图4为根据本发明的另一些实施例提供的车辆压线的确定方法的流程示意图。
参照图4所示，在步骤S410中，从服务器上获取交通摄像头抓拍的待审核的交通图像X和目标车辆的车牌号。
在步骤S420中，采用深度学习网络模型例如yolo-V3模型检测识别出图像X中的车辆
Figure DEST_PATH_IMAGE002
的检测框位置
Figure DEST_PATH_IMAGE004
,并判断车辆是否是机动车，如果车辆
Figure DEST_PATH_IMAGE006
是非机动车，则将车辆
Figure 819055DEST_PATH_IMAGE006
直接过滤掉；如果车辆
Figure 760467DEST_PATH_IMAGE006
是机动车则进行下一步。
在步骤S430中，采用基于语义的分割网络例如PSPNet网络对图像X进行各车辆的车辆信息分割提取。
在步骤S440中，从结构化文件中读取道路路面标线信息。
在步骤S450中，根据车辆检测框位置和目标车辆的车牌号码以及车辆分割信息进行目标车辆匹配。
在步骤S460中，通过目标车辆的分割信息进行目标车辆底盘框拟合，获得目标车辆的底盘拟合框。
在步骤S470中，如果目标车辆底盘框拟合成功，通过目标车辆的底盘拟合框是否与车道线相交进行目标车辆压线检测，即进行违法判断。
在步骤S480中，如果目标车辆底盘框未拟合成功，通过目标车辆的检测框是否与车道线相交进行目标车辆压线检测，即进行违法判断。
根据图4的示例实施例中的技术方案，一方面，通过目标车辆的分割信息对目标车辆的底盘框进行拟合，能够高效准确地确定目标车辆的底盘框的位置；另一方面，基于目标车辆的底盘拟合框是否与车道线相交，确定目标车辆是否压线，能够准确高效地确定目标车辆是否压线；再一方面，由于整个审核过程全程自动化进行检测识别，既节约了人力成本，又能够保证审核工作的公开公正。
下面对图4的示例实施例中的各个步骤详细的说明。
步骤S420中，基于深度学习网络模型检测识别机动车辆的检测框，包括以下步骤：
S421.获取交通路口下摄像机抓拍的交通图像；
S422. 采用矩形框标记交通图像中出现的车辆，并标记车辆为机动车还是非机动车;
S423.使用上述标记过的待审核图像训练深度学习网络，例如yolo-V3网络，获得机动车非机动车检测模型；
S424.使用上述机动车非机动车检测模型，对待审核的交通图像进行机动车非机动车检测，获得机动车的检测框
Figure DEST_PATH_IMAGE008
。
进一步，在步骤S430中，基于深度学习网络模型例如PSPNet网络模型分割道路上各个车辆的车辆信息，包括以下步骤：
S431.获取交通路口下摄像机抓拍的交通图像X;
S432.采用不同颜色标记交通图像中的车辆以及背景。
S433.使用上述标记的交通图像训练深度学习网络例如PSPNet网络，获得道路上的车辆分割网络模型。
S434.使用上述车辆分割网络模型提取图像X中的各个车辆的分割信息。
进一步地，在步骤S440中，从结构化文件中读取道路路面标线信息的步骤如下：
S441. 获取交通路口下摄像机抓拍的交通图像X。
S442. 采用不同颜色标记路口下的停止线、白实线、黄实线，并将标记信息（指交通标线类别以及坐标）保存到相应的结构化文件中，例如将标记信息保存到JS对象简谱（JavaScript Object Notation, json）文件中，在对该路口下的交通图像进行判罚压线时，可以直接读取此json文件，获得路面标线信息。
S443.读取与交通路口对应的路口结构化文件，获得车道线信息。
进一步，在步骤S450中，进行目标车辆匹配包括以下步骤：
S451:获取图像X的目标车辆车牌号
Figure DEST_PATH_IMAGE010
。
S452:使用车牌检测模型对步骤S424获得的机动车进行车牌提取，进而获得车牌的检测框
Figure DEST_PATH_IMAGE012
，然后再使用车牌字符识别模型对提取的车牌进行字符识别，进而获得每个车牌的识别字符
Figure DEST_PATH_IMAGE014
。
S453:比较字符
Figure DEST_PATH_IMAGE014A
和
Figure DEST_PATH_IMAGE010A
，如果出现多个对应位置例如四个位置的字符相同，那么检测框
Figure 100002_DEST_PATH_IMAGE017
内的车辆便为目标车辆，
Figure 296752DEST_PATH_IMAGE017
便为目标检测框
Figure 100002_DEST_PATH_IMAGE019
，否则不是。
S454:确定目标车辆的分割轮廓
Figure 100002_DEST_PATH_IMAGE021
。由于步骤S434获得的车辆分割信息中可能会包含多个车辆轮廓信息，要从中选择出目标车辆的分割轮廓
Figure DEST_PATH_IMAGE021A
，通过判断轮廓
Figure DEST_PATH_IMAGE021AA
上的各个点
Figure 100002_DEST_PATH_IMAGE025
是否位于检测框
Figure 500944DEST_PATH_IMAGE017
内，如果存在，则将其记录在有效点集合
Figure 100002_DEST_PATH_IMAGE027
中，然后计算由有效点集合
Figure 100002_DEST_PATH_IMAGE029
中的各个点构成的轮廓的外接最小矩形的面积
Figure 100002_DEST_PATH_IMAGE031
(例如，可以先通过“opencv”里的函数“cv::boundingRect()”获得矩形，然后再计算矩形的面积)，如果
Figure 100002_DEST_PATH_IMAGE033
，则选定
Figure DEST_PATH_IMAGE021AAA
作为目标车辆的分割轮廓。
在步骤S460中，通过目标车辆的分割信息进行目标车辆底盘框拟合，获得目标车辆的底盘拟合框，包括以下步骤：
S461:由S452、S453、S454获取目标车辆的车牌检测框
Figure DEST_PATH_IMAGE012A
、车辆检测框
Figure 100002_DEST_PATH_IMAGE037
以及分割轮廓
Figure DEST_PATH_IMAGE021AAAA
。
S462:获取目标车辆的底盘下方拟合线
Figure DEST_PATH_IMAGE040
，包括以下两个步骤:
步骤1:确定车辆分割轮廓中用于底盘下边界直线拟合的区域。由于不同车辆在图像中的大小不同，在选择用于拟合底盘下方直线的区域时，会根据图像的长宽比初步确定需要的区域。首先计算车辆检测框
Figure DEST_PATH_IMAGE042
的长宽比
Figure DEST_PATH_IMAGE044
，其中
Figure DEST_PATH_IMAGE046
和
Figure DEST_PATH_IMAGE048
为检测框的宽和高，然后使用该比例统计出可用于拟合的分割区域，具体为：从检测框
Figure DEST_PATH_IMAGE050
的下边界
Figure DEST_PATH_IMAGE052
开始，统计车辆分割轮廓中满足
Figure DEST_PATH_IMAGE054
的点的个数
Figure DEST_PATH_IMAGE056
，其中
Figure DEST_PATH_IMAGE058
为分割轮廓中点的纵坐标，当统计的点的个数不满足
Figure DEST_PATH_IMAGE060
时，更新
Figure DEST_PATH_IMAGE062
，继续统计，直至满足
Figure DEST_PATH_IMAGE064
，其中
Figure DEST_PATH_IMAGE066
为区域
Figure DEST_PATH_IMAGE021AAAAA
包含的点的个数，此时的点会构成一个用于初步拟合的区域
Figure DEST_PATH_IMAGE069
。然后进一步确定用于拟合的最终底盘下方区域，首先对区域
Figure DEST_PATH_IMAGE069A
进行直线拟合(可以通过opencv里的函数”cv::fitLine()”获得)获得直线
Figure DEST_PATH_IMAGE072
，之后判断区域
Figure DEST_PATH_IMAGE069AA
内的点是否在
Figure DEST_PATH_IMAGE072A
上方，如果不位于其上方，则保留此点用于组成最终的拟合区域
Figure DEST_PATH_IMAGE076
。最终会获得底盘下方拟合区域
Figure DEST_PATH_IMAGE076A
。
步骤2:拟合底盘下边界直线。根据第一步的拟合区域
Figure DEST_PATH_IMAGE076AA
，同样也可以拟合出一条直线
Figure DEST_PATH_IMAGE080
,并且也能够获得区域
Figure DEST_PATH_IMAGE076AAA
最左侧点
Figure DEST_PATH_IMAGE083
以及最右侧点
Figure DEST_PATH_IMAGE085
，然后计算直线
Figure DEST_PATH_IMAGE080A
在
Figure DEST_PATH_IMAGE088
和
Figure DEST_PATH_IMAGE090
时的两个点的距离
Figure DEST_PATH_IMAGE092
，之后还需要计算分割轮廓
Figure DEST_PATH_IMAGE021AAAAAA
的面积，参照图5所示，计算方法如下：
从检测框
Figure DEST_PATH_IMAGE095
的上边界
Figure DEST_PATH_IMAGE097
开始，如果分割轮廓
Figure DEST_PATH_IMAGE021AAAAAAA
中的点满足
Figure DEST_PATH_IMAGE100
时，则保留所有的这些点，之后寻找
Figure DEST_PATH_IMAGE102
中的最左侧点
Figure DEST_PATH_IMAGE083A
以及最右侧点
Figure DEST_PATH_IMAGE085A
,然后计算两点之间的横坐标差，计算其面积
Figure DEST_PATH_IMAGE106
，然后更新
Figure DEST_PATH_IMAGE108
，继续计算
Figure DEST_PATH_IMAGE110
，直到
Figure DEST_PATH_IMAGE112
结束，其中，
Figure DEST_PATH_IMAGE114
和
Figure DEST_PATH_IMAGE116
为检测框
Figure DEST_PATH_IMAGE037A
的上边界和下边界纵坐标值。然后根据线段长度以及分割轮廓的面积，计算线段长度占比
Figure DEST_PATH_IMAGE119
、面积占比
Figure DEST_PATH_IMAGE121
，最后判定拟合的底盘下边界线段
Figure DEST_PATH_IMAGE080AA
是否符合要求，当满足
Figure DEST_PATH_IMAGE124
以及
Figure DEST_PATH_IMAGE126
(以上常数为经验值，可根据工程需要进行相应上下浮动)，则
Figure DEST_PATH_IMAGE080AAA
拟合成功，否则不成功。
S463:获取目标车辆的可靠侧边拟合线
Figure DEST_PATH_IMAGE129
。首先，判断S462中的底盘下边界拟合线是否存在，如果不存在，那么无法拟合可靠侧边线；如果存在，进行拟合可靠侧边拟合线，拟合可靠侧边拟合线需要车辆中的车牌位置进行辅助。首先计算车牌检测框
Figure DEST_PATH_IMAGE012AA
的中心点
Figure DEST_PATH_IMAGE132
，横坐标为
Figure DEST_PATH_IMAGE134
，纵坐标为
Figure DEST_PATH_IMAGE136
，然后计算车牌中心点
Figure DEST_PATH_IMAGE132A
在车辆检测框
Figure DEST_PATH_IMAGE037AA
中的位置
Figure DEST_PATH_IMAGE140
，如果车牌中心点在车辆检测框右侧，即
Figure DEST_PATH_IMAGE142
，那么可靠侧边在分割轮廓的左侧，辅助侧边在分割轮廓的右侧；否则可靠侧边在分割轮廓的右侧，辅助侧边在分割轮廓的左侧；当
Figure 227983DEST_PATH_IMAGE142
时，在分割轮廓的左侧确定可靠侧边拟合区域，确定可靠侧边拟合区域的方法包括以下步骤：
通过底部拟合线段
Figure DEST_PATH_IMAGE080AAAA
能够确定线段的左侧点
Figure DEST_PATH_IMAGE145
，然后找出分割轮廓
Figure DEST_PATH_IMAGE021AAAAAAAA
中满足条件
Figure DEST_PATH_IMAGE148
和
Figure DEST_PATH_IMAGE150
(其中，点
Figure DEST_PATH_IMAGE152
为车辆检测框
Figure DEST_PATH_IMAGE037AAA
的左上点坐标，点
Figure DEST_PATH_IMAGE155
为拟合线段
Figure DEST_PATH_IMAGE080AAAAA
的左侧点坐标)的点
Figure DEST_PATH_IMAGE158
，这些点会组成可靠拟合线的拟合区域
Figure DEST_PATH_IMAGE160
，然后对此区域进行直线拟合，可以获得拟合直线
Figure DEST_PATH_IMAGE162
，接着对此直线进行矫正，参照图5所示，矫正的方法包括以下步骤：
首先，取可靠拟合直线
Figure DEST_PATH_IMAGE162A
与底盘下边界拟合直线
Figure DEST_PATH_IMAGE080AAAAAA
的交点
Figure DEST_PATH_IMAGE166
，以及
Figure DEST_PATH_IMAGE162AA
与
Figure DEST_PATH_IMAGE169
的交点
Figure DEST_PATH_IMAGE171
，然后获得线段
Figure DEST_PATH_IMAGE080AAAAAAA
的左侧点
Figure 129294DEST_PATH_IMAGE155
和点
Figure DEST_PATH_IMAGE166A
的连线的中心点
Figure DEST_PATH_IMAGE175
，那么点
Figure DEST_PATH_IMAGE171A
和点
Figure DEST_PATH_IMAGE175A
可以构成一条线段
Figure DEST_PATH_IMAGE179
，接着判断线段
Figure DEST_PATH_IMAGE179A
是否在车辆检测框
Figure DEST_PATH_IMAGE037AAAA
内，如果点
Figure DEST_PATH_IMAGE171AA
的纵坐标
Figure DEST_PATH_IMAGE184
那么
Figure DEST_PATH_IMAGE179AA
为可靠侧边线，线段的两个端点为
Figure DEST_PATH_IMAGE171AAA
和
Figure DEST_PATH_IMAGE175AA
；如果
Figure DEST_PATH_IMAGE189
，那么
Figure DEST_PATH_IMAGE179AAA
为可靠侧边线，线段的一个端点为
Figure DEST_PATH_IMAGE175AAA
另外一个端点为直线
Figure DEST_PATH_IMAGE179AAAA
与直线
Figure DEST_PATH_IMAGE194
的交点
Figure DEST_PATH_IMAGE196
。当
Figure DEST_PATH_IMAGE198
时，在分割轮廓的右侧寻找直线拟合区域，方法同在左侧拟合方法相似，不同的是一个在分割轮廓的左侧，另一个在分割轮廓的右侧，先找拟合线段
Figure DEST_PATH_IMAGE080AAAAAAAA
的右侧点
Figure DEST_PATH_IMAGE201
，再找右侧拟合区域，然后在此区域拟合直线，然后再进行矫正。最终会获得可靠侧边拟合线段
Figure DEST_PATH_IMAGE179AAAAA
。
S464:获取目标车辆的辅助侧边拟合线
Figure DEST_PATH_IMAGE204
，首先，判断S463中的可靠侧边拟合线是否存在，如果不存在，那么无法拟合辅助侧边线；如果存在，进行拟合。首先，获得目标车辆的行驶方向，具体为车牌中心点
Figure DEST_PATH_IMAGE206
与点
Figure DEST_PATH_IMAGE208
构成的直线
Figure DEST_PATH_IMAGE210
，如果当前车辆类型为私家车或者出租车等小轿车，点
Figure DEST_PATH_IMAGE212
的横坐标为
Figure DEST_PATH_IMAGE214
，纵坐标为
Figure DEST_PATH_IMAGE216
，否则横坐标不变，纵坐标变为
Figure DEST_PATH_IMAGE218
，然后获得可靠侧边直线
Figure DEST_PATH_IMAGE179AAAAAA
与直线
Figure DEST_PATH_IMAGE210A
的交点
Figure DEST_PATH_IMAGE222
，接着再连接点
Figure DEST_PATH_IMAGE222A
和点
Figure DEST_PATH_IMAGE225
获得直线
Figure DEST_PATH_IMAGE227
，其中，当车牌检测框中心在车辆检测框的位置满足
Figure DEST_PATH_IMAGE229
时，点
Figure DEST_PATH_IMAGE225A
为底盘下边界拟合线段
Figure DEST_PATH_IMAGE080AAAAAAAAA
的右端点
Figure DEST_PATH_IMAGE233
；当
Figure 705988DEST_PATH_IMAGE198
时，点
Figure DEST_PATH_IMAGE225AA
为底盘下边界拟合线段
Figure DEST_PATH_IMAGE080AAAAAAAAAA
的左端点
Figure 525039DEST_PATH_IMAGE233
，然后，过可靠侧边拟合线
Figure DEST_PATH_IMAGE179AAAAAAA
的上端点
Figure DEST_PATH_IMAGE171AAAA
作底盘下边界拟合线段
Figure DEST_PATH_IMAGE080AAAAAAAAAAA
的平行线
Figure DEST_PATH_IMAGE240
，平行线将与直线
Figure DEST_PATH_IMAGE227A
相交于一点
Figure DEST_PATH_IMAGE243
，那么可以获得最终的辅助侧边拟合线段
Figure DEST_PATH_IMAGE227AA
，线段的两个端点分别为
Figure DEST_PATH_IMAGE246
和
Figure DEST_PATH_IMAGE248
。
S465:获取目标车辆的底盘上方拟合线
Figure DEST_PATH_IMAGE250
，首先，判断S464中的辅助侧边拟合线是否存在，如果不存在，那么无法拟合底盘上方线段，如果存在，那么在S464中获得的线段
Figure DEST_PATH_IMAGE240A
便为上方拟合线
Figure DEST_PATH_IMAGE250A
，线段的两个端点分别为
Figure DEST_PATH_IMAGE171AAAAA
和
Figure 785994DEST_PATH_IMAGE243
。
经过以上步骤，可以获得车辆的底盘拟合框
Figure DEST_PATH_IMAGE255
，如图6中的虚线框所示。
在步骤S470中，如果目标车辆底盘框拟合成功，通过目标车辆的底盘拟合框是否与车道线相交进行目标车辆压线检测，即进行违法判断。
进一步，步骤S470中，通过车辆底盘拟合框判定车辆压线违法，包括以下步骤：
S471:由S440获得车道线
Figure DEST_PATH_IMAGE257
并且能够由S460获得底盘拟合框
Figure DEST_PATH_IMAGE259
。
S472:计算车道线
Figure DEST_PATH_IMAGE257A
中的每一条线段与
Figure DEST_PATH_IMAGE259A
中每一条线段的交点，如果存在交点，那么此辆车判定为压线，且违法；不存在，则判断为不压线，且不违法。
经过以上步骤，通过车辆拟合框判定车辆违法的示意图如图7中的虚线框所示。
进一步，在步骤S480中，通过车辆检测框判定车辆压线违法，包括以下步骤：
S481:由S440获得车道线
Figure DEST_PATH_IMAGE257AA
和由S450获得车辆检测框
Figure DEST_PATH_IMAGE037AAAAA
，并且不能够由S6获得底盘拟合框
Figure DEST_PATH_IMAGE259AA
。
S482:由于车辆检测框
Figure DEST_PATH_IMAGE037AAAAAA
会明显大于底盘拟合框，当拟合框无法获得时，不能直接通过车辆检测框
Figure DEST_PATH_IMAGE037AAAAAAA
是否与车道线有交点进行压线判罚，需要对交点的位置进行限定，具体分为以下四种情况，假设已知车辆检测框的左上点坐标为
Figure DEST_PATH_IMAGE268
，右下角坐标为
Figure DEST_PATH_IMAGE270
，宽为
Figure DEST_PATH_IMAGE272
，高为
Figure DEST_PATH_IMAGE274
。
第一种情况：车道线与检测框的下边界线段相交。假设车道线
Figure DEST_PATH_IMAGE276
与下边界线段的相交点为
Figure DEST_PATH_IMAGE278
，计算交点在下边界的位置
Figure DEST_PATH_IMAGE280
，当其位置满足
Figure DEST_PATH_IMAGE282
时，并且车道线与
Figure DEST_PATH_IMAGE284
的交点
Figure DEST_PATH_IMAGE286
横坐标满足
Figure DEST_PATH_IMAGE288
，则判定其压线，车辆违法；当其位置满足
Figure DEST_PATH_IMAGE290
时，如果车道线与
Figure DEST_PATH_IMAGE292
的交点
Figure DEST_PATH_IMAGE294
横坐标满足
Figure DEST_PATH_IMAGE296
，并且车道线或者其延长线与
Figure DEST_PATH_IMAGE298
的交点
Figure DEST_PATH_IMAGE300
横坐标满足
Figure DEST_PATH_IMAGE302
，则判定其压线，车辆违法；当其位置满足
Figure DEST_PATH_IMAGE304
时，同样车道线
Figure DEST_PATH_IMAGE306
与
Figure 315980DEST_PATH_IMAGE292
的交点
Figure DEST_PATH_IMAGE308
横坐标满足
Figure DEST_PATH_IMAGE310
，并且车道线或者其延长线与
Figure 443336DEST_PATH_IMAGE298
的交点
Figure DEST_PATH_IMAGE312
横坐标满足
Figure DEST_PATH_IMAGE314
，则判定其压线，车辆违法。其中，设定阈值
Figure DEST_PATH_IMAGE316
以及
Figure DEST_PATH_IMAGE318
，此值是个经验值，可以根据车辆类型进行上下浮动调整。
第二种情况：车道线与检测框的上边界线段相交。假设车道线
Figure DEST_PATH_IMAGE320
与上边界线段相交与点
Figure DEST_PATH_IMAGE322
，交点在上边界线段的位置为
Figure DEST_PATH_IMAGE324
，当其位置满足
Figure DEST_PATH_IMAGE326
时，并且车道线
Figure 625050DEST_PATH_IMAGE306
与
Figure DEST_PATH_IMAGE328
的交点
Figure DEST_PATH_IMAGE330
横坐标满足
Figure DEST_PATH_IMAGE332
，则判定其压线，车辆违法；当其位置满足
Figure DEST_PATH_IMAGE334
时，如果车道线
Figure 329176DEST_PATH_IMAGE306
与
Figure DEST_PATH_IMAGE336
的交点
Figure DEST_PATH_IMAGE338
横坐标满足
Figure 568528DEST_PATH_IMAGE332
，并且车道线或者其延长线与
Figure 132364DEST_PATH_IMAGE112
的交点
Figure DEST_PATH_IMAGE340
横坐标满足
Figure DEST_PATH_IMAGE342
，则判定其压线，车辆违法；当其位置满足
Figure DEST_PATH_IMAGE344
时，如果车道线
Figure 191587DEST_PATH_IMAGE306
与
Figure DEST_PATH_IMAGE346
的交点
Figure DEST_PATH_IMAGE348
横坐标满足
Figure DEST_PATH_IMAGE350
，并且车道线或者其延长线与
Figure DEST_PATH_IMAGE352
的交点
Figure DEST_PATH_IMAGE354
横坐标满足
Figure DEST_PATH_IMAGE356
，则判定其压线，车辆违法；其中，设定阈值
Figure DEST_PATH_IMAGE358
以及
Figure DEST_PATH_IMAGE360
，此值是个经验值，可以根据车辆类型进行上下浮动调整。
第三种情况：车道线与检测框的左边界线段相交。假设车道线
Figure 515383DEST_PATH_IMAGE306
与左边界线段相交与点
Figure DEST_PATH_IMAGE362
，交点在左边界线段的位置为
Figure DEST_PATH_IMAGE364
，当其位置满足
Figure DEST_PATH_IMAGE366
时，并且车道线
Figure 75153DEST_PATH_IMAGE306
与
Figure 75470DEST_PATH_IMAGE336
的交点
Figure DEST_PATH_IMAGE368
横坐标满足
Figure DEST_PATH_IMAGE370
，如果车道线或者其延长线与直线
Figure DEST_PATH_IMAGE352A
相交于点
Figure DEST_PATH_IMAGE373
，而且横坐标满足
Figure DEST_PATH_IMAGE375
，则车辆压线，判定违法；如果车道线或者延长线与直线
Figure DEST_PATH_IMAGE377
相交于点
Figure DEST_PATH_IMAGE379
，而且纵坐标满足
Figure DEST_PATH_IMAGE381
， 则车辆压线，判定违法；当其位置满足
Figure DEST_PATH_IMAGE383
时，并且车道线
Figure 435039DEST_PATH_IMAGE306
与
Figure 77373DEST_PATH_IMAGE336
的交点
Figure DEST_PATH_IMAGE385
横坐标满足
Figure DEST_PATH_IMAGE387
，如果车道线或者其延长线与直线
Figure DEST_PATH_IMAGE389
相交于点
Figure DEST_PATH_IMAGE391
，而且横坐标满足
Figure DEST_PATH_IMAGE393
，则车辆压线，判定违法；如果车道线或者其延长线与直线
Figure 226070DEST_PATH_IMAGE377
相交于点
Figure DEST_PATH_IMAGE395
，而且纵坐标满足
Figure DEST_PATH_IMAGE397
，则车辆压线，判定违法。其中，设定阈值
Figure DEST_PATH_IMAGE399
以及
Figure DEST_PATH_IMAGE401
，此值是个经验值，可以根据车辆类型进行上下浮动调整。
第四种情况：车道线与检测框的右边界线段相交。车道线与检测框的右边界线段相交。假设车道线
Figure DEST_PATH_IMAGE320A
与右边界线段相交与点
Figure DEST_PATH_IMAGE404
，交点在右边界线段的位置为
Figure 538233DEST_PATH_IMAGE364
，当其位置满足
Figure DEST_PATH_IMAGE406
时，并且车道线
Figure DEST_PATH_IMAGE408
与
Figure DEST_PATH_IMAGE410
的交点
Figure DEST_PATH_IMAGE412
横坐标满足
Figure DEST_PATH_IMAGE414
，如果车道线或者其延长线与直线
Figure DEST_PATH_IMAGE352AA
相交于点
Figure DEST_PATH_IMAGE417
，而且横坐标满足
Figure DEST_PATH_IMAGE419
，则车辆压线，判定违法；如果车道线或者延长线与直线
Figure DEST_PATH_IMAGE421
相交于点
Figure DEST_PATH_IMAGE423
，而且纵坐标满足
Figure DEST_PATH_IMAGE425
，则车辆压线，判定违法；当其位置满足
Figure DEST_PATH_IMAGE427
时，并且车道线
Figure 788693DEST_PATH_IMAGE408
与
Figure 703559DEST_PATH_IMAGE336
的交点
Figure DEST_PATH_IMAGE429
横坐标满足
Figure DEST_PATH_IMAGE431
，如果车道线或者其延长线与直线
Figure DEST_PATH_IMAGE389A
相交于点
Figure DEST_PATH_IMAGE434
，而且横坐标满足
Figure DEST_PATH_IMAGE436
，则车辆压线，判定违法；如果车道线或者其延长线与直线
Figure DEST_PATH_IMAGE421A
相交于点
Figure DEST_PATH_IMAGE439
，而且纵坐标满足
Figure DEST_PATH_IMAGE441
，则车辆压线，判定违法。其中，设定阈值
Figure DEST_PATH_IMAGE443
以及
Figure DEST_PATH_IMAGE445
，此值是个经验值，可以根据车辆类型进行上下浮动调整。经过以上步骤，通过车辆检测框判定车辆违法的示意图如图8中的虚线框所示。
图9为根据本发明的又一些实施例提供的车辆压线的确定方法的流程示意图。
参照图9所示，在步骤S910中，获取待审核的交通图像以及目标车辆的车牌号。
在示例实施例中，从服务器上获取交通摄像头抓拍的待审核的交通图像X和目标车辆的车牌号。
在步骤S920中，判断交通图像中的车辆是否为机动车。
在示例实施例中，采用深度学习网络模型例如yolo-V3模型检测识别出图像X中的车辆
Figure DEST_PATH_IMAGE447
的检测框位置
Figure DEST_PATH_IMAGE449
,并判断车辆
Figure DEST_PATH_IMAGE447A
是否是机动车，如果车辆
Figure DEST_PATH_IMAGE447AA
是非机动车，则进行至步骤S994；如果车辆
Figure DEST_PATH_IMAGE447AAA
是机动车则进行至步骤S940。
在步骤S930中，对待审核图像进行车辆分割。
在示例实施例中，采用基于语义的分割网络例如PSPNet网络对图像X进行各车辆的车辆信息分割提取，提取各个车辆的分割信息例如分割轮廓。
在步骤S940中，对车辆进行车牌字符识别。
在示例实施例中，使用车牌检测模型对步骤S920获得的机动车进行车牌提取，进而获得车牌的检测框
Figure DEST_PATH_IMAGE012AAA
，然后再使用车牌字符识别模型对提取的车牌进行字符识别，进而获得每个车牌的识别字符
Figure DEST_PATH_IMAGE014AA
。
在步骤S950中，确定是否匹配到目标车辆的检测框，若匹配到，则进行至步骤S960；若未匹配到，则进行至步骤S994。
在示例实施例中，比较字符
Figure DEST_PATH_IMAGE014AAA
和
Figure DEST_PATH_IMAGE010AA
，如果出现对应位置例如四个位置的字符相同，那么检测框
Figure DEST_PATH_IMAGE458
内的车辆便为目标车辆，
Figure DEST_PATH_IMAGE458A
便为目标检测框
Figure DEST_PATH_IMAGE037AAAAAAAA
，否则不是。
在步骤S960中，判断是否匹配到目标车辆的分割轮廓，若匹配到，则进行至步骤S970；否则，进行至步骤S994。
在示例实施例中，从步骤S930中获取到多个车辆的分割轮廓，从中选取出目标车辆的分割轮廓。例如， 确定多个分割轮廓中位于目标检测框即检测框
Figure DEST_PATH_IMAGE458AA
中的有效点；确定有效点构成的外接矩形的面积；若该面积大于预定面积阈值，确定分割轮廓为目标车辆的分割轮廓。
在步骤S970中，确定目标车辆的底盘拟合框。
在示例实施例中， 基于目标车辆的分割轮廓，确定目标车辆的底盘框的下边界拟合区域，下边界拟合区域用于对底盘框的下边界进行拟合；通过下边界拟合区域内的点拟合目标车辆的底盘框的下边界；基于下边界的第一端点以及该分割轮廓，确定目标车辆的底盘框的第一侧边界；基于下边界的第二端点以及分割轮廓，确定目标车辆的底盘框的第二侧边界；基于下边界、第一侧边界以及第二侧边界中的至少两个，确定目标车辆的底盘框的上边界。
在步骤S980中，获取路边标线的结构性文件。
在示例实施例中，采用不同颜色标记路口下的停止线、白实线、黄实线，并将标记信息（指交通标线类别以及坐标）保存到相应的结构化文件中，例如将标记信息保存到JS对象简谱（JavaScript Object Notation, json）文件中。对该路口下的交通图像进行判罚压线时，可以直接读取此json文件，获得路面标线信息。
在步骤S990中，判断目标车辆是否压线，若压线进行至步骤S992，若不压线进行至步骤S994。
在示例实施例中，如果目标车辆底盘框拟合成功，通过目标车辆的底盘拟合框是否与车道线相交判断目标车辆是否压线，若压线进行至步骤S992，判定违法，若不压线，进行至步骤S994，判定不违法；如果目标车辆底盘框未拟合成功，通过目标车辆的检测框是否与车道线相交判断目标车辆是否压线，若压线进行至步骤S992，判定违法，若不压线，进行至步骤S994，判定不违法。
图10为根据本发明的一些实施例提供的车辆压线的确定装置的示意框图。参照图10所示，该车辆压线的确定装置1000包括：
分割模块1010，用于对待审核的交通图像进行语义分割，得到所述交通图像中目标车辆的分割信息；
拟合模块1020，用于基于所述目标车辆的分割信息对所述目标车辆的底盘框进行拟合处理，拟合成功后得到所述目标车辆的底盘拟合框；
压线确定模块1030，用于若所述目标车辆的底盘拟合框与车道线相交，则确定所述目标车辆压线。
根据图10的示例实施例中的技术方案，一方面，通过目标车辆的分割信息对目标车辆的底盘框进行拟合，能够高效准确地确定目标车辆的底盘框的位置；另一方面，基于目标车辆的底盘拟合框是否与车道线相交，确定目标车辆是否压线，能够准确高效地确定目标车辆是否压线；再一方面，由于整个审核过程全程自动化进行检测识别，既节约了人力成本，又能够保证审核工作的公开公正。
图11为根据本发明的一些实施例提供的拟合模块的示意框图。参照图11所示，在本发明的一些实施例中，所述拟合模块1020包括：
轮廓确定单元1110，用于基于所述目标车辆的分割信息确定所述目标车辆的分割轮廓；
拟合处理单元1120，用于基于所述分割轮廓对所述目标车辆的底盘框进行拟合处理。
在本发明的一些实施例中，所述拟合处理单元1120具体还用于：
基于所述目标车辆的分割轮廓，确定所述目标车辆的底盘框的下边界拟合区域，所述下边界拟合区域用于对所述底盘框的下边界进行拟合；
通过所述下边界拟合区域内的点拟合所述目标车辆的底盘框的下边界；
基于所述下边界的第一端点以及所述分割轮廓，确定所述目标车辆的底盘框的第一侧边界；
基于所述下边界的第二端点以及所述分割轮廓，确定所述目标车辆的底盘框的第二侧边界；
基于所述下边界、所述第一侧边界以及所述第二侧边界中的至少两个，确定所述目标车辆的底盘框的上边界。
在本发明的一些实施例中，所述基于所述目标车辆的分割轮廓，确定所述目标车辆的底盘框的下边界拟合区域，包括：
从所述目标车辆的检测框的下边界开始，统计所述分割轮廓中纵坐标为所述检测框的下边界的纵坐标的点的数量；
若所述数量大于或等于预定阈值，则将统计的各个点所处的区域作为所述目标车辆的底盘框的第一下边界拟合区域；
若所述数量小于所述预定阈值，则将更新所述纵坐标的值，统计所述分割轮廓中纵坐标为更新后的纵坐标的点的数量，直到所述数量大于或等于所述预定阈值为止。
在本发明的一些实施例中，所述预定阈值为所述目标车辆的检测框的长宽比与所述分割轮廓中包含的点的数量的乘积，其中，所述长宽比为所述检测框的宽与所述检测框的长宽之和的比值。
在本发明的一些实施例中，所述通过所述下边界拟合区域内的点拟合所述目标车辆的底盘框的下边界，包括：
对所述第一下边界拟合区域中的点进行直线拟合，得到第一线段；
基于所述第一线段确定所述目标车辆的底盘框的下边界。
在本发明的一些实施例中，所述基于所述第一线段确定所述目标车辆的底盘框的下边界，包括：
将所述第一线段下方的点组成的区域作为所述目标车辆的底盘框的第二下边界拟合区域；
对所述第二拟合区域中的点进行直线拟合，得到第二线段；
基于所述第二线段确定所述目标车辆的底盘框的下边界。
在本发明的一些实施例中，所述基于所述第二线段确定所述目标车辆的底盘框的下边界，包括：
确定所述第二线段的长度与所述检测框的宽的长度比值；
确定所述分割轮廓的面积与所述检测框的面积的面积比值；
若所述长度比值在预定长度比值区间，并且所述面积比值在预定面积比值区间，则确定所述第二线段拟合成功；
将所述第二线段作为所述目标车辆的底盘框的下边界。
在本发明的一些实施例中，所述基于所述下边界的第一端点以及所述分割轮廓，确定所述目标车辆的底盘框的第一侧边界，包括：
基于所述下边界的第一端点以及所述检测框的第一侧上部端点，确定所述目标车辆的底盘框的第一侧边界拟合区域；
对所述第一侧边界拟合区域中的点进行直线拟合，得到第三线段；
将所述第三线段作为所述目标车辆的底盘框的第一侧边界。
在本发明的一些实施例中，所述将所述第三线段作为所述目标车辆的底盘框的第一侧边界，包括：
确定所述第三线段所处直线与所述第二线段所处直线的第一交点；
确定所述第三线段所处直线与所述检测框的第一侧边界所处直线的第二交点；
确定所述第二线段的第一侧端点和所述第一交点的连线的中心点；
将所述第二交点与所述中心点的连线形成的第四线段作为矫正后的所述第三线段；
将所述第四线段作为所述目标车辆的底盘框的第一侧边界。
在本发明的一些实施例中，所述基于所述下边界的第二端点以及所述分割轮廓，确定所述目标车辆的底盘框的第二侧边界，包括：
确定所述目标车辆的车牌中心点与目标点形成的第一连接线，所述目标点基于所述目标车辆的类型确定；
确定所述第三线段所处直线与所述第一连接线的第三交点；
确定所述第三交点与所述下边界的第二端点形成的第二连接线；
将目标直线与所述第二连接线的交点作为所述第二侧边界的上端点，所述目标直线为过所述第三线段的上端点与所述下边界平行的直线；
将所述下边界的第二端点作为所述第二侧边界的下端点。
在本发明的一些实施例中，所述基于所述下边界、所述第一侧边界以及所述第二侧边界中的至少两个，确定所述目标车辆的底盘框的上边界，包括：
将所述目标直线与所述第一侧边界以及所述第二侧边界相交形成的线段，作为所述目标车辆的底盘框的上边界。
在本发明的一些实施例中，所述第一侧边界为所述底盘框的可靠侧边界，所述第二侧边界为所述底盘框的辅助侧边界，所述装置还包括：
车牌中心点确定模块，用于确定所述目标车辆的车牌中心点的位置；
第一侧边确定模块，用于若所述车牌中心点的位置在所述目标车辆的检测框的第一侧，则所述可靠侧边界在所述分割轮廓的第二侧，所述辅助侧边界在所述分割轮廓的第一侧；
第二侧边确定模块，用于若所述车牌中心点的位置在所述目标车辆的检测框的第二侧，则所述可靠侧边界在所述分割轮廓的第一侧，所述辅助侧边界在所述分割轮廓的第二侧。
在本发明的一些实施例中，所述装置还包括：
车道线获取模块，用于获取所述目标车辆所处位置的车道线信息；
交点确定模块，用于确定所述车道线信息中的车道线与所述底盘拟合框是否存在交点；
第一相交确定模块，用于若存在交点，则确定所述目标车辆的底盘拟合框与所述车道线相交。
在本发明的一些实施例中，所述装置还包括：
检测框交点确定模块，用于在对所述目标车辆的底盘框拟合失败之后，确定所述目标车辆的检测框与所述车道线的交点位置；
第二相交确定模块，基于所述交点位置，确定所述目标车辆与所述车道线是否相交。
在本发明的一些实施例中设所述检测框的左上点坐标为
Figure DEST_PATH_IMAGE463
，右下角坐标为
Figure DEST_PATH_IMAGE465
，宽为
Figure DEST_PATH_IMAGE467
，高为
Figure DEST_PATH_IMAGE469
，所述基于所述交点位置，确定所述目标车辆与所述车道线是否相交，包括：
若所述车道线与所述检测框的下边界相交，则确定相交的交点在所述下边界的位置；
若所述位置的值大于第一阈值并且小于第二阈值，并且所述车道线与第一直线的交点的横坐标
Figure DEST_PATH_IMAGE471
满足
Figure 631064DEST_PATH_IMAGE288
，则确定所述目标车辆与所述车道线相交；
若所述位置的值小于或等于所述第一阈值，所述车道线与第二直线的交点的横坐标
Figure DEST_PATH_IMAGE473
满足
Figure 501412DEST_PATH_IMAGE296
，并且所述车道线与第三直线的交点的横坐标
Figure DEST_PATH_IMAGE475
满足
Figure 553682DEST_PATH_IMAGE302
，则确定所述目标车辆与所述车道线相交；
若所述位置的值大于或等于所述第二阈值，所述车道线与所述第二直线的交点的横坐标
Figure DEST_PATH_IMAGE477
满足
Figure DEST_PATH_IMAGE479
，并且所述车道线与所述第三直线的交点的横坐标
Figure DEST_PATH_IMAGE481
满足
Figure DEST_PATH_IMAGE483
，则确定所述目标车辆与所述车道线相交，
其中，所述第一直线的表达式为
Figure DEST_PATH_IMAGE485
，所述第二直线的表达式为
Figure 678764DEST_PATH_IMAGE410
，所述第三直线的表达式为
Figure DEST_PATH_IMAGE487
。
在本发明的一些实施例中，所述基于所述交点位置，确定所述目标车辆与所述车道线是否相交，包括：
若所述车道线与所述检测框的上边界相交，则确定相交的交点在所述上边界的位置；
若所述位置的值大于第三阈值并且小于第四阈值，所述车道线与第四直线的交点的横坐标
Figure DEST_PATH_IMAGE489
满足
Figure 601721DEST_PATH_IMAGE332
，则确定所述目标车辆与所述车道线相交；
若所述位置的值小于等于所述第三阈值，所述车道线与所述第二直线的交点的横坐标
Figure DEST_PATH_IMAGE491
满足
Figure DEST_PATH_IMAGE493
，并且所述车道线与第五直线的交点的横坐标
Figure DEST_PATH_IMAGE495
满足
Figure 52425DEST_PATH_IMAGE342
，则确定所述目标车辆与所述车道线相交；
若所述位置的值大于或等于所述第四阈值，所述车道线与所述第二直线的交点的横坐标
Figure DEST_PATH_IMAGE497
满足
Figure DEST_PATH_IMAGE499
，并且所述车道线与所述第五直线的交点的横坐标
Figure DEST_PATH_IMAGE501
满足
Figure DEST_PATH_IMAGE503
，则确定所述目标车辆与所述车道线相交，
其中，所述第四直线的表达式为
Figure 795253DEST_PATH_IMAGE328
，所述第五直线的表达式为
Figure DEST_PATH_IMAGE505
。
在本发明的一些实施例中，所述基于所述交点位置，确定所述目标车辆与所述车道线是否相交，包括：
若所述车道线与所述检测框的左边界相交，则确定相交的交点在所述左边界上的位置；
若所述位置的值小于第五阈值，所述车道线与所述第二直线的横坐标
Figure DEST_PATH_IMAGE507
满足
Figure 786342DEST_PATH_IMAGE370
，并且所述车道线与所述第五直线的交点的横坐标
Figure DEST_PATH_IMAGE509
满足
Figure DEST_PATH_IMAGE511
，则确定所述目标车辆与所述车道线相交；
若所述车道线与第六直线的交点的纵坐标
Figure DEST_PATH_IMAGE513
满足
Figure DEST_PATH_IMAGE515
，则确定所述目标车辆与所述车道线相交；
若所述位置的值大于第六阈值，所述车道线与所述第二直线的交点的横坐标
Figure DEST_PATH_IMAGE517
满足
Figure 498559DEST_PATH_IMAGE387
，并且所述车道线与所述第三直线的交点的横坐标
Figure DEST_PATH_IMAGE519
满足
Figure DEST_PATH_IMAGE521
，则确定所述目标车辆与所述车道线相交；
若所述车道线与所述第六直线的交点的纵坐标
Figure DEST_PATH_IMAGE523
满足
Figure DEST_PATH_IMAGE525
，则确定所述目标车辆与所述车道线相交，
其中，所述第六直线的表达式为
Figure 589006DEST_PATH_IMAGE377
。
在本发明的一些实施例中，所述基于所述交点位置，确定所述目标车辆与所述车道线是否相交，包括：
若所述车道线与所述检测框的右边界相交，则确定相交的交点在所述右边界上的位置；
若所述位置的值小于第七阈值，所述车道线与所述第二直线的交点的横坐标
Figure DEST_PATH_IMAGE527
满足
Figure DEST_PATH_IMAGE529
，并且所述车道线与所述第五直线的交点的横坐标
Figure DEST_PATH_IMAGE531
满足
Figure DEST_PATH_IMAGE533
，则确定所述目标车辆与所述车道线相交；
若所述车道线与第七直线的交点的纵坐标
Figure DEST_PATH_IMAGE535
满足
Figure DEST_PATH_IMAGE537
，则确定所述目标车辆与所述车道线相交；
若所述位置的值大于第八阈值，所述车道线与所述第二直线的交点的横坐标
Figure DEST_PATH_IMAGE539
满足
Figure 225655DEST_PATH_IMAGE431
，并且所述车道线与所述第三直线的交点的横坐标
Figure DEST_PATH_IMAGE541
满足
Figure DEST_PATH_IMAGE543
，则确定所述目标车辆与所述车道线相交；
若所述车道线与所述第七直线的交点的纵坐标
Figure DEST_PATH_IMAGE545
满足
Figure 286015DEST_PATH_IMAGE441
，则确定所述目标车辆与所述车道线相交，
其中，所述第七直线的表达式为
Figure DEST_PATH_IMAGE547
。
在本发明的一些实施例中，所述装置还包括：
样本获取模块，用于获取样本交通图像以及所述样本交通图像的标签，所述标签包括所述样本交通图像中的各个车辆的检测框以及各个车辆是否为机动车；
训练模块，用于基于所述样本交通图像以及所述标签对车辆检测模型进行训练；
检测框确定模块，用于基于训练后的所述车辆检测模型对所述交通图像中的各个车辆进行检测，确定所述目标车辆的检测框。
在本发明的一些实施例中，所述分割模块具体还用于：
获取样本交通图像以及所述样本交通图像的标签，所述标签为所述样本交通图像中各类元素的颜色；
基于所述样本交通图像以及所述标签对基于语义的分割网络模型进行训练；
采用训练后的所述分割网络模型，提取所述交通图像中各个车辆的分割信息。
在本发明的一些实施例中，所述装置还包括：
车牌提取模块，用于通过车牌检测模型对所述交通图像中的机动车辆进行车牌提取；
字符获取模块，用于通过车牌字符识别模型对提取的各个车牌进行字符识别，获取各个所述车牌的识别字符；
比较模块，用于将所述识别字符与所述目标车辆的车牌号进行比较，基于比较结果确定所述目标车辆以及目标检测框。
在本发明的一些实施例中，所述分割信息包括分割轮廓，所述装置还包括：
分割轮廓确定模块，用于从所述交通图像的分割信息中获取多个车辆的分割轮廓；确定所述分割轮廓中位于所述目标检测框中的有效点；确定所述有效点构成的外接矩形的面积；若所述面积大于预定面积阈值，确定所述分割轮廓为所述目标车辆的分割轮廓。
本发明实施例提供的车辆压线的确定装置能够实现前述方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。
图12示出了本发明的一些实施例提供的车辆压线的确定设备实施例一的结构示意图，如图12所示，本实施例提供的车辆压线的确定设备1200可以包括：存储器1210以及处理器1220。可选的，该车辆压线的确定设备还可以包括总线。其中，总线用于实现各元件之间的连接。
所述存储器1210用于存储计算机程序和数据，所述处理器1220调用存储器1210存储的计算机程序，以执行前述任一方法实施例提供的车辆压线的确定方法的技术方案。
其中，存储器1210和处理器1220之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器1210中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器1210中的软件功能模块，处理器1220通过运行存储在存储器1210内的计算机程序以及模块，从而执行各种功能应用以及车辆压线的确定。
存储器1210可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器1210用于存储程序，处理器1220在接收到执行指令后，执行程序。进一步地，上述存储器1210内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器1220可以是一种集成电路芯片，具有信号的处理能力。上述的处理器1220可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图12的结构仅为示意，还可以包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。图12中所示的各组件可以采用硬件和/或软件实现。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现上述任一方法实施例提供的车辆压线的确定方法。
本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备，可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如SSD）等。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (26)

1.一种车辆压线的确定方法，其特征在于，包括：
对待审核的交通图像进行语义分割，得到所述交通图像中目标车辆的分割信息；
基于所述目标车辆的分割信息对所述目标车辆的底盘框进行拟合处理，拟合成功后得到所述目标车辆的底盘拟合框；
若所述目标车辆的底盘拟合框与车道线相交，则确定所述目标车辆压线。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标车辆的分割信息对所述目标车辆的底盘框进行拟合处理，包括：
基于所述目标车辆的分割信息确定所述目标车辆的分割轮廓；
基于所述分割轮廓对所述目标车辆的底盘框进行拟合处理。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标车辆的分割轮廓对所述目标车辆的底盘框进行拟合，包括：
基于所述目标车辆的分割轮廓，确定所述目标车辆的底盘框的下边界拟合区域，所述下边界拟合区域用于对所述底盘框的下边界进行拟合；
通过所述下边界拟合区域内的点拟合所述目标车辆的底盘框的下边界；
基于所述下边界的第一端点以及所述分割轮廓，确定所述目标车辆的底盘框的第一侧边界；
基于所述下边界的第二端点以及所述分割轮廓，确定所述目标车辆的底盘框的第二侧边界；
基于所述下边界、所述第一侧边界以及所述第二侧边界中的至少两个，确定所述目标车辆的底盘框的上边界。
4.根据权利要求3所述的方法，其特征在于，所述基于所述目标车辆的分割轮廓，确定所述目标车辆的底盘框的下边界拟合区域，包括：
从所述目标车辆的检测框的下边界开始，统计所述分割轮廓中纵坐标为所述检测框的下边界的纵坐标的点的数量；
若所述数量大于或等于预定阈值，则将统计的各个点所处的区域作为所述目标车辆的底盘框的第一下边界拟合区域；
若所述数量小于所述预定阈值，则将更新所述纵坐标的值，统计所述分割轮廓中纵坐标为更新后的纵坐标的点的数量，直到所述数量大于或等于所述预定阈值为止。
5.根据权利要求4所述的方法，其特征在于，所述预定阈值为所述目标车辆的检测框的长宽比与所述分割轮廓中包含的点的数量的乘积，其中，所述长宽比为所述检测框的宽与所述检测框的长宽之和的比值。
6.根据权利要求4所述的方法，其特征在于，所述通过所述下边界拟合区域内的点拟合所述目标车辆的底盘框的下边界，包括：
对所述第一下边界拟合区域中的点进行直线拟合，得到第一线段；
基于所述第一线段确定所述目标车辆的底盘框的下边界。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一线段确定所述目标车辆的底盘框的下边界，包括：
将所述第一线段下方的点组成的区域作为所述目标车辆的底盘框的第二下边界拟合区域；
对所述第二拟合区域中的点进行直线拟合，得到第二线段；
基于所述第二线段确定所述目标车辆的底盘框的下边界。
8.根据权利要求7所述的方法，其特征在于，所述基于所述第二线段确定所述目标车辆的底盘框的下边界，包括：
确定所述第二线段的长度与所述检测框的宽的长度比值；
确定所述分割轮廓的面积与所述检测框的面积的面积比值；
若所述长度比值在预定长度比值区间，并且所述面积比值在预定面积比值区间，则确定所述第二线段拟合成功；
将所述第二线段作为所述目标车辆的底盘框的下边界。
9.根据权利要求3所述的方法，其特征在于，所述基于所述下边界的第一端点以及所述分割轮廓，确定所述目标车辆的底盘框的第一侧边界，包括：
基于所述下边界的第一端点以及所述检测框的第一侧上部端点，确定所述目标车辆的底盘框的第一侧边界拟合区域；
对所述第一侧边界拟合区域中的点进行直线拟合，得到第三线段；
将所述第三线段作为所述目标车辆的底盘框的第一侧边界。
10.根据权利要求9所述的方法，其特征在于，所述将所述第三线段作为所述目标车辆的底盘框的第一侧边界，包括：
确定所述第三线段所处直线与所述第二线段所处直线的第一交点；
确定所述第三线段所处直线与所述检测框的第一侧边界所处直线的第二交点；
确定所述第二线段的第一侧端点和所述第一交点的连线的中心点；
将所述第二交点与所述中心点的连线形成的第四线段作为矫正后的所述第三线段；
将所述第四线段作为所述目标车辆的底盘框的第一侧边界。
11.根据权利要求9所述的方法，其特征在于，所述基于所述下边界的第二端点以及所述分割轮廓，确定所述目标车辆的底盘框的第二侧边界，包括：
确定所述目标车辆的车牌中心点与目标点形成的第一连接线，所述目标点基于所述目标车辆的类型确定；
确定所述第三线段所处直线与所述第一连接线的第三交点；
确定所述第三交点与所述下边界的第二端点形成的第二连接线；
将目标直线与所述第二连接线的交点作为所述第二侧边界的上端点，所述目标直线为过所述第三线段的上端点与所述下边界平行的直线；
将所述下边界的第二端点作为所述第二侧边界的下端点。
12.根据权利要求11所述的方法，其特征在于，所述基于所述下边界、所述第一侧边界以及所述第二侧边界中的至少两个，确定所述目标车辆的底盘框的上边界，包括：
将所述目标直线与所述第一侧边界以及所述第二侧边界相交形成的线段，作为所述目标车辆的底盘框的上边界。
13.根据权利要求9所述的方法，其特征在于，所述第一侧边界为所述底盘框的可靠侧边界，所述第二侧边界为所述底盘框的辅助侧边界，所述方法还包括：
确定所述目标车辆的车牌中心点的位置；
若所述车牌中心点的位置在所述目标车辆的检测框的第一侧，则所述可靠侧边界在所述分割轮廓的第二侧，所述辅助侧边界在所述分割轮廓的第一侧；
若所述车牌中心点的位置在所述目标车辆的检测框的第二侧，则所述可靠侧边界在所述分割轮廓的第一侧，所述辅助侧边界在所述分割轮廓的第二侧。
14.根据权利要求1至13中任一项所述的方法，其特征在于，所述方法还包括：
获取所述目标车辆所处位置的车道线信息；
确定所述车道线信息中的车道线与所述底盘拟合框是否存在交点；
若存在交点，则确定所述目标车辆的底盘拟合框与所述车道线相交。
15.根据权利要求1至13中任一项所述的方法，其特征在于，在对所述目标车辆的底盘框拟合失败之后，所述方法还包括：
确定所述目标车辆的检测框与所述车道线的交点位置；
基于所述交点位置，确定所述目标车辆与所述车道线是否相交。
16.根据权利要求15所述的方法，其特征在于，设所述检测框的左上点坐标为
Figure DEST_PATH_IMAGE001
，右下角坐标为
Figure 374508DEST_PATH_IMAGE002
，宽为
Figure DEST_PATH_IMAGE003
，高为
Figure 963752DEST_PATH_IMAGE004
，所述基于所述交点位 置，确定所述目标车辆与所述车道线是否相交，包括：
若所述车道线与所述检测框的下边界相交，则确定相交的交点在所述下边界的位置；
若所述位置的值大于第一阈值并且小于第二阈值，并且所述车道线与第一直线的交点 的横坐标
Figure DEST_PATH_IMAGE005
满足
Figure 212331DEST_PATH_IMAGE006
，则确定所述目标车辆与所述车道线相交；
若所述位置的值小于或等于所述第一阈值，所述车道线与第二直线的交点的横坐标
Figure DEST_PATH_IMAGE007
满足
Figure 341961DEST_PATH_IMAGE008
，并且所述车道线与第三直线的交点的横坐标
Figure DEST_PATH_IMAGE009
满足
Figure 625175DEST_PATH_IMAGE010
，则确定所述目标车辆与所述车道线相交；
若所述位置的值大于或等于所述第二阈值，所述车道线与所述第二直线的交点的横坐 标
Figure DEST_PATH_IMAGE011
满足
Figure 119741DEST_PATH_IMAGE012
，并且所述车道线与所述第三直线的交点的横坐标
Figure DEST_PATH_IMAGE013
满足
Figure 855616DEST_PATH_IMAGE014
，则确定所述目标车辆与所述车道线相交，
其中，所述第一直线的表达式为
Figure DEST_PATH_IMAGE015
，所述第二直线的表达式为
Figure 788937DEST_PATH_IMAGE016
，所述第三直线的表达式为
Figure DEST_PATH_IMAGE017
。
17.根据权利要求16所述的方法，其特征在于，所述基于所述交点位置，确定所述目标车辆与所述车道线是否相交，包括：
若所述车道线与所述检测框的上边界相交，则确定相交的交点在所述上边界的位置；
若所述位置的值大于第三阈值并且小于第四阈值，所述车道线与第四直线的交点的横 坐标
Figure 926657DEST_PATH_IMAGE018
满足
Figure DEST_PATH_IMAGE019
，则确定所述目标车辆与所述车道线相交；
若所述位置的值小于等于所述第三阈值，所述车道线与所述第二直线的交点的横坐标
Figure 589195DEST_PATH_IMAGE020
满足
Figure DEST_PATH_IMAGE021
，并且所述车道线与第五直线的交点的横坐标
Figure 812366DEST_PATH_IMAGE022
满足
Figure DEST_PATH_IMAGE023
，则确定所述目标车辆与所述车道线相交；
若所述位置的值大于或等于所述第四阈值，所述车道线与所述第二直线的交点的横坐 标
Figure 283799DEST_PATH_IMAGE024
满足
Figure DEST_PATH_IMAGE025
，并且所述车道线与所述第五直线的交点的横坐标
Figure 479288DEST_PATH_IMAGE026
满足
Figure DEST_PATH_IMAGE027
，则确定所述目标车辆与所述车道线相交，
其中，所述第四直线的表达式为
Figure 643553DEST_PATH_IMAGE028
，所述第五直线的表达式为
Figure DEST_PATH_IMAGE029
。
18.根据权利要求17所述的方法，其特征在于，所述基于所述交点位置，确定所述目标车辆与所述车道线是否相交，包括：
若所述车道线与所述检测框的左边界相交，则确定相交的交点在所述左边界上的位置；
若所述位置的值小于第五阈值，所述车道线与所述第二直线的横坐标
Figure 354020DEST_PATH_IMAGE030
满足
Figure DEST_PATH_IMAGE031
，并且所述车道线与所述第五直线的交点的横坐标
Figure 301248DEST_PATH_IMAGE032
满足
Figure DEST_PATH_IMAGE033
，则确定所述目标车辆与所述车道线相交；
若所述车道线与第六直线的交点的纵坐标
Figure 413560DEST_PATH_IMAGE034
满足
Figure DEST_PATH_IMAGE035
，则确定所述目标车辆与所述车道线相交；
若所述位置的值大于第六阈值，所述车道线与所述第二直线的交点的横坐标
Figure 483147DEST_PATH_IMAGE036
满 足
Figure DEST_PATH_IMAGE037
，并且所述车道线与所述第三直线的交点的横坐标
Figure 680910DEST_PATH_IMAGE038
满足
Figure DEST_PATH_IMAGE039
，则确定所述目标车辆与所述车道线相交；
若所述车道线与所述第六直线的交点的纵坐标
Figure 228566DEST_PATH_IMAGE040
满足
Figure DEST_PATH_IMAGE041
，则确定所述目标车辆与所述车道线相交，
其中，所述第六直线的表达式为
Figure 398648DEST_PATH_IMAGE042
。
19.根据权利要求18所述的方法，其特征在于，所述基于所述交点位置，确定所述目标车辆与所述车道线是否相交，包括：
若所述车道线与所述检测框的右边界相交，则确定相交的交点在所述右边界上的位置；
若所述位置的值小于第七阈值，所述车道线与所述第二直线的交点的横坐标
Figure DEST_PATH_IMAGE043
满 足
Figure 901786DEST_PATH_IMAGE044
，并且所述车道线与所述第五直线的交点的横坐标
Figure DEST_PATH_IMAGE045
满足
Figure 321266DEST_PATH_IMAGE046
，则确定所述目标车辆与所述车道线相交；
若所述车道线与第七直线的交点的纵坐标
Figure DEST_PATH_IMAGE047
满足
Figure 875875DEST_PATH_IMAGE048
，则确定所述目标车辆与所述车道线相交；
若所述位置的值大于第八阈值，所述车道线与所述第二直线的交点的横坐标
Figure DEST_PATH_IMAGE049
满 足
Figure 697200DEST_PATH_IMAGE050
，并且所述车道线与所述第三直线的交点的横坐标
Figure DEST_PATH_IMAGE051
满足
Figure 108590DEST_PATH_IMAGE052
，则确定所述目标车辆与所述车道线相交；
若所述车道线与所述第七直线的交点的纵坐标
Figure DEST_PATH_IMAGE053
满足
Figure 280946DEST_PATH_IMAGE054
，则确定所述目标车辆与所述车道线相交，
其中，所述第七直线的表达式为
Figure DEST_PATH_IMAGE055
。
20.根据权利要求15所述的方法，其特征在于，所述方法还包括：
获取样本交通图像以及所述样本交通图像的标签，所述标签包括所述样本交通图像中的各个车辆的检测框以及各个车辆是否为机动车；
基于所述样本交通图像以及所述标签对车辆检测模型进行训练；
基于训练后的所述车辆检测模型对所述交通图像中的各个车辆进行检测，确定所述目标车辆的检测框。
21.根据权利要求1至13中任一项所述的方法，其特征在于，所述对待审核的交通图像中的目标车辆进行语义分割，包括：
获取样本交通图像以及所述样本交通图像的标签，所述标签为所述样本交通图像中各类元素的颜色；
基于所述样本交通图像以及所述标签对基于语义的分割网络模型进行训练；
采用训练后的所述分割网络模型，提取所述交通图像中各个车辆的分割信息。
22.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过车牌检测模型对所述交通图像中的机动车辆进行车牌提取；
通过车牌字符识别模型对提取的各个车牌进行字符识别，获取各个所述车牌的识别字符；
将所述识别字符与所述目标车辆的车牌号进行比较，基于比较结果确定所述目标车辆以及目标检测框。
23.根据权利要求22所述的方法，其特征在于，所述分割信息包括分割轮廓，所述方法还包括：
从所述交通图像的分割信息中获取多个车辆的分割轮廓；
确定所述分割轮廓中位于所述目标检测框中的有效点；
确定所述有效点构成的外接矩形的面积；
若所述面积大于预定面积阈值，确定所述分割轮廓为所述目标车辆的分割轮廓。
24.一种车辆压线的确定装置，其特征在于，包括：
分割模块，用于对待审核的交通图像进行语义分割，得到所述交通图像中目标车辆的分割信息；
拟合模块，用于基于所述目标车辆的分割信息对所述目标车辆的底盘框进行拟合处理，拟合成功后得到所述目标车辆的底盘拟合框；
压线确定模块，用于若所述目标车辆的底盘拟合框与车道线相交，则确定所述目标车辆压线。
25.一种车辆压线的确定设备，其特征在于，包括：处理器以及存储器；所述存储器用于存储计算机程序和数据，所述处理器调用存储器存储的计算机程序，以执行权利要求1至23中任一项所述的车辆压线的确定方法。
26.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，所述计算机程序在被处理器执行时用于执行权利要求1至23中任一项所述的车辆压线的确定方法。
CN202010892189.5A 2020-08-31 2020-08-31 车辆压线的确定方法、装置、设备和存储介质 Expired - Fee Related CN111814765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010892189.5A CN111814765B (zh) 2020-08-31 2020-08-31 车辆压线的确定方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010892189.5A CN111814765B (zh) 2020-08-31 2020-08-31 车辆压线的确定方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111814765A true CN111814765A (zh) 2020-10-23
CN111814765B CN111814765B (zh) 2021-05-28

Family

ID=72859798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010892189.5A Expired - Fee Related CN111814765B (zh) 2020-08-31 2020-08-31 车辆压线的确定方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111814765B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464790A (zh) * 2020-11-25 2021-03-09 上海眼控科技股份有限公司 一种车辆压线等级确定方法、装置、设备及存储介质
CN112712703A (zh) * 2020-12-09 2021-04-27 上海眼控科技股份有限公司 车辆视频的处理方法、装置、计算机设备和存储介质
CN112749622A (zh) * 2020-11-30 2021-05-04 浙江大华技术股份有限公司 应急车道占用识别方法和装置
CN113240912A (zh) * 2021-06-04 2021-08-10 上海眼控科技股份有限公司 一种车辆逆行的判定方法、装置、设备及存储介质
CN114255584A (zh) * 2021-12-20 2022-03-29 济南博观智能科技有限公司 一种停放车辆的定位方法、系统、存储介质和电子设备
CN114613147A (zh) * 2020-11-25 2022-06-10 浙江宇视科技有限公司 一种车辆违章的识别方法、装置、介质及电子设备
CN115601435A (zh) * 2022-12-14 2023-01-13 天津所托瑞安汽车科技有限公司（Cn） 车辆姿态检测方法、装置、车辆及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170294129A1 (en) * 2016-04-11 2017-10-12 Fujitsu Ten Limited Lane departure warning apparatus
CN109949578A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的车辆压线违法自动审核方法
CN111402329A (zh) * 2020-03-24 2020-07-10 上海眼控科技股份有限公司 车辆压线检测方法、装置、计算机设备和存储介质
CN111523464A (zh) * 2020-04-23 2020-08-11 上海眼控科技股份有限公司 车辆违法变道的检测方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170294129A1 (en) * 2016-04-11 2017-10-12 Fujitsu Ten Limited Lane departure warning apparatus
CN109949578A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的车辆压线违法自动审核方法
CN111402329A (zh) * 2020-03-24 2020-07-10 上海眼控科技股份有限公司 车辆压线检测方法、装置、计算机设备和存储介质
CN111523464A (zh) * 2020-04-23 2020-08-11 上海眼控科技股份有限公司 车辆违法变道的检测方法和装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464790A (zh) * 2020-11-25 2021-03-09 上海眼控科技股份有限公司 一种车辆压线等级确定方法、装置、设备及存储介质
CN114613147A (zh) * 2020-11-25 2022-06-10 浙江宇视科技有限公司 一种车辆违章的识别方法、装置、介质及电子设备
CN114613147B (zh) * 2020-11-25 2023-08-04 浙江宇视科技有限公司 一种车辆违章的识别方法、装置、介质及电子设备
CN112749622A (zh) * 2020-11-30 2021-05-04 浙江大华技术股份有限公司 应急车道占用识别方法和装置
CN112749622B (zh) * 2020-11-30 2024-04-30 浙江大华技术股份有限公司 应急车道占用识别方法和装置
CN112712703A (zh) * 2020-12-09 2021-04-27 上海眼控科技股份有限公司 车辆视频的处理方法、装置、计算机设备和存储介质
CN113240912A (zh) * 2021-06-04 2021-08-10 上海眼控科技股份有限公司 一种车辆逆行的判定方法、装置、设备及存储介质
CN114255584A (zh) * 2021-12-20 2022-03-29 济南博观智能科技有限公司 一种停放车辆的定位方法、系统、存储介质和电子设备
CN114255584B (zh) * 2021-12-20 2023-04-07 济南博观智能科技有限公司 一种停放车辆的定位方法、系统、存储介质和电子设备
CN115601435A (zh) * 2022-12-14 2023-01-13 天津所托瑞安汽车科技有限公司（Cn） 车辆姿态检测方法、装置、车辆及存储介质
CN115601435B (zh) * 2022-12-14 2023-03-14 天津所托瑞安汽车科技有限公司 车辆姿态检测方法、装置、车辆及存储介质
WO2024124865A1 (zh) * 2022-12-14 2024-06-20 天津所托瑞安汽车科技有限公司 车辆姿态检测方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
CN111814765B (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN111814765B (zh) 车辆压线的确定方法、装置、设备和存储介质
JP6347815B2 (ja) 車線境界を検出する方法、装置、およびデバイス
EP3806064A1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
KR102391840B1 (ko) 불법 주차를 검출하는 방법과 장치, 전자 기기, 컴퓨터 판독가능 매체
US10212397B2 (en) Abandoned object detection apparatus and method and system
CN111523464A (zh) 车辆违法变道的检测方法和装置
Danescu et al. Detection and classification of painted road objects for intersection assistance applications
WO2021073267A1 (zh) 基于图像识别的行人闯红灯检测方法、装置及相关设备
WO2021003823A1 (zh) 基于视频帧图片分析的车辆违停检测方法及装置
EP3171295B1 (en) Method for processing image and computer-readable non-transitory recording medium storing program
CN113011331B (zh) 机动车是否礼让行人的检测方法、装置、电子设备及介质
CN110909699A (zh) 视频车辆非导向行驶检测方法、装置及可读存储介质
CN111126323A (zh) 服务于交通违规检测的卡口元素识别与分析方法、系统
CN108229466B (zh) 一种车牌识别方法及装置
CN107748882B (zh) 一种车道线检测方法及装置
CN113221750A (zh) 车辆追踪方法、装置、设备及存储介质
KR20160115853A (ko) 이미지 내 타원형 구조들을 감지하기 위한 방법 및 장치
CN112785850A (zh) 车辆变道未打灯的识别方法及装置
CN111898540A (zh) 车道线检测方法、装置、计算机设备及计算机可读存储介质
CN111178359A (zh) 车牌号码识别方法、装置和设备及计算机存储介质
CN111914845A (zh) 一种车牌中字符分层方法、装置及电子设备
CN108090425B (zh) 一种车道线检测方法、装置及终端
CN113297939A (zh) 障碍物检测方法、系统、终端设备及存储介质
CN116721396A (zh) 车道线检测方法、设备及存储介质
CN114255597B (zh) 应急车道占用行为检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210528

CF01 Termination of patent right due to non-payment of annual fee