CN112818834B - 一种交叉口针对应急车辆的避让判定方法、设备及介质 - Google Patents

一种交叉口针对应急车辆的避让判定方法、设备及介质 Download PDF

Info

Publication number
CN112818834B
CN112818834B CN202110124607.0A CN202110124607A CN112818834B CN 112818834 B CN112818834 B CN 112818834B CN 202110124607 A CN202110124607 A CN 202110124607A CN 112818834 B CN112818834 B CN 112818834B
Authority
CN
China
Prior art keywords
vehicle
image
emergency vehicle
emergency
rectangular frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110124607.0A
Other languages
English (en)
Other versions
CN112818834A (zh
Inventor
邢建平
邢猛
陈永红
邢语轩
许才溢
高龙琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110124607.0A priority Critical patent/CN112818834B/zh
Publication of CN112818834A publication Critical patent/CN112818834A/zh
Application granted granted Critical
Publication of CN112818834B publication Critical patent/CN112818834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种交叉口针对应急车辆的避让判定方法、设备及介质，包括：预先采集道路图像；处理图像得到实线的位置并对其进行标定；拍摄来车方向道路视频并存储；抽取视频帧，通过基于深度学习的目标检测技术，对道路图像进行车辆检测，同时对需要避让的应急车辆进行识别；根据在同一车道的相对位置，判断是否有目标车辆可能出现避让应急车辆的情况；若是，使用逆投影变换将图像变换为俯视图；先判断是否压线；若是，则可判断为违章压线，然后进行避让判定；若是，进行车牌识别、信息上传以执行违章记录清除。本发明可改善避让应急车辆的违章申诉工作的效率，给让行车辆驾驶人增添了保障，能提高避让应急车辆的主动性。

Description

一种交叉口针对应急车辆的避让判定方法、设备及介质
技术领域
本发明属于交通技术领域和计算机技术领域，具体是涉及一种对是否因避让应急车辆而违章进行判定的方法、设备及介质。
背景技术
随着汽车保有量逐年激增，致使城市道路拥堵不断加剧。交通拥堵严重影响了应急车辆及时到达目的地，阻碍了救援工作的实施。尤其发生重大卫生事件期间，救护车等应急车辆随时待命，执行任务的次数极大增加，遭遇道路拥堵的趋势也随之上升。
很多驾驶人都清楚，遇到应急车辆包括执行紧急任务警车、消防车、救护车、工程抢险车应主动让行，但是交通法没有明确免责条款，会担心因让行而违章。如果因为给应急车辆让道而出现压实线等交通违规行为，不属于故意违章，驾驶人可以向交管部门提出复议，申请撤销相关处罚。
目前判定被动违章的方法，一是交警在对交通违法进行录入时会进行人工分拣，如果发现是因为避让应急车辆而造成的交通违法行为则不会录入系统；二是如果监控录像没有取证到相关画面，需要车主提供证据。以上判定方法效率比较低。
发明内容
针对现有技术的不足，本发明提供了一种交叉口针对应急车辆的避让判定方法，对于压实线的被动违章行为，识别出让行车辆的方法效率高。
本发明还提供了一种计算机设备及存储介质。
术语解释：
1、世界坐标系，也称真实或现实坐标系,它是客观世界的绝对坐标系，记为：W＝{(x,y,z)}∈E3。
2、边缘检测，是属于图像处理和计算机视觉中的基本问题，边缘检测的目的是标识数字图像中亮度变化明显的点。边缘检测是图像处理和计算机视觉中，尤其是特征提取中的一个研究领域。
3、Kirsch算子方法，是R.Kirsch提出的一种边缘检测算法。
4、边界框，在目标检测里通常使用边界框(bounding box)来描述目标位置，边界框是一个矩形框，由矩形的中心点坐标和宽高确定。
5、霍夫变换，用来辨别找出物件中的特征，例如，线条。
6、ResNet特征提取网络，于2015年提出，是应用最为广泛的CNN特征提取网络之一，Resnet50和Resnet101是其中最常用的网络结构。
7、FPN特征融合网络，通过一个独特的特征金字塔网络能较好地处理物体检测中的尺度变化问题，本发明使用了其P3-P7层。
8、FCN框回归和分类网络，FCN，即全卷积网络，采用卷积神经网络实现了从图像像素到像素类别的变换，用来目标分类和边框回归。
本发明的技术方案为：
一种交叉口针对应急车辆的避让判定方法，包括如下步骤：
步骤1：位于道路交叉口的电子摄像设备选在无车辆或者车辆数尽可能少时采集道路图像，并选取光照、天气条件较佳的图像；
步骤2：根据步骤1采集的道路图像，确定实线位置并对其进行标定；
步骤3：电子摄像头拍摄来车方向道路视频并存储；
步骤4：抽取来车方向道路视频的视频帧；
步骤5：根据步骤4抽取的来车方向道路视频的视频帧，通过基于深度学习的目标检测技术进行车辆检测，同时，对需要避让的应急车辆进行识别，获得输出的图像；
步骤6：判断目标车辆是否可能出现避让应急车辆的情况，如果是，进入步骤7，否则，返回步骤4抽取下一帧视频帧；
步骤7：判断是否压线，如果是，进入步骤8，否则，返回步骤4抽取下一帧视频帧；
步骤8：进行避让判定，如果是，进行车牌识别、信息上传以执行违章记录清除，否则，返回步骤4抽取下一帧视频帧。
根据本发明优选的，所述步骤2，对步骤1采集的道路图像进行逆投影变换和二值化处理，得到实线的位置并对其进行标定，包括：
A、对步骤1采集的道路图像进行逆投影变换得到变换图，是指：将图像坐标系中的点变换到世界坐标系中即投影到W空间中z＝0平面，逆投影变换公式如式(I)所示：
Figure BDA0002923184850000021
式(I)中，(u,v)表示步骤1采集的道路图像的像素坐标，(x(u,v),y(u,v),z)为变换后的像素坐标，(l,d,h)为摄像头在世界坐标系下的坐标，
Figure BDA0002923184850000022
为摄像头光轴在z＝0平面的投影与y轴的夹角，
Figure BDA0002923184850000023
为摄像头光轴与z＝0平面的夹角，2αh为摄像头的水平视角，2αv为摄像头的垂直视角，W、H分别为摄像头的水平分辨率和垂直分辨率；l、d、h、
Figure BDA0002923184850000031
αh、αv、W、H与摄像头安装位置与自身参数有关，通过棋盘格标定法获得；
B、将步骤A得到的变换图进行二值化处理，是指：
将变换图中的所有特征分为路面标线类和路面背景类，输出路面标线与路面背景的二值化结果；例如，路面标线为1，路面背景为0；
对二值化处理结果即二值化处理后的图像进行边缘检测，提取实线的边缘信息，实线的边缘信息是指实线的两边所呈现的像素点；
C、将步骤B得到的实线的边缘信息与图像的像素值建立对应关系。
进一步优选地，步骤B中，通过Kirsch算子方法对二值化处理后的图像进行边缘检测，得到两个平行且同时与二值化处理后的图像边缘平行的矩形条。
进一步优选地，步骤C中，使用霍夫变换检测直线，建立的实线的边缘信息与图像的像素值的对应关系的关系式如式(Ⅱ)所示：
Figure BDA0002923184850000032
霍夫变换通过实线边缘像素点形成直线。
式(Ⅱ)中，x表示实线的左侧边界，x′表示实线的右侧边界，w表示实线的宽度，i表示第i条实线，li即形成的直线与x轴交点的坐标，因为直线平行于y轴，x＝li代表该直线。
优选地，所述步骤5，包括：
D、制作数据集：数据集包括标注有应急车辆、普通车辆的图像，应急车辆包括警车、消防车、救护车、工程抢险车，其它为普通车辆；所需图像包括一部分从实际场景的监控视频中截取，一部分由对应的相关部门提供各型号车辆图片，还有一部分从网络搜集得到，通过对图片进行标注，制作包含警车、消防车、救护车、工程抢险车和普通车辆5类目标共计数千量级样本的数据集；
E、训练目标检测模型：在建立的数据集上利用带有GPU运算能力的服务器进行训练，所用的算法为在前馈深度残差网络(ResNet)结构的基础上使用特征金字塔网络(FPN)的目标检测网络；
F、将抽取的来车方向道路视频的视频帧即视频图像输入训练好的目标检测模型，进行车辆检测，输出类别信息与矩形框的位置信息，类别信息包括类别名称和置信度，例如，“ambulance:0.969”，根据类别名称和置信度判断输入图像中是否含有应急车辆，完成对应急车辆的识别，矩形框的位置信息是指车辆在图像中回归出的矩形框，该矩形框即边界框，对应检测车辆在图像中的回归位置。
步骤D中，为了提高算法的适用性，增加夜间场景、部分出现或遮挡等监控图片与标注；
进一步优选地，步骤E中，为了提高算法识别的准确率，在进行算法训练环节中，训练目标检测模型中，选用配备22GB显存RTX2080Ti的服务器进行训练，设置的训练迭代次数为250000次，每秒识别帧数FPS为25，不断对目标检测模型进行测试和调优,直到平均准确度mAP至少达到85.8。
进一步优选的，步骤F中，如果类别名称属于应急车辆，且置信度大于设置的阈值0.95，则认定输入图像中含有应急车辆，完成应急车辆识别。
进一步优选地，步骤F中，使用矩形框的中心点坐标和宽、高{x,y,w,h}定位检测车辆，矩形框的中心点坐标为(x,y)，矩形框的宽为w，矩形框的高为h。因为矩形框是竖直固定的，即可唯一确定一个矩形。
进一步优选的，目标检测网络包括ResNet特征提取网络、FPN特征融合网络以及FCN框回归和分类网络。深度残差网络ResNet是何凯明于2015年提出的。
根据本发明优选的，步骤6，包括步骤如下：
G、应急车辆和普通车辆的矩形框区域位置为{(x0,y0),w0,h0}、{(xn,yn),wn,hn}，包含中心点坐标、宽度和高度信息，n表示不同的普通车辆；(x0,y0)、w0、h0分别为应急车辆矩形框的中心点坐标、宽、高，(xn,yn)、wn、hn分别为普通车辆矩形框的中心点坐标、宽、高；
H、判断式(Ⅲ)或式(Ⅳ)是否成立，如果成立，则目标车辆有可能出现避让应急车辆的情况，进入步骤7，否则，返回步骤4抽取下一帧视频帧；式(Ⅲ)、式(Ⅳ)如下所示：
Figure BDA0002923184850000041
Figure BDA0002923184850000042
以上方案是对车辆检测结果的预判断，此处是判断前车是否因道路拥挤等一直阻挡应急车辆通行，当在一视频帧识别到应急车辆时，可能出现道路宽阔足够应急车辆正常通行的情况，这时便直接跳过后续步骤不再进行后续程序执行，而是执行后续视频的检测，节省时间与系统资源。
根据本发明优选的，步骤7中，包括步骤如下：
I、使用逆投影变换将图像变换为俯视图，得到世界坐标系内z＝0平面的道路图像；通过使用OpenCV提供的方法，为道路图像中的车辆绘制包围轮廓的最小矩形，并输出了左上角和右下角顶点坐标，分别为(xlt,ylt)、(xrb,yrb)；
J、目标车辆即所观察普通车辆的矩形框的任一像素点横坐标在(x,x’)区间内，则认定压线，否则，返回步骤4，x表示实线的左侧边界，x′表示实线的右侧边界。
根据本发明优选的，步骤8中，包括：
K、计算应急车辆的中线和前方普通车辆的车辆的中线之间的夹角；
L、判断应急车辆矩形框的最小纵坐标在邻近的少于5帧图像中是否大于前方普通车辆矩形框的最大纵坐标；隔0.5秒取一帧图像。
M、如果应急车辆的中线和前方普通车辆的车辆的中线之间的夹角大小在取值范围(45°-δ,45°+δ)内，并且应急车辆矩形框的最小纵坐标在邻近的少于5帧图像中大于前方普通车辆矩形框的最大纵坐标，即判定进行了避让，δ为误差值，δ＝5°，否则，返回步骤(4)抽取下一帧视频帧。
一辆普通车辆压线后，通过其与应急车辆中线所成夹角，以及应急车辆位移到了其前方，可认定它通过“45度让路法”为应急车辆主动避让而压线。
进一步优选地，步骤K中，车辆中线向量由矩形框中心坐标和底边中点坐标确定，矩形框中心坐标和底边中点坐标由矩形框的左上角点坐标和右下角点坐标计算得到，夹角计算公式如式(Ⅴ)所示：
θ＝arccos(v1·v2/||v1||||v2||)(Ⅴ)
式(Ⅴ)中，阈值θ的取值范围为(45°-δ,45°+δ)。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种交叉口针对应急车辆的避让判定方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种交叉口针对应急车辆的避让判定方法的步骤。
与现有技术相比，本发明的有益效果是：
在应对警车、消防车、救护车、工程救险车执行紧急任务时道路拥挤的场景时，本发明使用基于深度学习的目标检测技术和相关的图像处理技术，识别率高、处理快，无需人工判定即可消除为应急车辆让行的车辆的违章记录，提高了驾驶人为应急车辆让行的积极性，为他们的担当行为提供了保障，而且本发明不用配备额外的装置，使用路口的监控摄像头即可，节省了成本。
附图说明
图1为本发明一种交叉口针对应急车辆的避让判定方法的实际应用场景示意图。
图2为本发明一种交叉口针对应急车辆的避让判定方法的流程示意图。
图3为本发明一种交叉口针对应急车辆的避让判定方法中道路逆投影变换示意图。
图4为本发明一种交叉口针对应急车辆的避让判定方法中目标检测网络的结构示意图。
图5为本发明一种交叉口针对应急车辆的避让判定方法的避让检测夹角计算示意图。
1、摄像机，2、支架，3、应急车辆，4、普通车辆，5、实线。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种交叉口针对应急车辆的避让判定方法，如图2所示,该方法的实际应用场景示例如图1所示，交通路口的前端设置有摄像机1，摄像机1对即将通过路口的车辆进行抓拍，摄像机1置于支架2上，为了使应急车辆3尽快通过拥堵路段，普通车辆4向自己的左前方呈一定角度侧身转向，压在了路边实线5上。包括如下步骤：
步骤1：位于道路交叉口的电子摄像设备选在无车辆或者车辆数尽可能少时采集道路图像，并选取光照、天气条件较佳的图像；道路图像中的车道标志线要清晰可辨，本实施例中，道路图像尺寸大小设置为3392*2008。
步骤2：根据步骤1采集的道路图像，确定实线5位置并对其进行标定；
步骤3：电子摄像头拍摄来车方向道路视频并存储；视频保存在硬盘中以供调取使用。
步骤4：抽取来车方向道路视频的视频帧；
步骤5：根据步骤4抽取的来车方向道路视频的视频帧，通过基于深度学习的目标检测技术进行车辆检测，同时，对需要避让的应急车辆3进行识别，获得输出的图像；
对步骤2获取的实线5位置及对其的标定、步骤5获取的车辆检测的结果及应急车辆3识别结果进行信息融合预处理；把标定好的实线5两侧边缘位置信息，融合到经过逆投影变换后的车辆检测图中，获得在图像中对应位置的坐标，然后确定应急车辆3所在位置，关注前方区域内的车辆。
步骤6：判断目标车辆是否可能出现避让应急车辆3的情况，如果是，进入步骤7，否则，返回步骤4抽取下一帧视频帧；
步骤7：判断是否压线，如果是，进入步骤8，否则，返回步骤4抽取下一帧视频帧；
步骤8：进行避让判定，如果是，进行车牌识别、信息上传以执行违章记录清除，否则，返回步骤4抽取下一帧视频帧。
实施例2
根据实施例1所述的一种交叉口针对应急车辆的避让判定方法，其区别在于：
步骤2，对步骤1采集的道路图像进行逆投影变换和二值化处理，得到实线5的位置并对其进行标定，图像的处理需要借助计算机软件来执行。如图3所示，进行逆投影变换时，由于实时道路处理过程中额外无用的信息过于庞杂，于是选取一部分特定区域进行变换处理，尤其是采集的原始图像中掺杂着可忽略的道路周边信息，应集中在道路区域。包括：
A、对步骤1采集的道路图像进行逆投影变换得到变换图，是指：将图像坐标系中的点变换到世界坐标系中即投影到W空间中z＝0平面，逆投影变换公式如式(I)所示：
Figure BDA0002923184850000071
式(I)中，(u,v)表示步骤1采集的道路图像的像素坐标，(x(u,v),y(u,v),z)为变换后的像素坐标，(l,d,h)为摄像头在世界坐标系下的坐标，
Figure BDA0002923184850000072
为摄像头光轴在z＝0平面的投影与y轴的夹角，
Figure BDA0002923184850000073
为摄像头光轴与z＝0平面的夹角，2αh为摄像头的水平视角，2αv为摄像头的垂直视角，W、4分别为摄像头的水平分辨率和垂直分辨率；l、d、h、
Figure BDA0002923184850000074
αh、αv、W、H与摄像头安装位置与自身参数有关，通过棋盘格标定法获得；l、d、h、
Figure BDA0002923184850000075
αh、αv、W、H分别为0.2、0.3、5.8、12°、20°、56°、25°、3392、2008。
B、将步骤A得到的变换图进行二值化处理，是指：
将变换图中的所有特征分为路面标线类和路面背景类，输出路面标线与路面背景的二值化结果；例如，路面标线为1，路面背景为0；
对二值化处理结果即二值化处理后的图像进行边缘检测，提取实线5的边缘信息，实线5的边缘信息是指实线5的两边所呈现的像素点；
C、将步骤B得到的实线5的边缘信息与图像的像素值建立对应关系。
步骤B中，通过Kirsch算子方法对二值化处理后的图像进行边缘检测，得到两个平行且同时与二值化处理后的图像边缘平行的矩形条。
步骤C中，使用霍夫变换检测直线，建立的实线5的边缘信息与图像的像素值的对应关系的关系式如式(Ⅱ)所示：
Figure BDA0002923184850000076
霍夫变换通过实线5边缘像素点形成直线。
式(Ⅱ)中，x表示实线5的左侧边界，x′表示实线5的右侧边界，w表示实线5的宽度，i表示第i条实线5，li即形成的直线与x轴交点的坐标，因为直线平行于y轴，x＝li代表该直线。
实施例2
根据实施例1所述的一种交叉口针对应急车辆的避让判定方法，其区别在于：
步骤5，包括：
D、制作数据集：数据集包括标注有应急车辆3、普通车辆4的图像，应急车辆3包括警车、消防车、救护车、工程抢险车，其它为普通车辆4；所需图像包括一部分从实际场景的监控视频中截取，一部分由对应的相关部门提供各型号车辆图片，还有一部分从网络搜集得到，通过对图片进行标注，制作包含警车、消防车、救护车、工程抢险车和普通车辆4共5类目标共计数千量级样本的数据集；
E、训练目标检测模型：在建立的数据集上利用带有GPU运算能力的服务器进行训练，所用的算法为在前馈深度残差网络(ResNet)结构的基础上使用特征金字塔网络(FPN)的目标检测网络；
F、将抽取的来车方向道路视频的视频帧即视频图像输入训练好的目标检测模型，进行车辆检测，输出类别信息与矩形框的位置信息，类别信息包括类别名称和置信度，例如，“ambulance:0.969”，根据类别名称和置信度判断输入图像中是否含有应急车辆3，完成对应急车辆3的识别，矩形框的位置信息是指车辆在图像中回归出的矩形框，该矩形框即边界框，对应检测车辆在图像中的回归位置。
步骤D中，为了提高算法的适用性，增加夜间场景、部分出现或遮挡等监控图片与标注；
步骤E中，为了提高算法识别的准确率，在进行算法训练环节中，训练目标检测模型中，选用配备22GB显存RTX2080Ti的服务器进行训练，设置的训练迭代次数为250000次，每秒识别帧数FPS为25，不断对目标检测模型进行测试和调优,直到平均准确度mAP至少达到85.8。
步骤F中，如果类别名称属于应急车辆3，且置信度大于设置的阈值0.95，则认定输入图像中含有应急车辆3，完成应急车辆3识别。
步骤F中，使用矩形框的中心点坐标和宽、高{x,y,w,h}定位检测车辆，矩形框的中心点坐标为(x,y)，矩形框的宽为w，矩形框的高为h。因为矩形框是竖直固定的，即可唯一确定一个矩形。
如图4所示，目标检测网络包括ResNet特征提取网络、FPN特征融合网络以及FCN框回归和分类网络。深度残差网络ResNet是何凯明于2015年提出的。
实施例3
根据实施例1所述的一种交叉口针对应急车辆的避让判定方法，其区别在于：
步骤6，包括步骤如下：
G、应急车辆3和普通车辆4的矩形框区域位置为{(x0,y0),w0,h0}、{(xn,yn),wn,hn}，包含中心点坐标、宽度和高度信息，n表示不同的普通车辆4；(x0,y0)、w0、h0分别为应急车辆3矩形框的中心点坐标、宽、高，(xn,yn)、wn、hn分别为普通车辆4矩形框的中心点坐标、宽、高；
H、判断式(Ⅲ)或式(Ⅳ)是否成立，如果成立，则目标车辆有可能出现避让应急车辆3的情况，进入步骤7，否则，返回步骤4抽取下一帧视频帧；式(Ⅲ)、式(Ⅳ)如下所示：
Figure BDA0002923184850000091
Figure BDA0002923184850000092
以上方案是对车辆检测结果的预判断，此处是判断前车是否因道路拥挤等一直阻挡应急车辆3通行，当在一视频帧识别到应急车辆3时，可能出现道路宽阔足够应急车辆3正常通行的情况，这时便直接跳过后续步骤不再进行后续程序执行，而是执行后续视频的检测，节省时间与系统资源。
实施例4
根据实施例1所述的一种交叉口针对应急车辆的避让判定方法，其区别在于：
步骤7中，包括步骤如下：
I、使用逆投影变换将图像变换为俯视图，得到世界坐标系内z＝0平面的道路图像；通过使用OpenCV提供的方法，为道路图像中的车辆绘制包围轮廓的最小矩形，并输出了左上角和右下角顶点坐标，分别为(xlt,ylt)、(xrb,yrb)；
J、目标车辆即所观察普通车辆4的矩形框的任一像素点横坐标在(x,x’)区间内，则认定压线，否则，返回步骤4，x表示实线5的左侧边界，x′表示实线5的右侧边界。
实施例5
根据实施例1所述的一种交叉口针对应急车辆的避让判定方法，其区别在于：
步骤8中，包括：
K、计算应急车辆3的中线和前方普通车辆4的车辆的中线之间的夹角；
L、判断应急车辆3矩形框的最小纵坐标在邻近的少于5帧图像中是否大于前方普通车辆4矩形框的最大纵坐标；隔0.5秒取一帧图像。
M、如果应急车辆3的中线和前方普通车辆4的车辆的中线之间的夹角大小在取值范围(45°-δ,45°+δ)内，并且应急车辆3矩形框的最小纵坐标在邻近的少于5帧图像中大于前方普通车辆4矩形框的最大纵坐标，即判定进行了避让，δ为误差值，δ＝5°，否则，返回步骤(4)抽取下一帧视频帧。
一辆普通车辆4压线后，通过其与应急车辆3中线所成夹角，以及应急车辆3位移到了其前方，可认定它通过“45度让路法”为应急车辆3主动避让而压线。
步骤K中，如图5所示，车辆中线向量由矩形框中心坐标和底边中点坐标确定，矩形框中心坐标和底边中点坐标由矩形框的左上角点坐标和右下角点坐标计算得到，夹角计算公式如式(Ⅴ)所示：
θ＝arccos(v1·v2/||v1||||v2||)(Ⅴ)
式(Ⅴ)中，阈值θ的取值范围为(45°-δ,45°+δ)。
如果确定压线违章是由普通车辆4为应急车辆3让行产生的，则可认定为被动违章，对视频图像中的车辆进行车牌识别，请求修改数据库中的信息，清除违章记录，撤销违章处罚；如果不符合以上条件，则采取相应处罚措施。系统继续读入电子摄像设备所采集的与车辆行驶相关的视频，并重复上述操作。
实施例6
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现实施例1-5任一所述一种交叉口针对应急车辆的避让判定方法的步骤。
实施例7
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1-5任一所述一种交叉口针对应急车辆的避让判定方法的步骤。
最后有必要在此指出的是：以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种交叉口针对应急车辆的避让判定方法，其特征在于，包括如下步骤：
步骤1：采集道路图像；
步骤2：根据步骤1采集的道路图像，确定实线位置并对其进行标定；
步骤3：拍摄来车方向道路视频并存储；
步骤4：抽取来车方向道路视频的视频帧；
步骤5：根据步骤4抽取的来车方向道路视频的视频帧，通过基于深度学习的目标检测技术进行车辆检测，同时，对应急车辆进行识别，获得输出的图像；包括：
D、制作数据集：数据集包括标注有应急车辆、普通车辆的图像，应急车辆包括警车、消防车、救护车、工程抢险车，其它为普通车辆；
E、训练目标检测模型：在建立的数据集上利用带有GPU运算能力的服务器进行训练，所用的算法为在前馈深度残差网络结构的基础上使用特征金字塔网络的目标检测网络；
F、将抽取的来车方向道路视频的视频帧即视频图像输入训练好的目标检测模型，进行车辆检测，输出类别信息与矩形框的位置信息，类别信息包括类别名称和置信度，根据类别名称和置信度判断输入图像中是否含有应急车辆，完成对应急车辆的识别，矩形框的位置信息是指车辆在图像中回归出的矩形框，该矩形框即边界框，对应检测车辆在图像中的回归位置；
步骤6：判断目标车辆是否可能出现避让应急车辆的情况，如果是，进入步骤7，否则，返回步骤4抽取下一帧视频帧；步骤6，包括步骤如下：
G、应急车辆和普通车辆的矩形框区域位置为{(x0,y0),w0,h0}、{(xn,yn),wn,hn}，(x0,y0)、w0、h0分别为应急车辆矩形框的中心点坐标、宽、高，(xn,yn)、wn、hn分别为普通车辆矩形框的中心点坐标、宽、高；
H、判断式(Ⅲ)或式(Ⅳ)是否成立，如果成立，则目标车辆有可能出现避让应急车辆的情况，进入步骤7，否则，返回步骤4抽取下一帧视频帧；式(Ⅲ)、式(Ⅳ)如下所示：
Figure FDA0003887689520000011
Figure FDA0003887689520000012
步骤7：判断是否压线，如果是，进入步骤8，否则，返回步骤4抽取下一帧视频帧；步骤7中，包括步骤如下：
I、使用逆投影变换将图像变换为俯视图，得到世界坐标系内z＝0平面的道路图像；通过使用OpenCV提供的方法，为道路图像中的车辆绘制包围轮廓的最小矩形，并输出了左上角和右下角顶点坐标，分别为(xlt,ylt)、(xrb,yrb)；
J、目标车辆即所观察普通车辆的矩形框的任一像素点横坐标在(x,x’)区间内，则认定压线，否则，返回步骤4，x表示实线的左侧边界，x′表示实线的右侧边界；
步骤8：进行避让判定，如果是，进行车牌识别、信息上传以执行违章记录清除，否则，返回步骤4抽取下一帧视频帧；步骤8中，包括：
K、计算应急车辆的中线和前方普通车辆的车辆的中线之间的夹角；
L、判断应急车辆矩形框的最小纵坐标在邻近的少于5帧图像中是否大于前方普通车辆矩形框的最大纵坐标；
M、如果应急车辆的中线和前方普通车辆的车辆的中线之间的夹角大小在取值范围(45°-δ,45°+δ)内，并且应急车辆矩形框的最小纵坐标在邻近的少于5帧图像中大于前方普通车辆矩形框的最大纵坐标，即判定进行了避让，δ为误差值，δ＝5°，否则，返回步骤(4)抽取下一帧视频帧；
步骤K中，车辆中线向量由矩形框中心坐标和底边中点坐标确定，矩形框中心坐标和底边中点坐标由矩形框的左上角点坐标和右下角点坐标计算得到，夹角计算公式如式(Ⅵ)所示：
θ＝arccos(v1·v2/||v1||||v2||)(Ⅵ)
式(Ⅵ)中，阈值θ的取值范围为(45°-δ,45°+δ)。
2.根据权利要求1所述的一种交叉口针对应急车辆的避让判定方法，其特征在于，所述步骤2，对步骤1采集的道路图像进行逆投影变换和二值化处理，得到实线的位置并对其进行标定，包括：
A、对步骤1采集的道路图像进行逆投影变换得到变换图，是指：将图像坐标系中的点变换到世界坐标系中即投影到W空间中z＝0平面，逆投影变换公式如式(Ⅰ)所示：
Figure FDA0003887689520000021
式(Ⅰ)中，(u,v)表示步骤1采集的道路图像的像素坐标，x(u,v),Y(u,v),z为变换后的像素坐标，l,d,h为摄像头在世界坐标系下的坐标，
Figure FDA0003887689520000022
为摄像头光轴在z＝0平面的投影与y轴的夹角，
Figure FDA0003887689520000023
为摄像头光轴与z＝0平面的夹角，2αH为摄像头的水平视角，2α+为摄像头的垂直视角，W、H分别为摄像头的水平分辨率和垂直分辨率；
B、将步骤A得到的变换图进行二值化处理，是指：
将变换图中的所有特征分为路面标线类和路面背景类，输出路面标线与路面背景的二值化结果；
对二值化处理结果即二值化处理后的图像进行边缘检测，提取实线的边缘信息，实线的边缘信息是指实线的两边所呈现的像素点；
C、将步骤B得到的实线的边缘信息与图像的像素值建立对应关系。
3.根据权利要求2所述的一种交叉口针对应急车辆的避让判定方法，其特征在于，步骤B中，通过Kirsch算子方法对二值化处理后的图像进行边缘检测，得到两个平行且同时与二值化处理后的图像边缘平行的矩形条。
4.根据权利要求2所述的一种交叉口针对应急车辆的避让判定方法，其特征在于，步骤C中，使用霍夫变换检测直线，建立的实线的边缘信息与图像的像素值的对应关系的关系式如式(Ⅱ)所示：
Figure FDA0003887689520000031
式(Ⅱ)中，X表示实线的左侧边界，X′表示实线的右侧边界，w表示实线的宽度，i表示第i条实线，li即形成的直线与x轴交点的坐标，X＝li代表该直线。
5.根据权利要求1所述的一种交叉口针对应急车辆的避让判定方法，其特征在于，
步骤E中，训练目标检测模型中，选用配备22GB显存RTX2080Ti的服务器进行训练，设置的训练迭代次数为250000次，每秒识别帧数FPS为25，不断对目标检测模型进行测试和调优,直到平均准确度mAP至少达到85.8；
步骤F中，如果类别名称属于应急车辆，且置信度大于设置的阈值0.95，则认定输入图像中含有应急车辆，完成应急车辆识别；
步骤F中，使用矩形框的中心点坐标和宽、高定位检测车辆，矩形框的中心点坐标为(x,y)，矩形框的宽为w，矩形框的高为h；
目标检测网络包括ResNet特征提取网络、FPN特征融合网络以及FCN框回归和分类网络。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-5任一所述一种交叉口针对应急车辆的避让判定方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一所述一种交叉口针对应急车辆的避让判定方法的步骤。
CN202110124607.0A 2021-01-29 2021-01-29 一种交叉口针对应急车辆的避让判定方法、设备及介质 Active CN112818834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110124607.0A CN112818834B (zh) 2021-01-29 2021-01-29 一种交叉口针对应急车辆的避让判定方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110124607.0A CN112818834B (zh) 2021-01-29 2021-01-29 一种交叉口针对应急车辆的避让判定方法、设备及介质

Publications (2)

Publication Number Publication Date
CN112818834A CN112818834A (zh) 2021-05-18
CN112818834B true CN112818834B (zh) 2022-11-25

Family

ID=75860129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110124607.0A Active CN112818834B (zh) 2021-01-29 2021-01-29 一种交叉口针对应急车辆的避让判定方法、设备及介质

Country Status (1)

Country Link
CN (1) CN112818834B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570738B (zh) * 2021-07-06 2023-05-23 哈尔滨工业大学 Etc通行失信行为电子取证与分类管理方法及系统
CN113744567A (zh) * 2021-11-02 2021-12-03 深圳市城市交通规划设计研究中心股份有限公司 一种紧急车辆避让预警处理方法及计算机可读存储介质
CN116189439A (zh) * 2023-05-05 2023-05-30 成都市青羊大数据有限责任公司 城市智能管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446371A (zh) * 2018-11-09 2019-03-08 苏州清研精准汽车科技有限公司 一种智能汽车仿真测试场景库生成方法及测试系统和方法
CN111587407A (zh) * 2017-11-10 2020-08-25 辉达公司 用于安全且可靠的自主车辆的系统和方法
CN111898523A (zh) * 2020-07-29 2020-11-06 电子科技大学 一种基于迁移学习的遥感图像特种车辆目标检测方法
CN112001269A (zh) * 2020-08-03 2020-11-27 浙江大华技术股份有限公司 车辆识别方法、装置、计算机设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426861B (zh) * 2015-12-02 2019-05-21 百度在线网络技术（北京）有限公司 车道线确定方法及装置
CN105590453B (zh) * 2016-01-21 2017-11-10 深圳泰首智能技术有限公司 通过警笛联动实现救援车辆交通执法的取证方法及装置
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
CN107731010B (zh) * 2017-11-30 2021-07-06 重庆邮电大学 车联网环境下前车智能避让推荐方法及系统
US20190187721A1 (en) * 2017-12-15 2019-06-20 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same
WO2019237045A1 (en) * 2018-06-08 2019-12-12 Digimarc Corporation Generating signal bearing art using stipple, voronoi and delaunay methods and reading same
CN109445434B (zh) * 2018-11-16 2021-06-25 广州汽车集团股份有限公司 无人驾驶汽车的控制方法、装置、设备和存储介质
CN110745140B (zh) * 2019-10-28 2021-01-01 清华大学 一种基于连续图像约束位姿估计的车辆换道预警方法
CN111079584A (zh) * 2019-12-03 2020-04-28 东华大学 基于改进YOLOv3的快速车辆检测方法
CN110992703A (zh) * 2019-12-03 2020-04-10 浙江大华技术股份有限公司 交通违章判定方法及装置
CN111860219B (zh) * 2020-06-30 2024-01-05 杭州科度科技有限公司 一种高速占道判断方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111587407A (zh) * 2017-11-10 2020-08-25 辉达公司 用于安全且可靠的自主车辆的系统和方法
CN109446371A (zh) * 2018-11-09 2019-03-08 苏州清研精准汽车科技有限公司 一种智能汽车仿真测试场景库生成方法及测试系统和方法
CN111898523A (zh) * 2020-07-29 2020-11-06 电子科技大学 一种基于迁移学习的遥感图像特种车辆目标检测方法
CN112001269A (zh) * 2020-08-03 2020-11-27 浙江大华技术股份有限公司 车辆识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112818834A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112818834B (zh) 一种交叉口针对应急车辆的避让判定方法、设备及介质
US8447112B2 (en) Method for automatic license plate recognition using adaptive feature set
US8233662B2 (en) Method and system for detecting signal color from a moving video platform
CN110298300B (zh) 一种检测车辆违章压线的方法
CN109902676B (zh) 一种基于动态背景的违停检测算法
CN108197523B (zh) 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统
CN112686923A (zh) 一种基于双阶段卷积神经网络的目标跟踪方法及系统
CN113593250A (zh) 一种基于视觉识别的违章停车检测系统
CN112084900A (zh) 一种基于视频分析的地下车库乱停检测方法
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN113903008A (zh) 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法
CN113011331A (zh) 机动车是否礼让行人的检测方法、装置、电子设备及介质
JP2018055597A (ja) 車種判別装置および車種判別方法
CN111783700A (zh) 一种路面异物自动识别预警方法和系统
CN115761668A (zh) 摄像头的污渍识别方法、装置、车辆及存储介质
CN113076851B (zh) 一种车辆违章数据的采集方法、装置以及计算机设备
Matsuda et al. A system for real-time on-street parking detection and visualization on an edge device
CN113221894A (zh) 车辆的车牌号识别方法、装置、电子设备和存储介质
CN114693722B (zh) 一种车辆行驶行为检测方法、检测装置及检测设备
CN202771439U (zh) 基于matlab交通标志自动识别装置
CN112686136B (zh) 一种对象检测方法、装置及系统
CN112950954B (zh) 一种基于高位摄像头的智能停车车牌识别方法
CN115359438A (zh) 一种基于计算机视觉的车辆加塞的检测方法、系统和装置
CN114926724A (zh) 数据处理方法、装置、设备及存储介质
CN112329724B (zh) 机动车变道实时检测与抓拍方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant