CN116416504A - 基于车辆协同的高速公路异物检测系统和方法 - Google Patents

基于车辆协同的高速公路异物检测系统和方法 Download PDF

Info

Publication number
CN116416504A
CN116416504A CN202310255744.7A CN202310255744A CN116416504A CN 116416504 A CN116416504 A CN 116416504A CN 202310255744 A CN202310255744 A CN 202310255744A CN 116416504 A CN116416504 A CN 116416504A
Authority
CN
China
Prior art keywords
foreign matter
vehicle
matter detection
camera
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310255744.7A
Other languages
English (en)
Other versions
CN116416504B (zh
Inventor
杨扬
胡维涛
任延风
褚宏靖
龚文国
彭良山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Rate Electronic Technology Developing Co Ltd
Original Assignee
Beijing Rate Electronic Technology Developing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Rate Electronic Technology Developing Co Ltd filed Critical Beijing Rate Electronic Technology Developing Co Ltd
Priority to CN202310255744.7A priority Critical patent/CN116416504B/zh
Publication of CN116416504A publication Critical patent/CN116416504A/zh
Application granted granted Critical
Publication of CN116416504B publication Critical patent/CN116416504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/60Other road transportation technologies with climate change mitigation effect
    • Y02T10/70Energy storage systems for electromobility, e.g. batteries

Abstract

本发明公开了一种基于车辆协同的高速公路异物检测方法,包括以下步骤:在待检测路段间隔设置多个第一摄像头,用于获取监测范围内的路面照片;在车辆前方设置第二摄像头,用于获取车辆前方路面照片;依据第一摄像头获取的路面照片、第二摄像头获取的路面照片测定异物检测结果;汇集同一时间、同一监测范围内的路面照片的异物检测结果并为一组,针对该组异物检测结果,设定异物检测结果中的置信度的值分别为x1,x2,....,xn,异物占图比重分别为r1,r2,…,rn,则每个置信度的权重为
Figure DDA0004129535220000011
获得精确检测结果为
Figure DDA0004129535220000012
一种基于车辆协同的高速公路异物检测系统。本发明具有保证测量精度的同时,提高异物检测实时性的有益效果。

Description

基于车辆协同的高速公路异物检测系统和方法
技术领域
本发明涉及高速公路异物检测技术领域。更具体地说,本发明涉及一种基于车辆协同的高速公路异物检测系统和方法。
背景技术
因交通参与者故意或过失产生的抛弃物、遗落物、散落物,在高速公路上活动的动物,以及高速公路附属设施损坏产生的各种影响行车秩序的物体称之为高速公路异物。高速公路异物是导致高速公路交通事故的重要因素之一。近年来,因高速公路异物引发的交通事故呈逐年上升趋势,对人民群众生命财产安全带来严重的危害,同时对高速公路管理者的治理异物的能力也提出严峻的考验。如何实时监测、准确预报、实时处理高度公路异物具有十分重要的意义。申请号为202110377978X,名称为高速公路上异物智能网联识别与处理系统,公开通过在高速公路护栏上安装双目摄像头,用于采集高度公路图像信息,以识别障碍物;存在依据单一图像信息,为提高测量精度,需使用结构复杂、网络参数多的检测算法,进而降低了实时性效果,如何保证测量精度的同时,提高异物实时性是目前急需解决的问题。
发明内容
本发明的一个目的是解决至少上述问题,并提供至少后面将说明的优点。
本发明还有一个目的是提供一种基于车辆协同的高速公路异物检测系统和方法,通过在车辆和路侧同时获取检测图片,提高同一时间针对同一区域,不同距离和角度获得的照片信息,丰富基础数据,而后经过“轻量级”异物检测算法后获得异物检测结果,异物检测结果依据融合算法,保证测量精度的同时,提高异物检测实时性。
为了实现根据本发明的这些目的和其它优点,提供了一种基于车辆协同的高速公路异物检测方法,包括以下步骤:
在待检测路段间隔设置多个第一摄像头,每个第一摄像头用于获取监测范围内的路面照片,多个第一摄像头的监测范围涵盖待检测路段;
依据第一摄像头获取的路面照片测定异物检测结果,其中,异物检测结果包括异物置信度、异物占图比重;
在车辆前方设置第二摄像头,用于与第一摄像头同一时间获取车辆前方路面照片;
依据第二摄像头获取的路面照片测定异物检测结果;
汇集同一时间、同一监测范围内的路面照片的异物检测结果并为一组,针对该组异物检测结果,设定为n个,n个异物检测结果中的置信度的值分别为x1,x2,....,xn,异物占图比重的值分别为r1,r2,…,rn,则每个置信度的权重为
Figure BDA0004129535190000021
获得精确检测结果为
Figure BDA0004129535190000022
优选的是,还包括:在车辆侧方设置第三摄像头,用于与第一摄像头同一时间获取车辆侧方的路面照片;
依据第三摄像头获取的路面照片测定异物检测结果。
优选的是,所述第一摄像头通过杆件架设。
优选的是,与第一摄像头同一时间获取车辆前方路面照片时,同步获取车辆定位;
每个杆件上设置比对模块,比对模块与车辆在一定距离范围内通讯连接,用于接收通讯范围内车辆的车辆定位和异物检测结果,并将车辆定位与该杆件上的第一摄像头的监测范围比对,判断车辆定位是否落入杆件的监测范围,若是,则确定接收的异物检测结果为有效结果,若否,确定异物检测结果为无效结果;
同一时间的全部有效结果和第一摄像头获得路面照片的异物检测结果并为一组。
基于车辆协同的高速公路异物检测系统,包括:
多个路侧检测机构,多个路侧检测机构间隔设于待检测路段,每个路侧检测机构包括第一摄像头、与第一摄像头连接的第一异物检测模型、与第一异物检测模型连接的融合模块,其中,第一摄像头用于获取监测范围内的路面照片,多个路侧检测机构的第一摄像头的监测范围涵盖待检测路段;第一异物检测模型用于获取路面照片的异物检测结果,异物检测结果包括异物置信度、异物占图比重;
车辆检测机构,其设于车辆上,包括第二摄像头、与第二摄像头连接的第二异物检测模型,其中,第二摄像头设于车辆前方,用于与第一摄像头同一时间获取车辆前方路面照片,第二异物检测模型用于获取路面照片的异物检测结果;
其中,融合模块还与对应路侧检测机构监测范围内的第二异物检测模型连接,用于接收同一时间、同一监测范围内的路面照片的异物检测结果并为一组,通过融合判决算法获取该时间点、该监测范围内的精确检测结果,融合判决算法具体为:针对该组异物检测结果,设定为n个,n个异物检测结果中的置信度的值分别为x1,x2,....,xn,异物占图比重的值分别为r1,r2,…,rn,则每个置信度的权重为
Figure BDA0004129535190000031
精确检测结果为/>
Figure BDA0004129535190000032
优选的是,每个车辆检测机构还包括设于车辆侧方的第三摄像头,用于与第一摄像头同一时间获取车辆侧方路面照片,第三摄像头与该车辆检测机构的第二异物检测模型连接,第二异物检测模型还用于获取车辆侧方路面照片的异物检测结果。
优选的是,车辆检测机构还包括定位模块,用于在通过第二摄像头获取照片的同时获取车辆定位;
路侧检测机构还包括:
对比模块,其与车辆的定位模块、第二异物检测模块在一定距离范围内通讯连接,且其内存储路侧检测机构监测范围,用于接收通讯范围内的车辆定位和第二异物检测模块的异物检测结果,并将车辆定位与存储的监测范围比对,用于判断车辆定位是否落入存储的监测范围,若是,则确定接收的异物检测结果为有效结果,若否,确定检测结果为无效结果,其中,融合模块与对比模块连接,用于接收同一时间的有效结果和第一异物检测模块的检测结果并为一组。
优选的是,第一异物检测模型、第二异物检测模型均包括:
预处理模块,用于将输入的路面照片缩放至指定尺寸,得规定尺寸照片;
主干特征提取模块,其与预处理模块连接,包括15个瓶颈层、一个标准卷积层和三个逐点卷积层,瓶颈层采用先升维、再卷积、后降维的逆残差结构,且在瓶颈层结构中增加通道注意力单元以自适应地调整通道维度上的特征权重;主干特征提取模块用于对规定尺寸图像进行异物的初步特征提取,初步特征包括异物中心点横、纵坐标、高度、宽度以及置信度;
加强特征提取模块,其与主干特征提取模块连接,用于接收初步特征,包括SPP单元、PANet单元以及空间注意力单元,接收初步特征经过SPP单元、PANet单元以及空间注意力单元处理,输出加强特征,其中,加强特征包括异物的中心点横、纵坐标、高度、宽度以及置信度;
预测模块,其为与加强特征提取模块连接的YOLOv3head网络,用于将加强特征分别预测后进行拼接输出异物检测结果,其中,异物检测结果为异物的置信度以及依据异物高度和宽度获得的异物占图比重。
本发明至少包括以下有益效果:
通过在车辆和路侧同时获取检测图片,提高同一时间针对同一区域,不同距离和角度获得的照片信息,丰富基础数据,丰富的基础数据分别经过异物检测算法后获得检测结果,而后依据融合算法,将全部检测结果融合,保证测量精度的同时,提高异物检测实时性,具体的:
①、异物检测算法与现有YOLOv4的主要区别点在于:主干特征提取模块采用深度可分离卷积替换传统卷积,参数量相较于YOLOv4模型降低了81.8%,计算量减少了87.3%,实时性提升了31.9%;虽然深度可分离卷积会造成准确率的下降,但进一步在主干特征提取模块中增加通道注意力单元和在加强特征提取模块中加入空间注意力单元来加强特征提取,保证模型的准确率,准确率达到了80%;综合实现结构简单、网络参数少、实时性高且检测精度可靠的特点;
②、根据异物占图比重自适应地给车辆和杆件检测结果分配权重,相比传统加权融合方法有较强的优越性,进一步提高检测精度,有效服务车路协同。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明的其中一种技术方案所述路侧杆件分布示意图;
图2为本发明的其中一种技术方案所述基于车辆协同的高速公路异物检测方法流程图;
图3为本发明的其中一种技术方案所述融合判决算法的流程图;
图4为本发明的其中一种技术方案所述融合判决算法的模型示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
<方案1>
如图2所示,基于车辆协同的高速公路异物检测方法,包括以下步骤:
步骤一、在待检测路段间隔设置多个杆件,每个杆件上架设第一摄像头,每个第一摄像头用于间隔预定时间获取监测范围内的路面照片,多个第一摄像头的监测范围涵盖待检测路段,其中,杆件的间隔距离可设置为240-270m,第一摄像头间隔预定时间获得一张路面照片,所述路面照片覆盖该摄像头的监测范围,以使多个杆件上的摄像头共同实现对待监测路段的监测全覆盖;如图1所示,展示包括A、B、C、D、E共5个杆件,每个杆件上设置一个第一摄像头,A、B、C、D、E共5个杆件上的第一摄像头对应的监测范围分别为A’、B’、C’、D’、E’;
步骤二、在车辆前方设置第二摄像头,用于与第一摄像头同一时间获取车辆前方路面照片,进一步,优选的,在车辆侧方设置第三摄像头,用于与第一摄像头同一时间获取车辆侧方的路面照片,即车辆和杆件上的第一摄像头、第二摄像头、第三摄像头设定为获取路面照片的时间点相同、时间间隔相同;
步骤三、杆件和车辆上均承载异物检测模型,杆件上的异物检测模型与该杆件上的第一摄像头连接,用于获取第一摄像头获取的路面照片并测定检测结果,车辆上的异物检测模型与该车辆上的第二摄像头、第三摄像头连接,用于获取第二摄像头、第三摄像头获取的路面照片并测定检测结果,异物检测结果包括路面照片的异物置信度、异物占图比重;
其中,每个异物检测模型通过“轻量级”异物检测算法检测路面照片获取异物检测结果,具体的,异物检测模型包括:
(1)、预处理模块(Input,输入模块),用于将输入的路面照片缩放至指定尺寸,得规定尺寸照片,以满足异物检测模型对图像输入格式的要求;
(2)、主干特征提取模块(Backbone),其与预处理模块连接,用于接收并提取规定尺寸图像中异物的初步特征,初步特征包括异物中心点横、纵坐标、高度、宽度以及置信度,具体的,主干特征提取模块的网络结构如下表1所示:
表1主杆特征提取模块的网络结构
Figure BDA0004129535190000051
Figure BDA0004129535190000061
上表1中,Input表示每个特征层的尺度大小,Operator表示每个特征层的即将经历的block结构,exp size表示bneck内逆残差结构上升后的通道数,#out表示输入到bneck时特征层的通道数,SE表示是否在该网络层引入通道注意力单元(√表示是),NL表示激活函数的种类,S表示每一次block结构所用的步长;
依据表1可知,主杆特征提取模块共有15个瓶颈层、一个标准卷积层和三个逐点卷积层,其中,关键的瓶颈层采用先升维(利用1×1卷积对输入的特征层进行升维操作)、再卷积(通过3×3深度可分离卷积对其进行空间特征提取)、后降维(通过1×1卷积对其进行降维操作生成新的特征层)的逆残差结构,其中,3×3深度可分离卷积包括3×3深度卷积和1×1逐点卷积,用更少的参数和计算量实现了和传统卷积一样的效果,且大大提升了网络运行效率,假设输入的特征维度为Ci×H×W(Ci通道数,H高,宽W),输出的特征维度为Co×H×W,则深度可分离卷积的具体计算过程为:ⅰ、在深度卷积阶段,构造Ci组3×3卷积核,每个卷积核分别与各个输入特征维度进行卷积运算,从而得到Ci维输出;ⅱ、在逐点卷积阶段,构建Co组1×1卷积核,对Ci维特征图分别进行点卷积运算,最后得到Co维的输出特征图;
例如,当输入的特征维度为Ci×H×W,输出的特征维度为Co×H×W时,传统3×3卷积的参数量Pc为:Pc=3×3×Ci×Co=9CiCo
深度可分离卷积的参数量Pd为:Pd=3×3×1×Ci+1×1×Ci×Co=9Ci+CiCo
深度可分离卷积和传统卷积的参数量比值R为:
Figure BDA0004129535190000071
由结果可知,深度可分离卷积的参数量最少为传统卷积参数量的1/9;
进一步,依据表1,在瓶颈层结构中增加通道注意力单元自适应地调整通道维度上的特征权重,使有效的特征权重大,无效或效果小的特征权重小,大幅提高异物检测模型的特征提取能力而且仅需增加少量的参数,具体的,通道注意力单元主要包含压缩和激励两部分,其中:ⅰ、压缩操作:若输入特征层的大小为C×H×W(C通道数,H高,宽W),经过压缩操作后特征层将被压缩为1×1×C的向量;ⅱ、激励操作由两个全连接层对1×1×C的向量进行映射变换,第一个全连接层有C×R个神经元,输出为1×1×C×R,第二个全连接层有C个神经元,输出为1×1×C,最后将通道注意力模块计算出来的各通道权重值分别和原特征层对应通道的二维矩阵相乘,得到最终的输出特征层;
综上,输入为规定尺寸图像,经过主干网络中的15个瓶颈层后,将输入图像划分为一个个网格区域,然后分别在每一个区域内匹配不同尺寸大小的先验框(具体包括大中小尺寸的三种先验框),然后最后三个瓶颈层输出先验框内物体的中心点横坐标、纵坐标、高度、宽度以及置信度,作为初步特征;
(3)加强特征提取模块(Neck),其与主干特征提取模块连接,在其中一具体方案中,包括YOLOV4的SPP单元、PANet单元以及空间注意力单元,用于接收初步特征,经过SPP单元、PANet单元以及空间注意力单元处理,输出加强特征,所述加强特征包括异物的中心点横、纵坐标、高度、宽度以及置信度;加强特征提取模块的其主要目为增加异物检测模型的表征能力、特征提取能力,最后输出经过加强提取后的加强特征;
进一步,空间注意力单元主要包括池化、拼接和卷积三个部分,首先对输入的特征层进行全局最大池化和全局平均池化,得到两个1×H×W的特征图,然后将这2个特征图基于通道做拼接操作,再经过一个卷积操作降维为1个通道1×H×W,最后经过激活函数生成空间注意力特征,将空间注意力特征和该模块的输入特征做乘法,得到最终生成的输出特征层;
(4)预测模块(Prediction),其为YOLOv3head网络,输入为加强特征,将加强特征分别预测后进行拼接输出最后的检测结果,其中,所述检测结果为异物置信度以及依据异物高度和宽度获得的异物占图比重,具体的:异物占图比重为依据异物高度和宽度获得的异物占图面积与原图面积占比;
步骤四、与第一摄像头获取车辆前方路面照片的同一时间,同步获取车辆定位,具体的可为车辆的GPS定位;
步骤五、车辆与杆件上均设置通信模块,以使车辆与杆件在一定范围内通讯连接,用于车辆将检测结果及车辆定位传输至通讯范围内的杆件上,所述杆件的通信模块接收检测结果及车辆定位,其中,一定范围大于杆件对应第一摄像头监测范围内任一点距离杆件通信模块的距离;
步骤六、每个杆件上设置比对模块,比对模块与车辆在一定距离范围内通过通信模块通讯连接,用于接收通讯范围内车辆的车辆定位和异物检测结果,所述比对模块内存储对应杆件上第一摄像头的监测范围,并将车辆定位与该杆件上的第一摄像头的监测范围比对,判断车辆定位是否落入存储的监测范围,若是,则确定接收的异物检测结果为有效结果,若否,确定异物检测结果为无效结果,即来源于其他监测范围内的车辆的异物检测结果;
步骤七、如图3-4所示,同一时间的全部有效结果和第一摄像头获得路面照片的异物检测结果并为一组,针对该组异物检测结果,设定为n个,n个异物检测结果中的置信度的值分别为x1,x2,....,xn,异物占图比重的值分别为r1,r2,…,rn,则每个置信度的权重为
Figure BDA0004129535190000081
获得精确检测结果为/>
Figure BDA0004129535190000082
步骤八、若
Figure BDA0004129535190000083
大于预定阈值,判断为有异物,杆件向其监测范围后的后续车辆广播异物报警信息。
<方案2>
基于车辆协同的高速公路异物检测系统,包括:
一、多个路侧检测机构,多个路侧检测机构间隔设于待检测路段,在其中一具体方案中,路侧检测机构通过杆件支撑架设与路侧,每个路侧检测机构包括:
第一摄像头,第一摄像头用于获取监测范围内的路面照片,多个路侧检测机构的第一摄像头的监测范围涵盖待检测路段;
与第一摄像头连接的第一异物检测模型,第一异物检测模型用于获取路面照片的异物检测结果,异物检测结果包括异物置信度、异物占图比重;
与第一异物检测模型连接的融合模块;
二、车辆检测机构,其设于车辆上,包括:
第二摄像头,其设于车辆前方,用于与第一摄像头同一时间获取车辆前方路面照片,优选的,车辆检测机构还包括设于车辆侧方的第三摄像头,用于与第一摄像头同一时间获取车辆侧方路面照片;
与第二摄像头、第三摄像头连接的第二异物检测模型,第二异物检测模型用于获取路面照片(车辆前方路面照片、车辆侧方路面照片)的异物检测结果,其中,第一异物检测模型、第二异物检测模型同方案一中的异物检测模型;
其中,融合模块还与对应路侧检测机构监测范围内的第二异物检测模型连接,用于接收同一时间、同一监测范围内的路面照片(来源于第一摄像头、第二摄像头、第三摄像头)的异物检测结果并为一组,通过融合判决算法获取该时间点、该监测范围内的精确检测结果,融合判决算法具体为:
针对该组异物检测结果,设定为n个,n个异物检测结果中的置信度的值分别为x1,x2,....,xn,异物占图比重的值分别为r1,r2,…,rn,则每个置信度的权重为
Figure BDA0004129535190000091
精确检测结果为/>
Figure BDA0004129535190000092
<方案3>
基于车辆协同的高速公路异物检测系统,包括:
一、多个路侧检测机构,多个路侧检测机构间隔设于待检测路段,在其中一具体方案中,路侧检测机构通过杆件支撑架设与路侧,每个路侧检测机构包括:
第一摄像头,第一摄像头用于获取监测范围内的路面照片,多个路侧检测机构的第一摄像头的监测范围涵盖待检测路段;
与第一摄像头连接的第一异物检测模型,第一异物检测模型用于获取路面照片的异物检测结果,异物检测结果包括异物置信度、异物占图比重;
与第一异物检测模型连接的融合模块;
二、车辆检测机构,其设于车辆上,包括:
第二摄像头,其设于车辆前方,用于与第一摄像头同一时间获取车辆前方路面照片,优选的,车辆检测机构还包括设于车辆侧方的第三摄像头,用于与第一摄像头同一时间获取车辆侧方路面照片;
与第二摄像头、第三摄像头连接的第二异物检测模型,第二异物检测模型用于获取路面照片(车辆前方路面照片、车辆侧方路面照片)的异物检测结果,其中,第一异物检测模型、第二异物检测模型同方案一中的异物检测模型;
定位模块,用于在通过第二摄像头获取照片的同时获取车辆定位;
其中,每个路侧检测机构还包括:
①、对比模块,其与车辆的定位模块、第二异物检测模块在一定距离范围内通讯连接,且对比模块内存储该路侧检测机构监测范围,用于接收通讯范围内的车辆定位和第二异物检测模块的异物检测结果,并将车辆定位与存储的监测范围比对,用于判断车辆定位是否落入存储的监测范围内,若是,则确定接收的异物检测结果为有效结果,若否,确定检测结果为无效结果;
融合模块还与对比模块连接,用于接收同一时间、同一监测范围内的路面照片(来源于第一摄像头、第二摄像头、第三摄像头)的异物检测结果并为一组,通过融合判决算法获取该时间点、该监测范围内的精确检测结果,融合判决算法具体为:
如图4所示,针对该组异物检测结果,设定为n个,n个异物检测结果中的置信度的值分别为x1,x2,....,xn,异物占图比重的值分别为r1,r2,…,rn,则每个置信度的权重为
Figure BDA0004129535190000101
精确检测结果为/>
Figure BDA0004129535190000102
②、预警模块,其与融合模块连接,用于判断精确检测结果
Figure BDA0004129535190000103
是否大于预定阈值,若是,判断为有异物,预警模块向其对应路侧检测机构监测范围后的后续车辆广播异物报警信息。
<实验1>
融合模块的自适应加权融合结果分析
设定路侧杆件上第一摄像头与异物的相对位置不变,车辆的位置在不断变化,以使车辆上第二摄像头与异物的位置不断发生变化;
基于第一摄像头获得路面照片,利用异物检测模型获得异物置信度均为0.60,即不同时间,智慧杆件与异物相对位置不变,则置信度保持一致;
基于第二摄像头在六个时间点、六个不同位置获得六张路面照片,利用异物检测模型获得异物置信度如表1所示;
表1不同位置车辆对相同异物的置信度
位置1 位置2 位置3 位置4 位置5 位置6 位置7
车辆 0.51 0.55 0.62 0.69 0.72 0.89 0.98
由表1可知,车辆与异物相对距离逐渐变近时,置信度在不断上升。
分别用传统加权融合方法(加和求平均)和本申请自适应融合判决算法对智慧杆件和车辆检测结果进行融合,得到的精确检测结果如表2所示;
表2融合后最终异物置信度
位置1 位置2 位置3 位置4 位置5 位置6 位置7
传统加权融合 0.555 0.575 0.610 0.645 0.660 0.745 0.790
本文自适应加权融合 0.577 0.578 0.611 0.670 0.700 0.850 0.945
由表2可知,本申请融合判决算法相较于传统加权融合方法有很大的优越性,在杆件与异物相对距离比车辆与异物相对距离近,即杆件获得路侧照片的异物占图比重较大时,杆件对应路侧照片检测结果将获得较大的权重;在杆件与异物相对距离比车辆与异物相对距离远,即杆件获得路侧照片的异物占图比重较小时,车辆检测结果将获得较大的权重;根据异物占图比重原则能够自适应地给车辆和杆件的异物检测结果分配权重,从而得到更加精确的检测结果,比传统加权融合方法更加合理,有较强的优越性,可以有效应用于车路协同领域。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。

Claims (8)

1.基于车辆协同的高速公路异物检测方法,其特征在于,包括以下步骤:
在待检测路段间隔设置多个第一摄像头,每个第一摄像头用于获取监测范围内的路面照片,多个第一摄像头的监测范围涵盖待检测路段;
依据第一摄像头获取的路面照片测定异物检测结果,其中,异物检测结果包括异物置信度、异物占图比重;
在车辆前方设置第二摄像头,用于与第一摄像头同一时间获取车辆前方路面照片;
依据第二摄像头获取的路面照片测定异物检测结果;
汇集同一时间、同一监测范围内的路面照片的异物检测结果并为一组,针对该组异物检测结果,设定为n个,n个异物检测结果中的置信度的值分别为x1,x2,....,xn,异物占图比重的值分别为r1,r2,…,rn,则每个置信度的权重为
Figure FDA0004129535170000011
获得精确检测结果为
Figure FDA0004129535170000012
2.如权利要求1所述的基于车辆协同的高速公路异物检测方法,其特征在于,还包括:在车辆侧方设置第三摄像头,用于与第一摄像头同一时间获取车辆侧方的路面照片;
依据第三摄像头获取的路面照片测定异物检测结果。
3.如权利要求1所述的基于车辆协同的高速公路异物检测方法,其特征在于,所述第一摄像头通过杆件架设。
4.如权利要求3所述的基于车辆协同的高速公路异物检测方法,其特征在于,与第一摄像头同一时间获取车辆前方路面照片时,同步获取车辆定位;
每个杆件上设置比对模块,比对模块与车辆在一定距离范围内通讯连接,用于接收通讯范围内车辆的车辆定位和异物检测结果,并将车辆定位与该杆件上的第一摄像头的监测范围比对,判断车辆定位是否落入杆件的监测范围,若是,则确定接收的异物检测结果为有效结果,若否,确定异物检测结果为无效结果;
同一时间的全部有效结果和第一摄像头获得路面照片的异物检测结果并为一组。
5.基于车辆协同的高速公路异物检测系统,其特征在于,包括:
多个路侧检测机构,多个路侧检测机构间隔设于待检测路段,每个路侧检测机构包括第一摄像头、与第一摄像头连接的第一异物检测模型、与第一异物检测模型连接的融合模块,其中,第一摄像头用于获取监测范围内的路面照片,多个路侧检测机构的第一摄像头的监测范围涵盖待检测路段;第一异物检测模型用于获取路面照片的异物检测结果,异物检测结果包括异物置信度、异物占图比重;
车辆检测机构,其设于车辆上,包括第二摄像头、与第二摄像头连接的第二异物检测模型,其中,第二摄像头设于车辆前方,用于与第一摄像头同一时间获取车辆前方路面照片,第二异物检测模型用于获取路面照片的异物检测结果;
其中,融合模块还与对应路侧检测机构监测范围内的第二异物检测模型连接,用于接收同一时间、同一监测范围内的路面照片的异物检测结果并为一组,通过融合判决算法获取该时间点、该监测范围内的精确检测结果,融合判决算法具体为:针对该组异物检测结果,设定为n个,n个异物检测结果中的置信度的值分别为x1,x2,....,xn,异物占图比重的值分别为r1,r2,…,rn,则每个置信度的权重为
Figure FDA0004129535170000021
精确检测结果为/>
Figure FDA0004129535170000022
6.如权利要求5所述的基于车辆协同的高速公路异物检测系统,其特征在于,每个车辆检测机构还包括设于车辆侧方的第三摄像头,用于与第一摄像头同一时间获取车辆侧方路面照片,第三摄像头与该车辆检测机构的第二异物检测模型连接,第二异物检测模型还用于获取车辆侧方路面照片的异物检测结果。
7.如权利要求6所述的基于车辆协同的高速公路异物检测系统,其特征在于,车辆检测机构还包括定位模块,用于在通过第二摄像头获取照片的同时获取车辆定位;
路侧检测机构还包括:
对比模块,其与车辆的定位模块、第二异物检测模块在一定距离范围内通讯连接,且其内存储路侧检测机构监测范围,用于接收通讯范围内的车辆定位和第二异物检测模块的异物检测结果,并将车辆定位与存储的监测范围比对,用于判断车辆定位是否落入存储的监测范围,若是,则确定接收的异物检测结果为有效结果,若否,确定检测结果为无效结果,其中,融合模块与对比模块连接,用于接收同一时间的有效结果和第一异物检测模块的检测结果并为一组。
8.如权利要求5所述的基于车辆协同的高速公路异物检测系统,其特征在于,第一异物检测模型、第二异物检测模型均包括:
预处理模块,用于将输入的路面照片缩放至指定尺寸,得规定尺寸照片;
主干特征提取模块,其与预处理模块连接,包括15个瓶颈层、一个标准卷积层和三个逐点卷积层,瓶颈层采用先升维、再卷积、后降维的逆残差结构,且在瓶颈层结构中增加通道注意力单元以自适应地调整通道维度上的特征权重;主干特征提取模块用于对规定尺寸图像进行异物的初步特征提取,初步特征包括异物中心点横、纵坐标、高度、宽度以及置信度;
加强特征提取模块,其与主干特征提取模块连接,用于接收初步特征,包括SPP单元、PANet单元以及空间注意力单元,接收初步特征经过SPP单元、PANet单元以及空间注意力单元处理,输出加强特征,其中,加强特征包括异物的中心点横、纵坐标、高度、宽度以及置信度;
预测模块,其为与加强特征提取模块连接的YOLOv3head网络,用于将加强特征分别预测后进行拼接输出异物检测结果,其中,异物检测结果为异物的置信度以及依据异物高度和宽度获得的异物占图比重。
CN202310255744.7A 2023-03-16 2023-03-16 基于车辆协同的高速公路异物检测系统和方法 Active CN116416504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310255744.7A CN116416504B (zh) 2023-03-16 2023-03-16 基于车辆协同的高速公路异物检测系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310255744.7A CN116416504B (zh) 2023-03-16 2023-03-16 基于车辆协同的高速公路异物检测系统和方法

Publications (2)

Publication Number Publication Date
CN116416504A true CN116416504A (zh) 2023-07-11
CN116416504B CN116416504B (zh) 2024-02-06

Family

ID=87052459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310255744.7A Active CN116416504B (zh) 2023-03-16 2023-03-16 基于车辆协同的高速公路异物检测系统和方法

Country Status (1)

Country Link
CN (1) CN116416504B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951879A (zh) * 2017-03-29 2017-07-14 重庆大学 基于摄像头与毫米波雷达的多特征融合车辆检测方法
CN109376605A (zh) * 2018-09-26 2019-02-22 福州大学 一种电力巡检图像防鸟刺故障检测方法
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 机场异物检测方法、装置、计算机设备及存储介质
WO2020140371A1 (zh) * 2019-01-04 2020-07-09 平安科技(深圳)有限公司 基于深度学习的识别车辆损伤的方法和相关装置
CN113205510A (zh) * 2021-05-25 2021-08-03 石家庄铁道大学 铁路侵限异物检测方法、装置及终端
WO2021181328A1 (en) * 2020-03-13 2021-09-16 Politecnico Di Torino System and method for spatially detecting any foreign bodies within a product on the basis of dielectric characteristics of said product
CN113469071A (zh) * 2021-07-06 2021-10-01 西安科技大学 一种针对嵌入式设备的运煤皮带异物视频检测方法
WO2021226776A1 (zh) * 2020-05-11 2021-11-18 华为技术有限公司 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
CN113903009A (zh) * 2021-12-10 2022-01-07 华东交通大学 一种基于改进YOLOv3网络的铁路异物检测方法与系统
WO2022083402A1 (zh) * 2020-10-22 2022-04-28 腾讯科技(深圳)有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN216596530U (zh) * 2022-03-30 2022-05-24 北京瑞拓电子技术发展有限公司 车路协同主动预警系统
CN115188191A (zh) * 2022-07-12 2022-10-14 浙江吉利控股集团有限公司 一种车辆安全行驶控制方法、装置及车辆
CN115661767A (zh) * 2022-10-31 2023-01-31 中国农业大学 一种基于卷积神经网络的图像前方车辆目标识别方法
CN115731533A (zh) * 2022-11-29 2023-03-03 淮阴工学院 一种基于改进YOLOv5的车载目标检测方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951879A (zh) * 2017-03-29 2017-07-14 重庆大学 基于摄像头与毫米波雷达的多特征融合车辆检测方法
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN109376605A (zh) * 2018-09-26 2019-02-22 福州大学 一种电力巡检图像防鸟刺故障检测方法
WO2020140371A1 (zh) * 2019-01-04 2020-07-09 平安科技(深圳)有限公司 基于深度学习的识别车辆损伤的方法和相关装置
WO2021181328A1 (en) * 2020-03-13 2021-09-16 Politecnico Di Torino System and method for spatially detecting any foreign bodies within a product on the basis of dielectric characteristics of said product
WO2021226776A1 (zh) * 2020-05-11 2021-11-18 华为技术有限公司 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
WO2022083402A1 (zh) * 2020-10-22 2022-04-28 腾讯科技(深圳)有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN113205510A (zh) * 2021-05-25 2021-08-03 石家庄铁道大学 铁路侵限异物检测方法、装置及终端
CN113469071A (zh) * 2021-07-06 2021-10-01 西安科技大学 一种针对嵌入式设备的运煤皮带异物视频检测方法
CN113903009A (zh) * 2021-12-10 2022-01-07 华东交通大学 一种基于改进YOLOv3网络的铁路异物检测方法与系统
CN216596530U (zh) * 2022-03-30 2022-05-24 北京瑞拓电子技术发展有限公司 车路协同主动预警系统
CN115188191A (zh) * 2022-07-12 2022-10-14 浙江吉利控股集团有限公司 一种车辆安全行驶控制方法、装置及车辆
CN115661767A (zh) * 2022-10-31 2023-01-31 中国农业大学 一种基于卷积神经网络的图像前方车辆目标识别方法
CN115731533A (zh) * 2022-11-29 2023-03-03 淮阴工学院 一种基于改进YOLOv5的车载目标检测方法

Also Published As

Publication number Publication date
CN116416504B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN110287905B (zh) 一种基于深度学习的交通拥堵区域实时检测方法
CN110717387B (zh) 一种基于无人机平台的实时车辆检测方法
CN108681693B (zh) 基于可信区域的车牌识别方法
CN108389421B (zh) 基于图像再识别的停车场精确诱导系统及方法
CN110633690B (zh) 基于桥梁监控的车辆特征识别方法及系统
CN1448886A (zh) 用于测量车辆队列长度的装置和方法
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN113011255B (zh) 基于rgb图像的路面检测方法、系统和智能终端
CN113111722A (zh) 基于改进Mask R-CNN的自动驾驶目标识别方法
CN115482474B (zh) 一种基于高空航拍图像的桥面车辆荷载识别方法和系统
CN116343077A (zh) 一种基于注意力机制与多尺度特征的火灾检测预警方法
CN113449650A (zh) 一种车道线检测系统及方法
CN113781537A (zh) 一种轨道弹条扣件缺陷识别方法、装置和计算机设备
CN113191952A (zh) 一种360度全景环视设备拼接图像评价方法
CN113034378A (zh) 一种区分电动汽车与燃油汽车的方法
CN112289037A (zh) 基于复杂环境下高视角的机动车辆违规停车检测方法及系统
CN111259833A (zh) 一种基于交通图像的车辆计数方法
CN114782919A (zh) 一种真实和仿真数据增强的道路栅格地图构建方法、系统
CN117291913B (zh) 一种水工混凝土结构表观裂缝测量方法
CN116416504B (zh) 基于车辆协同的高速公路异物检测系统和方法
CN116740657A (zh) 一种基于相似三角形的目标检测以及测距方法
CN116229396B (zh) 高速路面病害识别及告警方法
CN117115690A (zh) 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统
CN110210324A (zh) 一种道路目标快速检测预警方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant