CN113553958A - 一种高速公路绿化带检测方法和装置 - Google Patents

一种高速公路绿化带检测方法和装置 Download PDF

Info

Publication number
CN113553958A
CN113553958A CN202110850394.XA CN202110850394A CN113553958A CN 113553958 A CN113553958 A CN 113553958A CN 202110850394 A CN202110850394 A CN 202110850394A CN 113553958 A CN113553958 A CN 113553958A
Authority
CN
China
Prior art keywords
images
frames
distance
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110850394.XA
Other languages
English (en)
Other versions
CN113553958B (zh
Inventor
唐慧明
李尔凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110850394.XA priority Critical patent/CN113553958B/zh
Publication of CN113553958A publication Critical patent/CN113553958A/zh
Application granted granted Critical
Publication of CN113553958B publication Critical patent/CN113553958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种高速公路绿化带检测方法和装置,所述方法包括:车载摄像机获取高速公路图像;计算连续二帧图像间的移动距离;计算绿化带护栏到摄像机光轴的距离;提取前后二帧图像中绿化带区域的特征点及其描述子;用基于统计的匹配方法对特征点进行匹配;根据成像原理,由前后二帧图像中匹配特征点对的坐标变化和二帧图像间的移动距离计算得到该点到摄像机光轴的距离;比较护栏距离和绿化带区域测距结果,判断是否存在绿化带植物越过护栏过多的情况。本发明使用低成本的车载单目摄像机,利用了前后二帧图像的信息,其实现方法简便,手段灵活,能够实现绿化带检测。

Description

一种高速公路绿化带检测方法和装置
技术领域
本发明涉及测距技术领域,更具体地,涉及一种高速公路绿化带检测方法和装置。
背景技术
对于高速公路绿化带,如果植物生长超出护栏过多,会严重影响行车安全,需要及时修剪,但目前主要采用人工观察方法,不仅费时费力,还容易漏检,因此公路管理部门希望能有自动检测的方法。常用的3D测量或测距方法有超声波测距、激光和毫米波雷达及计算视觉等方法。但超声波测距、激光和毫米波雷达分辨率和检测速度都较低,不能有效分辨目标,只能检测单个点的距离,而无法对一片区域测距,且实时性难以满足要求。计算机视觉的测距方法,采用类似人类视觉的计算模型,在过去几年中得到了巨大的发展,能同时识别目标和检测距离,且在设备成本上有很大的优势。计算机视觉的测距方法能实时采集视频图像,可实时在线分析,也可对摄取的视频数据进行离线分析,还可人工核对检测结果,具有很好的实用性。在视觉测距领域,包括单目测距和双目测距等方法都得到了广泛的应用,它们各有优点和不足之处,通常的双目测距测量精度较高,但需要二台摄像机同步摄取图像,成本较高,安装也较复杂。另一方面,高速公路的检测还包括其它各种路面病害和缺损的检测,如果能合用同一台摄像机,用单目摄像机实现双目测距的功能,则可大幅度减少成本和系统复杂度。
发明内容
本发明的目的在于针对现有技术的不足,提供一种高速公路绿化带检测方法,能利用高速公路病害检测的单目摄像机和处理系统检测绿化带生长问题。
本发明的目的是通过以下技术方案来实现的:
本发明的一个方面提出了一种高速公路绿化带检测的方法,包括以下步骤:
A1,基于车载摄像机获取高速公路路面图像;
A2,计算二帧图像间的移动距离;
A3,计算护栏到摄像机光轴的距离;
A4,提取路面图像中绿化带区域的特征点及其描述子;
A5,对前后二帧图像的特征点进行匹配;
A6,由前后二帧图像中匹配的特征点对的坐标变化和二帧图像间的移动距离计算得到该特征点到摄像机光轴的距离;
A7,比较A3中得到的护栏到摄像机光轴的距离和A6中得到的绿化带区域的特征点到摄像机光轴的距离,若超出预设阈值,则判定绿化带越过护栏过多。
进一步的,步骤A2中,计算二帧图像间的移动距离包括如下方法之一种:
(1)从GNSS惯导模块获取当前车速,乘以二帧图像间的时间间隔作为二帧图像间的移动距离;
(2)利用图像中车道线端点检测二帧图像间的移动距离,具体包括:
A2.01检测前后二帧图像中车道线端点;
A2.02计算同一车道线端点在图像上的坐标变化,根据车道线端点间的已知距离,计算得到二帧图像间的移动距离。
进一步的,检测图像中车道线端点包括如下方法:
先使用带过渡带的Haar-like特征检测车道线的位置,过渡带不参与计算;对Haar-like特征检测到的点计算到对极点的斜率,将斜率之差小于设定阈值的点归为一类,将数量较少的点集视为干扰去除,对剩下的点集拟合直线得到车道线的位置;检测车道线上的端点。
进一步的,步骤A3中,计算护栏到摄像机光轴的距离包括如下方法:
检测图像中护栏立柱的位置,对前后二帧图像中检测到的护栏立柱进行匹配;
由步骤A2所得的二帧图像间的移动距离,利用前后二帧图像中同一立柱的图像坐标变化计算得到立柱到摄像机光轴的距离;
利用护栏上每一点到摄像机光轴的距离和该点的图像坐标的线性关系,以及一段护栏的两端立柱到摄像机光轴的距离,计算得到护栏上每一点到摄像机光轴的距离。
进一步的,检测图像中护栏立柱的位置包括如下方法:
先使用带过渡带的Haar-like特征检测护栏立柱的位置,过渡带不参与计算;将检测到的横坐标相同的点归为一类,并根据点数量对横坐标相近的点进行非极大值抑制,拟合剩余各点集得到护栏立柱位置。
进一步的,步骤A4中,提取路面图像中绿化带区域的特征点及其描述子的方法包括:
使用Superpoint网络提取绿化带区域特征点及其描述子,该网络包括特征提取层,特征点解码器和描述子解码器;
特征提取层对输入的路面图像中截取的宽度和高度分别为w和h的绿化带区域提取特征,经过多次卷积和2*2最大池化得到
Figure BDA0003182243090000021
的特征图,并将得到的特征图分别输入特征点解码器和描述子解码器;
特征点解码器通过卷积得到
Figure BDA0003182243090000031
的特征图,包含一层dustbin层,通过在通道维度上做softmax,删除dustbin层后reshape得到w*h*1的特征点得分情况;
描述子解码器通过卷积得到
Figure BDA0003182243090000032
的特征图,经过双三次多项式插值和L2normalize归一化得到w*h*D2的描述子检测结果;
对前一帧图像使用Superpoint网络提取特征点得到每个像素的特征点得分情况和对应的描述子,取30*30范围内最大得分的点作为特征点;对后一帧图像,取更稠密的特征,将2*2的范围内最大得分点与前一帧图像特征点匹配。
进一步的,步骤A5中的特征点匹配方法包括:
将前一帧图像的特征点及其描述子和后一帧图像更稠密的特征点进行Brute-Force暴力匹配,得到初步匹配结果;
之后将图像划分为20*20个网格,找到两幅图像中匹配点数最多的网格对,统计网格内匹配点对数量,若网格内所有匹配点的数量大于设置的阈值则判断为匹配正确;
对匹配的点对进行斜率筛选,将两个点到对极点的斜率差距大于设定阈值的点对判定为匹配错误点并去除。
进一步的,步骤A6中,利用前后二帧图像中匹配特征点对的坐标变化和二帧图像间的移动距离计算该特征点到摄像机光轴距离采用如下公式:
Figure BDA0003182243090000033
其中,D为前后二帧图像中匹配的点到摄像机光轴的距离,(x1,y1),(x2,y2)分别为前后二帧图像中匹配的特征点对以图像中光心坐标为原点的坐标,θ为摄像机俯角,δ为帧间车辆移动距离,f为像素焦距。
本发明的另一个方面提供一种高速公路绿化带检测装置,包括:
图像采集模块,包括固定在车辆上的单目摄像机,用于A1步骤采集高速公路图像;
GNSS惯导模块,用于获取当前车辆定位和输出车速信息,车速信息经A2步骤处理得到二帧图像间的移动距离;
图像处理模块,用于执行步骤A2-A7所述算法,结合GNSS惯导模块的信息对图像采集模块采集到的图片进行处理,输出当前绿化带是否存在越过护栏过多的判定情况并记录位置信息。
本发明的有益效果是:
1.本发明通过单目摄像机,使用计算机视觉的方法,参考双目视觉的原理,利用前后二帧图像的信息来进行测距,实现了高速公路绿化带检测方法,其实现方法简便,手段灵活,用低廉的成本达到了检测目的。
2.本发明通过Haar-like特征,增加不参与计算的过渡带,使其适用于图像中宽度不定的车道线和护栏立柱的检测,检测速度快,精度高。
3.本发明可以通过利用高速公路上固定间隔长度的特征如车道线端点在前后二帧图像中的坐标变化,结合成像原理计算得到二帧图像间的移动距离,采用计算机视觉的方法,节约设备成本。
4.本发明通过深度学习的方法提取图像特征点及其描述子,效果优于传统方法,并对前后二帧图像特征点的选取采用不同的策略,增加匹配的准确性。
5.本发明通过前后二帧情况下摄像头纯平移运动的特性,用对极点对车道线、护栏立柱的检测和特征点的匹配进行监督,提高了检测精度和匹配准度。
6.本发明通过运动统计特性的方式,对图像划分网格,基于统计对特征点的暴力匹配结果进行筛选,提高了匹配准度。
附图说明
图1为本发明实施例提供的高速公路绿化带检测方法流程图;
图2为本发明实施例高速公路实物图;
图3为本发明实施例提供的高速公路图像采集装置的结构示意图;
图4为本发明实施例提供的前后二帧图像成像示意图;
图5为本发明实施例提供的带过渡带的Haar-like特征示意图。
具体实施方式
下面结合本发明实例中的附图,对本发明实例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
图1为本发明实施例的高速公路绿化带检测方法的流程示意图,如图1所示,利用连续的二帧图像对绿化带区域植物进行测距,包括:
S101,车载摄像机获取高速公路图像。该图像为按固定时间间隔连续获取的图像序列,其中应包含绿化带景物。如图2高速公路实景图所示。
由于车速较快,为保持图像清晰,一般宜采用全局快门摄像机。
S102,计算二帧图像间的移动距离。
作为一种可选实施例,可以利用车辆系统提供的车速,或通过车轴上安装码盘(编码器)获取精确的车速,或采用车载测速仪等设备测量车速,车速乘以二帧图像的时间间隔即为二帧图像间的移动距离。
需要说明的是,本发明实施例区别于现有技术,可以采用一些高速公路上固定间隔长度的特征如车道线等在前后二帧图像中的位置变化计算二帧图像间的移动距离。在本发明实施例中,采用下列二种实施例方法之一或结合二种获得二帧图像间的移动距离。
作为一种可选实施例,可以采用GNSS惯导模块获取当前车速,乘以二帧图像的时间间隔即为二帧图像间的移动距离。其中GNSS指能够给出定位信息的各种全球卫星导航系统,包括GPS、北斗、俄罗斯GLONASS、欧盟GALILEO等,利用车辆的定位信息可以计算一段时间内的平均速度,利用惯导加速度可以计算当前车辆速度
作为一种可选实施例,还可以利用高速公路车道线长度与间隔为定值,通过车道线上等长间隔的两个点在前后二帧图像中的坐标变化,由成像原理可计算得二帧图像间的移动距离。前后二帧图像的成像图如图4所示,相当于前后两个摄像机所拍摄的图像。摄像机在前后二帧间的平移距离AC=Δ,摄像机焦距为f,现实世界中的点M在前后二帧所成的像为E,F。M点到光轴的垂直距离DM=x,DC=y,BE=x1,OF=x2。成像:
Figure BDA0003182243090000051
Figure BDA0003182243090000052
由于车道线呈白色,和路面有较大差异,因此采用带过渡带的Haar-like特征来检测车道线,过渡带部分不参与计算,以适应不同距离下在图像中宽度不同的车道线,带过渡带的Haar-like特征如图5所示,阴影区为过渡带。令1区域和2、3区域的像素总数相同,白色框1内像素值之和减去黑色框2、3内像素值之和,除以像素总数再和设定的阈值进行比较,大于阈值的则认为是车道线疑似点。对检测到的点进行筛选,一般情况下,摄像机光轴和车道线方向接近平行,所有车道线交于对极点附近,因此通过计算检测到的车道线点到对极点的斜率可以对检测结果进行筛选,同一车道上的点斜率差距很小。对所有检测到的车道线点到对极点的斜率进行排序,并将差距较小的点归为一类,将点集数量小于设定阈值的视为干扰去除,对剩余的每个点集中的点进行直线拟合就得到了车道线的位置。检测到车道线位置后,取一段固定长度的车道线的两端点或两车道线间隔的两端点,由前后二帧图像中共四个点的图像坐标即可求得二帧图像间的移动距离Δ。令所选取的前后二帧两对共四个点的图像坐标分别为(x11,y11),(x12,y12),(x21,y21),(x22,y22),车道线上两端点的间隔长度已知为M,二帧图像间的移动距离:
Figure BDA0003182243090000061
在车辆行驶方向即摄像机光轴偏离车道线方向时,可以通过多条车道线在无穷远处的交点和对极点的偏移情况确定偏移角度α,二帧图像间的移动距离:
Figure BDA0003182243090000062
S103,计算护栏到摄像机光轴的距离。
作为一种可选实施例,可以采用超声波测距、激光和毫米波雷达等测距方式对绿化带护栏进行测距。
需要说明的是,本发明实施例区别于现有技术,可以采用类似双目视觉的方法,从前后二帧图像中护栏立柱的坐标变化计算护栏立柱的距离来计算与护栏之间的距离。在本发明实施例中,采用下列实施例方法计算护栏到摄像机光轴的距离。
作为一种可选实施例,可以采用检测护栏立柱在前后二帧图像中的坐标变化来计算护栏到摄像机光轴的距离。
通过带过渡带的Haar-like特征检测护栏立柱的位置,Haar-like特征检测到疑似立柱点后,将横坐标相同的点归为一类,并通过类非极大值抑制的方式去除坐标相近的点集,拟合剩余各个点集即得到立柱的位置。结合成像原理,利用前后二帧图像中同一立柱的图像坐标变化计算得到立柱到摄像机光轴的距离。令前后二帧图像中同一立柱以图像中光心坐标为原点的坐标分别为(x1,y1),(x2,y2),摄像机俯角为θ,帧间车辆移动距离为δ,像素焦距为f,该立柱对应的现实世界坐标到摄像机光轴的距离
Figure BDA0003182243090000063
以上述公式逐对遍历前后二帧图像中所有的立柱对,计算其距离,则匹配错误的立柱距离明显不符合要求,或远小于理论范围,或远大于理论范围,由此即可得到正确匹配的立柱及其距离。
得到所有立柱距离光轴的距离后,立柱之间的护栏到光轴的距离与其图像水平坐标呈线性关系,利用护栏两端的立柱到光轴的距离即可得到护栏每个位置到光轴的距离。
S104,提取图像中绿化带区域的特征点和描述子。
从路面图像中固定位置处截取出宽度和高度分别为w和h的绿化带区域图像。
作为一种可选实施例,可以采用计算机视觉领域常用的ORB特征提取方法提取绿化带区域图像的特征点及其描述子。
在本发明实施例中,采用卷积神经网络提取绿化带区域图像的特征点及其描述子,很多卷积神经网络网络都可用于提取图像的特征点及其描述子,D2Net等就有较好的效果。作为一种可选实施例,可以采用Superpoint网络,可参考以下文献:Daniel DeTone,Tomasz Malisiewicz,and AndrewRabinovich.SuperPoint:Self-supervised interestpoint detectionand description.In CVPRWorkshop on Deep Learning forVisualSLAM,2018。该网络包括以下内容:
特征提取层。将绿化带区域图像输入网络,经过类VGG网络提取特征,其中包括卷积层、最大池化层和非线性激活层。卷积层的卷积核大小为3*3,卷积后使用relu非线性激活函数。最大池化指取局部接受域中值最大的点。最终得到
Figure BDA0003182243090000071
的特征图,分别输入特征点解码器和描述子解码器获得特征点检测结果w*h*1和描述子检测结果w*h*D2
特征点解码器。对共享编码器输出的特征图进行卷积得到
Figure BDA0003182243090000072
的特征图,其中包含一层dustbin层,在通道维度上做softmax后删除dustbin层,通过reshape得到w*h*1的特征点检测结果,每个点的值为该点是特征点的得分。
描述子解码器。对共享编码器输出的特征图进行卷积得到
Figure BDA0003182243090000073
的特征图,通过双三次多项式插值和L2 normalize归一化得到w*h*D2的描述子检测结果,每个点维度为D2的向量即为该点处的描述子。
为保证用于测距的特征点的稀疏性和匹配的正确性,对图像使用Superpoint网络提取特征点得到每个像素的特征点得分情况和对应的描述子后,前一帧图像的特征图取30*30范围内最大得分的点作为特征点。而为防止出现错位的情况,对后一帧图像,取更稠密的特征进行匹配,将2*2的范围内最大得分点和前一帧图像的特征点进行匹配。
S105,匹配前后二帧图像的特征点。
作为一种可选实施例,可以采用Brute-Force暴力匹配的方法匹配前后二帧图像中的特征点。
在本发明实施例中,可以采用基于统计的匹配方法。先对S104步骤中检测到的特征点进行Brute-Force暴力匹配,得到初步匹配结果。因为运动的平滑性,匹配的特征点邻域内应有较多匹配的点,因此可以通过计数邻域内的匹配点个数来判断一个匹配正确与否。对图像划分为20*20个网格,找到两幅图像中匹配点数最多的网格对,统计网格内匹配点对数量,若网格内所有匹配点的数量大于设置的阈值则判断为匹配正确。最后利用运动特性对匹配的点对进行筛选,在前后二帧的情况下,摄像机做纯平移运动,这时对极点是不动点,即对极点在前后二帧图像中有相同的坐标,同一点沿着该对极点发出的射线移动,则前后二帧图像中的匹配的特征点对到对极点的斜率应相同,去除所有斜率差距大于设定阈值的匹配点对,即为匹配的结果。
S106,由前后二帧图像中匹配特征点对的坐标变化和二帧图像间的移动距离计算得到该特征点到摄像机光轴的距离。
在本发明实施例中,令前后二帧中匹配成功的特征点对以图像中光心坐标为原点的坐标分别为(x1,y1),(x2,y2),摄像机俯角为θ,帧间车辆移动距离为δ,像素焦距为f,特征点对应的现实世界坐标到摄像机光轴的距离
Figure BDA0003182243090000081
S107,比较护栏到摄像机光轴的距离和绿化带区域测距结果,判断是否存在绿化带越过护栏过多。
在本发明实施例中,由护栏测距结果可以得到每个图像水平坐标下的护栏到光轴的距离,比较每个绿化带区域匹配点的测距结果和对应水平坐标下的护栏距离,即可判断绿化带是否越过护栏过多。
图3为本发明实施例的高速公路绿化带检测装置,如图3所示,该高速公路绿化带检测装置包括:图像采集模块301、惯导GNSS模块302、图像处理模块303,其中:
图像采集模块301,通过在车辆上固定摄像机采集高速公路图像。
惯导GNSS模块302,估计当前车速,用于计算二帧图像间的移动距离,并获取当前定位信息。可实时计算,也可以离线计算,需要记录相应的车速信息、二帧图像间的移动距离和定位信息。
图像处理模块303,结合GNSS惯导模块302的信息处理图像采集模块301采集到的图像判断绿化带是否存在越过护栏的情况,并记录位置信息。
需要说明的是,本发明实施例提供的高速公路绿化带检测方法,执行上述流程,具体请详见上述各高速公路绿化带检测方法实施例的内容,在此不再赘述。本发明实施例提供的高速公路绿化带检测装置本发明实施例使用单目摄像机获取高速公路图像,利用GNSS惯导模块获取车辆行驶速度和当前定位信息,或使用高速公路上固定间隔的特征如车道线计算前后二帧图像间车辆的移动距离,之后计算得到高速公路护栏到摄像机光轴的距离。通过深度学习的方法提取图像的特征点,并使用基于统计的方法对前后二帧图像的特征点进行匹配,根据同一点在前后二帧图像中的坐标变化结合成像原理计算得到该点的现实世界坐标。比较绿化带区域的测距结果和护栏距离,得到最终的绿化带检测结果并记录定位信息。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种高速公路绿化带检测方法,其特征在于,包括以下步骤:
A1,基于车载摄像机获取高速公路路面图像;
A2,计算二帧图像间的移动距离;
A3,计算护栏到摄像机光轴的距离;
A4,提取路面图像中绿化带区域的特征点及其描述子;
A5,对前后二帧图像的特征点进行匹配;
A6,由前后二帧图像中匹配的特征点对的坐标变化和二帧图像间的移动距离计算得到该特征点到摄像机光轴的距离;
A7,比较A3中得到的护栏到摄像机光轴的距离和A6中得到的绿化带区域的特征点到摄像机光轴的距离,若超出预设阈值,则判定绿化带越过护栏过多。
2.根据权利要求1所述的高速公路绿化带检测方法,其特征在于,步骤A2中,计算二帧图像间的移动距离包括如下方法之一种:
(1)从GNSS惯导模块获取当前车速,乘以二帧图像间的时间间隔作为二帧图像间的移动距离;
(2)利用图像中车道线端点检测二帧图像间的移动距离,具体包括:
A2.01检测前后二帧图像中车道线端点;
A2.02计算同一车道线端点在图像上的坐标变化,根据车道线端点间的已知距离,计算得到二帧图像间的移动距离。
3.根据权利要求2所述的高速公路绿化带检测方法,其特征在于,检测图像中车道线端点包括如下方法:
先使用带过渡带的Haar-like特征检测车道线的位置,过渡带不参与计算;对Haar-like特征检测到的点计算到对极点的斜率,将斜率之差小于设定阈值的点归为一类,将数量较少的点集视为干扰去除,对剩下的点集拟合直线得到车道线的位置;检测车道线上的端点。
4.根据权利要求1所述的高速公路绿化带检测方法,其特征在于,步骤A3中,计算护栏到摄像机光轴的距离包括如下方法:
检测图像中护栏立柱的位置,对前后二帧图像中检测到的护栏立柱进行匹配;
由步骤A2所得的二帧图像间的移动距离,利用前后二帧图像中同一立柱的图像坐标变化计算得到立柱到摄像机光轴的距离;
利用护栏上每一点到摄像机光轴的距离和该点的图像坐标的线性关系,以及一段护栏的两端立柱到摄像机光轴的距离,计算得到护栏上每一点到摄像机光轴的距离。
5.根据权利要求4所述的高速公路绿化带检测方法,其特征在于,检测图像中护栏立柱的位置包括如下方法:
先使用带过渡带的Haar-like特征检测护栏立柱的位置,过渡带不参与计算;将检测到的横坐标相同的点归为一类,并根据点数量对横坐标相近的点进行非极大值抑制,拟合剩余各点集得到护栏立柱位置。
6.根据权利要求1所述的高速公路绿化带检测方法,其特征在于,步骤A4中,提取路面图像中绿化带区域的特征点及其描述子的方法包括:
使用Superpoint网络提取绿化带区域特征点及其描述子,该网络包括特征提取层,特征点解码器和描述子解码器;
特征提取层对输入的路面图像中截取的宽度和高度分别为w和h的绿化带区域提取特征,经过多次卷积和2*2最大池化得到
Figure FDA0003182243080000021
的特征图,并将得到的特征图分别输入特征点解码器和描述子解码器;
特征点解码器通过卷积得到
Figure FDA0003182243080000022
的特征图,包含一层dustbin层,通过在通道维度上做softmax,删除dustbin层后reshape得到w*h*1的特征点得分情况;
描述子解码器通过卷积得到
Figure FDA0003182243080000023
的特征图,经过双三次多项式插值和L2normalize归一化得到w*h*D2的描述子检测结果;
对前一帧图像使用Superpoint网络提取特征点得到每个像素的特征点得分情况和对应的描述子,取30*30范围内最大得分的点作为特征点;对后一帧图像,取更稠密的特征,将2*2的范围内最大得分点与前一帧图像特征点匹配。
7.根据权利要求6所述的高速公路绿化带检测方法,其特征在于,步骤A5中的特征点匹配方法包括:
将前一帧图像的特征点及其描述子和后一帧图像更稠密的特征点进行Brute-Force暴力匹配,得到初步匹配结果;
之后将图像划分为20*20个网格,找到两幅图像中匹配点数最多的网格对,统计网格内匹配点对数量,若网格内所有匹配点的数量大于设置的阈值则判断为匹配正确;
对匹配的点对进行斜率筛选,将两个点到对极点的斜率差距大于设定阈值的点对判定为匹配错误点并去除。
8.根据权利要求1所述的高速公路绿化带检测方法,其特征在于,步骤A6中,利用前后二帧图像中匹配特征点对的坐标变化和二帧图像间的移动距离计算该特征点到摄像机光轴距离采用如下公式:
Figure FDA0003182243080000031
其中,D为前后二帧图像中匹配的点到摄像机光轴的距离,(x1,y1),(x2,y2)分别为前后二帧图像中匹配的特征点对以图像中光心坐标为原点的坐标,θ为摄像机俯角,δ为帧间车辆移动距离,f为像素焦距。
9.一种高速公路绿化带检测装置,其特征在于,包括:
图像采集模块,包括固定在车辆上的单目摄像机,用于A1步骤采集高速公路图像;
GNSS惯导模块,用于获取当前车辆定位和输出车速信息,车速信息经A2步骤处理得到二帧图像间的移动距离;
图像处理模块,用于执行步骤A2-A7所述算法,结合GNSS惯导模块的信息对图像采集模块采集到的图片进行处理,输出当前绿化带是否存在越过护栏过多的判定情况并记录位置信息。
CN202110850394.XA 2021-07-27 2021-07-27 一种高速公路绿化带检测方法和装置 Active CN113553958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110850394.XA CN113553958B (zh) 2021-07-27 2021-07-27 一种高速公路绿化带检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110850394.XA CN113553958B (zh) 2021-07-27 2021-07-27 一种高速公路绿化带检测方法和装置

Publications (2)

Publication Number Publication Date
CN113553958A true CN113553958A (zh) 2021-10-26
CN113553958B CN113553958B (zh) 2023-10-27

Family

ID=78133049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110850394.XA Active CN113553958B (zh) 2021-07-27 2021-07-27 一种高速公路绿化带检测方法和装置

Country Status (1)

Country Link
CN (1) CN113553958B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117278824A (zh) * 2023-09-20 2023-12-22 北京市测绘设计研究院 一种生态环境监测的绿视率采集系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093052A1 (en) * 2014-09-26 2016-03-31 Neusoft Corporation Method and apparatus for detecting obstacle based on monocular camera
CN106627585A (zh) * 2016-12-27 2017-05-10 长安大学 一种基于图像处理的车辆变道辅助装置及其工作方法
CN108108667A (zh) * 2017-12-01 2018-06-01 大连理工大学 一种基于窄基线双目视觉的前方车辆快速测距方法
CN110050600A (zh) * 2019-03-27 2019-07-26 广州席风机电设备工程有限公司 一种车载式高速路中央绿化带修剪装置
CN111008956A (zh) * 2019-11-13 2020-04-14 武汉工程大学 基于图像处理的梁底裂纹检测方法、系统、装置及介质
CN111289980A (zh) * 2020-03-06 2020-06-16 成都纳雷科技有限公司 基于车载毫米波雷达的路边静止物的检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093052A1 (en) * 2014-09-26 2016-03-31 Neusoft Corporation Method and apparatus for detecting obstacle based on monocular camera
CN106627585A (zh) * 2016-12-27 2017-05-10 长安大学 一种基于图像处理的车辆变道辅助装置及其工作方法
CN108108667A (zh) * 2017-12-01 2018-06-01 大连理工大学 一种基于窄基线双目视觉的前方车辆快速测距方法
CN110050600A (zh) * 2019-03-27 2019-07-26 广州席风机电设备工程有限公司 一种车载式高速路中央绿化带修剪装置
CN111008956A (zh) * 2019-11-13 2020-04-14 武汉工程大学 基于图像处理的梁底裂纹检测方法、系统、装置及介质
CN111289980A (zh) * 2020-03-06 2020-06-16 成都纳雷科技有限公司 基于车载毫米波雷达的路边静止物的检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王健 等: "一种基于行车区域改进的高速公路车辆检测法", 《计算机与现代化》, pages 34 - 36 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117278824A (zh) * 2023-09-20 2023-12-22 北京市测绘设计研究院 一种生态环境监测的绿视率采集系统及方法

Also Published As

Publication number Publication date
CN113553958B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN105225482B (zh) 基于双目立体视觉的车辆检测系统和方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN104700404A (zh) 一种果实定位识别方法
CN108416798B (zh) 一种基于光流的车辆距离估计方法
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN106915303B (zh) 基于深度数据和鱼眼图像的汽车a柱盲区透视方法
CN111473776A (zh) 一种基于单像近景摄影测量的滑坡裂缝监测方法
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
Lion et al. Smart speed bump detection and estimation with kinect
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN115760893A (zh) 一种基于核相关滤波算法的单雾滴粒径和速度测量方法
CN113553958B (zh) 一种高速公路绿化带检测方法和装置
CN108510544A (zh) 一种基于特征聚类的光条定位方法
CN114842340A (zh) 一种机器人双目立体视觉障碍物感知方法与系统
CN114724094A (zh) 一种基于三维图像与雷达技术的闸道口车内人数计量系统
CN113643232A (zh) 一种基于双目相机和卷积神经网络的路面坑槽自动检测方法
Schoepflin et al. Algorithms for calibrating roadside traffic cameras and estimating mean vehicle speed
CN115880643B (zh) 一种基于目标检测算法的社交距离监测方法和装置
CN111353481A (zh) 基于激光点云与视频图像的道路障碍物识别方法
Ho et al. Localization on freeways using the horizon line signature
CN115205825B (zh) 基于改进yolov5的行车视频序列图像检测识别交通标志方法
CN116740657A (zh) 一种基于相似三角形的目标检测以及测距方法
CN116403191A (zh) 一种基于单目视觉的三维车辆跟踪方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant