CN113240721A - 一种应用于巷道复杂场景的导航灭点检测方法 - Google Patents

一种应用于巷道复杂场景的导航灭点检测方法 Download PDF

Info

Publication number
CN113240721A
CN113240721A CN202110347446.1A CN202110347446A CN113240721A CN 113240721 A CN113240721 A CN 113240721A CN 202110347446 A CN202110347446 A CN 202110347446A CN 113240721 A CN113240721 A CN 113240721A
Authority
CN
China
Prior art keywords
straight line
point
image
points
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110347446.1A
Other languages
English (en)
Inventor
程健
王瑞彬
闫鹏鹏
王凯
许鹏远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coal Science Research Institute
China Coal Research Institute CCRI
Original Assignee
Coal Science Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coal Science Research Institute filed Critical Coal Science Research Institute
Priority to CN202110347446.1A priority Critical patent/CN113240721A/zh
Publication of CN113240721A publication Critical patent/CN113240721A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种应用于巷道复杂场景的导航灭点检测方法。适用于计算机视觉领域。使用LSD算法提取巷道场景图像中的直线信息；然后剔除图像中较短的直线，通过加入平均梯度约束剔除图像中由于阴影区域产生的干扰直线；接着结合运动估计技术充分利用连续帧图像之间的关系，在传统块匹配算法的基础之上加入缩放系数，增加图像中可用的直线信息并用于辅助灭点估计；最后，将检测到的直线转换成参数空间中的样本点后，通过LOF算法计算出每个样本点的异常因子值，设计样本点的权值函数，最后采用改进的RANSAC算法进行灭点的回归估计。其干扰直线剔除效果好，能够解决巷道复杂场景中缺乏直线特征的难题，灭点检测精度更高，更适用于巷道复杂场景。

Description

一种应用于巷道复杂场景的导航灭点检测方法
技术领域
本发明涉及一种导航灭点检测方法，适用于矿井巷道中使用的一种应用于巷道复杂场景的导航灭点检测方法，属于计算机视觉领域。
背景技术
自主导航是巷道机器人完成各项任务、作业的前提，也是赋予机器人感知和行动能力的关键因素。由于巷道场景的复杂性、封闭性、特殊性，导致巷道电磁环境复杂，GPS信号弱甚至是丢失，机器人在巷道环境下不能利用GPS进行定位导航，现有的地面导航系统也不适用于巷道非结构化的复杂环境。随着机器视觉研究的深入以及半导体和计算机技术的发展，视觉信息正被越来越多地应用到导航的实践中。视觉导航是一种利用可见光与不可见光成像技术进行导航的方法，它具有隐蔽性好、自主性强、测量快速、准确，以及廉价、可靠等优点。
灭点，又称消失点，在线性透视中，两条或多条代表平行线线条向远处地平线伸展直至聚合的那一点。而在图像中，消失点的位置信息对图像中道路的方向、大致方位等信息的确定具有重要的意义。因此，在封闭巷道复杂环境下进行灭点检测成为了研究热点。
文献(刘震,汪家悦,陈丽娟.基于灭点优化的单幅图像三维重建[J].浙江工业大学学报,2019)提出一种利用直线参数信息的灭点检测算法得到有效的直线，并通过改进的回归算法获取直线参数的线性模型，再利用最小二乘法解算灭点；文献(储珺,王丽,张桂梅.利用直线参数信息的建筑物灭点检测方法[J].计算机应用，2013)对不同方向直线进行聚类，并证明了各方向的直线参数满足线性分布关系，然后利用稳健回归算法建立直线参数的线性模型，并据此去除外点；文献(陈肖,王敏.一种快速的人工场景图像消失点检测方[J].计算机工程与科学,2014)提出一种新的方法，先检测图像中较长的边界线并进行筛选、分组，然后利用消失点与焦距之间的制约关系,确定三向消失点的位置以及焦距的大小；文献(陈世增,李必军,周继苗.利用双灭点的车道线检测[J].测绘通报,2020)对左右车道线分别估计灭点,以灭点为导向,构建特征点的统计直方图；然后选择穿过大多数特征点的直线且通过特征点和所选线之间的重叠度对灭点进行估计更新,重复上一步骤以获得稳定的灭点；文献(丁伟利,李勇,王文锋,等.基于垂线包络和平行线对的城市道路图像消失点检测算法[J].光学学报,2014)提出了一种新的基于垂线包络和平行线对的城市道路图像消失点检测算法。利用图像中存在的竖直线,提出了竖直区域的包络线估计方法,并实现了对道路区域的分割,有效提取了道路区域内的平行线对。使用方向分组策略将道路区域平行线分成两类,并对近似对称的直线对求交点。利用Cmeans聚类和统计相结合的方法估计了城市道路场景中的消失点；文献(罗小松.基于韦伯局部特征的道路消失点检测[D].重庆大学,2014)提出了一种基于改进WLD的道路消失点检测方法，首先，对道路图像进行预处理，减少图像噪音对消失点检测过程的影响。然后，采用改进后的WLD提取道路图像的局部纹理特征。接着，利用改进后的WLD中的差分激励分量提取道路的显著区域，以减少环境噪音对检测结果的干扰。最后，根据改进后的WLD中的方向分量以及道路图像的显著区域采用提出的线性投票模式获取道路图像的主消失点。
发明内容
针对上述技术的不足之处，提供一种应用于巷道复杂场景的导航灭点检测方法，解决巷道复杂环境下干扰因素多，光照不均衡，缺乏直线特征，以及现有的算法不适用于巷道复杂场景等问题。
为解决以上技术问题，本发明应用于巷道复杂场景的导航灭点检测方法，其特征在于步骤如下：
步骤1)对获取的巷道场景图像按顺序进行缩放、滤波、灰度化预处理，然后采用LSD直线检测算法提取预处理后的巷道场景图像中的直线；
步骤2)设置直线长度阈值，剔除预处理后的巷道场景图像中长度较短的干扰直线；
步骤3)基于数字图像中像素点的分布形式，通过加入平均梯度约束的方式剔除图像中由于阴影区域产生的干扰直线；
步骤4)结合运动估计技术，在传统块匹配算法的基础之上引入缩放系数形成改进的块匹配算法，对预处理后的巷道场景图像采用改进的块匹配算法求出相邻帧图像的块运动轨迹直线；
步骤5)将得到的块运动轨直线转换为参数空间中的样本点，利用LOF算法计算每个样本点的异常因子值；
步骤6)将样本点的异常因子值和样本点对应直线的长度共同作为衡量直线重要性的标准，并以此确定样本点的权值函数，本步骤中的直线包括剔除干扰直线后剩余的直线和生成的块运动轨迹直线；
步骤7)最后采用改进的RANSAC随机抽样算法提取样本空间中的有效直线模型，根据有效的直线模型即可求出巷道场景图像中的灭点坐标。
步骤1)的具体内容包括：
步骤11)为了提高算法的执行效率，在对巷道复杂场景图像进行直线特征提取之前，首先将原图像的分辨率降低，通过降低图像的分辨率大幅减少图像数据量，消除非常短的线段的干扰，保留重要的直线特征；
步骤12)在巷道复杂场景下由于数字图像的传输极易受到电磁干扰，因此使用双边滤波算法去除图像中的噪声从而防止噪声对直线特征提取的结果造成影响，双边滤波算法的核函数如下：
Figure BDA0003001212940000031
式中：w(i,j,p,q)是由空间域核与像素范围域核两种核共同决定，(i,j)和(p,q)分别表示两个像素点的坐标；
步骤13)将滤波后的图像转换为灰度图，用以提高算法的运算速度，图像灰度化采用的公式如下：
Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j) (2)
式中：R(i,j),G(i,j),B(i,j)分别表示为RGB图像中坐标为(i,j)的红色、绿色、黄色三通道的像素值；
步骤14)采用LSD算法检测灰度图上的直线，通过LSD算法输出灰度图中每条直线的起点和终点坐标，如第n条直线的起点和终点坐标分别为(xsn,ysn)、(xzn,yzn)。
步骤2)的具体内容包括：
步骤21)根据步骤14)中得到的(xsn,ysn)、(xzn,yzn)求出第n条直线的长度ln，设置长度阈值为15像素点，剔除长度ln≤15像素点的直线，否则将其保留。
步骤3)的具体内容包括：
步骤31)剔除长度ln≤15像素点的干扰直线后，根据剩余直线的起点和终点坐标(xsn,ysn)、(xzn,yzn)求出剩余直线中第n条直线方程fn(xn)＝yn＝kxn+b，则在数字图像中位于第n条直线上的像素点数量为mn＝max{|xsn-xzn|,|ysn-yzn|}+1；
步骤32)若|xzn-xsn|＞|yzn-ysn|，根据直线方程计算fn(xn)并取整，则该直线段上点(xsn,ysn)的领域像素点为(xsn,fn(xsn)+1),(xsn,fn(xsn)-1)；
步骤33)按照上述规则，将第n条直线上所有像素点和它们的邻域像素点组成一个点集[(xi,yi),i＝1,2,…,mn]；
步骤34)计算点集中每个像素点的梯度幅值，假设某个像素点的坐标为(x,y)，g(x,y)为该像素点的灰度值，像素点在x方向和y方向上的梯度分量通过如下公式计算：
Figure BDA0003001212940000041
式中：dx(x,y)、dy(x,y)分别表示像素点在x方向和y方向上的梯度分量；
步骤35)像素点的梯度幅值即为
Figure BDA0003001212940000042
步骤36)利用式(4)计算每条直线段邻域点集的平均梯度幅值davg,
Figure BDA0003001212940000051
步骤37)根据davg的大小判断该直线是否由阴影区域产生，若davg≤10，则认为该直线段由阴影区域产生并将该线段剔除，否则保留该直线段；
步骤38)将剔除干扰线段后的直线分为一组并记为A＝{a1,a2,…,an}，其中n表示剔除干扰直线后剩余直线的数量。
步骤4)的具体内容包括：
步骤41)假设预处理后的图像分辨率为W×H，取块边长为N，即可以将图像划分为
Figure BDA0003001212940000052
个大小相同的块；
步骤42)假设当前帧图像中某一个块为K0，K0块的中心像素点坐标为(x0,y0)，在下一帧图像中以(x0,y0)为中心，间隔为4的距离，搜索上下左右及斜对角共8个点；
步骤43)找出以这8个点为中心的块[Kt,t＝1,2,…,8]，利用式(5)计算每个块与K0的平均绝对误差MAD(MeanAbsolute Deviation)：
Figure BDA0003001212940000053
式中：K0ij和Kij表示块中第i行第j列处像素点的像素值；
步骤44)以上一步中MAD值最小的块为中心，间隔为2的距离，搜索上下左右及斜对角共8个点；
步骤45)重复42)，将间隔再减半，找到最接近点为中心的上下左右及斜对角8个点，分别以这8个点为中心，设置缩放系数分别为1、
Figure BDA0003001212940000054
也就是说取边长为N、N+2、N+4三种不同的块，在这一步中产生了24个块；
步骤46)采用OpenCV库中的resize函数将24个块缩放为边长为N的块，然后计算每个块与K0的MAD值，假设MAD值最小的块为K1，K1即为下一帧图像中和K0最相似的块；
步骤47)在下一帧图像中将K1块的中心点(x1,y1)和(x0,y0)相连接，得到的直线即为块运动轨迹直线；
步骤48)将图像中的块运动轨迹直线分为一组并记为B＝{a1,a2,…,am}，其中m表示图像中块运动轨迹直线的数量。
所述的步骤5)的具体内容包括：
步骤51)将步骤38)和步骤48)得到的直线集合A、B分为一组，得到(m+n)条直线，并将所有直线转换为(k,b)参数空间中的样本点，即在参数空间中的每一个样本点都对应着图像中的某条直线；
步骤52)采用LOF算法计算出每个样本点的异常因子值，假设第i个样本点的异常因子值表示为LOFi，可以根据LOFi的大小来判断第i个样本点的异常程度，若LOFi越接近于1，则第i个样本点越接近正常。
所述的步骤6)的具体内容包括：
步骤61)将样本点的异常因子值和该样本点对应直线的长度共同作为样本点重要性的衡量标准，基于此，第i个样本点的权值函数Wi定义如下：
Figure BDA0003001212940000061
式中：li表示第i个样本点对应直线的长度，ti是用来衡量样本点异常程度的权值，LOFi越接近于1，ti就越大，样本点就越接近正常。
所述的步骤7)的具体内容包括：
步骤71)随机选取参数空间中的两个样本点(k1,b1)，(k2,b2)，计算得到经过这两点的直线方程b＝c1k+c2，其中c1、c2为直线数学模型的参数；
步骤72)计算参数空间中其它样本点到该直线的距离dist，同时设定允许误差为ε，若满足dist≤ε条件的样本点标记为内点，否则标记为外点；
步骤73)根据公式(6)的权值函数计算每个内点的权值，并求和，记为sum；
步骤74)不断地重复步骤71)、步骤72)、步骤73)这三个步骤，直至遍历完所有的两个样本点组合，找出sum的最大值summax，并记录与之对应的直线数学模型b＝c1k+c2，点(c1,c2)即为原图像中的灭点坐标。
本发明提出的计算直线平均梯度方法，可以有效的剔除图像中由于阴影区域产生的直线，得到更为精确的直线检测结果，同时结合运动估计技术，采用改进的块匹配算法求得图像中的块运动轨迹直线，解决了巷道场景中缺乏直线特征的问题；然后改进的块匹配算法进行灭点估计，使得本发明在巷道复杂环境中，灭点检测的精度更高。
附图说明
图1是本发明应用于巷道复杂场景的导航灭点检测方法的图像块匹配算法示意图；
图2是本发明的数字图像中直线分布形式示意图；
图3是本发明的RANSAC算法判断内外点示意图；
图4是本发明应用于巷道复杂场景的导航灭点检测方法的灭点检测方法流程图。
具体实施方式
下面结合附图对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图4所示，本发明的应一种应用于巷道复杂场景的导航灭点检测方法，首先使用LSD直线检测算法对巷道场景图像进行直线特征提取，得到图像中的直线信息；然后设置长度阈值剔除图像中较短的直线，通过加入平均梯度约束剔除图像中由于阴影区域产生的干扰直线；接着结合运动估计技术充分利用连续帧图像之间的关系，在传统块匹配算法的基础之上加入缩放系数，增加图像中可用的直线信息并用于辅助灭点估计；最后，将检测到的直线转换成参数空间中的样本点后，通过LOF算法计算出每个样本点的异常因子值，并将样本点的异常因子值和直线的长度共同作为衡量该样本点重要性的标准，并以此设计样本点的权值函数，最后采用改进的RANSAC算法进行灭点的回归估计。本方法较其他算法的优势：干扰直线剔除效果好，能够解决巷道复杂场景中缺乏直线特征的难题，最后的灭点检测精度更高，更适用于巷道复杂场景。
本发明采用的巷道复杂场景中的导航灭点检测方法如下，具体步骤为：
步骤1)对获取的巷道场景图像按顺序进行缩放、滤波、灰度化预处理，然后采用LSD(a Line Segment Detector)检测算法提取预处理后的巷道场景图像中的直线；
步骤11)为了提高算法的执行效率，在对巷道复杂场景图像进行直线特征提取之前，首先将原图像的分辨率降低，通过降低图像的分辨率，可以大幅减少图像数据量，虽然这样会丢失一小部分细节，但是仍然能够保留重要的直线特征，同时还能消除一些非常短的线段的干扰，利大于弊；
步骤12)在巷道复杂场景下，数字图像的传输极易受到电磁干扰，图像中难免会产生高斯噪声和椒盐噪声，为了防止这部分噪声对直线特征提取的结果造成影响，采用双边滤波算法去除图像中的噪声，其中滤波算法的核函数如下：
Figure BDA0003001212940000081
式中：w(i,j,p,q)是由空间域核与像素范围域核两种核共同决定，(i,j)和(p,q)分别表示两个像素点的坐标；
步骤13)将滤波后的图像的转换为灰度图，提高算法的运算速度，图像灰度化的方法如下：
Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j) (14)
式中：R(i,j),G(i,j),B(i,j)分别表示为RGB图像中坐标为(i,j)的红色、绿色、黄色三通道的像素值；
步骤14)在灰度图上采用LSD算法检测图像中的直线特征，该算法输出的是图像中每条直线的起点和终点坐标，假设第n条直线的起点和终点坐标分别为(xsn,ysn)、(xzn,yzn)。
如图2和图3所示，步骤2)设置直线长度阈值，剔除预处理后的巷道场景图像中长度较短的干扰直线；具体的，根据(xsn,ysn)、(xzn,yzn)求出第n条直线的长度ln，设置长度阈值为15像素点，即当直线的长度满足ln≤15像素点时，剔除该直线，否则将其保留。
步骤3)基于数字图像中像素点的分布形式，通过加入平均梯度约束的方式剔除图像中由于阴影区域产生的干扰直线；
步骤31)剔除长度ln≤15像素点的干扰直线后，根据剩余每条直线的起点和终点坐标(xsn,ysn)、(xzn,yzn)求出第n条直线方程fn(xn)＝yn＝kxn+b，则在数字图像中位于第n条直线上的像素点数量为mn＝max{|xsn-xzn|,|ysn-yzn|}+1；
步骤32)若|xzn-xsn|＞|yzn-ysn|，根据直线方程计算fn(xn)并取整，则该直线段上点(xsn,ysn)的领域像素点为(xsn,fn(xsn)+1),(xsn,fn(xsn)-1)；
步骤33)按照上述规则，将第n条直线上所有像素点和它们的邻域像素点组成一个点集[(xi,yi),i＝1,2,…,mn]；
步骤34)计算点集中每个像素点的梯度幅值，假设某个像素点的坐标为(x,y)，g(x,y)为该像素点的灰度值，像素点在x方向和y方向上的梯度分量通过如下公式计算：
Figure BDA0003001212940000091
式中：dx(x,y)、dy(x,y)分别表示像素点在x方向和y方向上的梯度分量；
步骤35)像素点的梯度幅值即为
Figure BDA0003001212940000092
步骤36)计算每条直线段邻域点集的平均梯度幅值davg,计算方法如下：
Figure BDA0003001212940000093
步骤37)根据davg的大小判断直线是否由阴影区域产生，若davg≤10，则认为该直线段由阴影区域产生并将该线段剔除，否则保留该直线段；
步骤38)将剔除干扰线段后的直线组记为A＝{a1,a2,…,an}，其中n表示剔除干扰直线后剩余直线的数量。
如图1所示，步骤4)结合运动估计技术，在传统块匹配算法的基础之上引入缩放系数，对预处理后的巷道场景图像采用改进的块匹配算法求出相邻帧图像的块运动轨迹直线；
步骤41)假设预处理后的图像分辨率为W×H，取块边长为N，即可以将图像划分为
Figure BDA0003001212940000101
个大小相同的块；
步骤42)假设当前帧图像中某一个块为K0，K0块的中心像素点坐标为(x0,y0)，在下一帧图像中以(x0,y0)为中心，间隔为4的距离，搜索上下左右及斜对角共8个点；
步骤43)找出以这8个点为中心的块[Kt,t＝1,2,…,8]，计算每个块与K0的平均绝对误差MAD(MeanAbsolute Deviation)，计算方法如下：
Figure BDA0003001212940000102
式中：K0ij和Kij表示块中第i行第j列处像素点的像素值；
步骤44)以上一步中MAD值最小的块为中心，间隔为2的距离，搜索上下左右及斜对角共8个点；
步骤45)重复步骤42)，将间隔再减半，找到最接近点为中心的上下左右及斜对角8个点，分别以这8个点为中心，设置缩放系数分别为1、
Figure BDA0003001212940000103
也就是说取边长为N、N+2、N+4三种不同的块，也就是在这一步中产生了24个块；
步骤46)采用OpenCV库中的resize函数将24个块缩放为边长为N的块，然后计算每个块与K0的MAD值，假设MAD值最小的块为K1，K1即为下一帧图像中和K0最相似的块；
步骤47)在下一帧图像中将K1块的中心点(x1,y1)和(x0,y0)相连接，得到的直线即为块运动轨迹直线；
步骤48)将图像中的块运动轨迹直线分为一组并记为B＝{a1,a2,…,am}，其中m表示图像中块运动轨迹直线的数量。
如图2所示，步骤5)将得到的块运动轨直线转换为参数空间中的样本点，利用LOF(Local Outlier Factor)算法计算每个样本点的异常因子值；
步骤51)将步骤38)和步骤48)得到的直线集合A、B分为一组，得到(m+n)条直线，并将所有直线转换为(k,b)参数空间中的样本点，即在参数空间中的每一个样本点都对应着图像中的某条直线；
步骤52)采用LOF算法计算出每个样本点的异常因子值，假设第i个样本点的异常因子值表示为LOFi，可以根据LOFi的大小来判断第i个样本点的异常程度，若LOFi越接近于1，则第i个样本点越接近正常。
步骤6)将样本点的异常因子值和样本点对应直线的长度共同作为衡量直线(包括剔除干扰直线后剩余的直线和生成的块运动轨迹直线)重要性的标准，并以此确定样本点的权值函数；具体的，将样本点的异常因子值和该样本点对应直线的长度共同作为样本点重要性的衡量标准，基于此，第i个样本点的权值函数定义如下：
Figure BDA0003001212940000111
式中：li表示第i个样本点对应直线的长度，ti是用来衡量样本点异常程度的权值，LOFi越接近于1，ti就越大，样本点就越接近正常。
步骤7)最后采用改进的RANSAC(RANdom SAmple Consensus)算法提取样本空间中的有效直线模型，根据有效的直线模型即可求出巷道场景图像中的灭点坐标；
步骤71)随机选取参数空间中的两个样本点(k1,b1)，(k2,b2)，计算得到经过这两点的直线方程b＝c1k+c2，其中c1、c2为直线数学模型的参数；
步骤72)计算参数空间中其它样本点到该直线的距离dist，同时设定允许误差为ε，对于满足dist≤ε条件的样本点标记为内点，否则标记为外点；
步骤73)根据公式(18)的权值函数计算每个内点的权值W，并对它们求和，所有内点的权值和记为sum；
步骤74)不断地重复步骤71)、步骤72)、步骤73)这三个步骤，直至遍历完所有的两个样本点组合，找出sum的最大值summax，并记录与之对应的直线数学模型b＝c1k+c2，点(c1,c2)即为原图像中的灭点坐标。

Claims (8)

1.一种应用于巷道复杂场景的导航灭点检测方法，其特征在于步骤如下：
步骤1)对获取的巷道场景图像按顺序进行缩放、滤波、灰度化预处理，然后采用LSD直线检测算法提取预处理后的巷道场景图像中的直线；
步骤2)设置直线长度阈值，剔除预处理后的巷道场景图像中长度较短的干扰直线；
步骤3)基于数字图像中像素点的分布形式，通过加入平均梯度约束的方式剔除图像中由于阴影区域产生的干扰直线；
步骤4)结合运动估计技术，在传统块匹配算法的基础之上引入缩放系数形成改进的块匹配算法，对预处理后的巷道场景图像采用改进的块匹配算法求出相邻帧图像的块运动轨迹直线；
步骤5)将得到的块运动轨直线转换为参数空间中的样本点，利用LOF算法计算每个样本点的异常因子值；
步骤6)将样本点的异常因子值和样本点对应直线的长度共同作为衡量直线重要性的标准，并以此确定样本点的权值函数，本步骤中的直线包括剔除干扰直线后剩余的直线和生成的块运动轨迹直线；
步骤7)最后采用改进的RANSAC随机抽样算法提取样本空间中的有效直线模型，根据有效的直线模型即可求出巷道场景图像中的灭点坐标。
2.根据权利要求书1所述一种应用于巷道复杂场景的导航灭点检测方法，其特征在于：步骤1)的具体内容包括：
步骤11)为了提高算法的执行效率，在对巷道复杂场景图像进行直线特征提取之前，首先将原图像的分辨率降低，通过降低图像的分辨率大幅减少图像数据量，消除非常短的线段的干扰，保留重要的直线特征；
步骤12)在巷道复杂场景下由于数字图像的传输极易受到电磁干扰，因此使用双边滤波算法去除图像中的噪声从而防止噪声对直线特征提取的结果造成影响，双边滤波算法的核函数如下：
Figure FDA0003001212930000021
式中：w(i,j,p,q)是由空间域核与像素范围域核两种核共同决定，(i,j)和(p,q)分别表示两个像素点的坐标；
步骤13)将滤波后的图像转换为灰度图，用以提高算法的运算速度，图像灰度化采用的公式如下：
Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j) (2)
式中：R(i,j),G(i,j),B(i,j)分别表示为RGB图像中坐标为(i,j)的红色、绿色、黄色三通道的像素值；
步骤14)采用LSD算法检测灰度图上的直线，通过LSD算法输出灰度图中每条直线的起点和终点坐标，如第n条直线的起点和终点坐标分别为(xsn,ysn)、(xzn,yzn)。
3.根据权利要求书2所述一种应用于巷道复杂场景的导航灭点检测方法，其特征在于：步骤2)的具体内容包括：
步骤21)根据步骤14)中得到的(xsn,ysn)、(xzn,yzn)求出第n条直线的长度ln，设置长度阈值为15像素点，剔除长度ln≤15像素点的直线，否则将其保留。
4.根据权利要求书3所述一种应用于巷道复杂场景的导航灭点检测方法，其特征在于：步骤3)的具体内容包括：
步骤31)剔除长度ln≤15像素点的干扰直线后，根据剩余直线的起点和终点坐标(xsn,ysn)、(xzn,yzn)求出剩余直线中第n条直线方程fn(xn)＝yn＝kxn+b，则在数字图像中位于第n条直线上的像素点数量为mn＝max{|xsn-xzn|,|ysn-yzn|}+1；
步骤32)若|xzn-xsn|＞|yzn-ysn|，根据直线方程计算fn(xn)并取整，则该直线段上点(xsn,ysn)的领域像素点为(xsn,fn(xsn)+1),(xsn,fn(xsn)-1)；
步骤33)按照上述规则，将第n条直线上所有像素点和它们的邻域像素点组成一个点集[(xi,yi),i＝1,2,…,mn]；
步骤34)计算点集中每个像素点的梯度幅值，假设某个像素点的坐标为(x,y)，g(x,y)为该像素点的灰度值，像素点在x方向和y方向上的梯度分量通过如下公式计算：
Figure FDA0003001212930000031
式中：dx(x,y)、dy(x,y)分别表示像素点在x方向和y方向上的梯度分量；
步骤35)像素点的梯度幅值即为
Figure FDA0003001212930000032
步骤36)利用式(4)计算每条直线段邻域点集的平均梯度幅值davg,
Figure FDA0003001212930000033
步骤37)根据davg的大小判断该直线是否由阴影区域产生，若davg≤10，则认为该直线段由阴影区域产生并将该线段剔除，否则保留该直线段；
步骤38)将剔除干扰线段后的直线分为一组并记为A＝{a1,a2,…,an}，其中n表示剔除干扰直线后剩余直线的数量。
5.根据权利要求书4所述一种应用于巷道复杂场景的导航灭点检测方法，其特征在于：步骤4)的具体内容包括：
步骤41)假设预处理后的图像分辨率为W×H，取块边长为N，即可以将图像划分为
Figure FDA0003001212930000034
个大小相同的块；
步骤42)假设当前帧图像中某一个块为K0，K0块的中心像素点坐标为(x0,y0)，在下一帧图像中以(x0,y0)为中心，间隔为4的距离，搜索上下左右及斜对角共8个点；
步骤43)找出以这8个点为中心的块[Kt,t＝1,2,…,8]，利用式(5)计算每个块与K0的平均绝对误差MAD(Mean Absolute Deviation)：
Figure FDA0003001212930000035
式中：K0ij和Kij表示块中第i行第j列处像素点的像素值；
步骤44)以上一步中MAD值最小的块为中心，间隔为2的距离，搜索上下左右及斜对角共8个点；
步骤45)重复42)，将间隔再减半，找到最接近点为中心的上下左右及斜对角8个点，分别以这8个点为中心，设置缩放系数分别为1、
Figure FDA0003001212930000041
也就是说取边长为N、N+2、N+4三种不同的块，在这一步中产生了24个块；
步骤46)采用OpenCV库中的resize函数将24个块缩放为边长为N的块，然后计算每个块与K0的MAD值，假设MAD值最小的块为K1，K1即为下一帧图像中和K0最相似的块；
步骤47)在下一帧图像中将K1块的中心点(x1,y1)和(x0,y0)相连接，得到的直线即为块运动轨迹直线；
步骤48)将图像中的块运动轨迹直线分为一组并记为B＝{a1,a2,…,am}，其中m表示图像中块运动轨迹直线的数量。
6.根据权利要求书5所述一种应用于巷道复杂场景的导航灭点检测方法，其特征在于：所述的步骤5)的具体内容包括：
步骤51)将步骤38)和步骤48)得到的直线集合A、B分为一组，得到(m+n)条直线，并将所有直线转换为(k,b)参数空间中的样本点，即在参数空间中的每一个样本点都对应着图像中的某条直线；
步骤52)采用LOF算法计算出每个样本点的异常因子值，假设第i个样本点的异常因子值表示为LOFi，可以根据LOFi的大小来判断第i个样本点的异常程度，若LOFi越接近于1，则第i个样本点越接近正常。
7.根据权利要求书1所述一种应用于巷道复杂场景的导航灭点检测方法，其特征在于：所述的步骤6)的具体内容包括：
步骤61)将样本点的异常因子值和该样本点对应直线的长度共同作为样本点重要性的衡量标准，基于此，第i个样本点的权值函数Wi定义如下：
Figure FDA0003001212930000051
式中：li表示第i个样本点对应直线的长度，ti是用来衡量样本点异常程度的权值，LOFi越接近于1，ti就越大，样本点就越接近正常。
8.根据权利要求书7所述一种应用于巷道复杂场景的导航灭点检测方法，其特征在于：所述的步骤7)的具体内容包括：
步骤71)随机选取参数空间中的两个样本点(k1,b1)，(k2,b2)，计算得到经过这两点的直线方程b＝c1k+c2，其中c1、c2为直线数学模型的参数；
步骤72)计算参数空间中其它样本点到该直线的距离dist，同时设定允许误差为ε，若满足dist≤ε条件的样本点标记为内点，否则标记为外点；
步骤73)根据公式(6)的权值函数计算每个内点的权值，并求和，记为sum；
步骤74)不断地重复步骤71)、步骤72)、步骤73)这三个步骤，直至遍历完所有的两个样本点组合，找出sum的最大值summax，并记录与之对应的直线数学模型b＝c1k+c2，点(c1,c2)即为原图像中的灭点坐标。
CN202110347446.1A 2021-03-31 2021-03-31 一种应用于巷道复杂场景的导航灭点检测方法 Pending CN113240721A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110347446.1A CN113240721A (zh) 2021-03-31 2021-03-31 一种应用于巷道复杂场景的导航灭点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110347446.1A CN113240721A (zh) 2021-03-31 2021-03-31 一种应用于巷道复杂场景的导航灭点检测方法

Publications (1)

Publication Number Publication Date
CN113240721A true CN113240721A (zh) 2021-08-10

Family

ID=77130662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110347446.1A Pending CN113240721A (zh) 2021-03-31 2021-03-31 一种应用于巷道复杂场景的导航灭点检测方法

Country Status (1)

Country Link
CN (1) CN113240721A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314894A (zh) * 2023-11-27 2023-12-29 深圳市金三维实业有限公司 一种手表底盖缺陷快速检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101192269A (zh) * 2006-11-29 2008-06-04 佳能株式会社 从图像估计消失点的方法和装置、计算机程序及其存储介质
KR20140080105A (ko) * 2012-12-20 2014-06-30 울산대학교 산학협력단 영상 정보를 이용한 차선 경계 검출 방법
US20180005399A1 (en) * 2016-06-30 2018-01-04 Intel Corporation Estimation of 3d point candidates from a location in a single image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101192269A (zh) * 2006-11-29 2008-06-04 佳能株式会社 从图像估计消失点的方法和装置、计算机程序及其存储介质
KR20140080105A (ko) * 2012-12-20 2014-06-30 울산대학교 산학협력단 영상 정보를 이용한 차선 경계 검출 방법
US20180005399A1 (en) * 2016-06-30 2018-01-04 Intel Corporation Estimation of 3d point candidates from a location in a single image

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HORST WILDENAUER等: "Vanishing Point Detection in Complex Man-made Worlds", 《14TH INTERNATIONAL CONFERENCE ON IMAGE ANALYSIS AND PROCESSING (ICIAP 2007)》, 29 October 2007 (2007-10-29), pages 615 - 622 *
吕侃徽等: "基于改进Hough变换耦合密度空间聚类的车道线检测算法", 《电子测量与仪器学报》, vol. 34, no. 12, 15 December 2020 (2020-12-15), pages 172 - 180 *
王瑞彬: "煤矿巷道场景灭点检测方法研究与应用", 《》, no. 03, 15 March 2022 (2022-03-15), pages 021 - 537 *
程健等: "矿井巷道复杂场景灭点检测方法", 《工矿自动化》, vol. 47, no. 06, 21 June 2021 (2021-06-21), pages 25 - 31 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314894A (zh) * 2023-11-27 2023-12-29 深圳市金三维实业有限公司 一种手表底盖缺陷快速检测方法
CN117314894B (zh) * 2023-11-27 2024-03-29 深圳市金三维实业有限公司 一种手表底盖缺陷快速检测方法

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN108519605B (zh) 基于激光雷达和摄像机的路沿检测方法
CN111311666B (zh) 一种融合边缘特征和深度学习的单目视觉里程计方法
Vasuki et al. Semi-automatic mapping of geological Structures using UAV-based photogrammetric data: An image analysis approach
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN109146972B (zh) 基于快速特征点提取及网格化三角形约束的视觉导航方法
CN107248159A (zh) 一种基于双目视觉的金属工件缺陷检测方法
CN108596975B (zh) 一种针对弱纹理区域的立体匹配算法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN109726627A (zh) 一种神经网络模型训练及通用接地线的检测方法
CN104933434A (zh) 一种结合LBP特征提取和surf特征提取方法的图像匹配方法
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN111007531A (zh) 一种基于激光点云数据的道路边沿检测方法
CN112883850B (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN109559324A (zh) 一种线阵图像中的目标轮廓检测方法
EP3796261A1 (en) Method and apparatus with location estimation
CN111178193A (zh) 一种车道线的检测方法、检测装置及计算机可读存储介质
CN113538501A (zh) 低空图像dsm生成建筑物边缘精细化方法
CN112070756A (zh) 一种基于无人机倾斜摄影的路面立体病害测量方法
CN112800938A (zh) 无人驾驶车辆检测侧面落石发生的方法及装置
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination