CN113298727B - 一种基于多标识线的井下辅助运输车辆导航系统与方法 - Google Patents
一种基于多标识线的井下辅助运输车辆导航系统与方法 Download PDFInfo
- Publication number
- CN113298727B CN113298727B CN202110535239.9A CN202110535239A CN113298727B CN 113298727 B CN113298727 B CN 113298727B CN 202110535239 A CN202110535239 A CN 202110535239A CN 113298727 B CN113298727 B CN 113298727B
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle body
- pipeline
- camera
- rail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000007613 environmental effect Effects 0.000 claims abstract description 4
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 230000008054 signal transmission Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 7
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000010339 dilation Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 229910052742 iron Inorganic materials 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 abstract 1
- 239000003245 coal Substances 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于多标识线的井下辅助运输车辆导航系统与方法,属于井下车辆导航领域。导航系统包括车体;还包括图像采集模块,其设于车体前端,用于采集车体前方环境信息并传输;图像处理模块,其设于车体上,接收图像采集模块传输的信息,处理生成目标轨迹并传输;控制模块,其设于车体上,接收图像处理模块传输的信息,并根据信息控制车体行驶。本发明的导航系统可有效解决井下辅助运输车辆在行驶过程中方向偏移、撞碰巷道壁等问题,减少由于驾驶人员操作不当造成的事故,导航方法采用两种不同的特征融合形成新的导航线的方法比用单一的方法导航稳定性高,无需在巷道中架设其他辅助设备,降低导航成本,有效提高了驾驶的安全性。
Description
技术领域
本发明属于井下车辆导航技术领域,更具体地说,涉及一种基于多标识线的井下辅助运输车辆导航系统与方法。
背景技术
井下辅助运输车辆在煤矿人员运输以及物料、矸石、材料运输等方面发挥着巨大作用,井下辅助运输车辆的类型较多、重量较大、对路面的要求较高,使用井下辅助运输车辆的矿井对辅运巷路面的强度、坡度、高度的要求都很高。
煤矿井下遇到生产高峰期需要近百辆辅助运输车辆运行于狭窄的巷道中,传统的人工操作车辆成本大,人员调度效率低,且井下辅助运输车辆的自重是同载重量地面车辆的几倍,在运行于长距离连续坡道时,适应性差的问题越发突出,由于车辆大的惯性和井下复杂的环境,驾驶人员手动操作方向盘容易出现安全事故。
经检索,中国专利公开号:CN 109753081 A;公开日:2019年5月14日;公开了一种基于机器视觉的巷道巡检无人机系统及导航方法,采用单目相机获取巷道空间图像,根据管道的颜色与周围环境差异明显,通过机器视觉算法对图像中的管道进行检测和处理,计算出管道中心到相机光心的距离和夹角,进一步得出巡检无人机在巷道中的偏航角,并反馈到无人机飞行控制器调整航向。该申请案无需在巷道中架设轨道等设备,能降低巡检机器人的导航成本,但煤矿井下的环境复杂,该申请案的方法过于单一,适用场景范围小,无法满足巷道车辆长距离无人驾驶的稳定性要求,在实际应用中难以满足效率的需求。
发明内容
为了解决上述技术问题至少之一,根据本发明的一方面,提供了一种基于多标识线的井下辅助运输车辆导航系统,包括:
车体;
还包括:
图像采集模块,其设于车体前端,用于采集车体前方环境信息并传输;
图像处理模块,其设于车体上,接收图像采集模块传输的信息,处理生成目标轨迹并传输;
控制模块,其设于车体上,接收图像处理模块传输的信息,并根据信息控制车体行驶。
根据本发明实施例的基于多标识线的井下辅助运输车辆导航系统,可选地,所述图像采集模块包括:
摄像单元,其包括在车体顶部前端呈上下布置的管道摄像头和铁轨摄像头,管道摄像头采集井下管道图像,铁轨摄像头采集井下铁轨图像;以及,
探照灯,其布置于车体车头前端。
根据本发明实施例的基于多标识线的井下辅助运输车辆导航系统,可选地,所述管道摄像头和铁轨摄像头均为CCD双目摄像机,且均平行于地面安装。
根据本发明实施例的基于多标识线的井下辅助运输车辆导航系统,可选地,所述图像处理模块包括:
信号转换子模块,其将图像采集模块传输的图像信息转化为数字信息;
处理单元,其处理转化后的数字信息并拟合为预测轨迹信息;
信号传输子模块,其将预测轨迹信息传输至控制模块。
根据本发明的另一方面,提供了一种基于多标识线的井下辅助运输车辆导航方法,步骤如下:
一、图像采集:图像采集模块拍摄车体驶方向前方的图像,并将图像传输至图像处理模块;
二、生成目标轨迹:
a、图像预处理,提取管道摄像头采集RGB图像中墙面上管道区域为感兴趣区域,采用自适应直方图增强图像亮度,通过自适应中值滤波法增强图像细节特征,提取铁轨摄像头采集RGB图像中路面上的铁轨区域为感兴趣区域,采用自适应直方图增强图像亮度,通过自适应中值滤波法增强图像细节特征;
b、提取铁轨线,提取a预处理后的铁轨摄像头采集的图像中的铁轨线点集s;
c、提取管道线,提取a预处理后的管道摄像头采集的图像中的管道线点集m;
d、多标识线融合,
管道点的权重占比为w1,铁轨点的权重占比为w2,w1+w2=1,
将同一纵坐标的检测点横坐标按对应的权重加权融合,得到点集Q,即
(xQ,yQ)=w1(xm,ym)+w2(xs,ys),
从图像最下方点集作为起始点向上依次选取相邻点P0、P1、P2和P3,4个点为一组进行曲线拟合,不足4个点则舍弃,得到预测轨迹曲线B(t),
B(t)=P0(1-t)3+3P1(1-t)2t+3P2(1-t)t2+P3t3;
三、控制行驶:图像处理模块的信号传输子模块将预测轨迹曲线信息传输至控制模块,控制模块根据信息控制车体行驶。
根据本发明实施例的基于多标识线的井下辅助运输车辆导航方法,可选地,步骤二b中,具体提取步骤如下:
b1、将a预处理后的铁轨摄像头采集的图像灰度化处理,采用sobel算子边缘检测得到边缘图像f1(x,y);
b2、分别利用长度为5的水平线性结构元素B1=[1 1 1 1 1]及长度为5的垂直线性结构元素B2=[1 1 1 1 1]T对检测的边缘图像f1(x,y)先进行形态学腐蚀处理再进行形态学膨胀处理,得到开操作图像f2(x,y),f2(x,y)即为干扰边缘图像;
b3、将边缘检测图像f1(x,y)减去干扰边缘f2(x,y)得到初步的轨道边缘图像f3(x,y);
b4、扫描图像f3(x,y),记图像中像素值都为1且位置相邻的像素点组成的图像区域为连通域C(x,y),统计每个连通域的像素点数目,剔除连接像素点小于阈值TH的连通域,获得优化的轨道边缘图像T(x,y);
b5、标记轨道图像T(x,y)中像素值为1的轨道边缘点,记为点集s。
根据本发明实施例的基于多标识线的井下辅助运输车辆导航方法,可选地,步骤二c中,具体提取步骤如下:
c1、将a预处理后的管道摄像头采集的图像由RGB空间转到HSV空间;
c2、根据井下管道的颜色对应的H、S、V值,对图像进行阈值化处理,使符合井下管道颜色特征的像素值为255,不符合井下管道颜色特征的像素值为0,得到相应的二值图,标记像素值为255的点坐标,记为点集M;
c3、将点集M中的点的纵坐标平移,使得管道图像与铁轨图像的光学中心重合,得到点集m。
根据本发明实施例的基于多标识线的井下辅助运输车辆导航方法,可选地,步骤三中,具体控制步骤如下:
通过预测轨迹曲线B(t)得到曲率k=B′(t),
B′(t)=3(1-t)2(P1-P0)+6(1-t)t(P2-P1)+3t2(P3-P2),
车体方向盘转动角度δ=Lkn(1+Ku2),
其中,u为速度,K为稳定性因数,L为前后轮轴距,n为转向系角传动比;
控制模块根据实时计算的方向盘转动角度δ控制车体行驶过程中的方向。
本发明的基于多标识线的井下辅助运输车辆导航系统,通过图像采集模块采集车体前方管道与铁轨信息,经图像处理模块处理后拟合为目标轨迹,在控制模块的控制下使车体沿着目标轨迹行驶,降低了人工调整方向的成本,提高安全性,有效解决井下辅助运输车辆在行驶过程中方向偏移、撞碰巷道壁等问题,减少由于驾驶人员操作不当造成的事故;
本发明的基于多标识线的井下辅助运输车辆导航方法,分别提取巷道中管道线点集和铁轨线点集后,利用加权融合后的点集拟合曲线,并利用控制模块根据拟合曲线的曲率来控制车体行驶过程中的方向盘盘转动角度,从而达到对车体行驶的导航,相比于人工控制,安全性更高,效率更高,相比于单一的利用铁轨线拟合曲线进行导航及单一的利用管道线拟合曲线进行导航,本发明的导航方法能有效提高导航精度,综合利用巷道中铁轨及管道两种显著的标志物进行目标轨迹曲线的拟合,降低巷道中复杂环境对导航精度的影响;且通过对管道线点集和铁轨线点集的加权融合,得到处于巷道中间、车体正常安全行驶时必经点的点集,由此来确定拟合曲线,并根据曲线曲率来确定控制模块控制车体方向盘转动的角度,更加符合车体实际行驶位置处的方向盘转角需求,行驶安全性、稳定性更有保障。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本发明的一些实施例,而非对本发明的限制。
图1示出了本发明的车辆导航系统结构示意图;
图2示出了本发明的车辆导航系统工作流程示意图;
图3示出了本发明的车辆导航方法流程图;
图4示出了本发明的车辆导航方法生成预测轨迹的示意图;
附图标记:
1、车体;
2、图像采集模块;20、管道摄像头;21、铁轨摄像头;22、探照灯;
3、图像处理模块;30、信号转换子模块;31、处理单元;32、信号传输子模块;
4、控制模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。
除非另作定义,此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
实施例1
如图1所示,示出了本实施例的基于多标识线的井下辅助运输车辆导航系统,车体1为常规的井下矿用车型,本实施例在车体1前端设置了图像采集模块2,用于采集车体1前方环境信息并传输,图像采集模块2包括摄像单元和探照灯22,其中,探照灯22为隔爆型探照灯,固定设置在车体1车头前方,为图像采集模块2采集图像提供充足的光线亮度,摄像单元设置在车体1车顶前端,确保有充足的视野能捕捉到车体1前方的管道图像信息与铁轨图像信息,摄像单元包括管道摄像头20和铁轨摄像头21,井下管道多铺设于巷道侧壁上,铁轨铺设于底面,因此管道摄像头20和铁轨摄像头21上下设置确保两者都能有足够的视野捕捉到对应的管道图像和铁轨图像;本实施例的管道摄像头20和铁轨摄像头21均为同种型号的CCD双目摄像机,且均平行于地面安装,两者光学中心的连线垂直于地面。
本实施例的图像处理模块3布置于车体1上,由多个子模块构成,包括信号转换子模块30、处理单元31与信号传输子模块32,本实施例的信号转换子模块30为AD采样模块,能接收图像采集模块2传输的图像信息并将其转化为数字信息,处理单元31可以采用FPGA、单片机等芯片,能对数字信息进行处理,并拟合处预测轨迹曲线信息,然后通过信号传输子模块32传输至控制模块4;本实施例的控制模块4为工控机,通过RS232的串口和图像处理模块3的信号传输子模块32通讯,并将接收到的数字信号转化为操作命令从而对车体1的运动进行控制。
本实施例的基于多标识线的井下辅助运输车辆导航系统,工作流程如图2所示,车体1前方的目标区域的管道及铁轨信息通过图像采集模块2采集后传输至图像处理模块3,在图像处理模块3中图像信号被信号转换子模块30转化为数字信息,然后通过处理单元31处理并拟合为预测轨迹曲线信息,然后由信号传输子模块32传输至控制模块4,控制模块4将接收到的数字信号转化为操作命令从而对车体1的运动进行控制。
本实施例通过图像采集模块2采集车体1前方管道与铁轨信息,经图像处理模块3处理后拟合为目标轨迹,在控制模块4的控制下使车体1沿着目标轨迹行驶,降低了人工调整方向的成本,提高安全性,使车体1工作过程中能按照有效安全的目标轨迹行驶,效率高。
实施例2
本实施例的基于多标识线的井下辅助运输车辆导航方法,基于实施例1的多标识线的井下辅助运输车辆导航系统,方法流程如图3所示,具体步骤如下:
一、图像采集:
车体1行进时,图像采集模块2启动,打开探照灯22,铁轨摄像头21拍摄车体1前方铁轨信息的图像,管道摄像头20拍摄前方管道信息的图像,并都将图像传输至图像处理模块3;
二、生成目标轨迹:
a、图像预处理
提取管道摄像头20采集RGB图像中墙面上管道区域为感兴趣区域,采用自适应直方图增强图像亮度,通过自适应中值滤波法增强图像细节特征,提取铁轨摄像头21采集RGB图像中路面上的铁轨区域为感兴趣区域,采用自适应直方图增强图像亮度,通过自适应中值滤波法增强图像细节特征;
b、提取铁轨线
b1、将a预处理后的铁轨摄像头21采集的图像灰度化处理,采用sobel算子边缘检测得到边缘图像f1(x,y);
b2、分别利用长度为5的水平线性结构元素B1=[1 1 1 1 1]及长度为5的垂直线性结构元素B2=[1 1 1 1 1]T对检测的边缘图像f1(x,y)先进行形态学腐蚀处理再进行形态学膨胀处理,得到开操作图像f2(x,y),f2(x,y)即为干扰边缘图像,f2(x,y)计算公式如下:
其中,为形态学开运算符号,Θ为形态学腐蚀符号,/>为形态学膨胀符号;
本步骤利用数学形态学的方法,采用线性结构元素B对边缘图像f1(x,y)进行形态学开运算从而得到干扰边缘图像;
b3、将边缘检测图像f1(x,y)减去干扰边缘f2(x,y)得到初步的轨道边缘图像f3(x,y),f3(x,y)计算公式如下:
f3(x,y)=f1(x,y)-f2(x,y);
b4、扫描图像f3(x,y),记图像中像素值都为1且位置相邻的像素点组成的图像区域为连通域C(x,y),统计每个连通域的像素点数目,剔除连接像素点小于阈值TH的连通域,获得优化的轨道边缘图像T(x,y),公式如下:
其中,Cd(x,y)表示剔除的连通域;H表示像素点低于阈值TH的连通域的集合;
本实施例中阈值TH为10,选取此阈值可以确保剔除图像中的短小且呈团状的干扰特征,从而获得更优化的轨道边缘图像T(x,y);
b5、标记轨道图像T(x,y)中像素值为1的轨道边缘点,记为点集s,点集s的坐标为(xs,ys);
c、提取管道线
c1、将a预处理后的管道摄像头20采集的图像由RGB空间转到HSV空间操作如下,
记RGB图像中某一像素的值为r、g、b,转换到HSV颜色空间之后的像素值为h、s、v,对r、g、b归一化处理,得到r′=r/255、g′=g/255、b′=b/255、Cmax=max(r′,g′,b′)、Cmin=min(r′,g′,b′)、Δ=Cmax-Cmin,则
v=Cmax,
遍历RGB图像上所有的像素点,采用上述公式转换到HSV颜色空间;
c2、根据井下管道的颜色对应的H、S、V值,对图像进行阈值化处理,使符合井下管道颜色特征的像素值为255,不符合井下管道颜色特征的像素值为0,得到相应的二值图,标记像素值为255的点坐标,记为点集M;
井下管道颜色一般有黄色、绿色、蓝色,黄色的H、S、V值为(60°,100%,100%),绿色的H、S、V值为(120°、100%、50%),蓝色的H、S、V值为(240°,100%,100%),若井下管道为黄色,则对图像中H、S、V值符合黄色特征的点的像素值标为255,不符合黄色特征的点的像素值标为0,由此得到了只包含两种像素值的二值图,标记出像素值为255的点坐标,记为点集M,点集M的坐标为(xM,yM);
c3、将点集M中的点的纵坐标平移,使得管道图像与铁轨图像的光学中心重合,得到点集m,点集m坐标为(xm,ym),其中
xm=xM,
ym=yM-a,
其中a为管道摄像头20与铁轨摄像头21的光学中心距离;
d、多标识线融合,
管道点的权重占比为w1,铁轨点的权重占比为w2,w1+w2=1,
本实施例中w1取0.2~0.3,w2取0.7~0.8;
将同一纵坐标的检测点横坐标按对应的权重加权融合,得到点集Q,即
(xQ,yQ)=w1(xm,ym)+w2(xs,ys),
经加权融合后的点集Q位置处于巷道中间,是车体1正常安全行驶时的必经点,w1与w2的取值影响着加权融合后Q中点的位置,w1与w2的取值过大或过小均会使加权融合后的点偏离巷道中间位置或不在车体1正常安全行驶时的必经点,会影响最终拟合目标曲线的有效性;
得到点集Q后,利用三阶贝塞尔曲线拟合融合点,从图像最下方点即yQ最小值的点作为起始点向上依次选取相邻点,4个点为一组,若最后一组小于4个点则舍弃,贝塞尔曲线由P0、P1、P2、P3四个点唯一确定,得到预测轨迹曲线B(t):
B(t)=P0(1-t)3+3P1(1-t)2t+3P2(1-t)t2+P3t3,
其中t的取值范围为[0,1],t=0表示曲线位于初始点即P0,t=1表示曲线位于终点即P3,B(t)即为目标轨迹,如图4所示;
三、控制行驶:
图像处理模块3的信号传输子模块32将预测轨迹曲线信息传输至控制模块4,控制模块4根据信息控制车体1行驶,具体控制步骤如下,
通过预测轨迹曲线B(t)得到曲率k=B′(t),
B′(t)=3(1-t)2(P1-P0)+6(1-t)t(P2-P1)+3t2(P3-P2),
车体1方向盘转动角度δ=Lkn(1+Ku2),
其中,u为速度,K为稳定性因数,L为前后轮轴距,n为转向系角传动比;
控制模块4根据实时计算的方向盘转动角度δ控制车体1行驶过程中的方向。
本实施例的导航方法,分别提取巷道中管道线点集和铁轨线点集后,利用加权融合后的点集拟合曲线,并利用控制模块4根据拟合曲线的曲率来控制车体1行驶过程中的方向盘盘转动角度,从而达到对车体1行驶的导航,相比于单一的利用铁轨线拟合曲线进行导航及单一的利用管道线拟合曲线进行导航,本实施例的导航方法能有效提高导航精度,综合利用巷道中铁轨及管道两种显著的标志物进行目标轨迹曲线的拟合,降低巷道中复杂环境对导航精度的影响;且通过对管道线点集和铁轨线点集的加权融合,得到处于巷道中间、车体1正常安全行驶时必经点的点集,由此来确定拟合曲线,并根据曲线曲率来确定控制模块4控制车体1方向盘转动的角度,更加符合车体1实际行驶位置处的方向盘转角需求,行驶安全性、稳定性更有保障。
本发明所述实例仅仅是对本发明的优选实施方式进行描述,并非对本发明构思和范围进行限定,在不脱离本发明设计思想的前提下,本领域工程技术人员对本发明的技术方案作出的各种变形和改进,均应落入本发明的保护范围。
Claims (5)
1.一种基于多标识线的井下辅助运输车辆导航方法,其特征在于,步骤如下:
一、图像采集:图像采集模块拍摄车体行驶方向前方的图像,并将图像传输至图像处理
模块;
二、生成目标轨迹:
a、图像预处理,
提取管道摄像头采集RGB图像中墙面上管道区域为感兴趣区域,采用自适应直方图增强图像亮度,通过自适应中值滤波法增强图像细节特征,提取铁轨摄像头采集RGB图像中路面上的铁轨区域为感兴趣区域,采用自适应直方图增强图像亮度,通过自适应中值滤波法增强图像细节特征;
b、提取铁轨线,提取a预处理后的铁轨摄像头采集的图像中的铁轨线点集s,
具体提取步骤如下:
b1、将a预处理后的铁轨摄像头采集的图像灰度化处理,采用sobel算子边缘检测得到边缘图像f1(x,y);
b2、分别利用长度为5的水平线性结构元素B1=[1 1 1 1 1]及长度为5的垂直线性结构元素B2=[1 1 1 1 1]T对检测的边缘图像f1(x,y)先进行形态学腐蚀处理再进行形态学膨胀处理,得到开操作图像f2(x,y),f2(x,y)即为干扰边缘图像;
b3、将边缘检测图像f1(x,y)减去干扰边缘f2(x,y)得到初步的轨道边缘图像f3(x,y);
b4、扫描图像f3(x,y),记图像中像素值都为1且位置相邻的像素点组成的图像区域为连通域C(x,y),统计每个连通域的像素点数目,剔除连接像素点小于阈值TII的连通域,获得优化的轨道边缘图像T(x,y);
b5、标记轨道图像T(x,y)中像素值为1的轨道边缘点,记为点集s,点集s的坐标为(xs,ys);
c、提取管道线,提取a预处理后的管道摄像头采集的图像中的管道线点集m,
具体提取步骤如下:
c1、将a预处理后的管道摄像头采集的图像由RGB空间转到HSV空间;
c2、根据井下管道的颜色对应的II、S、V值,对图像进行阈值化处理,使符合井下管道颜色特征的像素值为255,不符合井下管道颜色特征的像素值为0,得到相应的二值图,标记像素值为255的点坐标,记为点集M,点集M的坐标为(xM,yM);
c3、将点集M中的点的纵坐标平移,使得管道图像与铁轨图像的光学中心重合,得到点集m,点集m坐标为(xm,ym),其中
xm=xM,
ym=yM-a,
其中a为管道摄像头与铁轨摄像头的光学中心距离;
d、多标识线融合,
管道点的权重占比为w1,铁轨点的权重占比为w2,w1+w2=1,
将同一纵坐标的检测点横坐标按对应的权重加权融合,得到点集Q,即
(xQ,yQ)=w1(xm,ym)+w2(xs,ys),
从图像最下方点集作为起始点向上依次选取相邻点P0、P1、P2和Px,4个点为一组进行曲线拟合,不足4个点则舍弃,得到预测轨迹曲线B(t),
B(t)=P0(1-t)3+3P1(1-t)2t+3P2(1-t)t2+P3t3;
其中t的取值范围为[0,1],t=0表示曲线位于初始点即P0,t=1表示曲线位于终点即P3,
三、控制行驶:图像处理模块的信号传输子模块将预测轨迹曲线信息传输至控制模块,控制模块根据信息控制车体行驶;
具体控制步骤如下:
通过预测轨迹曲线B(t)得到曲率k=B′(t),
B′(t)=3(1-t)2(P1-P0)+6(1-t)t(P2-P1)+3t2(P3-P2),
车体方向盘转动角度δ=Lkn(1+Ku2),
其中,u为速度,K为稳定性因数,L为前后轮轴距,n为转向系角传动比;
控制模块根据实时计算的方向盘转动角度δ控制车体行驶过程中的方向。
2.一种基于多标识线的井下辅助运输车辆导航系统,基于如权利要求1所述的多标识线的井下辅助运输车辆导航方法,包括,
车体;
其特征在于,还包括:
图像采集模块,其设于车体前端,用于采集车体前方环境信息并传输;
图像处理模块,其设于车体上,接收图像采集模块传输的信息,处理生成目标轨迹并传输;
控制模块,其设于车体上,接收图像处理模块传输的信息,并根据信息控制车体行驶。
3.根据权利要求2所述的一种基于多标识线的井下辅助运输车辆导航系统,其特征在于,所述图像采集模块包括:
摄像单元,其包括在车体顶部前端呈上下布置的管道摄像头和铁轨摄像头,管道摄像头采集井下管道图像,铁轨摄像头采集井下铁轨图像;以及,
探照灯,其布置于车体车头前端。
4.根据权利要求3所述的一种基于多标识线的井下辅助运输车辆导航系统,其特征在于:所述管道摄像头和铁轨摄像头均为CCD双目摄像机,且均平行于地面安装。
5.根据权利要求4所述的一种基于多标识线的井下辅助运输车辆导航系统,其特征在于,所述图像处理模块包括:
信号转换子模块,其将图像采集模块传输的图像信息转化为数字信息;
处理单元,其处理转化后的数字信息并拟合为预测轨迹信息;
信号传输子模块,其将预测轨迹信息传输至控制模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110535239.9A CN113298727B (zh) | 2021-05-17 | 2021-05-17 | 一种基于多标识线的井下辅助运输车辆导航系统与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110535239.9A CN113298727B (zh) | 2021-05-17 | 2021-05-17 | 一种基于多标识线的井下辅助运输车辆导航系统与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113298727A CN113298727A (zh) | 2021-08-24 |
CN113298727B true CN113298727B (zh) | 2023-08-18 |
Family
ID=77322428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110535239.9A Active CN113298727B (zh) | 2021-05-17 | 2021-05-17 | 一种基于多标识线的井下辅助运输车辆导航系统与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113298727B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115100622B (zh) * | 2021-12-29 | 2023-09-22 | 中国矿业大学 | 深部受限空间无人运输设备可行驶域检测和自主避障方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5812068A (en) * | 1994-12-12 | 1998-09-22 | Baker Hughes Incorporated | Drilling system with downhole apparatus for determining parameters of interest and for adjusting drilling direction in response thereto |
CN105987684A (zh) * | 2015-12-18 | 2016-10-05 | 中国科学院合肥物质科学研究院 | 一种基于单目视觉的农业车辆导航线检测系统及方法 |
CN106500649A (zh) * | 2016-10-24 | 2017-03-15 | 中国矿业大学 | 一种基于惯性测量与轨道信标组合技术的矿井下车辆轨道变形监测方法 |
CN108776487A (zh) * | 2018-08-22 | 2018-11-09 | 中国矿业大学 | 一种矿用轨道式巡检机器人及其定位方法 |
CN109522847A (zh) * | 2018-11-20 | 2019-03-26 | 中车株洲电力机车有限公司 | 一种基于深度图的轨道和道路障碍物检测方法 |
KR20190033759A (ko) * | 2017-09-22 | 2019-04-01 | 현대모비스 주식회사 | 차량의 측위 장치 및 방법 |
CN109753081A (zh) * | 2018-12-14 | 2019-05-14 | 中国矿业大学 | 一种基于机器视觉的巷道巡检无人机系统及导航方法 |
CN110162036A (zh) * | 2019-04-09 | 2019-08-23 | 中国矿业大学 | 一种掘进机自主导航定位系统及其方法 |
CN111735445A (zh) * | 2020-06-23 | 2020-10-02 | 煤炭科学研究总院 | 融合单目视觉与imu的煤矿巷道巡检机器人系统及导航方法 |
CN112731926A (zh) * | 2020-12-21 | 2021-04-30 | 东风商用车有限公司 | 矿区商用车自动驾驶方法和系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4229358B2 (ja) * | 2001-01-22 | 2009-02-25 | 株式会社小松製作所 | 無人車両の走行制御装置 |
-
2021
- 2021-05-17 CN CN202110535239.9A patent/CN113298727B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5812068A (en) * | 1994-12-12 | 1998-09-22 | Baker Hughes Incorporated | Drilling system with downhole apparatus for determining parameters of interest and for adjusting drilling direction in response thereto |
CN105987684A (zh) * | 2015-12-18 | 2016-10-05 | 中国科学院合肥物质科学研究院 | 一种基于单目视觉的农业车辆导航线检测系统及方法 |
CN106500649A (zh) * | 2016-10-24 | 2017-03-15 | 中国矿业大学 | 一种基于惯性测量与轨道信标组合技术的矿井下车辆轨道变形监测方法 |
KR20190033759A (ko) * | 2017-09-22 | 2019-04-01 | 현대모비스 주식회사 | 차량의 측위 장치 및 방법 |
CN108776487A (zh) * | 2018-08-22 | 2018-11-09 | 中国矿业大学 | 一种矿用轨道式巡检机器人及其定位方法 |
CN109522847A (zh) * | 2018-11-20 | 2019-03-26 | 中车株洲电力机车有限公司 | 一种基于深度图的轨道和道路障碍物检测方法 |
CN109753081A (zh) * | 2018-12-14 | 2019-05-14 | 中国矿业大学 | 一种基于机器视觉的巷道巡检无人机系统及导航方法 |
CN110162036A (zh) * | 2019-04-09 | 2019-08-23 | 中国矿业大学 | 一种掘进机自主导航定位系统及其方法 |
CN111735445A (zh) * | 2020-06-23 | 2020-10-02 | 煤炭科学研究总院 | 融合单目视觉与imu的煤矿巷道巡检机器人系统及导航方法 |
CN112731926A (zh) * | 2020-12-21 | 2021-04-30 | 东风商用车有限公司 | 矿区商用车自动驾驶方法和系统 |
Non-Patent Citations (1)
Title |
---|
基于NMPC的地下无人铲运机反应式导航系统;罗维东等;煤炭学报(第4期);第332-342页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113298727A (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102682292B (zh) | 基于单目视觉的道路边缘检测及粗定位方法 | |
CN103386975B (zh) | 一种基于机器视觉的车辆避障方法及系统 | |
CN103177246B (zh) | 基于动态区域划分的双模型车道线识别方法 | |
CN111563412B (zh) | 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法 | |
CN110232835B (zh) | 一种基于图像处理的地下车库停车位检测方法 | |
CN110782673A (zh) | 一种基于无人机拍摄云端计算的车辆违章识别检测系统 | |
CN107316486A (zh) | 基于双摄像头的无人驾驶汽车视觉识别系统 | |
CN106864458B (zh) | 一种自动绕障系统及方法、智能汽车 | |
CN101608924A (zh) | 一种基于灰度估计和级联霍夫变换的车道线检测方法 | |
CN104008645A (zh) | 一种适用于城市道路车道线预测及预警方法 | |
CN109190483B (zh) | 一种基于视觉的车道线检测方法 | |
CN105654073A (zh) | 一种基于视觉检测的速度自动控制方法 | |
CN107576667A (zh) | 一种基于线阵红外摄像机的铁轨扣件异常检测系统 | |
CN106326822A (zh) | 车道线检测的方法及装置 | |
CN104700072A (zh) | 基于车道线历史帧的识别方法 | |
CN113298727B (zh) | 一种基于多标识线的井下辅助运输车辆导航系统与方法 | |
CN112084900A (zh) | 一种基于视频分析的地下车库乱停检测方法 | |
CN103902985A (zh) | 一种基于roi的强鲁棒性实时车道侦测算法 | |
CN107578046B (zh) | 一种基于图像二值化处理的辅助车辆行驶方法 | |
CN110733416B (zh) | 一种基于逆透视变换的车道偏离预警方法 | |
CN111783666A (zh) | 一种基于连续视频帧角点特征匹配的快速车道线检测方法 | |
CN107792052B (zh) | 有人或无人双模驾驶电动工程车 | |
CN106803073B (zh) | 基于立体视觉目标的辅助驾驶系统及方法 | |
CN110688903B (zh) | 一种基于列车aeb系统摄像头数据的障碍物提取方法 | |
CN112720408B (zh) | 一种全地形机器人视觉导航控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |