CN109753081B - 一种基于机器视觉的巷道巡检无人机系统及导航方法 - Google Patents

一种基于机器视觉的巷道巡检无人机系统及导航方法 Download PDF

Info

Publication number
CN109753081B
CN109753081B CN201811532340.3A CN201811532340A CN109753081B CN 109753081 B CN109753081 B CN 109753081B CN 201811532340 A CN201811532340 A CN 201811532340A CN 109753081 B CN109753081 B CN 109753081B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
camera
roadway
pipeline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811532340.3A
Other languages
English (en)
Other versions
CN109753081A (zh
Inventor
程健
郭雪亮
郭一楠
安鸿波
陈亮
李会军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coal Science Research Institute
China University of Mining and Technology CUMT
Original Assignee
Coal Science Research Institute
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coal Science Research Institute, China University of Mining and Technology CUMT filed Critical Coal Science Research Institute
Priority to CN201811532340.3A priority Critical patent/CN109753081B/zh
Publication of CN109753081A publication Critical patent/CN109753081A/zh
Application granted granted Critical
Publication of CN109753081B publication Critical patent/CN109753081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的巷道巡检无人机系统及导航方法,采用单目相机获取高质量巷道空间图像,通过机器视觉算法对图像中的管道进行检测和处理,计算出管道中心到相机光心的距离和夹角,进一步得出巡检无人机在巷道中的偏航角,并反馈到无人机飞行控制器调整航向。同时通过超声波距离传感器实时检测同巷道边界和障碍物的距离,确保巡检无人机在巷道内的安全飞行,完成巡检任务。本发明无需在巷道中架设轨道等设备,显著降低巡检机器人的导航成本;另外本发明有效克服巷道环境有限光照条件对导航精度的影响,计算复杂度低,能满足巷道等狭闭空间巡检的实时性要求,从而适用于矿井巷道等狭闭空间中用于危险因素检测的巡检无人机导航和避障。

Description

一种基于机器视觉的巷道巡检无人机系统及导航方法
技术领域
本发明涉及一种基于机器视觉的巷道巡检无人机系统及导航方法,属于导航技术领域。
背景技术
对矿井巷道中聚集的危险气体、积水等危险因素进行日常巡检,是保障矿井生产和人员安全的至关重要环节。巷道中的危险气体通常是指煤炭或含碳质页岩非煤矿床开采过程中,从煤层和岩层中涌出的爆炸性气体。其主要成分主要是甲烷、一氧化碳、硫化氢、二氧化硫和重碳氢化合物,等。巷道积水会使空气潮湿,使井下各类电气生产设备容易产生锈蚀,导致短路故障。因此,对巷道的潜在危险因素进行日常巡检至关重要。目前,巷道巡检通常采用人工巡检方式。文献(李学民.矿用巡检机器人关键技术分析[J].煤矿机械,2018(5).)中提到,人工巡检效率低且主观性强,危险因素判断依赖于工人经验,缺乏科学、客观且准确的判定依据,已不能满足数字矿山的建设需求。
巷道巡检机器人虽然可以最大程度减轻巡检人员的劳动强度,实现比较客观、科学且稳定的危险因素判定,但是由于巷道狭闭空间中传统定位方法存在布局困难、成本昂贵、计算代价高等不足,使巡检机器人导航成为其实施难点。因此,有必要给出一种适用于巷道工作环境的快速简便巡检机器人导航方法。面向类似于巷道的狭闭工作环境,已给出多种其他类型巡检机器人导航方法。专利(曹现刚,靳子浩,殷玉萍,等.井下巷道悬线巡检防爆机器人,2016.)公开了一种悬线巡检机器人,利用预先架设好的钢丝绳来引导机器人在巷道中运动,并进行环境参数的全面监测。文献(裴文良,张树生,李军伟.矿用巡检机器人设计及其应用[J].制造业自动化,2017,39(2):73-74.)研制了一种采用轨道行走的自动巡检机器人,利用预先架设的工字钢轨道对巷道、变电站实现关键监测量巡检。文献(李和平,陈育新.基于物联网的矿井智能巡检机器人控制系统设计[J].机床与液压,2015,43(11):119-122.)采用基于激光雷达的SLAM,建立环境的平面地图,实现机器人定位和导航。专利(刘禹,柳贵东,邹伟,等.基于射频识别技术的自动巡检机器人系统.2005.)通过建立由多个射频识别设备组成的系统,实现巡检机器人自主导航。文献(刘伟军,董再励,郝颖明,等.基于立体视觉的移动机器人自主导航定位系统[J].高技术通讯,2001,11(10):91-94.)采用双目立体视觉SLAM,完成对环境建图,并根据实时计算出的机器人位姿,导引其向目标移动。综上所述,目前的狭闭空间巡检机器人通常采用架设线缆或者轨道引导方式,利用SLAM构建地图或者射频识别方式,实现其运动导航。但是,上述方式在矿井巷道中不易实施,存在基站布局复杂、设备成本高、算法复杂且耗时,易受环境光照条件及噪声影响等问题。考虑到无人机结构紧凑、轻巧可靠,不受巷道地面地形条件限制,可以稳定飞行,并搭载相机等设备实现巷道巡检。此外,采用无人机实现巷道巡检,可以避免架设轨道和额外的巷道施工,省时、高效、巡检成本低。因此如何对巷道巡检无人机系统进行导航是本行业所要解决的问题。
发明内容
本发明提供一种基于机器视觉的巷道巡检无人机系统及导航方法,采用单目相机拍摄得到的巷道环境图像信息及超声波距离传感器的反馈信息对无人机在巷道巡检时的实时导航,无需采用SLAM构建地图,降低了巡检导航方法的计算复杂性,削弱了光照不均等噪声对导航精度的影响。
为了实现上述的目的,本发明采用如下的技术方案:
一种基于机器视觉的巷道巡检无人机系统,包括无人机载体、超声波距离传感器、控制板、单目相机、机载处理器、飞行控制器和照明灯;所述超声波距离传感器分别安装在巡检无人机的上、下、左、右、前、后六个方向,所有的超声波距离传感器通过RS485总线和控制板相连,获取与巷道边界的距离信息;所述控制板通过USART收发器与无人机飞行控制器相连;所述单目相机通过USB接口,连接无人机机载处理器,实时获取和处理图像,并计算无人机偏航角;所述机载处理器通过USART收发器与无人机飞行控制器相连,实时更新无人机的航向信息,调整其位姿;所述照明灯安装在无人机载体的正前方,实现单目相机的光照补偿,改善获取图像质量。
一种基于机器视觉的巷道巡检无人机系统导航方法,包括如下步骤:
步骤1)建立巷道巡检无人机系统;
步骤2)结合步骤1)所构建的巷道巡检无人机系统,建立单目相机的小孔成像模型,并对相机参数进行标定;
步骤3)根据单目相机获得的巷道环境图像,提取巷道中的管道轮廓信息,判定巡检无人机的偏航角;
步骤4)根据超声波距离传感器的检测信息,判定巡检无人机与巷道边界和障碍物的距离;
步骤5)根据获取的巡检无人机位置信息,实施其航向调节。
进一步,所述步骤2)的具体过程为:
21)采用单目相机采集棋盘格标定板图像;
22)对相机参数进行标定,获得相机内参矩阵
Figure GDA0002518595080000031
和畸变向量Vdist=[ktan1 ktan2 ktan3 qrad1 qrad2];其中,fx、fy分别表示单目相机在X和Y方向上的焦距,(cx,cy)表示单目相机主光轴在像素坐标系下的坐标,ktan1、ktan2、ktan3为单目相机切向畸变系数,qrad1、qrad2为单目相机径向畸变系数;
进一步,所述步骤3)的具体步骤为:
31)将单目相机采集的巷道RGB图像,沿竖直方向分割成
Figure GDA0002518595080000033
张小图,记RGB图像中某一像素的值为r、g、b,转换到HSV颜色空间之后的像素值为h,s,v。对r、g、b归一化为r′=r/255,g′=g/255,b′=b/255,中间变量
Cmax=max(r′,g′,b′)、Cmin=min(r′,g′,b′)、Δ=Cmax-Cmin
Figure GDA0002518595080000032
v=Cmax;遍历RGB图像上所有的像素点,采用上述公式能够转换到HSV颜色空间;
32)在H、S、V三个颜色通道上选择合适的阈值对图像进行阈值化处理,得到相应的二值图。该阈值满足能够使符合管道颜色特征的像素值为255,其余像素值为0;
33)采用Canny算法,检测二值图中的边缘轮廓,得到满足颜色特征的轮廓;
34)设轮廓面积与其最小包围矩形面积之比的阈值为0.8;根据该阈值,对所有的轮廓进行判定,剔除非管道轮廓,得到满足颜色特征的管道轮廓,且数量记为N2,若N2小于2,则返回步骤3);
35)记m∈[0,N2);矩形ABCD为第m个管道轮廓最小外接矩形,A、B、C、D为矩形顶点,E为矩形中心点,对角线所在直线为l1m:y=k1mx+b1m和l2m:y=k2mx+b2m,k1m和k2m为对角线斜率,b1m和b2m为对角线在y轴上的截距;点集UPm、DOWNm为第m个管道轮廓在△ADE、△BCE所包围区域内的像素点集合,△ADE为由A、D、E围成的三角形,△BCE为由B、C、E围成的三角形;记p(xmj,ymj)为第m个管道轮廓上第j个像素点,Sm为第m个管道轮廓上的像素点规模,则遍历第m个管道轮廓上的所有像素点,
Figure GDA0002518595080000041
(0≤j<Sm),得到像素点集UPm和DOWNm
36)采用最小二乘法,拟合得到像素点集UPm和DOWNm所对应的直线lupm:y=kumx+bum和ldownm:y=kdmx+bdm,其中,kum和kdm分别表示直线lupm和ldownm的斜率,bum和bdm分别表示直线lupm和ldownm在y轴上的截距;以像素点集UPm所对应的直线lupm为例,记pum(xmi,ymi),0≤i<Spm为UPm像素点集中的第i个像素点,Spm为相应像素点集规模,其在直线lupm上的误差函数,记为Emi=ymi-(kumxmi+bum),根据最小化代价函数
Figure GDA0002518595080000042
计算得到直线lupm的斜率kum和截距值bum
37)记第m个管道轮廓所对应直线lum和ldm之间的斜率差绝对值为em=|kum-kdm|,根据em的大小对N2个管道轮廓依次做升序排列,记其序值为k=sort(em),且有k|miniem=0;选取k=1的管道轮廓,假设其对应的斜率差绝对值为eM,记阈值ε为直线lupm和ldownm的平行度,若满足eM>ε,则返回步骤3);
38)对k=0和k=1的两个管道轮廓,分别计算其中心点C0(xc0,yc0)和C1(xc1,yc1),和中心点到相机光心的距离L0、L1,以及C0和C1在相机坐标系下的真实坐标P0和P1
39)设O-XYZ为相机坐标系,在该坐标系中,管道所在向量为
Figure GDA0002518595080000043
Figure GDA0002518595080000051
相机光轴单位向量为
Figure GDA0002518595080000052
两者夹角为
Figure GDA0002518595080000053
进而得到偏航角
Figure GDA0002518595080000054
W为单目相机采集图像的图像宽度(图像宽度以水平像素值计)。
进一步,所述步骤38)的具体步骤为:
381)计算中心点C0(xc0,yc0)和C1(xc1,yc1),以k=0的管道轮廓为例,其中心点坐标满足
Figure GDA0002518595080000055
假设一条穿过中心点C0的线段,与直线lupm和ldownm相交于像素点M(xM0,yM0)和N(xN0,yN0),且满足以下约束:kum*xM0+bum=yM0,kdm*xN0+bdm=yN0,(yM0-yc0)/(xM0-xc0)=(yN0-yc0)/(xN0-xc0),选取具有最小线段长度
Figure GDA0002518595080000056
的点,记为M(xM0,yM0)和N(xN0,yN0);同样,能够选取k=1的管道轮廓相对应的像素点M(xM1,yM1)和N(xN1,yN1);
382)对图像上任意一像素点p(xi,yi),记其在相机归一化平面上的坐标为(xn,yn,1),有xn=(xi-cx)/fx,yn=(yi-cy)/fy;对其进行径向和切向畸变矫正之后,得到矫正后的坐标为(xcor,ycor,1),有
Figure GDA0002518595080000057
Figure GDA0002518595080000058
Figure GDA0002518595080000059
其中,
Figure GDA00025185950800000510
将矫正后的像素点重投影到图像平面上,得到畸变矫正之后的像素坐标为(xrep,yrep),有xrep=fxxcor+cx,xrep=fyxcor+cy
383)以M(xM0,yM0)和N(xN0,yN0)为例,代入步骤382),得到其畸变矫正之后的像素坐标为M(xMrep0,yMrep0)和N(xNrep0,yNrep0),进而得到相应线段长度为
Figure GDA00025185950800000511
k=0的管道轮廓在单目相机小孔成像模型中,△EOF与△MON相似,则得到线段MN到相机光心的距离为L0=D/dMN0,其中,D为巷道中通信或电力传输管道的直径;同样,代入M(xM1,yM1)和N(xN1,yN1)得到L1
384)求解C0和C1以及其在相机坐标系下的真实坐标P0和P1;已知任意一个像素点p(xi,yi)在相机归一化平面去畸变之后的坐标为(xcor,ycor,1);中心点C0在相机归一化平面去畸变之后的坐标为(xcor0,ycor0,1),且该点到相机坐标系原点的距离为L0;记其在相机坐标系下的真实坐标为P0(X0,Y0,Z0),其同相机归一化平面上坐标缩放系数为
Figure GDA0002518595080000061
有X0=s0xcor0,Y0=s0ycor0,Z0=s0;同样重复上述过程,中心点C1在相机归一化平面去畸变之后的坐标为(xcor1,ycor1,1),且该点到相机坐标系原点的距离为L1;记其在相机坐标系下的真实坐标为P1(X1,Y1,Z1),其同相机归一化平面上坐标缩放系数为
Figure GDA0002518595080000062
有X1=s1xcor1,Y1=s1ycor1,Z1=s1
与现有技术相比,本发明的采用单目相机拍摄图像得到巷道环境图像信息,实现快速、高效的巷道环境检测和飞行方向指导,能满足巡检无人机导航实时性要求,适用于矿井巷道等狭闭空间中用于危险因素检测的巡检无人机导航和避障。另外巷道巡检无人机系统可以避免在巷道中架设轨道施、安装激光雷达等设备,显著降低巡检机器人的导航成本,具有良好的可操作性;基于机器视觉的导航方法可以根据巷道的显著标志物实现无人机的飞行轨迹指导,有效克服巷道环境有限光照条件对导航精度的影响,计算复杂度低,能满足巷道等狭闭空间巡检的实时性要求。这种方式对实现矿井机器人化和智能化具有深远意义。
附图说明
图1是原始采集图像划分N1示意图;
图2是提取管道上下边沿轮廓及拟合直线示意图;
图3是单目相机小孔成像原理图;
图4是巡检无人机偏航角计算原理图。
具体实施方式
下面结合附图对本发明做进一步描述,以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
本发明所涉及的基于机器视觉的巷道巡检无人机系统为,无人机载体上的锂电池为整个系统提供动力来源;通电后,所有的部件进行初始化,包括无人机IMU初始化和机载处理器自启动等;初始化成功之后巡检无人机起飞并悬停到合适高度,机载处理器实时处理单目相机采集到的图像,检测巷道环境中的管道并计算偏航角,实时引导无人机进行巡检工作。
本专利采用基于视觉的巷道巡检无人机系统后,采用的导航方法如下:
步骤1)建立巷道巡检无人机系统;
步骤2)结合步骤1)所构建的巷道巡检无人机系统,建立单目相机的小孔成像模型,并对相机参数进行标定。具体步骤为:
21)采用单目相机采集棋盘格标定板图像;
22)对相机参数进行标定,获得相机内参矩阵
Figure GDA0002518595080000071
和畸变向量Vdist=[ktan1 ktan2 ktan3 qrad1 qrad2]。其中,fx、fy分别表示单目相机在X和Y方向上的焦距,(cx,cy)表示单目相机主光轴在像素坐标系下的坐标,ktan1、ktan2、ktan3为单目相机切向畸变系数,qrad1、qrad2为单目相机径向畸变系数;
步骤3)根据单目相机获得的巷道环境图像,提取巷道中的管道轮廓信息,判定巡检无人机的偏航角。具体步骤为:
31)将单目相机采集的巷道RGB图像,沿竖直方向分割成
Figure GDA0002518595080000073
张小图,记RGB图像中某一像素的值为r、g、b,转换到HSV颜色空间之后的像素值为h,s,v。对r、g、b归一化为r′=r/255,g′=g/255,b′=b/255,
中间变量Cmax=max(r′,g′,b′)、Cmin=min(r′,g′,b′)、Δ=Cmax-Cmin,h=
Figure GDA0002518595080000072
v=Cmax;遍历RGB图像上所有的像素点,采用上述公式能够转换到HSV颜色空间;
32)在H、S、V三个颜色通道上选择合适的阈值对图像进行阈值化处理,得到相应的二值图。该阈值满足能够使符合管道颜色特征的像素值为255,其余像素值为0;
33)采用Canny算法,检测二值图中的边缘轮廓,得到满足颜色特征的轮廓;
34)设轮廓面积与其最小包围矩形面积之比的阈值为0.8;根据该阈值,对所有的轮廓进行判定,剔除非管道轮廓,得到满足颜色特征的管道轮廓,且数量记为N2,若N2小于2,则返回步骤3;
35)记m∈[0,N2);如图1所示,矩形ABCD为第m个管道轮廓最小外接矩形,A、B、C、D为矩形顶点,E为矩形中心点,对角线所在直线为l1m:y=k1mx+b1m和l2m:y=k2mx+b2m,k1m和k2m为对角线斜率,b1m和b2m为对角线在y轴上的截距;点集UPm、DOWNm为第m个管道轮廓在△ADE、△BCE所包围区域内的像素点集合,△ADE为由A、D、E围成的三角形,△BCE为由B、C、E围成的三角形;记p(xmj,ymj)为第m个管道轮廓上第j个像素点,Sm为第m个管道轮廓上的像素点规模,则遍历第m个管道轮廓上的所有像素点,
Figure GDA0002518595080000081
(0≤j<Sm),得到像素点集UPm和DOWNm
36)采用最小二乘法,拟合得到像素点集UPm和DOWNm所对应的直线lupm:y=kumx+bum和ldownm:y=kdmx+bdm,其中,kum和kdm分别表示直线lupm和ldownm的斜率,bum和bdm分别表示直线lupm和ldownm在y轴上的截距;以像素点集UPm所对应的直线lupm为例,记pum(xmi,ymi),0≤i<Spm为UPm像素点集中的第i个像素点,Spm为相应像素点集规模,其在直线lupm上的误差函数,记为Emi=ymi-(kumxmi+bum),根据最小化代价函数
Figure GDA0002518595080000082
计算得到直线lupm的斜率kum和截距值bum
37)记第m个管道轮廓所对应直线lum和ldm之间的斜率差绝对值为em=|kum-kdm|,根据em的大小对N2个管道轮廓依次做升序排列,记其序值为k=sort(em),且有
Figure GDA0002518595080000083
选取k=1的管道轮廓,假设其对应的斜率差绝对值为eM,记阈值ε为直线lupm和ldownm的平行度,若满足eM>ε,则返回步骤3);
38)对k=0和k=1的两个管道轮廓,分别计算其中心点C0(xc0,yc0)和C1(xc1,yc1),和中心点到相机光心的距离L0、L1,以及C0和C1在相机坐标系下的真实坐标P0和P1;具体过程为:
381)计算中心点C0(xc0,yc0)和C1(xc1,yc1),以k=0的管道轮廓为例,其中心点坐标满足
Figure GDA0002518595080000091
假设一条穿过中心点C0的线段,与直线lupm和ldownm相交于像素点M(xM0,yM0)和N(xN0,yN0),且满足以下约束:kum*xM0+bum=yM0,kdm*xN0+bdm=yN0,(yM0-yc0)/(xM0-xc0)=(yN0-yc0)/(xN0-xc0),选取具有最小线段长度
Figure GDA0002518595080000092
的点,记为M(xM0,yM0)和N(xN0,yN0);同样,能够选取k=1的管道轮廓相对应的像素点M(xM1,yM1)和N(xN1,yN1);
382)对图像上任意一像素点p(xi,yi),记其在相机归一化平面上的坐标为(xn,yn,1),有xn=(xi-cx)/fx,yn=(yi-cy)/fy;对其进行径向和切向畸变矫正之后,得到矫正后的坐标为(xcor,ycor,1),有
Figure GDA0002518595080000093
Figure GDA0002518595080000094
Figure GDA0002518595080000095
其中,
Figure GDA0002518595080000096
将矫正后的像素点重投影到图像平面上,得到畸变矫正之后的像素坐标为(xrep,yrep),有xrep=fxxcor+cx,xrep=fyxcor+cy
383)以M(xM0,yM0)和N(xN0,yN0)为例,代入步骤382),得到其畸变矫正之后的像素坐标为M(xMrep0,yMrep0)和N(xNrep0,yNrep0),进而得到相应线段长度为
Figure GDA0002518595080000097
以k=0的管道轮廓为例,在图3所示的单目相机小孔成像模型中,△EOF与△MON相似,则得到线段MN到相机光心的距离为L0=D/dMN0,其中,D为巷道中通信或电力传输管道的直径;同样,代入M(xM1,yM1)和N(xN1,yN1)得到L1
384)求解C0和C1以及其在相机坐标系下的真实坐标P0和P1;已知任意一个像素点p(xi,yi)在相机归一化平面去畸变之后的坐标为(xcor,ycor,1);中心点C0在相机归一化平面去畸变之后的坐标为(xcor0,ycor0,1),且该点到相机坐标系原点的距离为L0;记其在相机坐标系下的真实坐标为P0(X0,Y0,Z0),其同相机归一化平面上坐标缩放系数为
Figure GDA0002518595080000098
有X0=s0xcor0,Y0=s0ycor0,Z0=s0;同样重复上述过程,中心点C1在相机归一化平面去畸变之后的坐标为(xcor1,ycor1,1),且该点到相机坐标系原点的距离为L1;记其在相机坐标系下的真实坐标为P1(X1,Y1,Z1),其同相机归一化平面上坐标缩放系数为
Figure GDA0002518595080000099
有X1=s1xcor1,Y1=s1ycor1,Z1=s1
39)图2中,设O-XYZ为相机坐标系,在该坐标系中,管道所在向量为
Figure GDA00025185950800000910
Figure GDA0002518595080000101
相机光轴单位向量为
Figure GDA0002518595080000102
两者夹角为
Figure GDA0002518595080000103
进而得到偏航角
Figure GDA0002518595080000104
W为单目相机采集图像的图像宽度;
步骤4)根据超声波距离传感器的检测信息,判定巡检无人机与巷道边界和障碍物的距离;
步骤5)根据获取的巡检无人机位置信息,实施其航向调节。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (2)

1.一种基于机器视觉的巷道巡检无人机导航方法,其特征是,包括如下步骤:
步骤1)建立巷道巡检无人机系统;所述巷道巡检无人机系统包括无人机载体、超声波距离传感器、控制板、单目相机、机载处理器、飞行控制器和照明灯;
所述超声波距离传感器分别安装在巡检无人机的上、下、左、右、前、后六个方向,所有的超声波距离传感器通过RS485总线和控制板相连,获取与巷道边界的距离信息;
所述控制板通过USART收发器与无人机飞行控制器相连;
所述单目相机通过USB接口连接无人机机载处理器,实时获取和处理图像,并计算无人机偏航角;
所述机载处理器通过USART收发器与无人机飞行控制器相连,实时更新无人机的航向信息,调整其位姿;
所述照明灯安装在无人机载体的正前方,实现单目相机的光照补偿;
步骤2)结合步骤1)所构建的巷道巡检无人机系统,建立单目相机的小孔成像模型,并对单目相机参数进行标定;
步骤3)根据单目相机获得的巷道环境图像,提取巷道中的管道轮廓信息,判定巡检无人机的偏航角,具体过程为:
31)将单目相机采集的巷道RGB图像,沿竖直方向分割成
Figure FDA0002518595070000012
张小图,W为单目相机采集图像的图像宽度;记RGB图像中某一像素的值为r、g、b,转换到HSV颜色空间之后的像素值为h,s,v;对r、g、b归一化为r′=r/255,g′=g/255,b′=b/255,中间变量Cmax=max(r′,g′,b′)、Cmin=min(r′,g′,b′)、Δ=Cmax-Cmin
Figure FDA0002518595070000011
v=Cmax;遍历RGB图像上所有的像素点,采用上述公式能够转换到HSV颜色空间;
32)在H、S、V三个颜色通道上选择合适的阈值对图像进行阈值化处理,得到相应的二值图,该阈值满足能够使符合管道颜色特征的像素值为255,其余像素值为0;
33)采用Canny算法,检测二值图中的边缘轮廓,得到满足颜色特征的轮廓;
34)设轮廓面积与其最小包围矩形面积之比的阈值为0.8;根据该阈值,对所有的轮廓进行判定,剔除非管道轮廓,得到满足颜色特征的管道轮廓,且数量记为N2,若N2小于2,则返回步骤31);
35)记m∈[0,N2);设矩形ABCD为第m个管道轮廓最小外接矩形,A、B、C、D为矩形顶点,E为矩形中心点,对角线所在直线为l1m:y=k1mx+b1m和l2m:y=k2mx+b2m,k1m和k2m为对角线斜率,b1m和b2m为对角线在y轴上的截距;点集UPm、DOWNm为第m个管道轮廓在△ADE、△BCE所包围区域内的像素点集合,△ADE为由A、D、E围成的三角形,△BCE为由B、C、E围成的三角形;记p(xmj,ymj)为第m个管道轮廓上第j个像素点,Sm为第m个管道轮廓上的像素点规模,则遍历第m个管道轮廓上的所有像素点,
Figure FDA0002518595070000021
(0≤j<Sm),得到像素点集UPm和DOWNm
36)采用最小二乘法,拟合得到像素点集UPm和DOWNm分别所对应的直线lupm:y=kumx+bum和ldownm:y=kdmx+bdm,其中,kum和kdm分别表示直线lupm和ldownm的斜率,bum和bdm分别表示直线lupm和ldownm在y轴上的截距;以像素点集UPm所对应的直线lupm为例,记pum(xmi,ymi),0≤i<Spm为UPm像素点集中的第i个像素点,Spm为相应像素点集规模,其在直线lupm上的误差函数,记为Emi=ymi-(kumxmi+bum),根据最小化代价函数
Figure FDA0002518595070000022
计算得到直线lupm的斜率kum和截距值bum
37)记第m个管道轮廓所对应直线lum和ldm之间的斜率差绝对值为em=|kum-kdm|,根据em的大小对N2个管道轮廓依次做升序排列,记其序值为k=sort(em),且有k|miniem=0;选取k=1的管道轮廓,假设其对应的斜率差绝对值为eM,记阈值ε为直线lupm和ldownm的平行度,若满足eM>ε,则返回步骤31);
38)对k=0和k=1的两个管道轮廓,分别计算其中心点C0(xc0,yc0)和C1(xc1,yc1),和中心点到相机光心的距离L0、L1,以及C0和C1在相机坐标系下的真实坐标P0和P1,具体过程为:
381)计算中心点C0(xc0,yc0)和C1(xc1,yc1),设k=0的管道轮廓,其中心点坐标满足
Figure FDA0002518595070000031
假设一条穿过中心点C0的线段,与直线lupm和ldownm相交于像素点M(xM0,yM0)和N(xN0,yN0),且满足以下约束:kum*xM0+bum=yM0,kdm*xN0+bdm=yN0,(yM0-yc0)/(xM0-xc0)=(yN0-yc0)/(xN0-xc0),选取具有最小线段长度
Figure FDA0002518595070000032
的点,记为M(xM0,yM0)和N(xN0,yN0);同样重复上述过程,能够选取k=1的管道轮廓相对应的像素点M(xM1,yM1)和N(xN1,yN1);
382)对图像上任意一像素点p(xi,yi),记其在相机归一化平面上的坐标为(xn,yn,1),有xn=(xi-cx)/fx,yn=(yi-cy)/fy;对其进行径向和切向畸变矫正之后,得到矫正后的坐标为(xcor,ycor,1),有
Figure FDA0002518595070000033
Figure FDA0002518595070000034
Figure FDA0002518595070000035
其中,
Figure FDA0002518595070000036
将矫正后的像素点重投影到图像平面上,得到畸变矫正之后的像素坐标为(xrep,yrep),有xrep=fxxcor+cx,xrep=fyxcor+cy
383)将M(xM0,yM0)和N(xN0,yN0)代入步骤382),得到其畸变矫正之后的像素坐标为M(xMrep0,yMrep0)和N(xNrep0,yNrep0),进而得到相应线段长度为
Figure FDA0002518595070000037
k=0的管道轮廓在单目相机小孔成像模型中,△EOF与△MON相似,则得到线段MN到相机光心的距离为L0=D/dMN0,其中,D为巷道中通信或电力传输管道的直径;同样重复上述过程,代入M(xM1,yM1)和N(xN1,yN1)得到L1
384)求解C0和C1以及其在相机坐标系下的真实坐标P0和P1;已知任意一个像素点p(xi,yi)在相机归一化平面去畸变之后的坐标为(xcor,ycor,1);中心点C0在相机归一化平面去畸变之后的坐标为(xcor0,ycor0,1),且该点到相机坐标系原点的距离为L0;记其在相机坐标系下的真实坐标为P0(X0,Y0,Z0),其同相机归一化平面上坐标缩放系数为
Figure FDA0002518595070000041
有X0=s0xcor0,Y0=s0ycor0,Z0=s0;同样重复上述过程,中心点C1在相机归一化平面去畸变之后的坐标为(xcor1,ycor1,1),且该点到相机坐标系原点的距离为L1;记其在相机坐标系下的真实坐标为P1(X1,Y1,Z1),其同相机归一化平面上坐标缩放系数为
Figure FDA0002518595070000042
有X1=s1xcor1,Y1=s1ycor1,Z1=s1
39)设O-XYZ为相机坐标系,在该坐标系中,管道所在向量为
Figure FDA0002518595070000043
Figure FDA0002518595070000044
相机光轴单位向量为
Figure FDA0002518595070000045
两者夹角为
Figure FDA0002518595070000046
进而得到偏航角
Figure FDA0002518595070000047
W为单目相机采集图像的图像宽度;
步骤4)根据超声波距离传感器的检测信息,判定巡检无人机与巷道边界和障碍物的距离;
步骤5)根据步骤3)和步骤4)获取的巡检无人机实时位置信息,实施其航向调节。
2.根据权利要求1所述的一种基于机器视觉的巷道巡检无人机导航方法,其特征是,所述步骤2)的具体过程为:
21)单目相机采用棋盘格标定板的方式采集图像;
22)对单目相机参数进行标定,获得相机内参矩阵
Figure FDA0002518595070000048
和畸变向量Vdist=[ktan1 ktan2 ktan3 qrad1 qrad2];其中,fx、fy分别表示单目相机在X和Y方向上的焦距,(cx,cy)表示单目相机主光轴在像素坐标系下的坐标,ktan1、ktan2、ktan3为单目相机切向畸变系数,qrad1、qrad2为单目相机径向畸变系数。
CN201811532340.3A 2018-12-14 2018-12-14 一种基于机器视觉的巷道巡检无人机系统及导航方法 Active CN109753081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811532340.3A CN109753081B (zh) 2018-12-14 2018-12-14 一种基于机器视觉的巷道巡检无人机系统及导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811532340.3A CN109753081B (zh) 2018-12-14 2018-12-14 一种基于机器视觉的巷道巡检无人机系统及导航方法

Publications (2)

Publication Number Publication Date
CN109753081A CN109753081A (zh) 2019-05-14
CN109753081B true CN109753081B (zh) 2020-08-21

Family

ID=66403784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811532340.3A Active CN109753081B (zh) 2018-12-14 2018-12-14 一种基于机器视觉的巷道巡检无人机系统及导航方法

Country Status (1)

Country Link
CN (1) CN109753081B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162098A (zh) * 2019-07-03 2019-08-23 安徽理工大学 一种矿用无人机
CN110316376A (zh) * 2019-07-03 2019-10-11 安徽理工大学 一种用于探测矿井火灾的无人机
CN110533650B (zh) * 2019-08-28 2022-12-13 哈尔滨工程大学 一种基于视觉的auv水下管道检测跟踪方法
CN110674724B (zh) * 2019-09-20 2022-07-15 武汉大学 基于主动策略和影像传感器的机器人目标识别方法及系统
CN110674792B (zh) * 2019-10-17 2021-12-24 河南四建工程有限公司 基于神经网络的施工进度监测装置及方法
CN113256551B (zh) * 2021-01-21 2023-03-14 中国煤炭科工集团太原研究院有限公司 基于机器视觉的巷道顶板刚带钻孔识别定位系统及方法
CN113298727B (zh) * 2021-05-17 2023-08-18 中国矿业大学 一种基于多标识线的井下辅助运输车辆导航系统与方法
CN113573232B (zh) * 2021-07-13 2024-04-19 深圳优地科技有限公司 机器人巷道定位方法、装置、设备及存储介质
CN115100622B (zh) * 2021-12-29 2023-09-22 中国矿业大学 深部受限空间无人运输设备可行驶域检测和自主避障方法
CN114067001B (zh) * 2022-01-14 2022-04-26 天津所托瑞安汽车科技有限公司 车载相机角度标定方法、终端及存储介质
CN116012728A (zh) * 2023-02-07 2023-04-25 北京交通大学 应用于无人机巡检的轨道线路识别跟踪方法及系统
CN116929308B (zh) * 2023-09-18 2023-11-28 众芯汉创(江苏)科技有限公司 一种基于杆塔任意点位信息的无人机绕飞摄影方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108132675A (zh) * 2017-11-23 2018-06-08 东南大学 一种工厂巡视无人机自主路径巡航以及智能避障方法
CN108765444A (zh) * 2018-05-25 2018-11-06 哈尔滨工业大学 基于单目视觉的地面t形运动目标检测与定位方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682292B (zh) * 2012-05-10 2014-01-29 清华大学 基于单目视觉的道路边缘检测及粗定位方法
US10564649B2 (en) * 2015-03-02 2020-02-18 Izak Jan van Cruyningen Flight planning for unmanned aerial tower inspection
CN106681353B (zh) * 2016-11-29 2019-10-25 南京航空航天大学 基于双目视觉与光流融合的无人机避障方法及系统
CN106645205A (zh) * 2017-02-24 2017-05-10 武汉大学 一种无人机桥梁底面裂纹检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108132675A (zh) * 2017-11-23 2018-06-08 东南大学 一种工厂巡视无人机自主路径巡航以及智能避障方法
CN108765444A (zh) * 2018-05-25 2018-11-06 哈尔滨工业大学 基于单目视觉的地面t形运动目标检测与定位方法

Also Published As

Publication number Publication date
CN109753081A (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
CN109753081B (zh) 一种基于机器视觉的巷道巡检无人机系统及导航方法
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
CN108181636B (zh) 石化工厂巡检机器人环境建模与地图构建装置和方法
Loupos et al. Autonomous robotic system for tunnel structural inspection and assessment
CN106607907B (zh) 一种移动视觉机器人及其测控方法
CN109911188B (zh) 非卫星导航定位环境的桥梁检测无人机系统
CN109115173A (zh) 基于直线定位模型的掘进机机身位姿单目视觉测量方法
CN109696663A (zh) 一种车载三维激光雷达标定方法和系统
CN111735445B (zh) 融合单目视觉与imu的煤矿巷道巡检机器人系统及导航方法
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN112923904B (zh) 面向多无人机协同摄影测量的地质灾害隐患探测方法
CN112060106A (zh) 矿用巡检机器人的巡检系统及巡检机器人群的巡检方法
CN104457719B (zh) 类矩形盾构施工的姿态测量装置及测量方法
CN106052645A (zh) 一种悬臂式掘进机空间位姿实时检测系统及方法
CN111027118B (zh) 一种实测实量任务点搜索与任务派发方法及系统
KR102106452B1 (ko) Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법
CN111721279A (zh) 一种适用于输电巡检工作的末端路径导航方法
CN108564628A (zh) 一种面向掘进机自动化的截割头视觉定位定向系统
Chataigner et al. Arsi: an aerial robot for sewer inspection
CN113050685A (zh) 一种煤矿井下无人机自主巡检的方法
CN112033400A (zh) 一种基于捷联惯导与视觉组合的煤矿移动机器人智能定位方法及系统
CN210377164U (zh) 一种空地协同作业系统
CN109115172A (zh) 基于机器视觉的采煤机机身位姿检测方法
Alsadik et al. The rise in uav inspections for civil infrastructure
Wang et al. Efficient and accurate mapping method of underground metal mines using mobile mining equipment and solid-state lidar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200722

Address after: 100020 No.5 Qingnian Gou East Road, Hepingli, Chaoyang District, Beijing

Applicant after: Coal Science Research Institute

Applicant after: China University of Mining and Technology

Address before: 221000 Jiangsu city of Xuzhou province university Quanshan District Road No. 1

Applicant before: China University of Mining and Technology

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant