CN116678395A - 基于2d激光与视觉边缘线动态融合的养殖巡检机器人导航方法与系统 - Google Patents
基于2d激光与视觉边缘线动态融合的养殖巡检机器人导航方法与系统 Download PDFInfo
- Publication number
- CN116678395A CN116678395A CN202310586625.XA CN202310586625A CN116678395A CN 116678395 A CN116678395 A CN 116678395A CN 202310586625 A CN202310586625 A CN 202310586625A CN 116678395 A CN116678395 A CN 116678395A
- Authority
- CN
- China
- Prior art keywords
- line
- value
- navigation
- laser
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 230000000007 visual effect Effects 0.000 title claims abstract description 94
- 238000007689 inspection Methods 0.000 title claims abstract description 89
- 230000004927 fusion Effects 0.000 title claims abstract description 17
- 238000009395 breeding Methods 0.000 title claims description 14
- 230000001488 breeding effect Effects 0.000 title claims description 14
- 238000012216 screening Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 13
- 238000009313 farming Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 7
- 238000000342 Monte Carlo simulation Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 238000003708 edge detection Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 8
- 239000002245 particle Substances 0.000 description 6
- 244000144977 poultry Species 0.000 description 6
- 230000007547 defect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009374 poultry farming Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明属于计算机视觉与机器人领域，公开了一种基于2D激光与视觉边缘线动态融合的养殖巡检机器人导航方法与系统。本发明包括如下步骤：截取图片，并去除其噪声；使用边缘检测与直线拟合方法提取其中直线特征；筛选过道缘线特征并绘制两侧巡检导航线，再将带有导航线的图片转换为BEV图片，并计算BEV图像中视觉导航偏航角；构建全局初始化地图；将视觉导航线作为当前的激光全局规划路径，利用局部路径规划方法进行局部路径调整；进行2D激光雷达与栅格地图与的匹配，并计算与目标点的偏航角；根据不同导航方法的可靠性Rvison、Rlaser以及相应的偏航角来调节实际位置的偏航角度φ，从而调整巡检机器人的位姿。本发明利于实现养殖场巡检机器人的导航与定位。
Description
技术领域
本发明属于计算机视觉与机器人领域，特别涉及一种基于2D激光与视觉边缘线动态融合的养殖巡检机器人导航方法与系统，适用于养殖场巡检机器人的导航与定位。
背景技术
在科技进步的同时，自动化技术也在迅速发展，以满足现代社会对高效率、低成本、短时间的需求。然而，禽类养殖业的自动化技术在实际生产过程中一直处于行业劣势。大型成规模的禽类养殖场逐渐取代了小型的禽类养殖场，由于禽类养殖场面积的增大对于其日常生产管理等带来诸多问题。尤其在大规模的禽类养殖厂中，时常会出现检测盲区，固定的传感器不能准确表示大范围养殖厂每个巡检位置的实际体感温度与湿度，这些异常温度不能被及时发现，随着时间的增长就可能会造成大范围禽类的死亡，增加了禽类养殖的风险。
传统的吊轨式、轨道式、循迹式巡检方式都存在一定的弊端，比如，吊轨式、轨道式巡检机器人需要在养殖场铺设对应的吊轨与轨道，其造价成本高且使用范围局限。循迹式的机器人其轨迹容易因磨损需要定期维护，存在维护方面的不便。SLAM技术(Simultaneouslocalization and mapping)可以根据自身搭载的传感器信息，在不改变周围环境的同时，实现自身定位与环境地图的构建，确保巡检机器人在养殖的安全运行。激光可以快速获取准确的位置信息，他的感知范围更长，并且获取的信息准确，但激光SLAM技术对机器人的运动状态比较敏感，类似加速度和转弯等动作都可能对激光SLAM的精度产生影响，此外，激光SLAM容易产生累计误差。视觉相机获取到的信息丰富，并且具有价格便宜、安装方便的优势，但它容易受到不良光照、遮挡等因素的影响，造成视觉SLAM方法失效。综上，目前单一的视觉或者激光导航方法都存在各自的缺陷，无法适用于养殖场巡检机器人的导航与定位。
发明内容
本发明结合养殖场的实际环境，提出了一种基于2D激光与视觉边缘线动态融合的养殖巡检机器人导航方法，该方法融合了视觉导航与激光导航方法的优势，在不需要改变外界环境的条件下，能够实现自主定位与导航，从而代替人工完成高效率的养殖环境巡检任务。
本发明为了实现上述目的，采用如下技术方案：
基于2D激光与视觉边缘线动态融合的养殖巡检机器人导航方法，包括如下步骤：
步骤1.截取相机捕获图片中过道部分信息，并去除过道边缘线噪声；
步骤2.对步骤1去噪后的图片进行过道线检测与直线拟合，提取其中的直线特征；
步骤3.从步骤2提取出的直线中筛选出过道边缘线，根据过道边缘线宽度绘制两侧巡检视觉导航线，再将带有巡检视觉导航线的图片转换为BEV图片；
计算BEV图像中视觉导航偏航角度值；
步骤4.构建全局初始化地图；
步骤5.将步骤3中经过视觉处理得到的巡检视觉导航线作为当前的激光全局规划路径，利用局部路径规划方法进行局部路径调整；
步骤6.进行2D激光雷达与栅格地图与的匹配，并根据定位得出的当前巡检机器人位姿与巡检视觉导航线中目标点的夹角计算激光的偏航角度值；
步骤7.根据视觉图像检测边缘线的结果计算视觉导航方法的可靠性Rvison值，根据激光建图与定位的结果计算激光方法的可靠性Rlaser值；
步骤8.利用步骤7所得到的Rvison和Rlaser值、步骤3得到的值以及步骤6得到的/>值计算实际位置的偏航角度/>值，并根据融合得到的偏航角度/>调整机器人的位姿。
此外，在上述养殖巡检机器人导航方法的基础上，本发明还提出了一种与之相适应的养殖巡检机器人导航系统，该养殖巡检机器人导航系统采用如下技术方案：
基于2D激光与视觉边缘线动态融合的养殖巡检机器人导航系统，包括：
图像预处理模块，用于截取相机捕获图片中过道部分信息，并去除过道边缘线噪声；
直线特征提取模块，用于对去噪后的图片进行过道线检测，并提取其中的直线特征；
巡检视觉导航线绘制以及视觉导航偏航角度计算模块，用于从提取出的直线中筛选出过道边缘线，并根据过道边缘线宽度绘制两侧巡检视觉导航线；再将带有巡检视觉导航线的图片转换为BEV图片，并计算BEV图像中视觉导航偏航角度值；
全局初始化地图构建模块，用于使构建全局初始化地图；
路径规划模块，用于将经过视觉处理得到的巡检视觉导航线作为当前的激光全局规划路径，利用局部路径规划方法进行局部路径调整；
激光偏航角度计算模块，用于进行2D激光雷达与栅格地图与的匹配，并根据定位得出的当前巡检机器人位姿与巡检视觉导航线中目标点的夹角计算激光的偏航角度值；
可靠性计算模块，用于根据视觉图像检测边缘线的结果计算视觉导航方法的可靠性Rvison，根据激光建图与定位的结果计算激光方法的可靠性Rlaser值；
以及机器人位姿计算模块，用于根据得到的Rvison值、Rlaser值、值以及/>值计算实际位置的偏航角度/>值，并根据融合得到的偏航角度/>调整机器人的位姿。
此外，在上述养殖巡检机器人导航方法的基础上，本发明还提出了一种计算机设备，该计算机设备部署在巡检机器人上，其包括存储器和一个或多个处理器。所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上面述及的养殖巡检机器人导航方法的步骤。
此外，在上述养殖巡检机器人导航方法的基础上，本发明还提出了一种计算机可读存储介质，其上存储有程序。该程序被处理器执行时，用于实现上面述及的养殖巡检机器人导航方法的步骤。
本发明具有如下优点：
如上所述，本发明述及了一种基于2D激光与视觉边缘线动态融合的养殖巡检机器人导航方法，该方法融合了视觉导航与激光导航方法的优势，利用视觉处理过后的图片计算室内养殖环境下的过道边缘线，再利用归一化之后的边缘线误差得到视觉导航评估Rvison值；利用椭圆误差计算方法评估激光AMCL的定位精度，并计算归一化之后的激光导航评估结果Rlaser值；最后采用评估视觉导航Rvison值和激光导航Rlaser值的方法计算不同导航方式所占用的权重，得到室内养殖环境巡检机器人的实际偏航角信息。本发明通过2D激光雷达和视觉深度相机融合导航的方法，能够有效解决室内养殖环境下单一的导航方式出现的弊端，如激光导航出现的激光漂移、或者视觉导航受收到障碍物遮挡和不良光照的影响出现的视觉导航失效问题。本发明能够满足大规模结构化室内养殖环境的巡检需求，在不需要改变外界环境的条件下，实现了自主定位与导航，代替人工完成高效率的养殖环境巡检任务。
附图说明
图1为本发明实施例中养殖巡检机器人导航方法的流程框图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
实施例1
如图1所示，本实施例述及了一种基于2D激光与视觉边缘线动态融合的养殖巡检机器人导航方法，其基于部署在智能巡检机器人上的传感器实现，具体包括如下步骤：
步骤1.截取相机捕获图片中过道部分信息，并去除过道边缘线噪声。
本实施例通过ROI截取相机捕获图片中过道部分信息，图像ROI是指通过裁剪、提取等方法将图像中所需部分的信息提取出来。
其中使用过道部分信息占图片的下1/3，使用ROI截取图片下端的1/3部分信息。
将所截取出的图片信息，去除其中遮挡过道部分的信息的噪声。
过道部分的障碍物会导致视觉边缘线被遮挡，导致导航线绘制产生误差。
本发明根据视觉边缘线的直线斜率kmargin进行障碍物噪声的去除，并对中断的边缘直线kmargin依据斜率进行边缘线补全，具体包括：
已知边缘直线方程为y＝kmarginx+b，中断处的点坐标为(x0,y0)；
首先根据当前的斜率kmargin，对每隔Δx为10cm处计算y的坐标；其中y＝{y1，y2，…ym}，直到空缺直线填充完成，即ym处；
再将(x0,y0),(x1,y1),(x2,y2)…,(xm,ym)这几个点连接起来。
步骤2.对步骤1去噪后的图片进行过道线检测与直线拟合，提取其中的直线特征。
使用Canny方法进行过道线检测，Canny是一种边缘检测算法，它可以在图像中检测出明显的边缘，并将其提取出来。Canny算法的步骤包括以下：
步骤2.1.使用高斯滤波平滑纹理较弱的非边缘区域，去除噪声得到更准确的边缘。
步骤2.2.计算去除噪声后的图像梯度G，得到可能边缘。
α＝tan-1(Gy，Gx)；
其中，Gx表示水平方向的梯度幅度，Gy表示垂直方向的梯度幅度，α表示梯度的方向。
步骤2.3.采用非最大抑制技术来消除边缘误检。
遍历鸟瞰图所有像素点，判断当前像素点是否为附近像素点中具有相同梯度方向的最大值，并抑制相同梯度方向的最大值像素点，从而消除边缘误检。
步骤2.4.应用双阈值的方法筛选边缘信息。
设置高阈值MaxVal和低阈值MinVal；若当前边缘像素梯度幅度小于阈值MaxVal，并大于阈值MinVal则判断边缘为所需的直线特征。
步骤2.5.最后利用滞后技术来跟踪边界，得到图像边缘直线特征线。
本实施例使用霍夫方法提取直线特征，霍夫方法是由参数统计点数，用极坐标来表示直线，其计算公式如下：X*cos(θ)+Y*sin(θ)＝R；其中，θ表示直线与X轴正方向之间的夹角；R表示原点到直线的垂直距离，X、Y表示任何在直线上的点。
步骤3.从步骤2提取出的直线中筛选出过道边缘线，根据过道边缘线宽度绘制两侧巡检视觉导航线，再将带有巡检视觉导航线的图片转换为BEV图片。
计算BEV图像中视觉导航偏航角度值。
养殖场中由于遮挡产生的明暗交界线即为所需提取的过道两侧边缘线。
利用Canny边缘检测和霍夫直线拟合得到的图片中所有的直线，过道两侧边缘线为所提取的直线中斜率最大和最小的两条直线，通过斜率计算将其筛选出。
对步骤2得到的直线进行筛选，定义直线的公式为y＝kx+b，其中，k为直线的斜率，b为常数，x、y分别为直线的横、纵坐标。
提取出步骤2所有检测出的直线中k值最大和最小的两条直线，即为过道两侧的边缘线；将过道两侧的边缘线按照1：1等比绘制巡检视觉导航线。将带有导航线的图片通过二值化将图片转换为二值化的图片，并根据透视化的方法将图片转换为BEV图像。
计算BEV图像中当前巡检机器人的朝向与视觉导航线中下一目标点的偏航角其计算公式如下：/>其中，k1为所绘制导航线的斜率。
步骤4.使用激光粒子滤波(Rao-Blackwellized Particle Filter，RBPF)方法构建全局初始化地图。Gmapping是一种基于RBPF方法的2DSLAM建图方法。
Gmapping算法在RBPF算法的基础上做了改进提议分布和选择性重采样的两个主要改进，它适用于室内的长廊环境，这与智慧养殖环境相符合。
本实施例中利用Gmapping方法建立初始地图。
步骤5.将步骤3中经过视觉处理得到的巡检视觉导航线作为当前的激光全局规划路径，利用局部路径规划方法(Time Elastic Band,TEB)进行局部路径调整。
该步骤5具体为：
首先将步骤3中得到的导航线作为激光SLAM的全局路径；然后，采用TEB局部路径规划作为激光导航方法；最后，动态刷新局部导航目标点。
在巡检过程中，保持目标点在全局路径上并且与机器人距离恒定。
步骤6.采用自适应蒙特卡洛方法(Adaptive Monte Carlo Localization,AMCL)方法进行2D激光雷达与栅格地图与的匹配，并根据定位得出的当前巡检机器人位姿与巡检视觉导航线中目标点的夹角计算激光的偏航角度
AMCL使用粒子滤波器来估计机器人的位置及其后验概率。
MCL方法用粒子的可能的位置表示定位，粒子分布表示以概率密度函数(Probability Density Function，PDF)，PDF的峰值就表示最有可能的位置。
采用自适应蒙特卡洛方法进行2D激光雷达与栅格地图与的匹配，得到当前机器人的位姿信息，并计算当前巡检机器人位姿与导航线中目标点的夹角计算激光的偏航角度
偏航角度的计算过程如下：
步骤6.1.以机器人雷达中心的初始位置为平面坐标系的原点，向前运动方向为y轴运动正方向，垂直朝左方向为x轴正方向，使用自适应蒙特卡洛方法得到当前机器人的位姿信息R(x,y,θlaser)与目标点位置信息P(px,py)。
其中，R(x,y,θlaser)中x和y表示当前机器人的平面坐标中的x、y位置，θlaser为激光的偏航角，即机器人当前的朝向与x轴方向的夹角；px和py分别表示目标点在平面坐标系中的x、y位置。
步骤6.2.根据世界坐标系计算得到机器人运动方向与导航路径方向之间的夹角值。
步骤7.根据视觉图像检测边缘线的结果计算视觉导航方法的可靠性Rvison值，根据激光建图与定位的结果计算激光方法的可靠性Rlaser值。
根据视觉图像检测边缘线的结果计算视觉导航方法的可靠性Rvison值，过程如下：
步骤7.1.1.对步骤2处理过后带有过道边缘线的图片中巡检过路边界线信息进行可靠性计算，图像的像素行数值为m。
计算图片中每一行像素点中两侧白色像素点的差值最大值dj。
dj＝ij,ax-ij,in,0j≤m；其中，ij,ax表示每一行像素点中最右侧的白色像素点，ij,in表示每一行像素点中最左侧的白色像素点。
步骤7.1.2.并计算dj的方差DV，计算的公式如下：
其中，表示所有差值的平均值。
步骤7.1.3.再将方差DV使用线性归一化方法，使方差DV的可靠性Rvison在(0,1)之间波动，可靠性Rvison的计算公式如下：
其中，Dmin、Dmax分别表示dj值的最小值和最大值。
根据激光建图与定位的结果计算激光方法的可靠性Rlaser。
采用误差椭圆来评估AMCL的定位精度。
误差椭圆是一个椭圆形状的区域，常用于表示估计位置的不确定性。误差椭圆的长轴和短轴分别表示估计位置的标准偏差。因此，误差椭圆越小，定位精度越高。
可靠性Rlaser的计算过程如下：
步骤7.2.1.计算误差椭圆的长轴和短轴来估计定位误差RMSE，计算公式如下：
其中，xi表示椭圆定位范围内第i个位置的估计值，yi表示椭圆定位范围内第i个位置的真实值；i＝1,…,n，表示有n个位置需要进行定位。
步骤7.2.2.将定位误差RMSE进行归一化处理，得到可靠性Rlaser值。
其中，Rt表示当前的定位误差RMSE值；Rmin、Rmax分别表示定位误差RMSE的最小值和最大值。
步骤8.利用步骤7所得到的Rvison和Rlaser值、步骤3得到的值以及步骤6得到的/>值计算实际位置的偏航角度/>的值，并根据融合得到的偏航角度/>调整机器人的位姿。
利用Rvison、Rlaser、计算实际位置的偏航角度/>公式如下：
根据计算得到的偏航角调整机器人的位姿，使其按照全局导航线直线行驶。
本发明述及的养殖巡检机器人导航方法，充分融合了视觉导航与激光导航方法的优势，因而最终的导航和定位效果，明显优于传统的单一导航方式。
此外，本发明导航方法还有效地解决了单激光出现巡检机器人不能走直线的问题。
为了验证本发明所提养殖巡检机器人导航方法的有效性，还将本发明方法应用于某市的某一室内养殖环境进行测试，具体的实验过程如下：
1)使用ROI方法截取相机捕获图片中过道部分信息，其中过道部分信息在图片的下1/3处，使用ROI截取图片下端的1/3部分信息。
接着将所截取出的图片信息，去除其中遮挡过道的噪声。
过道部分的障碍物会导致视觉边缘线被遮挡，从而导致导航线绘制产生误差，所以根据直线斜率进行障碍物噪声的去除，并对中断的直线依据斜率进行边缘线补全。
2)对步骤1处理过后的图片提取其中所有的直线。
3)对步骤2)中所有的直线根据斜率筛选出其中斜率最大和最小的过道边缘线。
其中，最大斜率为0.3222，最小斜率为-0.2999。接着，根据过道两侧的边缘线进行巡检视觉导航线的绘制，所绘制的单侧导航线距离过道边缘线约60cm-80cm。
计算视觉导航偏航角值，其计算公式如下：/>
其中，当视觉导航效果较好时，得到的为0.5°，当被遮挡或者提取的直线产生偏差时，得到的/>为11.5°。
4)使用激光粒子滤波RBPF方法构建全局初始化地图。
5)再将视觉处理得到的导航线作为当前的激光全局规划路径，利用局部路径规划方法TEB做局部路径调整。
6)采用自适应蒙特卡洛方法进行2D激光雷达与栅格地图与的匹配，并根据定位得出的当前巡检机器人位姿与导航线中目标点的夹角计算激光的偏航角度值。
其中，当激光巡检效果较好时，得到的为0.8°，当激光导航产生漂移时，即激光方法效果失效时，得到的/>为20.5°。
7)根据视觉图像检测边缘线的结果评估视觉导航方法的可靠性Rvison值，根据激光建图与定位的结果评估激光方法的可靠性Rlaser值。
当视觉导航效果较好时，得到的为0.5°，此时得到Rvison值为0.93；当视觉被遮挡或者提取的直线产生偏差时，得到的/>为11.5°，此时得到Rvison值为0.35。
当激光导航效果较好时，得到的为0.8°，此时得到Rlaser值为0.94；当激光导航产生漂移时，即激光导航失效时，得到的/>为20.5°，此时得到Rlaser值为0.38。
8)根据所得的Rvison值、Rlaser值、值、/>值计算实际位置的偏航角度/>值，根据融合得到的/>值，调整巡检机器人的位姿。其中/>的具体公式如下：
其中，当视觉导航计算产生偏差时，为11.5°，得到Rvison为0.35。此时激光导航的/>为0.8°，此时得到Rlaser值为0.94，计算得到/>为3.703°。
当激光导航方法产生漂移时，为20.5°，得到Rlaser值为0.38。此时视觉导航效果较好时，得到的/>为0.5°，此时得到Rvison值为0.93，计算得到/>为6.301°。
根据计算得到的偏航角调整机器人的位姿，使其按照全局导航线直线行驶。
本发明述及的导航方法，在周围场景变化较大且激光导航效果较差的环境下，定位精度较高，因而能够满足智能巡检机器人在复杂环境下的定位与导航。
实施例2
本实施例2述及了一种基于神经网络和迭代学习的养殖巡检机器人导航系统，该系统与上述实施例1述及的养殖巡检机器人导航方法基于相同发明构思。
基于2D激光与视觉边缘线动态融合的养殖巡检机器人导航系统，包括：
图像预处理模块，用于截取相机捕获图片中过道部分信息，并去除过道边缘线噪声；
直线特征提取模块，用于对去噪后的图片进行过道线检测，并提取其中的直线特征；
巡检视觉导航线绘制以及视觉导航偏航角度计算模块，用于从提取出的直线中筛选出过道边缘线，并根据过道边缘线宽度绘制两侧巡检视觉导航线；再将带有巡检视觉导航线的图片转换为BEV图片，并计算BEV图像中视觉导航偏航角度值；
全局初始化地图构建模块，用于使构建全局初始化地图；
路径规划模块，用于将经过视觉处理得到的巡检视觉导航线作为当前的激光全局规划路径，利用局部路径规划方法进行局部路径调整；
激光偏航角度计算模块，用于进行2D激光雷达与栅格地图与的匹配，并根据定位得出的当前巡检机器人位姿与巡检视觉导航线中目标点的夹角计算激光的偏航角度
可靠性计算模块，用于根据视觉图像检测边缘线的结果计算视觉导航方法的可靠性Rvison，根据激光建图与定位的结果计算激光方法的可靠性Rlaser；
以及机器人位姿计算模块，用于根据得到的Rvison值、Rlaser值、值以及/>值计算实际位置的偏航角度/>的值，并根据融合得到的偏航角度/>调整机器人的位姿。
需要说明的是，养殖巡检机器人导航系统中，各个功能模块的功能和作用的实现过程具体详见上述实施例1中方法中对应步骤的实现过程，在此不再赘述。
实施例3
本实施例3述及了一种计算机设备，该计算机设备安装于养殖巡检机器人上。该计算机设备用于实现上述实施例1中述及的养殖巡检机器人导航方法的步骤。
该计算机设备包括存储器和一个或多个处理器。在存储器中存储有可执行代码，当处理器执行可执行代码时，用于实现上述养殖巡检机器人导航方法的步骤。
本实施例中计算机设备为任意具备数据数据处理能力的设备或装置，此处不再赘述。
实施例4
本实施例4述及了一种计算机可读存储介质，该计算机可读存储介质用于实现上述实施例1中述及的养殖巡检机器人导航方法的步骤。
本实施例4中的计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述养殖巡检机器人导航方法的步骤。
该计算机可读存储介质可以是任意具备数据处理能力的设备或装置的内部存储单元，例如硬盘或内存，也可以是任意具备数据处理能力的设备的外部存储设备，例如设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。
当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。
Claims (10)
1.基于2D激光与视觉边缘线动态融合的养殖巡检机器人导航方法，其特征在于，
包括如下步骤：
步骤1.截取相机捕获图片中过道部分信息，并去除过道边缘线噪声；
步骤2.对步骤1去噪后的图片进行过道线检测与直线拟合，提取其中的直线特征；
步骤3.从步骤2提取出的直线中筛选出过道边缘线，根据过道边缘线宽度绘制两侧巡检视觉导航线，再将带有巡检视觉导航线的图片转换为BEV图片；
计算BEV图像中视觉导航偏航角度值；
步骤4.构建全局初始化地图；
步骤5.将步骤3中经过视觉处理得到的巡检视觉导航线作为当前的激光全局规划路径，利用局部路径规划方法进行局部路径调整；
步骤6.进行2D激光雷达与栅格地图与的匹配，并根据定位得出的当前巡检机器人位姿与巡检视觉导航线中目标点的夹角计算激光的偏航角度值；
步骤7.根据视觉图像检测边缘线的结果计算视觉导航方法的可靠性Rvison值，根据激光建图与定位的结果计算激光方法的可靠性Rlaser值；
步骤8.利用步骤7所得到的Rvison和Rlaser值、步骤3得到的值以及步骤6得到的/>值计算实际位置的偏航角度/>值，并根据融合得到的偏航角度/>调整机器人的位姿。
2.根据权利要求1所述的养殖巡检机器人导航方法，其特征在于，
所述步骤2中，使用Canny方法进行过道线检测，过程如下：
步骤2.1.使用高斯滤波平滑纹理较弱的非边缘区域，去除噪声得到更准确的边缘；
步骤2.2.计算去除噪声后的图像梯度G，得到可能边缘；
α＝tan-1(Gy，Gx)；
其中，Gx表示水平方向的梯度幅度，Gy表示垂直方向的梯度幅度，α表示梯度的方向；
步骤2.3.采用非最大抑制技术来消除边缘误检；
遍历鸟瞰图所有像素点，判断当前像素点是否为附近像素点中具有相同梯度方向的最大值，并抑制相同梯度方向的最大值像素点，从而消除边缘误检；
步骤2.4.应用双阈值的方法筛选边缘信息；
设置高阈值MaxVal和低阈值MinVal；若当前边缘像素梯度幅度小于阈值MaxVal，并大于阈值MinVal则判断边缘为所需的直线特征；
步骤2.5.最后利用滞后技术来跟踪边界，得到图像边缘直线特征线；
使用霍夫方法提取直线特征，霍夫方法是由参数统计点数，用极坐标来表示直线，其计算公式如下：X*cosθ)+Y*sinθ)＝R；其中，θ表示直线与X轴正方向之间的夹角；R表示原点到直线的垂直距离，X、Y表示任何在直线上的点。
3.根据权利要求1所述的养殖巡检机器人导航方法，其特征在于，
所述步骤3具体为：
从步骤2提取出的直线中筛选出过道边缘线，定义直线的公式为y＝kx+b，其中，k为直线的斜率，b为常数，x、y分别为直线的横、纵坐标；
提取出步骤2所有检测出的直线中k值最大和最小的两条直线，即为过道两侧的边缘线；将过道两侧的边缘线按照1：1等比绘制巡检视觉导航线；将带有导航线的图片通过二值化将图片转换为二值化的图片，并根据透视化的方法将图片转换为BEV图像；
计算BEV图像中当前巡检机器人的朝向与视觉导航线中下一目标点的偏航角值，其计算公式如下：/>其中，k1为所绘制导航线的斜率。
4.根据权利要求1所述的养殖巡检机器人导航方法，其特征在于，
所述步骤5具体为：
将步骤3中得到的巡检视觉导航线作为激光SLAM的全局路径，动态刷新局部导航目标点；在巡检过程中，保持目标点在全局路径上并且与机器人距离恒定。
5.根据权利要求1所述的养殖巡检机器人导航方法，其特征在于，
所述步骤6具体为：
采用自适应蒙特卡洛方法进行2D激光雷达与栅格地图与的匹配，得到当前机器人的位姿信息，并计算当前巡检机器人位姿与导航线中目标点的夹角计算激光的偏航角度值；
偏航角度的计算过程如下：
步骤6.1.以机器人雷达中心的初始位置为平面坐标系的原点，向前运动方向为y轴运动正方向，垂直朝左方向为x轴正方向，使用自适应蒙特卡洛方法得到当前机器人的位姿信息R(x,y,θlaser)与目标点位置信息P(px,py)；
其中，R(x,y,θlaser)中x和y表示当前机器人的平面坐标中的x、y位置，θlaser为激光的偏航角，即机器人当前的朝向与x轴方向的夹角；
px和py分别表示目标点在平面坐标系中的x、y位置；
步骤6.2.根据世界坐标系计算得到机器人运动方向与导航路径方向之间的夹角值；
6.根据权利要求1所述的养殖巡检机器人导航方法，其特征在于，
所述步骤7具体为：
根据视觉图像检测边缘线的结果计算视觉导航方法的可靠性Rvison值，过程如下：
步骤7.1.1.对步骤2处理过后带有过道边缘线的图片中巡检过路边界线信息进行可靠性计算，图像的像素行数值为m；
计算图片中每一行像素点中两侧白色像素点的差值最大值dj；
dj＝ij,ax-ij,in,0j≤m；其中，ij,ax表示每一行像素点中最右侧的白色像素点，ij,in表示每一行像素点中最左侧的白色像素点；
步骤7.1.2.并计算dj的方差DV，计算的公式如下：
其中，表示所有差值的平均值；
步骤7.1.3.再将方差DV使用线性归一化方法，使方差DV的可靠性Rvison在(0,1)之间波动，可靠性Rvison的计算公式如下：
其中，Dmin、Dmax分别表示dj值的最小值和最大值；
根据激光建图与定位的结果计算激光方法的可靠性Rlaser值，过程如下：
步骤7.2.1.采用误差椭圆来评估定位精度；
计算误差椭圆的长轴和短轴来估计定位误差RMSE，计算公式如下：
其中，xi表示椭圆定位范围内第i个位置的估计值，yi表示椭圆定位范围内第i个位置的真实值；i＝1,…,n，表示有n个位置需要进行定位；
步骤7.2.2.将定位误差RMSE进行归一化处理，得到可靠性Rlaser值；
其中，Rt表示当前的定位误差RMSE值；
Rmin、Rmax分别表示定位误差RMSE的最小值和最大值。
7.根据权利要求1所述的养殖巡检机器人导航方法，其特征在于，
所述步骤8中，利用Rvison、Rlaser、计算实际位置的偏航角度/>公式如下：
根据计算得到的偏航角调整机器人的位姿，使其按照全局导航线直线行驶。
8.基于2D激光与视觉边缘线动态融合的养殖巡检机器人导航系统，其特征在于，包括：
图像预处理模块，用于截取相机捕获图片中过道部分信息，并去除过道边缘线噪声；
直线特征提取模块，用于对去噪后的图片进行过道线检测，并提取其中的直线特征；
巡检视觉导航线绘制以及视觉导航偏航角度计算模块，用于从提取出的直线中筛选出过道边缘线，并根据过道边缘线宽度绘制两侧巡检视觉导航线；再将带有巡检视觉导航线的图片转换为BEV图片，并计算BEV图像中视觉导航偏航角度值；
全局初始化地图构建模块，用于使构建全局初始化地图；
路径规划模块，用于将经过视觉处理得到的巡检视觉导航线作为当前的激光全局规划路径，利用局部路径规划方法进行局部路径调整；
激光偏航角度计算模块，用于进行2D激光雷达与栅格地图与的匹配，并根据定位得出的当前巡检机器人位姿与巡检视觉导航线中目标点的夹角计算激光的偏航角度值；
可靠性计算模块，用于根据视觉图像检测边缘线的结果计算视觉导航方法的可靠性Rvison值，根据激光建图与定位的结果计算激光方法的可靠性Rlaser值；
以及机器人位姿计算模块，用于根据得到的Rvison值、Rlaser值、值以及/>值计算实际位置的偏航角度/>值，并根据融合得到的偏航角度/>调整机器人的位姿。
9.一种计算机设备，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，
实现如权利要求1至7任一项所述的养殖巡检机器人导航方法的步骤。
10.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，实现如权利要求1至7任一项所述的养殖巡检机器人导航方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310586625.XA CN116678395A (zh) | 2023-05-24 | 2023-05-24 | 基于2d激光与视觉边缘线动态融合的养殖巡检机器人导航方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310586625.XA CN116678395A (zh) | 2023-05-24 | 2023-05-24 | 基于2d激光与视觉边缘线动态融合的养殖巡检机器人导航方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116678395A true CN116678395A (zh) | 2023-09-01 |
Family
ID=87790031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310586625.XA Pending CN116678395A (zh) | 2023-05-24 | 2023-05-24 | 基于2d激光与视觉边缘线动态融合的养殖巡检机器人导航方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116678395A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218148A (zh) * | 2023-10-20 | 2023-12-12 | 亿海蓝（北京）数据技术股份公司 | 基于卫星图像的航道边界确定方法和系统、可读存储介质 |
-
2023
- 2023-05-24 CN CN202310586625.XA patent/CN116678395A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218148A (zh) * | 2023-10-20 | 2023-12-12 | 亿海蓝（北京）数据技术股份公司 | 基于卫星图像的航道边界确定方法和系统、可读存储介质 |
| CN117218148B (zh) * | 2023-10-20 | 2024-05-21 | 亿海蓝（北京）数据技术股份公司 | 基于卫星图像的航道边界确定方法和系统、可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110244322B (zh) | 基于多源传感器的路面施工机器人环境感知系统及方法 | |
| CN107835997B (zh) | 使用计算机视觉的用于电力线走廊监测的植被管理 | |
| US10290219B2 (en) | Machine vision-based method and system for aircraft docking guidance and aircraft type identification | |
| CN107735794B (zh) | 使用图像处理的状况检测 | |
| CN109325935B (zh) | 一种基于无人机图像的输电线路检测方法 | |
| CN108132675B (zh) | 一种工厂巡视无人机自主路径巡航以及智能避障方法 | |
| US8340400B2 (en) | Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features | |
| CN110473221B (zh) | 一种目标物体自动扫描系统及方法 | |
| CN111598770A (zh) | 一种基于三维数据和二维图像的物体检测方法和装置 | |
| DE112017006018T5 (de) | Mobile robotische vorrichtung, die unstrukturierte daten von innenumgebungen verarbeitet, um räume in einer einrichtung zu segmentieren, um die bewegung der vorrichtung durch die einrichtung zu verbessern | |
| CN116678395A (zh) | 基于2d激光与视觉边缘线动态融合的养殖巡检机器人导航方法与系统 | |
| CN106296708B (zh) | 车辆追踪方法和装置 | |
| CN116168028B (zh) | 低可见度下基于边缘滤波的高铁原始图像处理方法和系统 | |
| Asif et al. | A vision system for autonomous weed detection robot | |
| CN107765257A (zh) | 一种基于反射强度辅助外部校准的激光探测与测量方法 | |
| WO2024108971A1 (zh) | 用于车辆底盘腐蚀评估的agv系统 | |
| CN110992291B (zh) | 基于三目视觉的测距方法、系统及存储介质 | |
| Liu et al. | Outdoor camera calibration method for a GPS & camera based surveillance system | |
| CN115909075A (zh) | 基于深度视觉的输电线识别与定位方法 | |
| CN111260709B (zh) | 一种面向动态环境的地面辅助的视觉里程计方法 | |
| CN113743265A (zh) | 一种基于深度相机的自动驾驶可行驶区域检测方法及系统 | |
| Miljanovic et al. | Detection of windows in facades using image processing algorithms | |
| Ganovelli et al. | Reconstructing power lines from images | |
| Ahlberg | Optical Detection and Altitude Estimation of Power Lines Relative to a UAV | |
| CN117557616B (zh) | 一种单目相机俯仰角确定和深度估计方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |