CN112720408B - 一种全地形机器人视觉导航控制方法 - Google Patents

一种全地形机器人视觉导航控制方法 Download PDF

Info

Publication number
CN112720408B
CN112720408B CN202011542676.5A CN202011542676A CN112720408B CN 112720408 B CN112720408 B CN 112720408B CN 202011542676 A CN202011542676 A CN 202011542676A CN 112720408 B CN112720408 B CN 112720408B
Authority
CN
China
Prior art keywords
image
robot
point
line
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011542676.5A
Other languages
English (en)
Other versions
CN112720408A (zh
Inventor
巢渊
刘文汇
马成霞
唐寒冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Renbei Industrial Technology Co ltd
Original Assignee
Jiangsu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Technology filed Critical Jiangsu University of Technology
Priority to CN202011542676.5A priority Critical patent/CN112720408B/zh
Publication of CN112720408A publication Critical patent/CN112720408A/zh
Application granted granted Critical
Publication of CN112720408B publication Critical patent/CN112720408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种视觉导航技术,具体为一种全地形机器人视觉导航控制方法,针对传统传感器感应路线的方式抗干扰能力较差精度不足等问题,可解决传统霍夫变换车道线检测算法运算量大的问题,包括以下步骤:(1)图像采集模块采集图像:获取机器人视野范围内的图像,采用分辨率为640×480的CMOS摄像头采集图像,帧数范围为5fps至30fps;(2)通信模块连接上位机与下位机:采用路由器实现上位机与主控板之间的无线通信,将上位机识别的图像信号实时传送到下位机并进行模块调用;(3)上位机对视频流中的图像进行逐帧处理,对传统霍夫直线检测进行改进,提出适用于全地形机器人的快速轨迹识别算法。

Description

一种全地形机器人视觉导航控制方法
技术领域
本发明涉及一种视觉导航技术,具体为一种全地形机器人视觉导航控制方法。
背景技术
随着科技发展,智能产业蓬勃兴起,机器人技术高速发展并广受欢迎,机器人智能化也成为了当今科技创新重要标志。机器人的分类非常广泛,智能全地形机器人小车就是机器人的典型代表之一。全地形机器人,是指可以在任何地形上行驶的机器人,能在普通车辆无法正常行驶的恶劣地形上行动自如。作为现代的新发明和发展方向,通过算法的设计,可实现特定环境中无人为干预的自主行驶。全地形机器人具有自动寻光、寻迹、避障功能,可实现远程控制行驶速度、准确定位停车、远程传输图像等功能,被广泛应用于科学勘探、危险排查等场合。
在对全地形机器人相关技术研究中,机器人的自主导航技术直接影响其行走精度。传统机器人在障碍场地上通过灰度传感器或者红外线传感器感应黑色引线来实现导航,例如专利号CN201921578105.X,这种导航方式成本低,易实现,但是实际应用中对场地上轨迹线的清晰度和光线的稳定性要求都较高。
近年来研究者们对视觉导航技术做出了重要贡献,对于直线道路模型,常用的两种拟合导航线的方法是统计学方法中的最小二乘法和图像处理方法中的霍夫变换算法,如专利号CN201910112978.X和CN201811565384.6;其中专利号CN201910112978.X利用最小二乘法快速获取最小的数据,即与实际数据之间误差的平方和,但对图像质量要求较高,受噪声影响较大;专利号CN201811565384.6拟合图像所有可能的直线,通过多层过滤提取导航线,准确率较高,但需要将所有边缘点变换到霍夫空间进行投票,再反算到直角坐标系中,该方法计算量较大。
发明内容
本发明要解决的技术问题克服现有的缺陷,提供一种全地形机器人视觉导航控制方法,针对传统传感器感应路线的方式抗干扰能力较差精度不足等问题,可解决传统霍夫变换车道线检测算法运算量大的问题。
为了解决上述技术问题,本发明提供了如下的技术方案:一种全地形机器人视觉导航控制方法,包括以下步骤:
(1)图像采集模块采集图像:
获取机器人视野范围内的图像,采用分辨率为640×480的CMOS摄像头采集图像,帧数范围为5fps至30fps;
(2)通信模块连接上位机与下位机:
采用路由器实现上位机与主控板之间的无线通信,将上位机识别的图像信号实时传送到下位机并进行模块调用;
(3)上位机对视频流中的图像进行逐帧处理,对传统霍夫直线检测进行改进,提出适用于全地形机器人的快速轨迹识别算法,具体步骤如下:
(3.1)对图像预处理,进行旋转、灰度化和高斯滤波;
(3.2)采用Canny算子对图像边缘特征信息进行检测;
(3.3)提取ROI区域中的边缘线;
根据机器人视觉模块的安装位置和角度设置ROI区域,即机器人视野范围,对区域边缘线进行提取,定义一个数组,用以存放ROI区域的四个角点坐标,设原始图像的最大横、纵坐标分别为X和Y,则四个角点坐标的计算方式如下:
x1=0;y1=Y
Figure BDA0002850116830000031
Figure BDA0002850116830000032
x4=X;y4=Y
其中(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别为ROI区域左下、左上、右上、右下四个角点的坐标;将四个角点坐标依次添加到定义的数组中,并绘制ROI区域的轮廓线,进一步提取轮廓线中的所有边缘线;
(3.4)基于改进的霍夫变换绘制导航线;
(4)根据步骤3获取全地形机器人导航线,对下位机发送运动指令,具体步骤如下:
(4.1)设置运动轨迹偏移角度θ为(0°,180°),将其划分为5个范围,分别为(85°,95°),(95°,115°),(65°,85°),(115°,180°),(0°,65°),根据导航线偏移角度判断机器人当前状态,调用下位机的5个子程序模块以实时调整机器人的位姿,使机器人按预设轨迹运动;
(4.2)当机器人视野区域覆盖地图路口标志时,难以检测机器人运动轨迹,定义一个路口计数器times,若运动轨迹检测失败,则times加1,若连续2次检测运动轨迹失败,则判定机器人已进入路口,此时向下位机发送信号调用相应路口的子程序。
作为优选,在所述步骤3.1中,所述图像预处理具体包括:
(1)图像旋转:
将网络摄像头采集到的镜面图像还原,对图像进行水平翻转;
(2)灰度化:
为方便计算,将RGB三通道的原图转换到gray灰度图。其中R、G、B分别代表红、绿、蓝三个通道的颜色值,转换公式如下:
Gray=0.1140*R+0.5870*G+0.2989*B
(3)图像滤波:
摄像头的分辨率为640×480,采用5×5高斯核可减少边缘检测器上明显的噪声影响,计算公式如下:
Figure BDA0002850116830000051
其中G(x,y)为二维高斯函数,(x,y)为点坐标,σ为标准差,A为归一化系数,使不同的权重之和为一。
作为优选,在所述步骤(3.2)中,所述Canny边缘检测具体包括:
(1)通过Sobel水平和垂直算子与输入图像卷积计算dx、dy
Figure BDA0002850116830000052
Figure BDA0002850116830000053
dx=f(x,y)×Sobelx(x,y)
dy=f(x,y)×Sobely(x,y)
其中Sobelx为Sobel水平算子,Sobely为Sobel垂直算子,dx表示x方向上的梯度,dy表示y方向上的梯度;
(2)利用dx、dy计算图像梯度的幅值和角度:
Figure BDA0002850116830000054
Figure BDA0002850116830000055
其中M(x,y)为梯度的幅值,θM为角度;
(3)通过非极大值抑制,保留局部范围内的相同梯度方向上灰度变化最大的部分,使边界清晰化;非极大值抑制后设置双阈值Minval和Maxval,继续删选边缘线,图像灰度低于Minval的抛弃,高于Maxval的保留,介于两值之间的点则判断其是否与保留的边界相连,若相连则保留,否则滤除。
作为优选,在所述步骤(3.4)中,所述改进霍夫变换检测算法具体包括:
(1)遍历边缘线上像素点,将其变换到r-θ空间形成多条正弦曲线,变换公式如下:
rθ=x0·cosθ+y0·sinθ
其中x0,y0为平面坐标系中的边缘线上点的坐标,(rθ,θ)表示像素点在极坐标空间对应的正弦曲线,其中θ∈[-90,90];在遍历过程中设置距离rθ的步长设置为2个像素,角度θ的步长设置为2°;
(2)在参数空间中建立一个二维累加器,以存储每个正弦曲线的交点的累加值,更新累加器矩阵;
(3)对边缘线进行粗过滤,为累加器坐标中的交点个数设置阈值为30,如果累加矩阵中某个坐标点得到的累加值小于阈值,则滤除该点,反之则保留;
(4)对保留的坐标点进行计算,寻找连续线段;从最小角度-90°开始,沿当前角度方向前进,到达图像的边界或间隙大于阈值时视为直线到达终点,此时更新直线端点的位置;
(5)定义一个序列,把更新后的直线的两端点压入其中储存;将已确定端点直线上的点与其临近2个像素的点对应累加器的值清零。
(6)计算平面坐标系中的每一条直线的斜率,当直线斜率的绝对值小于t时滤除,设定阈值t为0.35以过滤接近水平方向的线段;
(7)对剩下的直线按长度权重进行拟合并计算最终导航线的斜率,计算公式如下:
Figure BDA0002850116830000071
Figure BDA0002850116830000072
Figure BDA0002850116830000073
按长度权值计算斜率slo、中心点cen(x,y):
Figure BDA0002850116830000074
Figure BDA0002850116830000075
其中slot为总斜率,lent为总长度,cent(xt,yt)为中心点坐标,i为直线的数量,yi2为终点的纵坐标,yi1为起点的纵坐标,xi2为终点的横坐标,xi1为起点的横坐标。
作为优选,所述Minval值为100,所述Maxval值为250。
作为优选,最大间隙值的阈值为30。
本发明有益效果:本发明的全地形机器人视觉导航控制方法通过机器人搭载的摄像头获取实时图像并传送给上位机,通过上位机的视觉导航算法对导航线进行识别,其视觉导航算法中,通过对图像进行旋转、灰度化、图像平滑、二值化和数学形态学操作等预处理操作后,路径的特征明确,提高了算法的准确性和机器人的抗干扰性。
结合机器人本体的机械结构,对机器人的监控图像提取合理的ROI区域,大幅缩减了机器人运行过程中图像处理的计算量,提高了计算速度;引入改进的霍夫直线检测算法对ROI区域进行直线提取,简化算法流程的同时保证了检测精度,提高了机器人的实时性。
最后对检测到的线段进行处理,得出导航线的斜率和位置信息,并通过导航线的斜率和位置信息判断机器人的偏向和路口信息,通过无线通信向下位机发送指令,调用相应模块,实现机器人的视觉导航,增强了全地形机器人导航控制方法的鲁棒性。
附图说明
图1是机器人机械结构图;
图2是越障程序判断图;
图3是算法流程图;
图4是预处理后的图像;
图5是翻转还原后的图像;
图6是检测出的边缘图像;
图7是ROI区域的图像;
图8是通过ROI区域提取出的边缘图像;
图9是改进霍夫变换绘制的直线图像;
图10是斜率过滤后绘制的直线图像;
图11是最终拟合出的导航线图像;
图12是路口标志图像;
图13是机器人越障地图及流程。
具体实施方式
以下对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明的全地形机器人视觉导航控制方法是基于机器视觉和无线通信的全地形机器人的导航控制方法:通过搭载在机器人上的摄像头采集图像,通过无线通信将视频流传输到上位机;对视频流中的图像进行逐帧处理拟合出最终的导航线;通过得到的导航线的斜率和位置信息判断机器人偏向和路口信息;通过无线通信将信息发送给下位机进行相应的模块调用,最后实现全地形机器人的视觉导航控制。
一种全地形机器人视觉导航系统设计,包括以下步骤:
1.一种全地形机器人视觉导航系统设计,其特征在于包括以下步骤:
(1)图像采集模块采集图像:
为清晰的获取机器人视野范围内的图像,采用分辨率为640×480的CMOS摄像头,帧数范围为5fps至30fps,机器人的机械结构参照附图1;
(2)通信模块连接上位机与下位机:
为根据当前状态驱动机器人进行对应的动作,采用路由器实现上位机与主控板之间的无线通信,将上位机识别的图像信号实时传送到下位机并进行模块调用。
(3)上位机对视频流中的图像进行逐帧处理,对传统霍夫直线检测进行改进,提出一种适用于全地形机器人的快速轨迹识别算法,算法流程图见图3,具体步骤如下:
(3.1)对图像进行旋转、灰度化和高斯滤波等预处理,预处理后的图像见图4;
(3.2)采用canny算子对图像边缘特征信息进行检测,检测出的边缘见图6;
(3.3)提取ROI区域中的边缘线,提取出的边缘线见图8。
根据机器人视觉模块的安装位置和角度设置ROI区域,即机器人视野范围,为降低计算量,对区域边缘线进行提取,ROI区域见图7。定义一个数组,用以存放ROI区域的四个角点坐标,设原始图像的最大横、纵坐标分别为X和Y,则四个角点坐标的计算方式如下:
x1=0;y1=Y
Figure BDA0002850116830000111
Figure BDA0002850116830000112
x4=X;y4=Y
其中(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别为ROI区域左下、左上、右上、右下四个角点的坐标。将四个角点坐标依次添加到定义的数组中,并绘制ROI区域的轮廓线,进一步提取轮廓线中的所有边缘线提取出的轮廓线如图8所示。
(3.4)基于改进的霍夫变换绘制导航线
针对传统霍夫直线检测算法存在运算量大,检测效率较低等问题,对传统霍夫直线检测算法进行改进,以降低计算量,提高检测效率;
(4)为控制机器人运动状态,实现视觉导航功能,根据步骤3获取全地形机器人导航线,对下位机发送运动指令,具体步骤如下:
(4.1)由于全地形地图中机器人需要在不平坦的地面上行走,获取到的图像受光照、阴影等因素影响较大,难以精确使用控制算法,稳定性较差。为提高运行稳定性,设置运动轨迹偏移角度θ为(0°,180°),将其划分为5个范围,根据导航线偏移角度判断机器人当前状态,调用下位机的5个子程序模块以实时调整机器人的位姿,使机器人按预设轨迹运动,其具体逻辑判断如表1所示。
表1
Figure BDA0002850116830000121
(4.2)当机器人视野区域覆盖地图路口标志时,路口标志如图12所示难以检测机器人运动轨迹,定义一个路口计数器times,若运动轨迹检测失败,则times加1。若连续2次检测运动轨迹失败,则判定机器人已进入路口,此时向下位机发送信号调用相应路口的子程序,机器人地图及越障流程见图13,具体逻辑判断见图2。
在所述步骤(3.1)中,所述图像预处理具体包括:
(1)图像旋转:
为将网络摄像头采集到的镜面图像还原,需要对图像进行水平翻转以便于后续的小车偏向和位置判断,旋转还原后的图像见图5。
(2)灰度化:
为方便计算,将RGB三通道的原图转换到gray灰度图。其中R、G、B分别代表红、绿、蓝三个通道的颜色值,转换公式如下:
Gray=0.1140*R+0.5870*G+0.2989*B
(3)图像滤波:
为对图像邻域内像素进行平滑,对图像进行滤波,本发明中摄像头的分辨率为640×480,采用5×5高斯核可减少边缘检测器上明显的噪声影响,计算公式如下:
Figure BDA0002850116830000131
其中G(x,y)为二维高斯函数,(x,y)为点坐标,σ为标准差,A为归一化系数,使不同的权重之和为一。
在所述步骤(3.2)中,所述Canny边缘检测具体包括:
(1)通过Sobel水平和垂直算子与输入图像卷积计算dx、dy
Figure BDA0002850116830000132
Figure BDA0002850116830000133
dx=f(x,y)×Sobelx(x,y)
dy=f(x,y)×Sobely(x,y)
其中Sobelx为Sobel水平算子,Sobely为Sobel垂直算子,dx表示x方向上的梯度,dy表示y方向上的梯度。
(2)利用dx、dy计算图像梯度的幅值和角度:
Figure BDA0002850116830000141
Figure BDA0002850116830000142
其中M(x,y)为梯度的幅值,θM为角度。
(3)通过非极大值抑制,保留局部范围内的相同梯度方向上灰度变化最大的部分,使边界清晰化。非极大值抑制后设置双阈值Minval和Maxval,继续删选边缘线,图像灰度低于Minval的抛弃,高于Maxval的保留,介于两值之间的点则判断其是否与保留的边界相连,若相连则保留,否则滤除。经过多次实验发现Minval值为100,Maxval值为250时边缘过滤总体效果较好,过滤出的边缘噪声较少且连续性较好。
4.如权利要求1所述的一种全地形机器人视觉导航系统设计,其特征在于,在所述步骤(3.4)中,所述改进霍夫变换检测算法具体包括:
(1)遍历边缘线上像素点,将其变换到r-θ空间形成多条正弦曲线,变换公式如下:
rθ=x0·cosθ+y0·sinθ
其中x0,y0为平面坐标系中的边缘线上点的坐标,(rθ,θ)表示像素点在极坐标空间对应的正弦曲线,其中θ∈[-90,90]。由于地图中存在较清晰的导航线,为减少计算量,在遍历过程中设置距离rθ的步长设置为2个像素,角度θ的步长设置为2°。
(2)在参数空间中建立一个二维累加器,以存储每个正弦曲线的交点的累加值,更新累加器矩阵。
(3)为减少计算量,此时对边缘线进行粗过滤,为累加器坐标中的交点个数设置阈值为30,此处的阈值为过滤边缘中短小干扰线的效果较好的值,如果累加矩阵中某个坐标点得到的累加值小于阈值,则滤除该点;反之则保留。
(4)对保留的坐标点进行计算,寻找连续线段。从最小角度-90°开始,沿当前角度方向前进,到达图像的边界或间隙大于阈值时视为直线到达终点,此时更新直线端点的位置,其中最大间隙值的阈值设为30,此处的阈值为多次实验提取效果较为理想的值。
(5)定义一个序列,把更新后的直线的两端点压入其中储存。为避免再次利用已储存直线的累加值产生大量计算,将已确定端点直线上的点与其临近2个像素的点对应累加器的值清零,绘制出序列中所存的直线如图9所示。
(6)计算平面坐标系中的每一条直线的斜率,当直线斜率的绝对值小于t时滤除,设定阈值t为0.35以过滤接近水平方向的线段;
(7)对剩下的直线按长度权重进行拟合并计算最终导航线的斜率,斜率过滤后绘制的直线如图10所示,最终的导航线如图11所示,计算公式如下:
Figure BDA0002850116830000161
Figure BDA0002850116830000162
Figure BDA0002850116830000163
按长度权值计算斜率slo、中心点cen(x,y):
Figure BDA0002850116830000164
Figure BDA0002850116830000165
其中slot为总斜率,lent为总长度,cent(xt,yt)为中心点坐标,i为直线的数量,yi2为终点的纵坐标,yi1为起点的纵坐标,xi2为终点的横坐标,xi1为起点的横坐标。
结合以上所述,本发明中的导航线拟合算法是实现全地形机器人视觉导航控制的关键,所以导航线拟合算法效果的好坏决定了本视觉导航控制方法的准确性和稳定性。因此本发明设计了实验来验证算法的性能。
实验1:定义2项检测指标来对上述一种全地形机器人视觉导航算法和传统基于霍夫变换的导航算法的检测效果进行实验比较,在机器人运行过程中,随机保存100帧图像进行实验比较,其中:
Figure BDA0002850116830000166
Figure BDA0002850116830000167
由下表可以看出传统霍夫变换导航算法和本发明的导航线算法都能较稳定地拟合出导航线。而本发明提出的导航线拟合算法,对原始图像进行ROI区域的提取;对原霍夫直线算法进行了改进;结合线段斜率和长度权重对提取的线段进行过滤,最终在保证检测率的同时缩减了视觉程序的计算量,提升了程序运行速度。
表2
Figure BDA0002850116830000171
实验2:对传感器控制方法、传统霍夫变换导航控制方法和本发明的导航控制方法分别进行10次实验,实验环境为相同的全地形机器人赛道,统计各自单次通过障碍的数量并进行比较。比较结果如表3所示,
表3
Figure BDA0002850116830000172
Figure BDA0002850116830000181
通过对比实验分析,本发明的导航控制方法平均单次越障数量达到9.5个,方差为1.85,传统霍夫变换导航控制方法平均单次越障数量为8.2个,方差为2.16,而灰标传感器循迹控制方法平均单次越障数量仅为6.2个,方差为6.76。由此可以得出结论:本发明的导航控制方法从运行的稳定性和越障的成功率都明显优于另外两种方法。其主要原因在于灰度传感器受环境因素影响较大,对灯光和场地黑白对比度要求较高,且检测范围较小,经过不平坦地面后容易脱离轨道线;而传统霍夫变换导航控制方法虽然检测范围比传感器大且受环境影响较小但是运算量较大,程序不能较快响应。
本发明基于视觉导航的全地形机器人能快速准确地识别导航线和路口,有效地改善了全地形机器人的运行速度和稳定性。
以上结合附图对本发明的实施方式做出详细说明,但本发明不局限于所描述的实施方式。对本领域的技术人员而言,可以针对本发明公开的配置和细节做出许多修改,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种全地形机器人视觉导航控制方法,其特征在于:包括以下步骤:
(1)图像采集模块采集图像:
获取机器人视野范围内的图像,采用分辨率为640×480的CMOS摄像头采集图像,帧数范围为5fps至30fps;
(2)通信模块连接上位机与下位机:
采用路由器实现上位机与主控板之间的无线通信,将上位机识别的图像信号实时传送到下位机并进行模块调用;
(3)上位机对视频流中的图像进行逐帧处理,对传统霍夫直线检测进行改进,提出适用于全地形机器人的快速轨迹识别算法,具体步骤如下:
(3.1)对图像预处理,进行旋转、灰度化和高斯滤波;
(3.2)采用Canny算子对图像边缘特征信息进行检测;
(3.3)提取ROI区域中的边缘线;
根据机器人视觉模块的安装位置和角度设置ROI区域,即机器人视野范围,对区域边缘线进行提取,定义一个数组,用以存放ROI区域的四个角点坐标,设原始图像的最大横、纵坐标分别为X和Y,则四个角点坐标的计算方式如下:
x1=0;y1=Y
Figure FDA0003662221750000011
Figure FDA0003662221750000012
x4=X;y4=Y
其中(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别为ROI区域左下、左上、右上、右下四个角点的坐标;将四个角点坐标依次添加到定义的数组中,并绘制ROI区域的轮廓线,进一步提取轮廓线中的所有边缘线;
(3.4)基于改进的霍夫变换绘制导航线;
在所述步骤(3.4)中,所述改进的霍夫变换具体包括:
(1)遍历边缘线上像素点,将其变换到r-θ空间形成多条正弦曲线,变换公式如下:
rθ=x0·cosθ+y0·sinθ
其中x0,y0为平面坐标系中的边缘线上点的坐标,(rθ,θ)表示像素点在极坐标空间对应的正弦曲线,其中θ∈[-90,90];在遍历过程中设置距离rθ的步长设置为2个像素,角度θ的步长设置为2°;
(2)在参数空间中建立一个二维累加器,以存储每个正弦曲线的交点的累加值,更新累加器矩阵;
(3)对边缘线进行粗过滤,为累加器坐标中的交点个数设置阈值为30,如果累加矩阵中某个坐标点得到的累加值小于阈值,则滤除该点,反之则保留;
(4)对保留的坐标点进行计算,寻找连续线段;从最小角度-90°开始,沿当前角度方向前进,到达图像的边界或间隙大于阈值时视为直线到达终点,此时更新直线端点的位置;
(5)定义一个序列,把更新后的直线的两端点压入其中储存;将已确定端点直线上的点与其临近2个像素的点对应累加器的值清零;
(6)计算平面坐标系中的每一条直线的斜率,当直线斜率的绝对值小于t时滤除,设定阈值t为0.35以过滤接近水平方向的线段;
(7)对剩下的直线按长度权重进行拟合并计算最终导航线的斜率,计算公式如下:
Figure FDA0003662221750000031
Figure FDA0003662221750000032
Figure FDA0003662221750000033
按长度权值计算斜率slo、中心点cen(x,y):
Figure FDA0003662221750000034
Figure FDA0003662221750000035
其中slot为总斜率,lent为总长度,cent(xt,yt)为中心点坐标,i为直线的数量,yi2为终点的纵坐标,yi1为起点的纵坐标,xi2为终点的横坐标,xi1为起点的横坐标;
(4)根据步骤3获取全地形机器人导航线,对下位机发送运动指令,具体步骤如下:
(4.1)设置运动轨迹偏移角度θ为(0°,180°),将其划分为5个范围,分别为(85°,95°),(95°,115°),(65°,85°),(115°,180°),(0°,65°),根据导航线偏移角度判断机器人当前状态,调用下位机的5个子程序模块以实时调整机器人的位姿,使机器人按预设轨迹运动;
(4.2)当机器人视野区域覆盖地图路口标志时,难以检测机器人运动轨迹,定义一个路口计数器times,若运动轨迹检测失败,则times加1,若连续2次检测运动轨迹失败,则判定机器人已进入路口,此时向下位机发送信号调用相应路口的子程序。
2.如权利要求1所述的全地形机器人视觉导航控制方法,其特征在于:在所述步骤(3.1)中,所述图像预处理具体包括:
(1)图像旋转:
将网络摄像头采集到的镜面图像还原,对图像进行水平翻转;
(2)灰度化:
为方便计算,将RGB三通道的原图转换到gray灰度图;其中R、G、B分别代表红、绿、蓝三个通道的颜色值,转换公式如下:
Gray=0.1140*R+0.5870*G+0.2989*B
(3)图像滤波:
摄像头的分辨率为640×480,采用5×5高斯核可减少边缘检测器上明显的噪声影响,计算公式如下:
Figure FDA0003662221750000041
其中G(x,y)为二维高斯函数,(x,y)为点坐标,σ为标准差,A为归一化系数,使不同的权重之和为一。
3.如权利要求1所述的全地形机器人视觉导航控制方法,其特征在于:在步骤(3.2)中所述检测具体包括:
(1)通过Sobel水平和垂直算子与输入图像卷积计算dx、dy
Figure FDA0003662221750000042
Figure FDA0003662221750000043
dx=f(x,y)×Sobelx(x,y)
dy=f(x,y)×Sobely(x,y)
其中Sobelx为Sobel水平算子,Sobely为Sobel垂直算子,dx表示x方向上的梯度,dy表示y方向上的梯度;
(2)利用dx、dy计算图像梯度的幅值和角度:
Figure 1
Figure FDA0003662221750000051
其中M(x,y)为梯度的幅值,θM为角度;
(3)通过非极大值抑制,保留局部范围内的相同梯度方向上灰度变化最大的部分,使边界清晰化;非极大值抑制后设置双阈值Minval和Maxval,继续删选边缘线,图像灰度低于Minval的抛弃,高于Maxval的保留,介于两值之间的点则判断其是否与保留的边界相连,若相连则保留,否则滤除。
4.如权利要求3所述的全地形机器人视觉导航控制方法,其特征在于:所述Minval值为100,所述Maxval值为250。
5.如权利要求1所述的全地形机器人视觉导航控制方法,其特征在于:间隙的阈值为30。
CN202011542676.5A 2020-12-22 2020-12-22 一种全地形机器人视觉导航控制方法 Active CN112720408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011542676.5A CN112720408B (zh) 2020-12-22 2020-12-22 一种全地形机器人视觉导航控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011542676.5A CN112720408B (zh) 2020-12-22 2020-12-22 一种全地形机器人视觉导航控制方法

Publications (2)

Publication Number Publication Date
CN112720408A CN112720408A (zh) 2021-04-30
CN112720408B true CN112720408B (zh) 2022-07-08

Family

ID=75604714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011542676.5A Active CN112720408B (zh) 2020-12-22 2020-12-22 一种全地形机器人视觉导航控制方法

Country Status (1)

Country Link
CN (1) CN112720408B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998136A (zh) * 2022-01-29 2022-09-02 杭州微影软件有限公司 一种热成像图像校正方法和装置
CN116437063A (zh) * 2023-06-15 2023-07-14 广州科伊斯数字技术有限公司 一种三维图像显示系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4707647A (en) * 1986-05-19 1987-11-17 Gmf Robotics Corporation Gray scale vision method and system utilizing same
JPH08106323A (ja) * 1994-10-05 1996-04-23 Matsushita Electric Ind Co Ltd 走行方向制御装置
CN105783935A (zh) * 2016-03-07 2016-07-20 河北科技大学 农业机械视觉导航方法
CN108181897A (zh) * 2017-12-11 2018-06-19 华侨大学 一种双足机器人自动循迹的方法
CN108416809A (zh) * 2018-03-09 2018-08-17 江南大学 一种基于机器视觉的钢桶螺纹盖位姿识别方法
CN109190473A (zh) * 2018-07-29 2019-01-11 国网上海市电力公司 一种“机器视觉理解”在电力远程监控中的应用
CN110666801A (zh) * 2018-11-07 2020-01-10 宁波赛朗科技有限公司 一种复杂工件匹配定位的抓取工业机器人
CN111993422A (zh) * 2020-08-11 2020-11-27 上海交通大学 基于无标定视觉的机器人轴孔对准控制方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4707647A (en) * 1986-05-19 1987-11-17 Gmf Robotics Corporation Gray scale vision method and system utilizing same
JPH08106323A (ja) * 1994-10-05 1996-04-23 Matsushita Electric Ind Co Ltd 走行方向制御装置
CN105783935A (zh) * 2016-03-07 2016-07-20 河北科技大学 农业机械视觉导航方法
CN108181897A (zh) * 2017-12-11 2018-06-19 华侨大学 一种双足机器人自动循迹的方法
CN108416809A (zh) * 2018-03-09 2018-08-17 江南大学 一种基于机器视觉的钢桶螺纹盖位姿识别方法
CN109190473A (zh) * 2018-07-29 2019-01-11 国网上海市电力公司 一种“机器视觉理解”在电力远程监控中的应用
CN110666801A (zh) * 2018-11-07 2020-01-10 宁波赛朗科技有限公司 一种复杂工件匹配定位的抓取工业机器人
CN111993422A (zh) * 2020-08-11 2020-11-27 上海交通大学 基于无标定视觉的机器人轴孔对准控制方法

Also Published As

Publication number Publication date
CN112720408A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN109024417B (zh) 一种智能道路清扫车及其道路污染物识别方法和控制方法
CN108596129B (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
Kluge Extracting road curvature and orientation from image edge points without perceptual grouping into features
CN109797691B (zh) 一种无人清扫车及其行车方法
CN112720408B (zh) 一种全地形机器人视觉导航控制方法
CN108398672B (zh) 基于前倾2d激光雷达移动扫描的路面与障碍检测方法
CN107421540B (zh) 一种基于视觉的移动机器人导航方法及系统
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN107330376A (zh) 一种车道线识别方法及系统
CN107066986A (zh) 一种基于单目视觉的车道线与前方障碍物检测方法
CN107679520A (zh) 一种适用于复杂条件下的车道线视觉检测方法
Huang et al. Lane detection based on inverse perspective transformation and Kalman filter
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航系统及方法
CN109828267A (zh) 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
Lin et al. Construction of fisheye lens inverse perspective mapping model and its applications of obstacle detection
CN107291088A (zh) 一种水下机器人图像识别和目标跟踪系统
Stone et al. Skyline-based localisation for aggressively manoeuvring robots using UV sensors and spherical harmonics
CN210031639U (zh) 无人清扫车
Rossi et al. Real-time lane detection and motion planning in raspberry pi and arduino for an autonomous vehicle prototype
CN114905512A (zh) 一种智能巡检机器人全景追踪及避障方法及系统
CN111652033A (zh) 基于OpenCV的车道线检测方法
FAN et al. Robust lane detection and tracking based on machine vision
JP4967758B2 (ja) 物体移動の検出方法及び検出装置
CN206832260U (zh) 一种基于视觉的移动机器人导航系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230105

Address after: 7F-09, Building 3, No. 1377 Fuchunjiang Road, Kunshan Development Zone, Suzhou, Jiangsu 215300

Patentee after: Suzhou renbei Industrial Technology Co.,Ltd.

Address before: 213001 No. 1801 Wu Cheng Road, Changzhou, Jiangsu

Patentee before: JIANGSU University OF TECHNOLOGY

TR01 Transfer of patent right