CN113139987A - 一种视觉循迹四足机器人及其循迹线的特征信息提取算法 - Google Patents

Abstract

本发明公开了一种视觉循迹四足机器人及其循迹线的特征信息提取算法，包括8自由度的四足步行机器人本体、摄像头模块、上位机模块、下位机模块、舵机，其中四足步行机器人本体采用全肘式的四足机器人串联腿部结构，舵机作为四足步行机器人本体腿部关节的执行机构，摄像头模块设于四足步行机器人本体头部，摄像头模块与上位机模块通过usb连接，上位机模块用于将摄像头模块采集到的视频帧进行实时处理，上位机模块与下位机模块通过串口连接，下位机模块接收上位机模块串口通讯执行步态，上位机模块通过裁剪感兴趣区域的处理方法提高了对黑色循迹线的识别能力，下位机模块的仿生步态循迹策略，提高了四足步行机器人本体的轨迹跟踪效果。

Description

一种视觉循迹四足机器人及其循迹线的特征信息提取算法

技术领域

本发明涉及机器人技术领域，更具体地说，它涉及一种视觉循迹四足机器人及循迹线的特征信息提取算法。

背景技术

近年来，人工智能快速发展，对机器人的研究也更多的注重于自主化和智能化。各个领域内的机器人都取得了飞速的发展，有水下的深水探测机器人、空中的自主巡航无人机，还有陆地上的轮式、足式巡检机器人等都广泛的应用于生活中的各个方面。对于主要活动在陆地上的人类文明来说，陆地机器人拥有更大的发展需求。面对运动场景足式机器人相对于轮式机器人来讲，有更强的环境适应能力。对于复杂地形的机器人作业，轮式机器人往往不能发挥作用。而基于行走式的四足机器人却可以完成移动等智能任务。在智能化和自动化迅速发展的今天，足式机器人更具备良好的发展前景，能够在巡检、抢险救灾和野外探测等方面发挥更大的作用。为了让机器人能够感知周围环境，实现机器人与环境的智能交互，采集外界特征信息也就成为机器人发展的关键问题。随着计算机处理图像技术的日益成熟，机器视觉成为机器人与环境交互的重大突破口。机器人基于图像信息实现自主化与智能化将成为未来发展的重要趋势。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种视觉循迹四足机器人，其具有实现四足机器人快速、稳定的在直线、弯道轨迹上自主循迹的特点。

为实现上述目的，本发明提供了如下技术方案：

一种视觉循迹四足机器人，包括8自由度的四足步行机器人本体、摄像头模块、上位机模块、下位机模块、舵机，其中所述四足步行机器人本体采用全肘式的四足机器人串联腿部结构，所述舵机作为所述四足步行机器人本体腿部关节的执行机构，摄像头模块设于所述四足步行机器人本体头部，所述摄像头模块与所述上位机模块通过 usb连接，所述上位机模块用于将所述摄像头模块采集到的视频帧进行实时处理，所述上位机模块与所述下位机模块通过串口连接，所述下位机模块接收所述上位机模块串口通讯执行步态。

进一步地，所述舵机为双轴数字舵机。

进一步地，所述下位机模块为采用Arduino Mega2560开发板的下位机控制器。

进一步地，所述摄像头模块为ZED双目相机。

进一步地，所述上位机模块为戴尔DESKTOP-49A8PFU笔记本。

进一步地，一种循迹线的特征信息提取算法，第一步，将采集到的彩色图像的RGB三分量进行加权平均，得到灰度图像，处理后的图像像素在0-255的范围之中，像素越低则颜色越黑，黑色循迹线相对于白色地板而言，有更低的像素值；

第二步，将灰度图进行二值化处理，通过设定阈值为45灰度值，将低于45灰度值的像素设为1，将高于45灰度值的像素设为0；

第三步，对二值化图像进行去噪处理；

第四步，寻找图像中的黑线轮廓，将轮廓标记于图像之中，对图像进行感兴趣区域的裁剪，将此区域之外的像素值等于0；

第五步，对图像中所有的轮廓进行筛选，将选出的轮廓进行最小外接矩形，最小外接矩形是一个细长的长方形，依据此长方形的几何特征，作为轮廓筛选的依据，得出唯一的黑色循迹线的轮廓信息；

第六步，通过建立循迹线的近似直线方程，选择画面中轮廓线最底端中点作为直线A(X1,Y1)点，画面中竖直方向三分之一处区间的轮廓线中点为B(X2,Y2)点，利用两条直线的如下夹角公式求出两条直线的夹角a，直线的截距b直接用A点横坐标与画面长度的二分之一求差得出。

Ax+By+C＝0

综上所述，本发明具有以下有益效果：

1、本文针对四足机器人视觉循迹问题，设计了循迹线特征信息提取算法和四足机器人轨迹跟踪步态调整的算法，实现对机器人的循迹跟踪控制，上位机模块通过裁剪感兴趣区域的处理方法大大提高了对黑色循迹线的识别能力，融入微分思想拟合直线的方法有效准确的提取出循迹线的位置信息。同时，下位机模块的仿生步态循迹策略，极大的提高了四足步行机器人本体的轨迹跟踪效果；

四足步行机器人本体的移动是以步态为基础的，下位机模块提供了四足步行机器人本体的所有基础步态，如前进、后退、左右平移、左右转弯。这些基础步态实现四足步行机器人本体的全向移动功能。此外还有一些静姿态库，实现四足步行机器人本体在非平面路段的平衡移动，这些静姿态库包含对横滚轴、偏航轴和俯仰轴的调节，能够在非平面让四足步行机器人本体身体依然处于平衡状态。

附图说明

图1为本发明提供的一种实施方式的视觉循迹四足机器人的硬件系统框架；

图2为本发明提供的一种实施方式的视觉循迹四足机器人的视觉循迹算法流程图；

图3为本发明提供的一种实施方式的摄像头模块与四足步行机器人本体的相对位置示意图；

图4为本发明提供的一种实施方式的视觉循迹四足机器人的PID 算法的流程框图。

具体实施方式

实施例：

以下结合附图1-4对本发明作进一步详细说明。

一种视觉循迹四足机器人，如图1-4所示，包括8自由度的四足步行机器人本体、摄像头模块、上位机模块、下位机模块、舵机，其中四足步行机器人本体采用全肘式的四足机器人串联腿部结构，舵机作为四足步行机器人本体腿部关节的执行机构，舵机选用RDS5160型号的60KG双轴数字舵机，具有控制精度高、线性度好，相应速度快的优点。控制方式式通过接受主控芯片发出的PWM信号进行关节运动的角度控制并锁定此角度；每条腿有两个自由度，分别是大腿转动关节和小腿转动关节，共需要8个舵机驱动，摄像头模块与上位机模块通过usb连接，摄像头模块为摄像机，摄像机负责采集图像，本发明直接使用Stereolabs公司的ZED双目相机，ZED相机拥有两颗400 万像素摄像机，可以捕获110度广角视频，同时支持多种分辨率，最高可达到15帧/秒的4416×1242的像素，能够轻松捕获循迹地面环境，保证实时采集到的视频图像特征明显，方便提高后续对黑色循迹线的图像处理精度。上位机模块用于将摄像头模块采集到的视频帧进行实时处理，系统需要对采集到的视频帧进行实时处理，不仅需要对黑色车道线的特征信息进行提取，还需要对提取出来的信息进行PID算法运算。所以综合考虑性能、成本等多方面因素，本发明上位机模块选择戴尔DESKTOP-49A8PFU笔记本，对于硬件方面的要求，该计算机搭载i7处理器、16G运行内存、3.0的USB接口可以快速采集并处理视频帧信息。对于软件方面，该笔记本预装了PyCharm作为python语言的编译环境，利用opencv库对视频帧信息进行图像处理。上位机模块与下位机模块通过串口连接，下位机模块为采用Arduino Mega2560开发板的下位机控制器，Mega2560是采用USB接口的核心电路板，处理器核心是ATmega2560，具有54路数字输入输出，其中 15路可作为PWM输出，满足本设计需要大量IO接口的要求。下位机控制器负责执行四足步行机器人本体的各种运动步态，通过与上位机模块以串口的方式进行交互，在上位机模块发出动作指令之后，下位机控制器执行步态库中的对应步态。

四足步行机器人本体跟踪的循迹线为白色地板上的黑色循迹线，摄像头模块需要采集的图像信息是位于四足步行机器人本体前方地面上的黑色轨迹线。所以将摄像头模块安装在四足步行机器人本体头部，调整摄像头模块的偏转角度，使得图像采集的最底端刚好为不出现四足步行机器人本体前腿的地面为画面最低端，从而保证四足步行机器人本体能够实时判断四足步行机器人本体位姿与黑色循迹线的相对位置，从而确保视觉循迹的准确性。

上位机模块以python为编程环境，通过导入opencv库对摄像头模块进行调用，实时采集四足步行机器人本体前方的图像，并对图像进行特征提取。黑色循迹线位于白色地板中，二者有明显的特征差异，利用这种特征，进行黑色循迹线的信息提取。

循迹直线特征信息提取方法包括：第一步将采集到的彩色图像的 RGB三分量进行加权平均，从而得到较合理的灰度图像，处理后的图像像素只在0-255的范围之中，像素越低则颜色越黑，黑色循迹线相对于白色地板而言，有更低的像素值；

第二步将灰度图进行二值化处理，通过设定阈值为45灰度值，将低于45灰度值的像素设为1，将高于45灰度值的像素设为0；

第三步，对二值化图像进行去噪处理；

第四步，寻找图像中的黑线轮廓，为了便于观察与调试，将轮廓标记于图像之中。不过图中存在多个轮廓，在机器人运动的过程中，很容易丢掉轮廓信息，故此步骤之前增加一步裁剪工作，对图像进行感兴趣区域的裁剪，将此区域之外的像素值等于0，最大化的避免其他干扰信息对寻找黑色循迹线轮廓的影响。

然而即便如此，也不能保证此时出现在图像中只有黑色循迹线的轮廓，为了进一步提高寻找出轮廓的准确性与唯一性，对图像中所有的轮廓进行筛选。将选出的轮廓进行最小外接矩形，黑色循迹线在图像中的轮廓有明显的特征，最小外接矩形是一个细长的长方形，依据此长方形的几何特征，作为轮廓筛选的依据，最终得出唯一的黑色循迹线的轮廓信息；

根据上述图像处理算法可以得出黑色循迹线的轮廓信息，但是这些轮廓信息并不能作为机器人循迹的依据。本设计将图像中的轮廓信息处理成一条直线，近似代替黑色循迹线的位置信息。通过建立循迹线的近似直线方程，并将直线的截距和直线与图像中竖直中线的偏角作为机器人位姿调整的依据。其中，直线方程由两点式(如所示)求得，选择画面中轮廓线最底端中点作为直线A(X1,Y1)点，画面中竖直方向三分之一处左右区间的轮廓线中点为B(X2,Y2)点，求出循迹线得直线方程。再根据画面中线的直线方程，即可利用两条直线的夹角公式(公式一)求出两条直线的夹角a。直线的截距 b直接用A点横坐标与画面长度的二分之一求差得出。

Ax+By+C＝0

公式一

识别视觉信息中黑色曲线与黑色直线的图像处理方法大致相同，唯一的区别在于对曲线轮廓的筛选不能再采用外接矩形后，判断矩形特征的方式，而是需要对图片中所有轮廓的面积进行排序，经过一系列处理的二值图像中循迹线的轮廓比重是最大的，故采用筛选轮廓面积的方式对曲线轮廓进行唯一性判定。另外，要想得出曲线在图片中的位置信息，必须将曲线进行一定程度的直线拟合，拟合成直线后再利用直线的斜率和截距信息，作为四足步行机器人本体位姿调整的判断依据。其中曲线的拟合方法利用微分思想，将适当长度的曲线用直线替代，在曲线轮廓中选取最底端的像素点A(X1,Y1)，选取画面中竖直方向三分之一处左右区间的轮廓坐标为B(X2,Y2)点，由于选取的直线长度并不是很远，所以曲线的弯曲程度不会很大，那么这段曲线完全可以使用直线代替，并且拟合后的直线也完全可以代表曲线的弯曲特征，再将直线的斜率和截距用上述直线求解的方式求取即可。

四足步行机器人本体的移动是以步态为基础的，下位机控制器提供了四足步行机器人本体的所有基础步态，如前进、后退、左右平移、左右转弯。这些基础步态实现四足步行机器人本体的全向移动功能。此外还有一些静姿态库，实现四足步行机器人本体在非平面路段的平衡移动，这些静姿态库包含对横滚轴、偏航轴和俯仰轴的调节，能够在非平面让四足步行机器人本体身体依然处于平衡状态。

对于要实现的循迹直线与曲线的需求，四足步行机器人本体需要调用下位机控制器前进和转向的基础步态，前进步态实现跟随循迹线行走的要求，转向步态实现调节与循迹线对应位置的作用，从而能够实现四足步行机器人本体准确跟踪循迹线的要求。

四足步行机器人本体在行走过程中的循迹线的斜率和截距是在不断变化的，机器人直行的过程中调节转向会对四足步行机器人本体的行走稳定性造成较大的干扰。针对机器人面对较大和较小转角的情况，提出了对应的两种转向策略。一、在面对较大转角的时候，首先做出的调节步态是转向，先将四足步行机器人本体身体与循迹线的相对角度先调节到一个比较小的范围内，其中，四足步行机器人本体转向的步长，将以实际测量的转角大小来调整，从而能够保证转向调整的实时性与准确性。二、在面对较小转角的时候，四足步行机器人本体执行前进步态，与此同时四足步行机器人本体需要调节重心的偏移，从而改变前进时的方向。重心的偏移通过静姿态库中调节翻滚轴的方式进行调节，翻滚轴的调节依据测量出来的转角值。通过这样的方式能够让四足步行机器人本体前进的方向，由四足步行机器人本体重心的偏移来调节，保证四足步行机器人本体跟踪过程中的稳定性与准确性。

将循迹线的近似斜率和截距转化为步态调整的参数，并且通过 PID控制算法，让调节过程中超调量降低并且稳定时间缩短。

比例环节作用在于放大或缩小误差信号，但会使系统震荡。积分环节会不断的累计误差，再将累计值作为输出，从而消除自控系统的余差。微分环节用来克服被控对象的滞后，它能预测误差变化的趋势，从而避免了被控量的严重超调。

通过两组PID分别调节循迹线的近似斜率和截距，其中期望值都为0，真实值分别为直线的斜率x和截距y，再将两组的输出求和作为下位机转向调节的依据，如下公式二。

outx＝PID(x)

outy＝PID(y)

out＝PID(x)+PID(y)

本发明中有两个转向调节策略，这里将设置一个输出阈值，小于输出阈值的时候四足步行机器人本体与循迹线的相对位置偏移较小采用重心偏移策略，大于输出阈值的时候四足步行机器人本体与循迹线的相对位置偏移较大采用转向步态调节策略。当四足步行机器人本体不论是面对曲线还是直线的循迹线的时候，都可以第一时间做出位置调整的输出信号处理，再由上位机模块与下位机控制器的串口通讯传输上位机模块的PID输出值，即可实现对四足步行机器人本体的循迹控制。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (6)

1.一种视觉循迹四足机器人，其特征在于：包括8自由度的四足步行机器人本体、摄像头模块、上位机模块、下位机模块、舵机，其中所述四足步行机器人本体采用全肘式的四足机器人串联腿部结构，所述舵机作为所述四足步行机器人本体腿部关节的执行机构，摄像头模块设于所述四足步行机器人本体头部，所述摄像头模块与所述上位机模块通过usb连接，所述上位机模块用于将所述摄像头模块采集到的视频帧进行实时处理，所述上位机模块与所述下位机模块通过串口连接，所述下位机模块接收所述上位机模块串口通讯执行步态。

2.根据权利要求1所述的视觉循迹四足机器人，其特征在于：所述舵机为双轴数字舵机。

3.根据权利要求1所述的视觉循迹四足机器人，其特征在于：所述下位机模块为采用Arduino Mega2560开发板的下位机控制器。

4.根据权利要求1所述的视觉循迹四足机器人，其特征在于：所述摄像头模块为ZED双目相机。

5.根据权利要求1所述的视觉循迹四足机器人，其特征在于：所述上位机模块为戴尔DESKTOP-49A8PFU笔记本。

6.一种循迹线的特征信息提取算法，其特征在于：

第一步，将采集到的彩色图像的RGB三分量进行加权平均，得到灰度图像，处理后的图像像素在0-255的范围之中，像素越低则颜色越黑，黑色循迹线相对于白色地板而言，有更低的像素值；

第二步，将灰度图进行二值化处理，通过设定阈值为45灰度值，将低于45灰度值的像素设为1，将高于45灰度值的像素设为0；

第三步，对二值化图像进行去噪处理；

第四步，寻找图像中的黑线轮廓，将轮廓标记于图像之中，对图像进行感兴趣区域的裁剪，将此区域之外的像素值等于0；

第五步，对图像中所有的轮廓进行筛选，将选出的轮廓进行最小外接矩形，最小外接矩形是一个细长的长方形，依据此长方形的几何特征，作为轮廓筛选的依据，得出唯一的黑色循迹线的轮廓信息；

第六步，通过建立循迹线的近似直线方程，选择画面中轮廓线最底端中点作为直线A(X1,Y1)点，画面中竖直方向三分之一处区间的轮廓线中点为B(X2,Y2)点，利用两条直线的如下夹角公式求出两条直线的夹角a，直线的截距b直接用A点横坐标与画面长度的二分之一求差得出。

Ax+By+C＝0

Images