CN111652069B - 移动机器人的目标识别与定位方法 - Google Patents

Abstract

一种移动机器人的目标识别与定位方法,包括识别步骤、定位步骤，所述识别步骤的子步骤包括图像采集步骤、滤波步骤、边缘检测步骤、特征提取步骤，所述定位步骤的子步骤包括成像建模步骤、畸变纠正步骤、重新定位步骤、计算步骤。其有益效果是：改善了机器人对目标定位不准，时效性差的问题，提高了计算效率及定位精度，实时性好。

Description

移动机器人的目标识别与定位方法

技术领域

本发明涉及机器人领域，特别是一种移动机器人的目标识别与定位方法。

背景技术

近年来视觉传感器广泛应用在移动机器人中，单目视觉具有安装空间小，时效性高的优点的特点，因此基于单目视觉的目标定位算法逐渐成为研究的热点。现有的视觉传感技术，针对射频识别室内定位的VIRE算法对边界处目标定位精度低，引入边界虚拟参考标签，提出了改进的CVIRE算法，虽然该系统定位精度较高，但系统设计复杂，导致计算量较大，时效性差。同时现有的视觉传感技术将单目测距应用到即时定位与地图构建中，降低了系统运行消耗，但测量范围窄、视野较小。

发明内容

本发明的目的是为了解决上述问题，设计了一种移动机器人的目标识别与定位方法。具体设计方案为：

一种移动机器人的目标识别与定位方法,包括识别步骤、定位步骤，所述识别步骤中对图像进行采集识别处理，所述计算步骤中对处理后的图像进行计算以确定目标位置，其特征在于，所述识别步骤的子步骤包括图像采集步骤、滤波步骤、边缘检测步骤、特征提取步骤，所述定位步骤的子步骤包括成像建模步骤、畸变纠正步骤、重新定位步骤、计算步骤，

上述所述识别步骤的子步骤、定位步骤的子步骤依次进行，其中：

所述图像采集步骤中，首先使用单目摄像头采集图像；

所述滤波步骤中，对图像进行灰度化处理、中值滤波，以降低图像噪声及图像畸变；

所述边缘检测步骤中，对滤波后的图像进行Sobel算子边缘检测；

所述特征提取步骤中，利用霍夫变换提取圆形边缘特征，检测圆形输出圆心坐标及半径信息，并在图像中绘出圆形边缘轮廓；

所述成像建模步骤中，根据单目视觉测量原理，在不考虑相机畸变的情况下，建立单目视觉模型；

所述畸变纠正步骤中，根据图像处理得到的目标球的当前位置信息，调整机器人的位姿，使摄像头光轴与球心在同一条直线上；

所述重新定位步骤中，机器人在运动过程中，摄像机以每秒15帧的速度拍摄目标，移动机器人根据计算结果不断调整角度及距离，直到球心在光轴上；

所述计算步骤中利用单目视觉模型进行计算；

所述中值滤波属于非线性去噪，能在保留信号边缘的同时，去除大部分的斑点、椒盐噪声，具体的，所述中值滤波中，按大小生成相应的数据序列，将滑动模板内的像素排序，其公式为：

f(x,y)＝med{F(x-i,y-j),(i，j∈W)}

其中，F(x,y)为原始采集图像函数，f(x,y)为中值滤波处理后的图像函数，W为二维3*3滑动模板，i和j分别为该模板的行列序列号。

边缘检测主要是用图像强度导数来计算梯度幅值，方便目标的识别定位，具体的，所述边缘检测步骤中，Sobel算子边缘检测的公式为：

其中，Δf(x,y)为图像上一点的梯度，G_x为水平方向梯度，G_y为垂直方向梯度，T为转置，为f对x的偏导数，/>为f对y的偏导数。

随机霍夫变换方法首先在边缘上随机寻找三个不共线的点，然后通过映射关系判断是否可以确定为圆；最后通过累加法检测是否为圆，所述特征提取步骤中，圆心坐标公式为：

(x-a)²+(y-b)²＝r²

其中，a为圆心x轴坐标，b为圆心y轴坐标，_r为圆的半径。

单目视觉模型中，空间中一点转化成像素坐标系的映射关系公式为：

其中，空间坐标系为O_W-X_WY_WZ_W，相机坐标系为O_C-X_CY_CZ_C，图像坐标系为O-XY，像素坐标系为uv。

f_x＝f/dx，f_y＝f/dy，f为摄像机的焦距，dx，dy表示单位像素在像平面中分别对应的x轴，y轴上的大小；(u₀,v₀)为光轴在图像坐标系中对应的坐标点；R_3×3，T_3×1分别为世界坐标系向相机坐标系转换的旋转矩阵和平移矩阵。

球心为C，OCA与OCB为相切于球的光线，CA⊥OCA,CB⊥OCB，OE为由图像测得的球在图像中的半径，AC为球的实际半径，为光线OCA与光轴ZC的夹角。

在不考虑畸变的情况下，

小球在图像坐标系下的半径OE大小为：

同时：

摄像机与小球的距离CO_C的大小为：

最常见的畸变类型是桶形失真和枕形失真，且越靠近光轴，畸变越小，测量精度越高。为减小图像畸变导致的测距误差，根据图像处理得到的目标球的当前位置信息，调整机器人的位姿，使摄像头光轴与球心在同一条直线上。当球心不在摄像机光轴上时，通过已有数据可以推导：

机器人转角度ψ：

球心与光轴在图像上的大小d：

以及机器人调整距离D：

其中，H为图像的高度，2β为摄像机的垂直视野角。

所述计算步骤中，

摄像头安装在移动机器人上，距离地面高度为h，θ为俯仰角，2α为摄像机的水平视野角，2β为摄像机的垂直视野角，γ为光轴与球心C的夹角；f_x＝f/dx，f_y＝f/dy，f为摄像机的焦距，dx，dy表示单位像素在像平面中分别对应的x轴，y轴上的大小；(u₀,v₀)为光轴在图像坐标系中对应的坐标点；R_3×3，T_3×1分别为世界坐标系向相机坐标系转换的旋转矩阵和平移矩阵，球的实际半径为R，可得出球在像素坐标系下的半径r及球心坐标，

单目视觉定位公式为：

Y_W＝h·tan(π/2-θ-γ)。

单目视觉模型中，通过相机标定建立图像像素坐标和空间位置坐标之间的对应关系,利用张氏标定法求解单目相机内参矩阵M公式为：

通过本发明的上述技术方案得到的移动机器人的目标识别与定位方法，其有益效果是：

改善了机器人对目标定位不准，时效性差的问题，提高了计算效率及定位精度，实时性好。

附图说明

图1是本发明所述图像采集步骤中采集到的图像；

图2是本发明所述灰度化中通过灰度处理后的图像；

图3是本发明所述边缘检测后的图像；

图4是本发明所述霍夫变换后的图像；

图5是单目视觉模型示意图；

图6是单目视觉投影图；

图7是定位算法逻辑流程图；

图8为移动机器人的四以图；。

具体实施方式

下面结合附图对本发明进行具体描述。

一种移动机器人的目标识别与定位方法,包括识别步骤、定位步骤，所述识别步骤中对图像进行采集识别处理，所述计算步骤中对处理后的图像进行计算以确定目标位置，其特征在于，所述识别步骤的子步骤包括图像采集步骤、滤波步骤、边缘检测步骤、特征提取步骤，所述定位步骤的子步骤包括成像建模步骤、畸变纠正步骤、重新定位步骤、计算步骤，

上述所述识别步骤的子步骤、定位步骤的子步骤依次进行，其中：

所述图像采集步骤中，首先使用单目摄像头采集图像；

所述滤波步骤中，对图像进行灰度化处理、中值滤波，以降低图像噪声及图像畸变；

所述边缘检测步骤中，对滤波后的图像进行Sobel算子边缘检测；

所述特征提取步骤中，利用霍夫变换提取圆形边缘特征，检测圆形输出圆心坐标及半径信息，并在图像中绘出圆形边缘轮廓；

所述成像建模步骤中，根据单目视觉测量原理，在不考虑相机畸变的情况下，建立单目视觉模型；

所述畸变纠正步骤中，根据图像处理得到的目标球的当前位置信息，调整机器人的位姿，使摄像头光轴与球心在同一条直线上；

所述重新定位步骤中，机器人在运动过程中，摄像机以每秒15帧的速度拍摄目标，移动机器人根据计算结果不断调整角度及距离，直到球心在光轴上；

所述计算步骤中利用单目视觉模型进行计算；

所述中值滤波属于非线性去噪，能在保留信号边缘的同时，去除大部分的斑点、椒盐噪声，具体的，所述中值滤波中，按大小生成相应的数据序列，将滑动模板内的像素排序，其公式为：

f(x,y)＝med{F(x-i,y-j),(i，j∈W)}

其中，F(x,y)为原始采集图像函数，f(x,y)为中值滤波处理后的图像函数，W为二维3*3滑动模板，i和j分别为该模板的行列序列号。

边缘检测主要是用图像强度导数来计算梯度幅值，方便目标的识别定位，具体的，所述边缘检测步骤中，Sobel算子边缘检测的公式为：

其中，Δf(x,y)为图像上一点的梯度，G_x为水平方向梯度，G_y为垂直方向梯度，T为转置，为f对x的偏导数，/>为f对y的偏导数。

随机霍夫变换方法首先在边缘上随机寻找三个不共线的点，然后通过映射关系判断是否可以确定为圆；最后通过累加法检测是否为圆，所述特征提取步骤中，圆心坐标公式为：

(x-a)²+(y-b)²＝r²

其中，a为圆心x轴坐标，b为圆心y轴坐标，_r为圆的半径。

单目视觉模型中，空间中一点转化成像素坐标系的映射关系公式为：

其中，空间坐标系为O_W-X_WY_WZ_W，相机坐标系为O_C-X_CY_CZ_C，图像坐标系为O-XY，像素坐标系为uv。

f_x＝f/dx，f_y＝f/dy，f为摄像机的焦距，dx，dy表示单位像素在像平面中分别对应的x轴，y轴上的大小；(u₀,v₀)为光轴在图像坐标系中对应的坐标点；R_3×3，T_3×1分别为世界坐标系向相机坐标系转换的旋转矩阵和平移矩阵。

球心为C，OCA与OCB为相切于球的光线，CA⊥OCA,CB⊥OCB，OE为由图像测得的球在图像中的半径，AC为球的实际半径，为光线OCA与光轴ZC的夹角。

在不考虑畸变的情况下，

小球在图像坐标系下的半径OE大小为：

同时：

摄像机与小球的距离CO_C的大小为：

最常见的畸变类型是桶形失真和枕形失真，且越靠近光轴，畸变越小，测量精度越高。为减小图像畸变导致的测距误差，根据图像处理得到的目标球的当前位置信息，调整机器人的位姿，使摄像头光轴与球心在同一条直线上。当球心不在摄像机光轴上时，通过已有数据可以推导：

机器人转角度ψ：

球心与光轴在图像上的大小d：

以及机器人调整距离D：

其中，H为图像的高度，2β为摄像机的垂直视野角。

所述计算步骤中，

摄像头安装在移动机器人上，距离地面高度为h，θ为俯仰角，2α为摄像机的水平视野角，2β为摄像机的垂直视野角，γ为光轴与球心C的夹角；f_x＝f/dx，f_y＝f/dy，f为摄像机的焦距，dx，dy表示单位像素在像平面中分别对应的x轴，y轴上的大小；(u₀,v₀)为光轴在图像坐标系中对应的坐标点；R_3×3，T_3×1分别为世界坐标系向相机坐标系转换的旋转矩阵和平移矩阵，球的实际半径为R，可得出球在像素坐标系下的半径r及球心坐标，

单目视觉定位公式为：

Y_W＝h·tan(π/2-θ-γ)。

单目视觉模型中，通过相机标定建立图像像素坐标和空间位置坐标之间的对应关系,利用张氏标定法求解单目相机内参矩阵M公式为：

实施例1

图7是定位算法逻辑流程图，如图7所示，机器人在运动过程中，摄像机以每秒15帧的速度拍摄目标，移动机器人根据计算结果不断调整角度及距离，直到球心在光轴上，再进行定位计算，能有效地消除畸变引起的定位误差，提高定位精度。

实施例2

搭建如图8所示的三轮全向移动机器人平台，控制器使用美国NI公司生产的MyRIO-1900以及LabVIEW图形化程序编译平台。视觉系统采用的摄像头为罗技c270，像素为500万，最大分辨率为720p/30fps，在室内进行实验，实验光照为LED灯，地板颜色为白色,实验所用的球为标准高尔夫球，球的颜色为蓝色和红色。

实施例3

在实施例2的基础上，使用文中所用识别定位算法，在上述实验环境中进行了200次实验并进行分析。经过200次实验验证得知畸变纠正前的误差率在2％以下，畸变纠正后的误差率在0.6％以下。表1和表2为随机给出的11次实验样例，对纠正畸变前后的定位结果进行比对，表1为畸变纠正前的测距算法进行实验所得的实验数据，表2为畸变纠正后的测距算法进行实验所得的实验数据。

表1畸变纠正前的实验样例数据比对表

表2畸变纠正后的实验样例数据比对表

对比例：

将表1与表2进行对比，

对比结果表明，测量数据与实际数据存在一定的误差，从表1可以看出，纠正畸变前误差较大，目标距离与误差率呈线性关系，且距离越远，误差越大，说明摄像头光轴与被测目标平面不垂直，因光轴发生了倾斜造成了畸变误差，距离越远，光轴倾斜越大。表2为纠正后的数据，计算光轴偏角及偏移距离，通过移动机器人位姿变换来纠正光轴倾斜造成的误差，误差率由原来的2％降低到了0.6％，定位精度有明显的提高。此外，经过200次实验发现：

a)当移动机器人与目标的距离在1米到2米范围内时，小球图像清晰，识别精度高，定位误差小，误差率在0.3％以下；

b)当距离小于1米时，图像存在失真现象，误差较大，误差率在0.6％以下；

c)当距离大于2米时，小球图像过小，边缘检测难度大，识别准确度差，误差大，误差率在0.6％以下。

改善了机器人对目标定位不准，时效性差的问题。通过Sobel边缘检测及霍夫变换检测圆形目标，建立单目视觉模型进行定位计算，提出了纠正光轴倾斜的算法，并通过机器人位姿调整简化计算过程，提高了计算效率及定位精度。实验结果表明，该算法实时性好、准确度高，经过畸变纠正算法计算，移动机器人对小球的定位误差率由原来的2％减小到0.6％。从表2纠正之后的数据来看，测量结果该算法相对误差小，可靠性高。

上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于本发明的保护范围之内。

Claims (8)

1.一种移动机器人的目标识别与定位方法,包括识别步骤、定位步骤，其特征在于，所述识别步骤的子步骤包括图像采集步骤、滤波步骤、边缘检测步骤、特征提取步骤，所述定位步骤的子步骤包括成像建模步骤、畸变纠正步骤、重新定位步骤、计算步骤，

上述所述识别步骤的子步骤、定位步骤的子步骤依次进行，其中：

所述图像采集步骤中，首先使用单目摄像头采集图像；

所述滤波步骤中，对图像进行灰度化处理、中值滤波；

所述边缘检测步骤中，对滤波后的图像进行Sobel算子边缘检测；

所述特征提取步骤中，利用霍夫变换提取圆形边缘特征，检测圆形输出圆心坐标及半径信息，并在图像中绘出圆形边缘轮廓；

所述成像建模步骤中，根据单目视觉测量原理，在不考虑相机畸变的情况下，建立单目视觉模型；

所述畸变纠正步骤中，根据图像处理得到的目标球的当前位置信息，调整机器人的位姿，使摄像头光轴与球心在同一条直线上；

所述重新定位步骤中，机器人在运动过程中，摄像机以每秒15帧的速度拍摄目标，移动机器人根据计算结果不断调整角度及距离，直到球心在光轴上；

所述计算步骤中利用单目视觉模型进行计算。

2.根据权利要求1中所述的移动机器人的目标识别与定位方法，其特征在于，所述中值滤波中，按大小生成相应的数据序列，将滑动模板内的像素排序，其公式为：

f(x,y)＝med{F(x-i,y-j),(i，j∈W)}

其中，F(x,y)为原始采集图像函数，f(x,y)为中值滤波处理后的图像函数，W为二维3*3滑动模板。

3.根据权利要求1中所述的移动机器人的目标识别与定位方法，其特征在于，所述边缘检测步骤中，Sobel算子边缘检测的公式为：

其中，Δf(x,y)为图像上一点的梯度，G_x为水平方向梯度，G_y为垂直方向梯度。

4.根据权利要求1中所述的移动机器人的目标识别与定位方法，其特征在于，所述特征提取步骤中，圆心坐标公式为：

(x-a)²+(y-b)²＝r²

其中，a为圆心x轴坐标，b为圆心y轴坐标，r为圆的半径。

5.根据权利要求1中所述的移动机器人的目标识别与定位方法，其特征在于，单目视觉模型中，空间中一点转化成像素坐标系的映射关系公式为：

6.根据权利要求1中所述的移动机器人的目标识别与定位方法，其特征在于，在不考虑畸变的情况下，

小球在图像坐标系下的半径OE大小为：

同时：

摄像机与小球的距离CO_C的大小为：

最常见的畸变类型是桶形失真和枕形失真，且越靠近光轴，畸变越小，测量精度越高，为减小图像畸变导致的测距误差，根据图像处理得到的目标球的当前位置信息，调整机器人的位姿，使摄像头光轴与球心在同一条直线上，当球心不在摄像机光轴上时，通过已有数据可以推导：

机器人转角度ψ：

球心与光轴在图像上的大小d：

以及机器人调整距离D：

7.根据权利要求1中所述的移动机器人的目标识别与定位方法，其特征在于，所述计算步骤中，

摄像头安装在移动机器人上，距离地面高度为h，θ为俯仰角，2α为摄像机的水平视野角，2β为摄像机的垂直视野角，γ为光轴与球心C的夹角；f_x＝f/dx，f_y＝f/dy，f为摄像机的焦距，dx，dy表示单位像素在像平面中分别对应的x轴，y轴上的大小；(u₀,v₀)为光轴在图像坐标系中对应的坐标点；R_3×3，T_3×1分别为世界坐标系向相机坐标系转换的旋转矩阵和平移矩阵，球的实际半径为R，可得出球在像素坐标系下的半径r及球心坐标，

单目视觉定位公式为：

Y_W＝h·tan(π/2-θ-γ)。

8.根据权利要求5中所述的移动机器人的目标识别与定位方法，其特征在于，单目视觉模型中，通过相机标定建立图像像素坐标和空间位置坐标之间的对应关系,利用张氏标定法求解单目相机内参矩阵M公式为：