CN110097592B - 地面信息的语义性描述方法 - Google Patents

Abstract

公开一种地面信息的语义性描述方法，包括设置在移动机器人前部的双目立体摄像机，焦距为f，高度为h，双目立体摄像机的光轴与移动机器人的底盘平行，还包括与双目立体摄像机连接的处理器，处理器设置路面状况快速检测方法，包括以下步骤：获取深度信息z=f₁(X,Y)；投影点的摄像机坐标为(x，y，z)，并计算x和y；计算地面信息图f₂(X,Y)=h‑y，二值化得到f₃(X,Y)；将二值图f₃(X,Y)进行优化处理;用二值图f₃(X,Y)与优化f₂(X,Y)；扫描地面信息图f₂(X,Y)，获取路面的不平整区域的面积，最大不平整度，距离，方位角，并形成语义描述算子。该方法将原始距离信息进行精炼，形成语义描述算子方便移动机器人及其他协同工作的机器人使用。

Description

地面信息的语义性描述方法

技术领域

本发明涉及地面信息的语义性描述方法，属于机器视觉的图像处理领域。

背景技术

在处理复杂任务的时候，多机器人协同工作的效率会显著提高，可以实现单个机器人无法完成的任务。当多机器人协同工作的时候，除了进行任务的分解，还需要进行检测数据的共享，比如由于各方面原因A机器人和B机器人配置了不同的环境感知传感器，A机器人配置了双目立体摄像机，B机器人配置了红外及超声波传感器，因此检测的数据具有不同的精度和范围，两个机器人相互交换检测数据可以大大弥补自身传感器的不足。但是，交换原始检测数据，会增加通讯和处理负担，并且进行多次处理，造成计算上的浪费。

发明内容

针对上述问题，本发明提供地面信息的语义性描述方法，将移动机器人检测地面信息进行抽象化，形成语义描述算子，方便自己及其他机器人使用。

本发明解决其技术问题所采用的技术方案是：

地面信息的语义性描述方法，包括设置在移动机器人前部的双目立体摄像机，焦距为f，基线宽度为b，高度为h，所述的移动机器人的高度为H，所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行，还包括与所述的双目立体摄像机连接的处理器，所述的处理器设置路面状况快速检测方法，包括以下步骤：

(1) 所述的处理器获取所述的双目立体摄像机的图像对f_L和f_R，形成深度信息z=f₁ (X,Y)，X，Y为像素坐标，z为对应的深度，对应的投影点的摄像机坐标为(x，y，z)， X=x·f/z，投影角度θ=arctan(Y/f)， y=z·tanθ=z·Y/f；

(2) 计算地面信息图f₂(X,Y)=h-y，如果| f₂(X,Y)|<T或者f₂(X,Y)>H，则记为f₃(X,Y)=0，否则f₃(X,Y)=1，其中阈值T为所述的移动机器人能够跨越的最大不平整度；

(3) 将二值图f₃(X,Y)进行先腐蚀后膨胀的操作，去除二值图f₃(X,Y)中多余的杂质点；在此基础上再进行先膨胀后腐蚀的操作，填充二值图f₃(X,Y)中细小的空洞，最终得到优化后的二值图f₃`(X,Y); 计算二值图f<sub>3</sub>`(X,Y)与f₂(X,Y)的hadamard积，去除f₂(X,Y)中的杂散数据，即f₂`(X,Y)=f<sub>3</sub>`(X,Y)*f₂(X,Y)；

(4) 扫描地面信息图f₂(X,Y)上的所有的点，如果f₂(X₀, Y₀)≠0，则搜索所有与 (X₀, Y₀)联通的所有非零点，记为(X_i, Y_i)，i>0，则不平整路面的面积s=

，S_pix为传感器像素尺寸；在 (X_i, Y_i)中，i≥0，搜索 (X_max, Y_max)使f₂`(X<sub>i</sub>,Y<sub>i</sub>)绝对值最大，得到最大不平整度a<sub>max</sub>= f<sub>2</sub>`(X_max, Y_max)；计算点(X_i, Y_i)对应的投影点到所述移动机器人的距离，D=sqrt(x_i ²+z_i ²)，比较出距离最小的点(x_min, y_min)，D_min=sqrt(x_min ²+z_min ²)，方位角α=arctan(x_min/z_min)；最后，形成语义描述算子d={α, D_min, a_max，s}，即距离所述的移动机器人α方向上，D_min距离处，存在不平整区域，不平整度为 a_max，区域大小为s。

本发明的有益效果主要表现在：将检测数据进行抽象化，形成语义描述算子，方便自己及其他机器人使用；并且降低了通讯量，避免重复计算。

附图说明

图1是双目立体摄像机设置示意图；

图2 是不平整度计算示意图；

图3是摄像机坐标和像素坐标示意图。

具体实施方式

下面结合附图对本发明作进一步描述：

参照图1－3，地面信息的语义性描述方法，包括设置在移动机器人前部的双目立体摄像机，焦距为f，基线宽度为b，高度为h，所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行，所述的移动机器人的总高度为H。

还包括与所述的双目立体摄像机连接的处理器，所述的处理器设置路面状况快速检测方法，包括以下步骤：

(1) 所述的处理器获取所述的双目立体摄像机的图像对f_L和f_R，形成深度信息z=f₁ (X,Y)，X，Y为像素坐标，z为对应的深度，X∈(-M/2，M/2)，Y∈(-N/2，N/2)，M为X方向上的像素个数，N为Y方向上的像素个数；对应的投影点的摄像机坐标为(x，y，z)， X=x·f/z，投影角度θ=arctan(Y/f)， y=z·tanθ=z·Y/f；

所述的处理器是根据视差原理来计算深度信息，结合所述的双目立体摄像机的参数，可得z=f(X,Y)=f*b/d，其中d是根据图像对f_L和f_R计算得到的位置(X,Y)的视差。同时，根据相似三角形的比例关系，建立像素坐标与摄像机坐标的比例关系：X=x·f/z，y=z·Y/f。

(2) 计算地面信息图f₂(X,Y)=h-y，如果| f₂(X,Y)|<T或者f₂(X,Y)>H，则记为f₃(X,Y)=0，否则f₃(X,Y)=1，其中阈值T为所述的移动机器人能够跨越的最大不平整度；

由于计算误差，平整路面也会产生计算上的不平整情况，同时一些小的不平整，不会影响所述的移动机器人的运行，并且高于所述的移动机器人高度的障碍物也不会影响所述的移动机器人的运行，因此在计算地面信息图f₂(X,Y)的时候进行了部分数据的忽略。

(3) 将二值图f₃(X,Y)进行先腐蚀后膨胀的操作，去除二值图f₃(X,Y)中多余的杂质点；在此基础上再进行先膨胀后腐蚀的操作，填充二值图f₃(X,Y)中细小的空洞，最终得到优化后的二值图f₃`(X,Y); 计算二值图f<sub>3</sub>`(X,Y)与f₂(X,Y)的hadamard积，去除f₂(X,Y)中的杂散数据，即f₂`(X,Y)=f<sub>3</sub>`(X,Y)*f₂(X,Y)；

将二值图f₃(X,Y)进行优化处理，去除杂散点和漏检点，然后通过矩阵运算hadamard积去优化f₂(X,Y)。

(4) 扫描地面信息图f₂`(X,Y)上的所有的点，如果f<sub>2</sub>`(X₀, Y₀)≠0，则搜索所有与 (X₀, Y₀)联通的所有非零点，记为(X_i, Y_i)，i>0，则不平整路面的面积s=

，S_pix为传感器像素尺寸；在 (X_i, Y_i)中，其中i≥0， 搜索(X _max, Y _max)使f₂`(X<sub>i</sub>, Y<sub>i</sub>)绝对值最大，得到最大不平整度a<sub>max</sub>= f<sub>2</sub>`(X_max, Y_max)；计算 点(X_i, Y_i)对应的投影点到所述移动机器人的距离，D=sqrt(x_i ²+z_i ²)，比较出距离最小的点 (x_min,y_min)，D_min=sqrt(x_min ²+z_min ²)，方位角α=arctan(x_min/z_min)；最后，形成语义描述算子d= {α, D_min, a_max，s}，即距离所述的移动机器人α方向上，D_min距离处，存在不平整区域，不平整 度为a_max，区域大小为s。

在步骤4中，扫描地面信息图f₂`(X,Y)上的所有非零点，将相互连通的点作为一个独立区域，然后计算这些非零点的对应路面的面积s，然后比较出最大不平整度a_max以及到所述的移动机器人的最小距离D_min和方位角α，最终形成语义描述算子d={α, D_min, a_max，s}。因此，所述的移动机器人基于语义描述算子d与其他机器人进行数据共享，数据量小，避免重复计算，而其他机器人根据相互之间的位置关系，将语义描述算子d转换到自己的坐标系下，就可直接使用。

Claims (1)

1.地面信息的语义性描述方法，包括设置在移动机器人前部的双目立体摄像机，焦距为f，基线宽度为b，高度为h，所述的移动机器人的高度为H，所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行，其特征在于：还包括与所述的双目立体摄像机连接的处理器，所述的处理器设置路面状况快速检测方法，包括以下步骤：

(1) 所述的处理器获取所述的双目立体摄像机的图像对f_L和f_R，根据视差原理，结合所述的双目立体摄像机的参数，形成深度信息z=f₁ (X,Y)=f*b/d，其中X，Y为像素坐标，d是根据图像对f_L和f_R计算得到的位置(X,Y)的视差，z为对应的深度，对应的投影点的摄像机坐标为(x，y，z)， X=x·f/z，投影角度θ=arctan(Y/f)， y=z·tanθ=z·Y/f；

(2)计算地面信息图f₂(X,Y)=h-y，如果| f₂(X,Y)|<T或者f₂(X,Y)>H，则记为f₃(X,Y)=0，否则f₃(X,Y)=1，其中阈值T为所述的移动机器人能够跨越的最大不平整度；

(3)将二值图f₃(X,Y)进行先腐蚀后膨胀的操作，去除二值图f₃(X,Y)中多余的杂质点；在此基础上再进行先膨胀后腐蚀的操作，填充二值图f₃(X,Y)中细小的空洞，最终得到优化后的二值图f₃`(X,Y); 计算二值图f<sub>3</sub>`(X,Y)与f₂(X,Y)的hadamard积，去除f₂(X,Y)中的杂散数据，即f₂`(X,Y)=f<sub>3</sub>`(X,Y)*f₂(X,Y)；

(4)扫描地面信息图f₂`(X,Y)上的所有的点，如果f<sub>2</sub>`(X₀, Y₀)≠0，则搜索所有与(X₀, Y₀)联通的所有非零点，记为(X_i, Y_i)，i>0，则不平整路面的面积s=

，S_pix为传感器像素尺寸；在 (X_i, Y_i)中，i≥0，搜索 (X_max, Y_max)使f₂`(X<sub>i</sub>,Y<sub>i</sub>)绝对值最大，得到最大不平整度a<sub>max</sub>= f<sub>2</sub>`(X_max, Y_max)；计算点(X_i, Y_i)对应的投影点到所述移动机器人的距离，D=sqrt(x_i ²+z_i ²)，比较出距离最小的点(x_min, y_min)，D_min=sqrt(x_min ²+z_min ²)，方位角α=arctan(x_min/z_min)；最后，形成语义描述算子d={α, D_min, a_max，s}，即距离所述的移动机器人α方向上，D_min距离处，存在不平整区域，不平整度为 a_max，区域大小为s。

Images