CN110928311A - 一种基于全景相机下直线特征的室内移动机器人导航方法 - Google Patents

Abstract

一种基于全景相机下直线特征的室内移动机器人导航方法，涉及机器人学、机器视觉与控制技术领域。本发明的目的是为了保证采用基于图像的视觉伺服方法控制移动机器人时，目标图像特征整个过程都在相机视野范围内。本发明采用了全景相机，针对室内的应用环境而言可以获取到更为丰富的外部环境信息，除此之外相较于单点采取了更为稳定的直线特征作为图像特征，图像特征始终出现在视野范围之内。另外针对全景相机非线性成像的特点，实现了机器人空间姿态与图像信息的一一对应关系，从而确保了系统的鲁棒性，使得伺服控制系统对于环境的适应性更强。

Description

一种基于全景相机下直线特征的室内移动机器人导航方法

技术领域

本发明属于机器人学、机器视觉与控制技术领域，尤其涉及移动机器人视觉伺服控制技术。

背景技术

移动机器人是一个集环境感知、动态决策与规划、行为控制与执行等多功能于一体的综合系统。而配置相应的传感器是移动机器人获取外界信息的必要条件，其中视觉传感器是现今应用最为广泛的传感器类型，它使得机器人能够通过二维三维图像识别环境信息，从而应用于导航、交互、规划等复杂工作环境。

在诸多相机传感器中，全景相机由于其视场大的优势逐渐成为机器视觉领域的研究热点。相比较于传统针孔成像原理的相机，全景相机由于其独特的统一球面投影模型使得其成像呈现非线性的特点。对于室内移动机器人而言，若能解决非线性成像模型的问题，全景相机大视场这一优势将有助于机器人获得更为丰富的外界环境信息。

针对移动机器人的控制，视觉传感器提供了诸多有效的解决方案，其中视觉伺服控制由于直接利用视觉信息建立图像坐标系和空间坐标系之间的映射关系，具有较好的控制鲁棒性。常见的视觉伺服主要有基于位置的视觉伺服方法(PBVS)和基于图像的视觉伺服方法(IBVS)，PBVS优势在于直接利用笛卡尔坐标空间位姿偏差作为控制先决条件，但是需要建立在视觉系统高精度的标定基础上；而IBVS是直接计算当前图像特征与期望特征的偏差，再通过雅可比矩阵换算到机器人控制量，并在系统运行过程中进行实时更新，这种策略关键点在于雅可比矩阵的构造，并不要求相关空间位姿信息，但是要求目标图像特征整个过程都在相机视野范围内。

发明内容

本发明的目的是为了保证采用基于图像的视觉伺服方法控制移动机器人时，目标图像特征整个过程都在相机视野范围内，现提供一种基于全景相机下直线特征的室内移动机器人导航方法。

一种基于全景相机下直线特征的室内移动机器人导航方法，所述方法为包括以下步骤：

S1：建立移动机器人活动区域的空间坐标系，所述移动机器人上设有全景相机，

S2：利用全景相机采集t时刻移动机器人活动区域的图像，

S3：识别S2获得图像中的环境图像特征，并获得移动机器人在运动过程中该环境图像特征的实时成像位置，根据实时成像位置获得移动机器人在空间坐标系中任意位姿下的目标图像特征s；

S4：根据机器人期望位姿下的环境信息得到期望的图像特征s^*、并计算图像特征的偏差Δs＝s-s^*，

S5：判断是否满足Δs<δ，其中δ为预设偏差阈值，

是则移动机器人已经达到理想位姿，结束移动机器人的导航，否则执行S6，

S6：利用目标图像特征s构建t时刻的雅可比矩阵；

S7：根据偏差值Δs和t时刻的雅可比矩阵，结合机器人运动参数，获得移动机器人的角速度，利用该角速度控制移动机器人运动，

S8：使t＝t+1，返回S2。

本发明的技术效果在于，与现有视觉伺服控制系统多采用单目针孔相机不同，本发明采用了全景相机，其具有大视场的优势，针对室内的应用环境而言可以获取到更为丰富的外部环境信息，除此之外相较于单点采取了更为稳定的直线特征作为图像特征，从而能够保证在IBVS的伺服控制过程中，图像特征始终出现在视野范围之内。另外针对全景相机非线性成像的特点，借鉴了相关多视图几何的知识，借助投影中心计算出曲线的极线，作为新的图像特征，既满足了通用的伺服控制对象选取原则，又与实际环境直线相联系起来，实现了机器人空间姿态与图像信息的一一对应关系，从而确保了系统的鲁棒性，使得伺服控制系统对于环境的适应性更强。

附图说明

图1为本发明所述的一种基于全景相机下直线特征的室内移动机器人导航方法的流程图；

图2为全景相机的统一球面投影模型图；

图3为走廊平行直线下机器人不同位置处的图像示意图；

图4为过门垂直直线下机器人不同位置处的图像示意图；

图5为走廊平行直线下的图像特征选取示意图；

图6为过门垂直直线下的图像特征选取示意图；

图7为移动机器人运动模型示意图；

图8为走廊环境轨迹仿真图，其中，(a)为机器人轨迹，(b)为x_f，(c)为θ_m，(d)为走廊中的相对位置，(e)为方位角，(f)为角速度；

图9为同一位置出发测试不同比例参数的收敛效果差异仿真图；

图10为回环过程的局部以及全局的轨迹仿真图，(a)首个拐角处运行轨迹的俯视视角，(b)首个拐角处运行估计的三维视角，(c)回环运行过程中全局轨迹的俯视视角。

具体实施方式

具体实施方式一：参照图1和图2具体说明本实施方式，本实施方式所述的一种基于全景相机下直线特征的室内移动机器人导航方法，所述方法为包括以下步骤：

S1：建立移动机器人活动区域的空间坐标系，所述移动机器人上设有全景相机。

S2：利用全景相机采集t时刻移动机器人活动区域的图像。

S3：识别S2获得图像中的环境图像特征，并获得移动机器人在运动过程中该环境图像特征的实时成像位置，根据实时成像位置获得移动机器人在空间坐标系中任意位姿下的目标图像特征s；

所述目标图像特征为：全景相机采集图像中的曲线相对于投影中心的极线直线特征，所述曲线为移动机器人实际活动区域中的直线在全景相机成像中所形成的曲线，所述直线为移动机器人实际活动区域中稳定的、能够被相机提取的直线；

所述环境图像特征的表达式为：

投影中心的表达式为：

目标图像特征的直线表达式为：

目标图像特征的直线极坐标形式为：s＝(ρ_m,θ_m)，

上述公式中，γ为全景相机镜头中轴线与水平方向的夹角，n_x、n_y和n_z分别为空间坐标系下方向向量的x轴分量、y轴分量和z轴分量，ξ为相机内参相关量，c_x和c_y分别为投影中心的纵坐标和纵坐标，ρ_m和θ_m分别为极坐标的极径和极角。

在上述S3中，由于全景相机其投影模型有别于常见的针孔成像模型，属于非线性成像。因此在获取全景相机下室内环境特征畸变成像得到的曲线图像特征，可以看到三维世界坐标系下的直线经投影成像为像平面上的曲线。

设世界坐标系下直线的参数方程n_xx+n_yy+n_zz＝0，以及标定得到的全景相机内参矩阵H_c：

由于二次曲线理论上具有多达5个自由度，直接作为图像特征太过冗余，并且期望位姿下的图像特征数值也不易于求解，根据多视图几何知识以及标定得到的投影中心参数，采用投影中心关于曲线的极线特征作为控制目标，则有上述目标图像特征的直线表达式

该式也可以写成之前的参数方程形式：n_xx+n_yy+n_zz＝0。

综上可以看出该直线方程具有两个自由度，因此，以目标图像特征的直线极坐标形式可以表示为s＝(ρ_m,θ_m)，控制目标参数量与运动参数量相一致。于是任务控制目标又转化为了直线图像特征。

上述步骤中，采取求解中线和三角形边的交点坐标(x_f,y_f)来间接求解出直线极坐标s＝(ρ_m,θ_m)。

对于水平直线情况，我们首先可以根据中线性质，通过左右两极线的倾斜角直接求得θ_m，从而避免了计算中线方程，计算式为：

接着，由于是与归一化X轴交点，自然有y_f＝0，并且ρ_m可以直接利用两条极线与X轴的交点求得，最后ρ_m可以表示为：ρ_m＝x_fcosθ_m+y_fsinθ_m。

而对于垂直直线情况，若仍利用上述的与X轴的交点会有：x_f＝Dtanθ_m＝tanγtanθ_m是一个定值，而采用门框极线作为中线所在边后，再求解交点就避免了上述的问题，最后ρ_m可以表示为：ρ_m＝|x_fsinθ_m+y_fcosθ_m|。

S4：根据机器人期望位姿下的环境信息得到期望的图像特征s^*(该期望的图像特征s^*为预先设定好的)、并计算图像特征的偏差Δs＝s-s^*。

S5：判断是否满足Δs<δ，其中δ为预设偏差阈值，

是则移动机器人已经达到理想位姿，结束移动机器人的导航，否则执行S6，

S6：利用目标图像特征s构建t时刻的雅可比矩阵L_s；

所述雅可比矩阵L_s的表达式如下：

其中，

h为全景相机与地面之间的距离，ρ_m和θ_m分别为目标图像特征直线极坐标的极径和极角，γ为全景相机镜头中轴线与水平方向的夹角。

S7：根据偏差值Δs和t时刻的雅可比矩阵，结合机器人运动参数，获得移动机器人的角速度，利用该角速度控制移动机器人运动；

具体的，将雅可比矩阵L_s与机器人运动参数结合，获得雅可比矩阵的定义形式：

其中，由于相机放置位置与机器人运动中心存在偏移，因此机器人的运动在相机坐标系下需要通过一个变换矩阵

加以处理，τ＝[v,ω]^T为参数运动参数，

为目标图像运动特征、其在机器人低速运动的条件下可以忽略不计；

再考虑设定线速度v为恒定值，即拆分雅可比矩阵为J_v和J_ω两部分，于是原雅克比矩阵可以改写为如下形式：

考虑到令

实现指数衰减，于是可以继续改写为：

-λe＝J_vv+J_ωω，

则有移动机器人的角速度

上述公式中，λ为机器人控制器的比例参数，e为目标图像特征量的误差，v为机器人线速度，γ为全景相机镜头中轴线与水平方向的夹角，ρ_m和θ_m分别为极坐标的极径和极角，h为全景相机与地面之间的距离，l为相机在机器人坐标系下x轴方向的偏置，w为相机在机器人坐标系下y轴方向的偏置，λ_ρm和

分别为雅可比矩阵的极径参量和极角参量，

S8：使t＝t+1，返回S2进行下一时刻的导航。

具体实施方式二：本实施方式是对具体实施方式一所述的一种基于全景相机下直线特征的室内移动机器人导航方法的具体说明，本实施方式中，提到了本方法的应用场景。设想场景主要有两个，一个是利用走廊平行直线沿走廊运动的情景，另一个是利用门框垂直线实现过门任务的场景。这两种场景对应的相机获取图像示意图分别见图3和图4。可以看出二者即使在理想位姿情况下，可以利用的也只有两条极线关于归一化y轴对称这么一个条件。具体理想的极线极坐标需要结合内外参数进行求解，这对于标定的精度就提出了很高的要求。

首先针对走廊平行直线情况，可以证明对于两条极线(参数方程为

其交点D可以表示如下：

又由于两条极线对应直线世界坐标系下相互平行，因此有n_x,1＝n_x,2，进而可以得到

亦即交点D的归一化纵坐标恒定，于是可以利用两条极线加上归一化像平面的X轴构造三角形如图5所示，选取归一化X轴的中线作为控制目标，可以通过理论推导得出其理想位姿下图像位置与归一化Y轴相重合，亦即(ρ_m,θ_m)＝(0,0)。

类似的对于过门垂直直线情况，极线交点D的性质更为特殊，其纵坐标依旧恒定为

并且始终坐落于归一化Y轴上，此时无法像走廊平行情况那样继续以双极线加归一化X轴构造三角形，因为此时中线始终过定点自由度为1。因此对于垂直情况，我们引入一条新的极线，对应门框投影所成曲线，如图6所示。此时以三条极线构造三角形，以门框极线所在边的中线作为控制目标，理想位姿下其图像位置同上，也是与归一化Y轴相重合，同样可以表示为(ρ_m,θ_m)＝(0,0)。

如图8为走廊环境下的轨迹仿真图以及各参数变量的变化曲线图，从图中可以看出方位角以及偏移距离最终都趋向于理想期望值0，并且整个过程角速度变化平缓，呈逐渐趋近于0的走势。如图9分别是测试不同出发点、图像噪声等级以及比例常数不同对轨迹收敛的影响，可以看出在多次试验中轨迹最终都能实现较好的收敛效果。图10是针对一个走廊回环的仿真，其中综合应用到了走廊平行直线和过门垂直直线的控制律，并在转弯前后的时刻实现控制律的切换，仿真结果表明切换过程可以实现平滑过渡，并且未对轨迹的平滑产生较大的影响，达到了预期的效果。

综合上述理论推导以及仿真实验可以看出，本发明能够很好的实现走廊沿线以及过门这两种室内导航任务，移动轨迹平滑切收敛误差很小，导航精度较高，可以认为本发明通过设计的基于全景相机下直线特征的视觉伺服控制器，达到了理想的任务位姿，实现了预期的目标。

Claims (5)

1.一种基于全景相机下直线特征的室内移动机器人导航方法，其特征在于，所述方法为包括以下步骤：

S1：建立移动机器人活动区域的空间坐标系，所述移动机器人上设有全景相机，

S2：利用全景相机采集t时刻移动机器人活动区域的图像，

S3：识别S2获得图像中的环境图像特征，并获得移动机器人在运动过程中该环境图像特征的实时成像位置，根据实时成像位置获得移动机器人在空间坐标系中任意位姿下的目标图像特征s；

S4：根据机器人期望位姿下的环境信息得到期望的图像特征s^*、并计算图像特征的偏差Δs＝s-s^*，

S5：判断是否满足Δs<δ，其中δ为预设偏差阈值，

是则移动机器人已经达到理想位姿，结束移动机器人的导航，否则执行S6，

S6：利用目标图像特征s构建t时刻的雅可比矩阵；

S7：根据偏差值Δs和t时刻的雅可比矩阵，结合机器人运动参数，获得移动机器人的角速度，利用该角速度控制移动机器人运动，

S8：使t＝t+1，返回S2。

2.根据权利要求1所述的一种基于全景相机下直线特征的室内移动机器人导航方法，其特征在于，

S3中所述目标图像特征为：全景相机采集图像中的曲线相对于投影中心的极线直线特征，

所述曲线为移动机器人实际活动区域中的直线在全景相机成像中所形成的曲线，

所述直线为移动机器人实际活动区域中稳定的、能够被相机提取的直线。

3.根据权利要求2所述的一种基于全景相机下直线特征的室内移动机器人导航方法，其特征在于，环境图像特征的表达式为：

投影中心的表达式为：

目标图像特征的直线表达式为：

目标图像特征的直线极坐标形式为：s＝(ρ_m,θ_m)，

上述公式中，γ为全景相机镜头中轴线与水平方向的夹角，n_x、n_y和n_z分别为空间坐标系下方向向量的x轴分量、y轴分量和z轴分量，ξ为相机内参相关量，c_x和c_y分别为投影中心的纵坐标和纵坐标，ρ_m和θ_m分别为极坐标的极径和极角。

4.根据权利要求1所述的一种基于全景相机下直线特征的室内移动机器人导航方法，其特征在于，S6中所述的雅可比矩阵L_s的表达式如下：

其中，

h为全景相机与地面之间的距离，ρ_m和θ_m分别为目标图像特征直线极坐标的极径和极角，γ为全景相机镜头中轴线与水平方向的夹角。

5.根据权利要求1所述的一种基于全景相机下直线特征的室内移动机器人导航方法，其特征在于，S7具体步骤如下：

将雅可比矩阵L_s与机器人运动参数结合，获得雅可比矩阵的定义形式：

对上式进一步改写：

则有移动机器人的角速度

其中，

为变换矩阵，τ＝[v,ω]^T为运动参数，

为目标图像运动特征，v为机器人线速度，λ为机器人控制器的比例参数，e为目标图像特征量的误差，γ为全景相机镜头中轴线与水平方向的夹角，ρ_m和θ_m分别为极坐标的极径和极角，h为全景相机与地面之间的距离，l为相机在机器人坐标系下x轴方向的偏置，w为相机在机器人坐标系下y轴方向的偏置，

和

分别为雅可比矩阵的极径参量和极角参量，

Images