CN104390645A - 一种基于视觉信息的智能轮椅室内导航方法 - Google Patents

Abstract

本发明涉及一种基于视觉信息的智能轮椅室内导航方法，属于智能轮椅室内导航技术领域。在本方法中，设计了两种基本行为，分别能够控制智能轮椅实现趋向目标功能与实时避障功能；利用红外摄像头拍摄全景图像，并通过对摄像头图像坐标系与世界坐标系的转换确定智能轮椅在世界坐标系下的坐标；同时，利用智能轮椅前后时刻的位置信息确定智能轮椅的进行方向；利用kinect传感器采集环境深度信息确定障碍物位置并设计避障警戒区域确定需要避障的范围；利用卡尔曼滤波算法预测障碍物运动信息，使智能轮椅能够避开运动障碍物。本方法能够降低算法的复杂性，确保整个系统有较好的实时性；同时，对障碍物运动信息进行预测能够实现智能轮椅在动态不确定环境下的导航能力。

Description

一种基于视觉信息的智能轮椅室内导航方法

技术领域

本发明属于智能轮椅室内导航技术领域，涉及一种基于视觉信息的智能轮椅室内导航方法，特别涉及一种红外摄像头室内定位和kinect视觉传感器避障的方法。

背景技术

长期以来，老年人和残障人士都是人口数目较大且生存环境较为弱势的一个特殊社会群体。近年来，由于人类物质生活水平的不断提高，这一特殊社会群体开始受到越来越多的社会关注。如何研究一种工具来提高此类人群的生活质量，使他们尽可能能够回到正常的社会生活中已经成为当今社会的一个关注热点。通常情况下，老年人和残障人士的行动能力和反应能力都低于普通人，因此为他们设计的辅助工具不仅要具备良好的移动能力，更要具备自主思考能力以及能够与使用者方便进行交流的能力。智能轮椅作为一种智能型电动轮椅，不但能够通过电机进行驱动，更具备了高端智能轮椅的智能性，拥有良好的人机接口且能实现自主控制，是做为老年人和残障人士辅助工具的最佳选择，在智能轮椅领域已经掀起了智能轮椅的研究热潮。相比于室外导航系统，智能轮椅在室内环境下的导航工作更加频繁，因此智能轮椅只有具备了良好的室内导航能力，才能更好的帮助使用者提高生活质量，克服自理生活的难题。因此研究室内环境下的自主导航有着非常高的实用价值。由于相比于室外工作环境，室内环境空间狭小，定位复杂，因此当智能轮椅处于室内工作环境时，需要能够提出一个能够具有安全性，高效性，准确性的自主导航方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于视觉信息的智能轮椅室内导航方法，该方法利用红外广角全景摄像头进行定位，并通过kinect视觉传感器提取环境信息，从而实现智能轮椅的室内导航。

为达到上述目的，本发明提供如下技术方案：

一种基于视觉信息的智能轮椅室内导航方法，在该方法中，建立系统的图像坐标系与世界坐标系；设计避障、趋向两种基本行为；具体包括：利用红外广角摄像头进行智能轮椅定位，实现智能轮椅的趋向运动；通过kinect传感器确定障碍物位置实现智能轮椅的避障行为。

进一步，所述的利用红外广角摄像头进行智能轮椅定位，实现智能轮椅的趋向运动具体包括：利用红外摄像头拍摄全景图像，并通过对摄像头图像坐标系与世界坐标系的转换确定智能轮椅在世界坐标系下的坐标，利用智能轮椅前后时刻位置的变化确定智能轮椅下一时刻的行进方向。

进一步，所述的通过kinect传感器确定障碍物位置实现智能轮椅的避障行为具体包括利用kinect传感器提取周围环境深度信息，确定障碍物位置，并设置避障警戒区域确定需要避障的区域范围。

进一步，在确定障碍物位置时，利用卡尔曼滤预测断障碍物位置信息，实现智能轮椅在动态不确定环境下的避障能力。

本发明的有益效果在于：本发明提出的基于视觉信息的智能轮椅室内导航方法与其他室内导航算法的不同之处在于本方法利用全景摄像头拍摄全景图像定位，避免了机载摄像头自定位过程中算法过于繁琐复杂的问题；同时利用kinect深度视觉传感器提取障碍物位置信息，通过改进的卡尔曼滤波算法对障碍物位置进行预测，由于kinect传感器能够直接提取环境深度信息，降低了算法的复杂性，确保整个系统有较好的实时性；同时对障碍物运动信息进行预测能够实现智能轮椅在动态不确定环境下的导航能力。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为移动机器人移动位置模拟图；

图2为移动机器人多种情况位置关系图；

图3为避障区域示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明实现智能轮椅的室外导航功能的方法是：①通过红外视觉传感器采集智能轮椅位置信息，实现智能轮椅的定位，并设计了一种趋向运动方案使智能轮椅能够趋向目标点运动；②通过Kinect深度视觉传感器提取环境障碍物位置信息并提出一种改进的卡尔曼滤波算法预测周围环境中障碍物的运动趋势。通过对障碍物位置的预测实现智能轮椅的自主避障功能。在此基础上，利用基于行为的控制方式将两者结合，以趋向目标点运动行为为较高优先级，以避障行为为较低优先级，即在无障碍物的情况下智能轮椅趋向目标点运动，一旦发现前方存在危险，则执行避障行为。

本方法将行为控制方法应用于室内导航功能的实现中，可以将复杂的导航任务划分为多个简单的任务分而治之，本发明所述方法采用的两种基本行为是：

1.趋向行为：忽略障碍物信息而控制轮椅向目标点前进。

2.避障行为：忽略目标点信息而控制轮椅实时的避障。

在趋向行为部分，主要通过红外广角摄像头拍摄的图像坐标系与世界坐标系的转换得到智能轮椅在世界坐标系下的坐标，在此基础上，本方法提出一种通过智能轮椅前后两个时刻所在位置以及目标点所在位置的对应关系提出一种趋向运动机制。图1模拟绘制了智能轮椅在t₁,t₂两个时刻下的位置示意图，图中三角形位置表示智能轮椅需要前往的目的地，P₁(x₁,y₁)表示t₁时刻下智能轮椅所在位置，P₂(x₂,y₂)表示t₂时刻下智能轮椅所在位置。由于前后两个时刻差很小，因此在前后两个时刻内智能轮椅可视作直线运动，S为P₁(x₁,y₁)，P₂(x₂,y₂)亮点延长线与D(x₁,y₁)横向坐标线交点到D(x₁,y₁)的距离。假设智能轮椅t₁,t₂时刻下的速度分别为v₁,v₂，根据智能轮椅前后两个时刻的位置关系，设计智能轮椅趋向目标运动控制方案如下：

①以目标点位置D所在点为原点建立坐标系，X轴方向与世界坐标系X_w轴同向，Y轴方向与世界坐标系Y_w轴同向，根据前后时刻智能轮椅在该坐标系下所处不同位置关系分如下八种情况讨论，如图2。

图2(a)中智能轮椅处于第一象限或者第二象限且X轴Y轴方向均趋向目标点运动。此时若S＞0则移动机器需人右转，若S＜0则智能轮椅需左转。

图2(b)智能轮椅处于第三象限或者第四象限且X轴Y轴方向均趋向目标点运动。此时若S＞0则智能轮椅需左转，若S＜0则智能轮椅需右转。

图2(c)智能轮椅处于第一象限或者第三象限且智能轮椅X轴方向背离目标点运动，Y轴方向趋向目标点运动。此时智能轮椅需右转。

图2(d)智能轮椅处于第二象限或者第四象限且智能轮椅X轴方向背离目标点运动，Y轴方向趋向目标点运动。此时智能轮椅需左转。

图2(e)智能轮椅处于第一象限或者第三象限且智能轮椅X轴方向趋向目标点运动，Y轴方向背离目标点运动。此时智能轮椅需左转。

图2(f)智能轮椅处于第二象限或者第四象限且智能轮椅X轴方向趋向目标点运动，Y轴方向背离目标点运动。此时智能轮椅需右转。

图2(g)智能轮椅处于第一象限或者第二象限且智能轮椅X轴Y轴方向均背离目标点运动。此时若S＞0则移动机器需人左转，若S＜0则智能轮椅需右转。

图2(h)智能轮椅处于第三象限或者第四象限且智能轮椅X轴Y轴方向均背离目标点运动。此时若S＞0则移动机器需人右转，若S＜0则智能轮椅需左转。

②确定具体转向角度，由于系统会实时采集智能轮椅当前位置，因此只需给出一个大概合理的转向角度即可，智能轮椅会根据位置的不同实时调整其运动方向。首先图2中α,β,γ角度可由余弦定理公式得到：

$\left\{\begin{array}{c}\mathrm{\α}=\mathrm{\π}-{\cos }^{-1}\frac{P_1{P_2}^2+d_2^2-d_1^2}{2P_1{P}_2{d}_2}\\ \mathrm{\β}={\tan }^{-1}(y_d-y_2)/(x_d-x_2)\\ \mathrm{\γ}={\tan }^{-1}(x_1-x_2)/(y_1-y_2)\end{array}\right.$

式中P₁P₂，d₁，d₂长度均可由勾股定理得出，再此不一一列出。

图2(a),(b)情况下S长度计算公式如下：

S＝||x₂-x_d|-tanγ|y_d-y₂||

转角速度为

$\mathrm{\ω}=\frac{\mathrm{k\α}}{S/v}$

图2(c),(d)情况下S长度计算公式如下：

S＝||x₂-x_d|+tanγ|y_d-y₂||

转角速度为

$\mathrm{\ω}=\frac{\mathrm{k\α}}{S/v}$

图2(e),(f)情况下S长度计算公式如下：

S＝||x₂-x_d|+tanγ|y_d-y₂||

转角速度为

$\mathrm{\ω}=\frac{\mathrm{k\α}}{\frac{S}{\tan \mathrm{\γ}}/v}=\frac{\mathrm{k\α}}{S/v\tan \mathrm{\γ}}$

图2(g),(h)情况下智能轮椅完全背离目标点运动，此时设定某个较大转速度ω₁，使智能轮椅开始快速转角直至进入前文所提的某种情况时，根据不同情况改变角速度ω。

③实时计算当前时刻点P₂点距离目标位置D的距离d₂，同时设置阈值τ，当d₂＜τ时认为智能轮椅到达目标点。导航结束，智能轮椅停止工作。

在避障行为部分,首先利用Kinect采集的环境深度信息提取障碍物所在位置信息。接着，由于并不是在图像中出现了危险障碍物就必须进行避障行为，可将采集的深度图像信息分为两部分：避障区域和安全区域。因此，需在深度图像中设置分割两区域的警戒线，当障碍物出现在避障区域以外，则智能轮椅可继续前进而不与障碍物发生碰撞，当障碍物出现在避障区域以内，智能轮椅进行避障行为。

Kinect采集的深度图像中每一点的像素值都代表了该点到Kinect传感器的距离，距离越远像素值越大、颜色越浅，距离越近像素值越小、颜色越深。由于工作环境中智能轮椅需要躲避的障碍物一般出现在近处，而非障碍物点每列的平均像素值变化不大，因此本方法提出一种求出每列平均像素值并寻找其像素值跳变信息产生位置以确定障碍物所处位置的方法。主要过程包括以下几步：

①计算Kinect提取的深度图像中每列平均像素值

②确定跳变系数，判断跳变点是否产生

③判断各跳变点之间位置前方物体是否过近

得到障碍物位置信息后通过图3设置避障区域示意图，图中障碍物出现在图像中心偏右位置。Om,On两条射线所覆盖的扇形区域为Kinect探测范围，其夹角为57°，i，j两条直线是智能轮椅宽度边缘的延长线，两条延长线之间区域在图像上的投影即避障区域。AC是障碍物宽度AF在垂直于智能轮椅前进方向上的映射。BD长度即智能轮椅宽度，点E为障碍物中心位置，通过比较障碍物边缘点A,F在图像中的位置判断障碍物是否出现在避障区域，若障碍物右边缘点A出现在i直线左边或左边缘点F出现在j直线右边，则智能轮椅可继续前行而不发生碰撞；反之，当障碍物出现在避障区域内时，通过比较AH，CH在图像上的映射A′H′、C′H′的长短可初步确定智能轮椅的避障方向，若C′H′＞A′H′,智能轮椅向右转路径较优，反之则智能轮椅向左转路径较优。避障区域的长度B′D′以及障碍物边缘至图像中心的长度C′H′，A′H′的计算公式为

$\left\{\begin{array}{c}{B}^{\′}{D}^{\′}=\mathrm{BD}\×k/\mathrm{OG}\\ C^{\′}{H}^{\′}=\mathrm{CH}\×k/\mathrm{OG}\\ A^{\′}{H}^{\′}=\mathrm{AH}\×k/\mathrm{OG}\end{array}\right.$

其中k是Kinect焦距。

Kinect到障碍物中心点距离OE的计算公式为

OE＝αP

其中P表示该点在图像中的像素值，α为系统参数，具体值可根据实验参数进行调整。

最后，通过卡尔曼滤波对障碍物运动位置进行估计确定智能轮椅的避障路线。

建立卡尔曼滤波器系统模型如下

C_k+1＝C_k+w_k

Z_k+1＝AC_k+v_k+1

其中C_k表示移动障碍物轮廓中心与智能轮椅中心的水平距离，Z为观测向量，A是系统观测系数。

系统噪声w,v为互不相关的白噪声，协方差为

$\left\{\begin{array}{c}\mathrm{cov}\left(w_t\right)=Q\\ \mathrm{cov}\left(v_t\right)=R\end{array}\right.$

障碍物相对于智能轮椅中心点位置的卡尔曼滤波模型可分为如下两个模型，即预测模型与更新模型。

预测模型：

${\hat{C}}_{k+1|k}={\hat{C}}_k+w_k$

${\hat{Z}}_{k+1|k}=A{\hat{C}}_{k+1|k}+v_{k+1}$

P_k+1|k＝P_k|k+Q

$K_{k+1}=P_{k+1|k}\×H^T/(A_{k+1}{P}_{k+1k}{A}_{k+1}^T+R)$

更新模型：

${\tilde{Z}}_{k+1|k}=Z_{k+1}-{\hat{Z}}_{k+1|k}$

${\hat{C}}_{k+1}={\hat{C}}_k+k_{k+1}{\tilde{Z}}_{k+1|k}$

P_k+1＝(1-K_k+1A)P_k+1|k

其中P为误差协方差，K为卡尔曼增益矩阵，下标k表示k时刻。由此便可得到系统的最优估计值

为使智能轮椅能够更快更优的到达目的地，必须在智能轮椅的工作环境中找到一条相对合适的运动路线。采用利用卡尔曼滤波器预测物体运行路线做出相应避障路径的方法进行路径规划。

通过使用改进后的卡尔曼滤波算法得到C_k的最优估计值。令X＝C_k+1-C_k，根据X的值分以下情况讨论，其中ε为实验设定的某个接近于0的参数：

①X＞ε,此时障碍物相对智能轮椅右移，若智能轮椅处于左转状态，此时转向状态正常，保持此状态。

②X＜ε,此时障碍物相对智能轮椅左移，若智能轮椅处于右转状态，此时转向状态正常，保持此状态。

③X＞ε,此时障碍物相对智能轮椅右移，若智能轮椅处于右转状态，路径选择出现上文所说错误，智能轮椅重新选择避障路径进入左转状态。

④X＜ε,此时障碍物相对智能轮椅左移，若智能轮椅处于左转状态，路径选择出现上文所说错误，智能轮椅重新选择避障路径进入右转状态。

具体转向角度与速度采用模糊控制算法。以图3为例，此时判断智能轮椅需左转，将图3中OE与CH均模糊分割为三份。智能轮椅控制规则如下：智能轮椅离障碍物距离OE越远，前进速度越大，转向角度则越小；CH值越大，前进速度越小，转向角度越大。由此可得9条模糊控制规则：

R1:if(OE is Far)and(CH is Short)Then(v is v₁)and(θisθ₁)

R2:if(OE is Far)and(CH is Middle)Then(v is v₂)and(θisθ₂)

R3:if(OE is Far)and(CH is Long)Then(v is v₃)and(θisθ₃)

R4:if(OE is Mid)and(CH is Short)Then(v is v₄)and(θisθ₄)

R5:if(OE is Mid)and(CH is Middle)Then(v is v₅)and(θisθ₅)

R6:if(OE is Mid)and(CH is Long)Then(v is v₆)and(θisθ₆)

R7:if(OE is Far)and(CH is Middle)Then(v is v₇)and(θisθ₇)

R8:if(OE is Near)and(CH is Middle)Then(v is v₈)and(θisθ₈)

R9:if(OE is Near)and(CH is Long)Then(v is v₉)and(θisθ₉)

其中，v_k为智能轮椅当前运动速度，θ_k为智能轮椅转向角度。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (4)

1.一种基于视觉信息的智能轮椅室内导航方法，其特征在于：在该方法中，建立系统的图像坐标系与世界坐标系；设计避障、趋向两种基本行为；具体包括：利用红外广角摄像头进行智能轮椅定位，实现智能轮椅的趋向运动；通过kinect传感器确定障碍物位置实现智能轮椅的避障行为。

2.根据权利要求1所述的一种基于视觉信息的智能轮椅室内导航方法，其特征在于：所述的利用红外广角摄像头进行智能轮椅定位，实现智能轮椅的趋向运动具体包括：利用红外摄像头拍摄全景图像，并通过对摄像头图像坐标系与世界坐标系的转换确定智能轮椅在世界坐标系下的坐标，利用智能轮椅前后时刻位置的变化确定智能轮椅下一时刻的行进方向。

3.根据权利要求1所述的一种基于视觉信息的智能轮椅室内导航方法，其特征在于：所述的通过kinect传感器确定障碍物位置实现智能轮椅的避障行为具体包括利用kinect传感器提取周围环境深度信息，确定障碍物位置，并设置避障警戒区域确定需要避障的区域范围。

4.根据权利要求3所述的一种基于视觉信息的智能轮椅室内导航方法，其特征在于：在确定障碍物位置时，利用卡尔曼滤预测断障碍物位置信息，实现智能轮椅在动态不确定环境下的避障能力。