CN102520723A

CN102520723A - 基于上悬无线传输摄像头的轮椅室内全局视频监控导航系统

Info

Publication number: CN102520723A
Application number: CN2011104466257A
Authority: CN
Inventors: 李鹏海; 王跃虎; 韩枫; 黄海舰; 关永振
Original assignee: Tianjin University of Technology
Current assignee: Tianjin Zhongtian Haisheng Environmental Protection Technology Co., Ltd.
Priority date: 2011-12-28
Filing date: 2011-12-28
Publication date: 2012-06-27
Anticipated expiration: 2031-12-28
Also published as: CN102520723B

Abstract

一种基于上悬无线传输摄像头的轮椅室内全局视频监控导航系统。系统采用固定于屋顶的上悬无线摄像机1实时采集轮椅及其运动现场图像并传输到作为操作和监控平台的轮椅车载微机2上。该平台兼具外设监控导航和人机接口两项功能，其操作界面直接提供现场监控图像和目标选择，使用者只需用鼠标或触摸屏方式选中目的地，系统通过对设在轮椅上的色标3识别确定其位姿，根据所选目标点及视频图像提供的场地信息生成最佳导航路线，通过移动外设子系统4调控PWM脉宽驱动左右轮电机控制轮椅到达所选目标。本发明主要应用场景是家庭、医院及康复中心室内，操作的同时可以实现对移动外设和运动场景的监控，简便了操作并提高了安全性。

Description

基于上悬无线传输摄像头的轮椅室内全局视频监控导航系统

技术领域

本发明涉及智能轮椅导航技术，特别是提出了一种基于上悬无线传输摄像头的轮椅室内全局视频监控导航技术，引入室内视频监控技术，与机器人自主导航技术相结合，实现对轮椅的室内导航控制。属于智能轮椅导航技术领域。

背景技术

智能轮椅是将智能机器人技术应用于电动轮椅，融合多种领域的研究，包括机器视觉、机器人导航和定位、模式识别、多传感器融合及用户接口等，涉及机械、控制、传感器、人工智能等技术。智能轮椅可以为肢障人群提供性能优越的代步工具，帮助他们提高生活质量与行动自由度，使他们能更好的融入社会。

智能轮椅自主导航技术包括：航标导航、地图导航、传感器导航和视觉导航。导航系统通常是由其中的一种或几种方式结合起来构成。导航系统通过各种传感器检测环境信息，建立环境模型，确定轮椅的位置和方向，然后规划出安全有效运动路径。由于计算机视觉导航技术具有信息量丰富，智能化水平高等优点，近年来也应用于智能轮椅的自主导航。目前国内外主要采用在智能轮椅上安装前向车载摄像机的基于局部视觉的导航方式，具有方便、灵活、适应性强的优点，但用于室内导航存在以下问题：

1)视野小致使有效导航范围受限，且只能获得前方信息而不能获得场地全局信息，无法实现对运动场景的全局监控和导航避障，影响系统的安全性。一般是靠其他传感器配合，又增加了成本投入和系统的复杂性。

2)智能轮椅的运动影响图像的采集、显示和识别的稳定性，难以保证导航精度。

3)由于导航距离短需要操作者频繁操作必要时还经常要手动操作调整，而智能轮椅的使用者一般身体状况较差，操作比较费时费力，容易造成疲劳和不适。

发明内容

本发明为克服现有技术存在的上述问题，引入室内视频监控技术，与机器人自主导航技术相结合，设计一套基于上悬无线传输摄像头的轮椅室内全局视频监控导航系统。

本发明提供的基于上悬无线传输摄像头的轮椅室内全局视频监控导航系统，包括：

无线摄像机：固定于室内屋顶上，用于实时采集轮椅及其运动现场图像并传输到作为操作和监控平台的轮椅车载微机上；

色标：设置在轮椅上，用于确定轮椅的位置和位姿的识别标记；

操作和监控平台：该平台由轮椅车载微机实现，用于完成外设监控导航和人机接口对话两项任务，监控操作界面直接提供现场监控图像和目标选择，使用者只需用鼠标或触摸屏方式选中目的地，系统通过对设在轮椅上的色标识别确定轮椅的位置和位姿，根据所选目标点坐标及视频图像提供的场地信息生成最佳导航路线控制轮椅到达所选目标；操作和监控平台中包括：视觉子系统、决策子系统和通讯子系统；

(1)视觉子系统：视觉子系统控制上悬摄像头对现场视频图像的采集并对图像进行处理，从而获得轮椅和目标点的坐标信息以及运动场地状况，提供给决策子系统决策并便于操作者实时监控；

(2)决策子系统：决策子系统根据视觉子系统提供的场地信息、轮椅和目标点的位置信息来制定策略，最终形成轮椅的控制指令，通过通讯子系统传给轮椅上安装的移动外设子系统用于驱动轮椅动作；

(3)通讯子系统：通讯子系统负责决策子系统发出的控制指令的传输，完成操作和监控平台和轮椅上安装的移动外设子系统之间的通讯；

移动外设子系统：移动外设子系统是轮椅的驱动部分，可以将接收的控制命令转换成左右驱动轮电机的PWM驱动操作，控制轮椅的行走。

所述轮椅上设置的色标是沿轮椅靠背设一个由支架支撑的水平顶板，水平顶板上设有色块标识，包括涂有两种不同颜色的第一色标和第二色标；操作和监控平台根据轮椅上的第一色标和第二色标颜色，在RGB图像中分别进行搜索，得到轮椅的质心位置坐标和方向。

所述的决策子系统采用基于全局监控导航的自适应PID移动外设控制的导航策略，将鼠标或触摸屏点击的位置作为目标点，计算该目标点到轮椅质心的距离和角度，判断是否超过距离阈值，小于距离阈值则向轮椅发送停止指令以保证轮椅能克服速度惯性平稳准确到达目标点，否则按照给定的PID控制算法，根据距离自动计算轮椅行走的实时速度，包括左轮的速度和右轮的速度，并将该实时速度发送给移动外设子系统驱动轮椅行走。

所述的距离阈值通常设为轮椅车身长度的一半。

本发明的有益效果：

该系统的操作和监控平台设置在轮椅的车载笔记本电脑上，操作界面直接提供现场监控图像和目标选择，操作者只需用鼠标或触摸屏方式进行目标选择，轮椅可以自主导航、自动避障到达目标点，操作的同时可以实现对轮椅和运动场景的监控，简化了操作并提高了安全性。使操作者从繁琐的手动控制中解放出来，减少了操作投入，这对于身体虚弱的重度肢障人群具有重要意义，能帮助他们在室内轻松地自由移动，更大限度地实现生活的自理，以提高他们的独立性，增强他们生活的信心，提高他们的生活质量，也能够为家庭和社会减轻负担。本发明的视觉系统兼具外设监控导航和人机接口两项功能，主要应用场景是家庭和医院及康复中心室内，采用上悬无线摄像机的全局视觉监控技术，实时采集移动外设及其运动现场图像。本发明为实现理想的智能轮椅控制提供了新思路、新技术。

附图说明

图1.轮椅导航控制系统体系结构示意图；

图2.轮椅监控操作界面图；

图3.软件系统图；

图4.轮椅色标图；

图5.轮椅质心及角度坐标图；

图6.轮椅与目标相对位置角度坐标图；

图7操作测试结果图。

图中：1上悬无线摄像机、2轮椅车载微机、3色标、4移动外设子系统、5鼠标或触摸屏点中的目标点、6轮椅所要到达区域的透明色块标识、7轮椅模拟外设俯视图、8第一色标、9轮椅质心位置、10第二色标、11轮椅行驶正方向、12目标点、A视觉子系统、B决策子系统、C通讯子系统。

下面结合附图对本发明的具体实施方式作进一步说明，但不应以此限制本发明的保护范围。

具体实施方式

如图1所示，本发明采用固定于屋顶的上悬无线摄像机1实时采集轮椅及其运动现场图像并传输到作为操作和监控平台的轮椅车载微机2上。该平台兼具外设监控导航和人机接口两项功能，直接提供现场监控图像和目标选择，使用者只需用鼠标或触摸屏方式选中目的地，系统通过对设在轮椅上的色标3进行识别确定其位姿，根据所选目标点坐标及视频图像提供的场地信息生成最佳导航路线，并实时提高控制命令，由外设子系统4转化为轮椅左右轮的电机驱动操作。图2给出了监控操作界面，为了能给使用者提供所处方位指导，实现精确监控导航，把采集视频现场图像划分成“九宫格”的形式，鼠标或触摸屏点中的目标点5用轮椅俯视平面大小的透明色块6给与标识，透明色块区域即是轮椅要到达的目标区域，其中心即为目标点。

操作和监控平台中软件系统如图3，分为视觉子系统A、决策子系统B、通讯子系统C三个部分：视觉子系统采用基于上悬摄像头的全局视频监控技术采集现场视频图像获得轮椅和目标点的二维坐标信息以及运动场地状况提供给决策子系统并为操作者提供场景实时监控画面；决策子系统根据场地信息、轮椅和目标点的位置信息来制定策略，最终形成轮椅的控制指令通过通信系统传给轮椅；通信子系统负责控制指令的传输，完成车载微机和轮椅的通讯。

移动外设子系统是轮椅的驱动部分，可将接收的控制命令转换成左右驱动轮电机的PWM驱动操作，控制轮椅的行走。

轮椅色标设置、识别与定位技术如图1所示沿轮椅靠背设一支架支撑一水平顶板，其上设有色块标识3，如图4，色块标识包括涂有两种不同颜色的第一色标8和第二色标10，应选用色调差别大的颜色。首先提取两色标的颜色特征值，在视频采集获得RGB图像中分别进行搜索识别，可以实时得到轮椅的质心位置坐标9和正方向11。因为本发明采用上悬摄像头的方式，通过对摄像头的调整采集轮椅运动现场全景的平面图像，图像为640*480的彩色图像，可以建立像素坐标和实际场地坐标(长*宽)之间的对应关系，并相互映射转换。像素坐标系如图5所示，以场地图像左下角为原点，用XY像素坐标系来描述轮椅的位置，轮椅质心9(x，y)为由已识别出的第一色标近似中心(x₁，y₁)和第二色标的近似中点(x₂，y₂)连线的中点，

x＝(x₁+x₂)/2 (1)

y＝(y₁+y₂)/2 (2)

第二色标(x₂，y₂)指向第一色标(x₁，y₁)的射线与X轴正方向的夹角为α，

α = \arctan (\frac{| y_{2} - y_{1} |}{| x_{2} - x_{1} |}) - - - (3)

轮椅正方向与X轴正方向的夹角：θ＝α+π/4，由此可以判断出轮椅的位置和方向信息(x，y，θ)输出给决策子系统。如：第一色标中心(157，120)，第二色标中心(193，170)，轮椅质心(175，145)，α＝arctant1.4＝0.950，角度θ＝0.950+0.785＝1.735，其坐标值为(175，145，1.735)。

导航策略采用基于全局监控导航的自适应PID移动外设控制，根据距离差d_e，角度差θ_e自动计算轮椅行走的实时速度，即左右轮的速度发送给轮椅令其行走。如图6所示，将鼠标或触摸屏点击的位置作为目标点12，计算其到轮椅质心9的距离差d_e，角度差θ_e

d_{e} = \sqrt{{d_{x}}^{2} + {d_{y}}^{2}} - - - (4)

θ_e＝θ_d-θ_r (5)

其中dx指定点与轮椅质心的横坐标差，dy指定点与轮椅质心的机器人的纵坐标差，θ_r轮椅当前所面向的角度，即轮椅正方向与X轴正方向的夹角θ，是到达目标点后的方向角，即预期的角度。

根据控制算法，可得轮椅左右轮的实时速度

v_L＝K_pdistance·d_e-K_pangle·θ_e (6)

v_R＝K_pdistance·d_e+K_pangle·θ_e (7)

其中，v_L、v_R分别为机器人左轮子、右轮子在像素坐标中的速度值，单位是每秒像素点数，实际速度V_L、V_R可通过像素坐标和实际场地坐标(长*宽)之间的对应关系换算得出，单位是m/s，并通过移动外设子系统调控PWM脉宽驱动电机实现；K_pdistance·d_e为轮椅行进过程中的直线速度分量，K_pangle·θ_e为轮椅偏转分量(即角速度分量)；位置增益K_pdistance和角度增益K_pangle值的选取，主要取决于场地大小和操作者对轮椅实际速度的需求，一般通过经验初步选取，然后再经过实验进一步确定，K_pangle较小而K_pdistance较大的情况下，轮椅倾向于直线运动，容易偏离目标，K_pangle较大而K_pdistance较小的情况下，轮椅会移动缓慢，且震动强烈。由公式(6)、(7)可知，v_L、v_R实时随着d_e减小而减小，当d_e小于距离阈值则向轮椅发送停止指令，保证轮椅平稳准确到达目标点。

6名受试者分别进行了10组实验，在10天完成，每天一组实验。每组实验包括9次操作，每位操作者以固定顺序逐个分别在1-9个区块中选中目标点，不同组实验安排目标点所在区块的顺序不同，场地是6.4×4.8m²。

操作过程如下：

1)首先选择初始化操作，通过分别单击分别两色标中心点，系统采集其周围25个像素，提取两色标的颜色特征值，作为后面识别的基础，操作中系统可实时在视频采集获的RGB图像中进行搜索识别，进而获得轮椅位姿(x，y，θ)；

2)设定位置增益为0.02，角度增益为1。通过固定目标的预操作实验，观察轮椅的运动，以0.02的跨度增大位置增益，减小角度增益，直至获得最佳轮椅控制效果，确定K_pdistance为0.1，K_pangle为0.8。

3)全自动式轮椅操作，选中目标点，系统可以实时获得显示出轮椅质心和目标点的坐标。表1显示某一操作者一组实验中三次操作的各参数值。

图7给出了6名受试者的操作正确率，操作正确率定义为正确操作次数和总操作次数的比值。

Claims

1.一种基于上悬无线传输摄像头的轮椅室内全局视频监控导航系统，其特征在于该系统包括：

2.根据权利要求1所述的系统，其特征在于所述的轮椅上设置的色标是沿轮椅靠背设一个由支架支撑的水平顶板，水平顶板上设有色块标识，包括涂有两种不同颜色的第一色标和第二色标；操作和监控平台根据轮椅上的第一色标和第二色标颜色，在RGB图像中分别进行搜索，得到轮椅的质心位置坐标和方向。

3.根据权利要求1所述的系统，其特征在于所述的决策子系统采用基于全局监控导航的自适应PID移动外设控制的导航策略，将鼠标或触摸屏点击的位置作为目标点，计算该目标点到轮椅质心的距离和角度，判断是否超过距离阈值，小于距离阈值则向轮椅发送停止指令以保证轮椅能克服速度惯性平稳准确到达目标点，否则按照给定的PID控制算法，根据距离自动计算轮椅行走的实时速度，包括左轮的速度和右轮的速度，并将该实时速度发送给移动外设子系统驱动轮椅行走。

4.根据权利要求3所述的系统，其特征在于所述的距离阈值设为轮椅车身长度的一半。