CN105681747A - 一种远程呈现交互操作轮椅 - Google Patents

Abstract

本发明为一种远程呈现交互操作轮椅,由普通电动轮椅、远程呈现模块组成、直接触摸现场实时视频图像用户界面、半自主导航模块组成，属于护理设备领域。远程呈现模块获取现场实时视频图像，通过网络把现场实时视频图像传送到远方操作空间的操作者掌上电脑上，并形成触摸现场实时视频图像用户界面TIUI。操作者通过TIUI，使用触摸点击、触摸拖拽等触摸手势，直接触摸现场实时视频图像中的轮椅，完成对轮椅的交互操作。本发明可以给轮椅操作者身临其境的用户体验，如同操作者就在现场操作轮椅一样；借助于掌上电脑和智能手等移动计算设备，可以随时随地的交互操作轮椅，并通过远程呈现模块陪伴轮椅乘坐者。

Description

一种远程呈现交互操作轮椅

技术领域

本发明涉及一种远程呈现交互操作轮椅，属于护理设备领域。

背景技术

随着世界老龄化的进程，老年关爱越来越受到社会的关注。轮椅成为了行动不便老人生活中必须的辅助设施。轮椅由最初的手推轮椅发展为电动轮椅，近年来又出现了可以自主行走的智能轮椅。然而智能轮椅技术复杂、成本高，特别是人机交互效率和行走安全性没有得到很好的解决，使得这项技术离实用化还有相当的距离。远程呈现技术的出现，可以通过网络相机获取世界任意地点的现场实时视频图像，并与该地点的人进行交流，就好像在现场交流一样。将远程呈现技术与轮椅相结合，不仅可以解决轮椅行走的安全性和交互控制轮椅的效率，而且很大程度上可以解决老年人需要陪伴的问题。

目前的远程呈现系统多采用传统的交互方式，即通过键盘、鼠标、手柄或图形界面来和远程呈现系统进行交互。这些系统通常是为特定任务设计，操作者常常需要经过训练才能上岗操作。触屏技术的发展，为实现更加灵活、更加普适的人机交互提供了技术支撑。触屏设备如掌上电脑、智能手机、平板电脑等越来越普及，用户可以在任何地方直接上网，通过手指点击屏幕，实现与远程呈现系统的交互操作。

为了实现远方操作者方便快捷可靠的交互操作轮椅，让轮椅乘坐者以及远方轮椅操作者有更好的用户体验，本发明设计了一种远程呈现交互操作轮椅(telepresenceinteractionwheelchair,简称TW)。

发明内容

远程呈现交互操作轮椅和轮椅乘坐者所在的位置空间定义为呈现空间(presencespace)，远方的轮椅操作者所在的位置空间定义为操作空间(operationspace)，这两个空间通过互联网连接。轮椅上的远程呈现模块获取呈现空间的现场实时视频图像，通过网络把现场实时视频图像传送到远方操作空间中操作者的移动终端上，并形成触摸现场实时视频图像用户界面TIUI(TouchinglivevideoImageUserInterface)。操作者通过TIUI，使用触摸点击、触摸拖拽等触摸手势，直接触摸现场实时视频图像中的轮椅，完成对轮椅的交互操作。操作者还可以通过远程呈现模块与轮椅乘坐者进行音视频交流。通过直接触摸现场实时视频图像控制轮椅，可以给轮椅操作者身临其境的用户体验，如同操作者就在现场操作轮椅一样，使得用户无需训练就能轻松自如地操作；借助于掌上电脑和智能手等移动终端设备，可以随时随地的交互操作轮椅，并通过远程呈现模块陪伴轮椅乘坐者。

本发明涉及的一种远程呈现交互轮操作轮椅由普通电动轮椅、远程呈现模块组成、直接触摸现场实时视频图像用户界面、半自主导航模块组成：

(1)远程呈现模块

远程呈现模块包括云台、升降杆、前视摄像头、俯视摄像头、网络摄像头、显示屏、扬声器和麦克风，轮椅交互操作接口、车载计算机装置，所有这些装置都通过标准总线连接。显示屏安装在普通电动轮椅扶手的左前方或右前方，显示屏能够在呈现空间中呈现轮椅操作者的面部图像，前视摄像头和俯视摄像头固定在云台上，云台固定在升降杆上，升降杆安装在普通电动轮椅靠背的后方；轮椅交互操作接口直接和普通电动轮椅的操作手柄控制线并联；远方轮椅操作者能够远程交互操作云台、升降杆的运动，带动前视摄像头和俯视摄像头获取呈现空间的现场实时视频图像；显示屏、扬声器和麦克风用来呈现远方轮椅操作者的面部视频并进行音视频交流。

前视摄像头获取轮椅前方清晰的现场实时视频图像，用于识别前方目标；俯视摄像头是广角摄像头，俯视获取轮椅全景及其周围地面环境视频图像，用于交互操作轮椅安全行走。将两个摄像头采集的2个视频图像实时拼接，形成一个包含轮椅前方清晰目标、轮椅全景及其周围大场景地面的现场实时视频图像，称为交互操作视频，然后通过网络将该视频传送到远方操作者的移动终端。交互操作视频是把2个现场实时视频拼接成为一个现场实时视频，更加有利于操作者远程呈现交互操作轮椅。

(2)直接触摸现场实时视频图像用户界面

本发明中的用户界面是一种基于触摸屏的直接触摸现场实时视频图像用户界面。其主体部分是远程呈现模块通过网络传过来的交互操作视频图像。轮椅图像位于交互操作视频图像的下半部，轮椅图像上标有圆形操作区域，在圆形操作区域内用单手指触摸屏幕进行上下左右滑动，控制轮椅的前进、后退、左转、右转运动。在轮椅圆形操作区域以外的区域，使用双手指触摸手势可以控制云台以及升降杆的运动；使用单手指触摸手势可标记地面导航路径以及标记地面障碍物。

(3)半自主导航模块

在操作空间的操作者通过移动终端触摸屏上的TIUI来交互操作轮椅，操作手势分为单手指触摸手势和双手指触摸手势。双手指触摸手势用于改变视角，包括轮椅远程呈现模块的前视和俯视摄像头的左右上下运动以及升降杆的升降运动。单手指触摸手势用于控制轮椅的运动和标记地面导航路径和障碍物：单手指作用于轮椅的操作区域内控制轮椅的移动；单手指作用于图像中除轮椅操作区域以外的区域，用于标记轮椅的运动轨迹或地面上的障碍物；

即在TIUI下半部分的圆形操作区域内，即轮椅所在区域，用单手指向上、向下、向左、向右触摸滑动，轮椅相应地做前进、后退、左转、右转运动。在需要轮椅做出精细运动时，比如，通过狭窄的门或走廊时，操作者需要谨慎的控制手指在触摸屏上的滑动距离和滑动频率，来精确控制轮椅的移动距离和转动角度，极大地降低了交互操作轮椅的效率。

本发明对交互操作视频图像进行处理和分析，自动提取场景图像特征。将场景图像特征分为两类，一类特征是路面或走廊特征，称为前行特征；根据前行特征计算出路面中央线，形成最佳前行轨迹；当操作者用单手指在TIUI轮椅区域内向上触摸滑动时，轮椅将自主地跟随该前行轨迹前进，前进的距离和速度取决于触摸滑动的距离和频率；另一类特征是路面转弯口、走廊转弯口、或门口的特征，通称为转弯特征；根据转弯特征计算出转弯口与轮椅的相对位置，并给出最佳转弯运动轨迹；当操作者用单手指在TIUI轮椅区域内向左或向右触摸滑动时，轮椅将自主地跟随该转弯运动轨迹转弯，转弯的距离和速度取决于触摸滑动的距离和频率。操作者只需自然地给出交互操作的手势的滑动距离和频率，就可以准确操作轮椅运动，无需给出精确的繁琐的手势。

有益效果

与现有技术相比，本发明是通过远程呈现交互操作技术实现轮椅驾驶，和智能轮椅相比，无需高成本的感知和信息处理系统，成本低。

本发明是由远方操作者实现远程呈现交互操作轮椅，是一种以人为中心的交互操作轮椅，与无人系统相比，更安全可靠。

本发明通过移动终端触摸屏上的用户界面，使用触摸点击、触摸拖拽等触摸手势，直接触摸现场实时视频图像中的轮椅完成对轮椅的控制。如同操作者在现场操作轮椅一样，无需设计额外的图形用户界面，为轮椅操作者提供身临其境的操作体验。

本发明通过轮椅的远程呈现模块作为轮椅操作者在呈现空间中的化身，可以在呈现空间中陪伴轮椅乘坐者，仿佛操作者就在轮椅乘坐者的身边，为轮椅乘坐者提供更好的陪护体验。

本发明采用计算机视觉技术实现半自主导航，采用直接触摸现场实时视频图像用户界面，能在掌上电脑、智能手机等移动终端设备使用，可以随时随地与呈现空间进行远程呈现交互操作，使得远方操作者能够高效率的交互操作轮椅。

附图说明

图1远程呈现交互操作轮椅系统组成

图2远程呈现交互操作轮椅结构

图3远程呈现交互操作轮椅系统框图

图4远程交互视频图像拼接示意图

图5直接触摸现场实时视频图像用户界面TIUI

图6轮椅操作区域与乘坐者面部图像示意图

图7半自主导航前行运动轨迹预测

图8半自主导航转弯运动轨迹预测

具体实施方式

下面结合附图对本发明做详细说明。

如图1所示，系统包括呈现空间中的远程呈现交互操作轮椅101，操作空间中的掌上电脑104(包括智能手机)和直接触摸现场实时视频图像用户界面TIUI106(图5)，以及连接呈现空间和操作空间的Wi-Fi网络105；操作者103在远方操作空间中，轮椅乘坐者102在呈现空间中。

(1)远程呈现交互操作轮椅

远程呈现交互操作轮椅由普通电动轮椅和远程呈现模块组成，如图2和图3所示。远程呈现模块包括前视摄像头201、俯视摄像头202、云台203、升降杆204、显示屏210、网络摄像头208、扬声器207、麦克风209、轮椅交互操作接口206、车载计算机205等装置组成，所有装置都通过总线USB连接。

显示屏210安装在普通电动轮椅扶手的左前方或右前方，显示屏210能够在呈现空间中呈现轮椅操作者103的面部图像，显示屏210、网络摄像头208、扬声器207和麦克风209用于轮椅操作者103和轮椅乘坐者102的音视频交流。前视摄像头201、俯视摄像头202固定在云台203上，云台203固定在升降杆204上，升降杆204安装在普通电动轮椅靠背的后方。俯视摄像头202是鱼眼镜头摄像机，以便看到全部轮椅、轮椅乘坐者和轮椅所在路面的大场景图像。升降杆204能够根据不用的应用场景调节前视摄像头201和俯视摄像头202的高度，云台203能够调整前视摄像头201和俯视摄像头202的角度，更高效的获取现场实时视频图像。

轮椅交互操作接口206可以直接和普通电动轮椅的操作手柄控制线并联。本发明就是通过轮椅交互操作接口206把远程呈现模块加在普通电动轮椅上，实现远程呈现交互操作轮椅。

前视摄像头201和俯视摄像头202获取轮椅101及其周围环境图像，用于轮椅操作者远程呈现交互操作轮椅。将前视摄像头201和俯视摄像头202采集的二个视频图像实时拼接成一个视频图像，该视频图像称为远程交互视频图像，如图4所示；通过WIFI互联网将远程交互视频图像传输给操作空间的掌上电脑104。

(2)直接触摸现场实时视频图像用户界面

本发明中的用户界面是一种基于触摸屏的直接触摸现场实时视频图像的用户界面TIUI106。通过轮椅的远程呈现模块获取呈现空间的现场实时视频图像，拼接为远程交互视频图像，通过WiFi网络实时传送到操作空间，轮椅操作者103在掌上电脑104上的TIUI106上通过远程呈现交互控制方式控制轮椅在呈现空间中的运动，并与轮椅乘坐者进行交流。

TIUI的主要部分是呈现空间的现场实时视频图像，此图像由轮椅远程呈现模块的前视摄像头和俯视摄像头采集的视频图像实时拼接而成。拼接视频图像的下方轮椅图像上有圆形的轮椅操作区域302，如图6所示。在轮椅操作区域内用单手指触摸屏幕进行上下左右滑动，控制轮椅的前后左右移动。在除轮椅操作区域以外的区域使用双手指触摸手势控制云台以及升降杆的运动以改变摄像头的视角；使用单手指触摸手势可标记地面导航路径以及标记地面障碍物。轮椅乘坐者102的面部图像303叠加在远程交互视频图像左上角。

为了便于用户区分和使用方便，定义了2类触摸手势：单手指触摸手势和双手指触摸手势。双手指触摸手势用于改变视角，包括轮椅远程呈现模块的前视和俯视摄像头的左右上下运动以及升降杆的升降运动。单手指触摸手势用于控制轮椅的运动和标记地面导航路径和障碍物。根据手势及手势所在的区域，将手势分为三个模式：

1)单手指作用于轮椅的操作区域内控制轮椅的移动；

2)单手指作用于图像中除轮椅操作区域以外的区域，用于标记轮椅的运动轨迹或地面上的障碍物；

3)双手指手势在整个图像上用于调整云台摄像头视角和升降杆高度。

本发明设计的用于远程呈现交互控制轮椅的单手指触摸手势源于对真实物体的推动操作的模拟，即使用单手指前后左右推动轮椅，轮椅向相应的方向移动，无需设计额外的图形用户界面，为轮椅操作者提供身临其境的操作体验。

(3)半自主导航方式

在操作空间的操作者通过掌上电脑触摸屏上的TIUI来交互操作轮椅，即在TIUI下半部分的圆形操作区域内(轮椅所在区域)，用单手指向上、向下、向左、向右触摸滑动，轮椅相应地做前进、后退、左转、右转运动。在需要轮椅做出精细运动时，比如，通过狭窄的门或走廊时，操作者需要谨慎的控制手指在触摸屏上的滑动距离和滑动频率，来精确控制轮椅的移动距离和转动角度，极大地降低了交互操作轮椅的效率。

本发明对交互操作视频图像进行处理和分析，自动提取场景图像特征。将场景图像特征分为两类，一类特征是路面或走廊特征，称为前行特征；如图7所示，提取走廊401的前行特征，估计出路面中央线，形成最佳前行轨迹402；当操作者用单手指在TIUI轮椅区域302内向上触摸滑动时，轮椅101将自主地跟随该前行轨迹402前进，前进的距离和速度取决于触摸滑动的距离和频率；另一类特征是路面转弯口、走廊转弯口、或门口的特征，通称为转弯特征；如图8所示，提取路口501的转弯特征，估计出转弯口与轮椅101的相对位置，并给出最佳转弯运动轨迹502；当操作者用单手指在TIUI轮椅区域302内向左或向右触摸滑动时，轮椅101将自主地跟随该转弯运动轨迹转弯，转弯的距离和速度取决于触摸滑动的距离和频率。操作者只需自然地给出交互操作的手势的滑动距离和频率，就可以准确操作轮椅运动，无需给出精确的繁琐的手势。

Claims (2)

1.一种远程呈现交互操作轮椅，由普通电动轮椅、远程呈现模块组成、直接触摸现场实时视频图像用户界面、半自主导航模块组成，其特征在于：

远程呈现模块包括云台、升降杆、前视摄像头、俯视摄像头、网络摄像头、显示屏、扬声器和麦克风，轮椅交互操作接口、车载计算机装置，所有这些装置都通过标准总线连接。显示屏安装在普通电动轮椅扶手的左前方或右前方，显示屏能够在呈现空间中呈现轮椅操作者的面部图像，前视摄像头和俯视摄像头固定在云台上，云台固定在升降杆上，升降杆安装在普通电动轮椅靠背的后方；轮椅交互操作接口直接和普通电动轮椅的操作手柄控制线并联；远方轮椅操作者能够远程交互操作云台、升降杆的运动，带动前视摄像头和俯视摄像头获取呈现空间的现场实时视频图像；显示屏、扬声器和麦克风用来呈现远方轮椅操作者的面部视频并进行音视频交流。

2.如权利要求1所述的一种远程呈现交互操作轮椅，其特征还在于：基于触摸屏的直接触摸现场实时视频图像用户界面其主体部分是远程呈现模块通过网络传过来的交互操作视频图像，轮椅图像位于交互操作视频图像的下半部，轮椅图像上标有圆形操作区域，在圆形操作区域内用单手指触摸屏幕进行上下左右滑动，控制轮椅的前进、后退、左转、右转运动；在轮椅圆形操作区域以外的区域，使用双手指触摸手势可以控制云台以及升降杆的运动；使用单手指触摸手势可标记地面导航路径以及标记地面障碍物。