CN111150566A - 一种自主导航与多模人机交互共享的轮椅控制系统及方法 - Google Patents

一种自主导航与多模人机交互共享的轮椅控制系统及方法 Download PDF

Info

Publication number
CN111150566A
CN111150566A CN202010050496.9A CN202010050496A CN111150566A CN 111150566 A CN111150566 A CN 111150566A CN 202010050496 A CN202010050496 A CN 202010050496A CN 111150566 A CN111150566 A CN 111150566A
Authority
CN
China
Prior art keywords
control
wheelchair
mode
human
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010050496.9A
Other languages
English (en)
Other versions
CN111150566B (zh
Inventor
徐国政
张庆松
朱博
王强
王聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202010050496.9A priority Critical patent/CN111150566B/zh
Publication of CN111150566A publication Critical patent/CN111150566A/zh
Application granted granted Critical
Publication of CN111150566B publication Critical patent/CN111150566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • A61G5/1051—Arrangements for steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/14—Joysticks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/22—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering for automatically guiding movable devices, e.g. stretchers or wheelchairs in a hospital

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种自主导航与多模人机交互共享的轮椅控制系统及方法，所述系统包括自主导航器和多模人机交互控制器分别向共享控制器发出导航指令和用户指令，并由共享控制器确定最终控制指令控制智能轮椅；人机交互控制器包括操纵杆控制方式、头姿控制方式、手势控制方式；还包括切换器完成多模人机交互控制方式间的切换。本发明可以有效降低用户驾驶轮椅的疲劳感，提高用户驾驶轮椅舒适性、平稳性和交互的流畅性，满足不同对象的需求，提高智能轮椅的应用范围。

Description

一种自主导航与多模人机交互共享的轮椅控制系统及方法
技术领域
本发明涉及智能辅助设备技术领域，具体涉及一种自主导航与多模人机交互共享的轮椅控制系统及方法。
背景技术
随着老年人和残障人士数量的不断增加，轮椅逐渐成为行动不便的老残人士的代步工具。传统的电动轮椅使用操纵杆控制轮椅，适用于上肢健全的用户，但对于肢体有障碍的用户来说难以实现。利用用户仅存的一些技能控制轮椅，比如摄像头捕捉面部朝向、手势以实现对轮椅的控制，但是长时间维持一种姿态会导致用户疲劳，且不经意的姿态改变会引起轮椅行驶路径发生突变，引起不必要的安全隐患。利用移动机器人轮椅自主导航，使轮椅完全自主移动，会引起用户产生一种沮丧感，因为用户希望尽可能地保留对轮椅的控制权，且为用户提供过度帮助会导致用户丧失剩余的技能。在人机共享控制模式下，用户与智能轮椅相互辅助，共同完成移动控制任务，传统的共享控制方法大多未考虑到不同用户控制能力的差异，用户的控制权与驾驶环境或能力无关。
本发明所提出的共享控制方法，可根据用户的能力和驾驶环境实时切换机器人轮椅控制权的分配问题。当用户能力较弱时，轮椅处于相对安全的驾驶环境中，用户可以通过多模人机交互控制方式对控制轮椅运动，当用户遇到复杂障碍物，驾驶难度系数较高时，可以将控制权交给智能轮椅自主移动，直至到达简单安全的驾驶环境；当用户能力较强时，轮椅处于相对安全的驾驶环境中，可以将控制权交给轮椅自主移动，轮椅处于复杂的驾驶环境中，用户接管轮椅移动的控制权，直至到达简单安全的驾驶环境。本发明所述的共享控制方法使得用户驾驶轮椅更加平稳、舒适。多模人机交互控制方式可以满足不同对象的需求，提高智能轮椅的应用范围。
发明内容
发明目的：一种自主导航与多模人机交互共享的轮椅控制系统及方法，用户可根据轮椅行驶环境与个人习惯，实时选择切换相应的人机交互控制方式，提高用户驾驶轮椅的舒适性。
发明内容：一种自主导航与多模人机交互共享的轮椅控制系统，包括自主导航器、多模人机交互控制器和共享控制器；自主导航器和多模人机交互控制器分别向共享控制器发出导航指令和用户指令，并由共享控制器确定最终控制指令控制智能轮椅；人机交互控制器包括操纵杆控制方式、头姿控制方式、手势控制方式；操纵杆控制方式，通过霍尔元件将操纵杆的位置信息转换为电压信息，再使用AD转换将电压信息转换为数字量，通过操纵杆的位置信息得到用户的控制意图控制轮椅；头姿控制方式，采用基于深度图像的随机森林算法结合最近点迭代算法估计实时头部姿态，根据实时人脸朝向控制轮椅；手势控制方式，通过实时追踪手掌心位置，输出掌心坐标，根据实时掌心坐标控制轮椅移动。
进一步地，多模人机交互控制器还包括切换器，能识别一个特定的手势动作，完成多模人机交互控制方式间的切换。
进一步地，所述自主导航速度控制器与人机交互控制器按照话题优先级实时切换，共同完成智能轮椅的控制任务。
进一步地，所述轮椅控制系统可以同时处理环境信息并根据人机交互控制指令控制轮椅运动。
本发明还提供一种自主导航与多模人机交互共享的轮椅控制方法，包括以下步骤：
(1)自主导航与多模人机交互控制方式共享控制智能轮椅，为输入的话题设置优先级，当轮椅接收到多个节点发布的速度控制话题时，系统会选择执行优先级最高的话题执行；
(2)智能轮椅根据系统规划出的路径自主行进；
(3)在智能轮椅自主行进的过程中通过人机交互控制方式适当地干预以满足用户对轮椅的控制权；
(4)在驾驶轮椅过程中，用户可根据行驶环境与疲劳程度实时切换多模人机交互控制方式。
进一步地，所述步骤(2)包括以下步骤：
(21)激光雷达传感器感知环境信息，对获取的环境特征构建栅格地图；
(22)加载栅格地图，将编码器和惯性测量单元的传感数据融合，实现对轮椅的自定位，在全局环境地图中实现轮椅的全局定位；
(23)在持续定位的同时，全局路径规划器在全局静态地图上生成轮椅当前位置到目标位置的全局路径，局部路径规划器在局部动态地图上生成连续平滑的速度控制指令，发送至运动控制器；
(24)运动控制器根据轮椅的运动学模型将接收到的速度指令分解发送至每个电机上，PID控制器调速实现轮椅的自主运动。
进一步地，所述步骤(3)实现过程如下：
智能轮椅按照导航指令自主行进，同时人机交互控制方式发出控制指令，根据话题优先级控制策略，人机交互控制方式控制信息优先于自主导航控制信息，多话题数据选择器输出人机交互控制方式的速度控制信息至驱动器控制轮椅运动；当没有人机交互控制方式控制指令发出时，多话题数据选择器输出自主导航的速度控制信息至驱动器控制轮椅运动：
U(v,w)＝K1U(vh,wh)+K2U(vr,wr)
Figure BDA0002370981550000031
其中，U(vh,wh)为人机交互控制方式速度信息，U(vr,wr)为自主导航速度信息，U(v,w)为最终发送至底层驱动器的速度信息。
进一步地，所述步骤(4)包括以下步骤：
(41)用户输入预定义的手势动作；
(42)PC获取连续输入的视频，并将其转换成易于处理的形式，从中截取手势；通过从当前帧像素的RGB值减去前一帧像素的RGB值得出后续帧之间的差异：
Dk(x,y)＝|Ri(x,y)-Ri-1(x,y)|
其中，Ri(x,y)为当前帧像素的RGB值，Ri-1(x,y)为前一帧像素的RGB值，Dk(x,y)为后续帧之间的差值；
(43)将截取的手势与数据库中手势进行匹配，从而识别手势；
当用户做出手势动作时，会生成一组点，使用每帧中非灰色像素的x和y坐标的平均值，将这些点与数据库中的手势进行匹配，根据其标准差对这些点进行适当的缩放，将对应点差平方和最小的手势作为手势匹配返回，获得最佳匹配，识别相对应的手势：
Figure BDA0002370981550000041
其中，βi为用户实时手势的对应点，αi为数据库中手势的对应点，N表示一个手势对应点的数量；
(44)根据识别的手势，执行相应的命令集，打开或关闭相应的人机交互控制方式。
有益效果：与现有技术相比，本发明的有益效果：1、轮椅运动时，用户与智能轮椅共享控制权，人机交互控制方式与轮椅自主导航控制方式相互协作完成任务，可以有效降低用户的疲劳感、沮丧感，提高轮椅驾驶的安全性、平稳性和舒适性；2、根据轮椅行驶环境和用户习惯实时切换多模人机交互控制方式，满足更多残障人士的需求，扩大应用范围。
附图说明
图1为自主导航和多模人机交互控制方式共享的轮椅控制系统框图；
图2为智能机器人轮椅的结构图以及Kinect摄像头、PC控制器安装位置示意图；
图3为多模人机交互控制方式切换示意图；
图4为多模人机交互控制方式切换流程图；
图5为多模人机交互控制方式切换界面示意图。
具体实施方式
为了更清晰地阐述本发明的技术内容，下面结合附图以及具体实施例来详细说明本发明，其中的具体实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
如图1所示，一种自主导航与多模人机交互共享的轮椅控制系统，包括自主导航器、多模人机交互控制器和共享控制器；自主导航器和多模人机交互控制器分别向共享控制器发出导航指令和用户指令，并由共享控制器发出确定控制指令控制智能轮椅；人机交互控制器包括操纵杆控制方式、头姿控制方式、手势控制方式；所述操纵杆控制方式，通过霍尔元件将操纵杆的位置信息转换为电压信息，再使用AD转换将电压信息转换为数字量，通过操纵杆的位置信息得到用户的控制意图控制轮椅；所述头姿控制方式，采用基于深度图像的随机森林算法结合最近点迭代算法估计实时头部姿态，根据实时人脸朝向控制轮椅；所述手势控制方式，通过实时追踪手掌心位置，输出掌心坐标，根据实时掌心坐标控制轮椅移动。多模人机交互控制器还包括切换器，能识别一个特定的手势动作，能识别一个特定的手势动作，完成多模人机交互控制方式间的切换。切换器有切换界面，用于提示用户当前的控制方式。
自主导航速度控制器与人机交互控制器按照话题优先级实时切换，共同完成智能轮椅的控制任务。
图2为智能轮椅结构图，机器人轮椅拥有以基本电动轮椅结构为主体以及安装在主体上的附属结构，包括Kinect深度摄像头101，PC控制器102，激光雷达传感器103、手动操纵杆104、电池105、电机106、后轮107、前轮108、编码器109。如图所示，Kinect摄像头安装在用户头部的正前方约60cm左右处，确保较好地采集到头部姿态和手势。自主导航系统、头姿控制系统、手势控制系统、人机交互控制方式切换系统都在PC控制器上，PC控制器安装在用户右前方，便于用户操作，PC上的摄像头用于捕捉用户切换人机交互控制方式的特定手势。激光雷达安装在轮椅前侧右前方，用以扫描感知实时环境信息，建立地图用于自主导航。编码器安装在轮椅车轮上以获取轮椅自定位的位置信息。
图3为多模人机交互控制器切换示意图，多模控制方式之间的具体切换手势参见表1。
表1为多模控制方式间切换的预定义手势
Figure BDA0002370981550000051
图4为三种人机交互控制方式切换流程图，通过用户执行预先定义好的切换手势来完成人机交互控制方式间的切换，切换器使用PC摄像头、PC控制器，通过PC控制器处理PC摄像头采集到的图像信息，识别到特定手势，执行相应的命令集，打开或关闭某个人机交互控制方式，实现三种人机交互控制方式之间的切换。图5为人机交互控制方式切换界面，机器人轮椅处于某种方式，对应的图标就会点亮，便于用户明确当前的人机交互控制方式。
本发明还具体地描述了一种自主导航与多模人机交互共享的轮椅控制方法，具体步骤如下：
步骤1：自主导航与人机交互控制方式共享控制智能轮椅，为输入的话题设置优先级，当轮椅接收到多个节点发布的速度控制话题时，系统会选择执行优先级最高的话题执行。
步骤2：智能轮椅根据系统规划出的路径自主行进；
S1，激光雷达传感器感知环境信息，对获取的环境特征构建栅格地图；
S2，加载栅格地图，将编码器和惯性测量单元的传感数据融合，实现对轮椅的自定位，在全局环境地图中实现轮椅的全局定位；
S3，在持续定位的同时，全局路径规划器在全局静态地图上生成轮椅当前位置到目标位置的全局路径，局部路径规划器在局部动态地图上生成连续平滑的速度控制指令，发送至运动控制器；
S4，运动控制器根据轮椅的运动学模型将接收到的速度指令分解发送至每个电机上，PID控制器调速实现轮椅的自主运动。
启动各节点，运行rviz可视化工具及其配置文件，监控地图构建的过程，在地图上选取任务目标点，机器人轮椅按照自主导航系统自主行进。
轮椅按照人机交互控制命令行进，用户能力较弱，遇到难度系数较大的驾驶环境时，人机交互控制方式停止发出控制指令，将控制权交给智能轮椅自主避障，轮椅按照自主导航控制信息行进。
步骤3：在智能轮椅自主行进的过程中通过人机交互控制方式适当地干预以满足用户对轮椅的控制权。
智能轮椅按照导航指令自主行进，同时人机交互控制方式发出控制指令，根据话题优先级控制策略，人机交互控制方式控制信息优先于自主导航控制信息，多话题数据选择器输出人机交互控制方式的速度控制信息至驱动器控制轮椅运动；当没有人机交互控制方式控制指令发出时，多话题数据选择器输出自主导航的速度控制信息至驱动器控制轮椅运动：
U(v,w)＝K1U(vh,wh)+K2U(vr,wr)
Figure BDA0002370981550000071
其中，U(vh,wh)为人机交互控制方式速度信息，U(vr,wr)为自主导航速度信息，U(v,w)为最终发送至底层驱动器的速度信息。
轮椅自主行进过程中适当地进行人为干预以满足用户对轮椅的控制权：查看人机交互界面，确定当前的人机交互控制方式；轮椅自主导航行进，同时当前人机交互控制方式发出一个控制指令，二者速度控制信息同时发送至ROS数据选择器twist_mux，根据话题优先级控制策略，人机交互控制方式控制信息优先于自主导航控制信息，twist_mux输出人机交互控制方式速度控制信息至驱动器，轮椅按照人机交互控制方式的控制命令行进。
步骤4：在驾驶轮椅过程中，用户可根据行驶环境与疲劳程度实时切换多模人机交互控制方式，如图4所示。
用户首先输入预定义的手势动作；PC获取连续输入的视频，并将其转换成易于处理的形式，从中截取手势；通过从当前帧像素的RGB值减去前一帧像素的RGB值得出后续帧之间的差异：
Dk(x,y)＝|Ri(x,y)-Ri-1(x,y)|
其中，Ri(x,y)为当前帧像素的RGB值，Ri-1(x,y)为前一帧像素的RGB值，Dk(x,y)为后续帧之间的差值。
将截取的手势与数据库中手势进行匹配，从而识别手势：当用户做出手势动作时，会生成一组点，使用每帧中非灰色像素的x和y坐标的平均值，将这些点与数据库中的手势进行匹配，根据其标准差对这些点进行适当的缩放，将对应点差平方和最小的手势作为手势匹配返回，获得最佳匹配，识别相对应的手势：
Figure BDA0002370981550000072
其中，βi为用户实时手势的对应点，αi为数据库中手势的对应点，N表示一个手势对应点的数量。
根据识别的手势，执行相应的命令集，打开或关闭相应的人机交互控制方式。
例如，轮椅行进过程中，由于轮椅驾驶环境与用户疲劳程度的变化，用户希望切换一种人机交互控制方式，通过做出特定的手势动作，触发相应命令集，完成切换。具体步骤如下：
S1，用户产生切换人机交互控制方式的意图。
S2，查看人机交互界面，确定当前的人机交互控制方式。
S3，正对着摄像头做特定的手势指令，PC摄像头获取连续视频输入，所述特定的手势动作如附图2所示。
S4，PC控制器使用OpenCV库处理来自PC摄像头的输入，通过当前帧像素的RGB值减去前一帧像素的RGB值，得出后续帧之间的差异，截取手势，生成一组点。
S5，将截取手势生成的点与数据库手势进行匹配，根据标准差适当的缩放这些点，然后将用户手势的对应点与数据库中的对应点进行比较，将对应点差平方和最小的手势作为手势匹配返回，获得最佳匹配，从而识别相对应的手势。
S6，识别到特定的手势，执行相应的命令集，打开或关闭某个人机交互控制方式，人机界面上对应的图标点亮或消灭，实现控制方式之间的切换。
完成人机交互控制方式的切换，轮椅继续行进，当用户产生切换人机交互控制方式的意图时，再次执行步骤4。
在自主导航控制方式与人机交互控制方式的共同协作下，轮椅成功到达目标点，停止运动。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种自主导航与多模人机交互共享的轮椅控制系统，其特征在于，包括自主导航器、多模人机交互控制器和共享控制器；所述自主导航器和多模人机交互控制器分别向共享控制器发出导航指令和用户指令，并由共享控制器确定最终控制指令控制智能轮椅；所述人机交互控制器包括操纵杆控制方式、头姿控制方式、手势控制方式；所述操纵杆控制方式，通过霍尔元件将操纵杆的位置信息转换为电压信息，再使用AD转换将电压信息转换为数字量，通过操纵杆的位置信息得到用户的控制意图控制轮椅；所述头姿控制方式，采用基于深度图像的随机森林算法结合最近点迭代算法估计实时头部姿态，根据实时人脸朝向控制轮椅；所述手势控制方式，通过实时追踪手掌心位置，输出掌心坐标，根据实时掌心坐标控制轮椅移动。
2.根据权利要求1所述的一种自主导航与多模人机交互共享的轮椅控制系统，其特征在于，所述多模人机交互控制器还包括切换器，能识别一个特定的手势动作，完成多模人机交互控制方式间的切换。
3.根据权利要求1所述的一种自主导航与多模人机交互共享的轮椅控制系统，其特征在于，所述自主导航速度控制器与人机交互控制器按照话题优先级实时切换，共同完成智能轮椅的控制任务。
4.根据权利要求1所述的一种自主导航与多模人机交互共享的轮椅控制系统，其特征在于，所述轮椅控制系统可以同时处理环境信息并根据人机交互控制指令控制轮椅运动。
5.一种基于权利要求1所述系统的自主导航与多模人机交互共享的轮椅控制方法，其特征在于，包括以下步骤：
(1)自主导航与多模人机交互控制方式共享控制智能轮椅，为输入的话题设置优先级，当轮椅接收到多个节点发布的速度控制话题时，系统会选择执行优先级最高的话题执行；
(2)智能轮椅根据系统规划出的路径自主行进；
(3)在智能轮椅自主行进的过程中通过人机交互控制方式适当地干预以满足用户对轮椅的控制权；
(4)在驾驶轮椅过程中，用户可根据行驶环境与疲劳程度实时切换多模人机交互控制方式。
6.根据权利要求5所述的一种自主导航与多模人机交互共享的轮椅控制方法，其特征在于，所述步骤(2)包括以下步骤：
(21)激光雷达传感器感知环境信息，对获取的环境特征构建栅格地图；
(22)加载栅格地图，将编码器和惯性测量单元的传感数据融合，实现对轮椅的自定位，在全局环境地图中实现轮椅的全局定位；
(23)在持续定位的同时，全局路径规划器在全局静态地图上生成轮椅当前位置到目标位置的全局路径，局部路径规划器在局部动态地图上生成连续平滑的速度控制指令，发送至运动控制器；
(24)运动控制器根据轮椅的运动学模型将接收到的速度指令分解发送至每个电机上，PID控制器调速实现轮椅的自主运动。
7.根据权利要求5所述的一种自主导航与多模人机交互共享的轮椅控制方法，其特征在于，所述步骤(3)实现过程如下：
智能轮椅按照导航指令自主行进，同时人机交互控制方式发出控制指令，根据话题优先级控制策略，人机交互控制方式控制信息优先于自主导航控制信息，多话题数据选择器输出人机交互控制方式的速度控制信息至驱动器控制轮椅运动；当没有人机交互控制方式控制指令发出时，多话题数据选择器输出自主导航的速度控制信息至驱动器控制轮椅运动：
U(v,w)＝K1U(vh,wh)+K2U(vr,wr)
Figure FDA0002370981540000021
其中，U(vh,wh)为人机交互控制方式速度信息，U(vr,wr)为自主导航速度信息，U(v,w)为最终发送至底层驱动器的速度信息。
8.根据权利要求5所述的一种自主导航与多模人机交互共享的轮椅控制方法，其特征在于，所述步骤(4)包括以下步骤：
(41)用户输入预定义的手势动作；
(42)PC获取连续输入的视频，并将其转换成易于处理的形式，从中截取手势；通过从当前帧像素的RGB值减去前一帧像素的RGB值得出后续帧之间的差异：
Dk(x,y)＝|Ri(x,y)-Ri-1(x,y)|
其中，Ri(x,y)为当前帧像素的RGB值，Ri-1(x,y)为前一帧像素的RGB值，Dk(x,y)为后续帧之间的差值；
(43)将截取的手势与数据库中手势进行匹配，从而识别手势；
当用户做出手势动作时，会生成一组点，使用每帧中非灰色像素的x和y坐标的平均值，将这些点与数据库中的手势进行匹配，根据其标准差对这些点进行适当的缩放，将对应点差平方和最小的手势作为手势匹配返回，获得最佳匹配，识别相对应的手势：
Figure FDA0002370981540000031
其中，βi为用户实时手势的对应点，αi为数据库中手势的对应点，N表示一个手势对应点的数量；
(44)根据识别的手势，执行相应的命令集，打开或关闭相应的人机交互控制方式。
CN202010050496.9A 2020-01-17 2020-01-17 一种自主导航与多模人机交互共享的轮椅控制系统及方法 Active CN111150566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010050496.9A CN111150566B (zh) 2020-01-17 2020-01-17 一种自主导航与多模人机交互共享的轮椅控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010050496.9A CN111150566B (zh) 2020-01-17 2020-01-17 一种自主导航与多模人机交互共享的轮椅控制系统及方法

Publications (2)

Publication Number Publication Date
CN111150566A true CN111150566A (zh) 2020-05-15
CN111150566B CN111150566B (zh) 2022-05-10

Family

ID=70563823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010050496.9A Active CN111150566B (zh) 2020-01-17 2020-01-17 一种自主导航与多模人机交互共享的轮椅控制系统及方法

Country Status (1)

Country Link
CN (1) CN111150566B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113101079A (zh) * 2021-05-20 2021-07-13 南京邮电大学 基于多约束条件的智能轮椅、动态共享控制方法及系统
CN114869604A (zh) * 2022-05-07 2022-08-09 江苏理工学院 物联网轮椅智能导航系统
CN117348964A (zh) * 2023-12-04 2024-01-05 深圳市伟创高科电子有限公司 一种基于设备pid识别下的系统ui动态切换方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150190927A1 (en) * 2012-12-21 2015-07-09 Crosswing Inc. Customizable robotic system
CN105105938A (zh) * 2015-07-14 2015-12-02 南京邮电大学 基于人脸朝向识别与跟踪的智能轮椅控制方法及系统
CN105662744A (zh) * 2016-01-04 2016-06-15 南昌大学 一种嵌入式多模态交互智能轮椅控制系统
CN105787471A (zh) * 2016-03-25 2016-07-20 南京邮电大学 一种应用于助老助残移动服务机器人控制的手势识别方法
CN107390573A (zh) * 2017-06-28 2017-11-24 长安大学 基于手势控制的智能轮椅系统及控制方法
CN108028902A (zh) * 2015-07-16 2018-05-11 博拉斯特运动有限公司 集成传感器和视频运动分析方法
CN108272565A (zh) * 2018-02-02 2018-07-13 南京邮电大学 智能安全轮椅及其智能安全控制方法
CN109044651A (zh) * 2018-06-09 2018-12-21 苏州大学 未知环境中基于自然手势指令的智能轮椅控制方法及系统
CN109966064A (zh) * 2019-04-04 2019-07-05 北京理工大学 带有侦查装置的融合脑控与自动驾驶的轮椅及控制方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150190927A1 (en) * 2012-12-21 2015-07-09 Crosswing Inc. Customizable robotic system
CN105105938A (zh) * 2015-07-14 2015-12-02 南京邮电大学 基于人脸朝向识别与跟踪的智能轮椅控制方法及系统
CN108028902A (zh) * 2015-07-16 2018-05-11 博拉斯特运动有限公司 集成传感器和视频运动分析方法
CN105662744A (zh) * 2016-01-04 2016-06-15 南昌大学 一种嵌入式多模态交互智能轮椅控制系统
CN105787471A (zh) * 2016-03-25 2016-07-20 南京邮电大学 一种应用于助老助残移动服务机器人控制的手势识别方法
CN107390573A (zh) * 2017-06-28 2017-11-24 长安大学 基于手势控制的智能轮椅系统及控制方法
CN108272565A (zh) * 2018-02-02 2018-07-13 南京邮电大学 智能安全轮椅及其智能安全控制方法
CN109044651A (zh) * 2018-06-09 2018-12-21 苏州大学 未知环境中基于自然手势指令的智能轮椅控制方法及系统
CN109966064A (zh) * 2019-04-04 2019-07-05 北京理工大学 带有侦查装置的融合脑控与自动驾驶的轮椅及控制方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113101079A (zh) * 2021-05-20 2021-07-13 南京邮电大学 基于多约束条件的智能轮椅、动态共享控制方法及系统
CN114869604A (zh) * 2022-05-07 2022-08-09 江苏理工学院 物联网轮椅智能导航系统
CN114869604B (zh) * 2022-05-07 2023-07-11 江苏理工学院 物联网轮椅智能导航系统
CN117348964A (zh) * 2023-12-04 2024-01-05 深圳市伟创高科电子有限公司 一种基于设备pid识别下的系统ui动态切换方法
CN117348964B (zh) * 2023-12-04 2024-02-23 深圳市伟创高科电子有限公司 一种基于设备pid识别下的系统ui动态切换方法

Also Published As

Publication number Publication date
CN111150566B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN111150566B (zh) 一种自主导航与多模人机交互共享的轮椅控制系统及方法
CN106200679B (zh) 基于多模态自然交互的单操作员多无人机混合主动控制方法
Fong et al. Advanced interfaces for vehicle teleoperation: Collaborative control, sensor fusion displays, and remote driving tools
Correa et al. Multimodal interaction with an autonomous forklift
US11269328B2 (en) Method for entering mobile robot into moving walkway and mobile robot thereof
US11254003B1 (en) Enhanced robot path planning
CN111506063B (zh) 一种基于分层强化学习框架的移动机器人无图导航方法
KR20210030155A (ko) 로봇 및 그 제어 방법
EP3757714B1 (en) Machine learning method and mobile robot
Petit et al. An integrated framework for humanoid embodiment with a BCI
CN114505840A (zh) 一种自主操作箱式电梯的智能服务机器人
US11524408B2 (en) Method and apparatus for providing food to user
KR20210044662A (ko) 로봇 및 로봇의 제어 방법
Sisbot et al. Implementing a human-aware robot system
Yang et al. Electric wheelchair hybrid operating system coordinated with working range of a robotic arm
CN113101079A (zh) 基于多约束条件的智能轮椅、动态共享控制方法及系统
US20210064059A1 (en) Systems and methods for managing a transportation device fleet using teleoperation commands
Carlson et al. Collaborative control in human wheelchair interaction reduces the need for dexterity in precise manoeuvres
CN115847428A (zh) 一种基于ar技术的机械装配辅助引导系统及方法
Cuan et al. Gesture2path: Imitation learning for gesture-aware navigation
CN115399950A (zh) 具有定位导航与多模态人机交互功能的智能轮椅及控制方法
CN110968084B (zh) 一种自主遥控水下机器人人机共享控制方法
Wopereis et al. Bilateral human-robot control for semi-autonomous UAV navigation
Kuno et al. Robotic wheelchair with three control modes
Costalonga et al. Gesture-based controllers to guide a quadrotor using kinect sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 210003 Gulou District, Jiangsu, Nanjing new model road, No. 66

Applicant after: NANJING University OF POSTS AND TELECOMMUNICATIONS

Address before: Yuen Road Qixia District of Nanjing City, Jiangsu Province, No. 9 210046

Applicant before: NANJING University OF POSTS AND TELECOMMUNICATIONS

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant