CN115399950A - 具有定位导航与多模态人机交互功能的智能轮椅及控制方法 - Google Patents
具有定位导航与多模态人机交互功能的智能轮椅及控制方法 Download PDFInfo
- Publication number
- CN115399950A CN115399950A CN202211045945.6A CN202211045945A CN115399950A CN 115399950 A CN115399950 A CN 115399950A CN 202211045945 A CN202211045945 A CN 202211045945A CN 115399950 A CN115399950 A CN 115399950A
- Authority
- CN
- China
- Prior art keywords
- wheelchair
- instruction
- map
- driving
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006870 function Effects 0.000 title claims abstract description 32
- 230000003993 interaction Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000008921 facial expression Effects 0.000 claims abstract description 10
- 230000009471 action Effects 0.000 claims description 17
- 210000001508 eye Anatomy 0.000 claims description 8
- 230000001276 controlling effect Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000004397 blinking Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 claims description 4
- 244000261422 Lysimachia clethroides Species 0.000 claims description 3
- 210000000887 face Anatomy 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 210000002478 hand joint Anatomy 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000013138 pruning Methods 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 210000000697 sensory organ Anatomy 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 9
- 238000009434 installation Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/10—Parts, details or accessories
- A61G5/1051—Arrangements for steering
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/20—Displays or monitors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/22—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering for automatically guiding movable devices, e.g. stretchers or wheelchairs in a hospital
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/30—General characteristics of devices characterised by sensor means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
Abstract
本发明公开了具有定位导航与多模态人机交互功能的智能轮椅及控制方法，包括轮椅本体和设在其上的控制系统：处理器工控机和与其分别连接的指令输入单元、激光雷达自主导航模块、单片机，以及与单片机连接的运动感知模块和电机驱动单元；通过激光雷达定位轮椅在地图上的位置；结合地图和轮椅当前位置规划路径、输出速度指令给单片机驱动轮椅转轮移动，从而实现自动导航；通过多模态人机交互步骤，检测面部表情关键点和手势关键点，创建手部，面部姿态去进行手势识别，对应实际轮椅驱动指令，实现对轮椅的行进控制。本发明可以有效降低用户驾驶疲惫感，显著地提高用户体验、减轻劳动节省体力，并且满足不同用户的需求，提高智能轮椅的应用范围。
Description
技术领域
本发明属于智能控制领域，尤其涉及一种具有定位导航与多模态人机交互方面的智能轮椅及控制方法。
背景技术
根据权威统计，近年来全球老年人口和残疾人口数量占比不断上升，行动障碍者越来越成为社会的一大群体，行动障碍会对人造成严重的生理负担和心理负担，提高老年人和残疾人生活行动的便捷性，已经成为必须解决的社会问题，传统的手动轮椅需要依靠自己或他人力量手动驱动轮椅，极大的消耗了体力，不适合体力弱以及残障人士使用，随后发明了电动轮椅，这种轮椅一般由车体、驱动电机、操作杆、电机驱动器、蓄电池组成，使用者可以通过摇杆控制轮椅前进及转向，但长时间使用会造成驾驶疲劳，并且速度过快存在安全隐患，另外对一部分自理能力较差的人，电动轮椅也满足不了日常出行需求。因此需要开发一种操作更加方便、使用更加安全的新型智能轮椅，以满足这部分人的需要，并为更多人提供一种更加优越的代步工具。
发明内容
针对上述问题，本发明的目的在于提供一种具有自主导航与多模态人机交互功能的智能轮椅及控制方法，用户在障碍物或者人多的环境下可以使用轮椅自主导航功能到达目标点，在人少的地方可以切换为使用面部、手势、语音功能驱动轮椅前进，增加了用户的参与感和驾驶体验乐趣。
为了实现上述目的，本发明采用以下技术方案：
具有自主导航与多模态人机交互功能的智能轮椅，包括：
轮椅本体和设在其上的控制系统，所述控制系统包括：处理器工控机和与其分别连接的指令输入单元、激光雷达自主导航模块、单片机，以及与单片机连接的运动感知模块和电机驱动单元；
所述指令输入单元，包括语音控制模块、键盘和手柄控制模块、视觉识别模块，用于识别用户输入的语音指令、键盘和手柄指令、动作指令并输出给处理器工控机；
所述激光雷达自主导航模块，用于扫描周围环境生成地图发送给处理器工控机；
所述运动感知模块，用于实时检测轮椅运动数据并通过单片机发送给处理器工控机；
所述处理器工控机，1)根据轮椅运动数据，结合地图定位轮椅在地图上的位置；2)结合地图和轮椅当前位置规划路径、输出速度指令给单片机；3)根据指令输入单元的用户指令输出实际轮椅驱动指令；
所述单片机，用于根据处理器工控机输出的速度指令进一步分解成电机驱动指令；
所述电机驱动单元，包括电机驱动器、驱动电机，电机驱动器接收单片机的电机驱动指令控制驱动电机转动，从而带动轮椅车轮旋转，实现自主导航。
所述语音控制模块为麦克风，用于采集轮椅用户的语音指令；所述视觉识别模块为深度相机，用于采集轮椅用户的手势和面部表情。
所述处理器工控机，2)结合地图和轮椅当前位置规划路径、输出速度指令给单片机，是通过如下各单元实现的：
a.改进的全局路径规划器，在传统的RRT*规划器进行如下改进：
修剪RRT*规划器的冗余的路径节点；
通过启发式约束采样方法和人工势场中引力场方法减少路径搜索时间；通过约束路径的转弯曲率，使其生成的路径更加符合轮椅行走；
通过三次B样条曲线使生成后的路径变成一条光滑路径；
b.局部路径规划器，用于对生成的光滑路径，采用MPC模型预测局部规划器生成相应的速度控制指令并发送给底层单片机从而驱动智能轮椅。
所述处理器工控机，3)根据指令输入单元的用户指令输出实际轮椅驱动指令，是通过如下各单元实现的：
a.在处理器工控机中设置手势指令识别单元：
a1.预定义手势关键点凸包，通过深度相机对手部信息收集，基于Mediapipe框架预测出手部的骨架，定义手部关键点；
a2.根据手部关节关键点，识别“握拳”和“不等数量和位置的竖指组合”，定义各个手势指令动作与实际轮椅驱动指令，对轮椅实时进行控制；
a3.根据深度相机实时采集的手势指令动作，比对指令库识别对应实际轮椅驱动指令；
b.在处理器工控机中设置面部表情指令识别单元：
b1.预定义面部关键点凸包，通过深度相机对面部信息收集，基于Mediapipe框架实现对面部478个关键点检测；
b2.根据五官的关键点，识别“眼睛”和“嘴巴”张开闭合动作以及表情动作的组合，定义各个表情动作与实际轮椅驱动指令的映射，对轮椅实时进行控制；
其中，实际轮椅驱动指令包括：前进、后退、左转、右转、停止。
所述运动感知模块包括编码器和IMU，用于实时检测编码器角度和偏航角数据，通过单片机发送给处理器工控机。
所述轮椅本体为轮椅车架、座椅、靠背、前后转轮构成的轮椅。
所述深度相机通过在轮椅车体扶手安装鹅颈支架固定，深度相机视角朝向轮椅用户身体上部和面部；所述麦克风安装在轮椅靠背头枕部；键盘和手柄安装在轮椅车体扶手；编码器安装在驱动单机上；IMU传感器安装在座位底部；激光传感器安装在轮椅靠背头枕部，高于轮椅用户头部。
具有自主导航与多模态人机交互功能的智能轮椅控制方法，包括自动导航步骤和多模态人机交互步骤；
自动导航步骤，根据轮椅实时运动数据，结合地图定位轮椅在地图上的位置；再结合地图和轮椅当前位置规划路径、输出速度指令给单片机；
多模态人机交互步骤，通过深度相机实时采集面部信息、手势信息，检测到面部关键点和手势关键点，并对面部、手势姿态识别分别对应实际轮椅驱动指令，实现对轮椅的控制。
所述自动导航包括以下步骤：
(11)构建轮椅坐标系模型，测量各传感器包括激光雷达、IMU以及驱动轮到车体驱动中心的三维坐标及欧拉角关系；
(12)激光雷达传感器感知周围环境信息，对获取的环境信息构建二维栅格地图；
(13)加载栅格地图，将IMU测量的偏航角数据和编码器测量的车轮轮速数据通过扩展卡尔曼滤波融合，通过融合后的数据作为轮椅的运动反馈与激光雷达的数据作为轮椅的环境观测，最终实现轮椅在环境地图中的全局定位；
(14)在全局环境地图中实现轮椅的全局定位后，利用改进的全局规划器在全局静态地图上生成轮椅当前位置到目标点的全局路径，局部规划器在局部动态地图上生成连续平滑的速度控制指令，发送给底层单片机；
(15)底层单片机将接收到的速度指令分解发送给两个前轮驱动电机，并通过PWM控制方式调节电机速度、PID控制实现速度闭环控制。
所述多模态人机交互包括以下步骤；
面部表情指令识别：
(21)深度相机进行面部信息采集，获取478个面部关键点；
(22)对面部区域进行眨眼、张嘴检测，通过计算关键点坐标，对面部姿态进行识别，制定相应实际轮椅驱动指令实现对轮椅的控制。
手部指令识别：
(31)深度相机实时进行手势信息采集，获取21个手部关键点；；
(32)选择使用手部关键点构成一个凸包，通过计算手部关键点在凸包外的数量识别不同的手势，分别对不同的手势制定实际轮椅驱动指令，从而驱动轮椅。
本发明的优点与有益效果是：
1.本发明是一种性能优越、功能齐全的代步工具，具有自主导航、避障、以及多模态驱动控制轮椅等功能，与传统的轮椅相比较，此智能轮椅可以有效降低用户的疲劳感，提高轮椅驾驶的安全性、平稳性；
2.本发明设计合理，采用深度相机、激光雷达、麦克风等人机交互设备可以使用户很直观的了解此智能轮椅的工作状态；
3.本发明可以根据轮椅行驶的环境和用户习惯实时选择此智能轮椅其中一种功能方式，满足更多残障人士的需求，扩大应用范围。
4.本发明采用多传感器数据融合技术来提高轮椅的定位，有效了提高轮椅在环境中的定位精度，当用户长时间使用时，通过自主导航功能设置的目标点与实际轮椅到达的目标点相差不大。
附图说明
图1为本发明实施的系统结构图；
图2为智能轮椅部分结构图以及深度相机、激光雷达、IMU、编码器、显示器(内置声卡麦克风)等安装位置示意图；
图3为智能轮椅后视图以及电机驱动器、上位机处理器(工控机)、底层控制器(单片机)安装位置示意图；
图4为选取关键点(0,1,2,3,6,10,14,19,18,17,10)构造凸包的识别手掌范围内的21个立体节点坐标图；
图5为人脸网格和定义人脸特征的关键点示意图；
图6为眼部关键点示意图；
具体实施方式
为了更清晰地阐述本发明的技术内容，下面结合附图以及具体实施来详细说明本发明，其中具体实施以及说明仅用来解释本发明，并不能作为对本发明的限制。
一种具有定位导航与多模态人机交互功能的智能轮椅，首先通过运动感知模块获取轮椅的运动模型，激光雷达传感器获取轮椅的观测模型，从而实现轮椅在环境中的自定位，同时加载环境地图，最后通过路径规划器实现轮椅自主导航功能；并同时具备面部、手势、语音、键盘、手柄控制智能轮椅。所述智能轮椅通过下述步骤实现定位导航功能与多模态人机交互功能：
定位导航部分：
(1)构建轮椅坐标系模型，测量各传感器包括激光雷达、IMU以及驱动轮到车体驱动中心的三维坐标及欧拉角关系；
(2)激光雷达传感器感知周围环境信息，对获取的环境信息构建二维栅格地图；
(3)加载栅格地图，将IMU测量的偏航角数据和编码器测量的车轮速度数据通过扩展卡尔曼滤波融合，通过融合后的数据作为轮椅的运动模型与激光雷达的数据作为轮椅的观测模型，实现对轮椅自定位；
(4)在全局环境地图中实现轮椅的全局定位后，全局规划器在全局静态地图上生成轮椅当前位置到目标点的全局路径，局部规划器在局部动态地图上生成连续平滑的速度控制指令，发送给底层控制器；
(5)底层控制器将接受到的速度指令分解发送给两个前轮驱动电机，其中PWM通过改变占空比调节电机速度，PID控制实现速度闭环控制。
多模态人机交互控制部分：
(1)面部控制：在轮椅车体扶手安装了鹅颈支架，其特征在于固定深度相机，深度相机用于采集用户的面部表情，首先通过Mediapipe算法实现对面部的478个关键点的检测，然后用关键点串联成一个特征区域的形状，并根据返回的面部关键点坐标x，y用公式计算做判断，最终制定相应的控制命令。
(2)手势控制：通过预测手部骨架，形成手部关键点的凸包，通过检测关键点在凸包内外来进行手势识别，最终指定相应的控制命令。
(3)语音控制：在轮椅头部位置安装了麦克风传感器，其特征在于采集用户的声音，识别翻译转化成对应文字控制指令，从而驱动轮椅前进；
如图1所示，一种具有定位导航与多模态人机交互功能的智能轮椅系统结构图，包括激光雷达自主导航、语音控制、面部控制、手势控制、键盘手柄控制、运动感知等模块，智能轮椅首先通过底层控制器单片机接受编码器、IMU融合后里程计数据作为轮椅的运动模型(计算轮椅里程计信息)，激光雷达作为轮椅的观测模型(感知周围环境信息)，最终完成轮椅在环境中的自身定位，随后通过改进后的RRT*全局规划器规划出一条可行且安全的路径，并结合MPC模型预测局部规划器在局部动态地图上生成连续平滑的速度控制指令，发送给底层控制器；底层控制器将接受到的速度指令分解发送给两个前轮驱动电机从而实现智能轮椅自主导航功能，并且用户可以随时在导航的过程中通过语音、手势、面部控制功能介入控制轮椅停下。
图2为智能轮椅侧面结构图，智能轮椅拥有以基本的电动轮椅为主体以及安装在主体上的附属结构，其中包括激光雷达传感器101、深度相机102、显示器(内置麦克风扬声器)103、摇杆104、IMU惯导传感器105、前驱动轮106、编码器107、蓄电池108、后万向轮109。如图所示，深度相机安装在屏幕的正上方距离用户约40cm左右处，确保较好地采集面部表情和手势动作，并且屏幕内置麦克风传感器，用于采集用户的声音并进行离线和在线翻译。激光雷达安装在轮椅头枕上方用以感知周围环境信息，完成自身定位及地图构建并用于自主导航。IMU安装在轮椅座椅正前方与编码器数据融合用于计算轮椅里程计。
图3为智能轮椅后视图，如图所示，电机驱动器110安装在靠背上用于驱动电机，同理研华工控机处理器111也安装在靠背上，其中自主导航功能、多模态人机交互功能、底层传输的车轮速度信息都在其处理器上接受运行，底层控制器112，用以控制智能轮椅其中包括PWM车轮速度控制以及PID闭环控制。
图4为手势控制中的预定义的关键点凸包，通过使用深度相机对手部关键点追踪，基于Mediapipe框架预测出手部的骨架，从而定义手部关键点，手部关键点由(0、1、2、3、6、10、14、17、18、19)构成一个凸包，通过检测凸包外部的关键点(4、8、12、16、20)来判别相应的手势控制。
表1为手部控制预定义的控制命令
图5为面部特征点结构图，面部控制同样基于Mediapipe框架实现对面部478个关键点检测，基于端到端的神经网络架构的用于前向推测人脸3D网格表示的模型，对面部区域眨眼和张嘴等表情特征检测，根据返回的面部关键点坐标，用如下公式计算其距离从而做出判断(根据距离变化判断眨眼和张嘴)，然后制定相应的控制命令，最终实现眨眼和张嘴的检测实现对轮椅的实时控制。
如图6所示单眼对应关键点示意图；p1表示关键点33，p2表示关键点160，p3表示关键点158，p4表示关键点133，p5表示关键点153，p6表示关键点144，通过计算出ear的值判断是否眨眼，同理判断张嘴，当眨眼或张嘴时，ear值会发生变化，当计算出ear值大于或者小于设定的值分别判断是否眨眼或者张嘴。
表2为面部控制预定义的控制命令
| 控制命令 | 面部表情 |
| 前进 | 嘴巴张一次 |
| 左转 | 闭一下左眼 |
| 右转 | 闭一下右眼 |
| 停止 | 闭一下双眼 |
| 后退 | 闭一下左眼，张一下嘴巴 |
语音控制通过在线和离线语音包识别用户的声音，定义5种翻译文字用于控制轮椅，其中包括前进、左转、后退、右转、停。
并且本发明还具体的描述了智能轮椅定位后如何进行自主导航的控制方法，具体的步骤如下：
步骤1：在上位机ROS操作系统中载入改进后的全局路径规划器RRT*，但为了得到一条安全可行的路径，并且满足智能轮椅运动的连续性和平滑性，对传统的RRT*规划器进行了改进，改进如下：
S1修剪RRT规划器的冗余的路径节点，从而节省计算机的算力；
S2通过启发式约束采样方法和人工势场中引力场方法减少路径搜索时间；
S3通过约束路径的转弯曲率，使其生成的路径更加符合轮椅行走；
S4通过三次B样条曲线使原始的路径变成一条光滑的路径，更加符合智能轮椅的运动方式。
步骤2：生成一条可行的路径后，采用MPC模型预测局部规划器生成相应的控制指令并发送给底层控制器从而驱动智能轮椅，改进后的自主导航方法更加安全可靠。
以上所述仅为本发明的实施方式，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进、扩展等，均包含在本发明的保护范围内。
Claims (10)
1.具有自主导航与多模态人机交互功能的智能轮椅，其特征在于，包括：
轮椅本体和设在其上的控制系统，所述控制系统包括：处理器工控机和与其分别连接的指令输入单元、激光雷达自主导航模块、单片机，以及与单片机连接的运动感知模块和电机驱动单元；
所述指令输入单元，包括语音控制模块、键盘和手柄控制模块、视觉识别模块，用于识别用户输入的语音指令、键盘和手柄指令、动作指令并输出给处理器工控机；
所述激光雷达自主导航模块，用于扫描周围环境生成地图发送给处理器工控机；
所述运动感知模块，用于实时检测轮椅运动数据并通过单片机发送给处理器工控机；
所述处理器工控机，1)根据轮椅运动数据，结合地图定位轮椅在地图上的位置；2)结合地图和轮椅当前位置规划路径、输出速度指令给单片机；3)根据指令输入单元的用户指令输出实际轮椅驱动指令；
所述单片机，用于根据处理器工控机输出的速度指令进一步分解成电机驱动指令；
所述电机驱动单元，包括电机驱动器、驱动电机，电机驱动器接收单片机的电机驱动指令控制驱动电机转动，从而带动轮椅车轮旋转，实现自主导航。
2.根据权利要求1所述的具有自主导航与多模态人机交互功能的智能轮椅，其特征在于，所述语音控制模块为麦克风，用于采集轮椅用户的语音指令；所述视觉识别模块为深度相机，用于采集轮椅用户的手势和面部表情。
3.根据权利要求1所述的具有自主导航与多模态人机交互功能的智能轮椅，其特征在于，所述处理器工控机，2)结合地图和轮椅当前位置规划路径、输出速度指令给单片机，是通过如下各单元实现的：
a.改进的全局路径规划器，在传统的RRT*规划器进行如下改进：
修剪RRT*规划器的冗余的路径节点；
通过启发式约束采样方法和人工势场中引力场方法减少路径搜索时间；通过约束路径的转弯曲率，使其生成的路径更加符合轮椅行走；
通过三次B样条曲线使生成后的路径变成一条光滑路径；
b.局部路径规划器，用于对生成的光滑路径，采用MPC模型预测局部规划器生成相应的速度控制指令并发送给底层单片机从而驱动智能轮椅。
4.根据权利要求1所述的具有自主导航与多模态人机交互功能的智能轮椅，其特征在于，所述处理器工控机，3)根据指令输入单元的用户指令输出实际轮椅驱动指令，是通过如下各单元实现的：
a.在处理器工控机中设置手势指令识别单元：
a1.预定义手势关键点凸包，通过深度相机对手部信息收集，基于Mediapipe框架预测出手部的骨架，定义手部关键点；
a2.根据手部关节关键点，识别“握拳”和“不等数量和位置的竖指组合”，定义各个手势指令动作与实际轮椅驱动指令，对轮椅实时进行控制；
a3.根据深度相机实时采集的手势指令动作，比对指令库识别对应实际轮椅驱动指令；
b.在处理器工控机中设置面部表情指令识别单元：
b1.预定义面部关键点凸包，通过深度相机对面部信息收集，基于Mediapipe框架实现对面部478个关键点检测；
b2.根据五官的关键点，识别“眼睛”和“嘴巴”张开闭合动作以及表情动作的组合，定义各个表情动作与实际轮椅驱动指令的映射，对轮椅实时进行控制；
其中，实际轮椅驱动指令包括：前进、后退、左转、右转、停止。
5.根据权利要求1所述的具有自主导航与多模态人机交互功能的智能轮椅，其特征在于，所述运动感知模块包括编码器和IMU，用于实时检测编码器角度和偏航角数据，通过单片机发送给处理器工控机。
6.根据权利要求1所述的具有自主导航与多模态人机交互功能的智能轮椅，其特征在于，所述轮椅本体为轮椅车架、座椅、靠背、前后转轮构成的轮椅。
7.根据权利要求1所述的具有自主导航与多模态人机交互功能的智能轮椅，其特征在于，所述深度相机通过在轮椅车体扶手安装鹅颈支架固定，深度相机视角朝向轮椅用户身体上部和面部；所述麦克风安装在轮椅靠背头枕部；键盘和手柄安装在轮椅车体扶手；编码器安装在驱动单机上；IMU传感器安装在座位底部；激光传感器安装在轮椅靠背头枕部，高于轮椅用户头部。
8.具有自主导航与多模态人机交互功能的智能轮椅控制方法，其特征在于，包括自动导航步骤和多模态人机交互步骤；
自动导航步骤，根据轮椅实时运动数据，结合地图定位轮椅在地图上的位置；再结合地图和轮椅当前位置规划路径、输出速度指令给单片机；
多模态人机交互步骤，通过深度相机实时采集面部信息、手势信息，检测到面部关键点和手势关键点，并对面部、手势姿态识别分别对应实际轮椅驱动指令，实现对轮椅的控制。
9.根据权利要求8所述的自主导航与多模态人机交互功能的智能轮椅控制方法，其特征在于，所述自动导航包括以下步骤：
(11)构建轮椅坐标系模型，测量各传感器包括激光雷达、IMU以及驱动轮到车体驱动中心的三维坐标及欧拉角关系；
(12)激光雷达传感器感知周围环境信息，对获取的环境信息构建二维栅格地图；
(13)加载栅格地图，将IMU测量的偏航角数据和编码器测量的车轮轮速数据通过扩展卡尔曼滤波融合，通过融合后的数据作为轮椅的运动反馈与激光雷达的数据作为轮椅的环境观测，最终实现轮椅在环境地图中的全局定位；
(14)在全局环境地图中实现轮椅的全局定位后，利用改进的全局规划器在全局静态地图上生成轮椅当前位置到目标点的全局路径，局部规划器在局部动态地图上生成连续平滑的速度控制指令，发送给底层单片机；
(15)底层单片机将接收到的速度指令分解发送给两个前轮驱动电机，并通过PWM控制方式调节电机速度、PID控制实现速度闭环控制。
10.根据权利要求8所述的自主导航与多模态人机交互功能的智能轮椅控制方法，其特征在于，所述多模态人机交互包括以下步骤；
面部表情指令识别：
(21)深度相机进行面部信息采集，获取478个面部关键点；
(22)对面部区域进行眨眼、张嘴检测，通过计算关键点坐标，对面部姿态进行识别，制定相应实际轮椅驱动指令实现对轮椅的控制。
手部指令识别：
(31)深度相机实时进行手势信息采集，获取21个手部关键点；；
(32)选择使用手部关键点构成一个凸包，通过计算手部关键点在凸包外的数量识别不同的手势，分别对不同的手势制定实际轮椅驱动指令，从而驱动轮椅。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211045945.6A CN115399950B (zh) | 2022-08-30 | 2022-08-30 | 具有定位导航与多模态人机交互功能的智能轮椅及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211045945.6A CN115399950B (zh) | 2022-08-30 | 2022-08-30 | 具有定位导航与多模态人机交互功能的智能轮椅及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115399950A true CN115399950A (zh) | 2022-11-29 |
| CN115399950B CN115399950B (zh) | 2024-08-02 |
Family
ID=84161997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211045945.6A Active CN115399950B (zh) | 2022-08-30 | 2022-08-30 | 具有定位导航与多模态人机交互功能的智能轮椅及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115399950B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116880703A (zh) * | 2023-09-07 | 2023-10-13 | 中国科学院苏州生物医学工程技术研究所 | 多模态人机交互操控方法、手柄、设备、介质及助行器 |
| CN118141619A (zh) * | 2024-05-09 | 2024-06-07 | 中国科学院苏州生物医学工程技术研究所 | 基于人体体姿识别的轮椅无级调速控制方法、轮椅及介质 |
| CN118466524A (zh) * | 2024-07-12 | 2024-08-09 | 长春理工大学 | 车辆自主避障的方法、装置、系统、设备以及存储介质 |
| CN118466524B (zh) * | 2024-07-12 | 2024-10-22 | 长春理工大学 | 车辆自主避障的方法、装置、系统、设备以及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108272566A (zh) * | 2018-03-17 | 2018-07-13 | 郑州大学 | 一种基于多模态人机接口的智能轮椅 |
| CN109259948A (zh) * | 2018-11-22 | 2019-01-25 | 复旦大学无锡研究院 | 辅助驾驶轮椅 |
| CN109906069A (zh) * | 2017-01-22 | 2019-06-18 | 四川金瑞麒智能科学技术有限公司 | 一种具有医疗监测及反应功能的智能轮椅系统 |
| US20190235512A1 (en) * | 2018-01-30 | 2019-08-01 | Brain Corporation | Systems and methods for precise navigation of autonomous devices |
| CN110389549A (zh) * | 2018-04-17 | 2019-10-29 | 通用汽车环球科技运作有限责任公司 | 智能电动自行车的自适应踏板辅助系统和控制逻辑 |
| CN111150566A (zh) * | 2020-01-17 | 2020-05-15 | 南京邮电大学 | 一种自主导航与多模人机交互共享的轮椅控制系统及方法 |
| WO2021108959A1 (zh) * | 2019-12-02 | 2021-06-10 | 深圳职业技术学院 | 一种小区域智能行进轮椅 |
| CN114812581A (zh) * | 2022-06-23 | 2022-07-29 | 中国科学院合肥物质科学研究院 | 一种基于多传感器融合的越野环境导航方法 |
-
2022
- 2022-08-30 CN CN202211045945.6A patent/CN115399950B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109906069A (zh) * | 2017-01-22 | 2019-06-18 | 四川金瑞麒智能科学技术有限公司 | 一种具有医疗监测及反应功能的智能轮椅系统 |
| US20190235512A1 (en) * | 2018-01-30 | 2019-08-01 | Brain Corporation | Systems and methods for precise navigation of autonomous devices |
| CN108272566A (zh) * | 2018-03-17 | 2018-07-13 | 郑州大学 | 一种基于多模态人机接口的智能轮椅 |
| CN110389549A (zh) * | 2018-04-17 | 2019-10-29 | 通用汽车环球科技运作有限责任公司 | 智能电动自行车的自适应踏板辅助系统和控制逻辑 |
| CN109259948A (zh) * | 2018-11-22 | 2019-01-25 | 复旦大学无锡研究院 | 辅助驾驶轮椅 |
| WO2021108959A1 (zh) * | 2019-12-02 | 2021-06-10 | 深圳职业技术学院 | 一种小区域智能行进轮椅 |
| CN111150566A (zh) * | 2020-01-17 | 2020-05-15 | 南京邮电大学 | 一种自主导航与多模人机交互共享的轮椅控制系统及方法 |
| CN114812581A (zh) * | 2022-06-23 | 2022-07-29 | 中国科学院合肥物质科学研究院 | 一种基于多传感器融合的越野环境导航方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116880703A (zh) * | 2023-09-07 | 2023-10-13 | 中国科学院苏州生物医学工程技术研究所 | 多模态人机交互操控方法、手柄、设备、介质及助行器 |
| CN116880703B (zh) * | 2023-09-07 | 2023-12-15 | 中国科学院苏州生物医学工程技术研究所 | 多模态人机交互操控方法、手柄、设备、介质及助行器 |
| CN118141619A (zh) * | 2024-05-09 | 2024-06-07 | 中国科学院苏州生物医学工程技术研究所 | 基于人体体姿识别的轮椅无级调速控制方法、轮椅及介质 |
| CN118466524A (zh) * | 2024-07-12 | 2024-08-09 | 长春理工大学 | 车辆自主避障的方法、装置、系统、设备以及存储介质 |
| CN118466524B (zh) * | 2024-07-12 | 2024-10-22 | 长春理工大学 | 车辆自主避障的方法、装置、系统、设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115399950B (zh) | 2024-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115399950A (zh) | 具有定位导航与多模态人机交互功能的智能轮椅及控制方法 | |
| Demeester et al. | User-adapted plan recognition and user-adapted shared control: A Bayesian approach to semi-autonomous wheelchair driving | |
| CN106573377B (zh) | 具有冲突避免和轨迹恢复能力的类人机器人 | |
| US7386163B2 (en) | Obstacle recognition apparatus and method, obstacle recognition program, and mobile robot apparatus | |
| KR20200140834A (ko) | 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법 | |
| CN106726209A (zh) | 一种基于脑机接口与人工智能的智能轮椅控制方法 | |
| CN102895092A (zh) | 一种基于多传感器融合的助行机器人三维环境识别系统 | |
| CN108762253B (zh) | 一种应用于为人导航系统的人机队形控制方法 | |
| JP2006205348A (ja) | 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置 | |
| CN111839926B (zh) | 一种头姿交互控制与自主学习控制共享的轮椅控制方法及系统 | |
| CN115698631A (zh) | 助行机器人导航方法、助行机器人及计算机可读存储介质 | |
| Alibhai et al. | A Human-Computer Interface for smart wheelchair control using forearm EMG signals | |
| Yang et al. | Electric wheelchair hybrid operating system coordinated with working range of a robotic arm | |
| CN113311709A (zh) | 一种基于脑机接口的智能轮椅复合控制系统及方法 | |
| Zhang et al. | A hierarchical design for shared-control wheelchair navigation in dynamic environments | |
| CN108062102A (zh) | 一种手势控制具有辅助避障功能的移动机器人遥操作系统 | |
| CN111134974B (zh) | 一种基于增强现实和多模态生物信号的轮椅机器人系统 | |
| Miyata et al. | Object search using Edge-AI based mobile robot | |
| Sahoo et al. | Autonomous navigation and obstacle avoidance in smart robotic wheelchairs | |
| Mazo et al. | Integral system for assisted mobility | |
| CN115359222A (zh) | 一种基于扩展现实的无人交互控制方法及系统 | |
| JP2003266348A (ja) | ロボット装置及びその制御方法 | |
| Ho et al. | An HMM-based temporal difference learning with model-updating capability for visual tracking of human communicational behaviors | |
| Wahid et al. | Development of modular framework for the semi-autonomous RISE wheelchair with multiple user interfaces using robot operating system (ROS) | |
| CN112046662B (zh) | 一种代步跟随机器人及其代步跟随方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |