CN116270056A - 一种多模态轮椅控制系统 - Google Patents
一种多模态轮椅控制系统 Download PDFInfo
- Publication number
- CN116270056A CN116270056A CN202310335138.6A CN202310335138A CN116270056A CN 116270056 A CN116270056 A CN 116270056A CN 202310335138 A CN202310335138 A CN 202310335138A CN 116270056 A CN116270056 A CN 116270056A
- Authority
- CN
- China
- Prior art keywords
- gesture
- control
- wheelchair
- key
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000001960 triggered effect Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/10—Parts, details or accessories
- A61G5/1051—Arrangements for steering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/22—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering for automatically guiding movable devices, e.g. stretchers or wheelchairs in a hospital
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种多模态轮椅控制系统，其包括：按键控制模块，设置在轮椅的一个扶手上；手势识别模块，包括摄像头以及图像处理模组，所述摄像头设置在所述轮椅的另一个扶手上；指令控制系统，分别与所述按键控制模块以及所述图像处理模组电性连接，用于根据按键触发情况以及手势识别结果控制轮椅驱动装置。本系统具有按键与手势识别相结合的控制方式，在该模式下只有手势控制按钮触发时才进行视觉识别；这种方式便于使用者在识别有误时及时切断手势识别控制；此外，该模式对使用者的行动能力有基本要求，避免使用者手部动作意外触发手势控制；相比于手势识别系统持续工作，由按键触发可降低手势识别系统的总功耗。
Description
技术领域
本发明涉及医疗设备领域，尤其涉及一种多模态轮椅控制系统。
背景技术
随着智能设备的不断发展，手势、眼动以及人脸识别等新兴技术来控制智能设备的应用在社会中越来越广泛。当前，手势识别在人机交互、机器人控制、手语识别和视觉环境操作等领域均发挥出重要作用。目前手势识别主要有基于计算机视觉、基于超声波和基于惯性传感器三种实现方式。
基于计算机视觉的手势识别方法通常包含数据处理、手势分析、识别分类三个过程。数据处理阶段系统将摄像头采集的视频进行帧分离处理，把单一手势图像从视频帧中分离出来，并对数据作平滑、锐化等预处理。然后检测是否有手势图像，如果检测出手势图像，则将手势图像与背景进行分离处理。手势分析阶段对手势进行特征检测，再用选定的手势模型来估算出相应特征参数。识别分类阶段通过特征提取与模型参数估计，利用各分类算法将参数空间中的点或轨迹分类到不同的子空间中，最后将识别信息转化为特定含义供实际应用使用。
基于超声波的手势识别方法利用超声波的反射信号来估计手势运动，具体实现方法通常是利用多普勒效应对手势垂直方法的运动进行识别，当手靠近超声波发射器时频率会升高，远离时会降低。超声波具有指向性，手势位置在变换过程中，接收器能量会呈现规律变化，利用多传感器接受能量的变换对水平方向运动进行识别的原理。
随着微机电系统的发展，基于惯性传感器的手势识别方法逐渐显现出经济高效、功耗低、人机交互性好的优势。MEMS传感器中三轴加速度计能够获得X，Y，Z三个方向上的加速度值，三轴陀螺仪能够获得绕三个轴的旋转角速度值。
基于数据手套的方法主要借助于带传感器的数据手套来测量并收集手势的信息，同时利用位置跟踪设备测量人手的运动轨迹，利用数据手套采集到的信息来对手势进行建模，然后通过特定识别算法对手势进行识别。
以上三种手势识别的实现方式有各自的不足和缺陷，主要存在系统可靠性不足以及实时性差的问题。基于视觉的手势识别技术目前来说仍处于初级发展阶段，存在易受客观因素影响即外界复杂环境的影响，实时性较差和缺乏通用性等缺点。基于数据手套的方法具有速度快、识别率高等优点，但是因为该方法必须借助于复杂的额外设备数据手套，不仅会给用户造成使用不便，而且实验所用的数据手套价格不菲，现阶段并不适合大量推广。现有的超声波手势识别的缺陷在于：多普勒频率测量需要通过时频域分析，粒度较粗，只能实现粗略的移动方向和移动速度测量。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是现有视觉控制模块准确率存在问题。
为实现上述目的，本发明提供了一种多模态轮椅控制系统，其包括：
按键控制模块，设置在轮椅的一个扶手上；
手势识别模块，包括摄像头以及图像处理模组，所述摄像头设置在所述轮椅的另一个扶手上；
指令控制系统，分别与所述按键控制模块以及所述图像处理模组电性连接，用于根据按键触发情况以及手势识别结果控制轮椅驱动装置。
本发明的进一步改进在于：所述按键控制模块包括前后左右四个按键。
本发明的进一步改进在于：所述按键控制模块还包括一个手势控制按钮，检测到手势控制按钮按下之后，所述指令控制系统响应于手势识别模块识别到的控制手势对轮椅驱动装置进行控制。
本发明的进一步改进在于：控制手势包括左转手势、右转手势、加速手势、减速手势、启动收拾以及停止手势。
本发明的进一步改进在于：所述图像处理模组采用FPGA作为计算器件。
本发明提供的装置具有以下技术效果：本系统具有按键与手势识别相结合的控制方式，在该模式下只有手势控制按钮触发时才进行视觉识别；这种方式便于使用者在识别有误时及时切断手势识别控制；此外，该模式对使用者的行动能力有基本要求，避免使用者手部动作意外触发手势控制；相比于手势识别系统持续工作，由按键触发可降低手势识别系统的总功耗。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的多模态轮椅控制系统的原理图；
图2是按键控制模块的按键分布图；
图3是启动手势的示意图；
图4是停止手势的示意图；
图5是左转手势的示意图；
图6是右转手势的示意图；
图7是加速手势的示意图；
图8是减速手势的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
为了阐释的目的而描述了本发明的一些示例性实施例，需要理解的是，本发明可通过附图中没有具体示出的其他方式来实现。
如图1所示，本发明的实施例公开了一种多模态轮椅控制系统，其包括：
按键控制模块，设置在轮椅的一个扶手上；如图2所示，按键控制模块包括前后左右四个按键。
手势识别模块，包括摄像头以及图像处理模组，所述摄像头设置在所述轮椅的另一个扶手上。按键控制模块还包括一个手势控制按钮(图2中的圆形按钮)，检测到手势控制按钮按下之后，所述指令控制系统响应于手势识别模块识别到的控制手势对轮椅驱动装置进行控制。
指令控制系统，分别与所述按键控制模块以及所述图像处理模组电性连接，用于根据按键触发情况以及手势识别结果控制轮椅驱动装置。
如图3至图8所示，控制手势包括左转手势、右转手势、加速手势、减速手势、启动收拾以及停止手势。手势控制命令分别为拳头打开——前进；手向左挥动——左转；手向右挥动——右转；手掌闭合——停止；手背上挥——加速；手掌下挥——减速。当对手势采集器展示出预先设定好的动态手势时，手势采集器捕捉用户的动态手势图像数据，经FPGA图像处理系统处理、转换得到数字信号，将数字信号输送给指令控制系统，从而驱动电机实现操控轮椅的功能。
由于手势识别技术会受到某些环境背景的影响，通过按键控制模块来辅助控制电动轮椅，保证电动轮椅运行的安全性和可靠性。
由于传统图像处理具有实时性弱的缺点，FPGA由于其并行特性，可以实现硬件加速，使其处理速度非常快，实时性非常高，其次是低功耗，开发周期短，内部有丰富的可配置资源。通过FPGA图像处理系统来解决实时性差的问题。
本发明通过手势识别为主，按键为辅操控轮椅，加强了用户对电动轮椅的操控可靠性；使用非接触式手势识别控制轮椅运行，也使得用户更加方便；通过FPGA图像处理系统也加强了手势识别控制的实时性。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (5)
1.一种多模态轮椅控制系统，其特征在于包括：
按键控制模块，设置在轮椅的一个扶手上；
手势识别模块，包括摄像头以及图像处理模组，所述摄像头设置在所述轮椅的另一个扶手上；
指令控制系统，分别与所述按键控制模块以及所述图像处理模组电性连接，用于根据按键触发情况以及手势识别结果控制轮椅驱动装置。
2.根据权利要求1所述的一种多模态轮椅控制系统，其特征在于；所述按键控制模块包括前后左右四个按键。
3.根据权利要求2所述的一种多模态轮椅控制系统，其特征在于：所述按键控制模块还包括一个手势控制按钮，检测到手势控制按钮按下之后，所述指令控制系统响应于手势识别模块识别到的控制手势对轮椅驱动装置进行控制。
4.根据权利要求3所述的一种多模态轮椅控制系统，其特征在于：控制手势包括左转手势、右转手势、加速手势、减速手势、启动收拾以及停止手势。
5.根据权利要求4所述的一种多模态轮椅控制系统，其特征在于：所述图像处理模组采用FPGA作为计算器件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310335138.6A CN116270056A (zh) | 2023-03-31 | 2023-03-31 | 一种多模态轮椅控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310335138.6A CN116270056A (zh) | 2023-03-31 | 2023-03-31 | 一种多模态轮椅控制系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116270056A true CN116270056A (zh) | 2023-06-23 |
Family
ID=86825681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310335138.6A Pending CN116270056A (zh) | 2023-03-31 | 2023-03-31 | 一种多模态轮椅控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116270056A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117292442A (zh) * | 2023-10-13 | 2023-12-26 | 中国科学技术大学先进技术研究院 | 一种跨模态跨域通用人脸伪造定位方法 |
-
2023
- 2023-03-31 CN CN202310335138.6A patent/CN116270056A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117292442A (zh) * | 2023-10-13 | 2023-12-26 | 中国科学技术大学先进技术研究院 | 一种跨模态跨域通用人脸伪造定位方法 |
| CN117292442B (zh) * | 2023-10-13 | 2024-03-26 | 中国科学技术大学先进技术研究院 | 一种跨模态跨域通用人脸伪造定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106446801B (zh) | 基于超声主动探测的微手势识别方法及系统 | |
| CN106575150B (zh) | 使用运动数据识别手势的方法和可穿戴计算设备 | |
| CN108845668B (zh) | 人机交互系统和方法 | |
| Xia et al. | Vision-based hand gesture recognition for human-robot collaboration: a survey | |
| Lu | A motion control method of intelligent wheelchair based on hand gesture recognition | |
| CN102945362B (zh) | 基于异构数据融合的传感器协同手势识别方法及系统 | |
| CN109933191B (zh) | 手势识别和控制方法及其系统 | |
| CN101976330B (zh) | 手势识别方法和系统 | |
| CN203300127U (zh) | 儿童教学监护机器人 | |
| CN104267819A (zh) | 可手势唤醒的电子设备以及电子设备手势唤醒方法 | |
| Xing et al. | People-following system design for mobile robots using kinect sensor | |
| WO2022226736A1 (zh) | 一种多屏交互的方法、装置、终端设备和车辆 | |
| CN116270056A (zh) | 一种多模态轮椅控制系统 | |
| CN104731307A (zh) | 一种体感动作识别方法及人机交互装置 | |
| CN106156564A (zh) | 基于智能手机的驾驶员识别方法 | |
| CN103557862A (zh) | 一种移动终端运动轨迹检测方法 | |
| Wang et al. | Wearable sensors-based hand gesture recognition for human–robot collaboration in construction | |
| CN105867595A (zh) | 联合语音信息与手势信息的人机交互方式以及实施装置 | |
| CN116198435B (zh) | 车辆的控制方法、装置、车辆以及存储介质 | |
| Francis et al. | Significance of hand gesture recognition systems in vehicular automation-a survey | |
| Wang et al. | Traffic police gesture recognition using accelerometer | |
| CN111695408A (zh) | 一种智能手势信息识别系统及方法、信息数据处理终端 | |
| CN110695990A (zh) | 一种基于Kinect手势识别的机械臂控制系统 | |
| Kakkoth et al. | Survey on real time hand gesture recognition | |
| CN103177245A (zh) | 手势识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |