CN116570439B - 智能轮椅控制模式切换方法及装置、设备、存储介质 - Google Patents
智能轮椅控制模式切换方法及装置、设备、存储介质 Download PDFInfo
- Publication number
- CN116570439B CN116570439B CN202310857800.4A CN202310857800A CN116570439B CN 116570439 B CN116570439 B CN 116570439B CN 202310857800 A CN202310857800 A CN 202310857800A CN 116570439 B CN116570439 B CN 116570439B
- Authority
- CN
- China
- Prior art keywords
- distance
- control mode
- intelligent wheelchair
- user
- wheelchair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003993 interaction Effects 0.000 claims abstract description 52
- 230000007613 environmental effect Effects 0.000 claims description 56
- 208000019901 Anxiety disease Diseases 0.000 claims description 19
- 230000036506 anxiety Effects 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 10
- 210000004556 brain Anatomy 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 201000010099 disease Diseases 0.000 claims 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000763 evoking effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008035 nerve activity Effects 0.000 description 2
- 241000238558 Eucarida Species 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/10—Parts, details or accessories
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/22—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering for automatically guiding movable devices, e.g. stretchers or wheelchairs in a hospital
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Psychiatry (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明属于人工智能技术领域，公开了一种智能轮椅控制模式切换方法，通过在轮椅处于自动控制模式移动时实时采集获得环境图像，当图像识别出轮椅即将进入狭窄交界空间，且轮椅与狭窄交界空间的距离小于第一距离时，输出提示信息提示用户轮椅即将发生切换，当距离小于较小的第二距离时，控制轮椅切换为人机交互控制模式；若图像识别出智能轮椅已经离开狭窄交界空间，控制轮椅切换为自动控制模式，从而可以在进入狭窄交界空间时切换为人机交互控制模式，且在离开狭窄交界空间后切换回自动控制模式，实现更加灵活的自动控制模式与人机交互控制模式的自适应切换，提高控制精确性和安全性。
Description
技术领域
本发明属于人工智能技术领域，具体涉及一种智能轮椅控制模式切换方法及装置、设备、存储介质。
背景技术
脑机接口（Brain-computer Interface，BCI）是一种不依赖周围神经和肌肉，将人脑与外部设备间建立直接连接通路，通过获取大脑神经活动信号进行人工智能解码分析，将其转换为指令从而控制轮椅、机械臂等的辅助设备，使用户可以通过大脑直接与外界互动。但是基于脑机接口控制轮椅，不适合长时间控制，容易引起用户脑部疲劳，导致误操作而出现事故。
目前大多数轮椅系统采用“自动控制模式”或“人机交互控制模式”。自动控制模式下缺乏人机交互，在室内某些狭窄或复杂位置，难以安全通过或实现高精度控制；而人机交互控制模式下用户体力负担大，长时间操作易疲劳。
因此，如何实现自动控制模式与人机交互控制模式的自适应切换，发挥两种模式的优势，解决各自的不足，提高安全与精确控制是亟需解决的问题。
发明内容
本发明的目的在于提供一种智能轮椅控制模式切换方法及装置、设备、存储介质，可以实现更加灵活的自动控制模式与人机交互控制模式的自适应切换，提高控制精确性和安全性。
本发明第一方面公开一种智能轮椅控制模式切换方法，包括：
当智能轮椅处于自动控制模式时，控制所述智能轮椅以预设速度移动，实时采集获得环境图像；
当根据所述环境图像识别出所述智能轮椅即将进入狭窄交界空间时，计算所述智能轮椅与所述狭窄交界空间的目标距离；
当所述目标距离小于第一距离时，输出提示信息，所述提示信息用于提示用户所述智能轮椅即将由所述自动控制模式切换为人机交互控制模式；
当所述目标距离小于第二距离时，控制所述智能轮椅由所述自动控制模式切换为人机交互控制模式；其中，所述第二距离小于所述第一距离；
若根据所述环境图像识别出所述智能轮椅已经离开狭窄交界空间，控制所述智能轮椅由所述人机交互控制模式切换为所述自动控制模式。
本发明第二方面公开一种智能轮椅控制模式切换装置，包括：
采集单元，用于在智能轮椅处于自动控制模式时，控制所述智能轮椅以预设速度移动，实时采集获得环境图像；
测距单元，用于在根据所述环境图像识别出所述智能轮椅即将进入狭窄交界空间时，计算所述智能轮椅与所述狭窄交界空间的目标距离；
提示单元，用于在所述目标距离小于第一距离时，输出提示信息，所述提示信息用于提示用户所述智能轮椅即将由所述自动控制模式切换为人机交互控制模式；
第一切换单元，用于在所述目标距离小于第二距离时，控制所述智能轮椅由所述自动控制模式切换为人机交互控制模式；其中，所述第二距离小于所述第一距离；
第二切换单元，用于在根据所述环境图像识别出所述智能轮椅已经离开狭窄交界空间时，控制所述智能轮椅由所述人机交互控制模式切换为所述自动控制模式。
本发明第三方面公开一种电子设备，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行第一方面公开的智能轮椅控制模式切换方法。
本发明第四方面公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行第一方面公开的智能轮椅控制模式切换方法。
本发明的有益效果在于，通过在智能轮椅处于自动控制模式时，控制智能轮椅以预设速度移动，实时采集获得环境图像，当根据环境图像识别出智能轮椅即将进入狭窄交界空间时，且智能轮椅与狭窄交界空间的目标距离小于第一距离时，输出提示信息提示智能轮椅即将由自动控制模式切换为人机交互控制模式，以及在目标距离小于第二距离时，控制智能轮椅由自动控制模式切换为人机交互控制模式；其中，第二距离小于第一距离；若根据环境图像识别出智能轮椅已经离开狭窄交界空间，控制智能轮椅由人机交互控制模式切换为自动控制模式，从而可以在进入狭窄交界空间时切换为人机交互控制模式，且在离开狭窄交界空间之后切换回自动控制模式，实现更加灵活的自动控制模式与人机交互控制模式的自适应切换，提高控制精确性和安全性。另外，用户不需要长期集中注意力进行人机交互，只在关键时刻进行相对短暂的人机交互控制，这可以减小学习和操控难度，提高用户接受度。
附图说明
此处的附图，示出了本发明所述技术方案的具体实例，并与具体实施方式构成说明书的一部分，用于解释本发明的技术方案、原理及效果。
除非特别说明或另有定义，不同附图中，相同的附图标记代表相同或相似的技术特征，对于相同或相似的技术特征，也可能会采用不同的附图标记进行表示。
图1是本发明实施例公开的一种智能轮椅控制模式切换方法的流程图；
图2是本发明实施例公开的一种智能轮椅控制模式切换装置的结构示意图；
图3是本发明实施例公开的一种电子设备的结构示意图。
附图标记说明：
201、采集单元；202、测距单元；203、提示单元；204、第一切换单元；205、第二切换单元；301、存储器；302、处理器。
具体实施方式
为了便于理解本发明，下面将参照说明书附图对本发明的具体实施例进行更详细的描述。
除非特别说明或另有定义，本文所使用的所有技术和科学术语与所属技术领域的技术人员通常理解的含义相同。在结合本发明的技术方案以现实的场景的情况下，本文所使用的所有技术和科学术语也可以具有与实现本发明的技术方案的目的相对应的含义。本文所使用的“第一、第二…”仅仅是用于对名称的区分，不代表具体的数量或顺序。本文所使用的术语“和／或”包括一个或多个相关的所列项目的任意的和所有的组合。
需要说明的是，当元件被认为“固定于”另一个元件，它可以是直接固定在另一个元件上，也可以是存在居中的元件；当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件，也可以是同时存在居中元件；当一个元件被认为是“安装在”另一个元件，它可以是直接安装在另一个元件，也可以是同时存在居中元件。当一个元件被认为是“设在”另一个元件，它可以是直接设在另一个元件，也可以是同时存在居中元件。
除非特别说明或另有定义，本文所使用的“所述”、“该”为相应位置之前所提及或描述的技术特征或技术内容，该技术特征或技术内容与其所提及的技术特征或技术内容可以是相同的，也可以是相似的。此外，本文所使用的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
如图1所示，本发明实施例公开一种智能轮椅控制模式切换方法。该方法的执行主体可为如计算机电脑、笔记本电脑、平板电脑等电子设备，或内嵌于电子设备中的智能轮椅控制模式切换装置（如轮椅中央控制器），本发明对此不作限定。该方法包括以下步骤110~150：
110、当智能轮椅处于自动控制模式时，控制智能轮椅以预设速度移动，实时采集获得环境图像。
在本发明实施例中，在执行步骤110之前，还可以执行以下步骤101~103：
101、获取用户基于人机交互方式输入的目标目的地。
优选的，采用语音识别、脑电信号识别等多模态信息融合方式，获取用户选择的目的地，可以为用户提供更加自然和便捷的目的地选择交互方式。具体的，步骤101可以包括以下步骤1011~1013：
1011、获取用户的语音信息，对语音信息进行识别获得第一位置。
其中，第一位置为用户基于语音识别方式输入的候选目的地的位置坐标，比如可以采用类似Siri或Alexa这样的语音识别系统，用户通过语音命令的方式选择目的地，如“去洗手间”、“前往203房间”等；语音识别系统需要连接语音识别API，如阿里云语音识别API，将语音命令转化为语音文本；将语音文本通过字符串匹配的方式在导航地图的位置列表中搜索对应的候选目的地，并获取其具体位置坐标作为第一位置。
1012、获取用户的第一脑电信号，对第一脑电信号进行识别获得第二位置。其中，第二位置为用户基于脑电识别方式输入的候选目的地的位置坐标，用户可以佩戴有检测头环或检测头套，用于采集并解析用户的第一脑电信号，该第一脑电信号用于表征某个目的地对应的想象或视觉刺激响应；需要通过训练得到不同目的地(如房间号)对应的信号特征建立数据库；当用户产生某个候选目的地的第一脑电信号时，通过匹配采集的第一脑电信号与数据库，识别出用户选择的候选目的地，并获取其具体位置坐标作为第二位置。
1013、对第一位置和第二位置进行融合处理，获得目标目的地。
可以同时采用语音识别和脑电识别两种模式，将两种模式下识别出的候选目的地进行信息融合。具体的，可以利用如投票机制或权重加权法，计算第一位置和第二位置各自的置信度，选择两个位置中置信度最高的候选目的地作为用户的最终选择，获得目标目的地。通过信息融合可以提高目的地识别准确性，在某一识别模态失效的情况下有备选方案。
102、根据目标目的地，规划得到导航路径。
在导航地图中搜索对应于目标目的地的具体位置进行路径规划。其中，导航地图的构建主要是利用RGBD相机、激光雷达等传感器的数据，采用即时定位与地图构建（simultaneous localization and mapping，SLAM）算法同时定位感知设备并构建2D或3D的室内导航地图。导航地图上标注室内的墙壁、门窗、栏杆等静态障碍物，以及检测到的动态障碍物如人、轮椅、手术推车等。
对于路径规划，可包括全局路径规划和局部路径规划。
其一，全局路径规划的方式具体为：根据用户选择的目标目的地，在导航地图上搜索最短路径。如从起点房间到达终点房间，采用算法搜索连接两个房间的门到门路径。考虑轮椅体积选择可以通行的路径，避开过窄门或弯道。
其二，局部路径规划的方式具体为：当全局路径移动过程中检测到动态障碍物时，需要实时调整路径进行避障。此时若前方道路被阻，则采用Dijkstra算法在局部地图内搜索最短避障路径移动。如检测到前方有人通过门，则搜索左右两侧的可行路径绕行。
103、控制智能轮椅启动自动控制模式。
在自动控制模式下，主要控制智能轮椅按照导航路径以预设速度自行移动，并在移动过程中，实时采集获得环境图像。
在步骤110中实时采集获得环境图像之后，以及在步骤130之前，还可以执行以下步骤111~113：
111、根据环境图像，计算环境复杂分数。
其中，可以根据环境图像，检测环境空间宽度、障碍物数目和障碍物类型，以及利用光照传感器测量环境照明强度，然后根据环境空间宽度、障碍物数目、障碍物类型、环境照明强度，计算环境复杂分数。
具体的，可以利用摄像头捕捉环境图像，再利用第一目标检测模型对环境图像进行检测识别。比如，可以选择一个高精度的目标检测模型，如Faster RCNN或YOLOv3网络，检测环境中的静态和动态障碍物，统计障碍物的数目和类型。以及，利用光照传感器测量环境照明强度。
接着，对环境空间宽度、障碍物数目、障碍物类型、环境照明强度各指标进行量化，例如，按照以下计分规则计算各指标得分：
将环境空间宽度划分为3级：宽敞、普通和狭窄，对应分数为1、2和3；
将环境照明强度划分为5级，从强到弱对应分数1至5；
静态障碍物：数目每增加2个，分数增加1分；
动态障碍物：行人每增加1人，分数增加2分；
其他动态障碍物：每增加1个，分数增加3分。
具体的，判断检测到的环境空间宽度对应的目标宽度级别，目标宽度级别为宽敞、普通和狭窄中任一项，以获取与目标宽度级别对应的第一指标得分；以及，判断测量到的环境照明强度对应的目标强度级别，以获取与目标强度级别对应的第二指标得分；以及，对于障碍物类型为静态障碍物的，其障碍物数目每增加2个，第三指标得分增加1分；对于障碍物类型为动态障碍物的，若障碍物为行人，每增加1人，第三指标得分增加2分；若障碍物并非行人，每增加1个，第三指标得分增加3分。
最后，将三个指标得分，分别是第一指标得分、第二指标得分和第三指标得分，作为环境信息输入预先训练的用于判断当前环境复杂度的第一机器学习模型，第一机器学习模型综合多个指标得分，判断当前环境复杂程度，输出环境复杂分数（Score ofenvironment，Senv），范围为1至10，分数越高环境越复杂。
进一步的，可根据Senv进行操作难度分级获得目标操作难度级别，包括低级、中级或高级；若Senv为1-3，说明环境宽敞，实际操作难度低，对应的目标操作难度级别为低级；若Senv为4-6，说明环境普通、实际操作难度中，对应的目标操作难度级别为中级：若Senv为7-10，说明环境狭窄或有较多障碍物，实际操作难度高，对应的目标操作难度级别为高级。
进一步的，可以对第一机器学习模型进行测试及调整，对各类典型环境人工生成环境信息输入第一机器学习模型进行预测；如果某些典型环境的Senv评分与实际操作难度不匹配，则采集更多该典型环境的环境信息重新训练第一机器学习模型；直至各类典型环境的Senv评分理想，与实际操作难度匹配，判断第一机器学习模型的效果达到要求。
112、获取与用户身份信息对应的第一阈值区间和第二阈值区间。
具体的，可以根据用户身份信息调取对应存储的阈值范围，该阈值范围基于与用户身份信息对应的用户在历史时间段内发生的轮椅操控数据确定得到，主要包括第一阈值区间和第二阈值区间。其中，可以以预设频率采集用户在最新的历史时间段内发生的轮椅操控数据，然后训练模型生成最新的阈值范围进行关联存储，从而实现根据用户操作习惯，拟合对应的阈值范围并实时更新。
可选的，根据与用户身份信息对应的用户在历史时间段内发生的轮椅操控数据确定对应的阈值范围的方式具体可以包括以下步骤S21~S25：
S21、数据采集：采集用户过去6-12个月的轮椅操控数据，该轮椅操控数据包括用户操作距离和时间序列（包括操作起止时间、操作过程中的轮椅位置/速度信息）、用户的历史脑电信号、用户输入的历史目的地等。从收集的轮椅操控数据中随机抽取70%用于训练，30%用于测试，获得训练集和测试集。训练集和测试集的环境类型和时间分布相当。
S22、数据清洗：去除无效和异常数据；标注各轮椅操控数据的环境类型，如宽敞环境、狭窄环境、拥挤环境等；将轮椅操控数据按时间顺序和环境类型划分，用于训练不同的模型。
S23、身份验证： 采集用户人脸视频和语音数据，训练人脸识别模型和声纹识别模型；对新采集的用户人脸视频和语音数据，使用上述人脸识别模型和声纹识别模型预测用户身份，判断是否为同一用户，过滤非本用户数据。
S24、模型训练：输入训练集的用户操作距离和时间序列到基于长短期记忆（LongShort Term Memory，LSTM）的时间序列模型，以使时间序列模型学习用户在不同环境下不同时间的操作习惯；输入用户历史脑电信号到卷积神经网络（Convolutional NeuralNetworks，CNN），以使CNN学习能够判断用户操作意图的网络模型；将上述两种模型的输出融合输入至集成树模型（ensemble），以使ensemble模型学习得到用户操作习惯的阈值范围，包括第一阈值区间[d1_min，d1_max]和第二阈值区间[d2_min，d2_max]。其中，d1_min代表第一下限，d1_max代表第一上限，d2_min代表第二下限，d2_max代表第二上限。
S25、模型测试和调整：输入测试集到ensemble模型，判断模型输出的阈值区间是否满足要求；如果部分样本的预测结果较差，则返回步骤S24使用更大的测试集再训练模型；直至测试结果达到要求(如准确率超过90%)，获取最终的ensemble模型输出的阈值范围。
113、根据环境复杂分数分别与第一阈值区间、第二阈值区间的大小关系，从第一阈值区间中确定出第一距离，以及从第二阈值区间中确定出第二距离。
在步骤123中，首先判断环境复杂分数Senv与第一阈值区间、第二阈值区间的关系；然后，根据判断结果选择第一距离和第二距离的初始值。至少包括以下三种情况：
第一种情况，若环境复杂分数大于第一上限或者大于第二上限，将第一下限设置为第一距离的初始值，以及将第二下限设置为第二距离的初始值。
也即，如果Senv>d1_max或Senv>d2_max，说明Senv过高，环境过于复杂，环境复杂度超出用户习惯的阈值范围；如果Senv过高，选择d1=d1_min和d2=d2_min作为初始值，采取最为谨慎的控制策略。
第二种情况，若环境复杂分数属于第一阈值区间内且属于第二阈值区间内，将第一上限和第一下限的平均值设置为第一距离的初始值，以及将第二上限和第二下限的平均值设置为第二距离的初始值。
也即，如果d1_min≤Senv≤ d1_max及d2_min≤Senv≤d2_max，说明Senv在阈值范围内，也即环境复杂度在用户习惯的阈值范围内；如果Senv在阈值范围内，选择d1=(d1_max+d1_min)/2和d2=(d2_max+d2_min)/2作为初始值。
第三种情况，若环境复杂分数小于第一下限或者小于第二下限，将第一上限设置为第一距离的初始值，以及将第二上限设置为第二距离的初始值。
也即，如果Senv<d1_min或Senv<d2_min，说明Senv过低，环境过于简单，环境复杂度低于用户习惯的阈值范围；如果Senv过低，选择d1=d1_max和d2=d2_max作为初始值，可以采取较为主动的控制策略。
120、当根据环境图像识别出智能轮椅即将进入狭窄交界空间时，计算智能轮椅与狭窄交界空间的目标距离。
具体的在步骤120中，可以利用第二目标检测模型对环境图像中的狭窄交界空间进行检测识别。比如，可以选择一个高精度的目标检测模型，例如Faster RCNN或YOLOv3网络。使用包含各种交界位置图像的数据集进行训练，使其具备检测狭窄的交界位置（如狭窄交界空间）等的能力，从而获得第二目标检测模型。具体的步骤120可以包括以下步骤1201~1202：
1201、根据环境图像检测出狭窄交界空间的边界框。
其中，可以将环境图像输入上述第二目标检测模型，获得狭窄交界空间的边界框。具体的，步骤1201可以包括以下步骤S31~S35：
S31、获取狭窄交界空间的至少两个边界点的像素坐标。其中，两个边界点为对角边界点。
将环境图像输入上述第二目标检测模型，获得识别出的狭窄交界空间的至少两个边界点，比如左上角边界点的像素坐标为(x1，y1)，右下角边界点的像素坐标为(x2，y2)。其中，狭窄交界空间包括但不限于如洗手间入口、电梯入口或病房门等交界位置区域。
S32、根据环境图像的分辨率，将两个边界点的像素坐标转换为图像坐标。
图像分辨率指的是图像的高和宽，表示一行或一列有多少个像素，比如。因此可以根据图像分辨率计算图像坐标，通过将像素坐标除以分辨率得到图像坐标，比如左上角边界点、右下角边界点的图像坐标为(x1/640，y1/480)和(x2/640，y2/480)。
S33、根据环境图像的焦距，将两个边界点的图像坐标转换为实际坐标。
焦距表示图像中一个像素所映射的实际长度，需要事先通过标定获得，比如1像素=0.5厘米。那么边界框的左上角边界点的实际坐标为厘米，右下角边界点的实际坐标为/>厘米。
S34、根据两个边界点的实际坐标计算狭窄交界空间的边界框的实际尺寸。
根据标定的焦距计算得到的实际坐标，进一步计算狭窄交界空间的边界框的实际尺寸。比如边界框的宽厘米，边界框的高/>厘米。
S35、根据两个边界点的实际坐标和边界框的实际尺寸，确定得到狭窄交界空间的边界框。
最后根据两个边界点的实际坐标和边界框的实际尺寸，可求得边界框另外两个边界点的实际坐标，从而得到狭窄交界空间的边界框的位置。
1202、通过距离传感器采集智能轮椅与边界框的传感距离作为智能轮椅与狭窄交界空间的目标距离。
在确定边界框的位置之后，可通过设置于轮椅上的距离传感器，如超声波测距仪或激光测距仪，实时测量智能轮椅与边界框的传感距离作为智能轮椅与狭窄交界空间的目标距离。
130、当目标距离小于第一距离时，输出提示信息，提示信息用于提示用户智能轮椅即将由自动控制模式切换为人机交互控制模式。
当检测到的目标距离小于d1时，输出提示信息，提示用户准备切换到人机交互控制模式（包括但不限于手动、脑电和/或语音控制模式）。当检测到的目标距离小于第二距离d2时，切换为人机交互控制模式，d2小于d1。举例来说，可以设置d1=1.5米提示用户，d2=0.8米切换为人机交互控制。
进一步可选的，提示信息还携带有运动想象请求信息，用于请求用户进行运动想象，如用户想象左/右转向或想象双手如何操控杆体来控制轮椅移动方向。用户进行运动想象时会产生与运动控制相关的第二脑电信号，其中，系统需要检测和记录这些第二脑电信号，建立用户的信号特征数据库。或者，在输出提示信息的同时，基于稳态视觉诱发电位（Steady-State Visual Evoked Potential，SSVEP）或P300在电子显示屏上输出视觉刺激，如箭头指示不同方向，从而提示用户观看显示屏上的视觉刺激，当用户观看这些视觉刺激时，也可以产生视觉诱发的第二脑电信号。
140、当目标距离小于第二距离时，控制智能轮椅由自动控制模式切换为人机交互控制模式。其中，第二距离小于第一距离。
当检测到的目标距离小于d2时，评估已获取到的第二脑电信号的清晰度，若清晰度达到指定清晰度，则切换到人机交互控制模式。在人机交互控制模式中，通过检测的第二脑电信号，精细控制轮椅运动，调整方向与速度，准确驶入狭窄交界空间。具体的，步骤140中控制智能轮椅由自动控制模式切换为人机交互控制模式之后，还可以执行以下步骤141~144：
141、信号检测：根据实时检测到的第二脑电信号，区分和提取出不同种类的信号特征，以识别获得用户意图。
其中第二脑电信号可通过多导脑电图仪采集，包括用户头部不同区域（包括感觉运动区）产生的波、/>波和/>波等。
142、信号识别：将提取出的信号特征在预先建立的信号特征数据库中查询，获得对应的用户意图。
其中，需要对各种信号特征进行提前学习和训练，建立信号特征数据库，用于识别不同用户意图对应的特征信号，如左转、右转、前进、停止等意图的信号特征。
143、控制参数生成：根据识别的用户意图生成对应的控制参数。
控制参数包括转向角度、移动速度、加速度度等，并考虑转向平稳性和舒适加速度。
144、数字控制：将控制参数转换为数字信号，按照数字信号控制智能轮椅进入狭窄交界空间。
主要包括控制轮椅转向执行机构完成转向和控制速度控制器完成速度控制，从而实施精细控制。
为了进一步实现闭环反馈，从而形成闭环控制，利用闭环控制，最终将轮椅安全稳定进入狭窄交界空间，可以提高控制精度，进一步增强安全性与易用性。因此在执行步骤144之后，还可以执行以下步骤145：
145、闭环反馈：检测用户对控制结果的脑电反馈信号，根据脑电反馈信号判断用户满意度；当用户满意度低于指定满意度时，更新控制参数并按照新的控制参数对智能轮椅进行控制。
其中，脑电反馈信号同样可包括用户头部不同区域（包括感觉运动区）产生的波、/>波和/>波等。具体的，步骤145的实施方式包括：
如果检测到用户的脑电反馈信号中/>波和/>波的信号强度的降低幅度达到第一指定幅度（即出现明显减弱），而/>波和感觉运动区信号的信号强度变化值小于指定幅度（即无明显变化），这表明用户对该控制结果较满意，进入稳定状态。此时判定用户满意度达到指定满意度，系统继续执行当前控制计划。
如果检测到用户的脑电反馈信号中/>波、/>波和/>波的信号强度变化值同时达到第一指定幅度（即出现显著变化），而感觉运动区信号的信号强度变化值也达到第二指定幅度（即出现波动，第二指定幅度小于第一指定幅度），这表明用户对控制结果存在疑问或不满，处于警惕状态。此时判定用户满意度低于指定满意度，系统应暂停控制，重新制定控制计划，也即更新控制参数并按照新的控制参数对智能轮椅进行控制。
如果检测到用户的脑电反馈信号中/>波的信号强度的降低幅度小于第二指定幅度（视为没有减弱），/>波和感觉运动区信号的信号强度的增强幅度达到第一指定幅度（即出现显著增强），这表明用户存在焦虑和不满意的情绪反应。此时判定用户满意度低于指定满意度，系统应立即停止控制，重新制定控制计划，也即更新控制参数并按照新的控制参数对智能轮椅进行控制。
如果检测到用户的脑电反馈信号的信号强度变化值小于第二指定幅度（说明在正常控制范围内波动不大），此时判定用户满意度达到指定满意度，但如果检测到用户肌电信号出现异常，这可能表明存在体力疲劳。系统应减小控制幅度，采用较为保守的控制计划。
进一步优选的，上述脑电反馈信号除了用于反馈精准控制轮椅的用户意图，还可以用于识别用户的焦虑指数。因此，在检测用户对控制结果的脑电反馈信号之后，还可以执行以下步骤146~147：
146、检测用户对控制结果的语音反馈信号，根据语音反馈信号和脑电反馈信号识别出用户的焦虑等级。
用户的脑电反馈信号能够直接反映焦虑情绪，如果焦虑指数升高，表示距离阈值过小，存在一定碰撞风险，用户感到不安全。因此可以每隔指定时间间隔（如1-2秒）检测一次用户的生理和语音反馈，获得语音反馈信号和脑电反馈信号。根据语音反馈信号和脑电反馈信号判断是否需要调整距离阈值，包括第一距离和第二距离；如果需要，根据策略设置新距离阈值；使用新距离阈值进行更新。继续导入控制系统，检测用户反馈。
辅助采集用户语音反馈信号，用户可以直接发出调整距离阈值的语音指令，如“稍微近一点”表示距离阈值过大，可以适当减小；“再远一点”表示距离阈值过小，需要稍加增加。
然后将用户的语音反馈信号和脑电反馈信号输入第二机器学习模型，以使第二机器学习模型综合预测用户当前对距离阈值的评价，输出焦虑等级，包括第一等级和第二等级，第一等级为“无感”、第二等级为“不适”或“焦虑”；如果判断为第二等级“不适”或“焦虑”，则表示距离阈值过大，反之，判断为第一等级，表示距离阈值适宜或过小。
147、根据用户的焦虑等级将第一距离和第二距离调整为目标值。
当用户的焦虑等级判断为第二等级“不适”或“焦虑”时，若第一距离的当前值大于第一下限d1_min的增值小于指定间距，则维持第一距离的当前值为目标值不变；若第一距离的当前值大于第一下限d1_min的增值大于或等于指定间距，则设置第一距离的目标值等于(第一距离的当前值+第一下限d1_min)/2，将第一距离调整为其对应的目标值，实现渐进缩小。 当用户的焦虑等级判断为第二等级“不适”或“焦虑”时，若第二距离的当前值大于第二下限d2_min的增值小于指定间距，则维持第二距离的当前值为目标值不变；若第二距离的当前值大于第二下限d2_min的增值大于或等于指定间距，则设置第二距离的目标值等于(第二距离的当前值+第二下限d2_min)/2，将第二距离调整为其对应的目标值，实现渐进缩小。
当用户的焦虑等级判断为第一等级“无感”时，若第一距离的当前值小于第一上限d1_max的差值小于指定间距（即接近于上限d1_max），则维持第一距离的当前值为目标值不变；若第一距离的当前值小于第一上限d1_max的差值大于或等于指定间距，则设置第一距离的目标值等于(第一距离的当前值+第一上限d1_max)/2，实现适度扩大。
当用户的焦虑等级判断为第一等级“无感”时，若第二距离的当前值小于第二上限d2_max的差值小于指定间距（即接近于上限d2_max），则维持第二距离的当前值为目标值不变；若第二距离的当前值小于第二上限d2_max的差值大于或等于指定间距，则设置第二距离的目标值等于(第二距离的当前值+第二上限d2_max)/2，实现适度扩大。
实施上述步骤146~147，可以根据用户实时反馈进行距离阈值动态调整，使得智能轮椅控制更加灵活、智能化。该动态调整阈值的机制可以根据用户的生理状态与心理反馈，实时优化环境中狭窄交界空间边界到轮椅的距离阈值，实现满足不同用户个体需求。
150、若根据环境图像识别出智能轮椅已经离开狭窄交界空间，控制智能轮椅由人机交互控制模式切换为自动控制模式。
当智能轮椅离开狭窄交界空间时，判断外部环境，再切换为自动控制模式。作为一个简单场景举例：假设要从起点A2层病房门口到达终点B5层手术室门内，全程路径为：A2层病房门口-经过走廊-进出电梯-B5层手术室。从A2层病房门口出发时可以启动自动控制模式到达电梯门口，该电梯门口将被识别为狭窄交界空间，在轮椅与电梯门口之间的目标距离减少至第一距离d1时，提示采用人机交互控制模式，当目标距离减少至第二距离d2时，切换为人机交互控制模式控制轮椅进入电梯，电梯到达B5层后开门，以人机交互控制模式控制轮椅出电梯之后，控制智能轮椅切换回自动控制模式。
进一步优选的，在控制智能轮椅切换回自动控制模式之前，还可以先采集电梯外环境信息，判断智能轮椅的前行空间是否足够轮椅通过，若足够轮椅通过，则控制智能轮椅切换回自动控制模式，以自动控制模式继续控制轮椅向终点B5层手术室前行。其中，若判断出智能轮椅的前行空间中没有障碍物，判定足够轮椅通过；或者，若判断出智能轮椅的前行空间中有障碍物，但满足轮椅穿行条件时，判定足够轮椅通过。
若判断出智能轮椅的前行空间不足够轮椅通过，控制智能轮椅保持在人机交互控制模式，等待用户通过视觉判断后发出后续控制指令，根据用户发出的后续控制指令控制轮椅移动；若判断出智能轮椅的前行空间不足够轮椅通过，且在指定时长内未检测到用户发出的后续控制指令，控制智能轮椅静止。其中，若判断出电梯外有复杂环境如医疗设备或电梯内有其他人员，判定为不足够轮椅通过。
以上步骤循环至B5层手术室门口，如B5层手术室门口位置复杂，有医疗设备和人员活动，无法直接进入。此时采用人机交互控制模式控制轮椅在B5层手术室门口停下，等待环境简单或得到医务人员允许后，用户发出进入的后续控制指令，系统则控制轮椅进入B5层手术室内，全程导航完成。
由此可见，实施本发明实施例，通过自动控制模式与人机交互控制模式的自适应结合，自动控制模式具有环境感知与路径规划功能，可以自主导航大多数开阔位置，人机交互控制模式可以在关键狭窄或复杂位置实现安全精确通过，两种控制模式的结合实现全程安全精确控制，解决现有系统不能满足日常使用需求的问题，用户不需要长期集中注意力进行人机交互，只在关键时刻进行相对短暂的人机交互控制，这可以减小学习和操控难度，提高用户接受度。相比现有系统，更适用于复杂室内环境，具有更高的实用价值。
如图2所示，本发明实施例公开一种智能轮椅控制模式切换装置，包括采集单元201、测距单元202、提示单元203、第一切换单元204、第二切换单元205，其中，
采集单元201，用于在智能轮椅处于自动控制模式时，控制智能轮椅以预设速度移动，实时采集获得环境图像；
测距单元202，用于在根据环境图像识别出智能轮椅即将进入狭窄交界空间时，计算智能轮椅与狭窄交界空间的目标距离；
提示单元203，用于在目标距离小于第一距离时，输出提示信息，提示信息用于提示用户智能轮椅即将由自动控制模式切换为人机交互控制模式；
第一切换单元204，用于在目标距离小于第二距离时，控制智能轮椅由自动控制模式切换为人机交互控制模式；其中，第二距离小于第一距离；
第二切换单元205，用于在根据环境图像识别出智能轮椅已经离开狭窄交界空间时，控制智能轮椅由人机交互控制模式切换为自动控制模式。
作为一种可选的实施方式，上述智能轮椅控制模式切换装置还可以包括以下未图示的单元：
计算单元，用于在采集单元201实时采集获得环境图像之后，以及提示单元203在目标距离小于第一距离时输出提示信息之前，根据环境图像计算环境复杂分数；
获取单元，用于获取与用户身份信息对应的第一阈值区间和第二阈值区间；
取值单元，用于根据环境复杂分数分别与第一阈值区间、第二阈值区间的大小关系，从第一阈值区间中确定出第一距离以及从第二阈值区间中确定出第二距离。
如图3所示，本发明实施例公开一种电子设备，包括存储有可执行程序代码的存储器301以及与存储器301耦合的处理器302；
其中，处理器302调用存储器301中存储的可执行程序代码，执行上述各实施例中描述的智能轮椅控制模式切换方法。
本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行上述各实施例中描述的智能轮椅控制模式切换方法。
以上实施例的目的，是对本发明的技术方案进行示例性的再现与推导，并以此完整的描述本发明的技术方案、目的及效果，其目的是使公众对本发明的公开内容的理解更加透彻、全面，并不以此限定本发明的保护范围。
以上实施例也并非是基于本发明的穷尽性列举，在此之外，还可以存在多个未列出的其他实施方式。在不违反本发明构思的基础上所作的任何替换与改进，均属本发明的保护范围。
Claims (7)
1.智能轮椅控制模式切换方法，其特征在于，包括：
当智能轮椅处于自动控制模式时，控制所述智能轮椅以预设速度移动，实时采集获得环境图像；
根据所述环境图像，计算环境复杂分数；
获取与用户身份信息对应的第一阈值区间和第二阈值区间；所述第一阈值区间包括第一下限和第一上限，所述第二阈值区间包括第二下限和第二上限；
若所述环境复杂分数大于第一上限或者大于第二上限，将第一下限设置为第一距离的初始值，以及将第二下限设置为第二距离的初始值；
若所述环境复杂分数属于所述第一阈值区间内且属于所述第二阈值区间内，将第一上限和第一下限的平均值设置为第一距离的初始值，以及将第二上限和第二下限的平均值设置为第二距离的初始值；
若所述环境复杂分数小于第一下限或者小于第二下限，将第一上限设置为第一距离的初始值，以及将第二上限设置为第二距离的初始值；
当根据所述环境图像识别出所述智能轮椅即将进入狭窄交界空间时，计算所述智能轮椅与所述狭窄交界空间的目标距离；其中，所述狭窄交界空间包括洗手间入口、电梯入口或病房门的位置区域；
当所述目标距离小于第一距离时，输出提示信息，所述提示信息用于提示用户所述智能轮椅即将由所述自动控制模式切换为人机交互控制模式；
当所述目标距离小于第二距离时，控制所述智能轮椅由所述自动控制模式切换为人机交互控制模式；其中，所述第二距离小于所述第一距离；
在所述人机交互控制模式中，根据实时检测到的脑电信号，区分和提取出不同种类的信号特征；将提取出的所述信号特征在预先建立的信号特征数据库中查询，获得对应的用户意图；根据识别的所述用户意图生成对应的控制参数，将所述控制参数转换为数字信号，按照所述数字信号控制智能轮椅进入所述狭窄交界空间；检测用户对控制结果的脑电反馈信号和语音反馈信号，根据所述脑电反馈信号判断用户满意度；当所述用户满意度低于指定满意度时，更新所述控制参数并按照新的控制参数对智能轮椅进行控制；根据所述脑电反馈信号和所述语音反馈信号识别出用户的焦虑等级；根据用户的所述焦虑等级将所述第一距离和所述第二距离调整为目标值；
若根据所述环境图像识别出所述智能轮椅已经离开狭窄交界空间，控制所述智能轮椅由所述人机交互控制模式切换为所述自动控制模式。
2.如权利要求1所述的智能轮椅控制模式切换方法，其特征在于，计算所述智能轮椅与所述狭窄交界空间的目标距离，包括：
根据所述环境图像检测出所述狭窄交界空间的边界框；
通过距离传感器采集所述智能轮椅与所述边界框的传感距离；
将所述传感距离作为所述智能轮椅与所述狭窄交界空间的目标距离。
3.如权利要求2所述的智能轮椅控制模式切换方法，其特征在于，根据所述环境图像检测出所述狭窄交界空间的边界框，包括：
获取所述狭窄交界空间的至少两个边界点的像素坐标；其中，两个边界点为对角边界点；
根据所述环境图像的分辨率，将两个边界点的像素坐标转换为图像坐标；
根据所述环境图像的焦距，将两个边界点的图像坐标转换为实际坐标；
根据两个边界点的实际坐标，计算所述狭窄交界空间的边界框的实际尺寸；
根据两个边界点的实际坐标和所述实际尺寸，确定得到所述狭窄交界空间的边界框。
4.如权利要求1至3任一项所述的智能轮椅控制模式切换方法，其特征在于，根据所述环境图像，计算环境复杂分数，包括：
根据所述环境图像，检测环境空间宽度、障碍物数目和障碍物类型；
利用光照传感器测量环境照明强度；
根据所述环境空间宽度、所述障碍物数目、所述障碍物类型、所述环境照明强度，计算环境复杂分数。
5.智能轮椅控制模式切换装置，其特征在于，包括：
采集单元，用于在智能轮椅处于自动控制模式时，控制所述智能轮椅以预设速度移动，实时采集获得环境图像；
计算单元，用于根据所述环境图像计算环境复杂分数；
获取单元，用于获取与用户身份信息对应的第一阈值区间和第二阈值区间；所述第一阈值区间包括第一下限和第一上限，所述第二阈值区间包括第二下限和第二上限；
取值单元，用于在所述环境复杂分数大于第一上限或者大于第二上限时，将第一下限设置为第一距离的初始值，将第二下限设置为第二距离的初始值；以及，在所述环境复杂分数属于所述第一阈值区间内且属于所述第二阈值区间内时，将第一上限和第一下限的平均值设置为第一距离的初始值，将第二上限和第二下限的平均值设置为第二距离的初始值；以及，在所述环境复杂分数小于第一下限或者小于第二下限时，将第一上限设置为第一距离的初始值，将第二上限设置为第二距离的初始值；
测距单元，用于在根据所述环境图像识别出所述智能轮椅即将进入狭窄交界空间时，计算所述智能轮椅与所述狭窄交界空间的目标距离；其中，所述狭窄交界空间包括洗手间入口、电梯入口或病房门的位置区域；
提示单元，用于在所述目标距离小于第一距离时，输出提示信息，所述提示信息用于提示用户所述智能轮椅即将由所述自动控制模式切换为人机交互控制模式；
第一切换单元，用于在所述目标距离小于第二距离时，控制所述智能轮椅由所述自动控制模式切换为人机交互控制模式；其中，所述第二距离小于所述第一距离；
所述第一切换单元，还用于在所述人机交互控制模式中，根据实时检测到的脑电信号，区分和提取出不同种类的信号特征；将提取出的所述信号特征在预先建立的信号特征数据库中查询，获得对应的用户意图；根据识别的所述用户意图生成对应的控制参数，将所述控制参数转换为数字信号，按照所述数字信号控制智能轮椅进入所述狭窄交界空间；检测用户对控制结果的脑电反馈信号和语音反馈信号，根据所述脑电反馈信号判断用户满意度；当所述用户满意度低于指定满意度时，更新所述控制参数并按照新的控制参数对智能轮椅进行控制；根据所述脑电反馈信号和所述语音反馈信号识别出用户的焦虑等级；根据用户的所述焦虑等级将所述第一距离和所述第二距离调整为目标值；
第二切换单元，用于在根据所述环境图像识别出所述智能轮椅已经离开狭窄交界空间时，控制所述智能轮椅由所述人机交互控制模式切换为所述自动控制模式。
6.电子设备，其特征在于，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至4任一项所述的智能轮椅控制模式切换方法。
7.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至4任一项所述的智能轮椅控制模式切换方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310857800.4A CN116570439B (zh) | 2023-07-13 | 2023-07-13 | 智能轮椅控制模式切换方法及装置、设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310857800.4A CN116570439B (zh) | 2023-07-13 | 2023-07-13 | 智能轮椅控制模式切换方法及装置、设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116570439A CN116570439A (zh) | 2023-08-11 |
| CN116570439B true CN116570439B (zh) | 2023-09-22 |
Family
ID=87534620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310857800.4A Active CN116570439B (zh) | 2023-07-13 | 2023-07-13 | 智能轮椅控制模式切换方法及装置、设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116570439B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116880514B (zh) * | 2023-09-06 | 2023-11-21 | 小舟科技有限公司 | 智能轮椅控制方法、智能轮椅及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001157696A (ja) * | 1999-12-01 | 2001-06-12 | Toshio Suyama | 電動車椅子 |
| CN101520895A (zh) * | 2009-02-24 | 2009-09-02 | 上海大学 | 标尺图像中像素位移与实际位移的自动转换方法 |
| CN102692214A (zh) * | 2012-06-11 | 2012-09-26 | 北京航空航天大学 | 一种狭窄空间双目视觉测量定位装置及方法 |
| CN106667680A (zh) * | 2016-11-15 | 2017-05-17 | 广州视源电子科技股份有限公司 | 电动轮椅及其控制方法 |
| CN110530390A (zh) * | 2019-09-16 | 2019-12-03 | 哈尔滨工程大学 | 一种在狭窄环境下的非质点车辆路径规划方法 |
| CN112200874A (zh) * | 2020-10-30 | 2021-01-08 | 中国科学院自动化研究所 | 狭窄空间的多层次场景重建和快速分割方法、系统及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4184476A4 (en) * | 2020-07-23 | 2023-08-16 | Huawei Technologies Co., Ltd. | METHOD AND DEVICE FOR CONTROLLING VEHICLE DRIVING MODE SWITCHING |
-
2023
- 2023-07-13 CN CN202310857800.4A patent/CN116570439B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001157696A (ja) * | 1999-12-01 | 2001-06-12 | Toshio Suyama | 電動車椅子 |
| CN101520895A (zh) * | 2009-02-24 | 2009-09-02 | 上海大学 | 标尺图像中像素位移与实际位移的自动转换方法 |
| CN102692214A (zh) * | 2012-06-11 | 2012-09-26 | 北京航空航天大学 | 一种狭窄空间双目视觉测量定位装置及方法 |
| CN106667680A (zh) * | 2016-11-15 | 2017-05-17 | 广州视源电子科技股份有限公司 | 电动轮椅及其控制方法 |
| CN110530390A (zh) * | 2019-09-16 | 2019-12-03 | 哈尔滨工程大学 | 一种在狭窄环境下的非质点车辆路径规划方法 |
| CN112200874A (zh) * | 2020-10-30 | 2021-01-08 | 中国科学院自动化研究所 | 狭窄空间的多层次场景重建和快速分割方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116570439A (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3422246A1 (en) | Method for awakening intelligent robot, and intelligent robot | |
| CN110291478B (zh) | 驾驶员监视和响应系统 | |
| CN101441513B (zh) | 一种利用视觉进行非接触式人机交互的系统 | |
| CN116570439B (zh) | 智能轮椅控制模式切换方法及装置、设备、存储介质 | |
| CN101889928B (zh) | 一种基于头势识别技术的轮椅控制方法 | |
| JPH11175246A (ja) | 視線検出装置及びその方法 | |
| CN106377228B (zh) | 基于Kinect的无人机操作员状态监视与分层控制方法 | |
| JPH06189048A (ja) | 操作表示用制御装置、画像形成装置及び電源投入用制御装置 | |
| CN116483097B (zh) | 人机交互智能轮椅的控制方法及装置、轮椅、存储介质 | |
| CN112837407A (zh) | 一种智能座舱全息投影系统及其交互方法 | |
| CN106681509A (zh) | 界面操作的方法和系统 | |
| Karpov et al. | Architecture of a wheelchair control system for disabled people: towards multifunctional robotic solution with neurobiological interfaces | |
| JP6819633B2 (ja) | 個人識別装置および特徴収集装置 | |
| Tang et al. | Design and optimization of an assistive cane with visual odometry for blind people to detect obstacles with hollow section | |
| CN114821753B (zh) | 一种基于视觉图像信息的眼动交互系统 | |
| Perrin | Semi-autonomous navigation of an assistive robot using low throughput interfaces | |
| JPH0678094A (ja) | 操作表示用制御装置 | |
| Bastaki et al. | Design and implementation of a vision stick with outdoor/indoor guiding systems and smart detection and emergency features | |
| Mostofa et al. | IoT-enabled smart mobility devices for aging and rehabilitation | |
| JP3205080B2 (ja) | 電子装置 | |
| IT201800002114A1 (it) | Procedimento indirizzato a pazienti con disabilita' motorie per scegliere un comando mediante un'interfaccia grafica, relativo sistema e prodotto informatico | |
| Viswanathan et al. | A comparison of stereovision and infrared as sensors for an anti-collision powered wheelchair for older adults with cognitive impairments | |
| JP3249195B2 (ja) | 電子装置 | |
| JP3205081B2 (ja) | 電子装置 | |
| Jubril et al. | A multisensor electronic traveling aid for the visually impaired |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |