CN116880703A - 多模态人机交互操控方法、手柄、设备、介质及助行器 - Google Patents

多模态人机交互操控方法、手柄、设备、介质及助行器 Download PDF

Info

Publication number
CN116880703A
CN116880703A CN202311148631.3A CN202311148631A CN116880703A CN 116880703 A CN116880703 A CN 116880703A CN 202311148631 A CN202311148631 A CN 202311148631A CN 116880703 A CN116880703 A CN 116880703A
Authority
CN
China
Prior art keywords
speed
mode
gesture
machine interaction
topics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311148631.3A
Other languages
English (en)
Other versions
CN116880703B (zh
Inventor
张文彬
刘斌
沙连森
邹学坤
黄锟
史文青
张名琦
姚兴亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN202311148631.3A priority Critical patent/CN116880703B/zh
Publication of CN116880703A publication Critical patent/CN116880703A/zh
Application granted granted Critical
Publication of CN116880703B publication Critical patent/CN116880703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/14—Joysticks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice

Abstract

本发明涉及多模态人机交互操控方法、手柄、设备、介质及助行器，该手柄包括：主控单元、摇杆、模式转换开关；摇杆用于将摇杆转动的角度转换为模拟电压信号，主控单元用于与助行器本体控制模块通过无线局域网通信连接，离线语音识别模块及手势识别模块的集成，摇杆的模拟电压信号的采集，以及建立节点，定时读取摇杆、离线语音识别模块、手势识别模块的数据，整理并发布速度话题，离线语音识别模块用于识别语音，手势识别模块用于识别手势，模式转换开关用于切换操控手柄的人机交互模式。本发明除了集成传统摇杆操控方式之外，还集成了手势交互和语音交互的操控轮椅方式，使用者可以根据自身情况灵活选择不同的操控方式，适应性更强。

Description

多模态人机交互操控方法、手柄、设备、介质及助行器
技术领域
本发明涉及助行器控制技术领域，特别涉及多模态人机交互操控方法、手柄、设备、介质及助行器。
背景技术
随着经济的发展与社会文明程度的提高，老年人与残疾人的生活条件和生活质量越来越受社会的关注。电动轮椅可以辅助老年人和残疾人出行，对于改善其生活质量有重要意义。当前的轮椅控制方式主要为操纵杆控制、按键控制、方向盘控制等控制方式，这些控制方式都能够让用户很轻松地使用轮椅。但是，对于一些身体严重瘫痪的残障人士，想要完成一些正常人只需花费很少力气的动作，往往都十分困难，并且由于操作强度、难度或视力等因素造成部分用户无法完成轮椅的控制，因此探索新的控制方式十分必要。
发明内容
为了实现本发明的上述目的和其他优点，本发明的第一目的是提供一种多模态人机交互操控方法，包括以下步骤：
S1、连接助行器本体所在的局域网；
S2、初始化多模态人机交互操控手柄的节点，并初始化速度话题；
S3、判断是否是摇杆模式；
S4、若判定是摇杆模式，则读取摇杆XY数据，并设置所述速度话题的数据；
S5、若判定不是摇杆模式，则判断是否是手势模式；
S6、若判定是手势模式，则读取手势识别结果，并设置所述速度话题的数据；
S7、若判定不是手势模式，则判断是否是语音模式；
S8、若判定是语音模式，则读取语音识别结果，并设置所述速度话题的数据；
S9、若判定不是语音模式，则设置所述速度话题的数据全为0；
S10、发布所述速度话题；
S11、判断是否结束操控模式；
S12、是则结束；否则延时预设时间，然后返回所述S3步骤继续执行。
进一步地，所述S4步骤包括以下步骤：
S41、采集读取摇杆的模拟电压信号，所述模拟电压信号为所述摇杆在XY轴方向偏离中心的位置量转化成0~3.3V的模拟电压；
S42、将在Y轴方向偏离中心的位置y转化赋值为所述速度话题中沿着y轴的线速度，将在X轴方向偏离中心的位置x转化赋值为所述速度话题中绕着z轴的角速度。
进一步地，所述S6步骤包括以下步骤：
S61、读取手势识别结果；
S62、通过手势控制指令表匹配所述手势识别结果对应的速度话题中各个参数的值；其中，所述手势控制指令表内存储若干手势名称与速度话题中各个参数的值之间的对应关系；
S63、根据匹配结果设置所述速度话题中各个参数的值。
进一步地，所述手势识别结果包括前进、后退、往左、往右、停止小车运动。
进一步地，所述S8步骤包括以下步骤：
S81、读取离线语音识别模块的识别结果产生的ID；
S82、查找预设的语音控制指令表，获得读取到的ID对应的速度话题中各个参数的值；其中，所述语音控制指令表内存储若干控制命令词、ID以及速度话题中各个参数的值之间的对应关系；
S83、根据查找结果设置所述速度话题中各个参数的值。
进一步地，所述控制命令词包括低速前进、低速后退、低速左转、低速右转、高速前进、高速后退、高速左转、高速右转、停止运动。
本发明的第二目的是提供一种电子设备，包括：存储器，其上存储有程序代码；处理器，其与所述存储器连接，并且当所述程序代码被所述处理器执行时，实现上述的方法。
本发明的第三目的是提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被执行时实现上述的方法。
本发明的第四目的是提供一种实现上述的方法的多模态人机交互操控手柄，包括：主控单元、摇杆、模式转换开关；所述摇杆用于将摇杆转动的角度转换为模拟电压信号，所述主控单元用于与助行器本体控制模块通过无线局域网通信连接，离线语音识别模块及手势识别模块的集成，所述摇杆的模拟电压信号的采集，以及建立节点，定时读取摇杆、离线语音识别模块、手势识别模块的数据，整理并发布速度话题，所述离线语音识别模块用于识别语音，并将语音识别结果传输给所述主控单元，所述手势识别模块用于识别手势，并将手势识别结果传输给所述主控单元，所述模式转换开关用于切换操控手柄的人机交互模式。
进一步地，所述速度话题的数据内容包括沿着X、Y、Z方向的线速度和角速度。
进一步地，所述速度话题是ROS系统中预先定义的geometry_msgs/msg/Twist类型的数据格式。
进一步地，所述摇杆为两轴霍尔摇杆。
进一步地，所述两轴霍尔摇杆在X、Y轴方向偏离中心的位置量转化成0~3.3V的模拟电压。
进一步地，所述主控单元通过ADC外设采集读取所述两轴霍尔摇杆的模拟电压，并将所述两轴霍尔摇杆在Y轴方向偏离中心的位置y转化赋值为所述速度话题中沿着y轴的线速度，将所述两轴霍尔摇杆在X轴方向偏离中心的位置x转化赋值为所述速度话题中绕着z轴的角速度。
进一步地，所述离线语音识别模块的识别结果产生一个字节的ID，并将产生的ID发送至所述主控单元。
进一步地，所述主控单元内预置有语音控制指令表，所述语音控制指令表内存储若干控制命令词、ID以及速度话题中各个参数的值之间的对应关系，所述主控单元在接收到所述离线语音识别模块发送的 ID之后，查找所述语音控制指令表，设置所述速度话题中各个参数的值，然后发布速度话题。
进一步地，所述控制命令词包括低速前进、低速后退、低速左转、低速右转、高速前进、高速后退、高速左转、高速右转、停止运动。
进一步地，所述主控单元内预置有手势控制指令表，所述手势控制指令表内存储若干手势名称与速度话题中各个参数的值之间的对应关系，所述主控单元在接收到所述手势识别模块发送的识别结果之后，查找所述手势控制指令表，设置所述速度话题中各个参数的值进而控制助行器的运动。
进一步地，所述手势识别模块的识别结果包括前进、后退、往左、往右、停止小车运动。
本发明的第五目的是提供一种助行器，包括助行器本体，还包括上述的多模态人机交互操控手柄，所述多模态人机交互操控手柄与助行器本体控制模块通过无线局域网通信连接，所述多模态人机交互操控手柄可拆卸地安装在所述助行器本体上。
与现有技术相比，本发明的有益效果是：
本发明针对当前电控轮椅控制方式单一，对身体严重瘫痪者不够友好等问题，设计了一种面向轮椅，基于ROS2系统的多模态人机交互操控手柄及方法，该手柄除了集成传统摇杆操控方式之外，还集成了手势交互和语音交互的操控轮椅方式，使用者可以根据自身情况灵活选择不同的操控方式，使得面向人群更广，适应性更强；同时，该手柄基于无线通信，采用可拆卸的设计方式，可以方便患者在床上或者座椅上时，通过无线遥控的方式来控制轮椅移动到身边。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为实施例1的助行器通信原理示意图；
图2为实施例1的多模态人机交互操控手柄原理示意图；
图3为实施例1的多模态人机交互操控手柄示意图；
图4为实施例3的多模态人机交互操控方法流程图；
图5为实施例4的电子设备示意图；
图6为实施例5的存储介质示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例1
一种多模态人机交互操控手柄，如图1、图2所示，包括：主控单元、摇杆、模式转换开关；摇杆用于将摇杆转动的角度转换为模拟电压信号，主控单元用于与助行器本体控制模块通过无线局域网通信连接，离线语音识别模块及手势识别模块的集成，摇杆的模拟电压信号的采集，以及建立节点，定时读取摇杆、离线语音识别模块、手势识别模块的数据，整理并发布速度话题，即/cmd_vel话题，离线语音识别模块用于识别语音，并将语音识别结果传输给主控单元，手势识别模块用于识别手势，并将手势识别结果传输给主控单元，模式转换开关用于切换操控手柄的人机交互模式。
本实施例中，摇杆为两轴霍尔摇杆；主控单元采用ESP32芯片，该芯片支持无线连接WiFi，能够简洁地将该操控手柄和助行器本体组成在同一个局域网内，用UDP协议和助行器本体进行无线通信；其次，该芯片还有ADC、IIC、UART等外设，能够用于离线语音识别模块及手势识别模块的集成和霍尔双轴摇杆模拟信号的采集。如图1所示为操控手柄和助行器本体的通信示意图，助行器本体运行一个用于底盘驱动的ROS2节点，并且订阅/cmd_vel话题，在接收到/cmd_vel话题数据之后，控制轮椅两个差速轮实现平面内的任意运动。
如图2所示为该人机交互操控手柄的电气原理图。供电电源为两块18650串联组成的电池组，通过DC-DC减压模块转为5v和3.3v的电压给各个模块供电。两轴霍尔摇杆能够将摇杆转动的角度转变为两路0-3.3v的模拟电压信号，然后通过ESP32芯片的ADC外设采集读取。离线语音识别模块运行独立的语音识别算法，能够将识别结果通过UART传输给主控单元。手势识别模块选用PAJ7620U2，能够识别多种手势，并将手势识别结果通过IIC总线传输给主控单元。模式转换开关为三档开关，通过模式转换开关，可以选择当前操控手柄所处的模式。
操控手柄建立一个节点之后，定时读取三种交互模块的数据，整理并发送/cmd_vel话题。/cmd_vel话题是ROS系统中预先定义的geometry_msgs/
msg/Twist类型的数据格式，其数据内容包括沿着X、Y、Z方向的线速度和角速度，共六个值。由于助行器在平面运动，并根据助行器实际行动轨迹分析，故该数据格式中，只有沿着y轴的线速度和绕着z轴的角速度不为0，其余全部为0。
如图3所示，两轴霍尔摇杆可以在平面内任意活动，其在X、Y轴方向偏离中心的位置量会转化成0-3.3V的模拟电压，然后通过ESP32芯片的ADC外设读取。其中，在Y方向偏离中心的位置y将会最终转化赋值为/cmd_vel话题中沿着y轴的线速度，在X轴方向偏离中心的位置x将会最终转化赋值为/cmd_vel话题中绕着z轴的角速度。
该操控手柄采用型号为ASR-THREE的离线语音识别模块，该模块内置专用于语音处理的人工智能芯片，可以支持300多条命令词以内的本地语音识别，其识别结果会产生一个字节的ID，通过UART发送给主控单元。在该操控手柄中，提前设置了9个控制命令词，分别为：低速前进、低速后退、低速左转、低速右转、高速前进、高速后退、高速左转、高速右转、停止运动。控制命令词分别对应的ID号设置为10~18。主控单元内预置有语音控制指令表，语音控制指令表内存储若干控制命令词、ID以及速度话题中各个参数的值之间的对应关系，主控单元在接收到离线语音识别模块发送的 ID之后，查找预设的语音控制指令表，设置/cmd_vel话题中各个参数的值，然后向系统发布该话题。控制命令词、ID、/cmd_vel话题的对应关系如表1所示。
表1 控制命令词、ID、/cmd_vel话题的对应关系
操控手柄采用的手势识别模块为PAJ7260U2,其可以识别9种手势，包括最常用的上下左右前后等。这些手势信息可以通过I2C总线简单访问，并根据访问结果设置/cmd_vel话题的值，进而控制助行器的运动。具体地，主控单元内预置有手势控制指令表，手势控制指令表内存储若干手势名称与速度话题中各个参数的值之间的对应关系，主控单元在接收到手势识别模块发送的识别结果之后，查找手势控制指令表，设置速度话题中各个参数的值进而控制助行器的运动。为了提高系统的安全性和稳定性，本实施例只识别和利用9种手势中的前后左右控制助行器的移动，并将识别到的其他手势结果识别为停止小车运动，具体地，手势识别模块的识别结果包括前进、后退、往左、往右、其他5种手势，其他5种手势识别为停止小车运动。其手势和对应的/cmd_vel话题表2所示。
表2 手势名称与/cmd_vel话题的对应关系
本发明针对当前电控轮椅控制方式单一，对身体严重瘫痪者不够友好等问题，设计了一种面向轮椅，基于ROS2系统的多模态人机交互操控手柄，该手柄除了集成传统摇杆操控方式之外，还集成了手势交互和语音交互的操控轮椅方式，使用者可以根据自身情况灵活选择不同的操控方式，使得面向人群更广，适应性更强；同时，本手柄基于无线通信，采用可拆卸的设计方式，可以方便患者在床上或者座椅上时通过无线遥控的方式来控制轮椅移动到身边。
实施例2
一种助行器，如图1所示，包括助行器本体，还包括上述的多模态人机交互操控手柄，多模态人机交互操控手柄与助行器本体控制模块通过无线局域网通信连接，多模态人机交互操控手柄可拆卸地安装在助行器本体上。助行器本体运行一个用于底盘驱动的ROS2节点，并且订阅/cmd_vel话题，在接收到/cmd_vel话题数据之后，控制轮椅两个差速轮实现平面内的任意运动。关于多模态人机交互操控手柄的详细描述，可以参照上述多模态人机交互操控手柄实施例中的对应描述，在此不再赘述。
实施例3
上述多模态人机交互操控手柄对应的多模态人机交互操控方法，关于手柄的详细描述，可以参照上述手柄实施例中的对应描述，在此不再赘述。如图4所示，该方法包括以下步骤：
S1、连接助行器本体所在的局域网；
S2、初始化多模态人机交互操控手柄的节点，并初始化速度话题，即/cmd_vel话题；
由于用户可以通过模式转换开关选择当前操控手柄所处的模式，即摇杆模式、手势模式、语音模式，需要对手柄当前所处的模式进行判断；
S3、判断是否是摇杆模式；
S4、若判定是摇杆模式，则读取摇杆XY数据，并设置速度话题的数据；具体包括以下步骤：
S41、采集读取摇杆的模拟电压信号，模拟电压信号为摇杆在XY轴方向偏离中心的位置量转化成0~3.3V的模拟电压；
S42、将在Y轴方向偏离中心的位置y转化赋值为速度话题中沿着y轴的线速度，将在X轴方向偏离中心的位置x转化赋值为速度话题中绕着z轴的角速度。
S5、若判定不是摇杆模式，则判断是否是手势模式；
S6、若判定是手势模式，则读取手势识别结果，并设置速度话题的数据；具体包括以下步骤：
S61、读取手势识别结果；本实施例可以识别9种手势，包括最常用的上下左右前后等。为了提高系统的安全性和稳定性，本实施例只识别和利用9种手势中的前后左右控制助行器的移动，并将识别到的其他手势结果识别为停止小车运动，具体地，手势识别模块的识别结果包括前进、后退、往左、往右、其他5种手势，其他5种手势识别为停止小车运动。
S62、通过手势控制指令表匹配手势识别结果对应的速度话题中各个参数的值；其中，手势控制指令表内存储若干手势名称与速度话题中各个参数的值之间的对应关系，此处可以参照实施例1中的表2；
S63、根据匹配结果设置速度话题中各个参数的值。
S7、若判定不是手势模式，则判断是否是语音模式；
S8、若判定是语音模式，则读取语音识别结果，并设置速度话题的数据；具体包括以下步骤：
S81、读取离线语音识别模块的识别结果产生的ID；离线语音识别模块内置专用于语音处理的人工智能芯片，可以支持300多条命令词以内的本地语音识别，其识别结果会产生一个字节的ID，通过UART发送给主控单元。在该操控手柄中，提前设置了9个控制命令词，分别为：低速前进、低速后退、低速左转、低速右转、高速前进、高速后退、高速左转、高速右转、停止运动。控制命令词分别对应的ID号设置为10~18。此处可以参照实施例1中的表1。
S82、查找预设的语音控制指令表，获得读取到的ID对应的速度话题中各个参数的值；其中，语音控制指令表内存储若干控制命令词、ID以及速度话题中各个参数的值之间的对应关系；
S83、根据查找结果设置速度话题中各个参数的值。
S9、若判定不是语音模式，则设置速度话题的数据全为0；
S10、发布速度话题；
S11、判断是否结束操控模式；
S12、是则结束；否则延时预设时间，如延时5ms，然后返回S3步骤继续执行。
实施例4
一种电子设备200，如图5所示，包括但不限于：存储器201，其上存储有程序代码；处理器202，其与存储器联接，并且当程序代码被处理器执行时，实现一种多模态人机交互操控方法。关于方法的详细描述，可以参照上述方法实施例中的对应描述，在此不再赘述。
实施例5
一种计算机可读存储介质，如图6所示，其上存储有程序指令，程序指令被执行时实现的一种多模态人机交互操控方法。关于方法的详细描述，可以参照上述方法实施例中的对应描述，在此不再赘述。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上仅为本说明书实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变换。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的权利要求范围之内。

Claims (20)

1.一种多模态人机交互操控方法，其特征在于，包括以下步骤：
S1、连接助行器本体所在的局域网；
S2、初始化多模态人机交互操控手柄的节点，并初始化速度话题；
S3、判断是否是摇杆模式；
S4、若判定是摇杆模式，则读取摇杆XY数据，并设置所述速度话题的数据；
S5、若判定不是摇杆模式，则判断是否是手势模式；
S6、若判定是手势模式，则读取手势识别结果，并设置所述速度话题的数据；
S7、若判定不是手势模式，则判断是否是语音模式；
S8、若判定是语音模式，则读取语音识别结果，并设置所述速度话题的数据；
S9、若判定不是语音模式，则设置所述速度话题的数据全为0；
S10、发布所述速度话题；
S11、判断是否结束操控模式；
S12、是则结束；否则延时预设时间，然后返回所述S3步骤继续执行。
2.如权利要求1所述的一种多模态人机交互操控方法，其特征在于：所述S4步骤包括以下步骤：
S41、采集读取摇杆的模拟电压信号，所述模拟电压信号为所述摇杆在XY轴方向偏离中心的位置量转化成0~3.3V的模拟电压；
S42、将在Y轴方向偏离中心的位置y转化赋值为所述速度话题中沿着y轴的线速度，将在X轴方向偏离中心的位置x转化赋值为所述速度话题中绕着z轴的角速度。
3.如权利要求1所述的一种多模态人机交互操控方法，其特征在于：所述S6步骤包括以下步骤：
S61、读取手势识别结果；
S62、通过手势控制指令表匹配所述手势识别结果对应的速度话题中各个参数的值；其中，所述手势控制指令表内存储若干手势名称与速度话题中各个参数的值之间的对应关系；
S63、根据匹配结果设置所述速度话题中各个参数的值。
4.如权利要求3所述的一种多模态人机交互操控方法，其特征在于：所述手势识别结果包括前进、后退、往左、往右、停止小车运动。
5.如权利要求1所述的一种多模态人机交互操控方法，其特征在于：所述S8步骤包括以下步骤：
S81、读取离线语音识别模块的识别结果产生的ID；
S82、查找预设的语音控制指令表，获得读取到的ID对应的速度话题中各个参数的值；其中，所述语音控制指令表内存储若干控制命令词、ID以及速度话题中各个参数的值之间的对应关系；
S83、根据查找结果设置所述速度话题中各个参数的值。
6.如权利要求5所述的一种多模态人机交互操控方法，其特征在于：所述控制命令词包括低速前进、低速后退、低速左转、低速右转、高速前进、高速后退、高速左转、高速右转、停止运动。
7.一种电子设备，其特征在于，包括：存储器，其上存储有程序代码；处理器，其与所述存储器连接，并且当所述程序代码被所述处理器执行时，实现如权利要求1~6任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令被执行时实现如权利要求1~6任一项所述的方法。
9.一种多模态人机交互操控手柄，实现如权利要求1~6任一项所述的方法，其特征在于，包括：主控单元、摇杆、模式转换开关；所述摇杆用于将摇杆转动的角度转换为模拟电压信号，所述主控单元用于与助行器本体控制模块通过无线局域网通信连接，离线语音识别模块及手势识别模块的集成，所述摇杆的模拟电压信号的采集，以及建立节点，定时读取摇杆、离线语音识别模块、手势识别模块的数据，整理并发布速度话题，所述离线语音识别模块用于识别语音，并将语音识别结果传输给所述主控单元，所述手势识别模块用于识别手势，并将手势识别结果传输给所述主控单元，所述模式转换开关用于切换操控手柄的人机交互模式。
10.如权利要求9所述的一种多模态人机交互操控手柄，其特征在于：所述速度话题的数据内容包括沿着X、Y、Z方向的线速度和角速度。
11.如权利要求10所述的一种多模态人机交互操控手柄，其特征在于：所述速度话题是ROS系统中预先定义的geometry_msgs/msg/Twist类型的数据格式。
12.如权利要求9所述的一种多模态人机交互操控手柄，其特征在于：所述摇杆为两轴霍尔摇杆。
13.如权利要求12所述的一种多模态人机交互操控手柄，其特征在于：所述两轴霍尔摇杆在X、Y轴方向偏离中心的位置量转化成0~3.3V的模拟电压。
14.如权利要求13所述的一种多模态人机交互操控手柄，其特征在于：所述主控单元通过ADC外设采集读取所述两轴霍尔摇杆的模拟电压，并将所述两轴霍尔摇杆在Y轴方向偏离中心的位置y转化赋值为所述速度话题中沿着y轴的线速度，将所述两轴霍尔摇杆在X轴方向偏离中心的位置x转化赋值为所述速度话题中绕着z轴的角速度。
15.如权利要求9所述的一种多模态人机交互操控手柄，其特征在于：所述离线语音识别模块的识别结果产生一个字节的ID，并将产生的ID发送至所述主控单元。
16.如权利要求15所述的一种多模态人机交互操控手柄，其特征在于：所述主控单元内预置有语音控制指令表，所述语音控制指令表内存储若干控制命令词、ID以及速度话题中各个参数的值之间的对应关系，所述主控单元在接收到所述离线语音识别模块发送的 ID之后，查找所述语音控制指令表，设置所述速度话题中各个参数的值，然后发布速度话题。
17.如权利要求16所述的一种多模态人机交互操控手柄，其特征在于：所述控制命令词包括低速前进、低速后退、低速左转、低速右转、高速前进、高速后退、高速左转、高速右转、停止运动。
18.如权利要求9所述的一种多模态人机交互操控手柄，其特征在于：所述主控单元内预置有手势控制指令表，所述手势控制指令表内存储若干手势名称与速度话题中各个参数的值之间的对应关系，所述主控单元在接收到所述手势识别模块发送的识别结果之后，查找所述手势控制指令表，设置所述速度话题中各个参数的值进而控制助行器的运动。
19.如权利要求18所述的一种多模态人机交互操控手柄，其特征在于：所述手势识别模块的识别结果包括前进、后退、往左、往右、停止小车运动。
20.一种助行器，包括助行器本体，其特征在于：还包括如权利要求9~19任一项所述的多模态人机交互操控手柄，所述多模态人机交互操控手柄与助行器本体控制模块通过无线局域网通信连接，所述多模态人机交互操控手柄可拆卸地安装在所述助行器本体上。
CN202311148631.3A 2023-09-07 2023-09-07 多模态人机交互操控方法、手柄、设备、介质及助行器 Active CN116880703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311148631.3A CN116880703B (zh) 2023-09-07 2023-09-07 多模态人机交互操控方法、手柄、设备、介质及助行器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311148631.3A CN116880703B (zh) 2023-09-07 2023-09-07 多模态人机交互操控方法、手柄、设备、介质及助行器

Publications (2)

Publication Number Publication Date
CN116880703A true CN116880703A (zh) 2023-10-13
CN116880703B CN116880703B (zh) 2023-12-15

Family

ID=88264823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311148631.3A Active CN116880703B (zh) 2023-09-07 2023-09-07 多模态人机交互操控方法、手柄、设备、介质及助行器

Country Status (1)

Country Link
CN (1) CN116880703B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120239396A1 (en) * 2011-03-15 2012-09-20 At&T Intellectual Property I, L.P. Multimodal remote control
CN109976338A (zh) * 2019-03-14 2019-07-05 山东大学 一种多模态四足机器人人机交互系统及方法
CN110236812A (zh) * 2019-07-16 2019-09-17 哈尔滨理工大学 一种具有体征监测功能的多模态人机交互智能轮椅系统
CN114732610A (zh) * 2022-04-24 2022-07-12 江苏理工学院 一种采用多模态人机交互控制系统的智能轮椅
CN115399950A (zh) * 2022-08-30 2022-11-29 中国科学院沈阳自动化研究所 具有定位导航与多模态人机交互功能的智能轮椅及控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120239396A1 (en) * 2011-03-15 2012-09-20 At&T Intellectual Property I, L.P. Multimodal remote control
CN109976338A (zh) * 2019-03-14 2019-07-05 山东大学 一种多模态四足机器人人机交互系统及方法
CN110236812A (zh) * 2019-07-16 2019-09-17 哈尔滨理工大学 一种具有体征监测功能的多模态人机交互智能轮椅系统
CN114732610A (zh) * 2022-04-24 2022-07-12 江苏理工学院 一种采用多模态人机交互控制系统的智能轮椅
CN115399950A (zh) * 2022-08-30 2022-11-29 中国科学院沈阳自动化研究所 具有定位导航与多模态人机交互功能的智能轮椅及控制方法

Also Published As

Publication number Publication date
CN116880703B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN201853137U (zh) 基于光电传感器的智能化自循迹小车控制系统
CN101976075A (zh) 基于语音控制的智能化自循迹小车控制系统
Yanco et al. Preliminary investigation of a semi-autonomous robotic wheelchair directed through electrodes
CN102715988A (zh) 人机交互智能轮椅
CN207657960U (zh) 自动跟随手机遥控平衡车自平衡电动车控制系统
CN116880703B (zh) 多模态人机交互操控方法、手柄、设备、介质及助行器
CN105014676A (zh) 一种机器人运动控制方法
CN105082137A (zh) 一种新型机器人
Haddad et al. Intelligent HMI and control for steering a powered wheelchair using a Raspberry Pi microcomputer
CN107985487B (zh) 自动平衡车控制系统
Derasari et al. Motorized wheelchair with bluetooth control and automatic obstacle avoidance
CN206795850U (zh) 一种新型智能化控制人形机器人
CN201432297Y (zh) 一种智能机器人
Maskeliunas et al. Multimodal wheelchair control for the paralyzed people
CN202896722U (zh) 一种机器人用行走机构
Kim et al. A Literature Review on the Smart Wheelchair Systems
CN109434859A (zh) 一种基于vr技术的远程机器人控制系统及方法
Ajay et al. Smart wheelchair
CN202975807U (zh) 一种轮式机器人运动控制系统
CN105279723A (zh) 移动献血助理系统、包含电动献血车的服务系统及方法
Ghorbel et al. An embedded real-time hands free control of an electrical wheelchair
WO2017219716A1 (zh) 一种电动平衡独轮滑板车的智能控制器
CN209607230U (zh) 一种智能双向手语翻译装置
CN208031469U (zh) 一种引导下肢外骨骼机器人行走的智能拐杖的检测电路
CN214776255U (zh) 一种教学用体感控制小车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant