CN106445123A - 一种人机交互装置及方法 - Google Patents

一种人机交互装置及方法 Download PDF

Info

Publication number
CN106445123A
CN106445123A CN201610814467.9A CN201610814467A CN106445123A CN 106445123 A CN106445123 A CN 106445123A CN 201610814467 A CN201610814467 A CN 201610814467A CN 106445123 A CN106445123 A CN 106445123A
Authority
CN
China
Prior art keywords
module
action
belly
user
man
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610814467.9A
Other languages
English (en)
Inventor
曾喻江
邵威
薛志东
杨希
魏涛
邹苇
薛森原
王燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201610814467.9A priority Critical patent/CN106445123A/zh
Publication of CN106445123A publication Critical patent/CN106445123A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种人机交互装置及方法，其装置包括信号检测模块、信号识别模块、映射模块、通信模块、反馈模块和电源模块；其方法包括以下步骤：建立人机交互装置与外部处理器之间的通信连接；建立动作与控制命令的映射关系；当检测到用户腹部动作，根据映射关系将该腹部动作转换为控制命令发送到外部处理器；当外部处理器完成控制命令对应的处理，生成提示信息发送给人机交互装置；本发明提供的人机交互装置以及方法，适用于双手受限或语音受限的场景下用户通过腹部运动控制实现人机交互。

Description

一种人机交互装置及方法
技术领域
本发明属于信息技术领域，更具体地，涉及一种人机交互装置及方法。
背景技术
当前人机交互装置及方式，除常见键盘、鼠标、触屏外，主要通过语音、表情、动作识别的方式进行自然的人机交互，以解决双手受限场景中交互问题；现有技术中有一种通过智能腰带来检测人体体征参数的装置及方法，这种装置主要用于体征监控，属于被动接收装置类，未能实现主动的人机交互。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种人机交互装置及方法，其目的在于通过腹部运动产生时域信号实现主动的人机交互。
为实现上述目的，按照本发明的一个方面，提供了一种人机交互装置，包括信号检测模块、信号识别模块、映射配置模块、通信模块、反馈模块、电源模块；
其中，信号识别模块与信号检测模块连接，映射配置模块与信号识别模块和通信模块连接，反馈模块与映射配置模块连接；
信号检测模块用于检测用户的腹部张力；信号识别模块用于根据腹部张力生成控制信号，映射配置模块用于将控制信号与预设的命令进行映射，并将外部处理器的反馈信息与反馈方式进行映射；通信模块用于实现人机交互装置与外部处理器之间的通信；反馈模块用于接收外部处理器命令并发送给用户；电源模块用于为人机交互装置供电。
优选的，上述人机交互装置还包括设置模块；设置模块与通信模块连接；设置模块作为用户与人机交互装置的操作接口，用户通过设置模块对人机交互装置进行设置，包括通信模块连接设置、人机交互重置设置，确认设置。
优选的，上述人机交互装置，其设置模块包括具有数字按键和符号按键的键盘。
优选的，上述人机交互外设还包括显示模块；显示模块与电源模块和通信模块连接；用于显示电源剩余电量以及通信模块的连接状态。
为实现本发明目的，按照本发明的另一方面，基于上述人机交互装置，提供了一种人机交互方法，包括以下步骤：
(1)建立人机交互装置与外部处理器之间的通信连接；
(2)建立用户腹部动作与控制命令的映射关系；
(3)当检测到用户腹部动作，根据上述映射关系将该腹部动作转换为控制命令发送到外部处理器；
(4)外部处理器根据控制命令生成提示信息发送给人机交互装置；
(5)人机交互装置将所述提示信息采用语音或震动的方式反馈给用户。
优选地，上述人机交互方法，其步骤(2)包括如下子步骤：
(2.1)定义基本腹部动作，包括持续收缩S1、瞬时收缩S2、持续鼓涨G1、瞬时鼓涨G2、持续放松F1、瞬时放松F2；
(2.2)建立基本腹部动作或基本腹部动作的组合与控制命令之间的映射关系；其中，控制命令包括开始命令、开始确认命令、动作命令、结束命令以及结束确认命令。
优选地，上述人机交互方法，其腹部基本动作定义如下：
持续收缩S1满足：A<a1*Amin，0<a1<1.0，且T>b1*Ts，b1>1.0；
持续鼓涨G1满足：A>a2*Amax，a2>1.0，且T>b2*Tg，b2>1.0；
持续放松F1满足：(1-a3)*Amean<A<(1+a3)*Amean，0<a3<1.0，且T>Tg+Ts；
瞬时收缩S2：A<a1*Amin，0<a1<1.0，且T<Ts/b3，b4>1.0；
瞬时鼓涨G2满足：A>a2*Amax，a2>1.0，且T<Tg/b4，b5>1.0；
瞬时放松F2满足：(1-a3)*Amean<A<(1+a3)*Amean，0<a1<1.0，且T<<(Tg+Ts)；
其中，A是指用户张力，T是指动作持续时间；Amean是指用户张力均值，Amin是指收缩阈值，Amax是指鼓涨阈值，Ts是指用户收缩动作的周期，Tg是指用户鼓胀动作周期；
an是指张力阀值保险系数，bm是指时间阀值保险系数；n＝1，2，3；m＝1，2，3，4；参数an与参数bm通过使用多次引导式用户腹部运动获得的数据进行分类训练获得；
放松是指人体在自然呼吸状况下的状态；收缩是指腹部张力A小于收缩阈值Amin的动作，鼓涨是指腹部张力A大于鼓涨阈值Amax的动作；瞬时放松F2是收缩与鼓涨的过渡状态，将其对应的控制命令作为收缩与鼓涨的分割命令。
优选地，上述人机交互方法，其映射关系具体如下：
其开始命令为持续收缩S1、瞬时收缩S2、持续鼓涨G1、瞬时鼓涨G2、持续放松F1、瞬时放松F2中的一个或多个腹部动作的组合；
其动作命令是区别于开始命令的、持续收缩S1、瞬时收缩S2、持续鼓涨G1、瞬时鼓涨G2、持续放松F1、瞬时放松F2中的一个或多个腹部动作的组合；通过瞬时放松F2对各动作进行分割；
其结束命令为区别于开始命令与动作命令的、持续收缩S1、瞬时收缩S2、持续鼓涨G1、瞬时鼓涨G2、持续放松F1、瞬时放松F2中的一个或多个腹部动作的组合。
优选地，上述人机交互方法，其开始确认命令通过人机交互装置的震动提示反馈给用户；
其结束确认命令通过人机交互装置的区别于开始确认命令的震动提示反馈给用户。
优选地，上述人机交互方法，其用户腹部动作与控制命令的映射关系具体如下：
(a)将持续放松F1映射为开始命令或结束命令，瞬时放松F2映射为动作分割命令；
(b)将持续收缩S1、瞬时收缩S2、持续鼓涨G1、瞬时鼓涨G2这四个动作映射为0，1，2，3四个数字；根据这四个数字进行4进制编码，获得256个编码符号；
将上述256个编码符号与ASCII编码匹配，达到通过腹部动作实现ASCII码字符输入的目的；进而通过将ASCII与处理器的键盘码进行映射，达到通过腹部动作实现处理器输入的目的。
优选地，上述人机交互方法中，通过将上述映射关系映射到鼠标、触屏的事件操作，实现对计算机命令的模拟触发。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明所提供的人机交互装置及方法，由于采用腹部动作与计算机等外部处理器进行交互，适用于双手输入受限、语音输入受限的应用场景；相较于传统的输入方法，具有明显优势；
(2)本发明所提供的人机交互装置及方法，通过对腹部动进行定义，将动作或动作的组合与控制命令进行映射；由于其所定义的腹部动作所产生的时序信号有明显差异，具有易于分类、识别的优点；通过映射编码之后，易于被外部处理器解析；
(4)本发明所提供的人机交互装置及方法，其优选方案通过将腹部动作组合与ASII编码进行匹配映射，实现模拟输入，可以与移动终端符号输入方法相结合与移动终端进行交互；也可以与现有采用ASCII码匹配的计算机输入系统相结合，达到与通用计算机系统交互的目的；可以解放双手，也适用于语音受限的应用场景；
(5)本发明所提供的人机交互装置及方法，可通过提供动作命令与具体计算机命令间的映射工具和SDK工具，可以让用户自定义人机交互装置腹部动作与控制命令，以及与计算机间的交互，达到与多个应用程序交互的效果。
附图说明
图1是本发明实施例提供的人机交互装置的系统结构示意图；
图2是本发明实施例中腹控命令到外部处理器执行命令的模块调用示意图；
图3本发明实施例中外部处理器反馈执行命令与人机交互装置模块调用示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例提供的人机交互装置，其系统框图如图1所示，包括信号检测模块、信号识别模块、映射配置模块、通信模块、显示模块、设置模块、反馈模块、电源模块；其设置模块采用按键实现；
其中，信号识别模块与信号检测模块连接，映射配置模块与信号识别模块和通信模块连接，反馈模块与映射配置模块连接；
信号检测模块用于检测用户的腹部张力，采用单片机与应变片实现；通过采集应变片的形变并根据形变检测用户腹部张力；
信号识别模块用于根据腹部张力生成控制信号；实施例中，用户腹部的收缩和鼓胀使得应变片输出电阻发生变化，将输出电阻与预设的阈值进行比较，识别出用户的放松状态、人为收缩动作或鼓胀动作；根据鼓胀持续时间或者收缩持续时间，识别出持续鼓胀、瞬时鼓胀、持续收缩、瞬时收缩和正常放松；
映射配置模块用于将腹部动作与预设的命令进行映射编码，通过映射模块将这五种动作进行编码，生成人机交互命令；并将外部处理器的反馈信息与反馈方式进行映射；
通信模块用于实现人机交互装置与外部处理器之间的通信；实施例中，采用蓝牙模块或者WiFi模块作为通信模块，实现人机交互装置与外部处理终端之间的信息传输；当外部处理终端收到命令并确认执行后，通过通信模块将反馈信息发送到反馈模块；
反馈模块用于接收外部处理器命令并发送给用户；显示模块用于显示电源状态以及通信模块的连接状态；设置模块作为用户与人机交互装置的操作接口，用户通过设置模块对人机交互装置进行设置，包括通信模块连接设置、人机交互重置设置，确认设置；电源模块用于为人机交互装置供电。
实施例中，与人机交互装置进行交互的外部处理器具有开放的API和SDK工具，可由用户根据需求自定义人机交互装置腹部动作与控制命令，以及与处理器之间的交互。
以下结合图1，图2和图3阐述实施例提供的人机交互装置的工作原理：实施例提供的这种人机交互装置，根据其腹部动作获取外部处理器的过程中，对系统模块的调用如图2所示：由信号检测模块获取用户腹部张力，信号识别模块根腹部张力识别用户腹部动作；通信模块将腹部动作发送到映射模块，映射模块将将用户腹部动作与控制命令进行匹配映射，生成控制命令；
实施例中，外部处理器反馈提示用户的系统模块调用流程如图3所示，将生成的控制命令通过驱动模块和通信模块发送到人机交互装置；信号识别模块根据控制命令生成反馈信号；反馈模块根据反馈信号生成震动信号或者语音信号反馈到用户。
实施例中，基于上述人机交互装置提供的人机交互方法，适用但不限于智能导游场景，用户穿戴上述人机交互装置，通过人机交互装置的蓝牙与一个装有智能导游APP的移动终端相连；用户可以通过该人机交互装置与智能导游系统交互，使用语音导游功能、路线功能；具体如下：
(1)用户通过人机交互装置的控制按键设置与移动终端之间的通信连接；
(2)通过人机交互装置设置腹部动作与控制命令之间的映射关系；具体如下表1所列：
表1腹部动作与用户命令对应关系
腹部动作 用户命令
S1-G1G1-F1 确认播放
S1-S2S2S2-F1 播放下一条语音
S1-S2S2-F1 播放上一条语音
S1-S2-F1 暂停或继续播放
S1-S1G1-F1 返回上层功能模块
S1-G1G1G1-F1 请求导航提示
S1-S1S1S1-F1 关闭导航功能
(3)用户到达景区中某个景点位置，APP弹出是否播放该景点导游信息的提示，通过蓝牙模块反馈到腰带语音模块和震动模块；
(4)用户通过腹部动作送S1-G1G1-F1，确认播放；当用户希望听下一条解说，采用腹部动作S1-S2S2S2-F1控制移动终端；当用户希望暂停或继续播放，采用腹部动作S1-S2-F1控制移动终端；当用户需要返回上层功能模块，采用腹部动作S1-S1G1-F1控制移动终端；当用户需要发送导航提示命令，采用腹部动作S1-G1G1G1-F1控制移动终端的APP系统通过启动导航功能；当到达目的地，移动终端通过反馈单元通知用户；当用户需要关闭导航功能，则采用腹部动作S-SSS-F控制移动终端；用户通过腹部动作达到控制移动终端的目的，适用于双手受限或者语音受限的应用场景。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人机交互装置，其特征在于，包括信号检测模块、信号识别模块、映射配置模块、通信模块、反馈模块和电源模块；
所述信号识别模块与信号检测模块连接，映射配置模块与信号识别模块和通信模块连接，反馈模块与映射配置模块连接；
所述信号检测模块用于检测用户的腹部张力；所述信号识别模块用于根据腹部张力生成控制信号；所述映射配置模块用于将控制信号与预设的命令进行映射，并将外部处理器的反馈信息与反馈方式进行映射；所述通信模块用于实现人机交互装置与外部处理器之间的通信；所述反馈模块用于接收外部处理器命令并发送给用户；所述电源模块用于为人机交互装置供电。
2.如权利要求1所述的人机交互装置，其特征在于，还包括设置模块；所述设置模块与通信模块连接；设置模块作为用户与人机交互装置的操作接口；用户通过设置模块对人机交互装置进行设置，包括通信模块连接设置、人机交互重置设置和确认设置。
3.如权利要求2所述的人机交互装置，其特征在于，所述设置模块包括具有数字按键和符号按键的键盘。
4.如权利要求1或2所述的人机交互装置，其特征在于，还包括显示模块；所述显示模块与电源模块和通信模块连接；用于显示电源剩余电量以及通信模块的连接状态。
5.一种基于权利要求1至4任一项所述的人机交互装置的人机交互方法，其特征在于，包括以下步骤：
(1)建立人机交互装置与外部处理器之间的通信连接；
(2)建立用户腹部动作与控制命令的映射关系；
(3)当检测到用户腹部动作，根据所述映射关系将所述腹部动作转换为控制命令发送到外部处理器；
(4)外部处理器根据所述控制命令生成提示信息反馈给人机交互装置；
(5)人机交互装置将所述提示信息采用语音或震动的方式反馈给用户。
6.如权利要求5所述的人机交互方法，其特征在于，所述步骤(2)包括如下子步骤：
(2.1)定义基本腹部动作，包括持续收缩S1、瞬时收缩S2、持续鼓涨G1、瞬时鼓涨G2、持续放松F1、瞬时放松F2；
(2.2)建立所述基本腹部动作或基本腹部动作的组合与控制命令之间的映射关系；所述控制命令包括开始命令、开始确认命令、动作命令、结束命令以及结束确认命令。
7.如权利要求6所述的人机交互方法，其特征在于，所述基本腹部动作定义如下：
持续收缩S1满足：A<a1*Amin，0<a1<1.0，且T>b1*Ts，b1>1.0；
持续鼓涨G1满足：A>a2*Amax，a2>1.0，且T>b2*Tg，b2>1.0；
持续放松F1满足：(1-a3)*Amean<A<(1+a3)*Amean，0<a3<1.0，且T>Tg+Ts；
瞬时收缩S2：A<a1*Amin，0<a1<1.0，且T<Ts/b3，b4>1.0；
瞬时鼓涨G2满足：A>a2*Amax，a2>1.0，且T<Tg/b4，b5>1.0；
瞬时放松F2满足：(1-a3)*Amean<A<(1+a3)*Amean，0<a1<1.0，且T<<(Tg+Ts)；
其中，A是指用户张力，T是指动作持续时间；Amean是指用户张力均值，Amin是指收缩阈值，Amax是指鼓涨阈值，Ts是指用户收缩动作的周期，Tg是指用户鼓胀动作周期；an是指张力阀值保险系数，bm是指时间阀值保险系数；n＝1，2，3；m＝1，2，3，4。
8.如权利要求6所述的人机交互方法，其特征在于，所述映射关系具体如下：
所述开始命令为持续收缩S1、瞬时收缩S2、持续鼓涨G1、瞬时鼓涨G2、持续放松F1、瞬时放松F2中的一个或多个腹部动作的组合；
所述动作命令是区别于开始命令的、持续收缩S1、瞬时收缩S2、持续鼓涨G1、瞬时鼓涨G2、持续放松F1、瞬时放松F2中的一个或多个腹部动作的组合；通过瞬时放松F2对各动作进行分割；
所述结束命令为区别于开始命令与动作命令的、持续收缩S1、瞬时收缩S2、持续鼓涨G1、瞬时鼓涨G2、持续放松F1、瞬时放松F2中的一个或多个腹部动作的组合。
9.如权利要求6所述的人机交互方法，其特征在于，所述用户腹部动作与控制命令的映射关系具体如下：
(a)将持续放松F1映射为开始命令或结束命令，瞬时放松F2映射为动作分割命令；
(b)将持续收缩S1、瞬时收缩S2、持续鼓涨G1、瞬时鼓涨G2这四个动作映射为0，1，2，3四个数字；根据这四个数字进行4进制编码，获得256个编码符号；
将上述256个编码符号与ASCII编码匹配，达到通过腹部动作实现ASCII码字符输入的目的；进而通过将ASCII与处理器的键盘码进行映射，达到通过腹部动作实现处理器输入的目的。
10.如权利要求9所述的人机交互方法，其特征在于，所述开始确认命令通过人机交互装置的震动提示反馈给用户；所述结束确认命令通过人机交互装置的区别于开始确认命令的震动提示反馈给用户。
CN201610814467.9A 2016-09-09 2016-09-09 一种人机交互装置及方法 Pending CN106445123A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610814467.9A CN106445123A (zh) 2016-09-09 2016-09-09 一种人机交互装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610814467.9A CN106445123A (zh) 2016-09-09 2016-09-09 一种人机交互装置及方法

Publications (1)

Publication Number Publication Date
CN106445123A true CN106445123A (zh) 2017-02-22

Family

ID=58168489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610814467.9A Pending CN106445123A (zh) 2016-09-09 2016-09-09 一种人机交互装置及方法

Country Status (1)

Country Link
CN (1) CN106445123A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021966A (zh) * 2007-03-12 2007-08-22 姚卫平 一种提示方法和装置
TW201038254A (en) * 2009-04-21 2010-11-01 Univ Nat Chiao Tung Breathinging signal processing device and method
CN102301314A (zh) * 2009-02-05 2011-12-28 国立大学法人大阪大学 输入设备、可穿戴计算机以及输入方法
WO2015087318A1 (en) * 2013-12-09 2015-06-18 Saada Jerry Yaacov Learning and advancement system and method thereof
CN105592781A (zh) * 2014-11-27 2016-05-18 英特尔公司 可穿戴式个人计算机和医疗设备
CN105756470A (zh) * 2014-08-21 2016-07-13 现代自动车株式会社 使用可穿戴装置控制车辆行李箱打开或关闭的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021966A (zh) * 2007-03-12 2007-08-22 姚卫平 一种提示方法和装置
CN102301314A (zh) * 2009-02-05 2011-12-28 国立大学法人大阪大学 输入设备、可穿戴计算机以及输入方法
TW201038254A (en) * 2009-04-21 2010-11-01 Univ Nat Chiao Tung Breathinging signal processing device and method
WO2015087318A1 (en) * 2013-12-09 2015-06-18 Saada Jerry Yaacov Learning and advancement system and method thereof
CN105756470A (zh) * 2014-08-21 2016-07-13 现代自动车株式会社 使用可穿戴装置控制车辆行李箱打开或关闭的方法和系统
CN105592781A (zh) * 2014-11-27 2016-05-18 英特尔公司 可穿戴式个人计算机和医疗设备

Similar Documents

Publication Publication Date Title
CN105446491B (zh) 一种基于智能机器人的交互方法和装置
JP2018507434A (ja) ロボットシステムの音声識別システム及び方法
CN105224069A (zh) 一种增强现实虚拟键盘输入方法及使用该方法的装置
JP2011530727A (ja) ジェスチャ多次元分析のためのシステムおよび方法
CN104965596A (zh) 语音操控系统
CN106203344A (zh) 一种用于智能机器人的情绪识别方法及系统
CN104765455A (zh) 基于敲击振动的人机交互系统
CN106095095A (zh) 一种面向智能机器人的娱乐交互方法及系统
CN104616653A (zh) 唤醒词匹配方法、装置以及语音唤醒方法、装置
CN105405441B (zh) 一种语音信息的反馈方法及装置
CN203149569U (zh) 一种语音手势交互翻译装置
CN107225577A (zh) 应用在智能机器人上的触觉感知方法以及触觉感知装置
CN202041916U (zh) 一种声控鼠标
CN103426342B (zh) 一种语音沟通方法和语音沟通装置
CN102178535A (zh) 颈椎趣味保健系统及其实现方法
CN102819751A (zh) 一种基于动作识别的人机互动方法及装置
CN106388713A (zh) 智能扫地机器人
CN111785267A (zh) 一种交互控制方法、装置及计算机可读存储介质
CN104080026B (zh) 一种信息处理的方法及一种线控耳机
CN103295570A (zh) 一种手套式发声系统
CN106445123A (zh) 一种人机交互装置及方法
KR101337420B1 (ko) 감성대화단말기
CN206441118U (zh) 一种人机交互装置
JP2015150620A (ja) ロボット制御システムおよびロボット制御プログラム
CN202887105U (zh) 盲人键盘

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination