CN110007767A - 人机交互方法和舌训练系统 - Google Patents

人机交互方法和舌训练系统 Download PDF

Info

Publication number
CN110007767A
CN110007767A CN201910298355.6A CN201910298355A CN110007767A CN 110007767 A CN110007767 A CN 110007767A CN 201910298355 A CN201910298355 A CN 201910298355A CN 110007767 A CN110007767 A CN 110007767A
Authority
CN
China
Prior art keywords
man
user
tongue
sensor
machine interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910298355.6A
Other languages
English (en)
Inventor
钱丽雯
钱玉芬
张哲谌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Original Assignee
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine filed Critical Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority to CN201910298355.6A priority Critical patent/CN110007767A/zh
Publication of CN110007767A publication Critical patent/CN110007767A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及人机交互领域,提供了一种基于人机界面的人机交互方法和舌训练系统,该人机交互方法包括如下步骤:监测设置于用户口腔内的传感器所反馈的来自舌头的触碰信号;根据所反馈的触碰信号,在人机界面上显示反馈结果。该舌训练系统,包括:终端,终端上显示有人机界面;传感器,设置于用户的口腔内,用于反馈来自用户舌头的触碰信号,传感器与终端通信连接;终端根据所反馈的触碰信号,在人机界面上显示反馈结果。本申请的实施方式极大地丰富了应用程序和电子游戏的操控感,提高了用户使用体验。

Description

人机交互方法和舌训练系统
技术领域
本发明涉及人机交互领域,特别涉及一种人机交互方法和舌训练系统。
背景技术
人机交互(Human-Computer Interaction,简写HCI):是指人与计算机之间使用某种对话语言,以一定的交互方式,为完成确定任务的人与计算机之间的信息交换过程。
随着虚拟现实技术、增强现实技术的演进,人机交互的方式在传统的键鼠操作、近十年来风靡一时的触屏操作的技术上也有了不少新的突破,形成了更多种类的体感操作方式。例如,基于动作捕捉技术,通过获取用户的手势,身体摆动动作而产生的操作方式,以及基于人工智能识别技术,通过获取用户的面部表情、眼神而形成的操作方式等等。
发明内容
在本申请的一个实施方式中,提供了一种人机交互方法,基于人机界面,包括如下步骤:
监测设置于用户口腔内的传感器所反馈的来自舌头的触碰信号;
根据所反馈的触碰信号,在人机界面上显示反馈结果。
本申请的实施方式在帮助用户训练舌头的运动,提高舌头的灵活性的同时,提供了一种崭新的人机交互方式。该人机交互方法借助设置在用户的口腔内的传感器获取用户的舌头的运动状态,从而能够在人机界面上反馈出用户舌头运动的交互结果,因此用户能够通过舌头操控应用程序或游戏,提高使用的趣味性,新的体感交互方式还能够给用户带来沉浸感,提高了用户使用体验。
在本申请的另一个实施方式中,还提供了一种舌训练系统,包括:
终端,终端上显示有人机界面;
传感器,设置于用户的口腔内,用于反馈来自用户舌头的触碰信号,传感器与终端通信连接;
终端根据所反馈的触碰信号,在人机界面上显示反馈结果。
本申请的实施方式借助设置在用户的口腔内的传感器获取用户的舌头的运动状态,从而能够在人机界面上反馈出与用户舌头运动的交互结果。在提供了一种崭新的人机交互方式的同时,还能够帮助用户训练舌头的运动,提高舌头的灵活性。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图推导出其他的附图中未出现的关联结构。
图1是本申请第一实施方式提供的人机交互方法的流程图;
图2是本申请第一实施方式提供的舌训练系统的模块框图;
图3是本申请第二实施方式提供的舌训练系统在装入口腔内时的示意图;
图4是本申请第二实施方式提供的舌训练系统的立体示意图;
图5是本申请第二实施方式提供的舌训练系统在装入口腔内时,人体的截面示意图。
附图标记说明:
1-传感器;
2-数据传输组件;
3-支架;31-固定部;311-咬合槽;32-贴附部;
4-供电组件。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
实施方式一
本申请的实施方式提供了一种人机交互方法和舌训练系统。
现有技术的人机交互通常根据用户的体感操作计算机等设备,例如,通过用户的手势、肢体行为、眼睑动作等产生的操作方式。这些交互方式极大地丰富了应用程序和电子游戏的操控感。
本申请基于现有技术,进一步提出了一种新型的操控方式。参见图1所示,在本申请的第一实施方式中提供了一种人机交互方法,包括如下步骤:
监测设置于用户口腔内的传感器1所反馈的来自舌头的触碰信号;
根据所反馈的触碰信号,在人机界面上显示反馈结果。
一种舌训练系统,参见图2所示,包括:
终端,终端上显示有人机界面;
传感器1,设置于用户的口腔内,用于反馈来自用户舌头的触碰信号,传感器1与终端通信连接;
终端根据所反馈的触碰信号,在人机界面上显示反馈结果。
其中,触碰信号可以根据用户舌头的舌位及肌力等反应情况产生。本申请的实施方式提出了一种新型的交互方式,人机界面能够根据用户舌头的触碰信号显示反馈结果,极大地丰富了交互体验,例如,人们可以通过舌头操控应用程序和电子游戏,提升了趣味性和操控感。特别地,对于失去双手的残障人士,可以通过舌头操控智能设备,以减少残障人士使用智能设备方面的障碍,改善其社交条件。当然,在实际操作时,还可以配合使用现有技术中的视觉跟踪技术、动作捕捉技术等,以提高反馈的准确性和使用的便利性。
在本实施方式中,终端可以是有线终端或无线终端。无线终端可以是具有无线连接能力的手持式设备、计算设备、或连接到无线调制解调器的其他处理设备。通常,用户的终端可以是个人计算机或移动终端,以移动终端中的手机、平板电脑为优选方案。其中,传感器1可以与终端通过无线通信的方式连接,例如,可以借助蓝牙、Wlan、NFC的方式进行连接,以提高用户使用时的便利性。
为了提高使用的可靠性,舌训练系统还可以包括数据传输组件2和供电组件4,数据传输组件2可以与传感器1通信连接,且与终端通信连接;供电组件4可以与传感器1和数据传输组件2分别电连接。
其中,数据传输组件2和供电组件4可以分立设置。当然,数据传输组件2和供电组件4也可以合并设置在用户牙列的外侧,以防止对用户的口腔开闭动作形成干扰。
优选地,数据传输组件2和供电组件4可以由一个盒体包裹。盒体上可以设置有防水盖,防水盖通过螺栓可拆卸地盖在盒体上,在防水盖和供电盒的本体之间还设置有密封圈。通过所设置的盒体可以对供电组件4进行隔水处理,并便于更换电池。
盒体还可以固定连接在用户的牙齿上,并跟随用户的一侧牙齿上下运动,提高了灵活性。另外,供电组件4内的电池还可以是运动充电电池。在供电组件4跟随牙齿上下运动的过程中,可以对电池本身进行充电,如此一来,还可以省去防水结构,将供电组件4和数据传输组件2完全密封,提高便利性和安全性。
值得一提的是,本实施方式人机交互方法在应用过程中不仅限于上述的硬件,在此不作赘述。
根据传感器1所反馈的触碰信号,在人机界面上能够显示反馈结果,因此本实施方式能够通过舌部的锻炼使得舌头更加灵活,在实际训练时,人机界面所显示的反馈结果能够监视用户的舌部锻炼情况,因此用户能够直观地监测到舌训练的状态,提高用户锻炼的积极性。
特别地,还能够满足更深层次的用户需求,例如学习外语发音、练习声乐等,另外还可以提供给部分舌切除术后的舌癌患者,以用于舌肌恢复训练。因此在本实施方式中,传感器1可以被设置在口腔内的任意的在进行舌运动训练时舌头需触发的部位,典型地,如腭、前牙腭舌面等区域。
其中,传感器1可以是生物电信号传感器,以用于检测舌头的生物电信号,或者,传感器1可以是触发开关,检测到舌头按压到触发开关时发出信号,其他还可以包括一些辅助性的传感器,例如温度传感器,湿度传感器等等。
以触发开关为例,当用户在进行舌部锻炼时,舌头每次按压触发开关,都可以向数据传输组件2发出触发信号。同时,数据传输组件2将信号反馈至外部的终端,即可通过终端获取训练的状态。
以学习外语发音为例,在学习小语种(例如意大利语、俄语、西班牙语等)时,需要进行弹舌训练,其中一种训练方式是:舌尖需要抵持在牙槽嵴(上牙根牙龈凸起部位),且尽量不要接触到切牙;与此同时,舌头需要伸直并微微向两侧摊开,与周围的牙根贴住,防止漏气跑气;当用户获得正确的舌位后,再吸气使得舌尖颤动以发出弹舌音。
然而现实中,用户往往由于不清楚牙槽嵴的位置,也就是正确的舌位,而无法快速完成训练要求,耗费时间和毅力。
因此,在本实施方式中,可以在牙槽嵴、切牙以及设置有按压触发开关,在实际训练时,可以指导用户获得正确的舌位并给予正向的反馈,以提高舌训练的效率和效果。
或者,传感器1也可以为压力传感器。
作为本实施方式的优选方案,传感器1可以设置有多个,且传感器1分散设置在用户的口腔内。
以《别踩白块儿》手游为例,压力传感器可以设置在舌尖较容易触碰的位置,例如腭、切牙、尖牙等区域。在现有技术中,用户只需通过手指不断触碰触摸屏“踩着”黑色方块前进即可。而,在本实施方式中,用户可以通过操控舌头按压压力传感器以“踩到”黑色方块而略过白色方块,相较于通过手指按压智能终端的触摸屏而言,本实施方式提出了一种新型的交互方式,提高了趣味性。另外,部分行动不便的残障人士也能够因此体验游戏的快乐,提高了本实施方式的适用性。
压力传感器还能够测量出抵持压力的大小,因此分散设置在用户的口腔内的压力传感器可以用于检测用户的舌头对口腔内各个表面的抵持压力。通过检测舌头的抵持压力,舌头的练习过程和练习效果可以被很好地量化,使得用户得到更多更积极的反馈,从而起到激发用户的练习兴趣和培养坚持的恒心。
其中,压力传感器可以采用薄膜式压力传感器,以减小厚度,提高训练质量,当然,其他形式的压力传感器也是可行的,在此不作赘述。
本申请的人机界面能够根据用户舌头的触碰信号显示反馈结果,极大地丰富了交互体验,例如,人们可以通过舌头操控应用程序和电子游戏,提升了趣味性和操控感。特别地,通过舌头操控智能设备能够减少部分残障人士使用智能设备的障碍,改善其社交条件。另外,本实施方式通过监测传感器1所反馈的触碰信号,使得用户能够直观地监测到舌训练的状态,提高了锻炼舌头的效率和积极性,改善了练习的效果。
实施方式二
由于口腔内部环境复杂,对普通用户而言,把彼此分离的传感器1和数据传输组件2、供电组件4等结构一一安装在自身口腔内较为困难。
有鉴于此,本申请的第二实施方式提供了一种舌训练系统,第二实施方式的舌训练系统与第一实施方式的舌训练系统大体相同,其主要不同之处在于,在本申请的第一实施方式中,借助盒体来放置数据传输组件2和传感器1;而,在本申请的第二实施方式中,借助支架3来固定舌训练系统的各个组件。
具体地,结合图3至图5所示,舌训练系统还包括:
支架3,所述支架3包括:
固定部31,用于相对固定所述舌训练系统的位置;
贴附部32,与所述固定部31相连接,所述贴附部32贴附于用户的口腔内的表面,用于安置所述传感器1。
可选地,在传感器1被设置在口腔腭部上时,贴附部32可以至少覆盖于用户的口腔腭部的部分表面。当贴附部32覆盖在口腔腭部上时,可以在贴附部32上设置的传感器1可以涵盖舌肌训练所需要接触的最主要部分的位置。
而另外,可选地,固定部31形成有咬合槽311,咬合槽311与用户的牙齿形状相配合。与用户牙齿形状匹配的咬合槽311能够牢牢地固定支架3,防止滑移。具体说来,支架3可以通过3D打印的方式,定制成与用户的牙合以及其他部位相互吻合的形状。由于形状匹配,因此能够更精确地定位各传感器1的位置。而且定制的支架3还可以提高用户的使用舒适度。
当然,固定部31也可以采用柔性材料制成公用的模板,以便于批量化地生产并降低成本。
甚至,固定部31可以形成为牙齿矫治器。在用户矫治牙齿的同时起到舌训练的作用,以扩大本实施方式舌训练系统的适用性。典型的牙齿矫治器可以是正畸托槽、隐形矫治器、矫形装置、保持器等等。
由于借助支架3实现了舌训练系统的结构一体化,因此用户在使用时,只需将支架3整个放入口中,无需精确、专业的定位操作,显著提高了操作的便利性,改善了用户体验。
其中,供电组件4和数据传输组件2可以挂装在支架3的外部,以便拆卸。而,为了进一步提高防水效果,改善用户体验,参见图4在支架3内可以形成有容置空间,供电组件4和数据传输组件2内置于容置空间之中。连接各传感器1和数据传输组件2、供电组件4的导线也都可以埋设于支架3的内部,以减少使用状态的干扰。
数据传输组件2还可以包括在支架3的表面设置有的充电接口或是数据传输接口,并可以通过防水胶塞来封闭这些接口。
另外,作为可选方案,供电组件4还可以包括电池和无线充电线圈,电池和无线充电线圈密封设置于支架3内,无线充电线圈用于为电池充电。借助于无线充电,配合无线形式的数据传输组件2,可以进一步提高防水性能,改善便利性。
在本实施方式中,通过一体化的支架3,使得舌训练系统的安装、使用的过程都更加便捷,即便是用户自己在家也可以轻松地安装和取下舌训练系统,更可以随时随地地进行舌肌训练,因此显著地提高了便利性,进而解决用户依从性差的问题。
在本实施方式中,还提出了一种典型的基于本申请的牙齿矫治器的舌训练方法,包括如下步骤:
1、在终端内下载应用程序(app),利用应用程序,建立传感器1和终端的通信连接。
2、在终端上,可以直观地显示出各个传感器1的编号、位置、当前的传感状态(例如受到的压力大小、方向等等),终端可以以图形化的界面显示,也可以以数据化的方式显示。其中,终端所显示的细节可以供用户直观地看到。
3、安装好牙齿矫治器之后,用户可以开始舌训练动作。在用户的舌头触及各个传感器1的同时,在终端上可以给予对应的数值、图形或游戏交互化反馈。
实施方式三
本申请的第三实施方式提供了一种人机交互方法,第三实施方式是第一实施方式的进一步改进,其主要改进之处在于,在本申请的第三实施方式中,人机界面上显示有:
主体,主体在人机界面中被显示为相对周围环境不断运动;
障碍物,出现于主体的运动方向之前;
主体响应于所反馈的触碰信号,改变自身的相对运动方向以躲避障碍物。
通过人机界面上的主体和障碍物引导用户的舌头触及目标传感器1并且躲避非目标传感器,相较于传统的触摸控制而言能够提高操控的趣味性。
举例来说,人机界面上显示的主体可以是青蛙,青蛙需要躲避障碍物并跳跃到目标荷叶上吃到蚊子。在实际训练时,当用户触及了正确的传感器1时能够使得青蛙跳跃到目标荷叶上;当用户以适当的力道按压传感器1时,青蛙能够吃到蚊子。其中,可以以音乐、分数以及奖励的形式给予用户正向的反馈。相较于通过双手操控游戏界面而言,本实施方式通过舌头操控游戏,能够提高使用的趣味性,新的体感交互方式还能够给用户带来沉浸感,提高了用户使用体验。
另外,对于需要训练舌头灵活性的用户而言,也可以通过游戏的方式引导用户训练舌部并给予正向的反馈,从而保持用户坚持舌训练的恒心和毅力。对于大部分人群,特别是对于儿童及青少年群体而言,利用此类方法可以显著地改善舌训练的依从性差的问题,使得舌训练过程也能充满乐趣。
优选地,当用户在训练过程中,完全规避了非目标传感器,也就是在青蛙吃蚊子游戏中,青蛙躲避了所有障碍物时,还可以给予更多的正向反馈,例如双倍的分数、奖励等。当用户的分数、奖励等积累到一定的数量,还能够解锁更多的游戏关卡或者能够获得更深入的舌训练课程,从而能够提高用户舌训练的积极性,提高训练效果。
出于类似的目的,人机交互界面还可以显示有计时模块,以使得青蛙在有限的时间内吃到蚊子。计时模块可以在用户的训练次数、分数或奖励达到指定要求后触发,以督促用户提高训练的效率。
在本实施方式中,青蛙躲避障碍物、跳跃到目标荷叶上可以跟随用户舌头的反馈信号实时更新,也可以在使用一段时间后进行盲测——仅显示舌训练的结果,而不显示或暂时不显示训练的过程,以减小用户对于游戏的依赖性。当用户需要观看训练过程时,可以通过回放的方式温习,以优化用户使用体验。
当然,人机界面也可以显示其他反馈画面,显示界面可以模拟不同的场景,用户的舌头可以模拟为该口腔环境下的角色,传感器1可以显示为不同的模块。例如:
一、场景仿真类
在简单模式中,通过设置在不同位置的模块发出初步提示(例如发光、颜色变化等),引导用户触碰口腔中对应位置的传感器1;
在困难模式中,通过模块发出的进阶提示(例如闪烁、数字倒计时等),引导用户控制触碰传感器1的时间长短或压力大小。
其中,场景可以模拟口腔环境,人机界面可以以第三视角显示,显示界面可以显示为角色抬头看天花板(上腭)。类似地,也可以模拟篮板、球门等,用户通过触碰目标传感器1能够进球。
当然,也可以模拟为星空,通过触碰目标传感器1以摘取星星;也可以模拟为星系,用户通过触碰目标传感器1完成虚拟星际旅行。
在实际使用时,可以根据用户的性别和年龄推荐场景,以提高用户使用体验。
二、按键触摸类
人机界面可以显示为第一视角显示也可以显示为第三视角。
一类为打击类游戏:所有模块向着界面的一侧滑动消失,并由新的模块迭代空白处,通过触碰目标模块并略过非目标模块以获得积分。
以《太鼓达人》为例,可以定义游戏规则为:触碰尖牙处的传感器1以切换游戏的难度,开始游戏后,当音符落入目标位置时,触碰口腔左侧的传感器1以敲击红色音符,触碰口腔右侧的传感器1以敲击蓝色音符,以获得积分。用户通过触碰口腔两侧的传感器1能够在游戏中体验打鼓乐趣。
以《别踩白块儿》为例,当界面左侧端部的黑色方块即将消失时,通过触碰口腔左侧的传感器1以“踩到”黑色方块;当界面右侧端部的黑色方块即将消失时,通过触碰口腔右侧的传感器1以“踩到”黑色方块,并获得积分。类似地,还能够应用于《节奏大师》等打击类游戏中,其中,用户可以通过滑动舌头来切换模块所处的行列。
优选地,可以设置有经典模式,以最快的速度完成指定数量的模块;限时模式,考验规定时间(例如30秒内)的完成度;接力模式,例如完成50个模块;极速模式,在规定时间内完成接力模式;以及,禅模式,遇到障碍游戏并不会结束。
一类为养成类游戏,通过触碰不同的传感器1决定角色命运,为了区别不同模块的功能,显示界面的模块可以以文字标识。
以《旅行青蛙》为例,通过触碰不同的传感器1喂养青蛙食物或者装备旅行道具,从而为青蛙的旅行作好充分的准备。通过舌头持续扫过不同传感器1以获得三叶草的收割。
以《农场》为例,通过触碰不同的传感器1能够完成农作物种子的播撒、浇水、施肥、除虫、收获以及与好友的偷菜互动。类似地,也能够应用于城市建造、星际攻防等游戏中。
三、远程射击类
根据舌头抵持力的大小控制射程的远近,根据舌头所触碰的传感器1控制射击的方向或者不同的传感器1也可以对应不同的射击的位置,例如《台球》游戏。
四、跑酷类
根据舌头触碰传感器1的时间长短来控制跳跃的距离/高度,以控制角色避开障碍或获取奖励加成。
优选地,本实施方式可以与其他人机交互方式配合使用,以减少舌头的疲劳感,带来更好的沉浸式体验。
实施方式四
现有技术往往没有给出训练结果的反馈,用户需要自行摸索,训练过程十分枯燥乏味,更不论在此过程是否做了无用功。更严重的是,若用户经过长久的训练后,舌位始终不正确而不自知,会陷入自我否定并丧失对训练本身的积极性。
有鉴于此,本申请的第四实施方式提供了一种人机交互方法,第四实施方式是第一、第三实施方式的进一步改进,其主要改进之处在于,在本申请的第三实施方式中,传感器1可以为多个,且人机界面上能够给予用户正向的反馈。
具体地,人机界面上显示有:
若干个对象,对象与传感器1的数量相同且一一对应;
对象响应于所对应的传感器1所发来的触碰信号,改变自身的显示状态。
本实施方式通过所设置的交互对象来帮助用户进行舌训练,能够提高舌训练的效率。相较于现有技术而言,用户能够直观地监视舌训练的状态,而无需自行摸索舌位及肌力情况,提高了使用的便利性和用户体验感。
其中,对象响应于所对应的传感器1所发来的触碰信号,可以通过高亮、特征点或者配合语音提示的方式改变自身的显示状态,以提高使用的便利性。
为了进一步提高用户使用体验,人机界面上还可以显示有:提示控件,提示控件用于提示用户接下来所需触碰的对象。例如,在场景仿真类游戏中,通过设置在不同位置的模块发出初步提示(例如发光、颜色变化等),引导用户触碰口腔中对应位置的传感器1;通过模块发出的进阶提示(例如闪烁、数字倒计时等),引导用户控制触碰传感器1的时间长短或压力大小。当然,也可以通过设置闹钟提醒的方式来督促用户及时进行舌训练,从而能够避免用户因逃避或遗忘导致的练习次数少的问题;还可以用过语音提醒的方式来纠正用户的舌位及肌力释放情况,以减小文字对显示界面的挤占,如“A对象位置正确“、“A对象再使劲一些”。
优选地,人机界面上还显示有:近似于口腔环境的背景贴图,其中,背景贴图可以是显示为用户口腔内部的卡通或拟真的二维或三维的模型,以帮助用户直观地监视、纠正舌位,提高了便利性和依从性。
在按键触摸类游戏中,所有模块会向着界面的一侧滑动消失,并由新的模块迭代空白处,用户通过触碰目标模块并略过非目标模块以获得积分。在《太鼓达人》中,当用户触碰不同音符时会播放不同的鼓声,然而却缺乏对命中的反馈。
因此,优选地,在本实施方式中,当用户触碰到目标传感器1时可以播放激励型音效,例如“good(好)”、“great(很好)”、“perfect(完美)”等;当用户触碰到非目标传感器1时可以播放表达遗憾的音效,例如“a ou(阿欧)”、“again(再来一次)”等,以营造更好的游戏氛围,提高用户使用体验。当然,当用户触碰到非目标传感器时也可以通过震动的方式表达遗憾,例如可以用户口腔内设置有刺激器,刺激器通过外部线圈与之耦合,产生的电流能够形成对舌部的刺激,从而给用户带来更好的沉浸式体验。
应当理解,在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本申请实施例中可能采用术语第一、第二、第三等来描述某些部件,但这些部件不应仅仅被限于定于这些术语中。这些术语仅用来将各部件彼此区分开。例如,在不脱离本申请实施例范围的情况下,第一某某部件也可以被称为第二某某部件,类似地,第二某某部件也可以被称为第一某某部件。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于监测”。类似地,取决于语境,短语“如果确定”或“如果监测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当监测(陈述的条件或事件)时”或“响应于监测(陈述的条件或事件)”。
在本申请的实施方式中,“大体上等于”、“大体上垂直于”、“大体上对称”等等的意思是,所指的两个特征之间在宏观上的尺寸或相对位置关系十分接近于所述及的关系。然而本领域技术人员清楚,由于误差、公差等客观因素的存在而使得物体的位置关系在小尺度乃至微观角度难以被正好约束。因此即使二者之间的尺寸、位置关系稍微存在点误差,也并不会对本申请的技术效果的实现产生较大影响。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
在上述的各实施方式中,尽管为使解释简单化将上述方法图示并描述为一系列动作,但是本领域的普通技术人员应理解并领会,这些方法不受动作的次序所限,因为根据一个或多个实施例,一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
本领域技术人员将可理解,信息、信号和数据可使用各种不同技术和技艺中的任何技术和技艺来表示。例如,以上描述通篇引述的数据、指令、命令、信息、信号、位(比特)、码元、和码片可由电压、电流、电磁波、磁场或磁粒子、光场或光学粒子、或其任何组合来表示。
本领域技术人员将进一步领会,结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、单元、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性,各种解说性组件、框、模块、单元、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性,但这样的实现决策不应被解读成导致脱离了本申请的范围。
最后应说明的是,本领域的普通技术人员可以理解,为了使读者更好地理解本申请,本申请的实施方式提出了许多技术细节。但是,即使没有这些技术细节和基于上述各实施方式的种种变化和修改,也可以基本实现本申请各权利要求所要求保护的技术方案。因此,在实际应用中,可以在形式上和细节上对上述实施方式作各种改变,而不偏离本申请的精神和范围。

Claims (10)

1.一种人机交互方法,基于人机界面,其特征在于,包括如下步骤:
监测设置于用户口腔内的传感器所反馈的来自舌头的触碰信号;
根据所反馈的触碰信号,在所述人机界面上显示反馈结果。
2.根据权利要求1所述的人机交互方法,其特征在于,所述人机界面上显示有:
主体,所述主体在所述人机界面中被显示为相对周围环境不断运动;
障碍物,出现于所述主体的运动方向之前;
所述主体响应于所反馈的触碰信号,改变自身的相对运动方向以躲避所述障碍物。
3.根据权利要求1所述的人机交互方法,其特征在于,所述传感器为多个,所述人机界面上显示有:
若干个对象,所述对象与所述传感器的数量相同且一一对应;
所述对象响应于所对应的传感器所发来的触碰信号,改变自身的显示状态。
4.根据权利要求3所述的人机交互方法,其特征在于,所述人机界面上还显示有:
提示控件,所述提示控件用于提示用户接下来所需触碰的对象。
5.根据权利要求3或4所述的人机交互方法,其特征在于,所述人机界面上还显示有:
近似于口腔环境的背景贴图。
6.一种舌训练系统,其特征在于,包括:
终端,所述终端上显示有人机界面;
传感器,设置于用户的口腔内,用于反馈来自用户舌头的触碰信号,所述传感器与所述终端通信连接;
所述终端根据所反馈的触碰信号,在所述人机界面上显示反馈结果。
7.根据权利要求6所述的舌训练系统,其特征在于,所述传感器为触控开关或压力传感器。
8.根据权利要求6所述的舌训练系统,其特征在于,所述传感器有多个,且所述传感器分散设置在用户的口腔内。
9.根据权利要求6所述的舌训练系统,其特征在于,所述舌训练系统还包括:
支架,所述支架包括:
固定部,用于相对固定所述舌训练系统的位置;
贴附部,与所述固定部相连接,所述贴附部贴附于用户的口腔内的表面,用于安置所述传感器。
10.根据权利要求9所述的舌训练系统,其特征在于,所述固定部形成有咬合槽,所述咬合槽与用户的牙齿形状相配合;
或者,所述固定部形成为牙齿矫治器。
CN201910298355.6A 2019-04-15 2019-04-15 人机交互方法和舌训练系统 Pending CN110007767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910298355.6A CN110007767A (zh) 2019-04-15 2019-04-15 人机交互方法和舌训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910298355.6A CN110007767A (zh) 2019-04-15 2019-04-15 人机交互方法和舌训练系统

Publications (1)

Publication Number Publication Date
CN110007767A true CN110007767A (zh) 2019-07-12

Family

ID=67171870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910298355.6A Pending CN110007767A (zh) 2019-04-15 2019-04-15 人机交互方法和舌训练系统

Country Status (1)

Country Link
CN (1) CN110007767A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021181223A1 (en) * 2020-03-12 2021-09-16 International Business Machines Corporation Intraoral device control system
CN113975732A (zh) * 2021-10-29 2022-01-28 四川大学 口内装置、基于虚拟现实技术的口腔肌功能训练系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29818783U1 (de) * 1998-10-22 1999-04-22 Hoch Gerhard Dipl Phys Vorrichtung zur Implementierung einer intraoralen, myofunktionellen Schnittstelle an den Personal Computer
CN2458683Y (zh) * 2000-12-26 2001-11-07 徐巍 可视性发音训练仪
CN101605478A (zh) * 2006-12-13 2009-12-16 高露洁—棕榄公司 具有用户交互显示器的口腔护理器具
CN103699227A (zh) * 2013-12-25 2014-04-02 邵剑锋 一种新的人机交互系统
CN103828252A (zh) * 2011-09-09 2014-05-28 接合技术公司 用于言语和语言训练的口内触觉生物反馈方法、装置以及系统
US20160154468A1 (en) * 2012-03-19 2016-06-02 Dustin Ryan Kimmel Intraoral User Interface
CN106648114A (zh) * 2017-01-12 2017-05-10 长春大学 舌机交互模型及装置
US20190004596A1 (en) * 2017-06-29 2019-01-03 Samsung Eletrônica da Amazônia Ltda. Hands-free input method and intra-oral controller apparatus
CN209460721U (zh) * 2019-04-15 2019-10-01 上海交通大学医学院附属第九人民医院 舌训练系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29818783U1 (de) * 1998-10-22 1999-04-22 Hoch Gerhard Dipl Phys Vorrichtung zur Implementierung einer intraoralen, myofunktionellen Schnittstelle an den Personal Computer
CN2458683Y (zh) * 2000-12-26 2001-11-07 徐巍 可视性发音训练仪
CN101605478A (zh) * 2006-12-13 2009-12-16 高露洁—棕榄公司 具有用户交互显示器的口腔护理器具
CN103828252A (zh) * 2011-09-09 2014-05-28 接合技术公司 用于言语和语言训练的口内触觉生物反馈方法、装置以及系统
US20160154468A1 (en) * 2012-03-19 2016-06-02 Dustin Ryan Kimmel Intraoral User Interface
CN103699227A (zh) * 2013-12-25 2014-04-02 邵剑锋 一种新的人机交互系统
CN106648114A (zh) * 2017-01-12 2017-05-10 长春大学 舌机交互模型及装置
US20190004596A1 (en) * 2017-06-29 2019-01-03 Samsung Eletrônica da Amazônia Ltda. Hands-free input method and intra-oral controller apparatus
CN209460721U (zh) * 2019-04-15 2019-10-01 上海交通大学医学院附属第九人民医院 舌训练系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021181223A1 (en) * 2020-03-12 2021-09-16 International Business Machines Corporation Intraoral device control system
US11197773B2 (en) 2020-03-12 2021-12-14 International Business Machines Corporation Intraoral device control system
GB2609136A (en) * 2020-03-12 2023-01-25 Ibm Intraoral device control system
GB2609136B (en) * 2020-03-12 2024-05-01 Ibm Intraoral device control system
CN113975732A (zh) * 2021-10-29 2022-01-28 四川大学 口内装置、基于虚拟现实技术的口腔肌功能训练系统及方法
CN113975732B (zh) * 2021-10-29 2023-01-03 四川大学 口内装置、基于虚拟现实技术的口腔肌功能训练系统及方法

Similar Documents

Publication Publication Date Title
CN103828252B (zh) 用于言语和语言训练的口内触觉生物反馈方法、装置以及系统
US20050113167A1 (en) Physical feedback channel for entertainement or gaming environments
CN100530268C (zh) 运动用辅助计量器
US7378585B2 (en) Musical teaching device and method using gloves and a virtual keyboard
US20210383714A1 (en) Information processing device, information processing method, and program
EP1729711B1 (en) Rehabilitation with music
US20100261530A1 (en) Game controller simulating parts of the human anatomy
US11690530B2 (en) Entrainment sonification techniques
CN209460721U (zh) 舌训练系统
CN108883335A (zh) 用于人与机器或人与人的可穿戴式的电子多感官接口
US20100023163A1 (en) Apparatus and Method for Assisting in Achieving Desired Behavior Patterns
JP2007518469A (ja) 前庭の生体機構を改変するためのシステムおよび方法
CN102473320A (zh) 通过学习到的来自用户的输入使视觉表示生动化
CN204380174U (zh) 智能多维互动击打宣泄训练装置
MXPA06010881A (es) Dispositivo de espirometro de estimulacion mejorado que emplea voces simuladas verbales similares a humanas para alentar el uso.
CN110007767A (zh) 人机交互方法和舌训练系统
CN112354154A (zh) 一种呼吸训练智能实现系统及方法
CN109172994A (zh) 一种裸眼3d影像拍摄显示系统
CN111760261B (zh) 一种基于虚拟现实技术的体育优化训练系统及方法
US20230191232A1 (en) Performance evaluation equipment, systems and related methods
CN207976743U (zh) 佩戴装置
JP2003154168A (ja) 運動用補助計器
CN106503127A (zh) 基于脸部动作识别的音乐数据处理方法及系统
CN203469300U (zh) 可计时和报时的跳绳
CN213046889U (zh) 一种手部智能穿戴系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination