CN118051125A - 基于压力传感器的用于舌机交互的电子设备、数据处理方法和装置 - Google Patents
基于压力传感器的用于舌机交互的电子设备、数据处理方法和装置 Download PDFInfo
- Publication number
- CN118051125A CN118051125A CN202410229393.7A CN202410229393A CN118051125A CN 118051125 A CN118051125 A CN 118051125A CN 202410229393 A CN202410229393 A CN 202410229393A CN 118051125 A CN118051125 A CN 118051125A
- Authority
- CN
- China
- Prior art keywords
- value
- coordinate
- pressure value
- pressure
- center point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 52
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 42
- 238000003860 storage Methods 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 210000000214 mouth Anatomy 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000003825 pressing Methods 0.000 claims description 6
- 210000000887 face Anatomy 0.000 claims description 4
- 230000009466 transformation Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000003254 palate Anatomy 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001169 hypoglossal nerve Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 208000018360 neuromuscular disease Diseases 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及人机交互领域,提出一种基于压力传感器的用于舌机交互的电子设备、数据处理方法和装置。电子设备包括嵌合在用户牙齿上的佩戴部件以及设置在佩戴部件上的传感器面阵列、控制部件和供电部件,传感器面阵列上的传感器数量大于第一阈值,传感器面阵列采集压力值并传输至控制部件;控制部件以无线传输方式将压力值传输给被控设备,被控设备对压力值进行解析确定目标控制方式,执行目标控制方式对应的操作。本公开实施例的电子设备使用大密度的传感器面阵列采集数据,采集到的信息量和数据的均匀性、连续性大大提升,可准确识别的舌头动作更多,可以映射为不同的控制指令,也可以检测到连续、全方向的坐标变换,舒适性和隐蔽性更好。
Description
本申请要求于2023年12月27日提交中国专利局、申请号为202311832926.2、申请名称为“电子设备、数据处理方法、装置、被控设备、存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本公开涉及人机交互领域,尤其涉及一种基于压力传感器的用于舌机交互的电子设备、数据处理方法和装置、被控设备、存储介质。
背景技术
现有的电子设备大多需要用户使用肢体进行交互,这对于肢体残疾的用户来说存在极大的不便。因此拓展人机交互的新型交互方式,满足肢体残疾的用户的日常生活需求,提升患者的生活质量水平有着重要意义。目前已有许多不依赖肢体运动的人机交互方式被提出,包括脑机交互、眼控交互、语音交互等方式,拓展了人类对于机器的控制能力。
与上述不依赖肢体运动的人机交互方式相比,舌头具有拓展人机交互的新型交互方式的天然优势。首先,控制舌头的舌下神经属于脑神经,在脊髓损伤及大多数神经肌肉疾病中,通常不会受到严重损伤。第二,舌头不占用我们的肢体器官,且舌头经过训练能够形成肌肉记忆,对脑力负担小。第三,舌头具备强大的运动能力,同时还具有很强的抗疲劳性,使用舌头进行人机交互时对用户的体力负担更小。第四,舌头位于口内,具有天然的隐秘性,不易受外界干扰。基于舌头的上述优点,如果得到合适的利用,就可以把它打造成为肢体残疾用户隐藏在口腔内的“第三只手”。
现有技术中能够采集舌头动作信息的电子设备往往采用个别传感器,没有充分利用不同传感器之间的位置关系和空间信息。因此,连续、均匀的传感器数据获取在现有技术中还没有实现。且现有技术将每个传感器的单独输出映射为单一控制指令,可准确识别的舌头动作过于单一,基于舌头动作可映射得到的控制指令也有限,导致人机交互方式难以扩展的问题。现有技术的电子设备体积通常较大,不够隐蔽。综上所述,在实现基于舌头的人机交互方面尚有提升空间。
发明内容
有鉴于此,本公开提出了一种基于压力传感器的用于舌机交互的电子设备、数据处理方法和装置、被控设备、存储介质。本公开实施例的电子设备使用大密度的传感器面阵列采集数据,因此采集到的信息量和数据的均匀性、连续性大大提升,可准确识别的舌头动作更多,可以映射为不同的控制指令,也可以检测到连续、全方向的坐标变换。且该电子设备体积较小易于佩戴,舒适性和隐蔽性更好。本公开极大地扩充了残疾人的交互能力。本公开也可以面向肢体完整的用户,使得人机交互的选择更多。
根据本公开的一方面,提供了一种基于压力传感器的用于舌机交互的电子设备,包括传感器面阵列、控制部件、供电部件和佩戴部件,所述传感器面阵列上的传感器数量大于第一阈值,所述传感器面阵列贴合于用户的上颚部,在所述控制部件的控制下,所述传感器面阵列上的各传感器分别采集压力值并传输至所述控制部件;所述佩戴部件嵌合在用户的牙齿上,所述传感器面阵列、所述控制部件和所述供电部件设置在所述佩戴部件上;所述供电部件为所述传感器面阵列和所述控制部件供电;所述控制部件以无线传输方式将所述压力值传输给被控设备,所述被控设备对所述压力值进行解析确定目标控制方式,执行所述目标控制方式对应的操作。
在一种可能的实现方式中,在使用过程中,所述电子设备整体位于口腔中。
在一种可能的实现方式中,所述传感器面阵列使用柔性可弯折压力感应薄膜制作。
在一种可能的实现方式中,所述控制部件包括切换单元、通信单元,所述切换单元用于按顺序扫描所述传感器面阵列上的传感器,所述传感器被扫描时采集压力值并输出至所述通信单元;所述通信单元用于传输所述压力值到所述被控设备。
根据本公开的另一方面,提供了一种基于压力传感器的用于舌机交互的数据处理方法,应用于上述被控设备,所述方法包括:从电子设备处接收多个压力值,并确定接收到的每个压力值对应的坐标值;解析所述压力值和所述坐标值,确定所述传感器面阵列的接触中心点的压力值和坐标值;根据接触中心点的压力值和坐标值,确定用户对所述被控设备的目标控制方式;执行所述目标控制方式对应的操作。
在一种可能的实现方式中,所述解析所述压力值和所述坐标值,确定所述传感器面阵列的接触中心点的压力值和坐标值,包括:对所述压力值进行预处理,去除所述压力值中的噪声和基线漂移;从预处理后的压力值中选择大于第二阈值的压力值,根据选择出的压力值和该压力值对应的坐标值确定用户的舌头与所述传感器面阵列的接触区域;根据所述接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值,确定所述接触中心点的压力值和坐标值。
在一种可能的实现方式中,所述坐标值包括第一方向坐标和第二方向坐标,所述根据所述接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值,确定所述接触中心点的压力值和坐标值,包括:针对所述接触区域覆盖的每一坐标值,将该坐标值对应的压力值作为权值,分别对该坐标值中的第一方向坐标和第二方向坐标进行加权处理,得到该坐标值对应的第一方向加权坐标和第二方向加权坐标;对所有第一方向加权坐标求和得到第一和值,对所有第二方向加权坐标求和得到第二和值,对所有选择出的压力值求和得到第三和值;根据所述第一和值与所述第三和值的比值,得到接触中心点的第一方向坐标;根据所述第二和值和所述第三和值的比值,得到接触中心点的第二方向坐标;根据所述接触中心点的第一方向坐标和第二方向坐标得到所述接触中心点的坐标值;根据选择出的压力值的最大值得到所述接触中心点的压力值。
在一种可能的实现方式中,所述根据接触中心点的压力值和坐标值,确定用户对所述被控设备的目标控制方式,包括:根据预设时间段内所述触控中心点的压力值和坐标值的变化方式,确定用户的舌头动作;将与所述舌头动作对应的控制方式确定为所述目标控制方式;其中,所述舌头动作包括单击、双击、长按、滑动中的一种。
在一种可能的实现方式中,所述目标控制方式包括针对所述被控设备整体的目标控制方式,以及针对所述被控设备上的可移动对象的目标控制方式。
根据本公开的另一方面,提供了一种基于压力传感器的用于舌机交互的数据处理装置,应用于上述被控设备,所述装置包括:第一确定模块,用于从电子设备处接收多个压力值,并确定接收到的每个压力值对应的坐标值;第二确定模块,用于解析所述压力值和所述坐标值,确定所述传感器面阵列的接触中心点的压力值和坐标值;第三确定模块,用于根据接触中心点的压力值和坐标值,确定用户对所述被控设备的目标控制方式;执行模块,用于执行所述目标控制方式对应的操作。
在一种可能的实现方式中,所述解析所述压力值和所述坐标值,确定所述传感器面阵列的接触中心点的压力值和坐标值,包括:对所述压力值进行预处理,去除所述压力值中的噪声和基线漂移;从预处理后的压力值中选择大于第二阈值的压力值,根据选择出的压力值和该压力值对应的坐标值确定用户的舌头与所述传感器面阵列的接触区域;根据所述接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值,确定所述接触中心点的压力值和坐标值。
在一种可能的实现方式中,所述坐标值包括第一方向坐标和第二方向坐标,所述根据所述接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值,确定所述接触中心点的压力值和坐标值,包括:针对所述接触区域覆盖的每一坐标值,将该坐标值对应的压力值作为权值,分别对该坐标值中的第一方向坐标和第二方向坐标进行加权处理,得到该坐标值对应的第一方向加权坐标和第二方向加权坐标;对所有第一方向加权坐标求和得到第一和值,对所有第二方向加权坐标求和得到第二和值,对所有选择出的压力值求和得到第三和值;根据所述第一和值与所述第三和值的比值,得到接触中心点的第一方向坐标;根据所述第二和值和所述第三和值的比值,得到接触中心点的第二方向坐标;根据所述接触中心点的第一方向坐标和第二方向坐标得到所述接触中心点的坐标值;根据选择出的压力值的最大值得到所述接触中心点的压力值。
在一种可能的实现方式中,所述根据接触中心点的压力值和坐标值,确定用户对所述被控设备的目标控制方式,包括:根据预设时间段内所述触控中心点的压力值和坐标值的变化方式,确定用户的舌头动作;将与所述舌头动作对应的控制方式确定为所述目标控制方式;其中,所述舌头动作包括单击、双击、长按、滑动中的一种。
在一种可能的实现方式中,所述目标控制方式包括针对所述被控设备整体的目标控制方式,以及针对所述被控设备上的可移动对象的目标控制方式。
根据本公开的另一方面,提供了一种被控设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为在执行所述存储器存储的指令时,实现上述方法。
根据本公开的另一方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其中,所述计算机程序指令被处理器执行时实现上述方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在被控设备的处理器中运行时,所述电子设备中的处理器执行上述方法。
根据本公开实施例的电子设备,通过设置传感器面阵列、控制部件、供电部件和佩戴部件,传感器面阵列贴合于用户的上颚部,传感器面阵列上的传感器数量大于第一阈值,使得传感器面阵列可成为大范围的、高灵敏的交互界面,具备更强的数据采集能力;在控制部件的控制下,传感器面阵列采集压力值并传输至控制部件,因此采集的压力值的信息量更多、更连续、更均匀;佩戴部件嵌合在用户的牙齿上,传感器面阵列、控制部件和供电部件设置在佩戴部件上,可实现一步佩戴和摘取,电子设备的使用更便捷,提升穿戴的舒适性和隐蔽性;控制部件以无线传输方式将压力值传输给被控设备,被控设备对压力值进行解析确定用户对被控设备的目标控制方式,执行目标控制方式对应的操作,可以实现人机交互功能。综上所述,本公开实施例的电子设备使用大密度的传感器面阵列采集数据,因此采集到的信息量和数据的均匀性、连续性大大提升,可以检测到舌头的连续、全方向的坐标变换,进而能够提升识别舌头的动作意图的准确度以及可准确识别的舌头动作的数量。不同的舌头动作可以映射为不同的控制指令,可映射得到的控制指令的多样性和数量也得以提升。本公开极大地扩充了残疾人的交互能力。本公开也可以面向肢体完整的用户,使得人机交互的选择更多。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1示出根据本公开实施例的电子设备的示例性应用场景。
图2a示出根据本公开实施例的电子设备的结构的示意图。
图2b示出根据本公开实施例的电子设备的工作流程的示意图。
图3a示出根据本公开实施例的数据处理方法的流程的示意图。
图3b示出根据本公开实施例的数据处理方法的流程的示意图。
图4a示出根据本公开实施例选择出的压力值和该压力值对应的坐标值的示例。
图4b示出根据本公开实施例选择出的压力值和该压力值对应的坐标值的示例。
图5示出根据本公开实施例的数据处理装置的结构的示意图。
图6示出根据本公开实施例的装置1900的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
下面介绍现有技术的基于舌头实现人机交互的方案(下文也称为舌机交互)。
目前舌控系统已有了初步探索。例如在舌头上放置磁铁,在脸部外部或内部设置磁感应器以识别舌势。反射式红外感测也被用于舌势的识别。
现有技术一利用霍尔开关实现了轮椅的简单方向控制,现有技术二利用微动开关实现了轮椅的简单方向控制,现有技术三中利用发光二极管结合牙齿按键实现了鼠标控制,这类利用单个微动器或开关的方案能够实现的交互方式较为有限。现有技术四通过压力传感器检测牙齿咬合,配合位移传感器检测舌头距离实现鼠标控制,简易的位移检测也只能实现有限的交互方式。现有技术五中提出在牙齿内侧上方和下方佩戴触控板,实现了鼠标控制,这种实施方式需要保持牙齿咬合,不适用日常生活,并且触控区域较小。现有技术六构建了基于多个位于上颚的传感器的舌训练系统,但是传感器之间彼此独立,只能满足少数指令的实现。
总的来说,现有技术提出的基于舌头实现人机交互的方案存在如下问题:
1、采集到的信息量有限且不够均匀、连续,基于采集到的数据可准确识别的舌头动作过于单一,人机交互方式难以扩展;
2、舌头的无意图动作引发的高频误触影响人机交互效果;
3、方案的硬件实现较为笨重,对用户的日常生活和心理自尊造成不良影响。
有鉴于此,本公开提出了一种基于压力传感器的用于舌机交互的电子设备、数据处理方法和装置、被控设备、存储介质。本公开实施例的电子设备使用大密度的传感器面阵列采集数据,因此采集到的信息量和数据的均匀性、连续性大大提升,可准确识别的舌头动作更多,可以映射为不同的控制指令,也可以检测到连续、全方向的坐标变换。且该电子设备体积较小易于佩戴,舒适性和隐蔽性更好。本公开极大地扩充了残疾人的交互能力。本公开也可以面向肢体完整的用户,使得人机交互的选择更多。
本公开实施例的电子设备能够对舌头的无意图动作和有意图动作进行识别,降低误触的概率。
本公开实施例的电子设备在使用过程中整体位于口腔中,可以降低对用户的日常生活和心理自尊带来的不良影响。
图1示出根据本公开实施例的电子设备的示例性应用场景。
如图1所示,该电子设备可以应用于用户的口腔内。该电子设备基于采集压力值的压力传感器并用于舌机交互。电子设备与被控设备无线通信,被控设备可以是轮椅、计算机、机械臂、增强现实设备、虚拟现实设备等等。用户通过舌头触碰电子设备的传感器面阵列,通过特定的动作表达控制意图(对被控设备的目标控制方式),传感器面阵列可以采集到压力值。电子设备将压力值传输给被控设备。
被控设备对接收到的压力值进行解析识别用户的目标控制方式,并执行目标控制方式对应的操作,如轮椅的移动、计算机光标的移动、点击、文本输入等。
在一种可能的实现方式中,电子设备包括传感器面阵列、控制部件、供电部件和佩戴部件,传感器面阵列上的传感器数量大于第一阈值,
传感器面阵列贴合于用户的上颚部,在控制部件的控制下,传感器面阵列上的各传感器分别采集压力值并传输至控制部件;
佩戴部件嵌合在用户的牙齿上,传感器面阵列、控制部件和供电部件设置在佩戴部件上;
供电部件为传感器面阵列和控制部件供电;
控制部件以无线传输方式将压力值传输给被控设备,被控设备对压力值进行解析确定用户对所述被控设备的目标控制方式,执行目标控制方式对应的操作。
图2a示出根据本公开实施例的电子设备的结构的示意图。
举例来说,如图2a所示,电子设备可包括传感器面阵列3、控制部件2、佩戴部件1和供电部件4。
传感器面阵列3可以包括数量大于第一阈值的压力传感器。第一阈值的数值可以根据应用场景需求设置,以保证能够采集到足够多的压力值。本公开对于第一阈值的具体数值不作限制。传感器面阵列可以是电阻式压力传感阵列、电容式压力传感阵列或压电式压力传感阵列,本公开实施例对于传感器面阵列使用何种压力传感器不作限制。
传感器面阵列可以贴合于用户的上颚部,用户的舌头与上颚部之间存在较大的空间,上颚部的面积也比较大,便于用户通过舌头做出更多的动作。传感器面阵列可以设置在佩戴部件上。传感器面阵列可以与于整个上颚部相贴合,也可以根据实际需求使传感器面阵列与上颚部的一部分相贴合,本公开对此不作限制。
佩戴部件可以嵌合在用户的牙齿上。可以根据用户的牙齿、上颚形状定制佩戴部件,使得佩戴部件的形状与牙齿咬合面及上颚曲度相配合,保证佩戴部件嵌合到用户的牙齿之后不会轻易脱落。控制部件2、供电部件4可以设置在佩戴部件上。可选地,可以分别贴合在佩戴部件上左右两侧的后排牙齿外侧,在用户使用电子设备时,控制部件2、供电部件4位于用户的牙齿与脸颊之间。这一位置是口腔内空间较大的区域,增加异物之后对用户的日常生活影响比较小,佩戴后不影响日常说话、生活,并且也不会影响用户的舌头动作。本领域技术人员应理解,在用户使用电子设备时,控制部件、供电部件只要完全处于用户的口腔内部即可,本公开对于控制部件和供电部件的具体设置位置不作限制。
在此情况下,用户可一步佩戴和摘取佩戴部件,使得用户使用电子设备时更方便。
佩戴部件可以是与牙齿、上颚部相适形的牙科保持器,也可以是可固定于牙齿的金属丝架或其它材料的固定架,或是牙科保持器、固定架的组合,本公开实施例对于佩戴部件的具体设置方式不作限制。
供电部件可以基于现有技术实现,例如可包括电池、线圈和电池管理模块。电池用于存储、提供电源,线圈用于接收能量,以无线充电方式为电池供电;电池管理模块用于管理电池放电和充电的流程。
供电部件也可以设置为通过导线与传感器面阵列和控制部件连接,通过有线充电方式为传感器面阵列和控制部件供电,本公开实施例对于供电部件的供电方式不作限制。
控制部件主要实现对传感器面阵列的控制功能以及通信功能。控制部件的结构以及用途可以参见下文对于控制部件的进一步描述。
下面介绍电子设备的工作方式。图2b示出根据本公开实施例的电子设备的工作流程的示意图。
在用户使用电子设备之前,先预设好用户的舌头动作与被控设备的多种控制方式的对应关系(示例可以参见下文对于确定目标控制方式的描述)。在用户使用电子设备时,使用舌头做出与目标控制方式(可以是被控设备的多种控制方式之一)对应的动作,此时舌头与传感器面阵列接触。根据舌头与传感器面阵列上的各压力传感器是否接触、接触的力度,各传感器采集到相应的压力值。其中传感器未接触舌头时压力值可以是0,传感器接触舌头时压力值可以大于0,并且接触的力度越大,压力值越大;接触的力度越小,压力值越小。
做好使用准备之后,用户即可开始使用电子设备。如图2b所示,用户使用电子设备时,电子设备可以执行步骤S21-S23:
传感器面阵列在控制部件的控制下将采集的压力值传输到控制部件(步骤S21)。控制部件可使用无线传输方式将压力值传输给被控设备(步骤S22)。被控设备可以对压力值进行解析确定目标控制方式,并执行目标控制方式对应的操作(步骤S23),从而实现基于舌头的人机交互。目标控制方式的示例可以参见下文对步骤S23的进一步描述。
根据本公开实施例的电子设备,通过设置传感器面阵列、控制部件、供电部件和佩戴部件,传感器面阵列贴合于用户的上颚部,传感器面阵列上的传感器数量大于第一阈值,使得传感器面阵列可成为大范围的、高灵敏的交互界面,具备更强的数据采集能力;在控制部件的控制下,传感器面阵列采集压力值并传输至控制部件,因此采集的压力值的信息量更多、更连续、更均匀;佩戴部件嵌合在用户的牙齿上,传感器面阵列、控制部件和供电部件设置在佩戴部件上,可实现一步佩戴和摘取,电子设备的使用更便捷,提升穿戴的舒适性和隐蔽性;控制部件以无线传输方式将压力值传输给被控设备,被控设备对压力值进行解析确定用户对被控设备的目标控制方式,执行目标控制方式对应的操作,可以实现人机交互功能。综上所述,本公开实施例的电子设备使用大密度的传感器面阵列采集数据,因此采集到的信息量和数据的均匀性、连续性大大提升,可以检测到舌头的连续、全方向的坐标变换,进而能够提升识别舌头的动作意图的准确度以及可准确识别的舌头动作的数量。不同的舌头动作可以映射为不同的控制指令,可映射得到的控制指令的多样性和数量也得以提升。本公开极大地扩充了残疾人的交互能力。本公开也可以面向肢体完整的用户,使得人机交互的选择更多。
在一种可能的实现方式中,在使用过程中,电子设备整体位于口腔中。
传感器面阵列、控制部件、供电部件在佩戴部件上处于图2a所示的位置时,使得佩戴部件被嵌合至用户的牙齿后不会暴露在唇部之外,也即在使用过程中,电子设备整体位于口腔中。佩戴电子设备后,不使用电子设备时用户可正常说话,从外观难以观测,提高了电子设备的方便性、隐秘性和交互效率。通过这种方式,使得使用电子设备时更美观,可以降低对用户的日常生活和心理自尊带来的不良影响。
在一种可能的实现方式中,传感器面阵列使用柔性可弯折压力感应薄膜制作。由于使用了柔性材料,因此传感器面阵列能够更好地与上颚部贴合,为舌头提供更多的移动空间。
电子设备可采用防水封装,例如可以是硅胶封装、薄膜封装、喷涂封装、浸润封装或是上述封装方式的组合。只要封装方案能够实现防水效果即可,本公开实施例对于所使用的封装方案不作限制。
下面介绍本公开实施例的控制部件的结构和用途。
在一种可能的实现方式中,控制部件包括切换单元、通信单元,
切换单元用于顺序扫描传感器面阵列上的传感器,传感器被扫描时采集压力值并输出至通信单元;
通信单元用于传输压力值到被控设备。
举例来说,控制部件可切换单元、通信单元。切换单元可包括多路复用器,多路复用器可以按顺序扫描传感器面阵列上的传感器,例如逐行扫描。传感器在被扫描时可以采集压力值并输出至通信单元,通过这种方式使得控制部件获取到实时的压力值。
通信单元可包括低功耗蓝牙,低功耗蓝牙可通过蓝牙协议将压力值无线传输到被控设备,对于被控设备来说,即可实现无线的、持续的压力值检测。
本公开实施例的通信单元也可以采用其他无线传输方案实现,例如WIFI、ZigBee等短距离通讯技术,或LoRa、SigFox、NB-IoT等低功耗广域网通信技术,或是上述无线传输方案的组合,只要能够实现无线通信即可,本公开实施例对于通信单元的具体通信方式不作限制。
本公开还提供一种基于压力传感器的用于舌机交互的数据处理方法,该方法应用于被控设备,用于分析压力值确定目标控制方式。图3a示出根据本公开实施例的数据处理方法的流程的示意图。
如图3a所示,在一种可能的实现方式中,所述方法包括:
步骤S31,从电子设备处接收多个压力值,并确定接收到的每个压力值对应的坐标值;
步骤S32,解析压力值和坐标值,确定所述传感器面阵列的接触中心点的压力值和坐标值;
步骤S33,根据接触中心点的压力值和坐标值,确定用户对被控设备的目标控制方式;
步骤S34,执行目标控制方式对应的操作。
举例来说,电子设备上,切换单元对于传感器的扫描顺序可以预先设置,该设置方式可以同步给被控设备。电子设备上压力值的输出顺序与传感器的扫描顺序可以一致,因此被控设备接收到的多个压力值的接收顺序与传感器的扫描顺序也一致。
被控设备上可预先按照扫描顺序存储各传感器的坐标值。因此被控设备从电子设备处接收到多个压力值后,可以根据多个压力值的接收顺序,从预先存储的坐标值中找到与该压力值对应的坐标值,该坐标值是采集该压力值的传感器的坐标值。针对每个压力值都确定好对应的坐标值,完成确定接收到的每个压力值对应的坐标值的步骤(步骤S31)。
在步骤S32中,可以对压力值和坐标值进行解析,确定传感器面阵列的接触中心点的压力值和坐标值。解析的过程可包括对压力值的预处理、对无效压力值的去除等等。接触中心点可以是采集压力值时用户的舌头与传感器面阵列的接触区域的中心点。解析的过程可以参见后文对步骤S32的进一步描述。
在步骤S33中,可以根据接触中心点的压力值和坐标值确定用户对被控设备的目标控制方式。示例性地,接触中心点的压力值和/或坐标值可以直接用于确定目标控制方式,接触中心点的压力值和/或坐标值也可以用于确定用户的舌头的动作,再根据舌头的动作确定目标控制方式。可确定的目标控制方式与被控设备的类型有关,其示例可以参见后文对步骤S33的进一步描述。
在步骤S34中,被控设备可以执行目标控制方式对应的操作。
根据本公开实施例的数据处理方法,被控设备通过从电子设备处接收多个压力值,并确定接收到的每个压力值对应的坐标值,可以确定压力值与坐标值的对应关系;通过解析压力值和坐标值,可以确定传感器面阵列的接触中心点的压力值和坐标值;根据接触中心点的压力值和坐标值,可以确定用户对所述被控设备的目标控制方式;被控设备执行目标控制方式对应的操作,即可实现基于舌头的人机交互。通过这种方式,使得被控设备能够与电子设备配合,完成对于电子设备采集的压力值的进一步处理的工作,降低电子设备的数据处理成本,提升数据处理的灵活程度。
图3b示出根据本公开实施例的数据处理方法的流程的示意图。下面结合图3b介绍根据本公开实施例对压力值和坐标值进行解析,确定传感器面阵列的接触中心点的压力值和坐标值的示例性方法(步骤S32)。
如图3b所示,在一种可能的实现方式中,步骤S32包括:
步骤S321,对压力值进行预处理,去除压力值中的噪声和基线漂移;
步骤S322,从预处理后的压力值中选择大于第二阈值的压力值,根据选择出的压力值和该压力值对应的坐标值确定用户的舌头与传感器面阵列的接触区域;
步骤S323,根据接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值,确定接触中心点的压力值和坐标值。
举例来说,传感器采集的压力值可能包括高频噪声和基线漂移。这些干扰因素影响被控设备对压力值进行分析确定目标控制方式的准确度。因此,在执行步骤S32时,可以先对压力值进行预处理,去除压力值包括的高频噪声和基线漂移,获得更平稳的压力值。
例如,可以采用现有技术的二阶巴特沃斯空间低通滤波器对数据进行处理,随后按照现有技术进行时域上的移动平均滤波,以去除数据中的高频噪声。对于基线漂移,可采用动态零点调整的方式对零点进行校准。动态零点调整的方式可以是根据各个传感器在过去的固定长度时间窗口内采集的压力值的平均值生成动态零点,使用动态零点对各个传感器采集的压力值分别校准以去除基线漂移。
通常情况下,用户的舌头并不会接触到全部的传感器。也就是说,大部分的传感器采集的压力值是0。且用户做出的舌头动作不一定与目标控制方式对应的舌头动作完全相同,可能会误触了一些不必要接触的传感器,这部分传感器采集到的压力值通常较低,例如低于或等于第二阈值(第二阈值大于0)。可以认为这些低于或等于第二阈值的压力值无效的。对此,可以从预处理后的压力值中选择大于第二阈值的压力值,选择出的压力值可以是有效的压力值。使用选择出的压力值和该压力值对应的坐标值来确定用户的舌头与传感器面阵列的接触区域。
图4a和图4b示出根据本公开实施例选择出的压力值和该压力值对应的坐标值的示例。
如图4a所示,选择出的压力值对应的坐标值在传感器面阵列上可能体现为一个区域A。在此情况下可以直接将该区域A作为用户的舌头与传感器面阵列的接触区域。
如图4b所示,选择出的压力值对应的坐标值在传感器面阵列上可能体现为多个区域B、C、D。出现这种情况的原因可能是用户在控制舌头动作时出现误差。区域B、C、D中可能有误触的区域,也可能是用户的舌头与传感器面阵列的接触力度不够导致连通区域B、C、D的坐标值处的压力值小于第二阈值而被误识别为无效的压力值。在此情况下,可以从选择出的压力值中找到最大值,以该最大值作为中心点K,查找该最大值附近以第四阈值作为半径r的范围内是否还有与该最大值对应的坐标值位于不同区域的其他坐标值。第四阈值可以根据应用场景需求调整,并公开实施例对于第四阈值的具体数值不作限制。如果查询到存在满足这一条件的其他坐标值的话,基于现有技术将其他坐标值与最大值所处的区域连通,将连通后的区域作为接触区域。以图4b为例,如果中心点K位于区域B中,查找确定区域C中存在满足上述条件的坐标值,那么可以将区域B、C连通,将连通后的区域(B+C)作为接触区域。
确定接触区域后,可以根据接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值,确定接触中心点的压力值和坐标值。这一过程可以基于加权计算的方式实现。示例性的加权计算方式可以参见后文的相关描述。
通过这种方式,可以保证确定的接触中心点的压力值和坐标值的准确度。
下面介绍使用加权计算方式确定接触中心点的压力值和坐标值的示例。
在一种可能的实现方式中,坐标值包括第一方向坐标和第二方向坐标,
根据接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值,确定接触中心点的压力值和坐标值,包括:
针对接触区域覆盖的每一坐标值,将该坐标值对应的压力值作为权值,分别对该坐标值中的第一方向坐标和第二方向坐标进行加权处理,得到该坐标值对应的第一方向加权坐标和第二方向加权坐标;
对所有第一方向加权坐标求和得到第一和值,对所有第二方向加权坐标求和得到第二和值,对所有选择出的压力值求和得到第三和值;
根据第一和值与第三和值的比值,得到接触中心点的第一方向坐标;
根据第二和值和第三和值的比值,得到接触中心点的第二方向坐标;
根据接触中心点的第一方向坐标和第二方向坐标得到接触中心点的坐标值;
根据选择出的压力值的最大值得到接触中心点的压力值。
举例来说,假设接触区域覆盖M个坐标值。每个坐标值可包括第一方向坐标和第二方向坐标,其中第一方向可以指水平方向x,第二方向可以指垂直方向y。在此情况下,第i个坐标值可以是(xi,yi),0<i≤M且为整数。第i个坐标值对应的处理后的压力值可以是pi。
针对接触区域覆盖的每一坐标值,可以将该坐标值对应的压力值作为权值,分别对该坐标值中的第一方向坐标和第二方向坐标进行加权处理,得到该坐标值对应的第一方向加权坐标和第二方向加权坐标。也即对于第i个坐标值(xi,yi),将压力值pi作为权值,对第一方向坐标xi和第二方向坐标yi分别进行加权处理,得到第一方向加权坐标xi*pi和第二方向加权坐标yi*pi。
之后对所有第一方向加权坐标求和得到第一和值对所有第二方向加权坐标求和得到第二和值/>对所有选择出的压力值求和得到第三和值/>
根据第一和值与第三和值的比值,可得到接触中心点的第一方向坐标根据第二和值和第三和值的比值,可得到接触中心点的第二方向坐标/>
根据接触中心点的第一方向坐标和第二方向坐标得到接触中心点的坐标值,也即
/>
根据选择出的压力值的最大值可得到接触中心点的压力值pi_max。
通过这种方式即可确定出接触中心点的压力值和坐标值。由于权值等于压力值,因此压力值更大的坐标值的权值也更大,求得的接触中心点更准确。
在一种可能的实现方式中,目标控制方式包括针对被控设备整体的目标控制方式,以及针对被控设备上的可移动对象的目标控制方式。
举例来说,目标控制方式与被控设备的类型有关。被控设备是轮椅一类整体可移动的设备时,目标控制方式包括针对被控设备整体的目标控制方式。被控设备上包括可移动对象时,如被控设备可以是计算机,包括可移动光标,目标控制方式可以是针对光标的点击、双击、移动等控制功能。
下面介绍被控设备是轮椅时根据本公开实施例的数据处理方法确定的目标控制方式的示例。
例如,被控设备可包括主机板和电机。主机板与电机相连。上述步骤S31-S34可以由主机板执行。目标控制方式可以是使轮椅以一定速度向一定方向移动。其中执行步骤S34时,可以是对电机的控制线的电压进行控制,该电压可输出到电机的单片机或微型电脑。电机根据接收到的电压工作时,轮椅可按照目标控制方式移动。
其中,确定目标控制方式可以包括如下步骤:
将传感器面阵列的中心点作为原点,根据接触中心点的坐标值,确定接触中心点与原点的角度差和距离。根据角度差确定目标控制方式中轮椅移动的方向。根据距离或接触中心点的压力值确定目标控制方式中轮椅移动的速度。距离越大时轮椅移动的速度越大,距离越小时轮椅移动的速度越小。接触中心点的压力值越大时轮椅移动的速度越大,接触中心点的压力值越小时轮椅移动的速度越小。
通过这种方式,实现了轮椅360度的控制,极大地提升了用户的使用体验。
下面介绍被控设备是计算机时根据本公开实施例的数据处理方法确定的目标控制方式的示例。
例如,计算机可连接接收板,接收板可通过无线通信方式接收来自传感面阵列的压力值,再通过有线通信方式转发给计算机。在无线通信方式使用蓝牙协议时,接收板可以是低功耗蓝牙板。有线通信方式可以是串口传输方式。
上述步骤S31-S34可以由计算机执行。目标控制方式可以包括光标控制,例如使光标移动、使光标双击、使光标单击等。目标控制方式还可包括文本输入,例如基于单词的整词输入等。目标控制方式还可以包括简易指令,例如关机指令等。本公开实施例对于目标控制方式所包括的具体控制内容不作限制。
由于光标可进行的操作更加多样,因此,计算机可以根据接触中心点的压力值和坐标值进一步分析确定用户的舌头动作,基于舌头动作来确定目标控制控制方式。
在一种可能的实现方式中,根据接触中心点的压力值和坐标值,确定用户对被控设备的目标控制方式,包括:
根据预设时间段内触控中心点的压力值和坐标值的变化方式,确定用户的舌头动作;
将与舌头动作对应的控制方式确定为目标控制方式;
其中,舌头动作包括单击、双击、长按、滑动中的一种。
举例来说,传感器面阵列可以是以一定周期采集压力值并传输。在预设时间段内,对于被控设备(计算机)来说,可能会接收到多个周期采集的压力值。
本公开实施例支持识别的用户的舌头动作可包括单击、双击、长按、滑动。由于双击、长按、滑动都是持续时间比较长的动作,因此,可以确定一个预设时间段,使得该预设时间段的时长大于用户完成单击、双击、长按、滑动中的任意一个动作的时长。根据预设时间段内触控中心点的压力值和坐标值的变化方式,可以确定用户的舌头动作。
例如,预设时间段内触控中心点的压力值出现一个峰值、峰值和谷值之差大于第五阈值、触控中心点的坐标值的变化程度小于第六阈值时,可确定用户的舌头动作为单击。第五阈值和第六阈值可以根据应用场景需求设置,本公开对此不作限制。
预设时间段内触控中心点的压力值出现两个峰值、峰值和谷值之差大于第五阈值、触控中心点的坐标值的变化程度小于第六阈值时,可确定用户的舌头动作为双击。
预设时间段内触控中心点的压力值大于第七阈值、且触控中心点的坐标值的变化程度小于第六阈值时,可确定用户的舌头动作为长按。第七阈值可以根据应用场景需求设置,本公开对此不作限制。
预设时间段内触控中心点的坐标值的变化程度大于第六阈值时,可确定用户的舌头动作为滑动。
可以理解的是,本公开实施例的被控设备还可支持识别更多舌头动作,针对每种舌头动作,也可以有更多的方式识别确定该动作,本公开实施例对于可确定的舌头动作的种类以及具体的识别方式不作限制。
根据舌头动作可确定目标控制方式。例如舌头动作为单击时,目标控制方式可以是光标单击;舌头动作为双击时,目标控制方式可以是光标双击;舌头动作为长按时,目标控制方式可以是光标长按;舌头动作为滑动时,目标控制方式可以是光标滑动。
与此同时,可将传感器面阵列的中心点作为原点,预设时间段内每确定一次接触中心点后,确定该接触中心点与原点的角度差和距离。根据角度差确定光标移动的方向。根据距离确定光标移动的幅度。距离越大时光标移动的幅度越大,距离越小时光标移动的幅度越小。可在目标控制方式中增加光标移动。由于舌头动作为单击、双击、长按时,接触中心点的坐标值的变化程度较小,舌头动作为滑动时,接触中心点的坐标值的变化程度较大,因此舌头动作为单击、双击、长按时,即便增加光标移动的控制,光标通常也不会出现大幅度的移动,不会影响光标点击、双击、长按的效果;舌头动作为滑动时,增加光标移动的控制使得光标可以随舌头的动作进行滑动。
本领域技术人员应理解,舌头动作与目标控制方式的对应关系应不止上述示例,例如也可能是多个舌头动作的组合对应于一种目标控制方式,一种舌头动作对应多个目标控制方式的组合等,本公开实施例对于舌头动作与目标控制方式的对应关系不作限制。
通过这种方式,使得被控设备能够精准分辨舌头的多样化的动作,拓展了人机交互模式,实现了简易指令、文本输入、光标控制等多模态信息交互。
结合本公开实施例的电子设备和数据处理方法,提供了有力的人机交互工具。能够为肢体残疾用户提供完备的、安全的、舒适的、隐秘的人机交互方案。极大地扩充了残疾人的交互能力。本公开也可以面向肢体完整的用户,使得人机交互的选择更多。
图5示出根据本公开实施例的数据处理装置的结构的示意图。
如图5所示,在一种可能的实现方式中,本公开还提供了一种基于压力传感器的用于舌机交互的数据处理装置,应用于被控设备,所述装置包括:
第一确定模块51,用于从电子设备处接收多个压力值,并确定接收到的每个压力值对应的坐标值;
第二确定模块52,用于解析所述压力值和所述坐标值,确定所述传感器面阵列的接触中心点的压力值和坐标值;
第三确定模块53,用于根据接触中心点的压力值和坐标值,确定用户对所述被控设备的目标控制方式;
执行模块54,用于执行所述目标控制方式对应的操作。
在一种可能的实现方式中,所述解析所述压力值和所述坐标值,确定所述传感器面阵列的接触中心点的压力值和坐标值,包括:对所述压力值进行预处理,去除所述压力值中的噪声和基线漂移;从预处理后的压力值中选择大于第二阈值的压力值,根据选择出的压力值和该压力值对应的坐标值确定用户的舌头与所述传感器面阵列的接触区域;根据所述接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值,确定所述接触中心点的压力值和坐标值。
在一种可能的实现方式中,所述坐标值包括第一方向坐标和第二方向坐标,所述根据所述接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值,确定所述接触中心点的压力值和坐标值,包括:针对所述接触区域覆盖的每一坐标值,将该坐标值对应的压力值作为权值,分别对该坐标值中的第一方向坐标和第二方向坐标进行加权处理,得到该坐标值对应的第一方向加权坐标和第二方向加权坐标;对所有第一方向加权坐标求和得到第一和值,对所有第二方向加权坐标求和得到第二和值,对所有选择出的压力值求和得到第三和值;根据所述第一和值与所述第三和值的比值,得到接触中心点的第一方向坐标;根据所述第二和值和所述第三和值的比值,得到接触中心点的第二方向坐标;根据所述接触中心点的第一方向坐标和第二方向坐标得到所述接触中心点的坐标值;根据选择出的压力值的最大值得到所述接触中心点的压力值。
在一种可能的实现方式中,所述根据接触中心点的压力值和坐标值,确定用户对所述被控设备的目标控制方式,包括:根据预设时间段内所述触控中心点的压力值和坐标值的变化方式,确定用户的舌头动作;将与所述舌头动作对应的控制方式确定为所述目标控制方式;其中,所述舌头动作包括单击、双击、长按、滑动中的一种。
在一种可能的实现方式中,所述目标控制方式包括针对所述被控设备整体的目标控制方式,以及针对所述被控设备上的可移动对象的目标控制方式。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
本公开实施例还提出一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提出一种被控设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为在执行所述存储器存储的指令时,实现上述方法。
本公开实施例还提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在被控设备的处理器中运行时,所述电子设备中的处理器执行上述方法。
图6示出根据本公开实施例的装置1900的框图。例如,装置1900可以被提供为被控设备。参照图6,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入输出接口1958(I/O接口)。装置1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (12)
1.一种基于压力传感器的用于舌机交互的电子设备,其特征在于,包括传感器面阵列、控制部件、供电部件和佩戴部件,所述传感器面阵列上的传感器数量大于第一阈值,
所述传感器面阵列贴合于用户的上颚部,在所述控制部件的控制下,所述传感器面阵列上的各传感器分别采集压力值并传输至所述控制部件;
所述佩戴部件嵌合在用户的牙齿上,所述传感器面阵列、所述控制部件和所述供电部件设置在所述佩戴部件上;
所述供电部件为所述传感器面阵列和所述控制部件供电;
所述控制部件以无线传输方式将所述压力值传输给被控设备,所述被控设备对所述压力值进行解析确定目标控制方式,执行所述目标控制方式对应的操作。
2.根据权利要求1所述的电子设备,其特征在于,在使用过程中,所述电子设备整体位于口腔中。
3.根据权利要求1所述的电子设备,其特征在于,所述传感器面阵列使用柔性可弯折压力感应薄膜制作。
4.根据权利要求1所述的电子设备,其特征在于,所述控制部件包括切换单元、通信单元,
所述切换单元用于按顺序扫描所述传感器面阵列上的传感器,所述传感器被扫描时采集压力值并输出至所述通信单元;
所述通信单元用于传输所述压力值到所述被控设备。
5.一种基于压力传感器的用于舌机交互的数据处理方法,其特征在于,应用于权利要求1-4中任一项所述的被控设备,所述方法包括:
从电子设备处接收多个压力值,并确定接收到的每个压力值对应的坐标值;
解析所述压力值和所述坐标值,确定所述传感器面阵列的接触中心点的压力值和坐标值;
根据接触中心点的压力值和坐标值,确定用户对所述被控设备的目标控制方式;
执行所述目标控制方式对应的操作。
6.根据权利要求5所述的方法,其特征在于,所述解析所述压力值和所述坐标值,确定所述传感器面阵列的接触中心点的压力值和坐标值,包括:
对所述压力值进行预处理,去除所述压力值中的噪声和基线漂移;
从预处理后的压力值中选择大于第二阈值的压力值,根据选择出的压力值和该压力值对应的坐标值确定用户的舌头与所述传感器面阵列的接触区域;
根据所述接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值,确定所述接触中心点的压力值和坐标值。
7.根据权利要求6所述的方法,其特征在于,所述坐标值包括第一方向坐标和第二方向坐标,
所述根据所述接触区域覆盖的坐标值以及与该坐标值对应的预处理后的压力值,确定所述接触中心点的压力值和坐标值,包括:
针对所述接触区域覆盖的每一坐标值,将该坐标值对应的压力值作为权值,分别对该坐标值中的第一方向坐标和第二方向坐标进行加权处理,得到该坐标值对应的第一方向加权坐标和第二方向加权坐标;
对所有第一方向加权坐标求和得到第一和值,对所有第二方向加权坐标求和得到第二和值,对所有选择出的压力值求和得到第三和值;
根据所述第一和值与所述第三和值的比值,得到接触中心点的第一方向坐标;
根据所述第二和值和所述第三和值的比值,得到接触中心点的第二方向坐标;
根据所述接触中心点的第一方向坐标和第二方向坐标得到所述接触中心点的坐标值;
根据选择出的压力值的最大值得到所述接触中心点的压力值。
8.根据权利要5所述的方法,其特征在于,所述根据接触中心点的压力值和坐标值,确定用户对所述被控设备的目标控制方式,包括:
根据预设时间段内所述触控中心点的压力值和坐标值的变化方式,确定用户的舌头动作;
将与所述舌头动作对应的控制方式确定为所述目标控制方式;
其中,所述舌头动作包括单击、双击、长按、滑动中的一种。
9.根据权利要求5所述的方法,其特征在于,所述目标控制方式包括针对所述被控设备整体的目标控制方式,以及针对所述被控设备上的可移动对象的目标控制方式。
10.一种基于压力传感器的用于舌机交互的数据处理装置,其特征在于,应用于权利要求1-4中任一项所述的被控设备,所述装置包括:
第一确定模块,用于从电子设备处接收多个压力值,并确定接收到的每个压力值对应的坐标值;
第二确定模块,用于解析所述压力值和所述坐标值,确定所述传感器面阵列的接触中心点的压力值和坐标值;
第三确定模块,用于根据接触中心点的压力值和坐标值,确定用户对所述被控设备的目标控制方式;
执行模块,用于执行所述目标控制方式对应的操作。
11.一种被控设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为在执行所述存储器存储的指令时,实现权利要求5至9中任意一项所述的方法。
12.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求5至9中任意一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311832926 | 2023-12-27 | ||
CN2023118329262 | 2023-12-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118051125A true CN118051125A (zh) | 2024-05-17 |
Family
ID=91053426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410229393.7A Pending CN118051125A (zh) | 2023-12-27 | 2024-02-29 | 基于压力传感器的用于舌机交互的电子设备、数据处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118051125A (zh) |
-
2024
- 2024-02-29 CN CN202410229393.7A patent/CN118051125A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiang et al. | Emerging wearable interfaces and algorithms for hand gesture recognition: A survey | |
Jiang et al. | Feasibility of wrist-worn, real-time hand, and surface gesture recognition via sEMG and IMU sensing | |
Yang et al. | Gesture interaction in virtual reality | |
CN114341779B (zh) | 用于基于神经肌肉控制执行输入的系统、方法和界面 | |
US11016569B2 (en) | Wearable device and method for providing feedback of wearable device | |
CN109804331B (zh) | 检测和使用身体组织电信号 | |
US9367139B2 (en) | Systems, articles, and methods for gesture identification in wearable electromyography devices | |
CN1320419C (zh) | 用户输入装置 | |
US20150109202A1 (en) | Systems, articles, and methods for gesture identification in wearable electromyography devices | |
KR20200024324A (ko) | 전기 임피던스 측정 배경을 사용하여 손 동작을 추적하기 위한 암밴드 | |
KR101548156B1 (ko) | 촉감과 관절 저항감을 동시에 전달하는 무선 외골격 햅틱 인터페이스 장치 및 그 구성 방법 | |
WO2016135718A1 (en) | Closed loop feedback interface for wearable devices | |
CN103777752A (zh) | 基于手臂肌肉电流检测和运动传感器的手势识别设备 | |
KR102057705B1 (ko) | 동작 인식을 위한 지능형 장치 및 그 제어 방법 | |
WO2020036958A1 (en) | Real-time spike detection and identification | |
CN104484047A (zh) | 基于可穿戴设备的交互方法及交互装置、可穿戴设备 | |
CN110908515A (zh) | 基于腕部肌肉压力的手势识别方法和装置 | |
CN108261274A (zh) | 一种用于假肢手控制与感知的双向残肢接口系统 | |
CN104503582A (zh) | 基于可穿戴设备的交互方法及交互装置、可穿戴设备 | |
CN105014676A (zh) | 一种机器人运动控制方法 | |
CN104699239A (zh) | 基于可穿戴设备的交互方法及交互装置、可穿戴设备 | |
CN113509298A (zh) | 一种基于振动的假肢手力位信息反馈系统及方法 | |
Yue et al. | How to achieve human–machine interaction by foot gesture recognition: a review | |
CN118051125A (zh) | 基于压力传感器的用于舌机交互的电子设备、数据处理方法和装置 | |
Peters | An assessment of single-channel emg sensing for gestural input |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |