CN115857706B - 基于面部肌肉状态的文字输入方法、装置及终端设备 - Google Patents

基于面部肌肉状态的文字输入方法、装置及终端设备 Download PDF

Info

Publication number
CN115857706B
CN115857706B CN202310194253.6A CN202310194253A CN115857706B CN 115857706 B CN115857706 B CN 115857706B CN 202310194253 A CN202310194253 A CN 202310194253A CN 115857706 B CN115857706 B CN 115857706B
Authority
CN
China
Prior art keywords
electromyographic
user
mouth
determining
facial muscle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310194253.6A
Other languages
English (en)
Other versions
CN115857706A (zh
Inventor
韩璧丞
杨承君
丁一航
聂锦
杨钊祎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Qiangnao Technology Co ltd
Original Assignee
Zhejiang Qiangnao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Qiangnao Technology Co ltd filed Critical Zhejiang Qiangnao Technology Co ltd
Priority to CN202310194253.6A priority Critical patent/CN115857706B/zh
Publication of CN115857706A publication Critical patent/CN115857706A/zh
Application granted granted Critical
Publication of CN115857706B publication Critical patent/CN115857706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本发明公开了一种基于面部肌肉状态的文字输入方法、装置及终端设备,所述方法包括:获取面部肌肉状态,并基于所述面部肌肉状态确定用户嘴部周围预设范围内的肌电信号;基于所述肌电信号,确定虚拟全键盘中与所述肌电信号所对应的目标按键获取所述目标按键所对应的显示文字,并基于所述显示文字完成文字输入。本发明可实现无接触文字输入,只需要采集用户嘴部周围预设范围内的肌电信号就可以完成文字输入,给用户的使用提供了方便,且提高了文字输入的效率。

Description

基于面部肌肉状态的文字输入方法、装置及终端设备
技术领域
本发明涉及文字输入技术领域,尤其涉及一种基于面部肌肉状态的文字输入方法、装置及终端设备。
背景技术
现有技术中,无论是手机等移动终端还是电脑等终端设备在进行文字输入时,基本都是需要手指按压虚拟键盘或者实体键盘,用户的操作很不方便。并且,基于用户手指按压操作来实现文字输入的技术方案,容易受到用户的操作熟练度以及速度的影响,导致文字输入的效率不高。
因此,现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种基于面部肌肉状态的文字输入方法、装置及终端设备,旨在解决现有技术中基于用户手指按压操作来实现文字输入的技术方案,容易受到用户的操作熟练度以及速度的影响,导致文字输入的效率不高的问题。
为了解决上述技术问题,本发明所采用的技术方案如下:
第一方面,本发明提供一种基于面部肌肉状态的文字输入方法,其中,所述方法包括:
获取面部肌肉状态,并基于所述面部肌肉状态确定用户嘴部周围预设范围内的肌电信号;
基于所述肌电信号,确定虚拟全键盘中与所述肌电信号所对应的目标按键;
获取所述目标按键所对应的显示文字,并基于所述显示文字完成文字输入。
在一种实现方式中,所述获取面部肌肉状态,并基于所述面部肌肉状态确定用户嘴部周围预设范围内的肌电信号,包括:
若所述面部肌肉状态为活动状态,则确定活动区域;
若所述活动区域为用户嘴部,则基于预设在用户嘴部周围预设范围内电极片采集所述用户嘴部周围预设范围内的肌电信号。
在一种实现方式中,所述肌电信号包括:静默肌电信号与发声肌电信号,所述静默肌电信号为用户嘴部张开但不发声时的肌电信号,所述发声肌电信号为用户嘴部发声时的肌电信号。
在一种实现方式中,所述基于所述肌电信号,确定虚拟全键盘中与所述肌电信号所对应的目标按键,包括:
将所述肌电信号与预设的肌电信号模板进行匹配,所述肌电信号模板用于反映所述虚拟全键盘中每一个按键与肌电信号之间的映射关系;
确定所述肌电信号所对应的目标编号,并基于所述目标编号对应的所述目标按键。
在一种实现方式中,所述肌电信号模板的创建方式包括:
预先针对所述虚拟全键盘中的每一个按键进行编号处理,得到每一个按键的编号信息;
采集用户嘴部读取所述编号信息时,用户嘴部周围预设范围内的肌电信号,并记录所述肌电信号;
将所述编号信息与对应肌电信号进行绑定,得到所述肌电信号模板。
在一种实现方式中,所述获取所述目标按键所对应的显示文字,包括:
当确定出所述目标按键时,则模拟所述目标按键的敲击事件;
获取所述目标按键被敲击时的显示文字,所述显示文字包括字母、数字或字符。
在一种实现方式中,所述基于所述显示文字完成文字输入,包括:
根据所述显示文字,确定候选词组;
根据所述候选词组,确定目标文字,完成文字输入。
第二方面,本发明实施例还提供一种基于面部肌肉状态的文字输入装置,其中,所述装置包括:
肌电信号采集模块,用于获取面部肌肉状态,并基于所述面部肌肉状态确定用户嘴部周围预设范围内的肌电信号;
目标按键确定模块,用于基于所述肌电信号,确定虚拟全键盘中与所述肌电信号所对应的目标按键;
文字输入完成模块,用于获取所述目标按键所对应的显示文字,并基于所述显示文字完成文字输入。
第三方面,本发明实施例还提供一种终端设备,其中,所述终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于面部肌肉状态的文字输入程序,处理器执行基于面部肌肉状态的文字输入程序时,实现上述方案中任一项的基于面部肌肉状态的文字输入方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,其中,计算机可读存储介质上存储有基于面部肌肉状态的文字输入程序,所述基于面部肌肉状态的文字输入程序被处理器执行时,实现上述方案中任一项所述的基于面部肌肉状态的文字输入方法的步骤。
有益效果:与现有技术相比,本发明提供了一种基于面部肌肉状态的文字输入方法,首先,本发明获取面部肌肉状态,并基于所述面部肌肉状态确定用户嘴部周围预设范围内的肌电信号。然后,基于所述肌电信号,确定虚拟全键盘中与所述肌电信号所对应的目标按键。最后,获取所述目标按键所对应的显示文字,并基于所述显示文字完成文字输入。可见,本发明只需要采集用户嘴部周围预设范围内的肌电信号就可以完成文字输入,可实现无接触文字输入,给用户的使用提供了方便,且提高了文字输入的效率。
附图说明
图1为本发明实施例提供的基于面部肌肉状态的文字输入方法的具体实施方式的流程图。
图2为本发明实施例提供的基于面部肌肉状态的文字输入装置的功能原理图。
图3为本发明实施例提供的终端设备的原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本实施例提供一种基于面部肌肉状态的文字输入方法,基于本实施例的方法可快速进行文字输入,无需用户手指按压虚拟键盘或者实体键盘。具体应用时,首先,本实施例获取面部肌肉状态,并基于所述面部肌肉状态确定用户嘴部周围预设范围内的肌电信号。然后,本实施例基于所述肌电信号,确定虚拟全键盘中与所述肌电信号所对应的目标按键。最后,本实施例获取所述目标按键所对应的显示文字,并基于所述显示文字完成文字输入。可见,本实施例只需要采集用户嘴部周围预设范围内的肌电信号就可以完成文字输入,可实现无接触文字输入,给用户的使用提供了方便,且提高了文字输入的效率。
举例说明,用户的面部肌肉状态为活动状态,并且处于活动的区域为用户嘴部周围预设范围。终端设备就可以获取到用户嘴部周围预设范围内的肌电信号。比如,获取到的肌电信号为A信号,该A信号就是用户嘴部活动时所产生的肌电信号。此时,终端设备就可以基于A信号进行匹配,从虚拟全键盘中找出与A信号所对应的目标按键,比如A信号是与字母“M”按键对应的,因此目标按键就为“M”按键。当确定出目标按键后,终端设备就可以基于该目标按键确定出目标按键的显示文字,比如,当目标按键为“M”按键时,显示文字就为“M”,接着,终端设备就可以基于该显示文字来实现文字输入。
示例性方法
本实施例的基于面部肌肉状态的文字输入方法可应用于终端设备中,所述终端设备可包括电脑、智能电视等智能终端产品中。具体应用时,如图1中所示,所述基于面部肌肉状态的文字输入方法包括如下步骤:
步骤S100、获取面部肌肉状态,并基于所述面部肌肉状态确定用户嘴部周围预设范围内的肌电信号。
本实施例可预先获取用户的面部肌肉状态,该面部肌肉状态包括:放松状态以及活状态,当面部上的任何一个器官的状态发生变化都可以确定面肌肉状态为活动状态。在确定面部状态后,本实施例可基于该面部肌肉状态来确定用户嘴部周围预设范围内的肌电信号。在本实施例中,如果面部肌肉状态为放松,则说明用户此时的面部比较放松,没有大幅度的动作,因此此时的肌电信号基本为0。而当面部肌肉状态为活动状态时,本实施例则可采集用户嘴部周围预设范围内的肌电信号。在本实施例中,针对面部肌肉状态的确定可基于图像识别技术来实现,本实施例可采集面部视频图像,然后对面部视频图像进行分析,确定用户面部的器官是否发生状态变化,以此来确面部肌肉状态。
在一种实现方式中,上述步骤S100具体实施时,包括如下步骤:
步骤S101、若所述面部肌肉状态为活动状态,则确定活动区域;
步骤S102、若所述活动区域为用户嘴部,则基于预设在用户嘴部周围预设范围内电极片采集所述用户嘴部周围预设范围内的肌电信号。
具体应用时,本实施例中如果确定面部肌肉状态为活动状态时,则就说明此时用户面部的某些器官发生了变化,为此,本实施例进一步确定活动区域,该活动区域反映的是面部上哪一个器官的状变化引起的面部状态变化。如果确定出活动区域为用户嘴部,则基于预设在用户嘴部周围预设范围内电极片采集所述用户嘴部周围预设范围内的肌电信号。在本实施例中,预先在用户嘴部周围预设范围内设置电极片,该电极片设置有多个,并且是围绕用户嘴部设置的,当用户嘴部发生变化(比如用户张嘴说话),用户嘴部周围预设范围内设置电极片就会采集肌电信号。在一种实现方式中,本实施例的电极片可左右对称地设置在用户嘴部周围,以准确地采集所述肌电信号。
步骤S200、基于所述肌电信号,确定虚拟全键盘中与所述肌电信号所对应的目标按键。
当确定出肌电信号后,本实施例可基于该肌电信号进行分析,并从虚拟全键盘中找出与所述肌电信号所对应的目标按键。也就是说,本实施例是从虚拟全键盘中确定哪一个目标按键是与肌电信号对应的,由于该肌电信号是在用户嘴部发生变化时采集得到的,因此在用户嘴部发生不同变化时采集到的肌电信号也是不相同的,而用户嘴部发生不同变化所反映的是用户嘴部在读取不同内容,当该内与虚拟全键盘对应时,则就可根据该肌电信号找到对应的目标按键。
在一种实现方式中,本实施例在确定目标按键时,包括如下步骤:
步骤S201、将所述肌电信号与预设的肌电信号模板进行匹配,所述肌电信号模板用于反映所述虚拟全键盘中每一个按键与肌电信号之间的映射关系;
步骤S202、确定所述肌电信号所对应的目标编号,并基于所述目标编号对应的所述目标按键。
本实施例可预先针对所述虚拟全键盘中的每一个按键进行编号处理,得到每一个按键的编号信息。然后,采集用户嘴部读取所述编号信息时,用户嘴部周围预设范围内的肌电信号,并记录所述肌电信号。接着,将所述编号信息与对应肌电信号进行绑定,得到所述肌电信号模板。所述肌电信号模板用于反映所述虚拟全键盘中每一个按键与肌电信号之间的映射关系。本实施例在对按键进行编号时,可依照虚拟全键盘的按键布局进行设置,按照从上至下,从左至右的顺序对按键进行编号,然后得到每一个按键的编号信息。当用户嘴部张开读取任何一个编号信息时,此时就可以采集到对应的肌电信号,终端设备可将该肌电信号与肌电信号模板进行匹配,从而找该肌电信号是对应哪一个编号信息,确定出编号信息也就确定出了目标按键。在一种实现方式中,本实施例中的肌电信号包括:静默肌电信号与发声肌电信号,所述静默肌电信号为用户嘴部张开但不发声时的肌电信号,所述发声肌电信号为用户嘴部发声时的肌电信号。也就是说,本实施例中用户嘴部无论是否发声,都会产生对应的肌电信号,该肌电信号就可以找到对应的目标按键,以便完成文字输入。
举例说明,当肌电信号为A信号,终端设备就可以将A信号与肌电信号模板进行匹配,从虚拟全键盘中找出与A信号所对应的目标按键,比如A信号是与字母“M”按键对应的,因此目标按键就为“M”按键。
步骤S300、获取所述目标按键所对应的显示文字,并基于所述显示文字完成文字输入。
当确定出目标按键后,该目标按键即为用户想要操作的按键,因此,终端设备就可以获取该目标按键对应的显示文字,比如目标按键为“D”按键,则显示文字为字母“D”。该显示文字即为用户按压该目标按键所显示的内容。当得到该目标按键的显示文字后,终端设备就可以根据该显示文字确定最终要输入的文字,从而完成文字输入。
在一种实现方式中,所述步骤S300具体包括如下步骤:
步骤S301、当确定出所述目标按键时,则模拟所述目标按键的敲击事件;
步骤S302、获取所述目标按键被敲击时的显示文字,所述显示文字包括字母、数字或字符;
步骤S303、根据所述显示文字,确定候选词组;
步骤S304、根据所述候选词组,确定目标文字,完成文字输入。
当确定出目标按键后,本实施例模拟目标按键的敲击事件,该敲击事件为在对虚拟全键盘上的案件进行按压。比如,当目标按键为“D”按键,着就可以模拟对目标按键的敲击事件,这样就会显示出显示文字“D”。当然,由于虚拟全键盘上的按键既包括字母按键也包括数字按键,因此,显示文字既可以是字母也可以是数字。当得到显示文字后,本实施例的终端设备就可以基于显示文字利用输入法规则生成候选词组,比如显示文字“D”对应的候选词组可为“的、地、大”等。或者,当连续两个目标按键分别为“N”、“H”,则显示文字九就为“N”、“H”。因此,基于输入法规则,就可以得到候选词组为“你好、你和、你还”等。当得到候选词组后,本实施例就可以从中挑选目标文字,并将该目标文字选中并输入,以此完成文字输入。当然,在另一种实现方式中,本实施例在确定候选词组后,可基于头部动作来控制光标的移动,进而选中目标文字,以便实现目标文字的输入。
综上,本实施例获取面部肌肉状态,并基于所述面部肌肉状态确定用户嘴部周围预设范围内的肌电信号。然后,本实施例基于所述肌电信号,确定虚拟全键盘中与所述肌电信号所对应的目标按键。最后,本实施例获取所述目标按键所对应的显示文字,并基于所述显示文字完成文字输入。可见,本实施例只需要采集用户嘴部周围预设范围内的肌电信号就可以完成文字输入,可实现无接触文字输入,给用户的使用提供了方便,且提高了文字输入的效率。
示例性装置
基于上述实施例,本发明还提供一种基于面部肌肉状态的文字输入装置,如图2中所示,所述装置包括:肌电信号采集模块10、目标按键确定模块20、文字输入完成模块30。具体地,所述肌电信号采集模块10,用于获取面部肌肉状态,并基于所述面部肌肉状态确定用户嘴部周围预设范围内的肌电信号。所述目标按键确定模块20,用于基于所述肌电信号,确定虚拟全键盘中与所述肌电信号所对应的目标按键。所述文字输入完成模块30,用于获取所述目标按键所对应的显示文字,并基于所述显示文字完成文字输入。
在一种实现方式中,所述肌电信号采集模块10,包括:
活动区域确定单元,用于若所述面部肌肉状态为活动状态,则确定活动区域;
肌电信号采集单元,用于若所述活动区域为用户嘴部,则基于预设在用户嘴部周围预设范围内电极片采集所述用户嘴部周围预设范围内的肌电信号。
在一种实现方式中,所述肌电信号包括:静默肌电信号与发声肌电信号,所述静默肌电信号为用户嘴部张开但不发声时的肌电信号,所述发声肌电信号为用户嘴部发声时的肌电信号。
在一种实现方式中,所述目标按键确定模块20,包括:
模板匹配单元,用于将所述肌电信号与预设的肌电信号模板进行匹配,所述肌电信号模板用于反映所述虚拟全键盘中每一个按键与肌电信号之间的映射关系;
按键确定单元,用于确定所述肌电信号所对应的目标编号,并基于所述目标编号对应的所述目标按键。
在一种实现方式中,所述装置包括模板创建模块,所述模板创建模块包括:
编号单元,用于预先针对所述虚拟全键盘中的每一个按键进行编号处理,得到每一个按键的编号信息;
采集单元,用于采集用户嘴部读取所述编号信息时,用户嘴部周围预设范围内的肌电信号,并记录所述肌电信号;
绑定单元,用于将所述编号信息与对应肌电信号进行绑定,得到所述肌电信号模板。
在一种实现方式中,所述文字输入完成模块30,包括:
事件模拟单元,用于当确定出所述目标按键时,则模拟所述目标按键的敲击事件;
文字获取单元,用于获取所述目标按键被敲击时的显示文字,所述显示文字包括字母、数字或字符。
在一种实现方式中,所述文字输入完成模块30,还包括:
词组确定单元,用于根据所述显示文字,确定候选词组;
文字输入单元,用于根据所述候选词组,确定目标文字,完成文字输入。
本实施例的基于面部肌肉状态的文字输入装置中各个模块的工作原理与上述方法实施例中各个步骤的原理相同,此处不再赘述。
基于上述实施例,本发明还提供了一种终端设备,所述终端设备的原理框图可以如图3所示。终端设备可以包括一个或多个处理器100(图3中仅示出一个),存储器101以及存储在存储器101中并可在一个或多个处理器100上运行的计算机程序102,例如,基于面部肌肉状态的文字输入的程序。一个或多个处理器100执行计算机程序102时可以实现基于面部肌肉状态的文字输入的方法实施例中的各个步骤。或者,一个或多个处理器100执行计算机程序102时可以实现基于面部肌肉状态的文字输入的装置实施例中各模块/单元的功能,此处不作限制。
在一个实施例中,所称处理器100可以是中央处理单元(Central ProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路 (Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在一个实施例中,存储器101可以是电子设备的内部存储单元,例如电子设备的硬盘或内存。存储器101也可以是电子设备的外部存储设备,例如电子设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,存储器101还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器101用于存储计算机程序以及终端设备所需的其他程序和数据。存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员可以理解,图3中示出的原理框图,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的终端设备的限定,具体的终端设备以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成的,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双运营数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上,本发明公开了基于面部肌肉状态的文字输入方法、装置、终端设备及存储介质,所述方法包括:获取预训练模板,基于所述预训练模板,获取若干待训练目标,并将每一个所述待训练目标依次移动至所述预训练模板中对应的区域内;获取在预设时长内,将所有的所述待训练目标成功移动至对应的区域的成功次数,以及每一次将所有的所述待训练目标成功移动至对应的区域内的耗时信息;基于所述耗时信息与成功次数,选择目标模板,其中,不同的目标模板对应不同的训练难度。本发明可结合将所有的所述待训练目标成功移动至对应的区域的成功次数与耗时信息来选择不同训练难度的目标模板,以此实现了对基于面部肌肉状态的文字输入效果。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于面部肌肉状态的文字输入方法,其特征在于,所述方法包括:
获取面部肌肉状态,并基于所述面部肌肉状态确定用户嘴部周围预设范围内的肌电信号;
基于所述肌电信号,确定虚拟全键盘中与所述肌电信号所对应的目标按键;
获取所述目标按键所对应的显示文字,并基于所述显示文字完成文字输入;
所述获取面部肌肉状态,并基于所述面部肌肉状态确定用户嘴部周围预设范围内的肌电信号,包括:
若所述面部肌肉状态为活动状态,则确定活动区域;
若所述活动区域为用户嘴部,则基于预设在用户嘴部周围预设范围内电极片采集所述用户嘴部周围预设范围内的肌电信号,所述肌电信号包括:静默肌电信号与发声肌电信号,所述静默肌电信号为用户嘴部张开但不发声时的肌电信号,所述发声肌电信号为用户嘴部发声时的肌电信号;
所述基于所述肌电信号,确定虚拟全键盘中与所述肌电信号所对应的目标按键,包括:
将所述肌电信号与预设的肌电信号模板进行匹配,所述肌电信号模板用于反映所述虚拟全键盘中每一个按键与肌电信号之间的映射关系;
确定所述肌电信号所对应的目标编号,并基于所述目标编号对应的所述目标按键;
所述肌电信号模板的创建方式包括:
预先针对所述虚拟全键盘中的每一个按键进行编号处理,在对按键进行编号时,依照所述虚拟全键盘的按键布局进行设置,按照从上至下,从左至右的顺序对按键进行编号,得到每一个按键的编号信息;
采集用户嘴部读取所述编号信息时,用户嘴部周围预设范围内的肌电信号,并记录所述肌电信号;
将所述编号信息与对应肌电信号进行绑定,得到所述肌电信号模板;
所述获取所述目标按键所对应的显示文字,包括:
当确定出所述目标按键时,则模拟所述目标按键的敲击事件;
获取所述目标按键被敲击时的显示文字,所述显示文字包括字母、数字或字符;
所述基于所述显示文字完成文字输入,包括:
根据所述显示文字,确定候选词组;
根据所述候选词组,确定目标文字,完成文字输入。
2.一种基于面部肌肉状态的文字输入装置,其特征在于,所述装置包括:
肌电信号采集模块,用于获取面部肌肉状态,并基于所述面部肌肉状态确定用户嘴部周围预设范围内的肌电信号;
目标按键确定模块,用于基于所述肌电信号,确定虚拟全键盘中与所述肌电信号所对应的目标按键;
文字输入完成模块,用于获取所述目标按键所对应的显示文字,并基于所述显示文字完成文字输入;
所述肌电信号采集模块,包括:
活动区域确定单元,用于若所述面部肌肉状态为活动状态,则确定活动区域;
肌电信号采集单元,用于若所述活动区域为用户嘴部,则基于预设在用户嘴部周围预设范围内电极片采集所述用户嘴部周围预设范围内的肌电信号,所述肌电信号包括:静默肌电信号与发声肌电信号,所述静默肌电信号为用户嘴部张开但不发声时的肌电信号,所述发声肌电信号为用户嘴部发声时的肌电信号;
所述目标按键确定模块,包括:
模板匹配单元,用于将所述肌电信号与预设的肌电信号模板进行匹配,所述肌电信号模板用于反映所述虚拟全键盘中每一个按键与肌电信号之间的映射关系;
按键确定单元,用于确定所述肌电信号所对应的目标编号,并基于所述目标编号对应的所述目标按键;
所述装置包括模板创建模块,所述模板创建模块包括:
编号单元,用于预先针对所述虚拟全键盘中的每一个按键进行编号处理,在对按键进行编号时,依照所述虚拟全键盘的按键布局进行设置,按照从上至下,从左至右的顺序对按键进行编号,得到每一个按键的编号信息;
采集单元,用于采集用户嘴部读取所述编号信息时,用户嘴部周围预设范围内的肌电信号,并记录所述肌电信号;
绑定单元,用于将所述编号信息与对应肌电信号进行绑定,得到所述肌电信号模板;
所述文字输入完成模块,包括:
事件模拟单元,用于当确定出所述目标按键时,则模拟所述目标按键的敲击事件;
文字获取单元,用于获取所述目标按键被敲击时的显示文字,所述显示文字包括字母、数字或字符;
所述文字输入完成模块,还包括:
词组确定单元,用于根据所述显示文字,确定候选词组;
文字输入单元,用于根据所述候选词组,确定目标文字,完成文字输入。
3.一种终端设备,其特征在于,所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于面部肌肉状态的文字输入程序,所述处理器执行基于面部肌肉状态的文字输入程序时,实现如权利要求1所述的基于面部肌肉状态的文字输入方法的步骤。
4.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有基于面部肌肉状态的文字输入程序,所述基于面部肌肉状态的文字输入程序被处理器执行时,实现如权利要求1所述的基于面部肌肉状态的文字输入方法的步骤。
CN202310194253.6A 2023-03-03 2023-03-03 基于面部肌肉状态的文字输入方法、装置及终端设备 Active CN115857706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310194253.6A CN115857706B (zh) 2023-03-03 2023-03-03 基于面部肌肉状态的文字输入方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310194253.6A CN115857706B (zh) 2023-03-03 2023-03-03 基于面部肌肉状态的文字输入方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN115857706A CN115857706A (zh) 2023-03-28
CN115857706B true CN115857706B (zh) 2023-06-06

Family

ID=85659830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310194253.6A Active CN115857706B (zh) 2023-03-03 2023-03-03 基于面部肌肉状态的文字输入方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN115857706B (zh)

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309952A (ja) * 2004-04-23 2005-11-04 Advanced Telecommunication Research Institute International テキスト入力装置
KR100594117B1 (ko) * 2004-09-20 2006-06-28 삼성전자주식회사 Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
KR100652010B1 (ko) * 2005-12-02 2006-12-01 한국전자통신연구원 이물기를 이용한 문자 형성 장치 및 방법
JP5464072B2 (ja) * 2010-06-16 2014-04-09 ソニー株式会社 筋活動診断装置および方法、並びにプログラム
CN101950249B (zh) * 2010-07-14 2012-05-23 北京理工大学 默声音符编码字符输入方法和装置
EP3180075A4 (en) * 2014-08-15 2018-03-07 Axonics Modulation Technologies Inc. Integrated electromyographic clinician programmer for use with an implantable neurostimulator
US9727133B2 (en) * 2014-09-19 2017-08-08 Sony Corporation Ultrasound-based facial and modal touch sensing with head worn device
US11493993B2 (en) * 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
CN108958620A (zh) * 2018-05-04 2018-12-07 天津大学 一种基于前臂表面肌电的虚拟键盘设计方法
CN108829252A (zh) * 2018-06-14 2018-11-16 吉林大学 基于肌电信号的手势输入计算机字符装置及方法
CN112789577B (zh) * 2018-09-20 2024-04-05 元平台技术有限公司 增强现实系统中的神经肌肉文本输入、书写和绘图
US10664050B2 (en) * 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
CN109558788B (zh) * 2018-10-08 2023-10-27 清华大学 静默语音输入辨识方法、计算装置和计算机可读介质
CN109634439B (zh) * 2018-12-20 2021-04-23 中国科学技术大学 智能文本输入方法
CN109885173A (zh) * 2018-12-29 2019-06-14 深兰科技(上海)有限公司 一种无声交互方法和电子设备
CN111427457A (zh) * 2020-06-11 2020-07-17 诺百爱(杭州)科技有限责任公司 一种基于虚拟按键输入字符的方法、装置和电子设备
CN112089979A (zh) * 2020-07-02 2020-12-18 未来穿戴技术有限公司 颈部按摩仪及其健康检测方法以及计算机存储介质
CN112558775A (zh) * 2020-12-11 2021-03-26 深圳大学 基于表面肌电信号识别的无线键盘输入方法及装置
CN113288183B (zh) * 2021-05-20 2022-04-19 中国科学技术大学 一种基于面颈部表面肌电的无声语音识别方法
CN114281236B (zh) * 2021-12-28 2023-08-15 建信金融科技有限责任公司 文本处理方法、装置、设备、介质和程序产品
CN114153317A (zh) * 2022-02-07 2022-03-08 深圳市心流科技有限公司 基于肌电信号的信息处理方法、装置、设备及存储介质
CN114863912B (zh) * 2022-05-05 2024-05-10 中国科学技术大学 一种基于表面肌电信号的无声语音解码方法
CN115568854A (zh) * 2022-10-17 2023-01-06 聂磊 一种获取心理活动、默念文字内容的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
sEMG-Based Identification of Hand Motion Commands Using Wavelet Neural Network Combined With Discrete Wavelet Transform;Feng Duan et al.;《 IEEE Transactions on Industrial Electronics》;第63卷(第3期);全文 *
基于肌电与眼动的人机交互控制技术研究;沈亮;《万方数据库》;全文 *

Also Published As

Publication number Publication date
CN115857706A (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN110334179B (zh) 问答处理方法、装置、计算机设备和存储介质
CN106293074B (zh) 一种情绪识别方法和移动终端
CN110136689B (zh) 基于迁移学习的歌声合成方法、装置及存储介质
CN111027403A (zh) 手势估计方法、装置、设备及计算机可读存储介质
CN111126339A (zh) 手势识别方法、装置、计算机设备和存储介质
CN104391839A (zh) 机器翻译方法和装置
US20240105159A1 (en) Speech processing method and related device
JP2019028094A (ja) 文字生成装置、プログラム及び文字出力装置
CN111160308B (zh) 手势动作识别方法、装置、设备及可读存储介质
CN114882862A (zh) 一种语音处理方法及相关设备
CN116821324A (zh) 模型训练方法、装置、电子设备及存储介质
CN110928478A (zh) 应用于教学的手写笔迹重现系统、方法和装置
CN111653266A (zh) 语音合成方法、装置、存储介质和电子设备
CN113326383B (zh) 一种短文本实体链接方法、装置、计算设备与存储介质
CN115857706B (zh) 基于面部肌肉状态的文字输入方法、装置及终端设备
CN110263346B (zh) 基于小样本学习的语意分析方法、电子设备及存储介质
CN115712739B (zh) 舞蹈动作生成方法、计算机设备及存储介质
CN111638783A (zh) 一种人机交互方法及电子设备
CN113312463B (zh) 语音问答的智能测评方法、装置、计算机设备及存储介质
CN112101573B (zh) 一种模型蒸馏学习方法、文本查询方法及装置
CN114331932A (zh) 目标图像生成方法和装置、计算设备以及计算机存储介质
CN111582281B (zh) 一种图片显示优化的方法、装置、电子设备和存储介质
CN116520998A (zh) 一种基于嘴部口型的键盘操作方法、装置及终端设备
JP6715874B2 (ja) 情報提供装置、情報提供方法、およびプログラム
CN113570044A (zh) 客户流失分析模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant