CN116520998A - 一种基于嘴部口型的键盘操作方法、装置及终端设备 - Google Patents

一种基于嘴部口型的键盘操作方法、装置及终端设备 Download PDF

Info

Publication number
CN116520998A
CN116520998A CN202310277166.7A CN202310277166A CN116520998A CN 116520998 A CN116520998 A CN 116520998A CN 202310277166 A CN202310277166 A CN 202310277166A CN 116520998 A CN116520998 A CN 116520998A
Authority
CN
China
Prior art keywords
mouth shape
lip
mouth
key
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310277166.7A
Other languages
English (en)
Inventor
韩璧丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Qiangnao Technology Co ltd
Original Assignee
Zhejiang Qiangnao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Qiangnao Technology Co ltd filed Critical Zhejiang Qiangnao Technology Co ltd
Priority to CN202310277166.7A priority Critical patent/CN116520998A/zh
Publication of CN116520998A publication Critical patent/CN116520998A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于嘴部口型的键盘操作方法、装置及终端设备，所述方法包括：采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状；将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息；基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。本发明可通过识别用户的嘴部口型来实现对按键的操作，实现无需手动操作即可进行文字输入，给用户的使用提供了方便。

Description

一种基于嘴部口型的键盘操作方法、装置及终端设备
技术领域
本发明涉及文字输入技术领域，尤其涉及一种基于嘴部口型的键盘操作方法、装置及终端设备。
背景技术
现有技术中，无论是手机等移动终端还是电脑等终端设备在进行键盘操作时(比如文字输入)时，基本都是需要手指按压键盘或者实体键盘，用户的操作很不方便。并且，基于用户手指按压操作来实现文字输入的技术方案，容易受到用户的操作熟练度以及速度的影响，导致文字输入的效率不高。
因此，现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于嘴部口型的键盘操作方法、装置及终端设备，旨在解决现有技术中基于用户手指按压操作来实现文字输入的技术方案，容易受到用户的操作熟练度以及速度的影响，导致文字输入的效率不高的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
第一方面，本发明提供一种基于嘴部口型的键盘操作方法，其中，所述方法包括：
采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状；
将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息；
基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。
在一种实现方式中，所述采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，包括：
基于所述嘴部图像数据，确定唇部区域；
基于所述唇部区域，确定两侧的唇角位置；
基于所述唇角位置，确定所述唇形特征。
在一种实现方式中，所述基于所述唇角位置，确定所述唇形特征，包括：
获取两侧的所述唇角位置所对应的坐标信息，并基于所述坐标信息，确定两侧的所述唇角位置的位置差异数据；
基于所述位置差异数据，确定所述唇形特征。
在一种实现方式中，所述口型识别模型的训练过程包括：
采集唇形样本数据以及每一个唇形样本数据对应的口型样本数据；
采集按键样本数据以及每一个按键样本数据对应的发声口型数据，所述发声口型数据用于反映用户读取所述按键样本数据时的嘴部口型；
将所述口型样本数据与所述发声口型数据对应，并构建所述唇形样本数据、所述口型样本数据以及所述按键样本数据三者之间的映射关系；
根据所述映射关系，训练预设的神经网络模型，得到所述口型识别模型。
在一种实现方式中，所述将所述口型样本数据与所述发声口型数据对应，包括：
从所述口型样本数据中获取用于反映相同嘴部口型的发声口型数据，并将用于反映相同嘴部口型的口型样本数据与发声口型数据映射并建立对应关系。
在一种实现方式中，所述基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作，包括：
获取按键信息所对应的目标按键，并针对所述目标按键生成所述敲击指令；
针对所述目标按键执行所述敲击指令，以控制所述目标按键模拟被敲击事件；
获取所述目标按键所对应的显示内容，并基于所述显示内容进行文字输入。
在一种实现方式中，所述方法还包括：
基于所述嘴部口型，确定与所述嘴部口型所对应的发声音频数据，并基于所述发声音频数据确定所述按键信息。
第二方面，本发明实施例还提供一种基于嘴部口型的键盘操作装置，其中，所述装置包括：
唇形特征确定模块，用于采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状；
按键信息确定模块，用于将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息；
按键操作控制模块，用于基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。
第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于嘴部口型的键盘操作程序，处理器执行基于嘴部口型的键盘操作程序时，实现上述方案中任一项的基于嘴部口型的键盘操作方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质上存储有基于嘴部口型的键盘操作程序，所述基于嘴部口型的键盘操作程序被处理器执行时，实现上述方案中任一项所述的基于嘴部口型的键盘操作方法的步骤。
有益效果：与现有技术相比，本发明提供了一种基于嘴部口型的键盘操作方法，首先，本发明首先采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状。然后，将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息。最后，基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。本发明可基于口型识别模型来识别出嘴部口型，然后根据嘴部口型来确定按键信息，并生成敲击指令来控制按键信息对应的按键来模拟被敲击操作，以便实现文字输入。因此，本发明无需手动操作就可以对按键进行操作，方便用户的使用，也提高了操作效率。
附图说明
图1为本发明实施例提供的基于嘴部口型的键盘操作方法的具体实施方式的流程图。
图2为本发明实施例提供的基于嘴部口型的键盘操作装置的功能原理图。
图3为本发明实施例提供的终端设备的原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例提供一种基于嘴部口型的键盘操作方法，基于本实施例的方法，可解放用户双手，无需手动操作键盘，只需通过不同的嘴部口型即可控制键盘上的案件执行被敲击操作，方便用户使用。具体应用时，本实施例首先采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状。然后，将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息。最后，基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。本实施例可基于口型识别模型来识别出嘴部口型，然后根据嘴部口型来确定按键信息，并生成敲击指令来控制按键信息对应的按键来模拟被敲击操作，以便实现文字输入。因此，本实施例无需手动操作就可以对按键进行操作，方便用户的使用，也提高了操作效率。
举例说明，首先可基于摄像装置采集嘴部图像数据，然后对该嘴部图像数据进行分析，确定此时用户的唇形特征，也就是确定此时用户的嘴唇的形状，比如分析出唇形特征为左边唇角上翘。然后将确定的唇形特征输入至预设的口型识别模型，该口型识别模型可基于唇形特征自动输出对应的嘴部口型以及对应的按键信息，此时确定的嘴部口型为此时用户展现出上述唇形特征(如左边唇角上翘)时的口型，按键信息反映的是此时用户的口型是对应键盘上的哪一个按键。当确定出按键信息后，本实施例就可以生成一个敲击指令来对该按键信息对应的按键执行被敲击操作，从而实现文字输入。
示例性方法
本实施例的基于嘴部口型的键盘操作方法可应用于终端设备中，所述终端设备可为电脑、手机等智能化产品终端。在本实施例中，所述基于嘴部口型的键盘操作方法包括如下步骤：
步骤S100、采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状。
本实施例首先采集嘴部图像数据，该嘴部图像数据可基于设置在终端设备上的摄像头进行采集。当然，在进行图像采集时，本实施例可先采集到人脸图像，然后从人脸图像中截取嘴部图像数据，以便对用户嘴部的口型进行分析。接着，本实施例根据该嘴部图像数据来确定唇形特征，该唇形特征反映的就是嘴唇的形状，本实施例分析出该唇形特征有利于分析出嘴部口型。
在一种实现方式中，本实施例在确定唇形特征时，包括如下步骤：
步骤S101、基于所述嘴部图像数据，确定唇部区域；
步骤S102、基于所述唇部区域，确定两侧的唇角位置；
步骤S103、基于所述唇角位置，确定所述唇形特征。
具体实施时，本实施例可基于图像识别技术从嘴部图像数据中识别出唇部区域，该唇部区域即为嘴唇对应的区域。接着，本实施例可对该唇部区域进行分析，识别该唇部区域中上嘴唇和下嘴唇，以及两侧的唇角位置。当识别到唇角位置后，本实施例可获取两侧的所述唇角位置所对应的坐标信息，该坐标信息可清楚的体现出唇角位置在唇部区域的哪个位置。然后，本实施例可基于所述坐标信息，确定两侧的所述唇角位置的位置差异数据。该位置差异数据可反映出左右两侧的唇角位置哪一个高，哪一个低等，因此本实施例基于所述位置差异数据，就可以确定嘴唇形状，由此可得到所述唇形特征。
在另一种实现方式中，本实施例可在识别出唇部区域后，直接将该唇部区域与预设的用于反映各个唇形特征的样本图像进行比对，从而直接匹配出该唇部区域对应的唇形特征。本实施例利用图像比对的方式可快速地分析出唇形特征，以便实现对嘴部口型的分析。
步骤S200、将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息。
本实施例预先训练好一个口型识别模型，该口型识别模型可自动针对输入的唇形特征进行分析，自动输出唇形特征对应的嘴部口型，然后根据嘴部口型确定出对应的按键信息，该按键信息可反映出键盘上的按键，而确定的嘴部口型即为该按键信息对应的按键在被用户读取发声时的口型。
在一种实现方式中，本实施例中的口型识别模型是预先训练好的，具体地，本实施例首先采集唇形样本数据以及每一个唇形样本数据对应的口型样本数据。在采集唇形样本数据时，本实施例可在用户说话时对唇形特征进行采集，得到唇形样本数据。接着，本能实施例可在采集到唇形样本数据时，同步记录此时用户的口型样本数据。然后，本实施例采集按键样本数据以及每一个按键样本数据对应的发声口型数据，所述发声口型数据用于反映用户读取所述按键样本数据时的嘴部口型。也就是说，发声口型数据是在用户读取键盘上的按键信息时进行采集，比如，用户读取键盘上的字母“O”，此时就可以采集唇形样本数据。接着，本实施例将所述口型样本数据与所述发声口型数据对应。具体地，本实施例从所述口型样本数据中获取用于反映相同嘴部口型的发声口型数据，并将用于反映相同嘴部口型的口型样本数据与发声口型数据映射并建立对应关系。这样就可以得出，当针对相同的嘴部口型时，发声口型数据和口型样本数据是相同的，因此，本实施例就可以构建所述唇形样本数据、所述口型样本数据以及所述按键样本数据三者之间的映射关系。该映射关系即为：唇形样本数据--所述口型样本数据--按键样本数据。本实施例可根据所述映射关系，训练预设的神经网络模型，得到所述口型识别模型。因此，当将唇形特征输入至口型识别模型后，该口型识别模型可自动输出与该唇形特征对应的嘴部口型以及输出该嘴部口型对应的按键信息，而由于按键信息可用于反映出键盘上的按键，因此也就可以确定此时的唇形特征是对应键盘上的哪一个按键。本实施例通过训练一口型识别模型，可快速识别出唇形特征对应的按键信息，以便提高键盘操作效率。
步骤S300、基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。
当本实施例确定出按键信息后，本实施例可生成敲击指令，该敲击指令可针对该按键信息对应的按键进行敲击模拟，使得该按键信息对颖你那个的按键可被按下，从而实现对键盘的操作，并实现文字输入。
在一种实现方式中，本实施例的步骤S300具体包括如下步骤：
步骤S301、获取按键信息所对应的目标按键，并针对所述目标按键生成所述敲击指令；
步骤S302、针对所述目标按键执行所述敲击指令，以控制所述目标按键模拟被敲击事件；
步骤S303、获取所述目标按键所对应的显示内容，并基于所述显示内容进行文字输入。
具体地，本实施例首先基于该按键信息，确定出该按键信息所反映的文字内容在键盘上对应哪一个按键，也就确定出对应的目标按键。然后，本实施例获取目标按键对应的坐标信息，并将所述坐标信息输入至预设的指令模板，该指令模板可基于输入的坐标信息自动在键盘上与该坐标信息对应的位置处生成敲击指令，因此，该所述敲击指令中携带所述坐标信息，而所述坐标信息用于反映所述键盘上与所述目标按键对应的按键区域。因此，生成的敲击指令恰好就用于对该目标按键上执行敲击动作。
本实施例中的敲击指令为对目标按键进行按压。比如，当目标按键为“D”按键，着就可以模拟对“D”按键的敲击事件，这样就会显示出显示文字“D”。当然，由于键盘上的按键既包括字母按键也包括数字按键，因此，显示文字既可以是字母、数字或字符。当得到显示文字后，本实施例的终端设备就可以基于显示文字利用输入法规则生成候选词组，比如显示文字“D”对应的候选词组可为“的、地、大”等。或者，当连续两个目标按键分别为“N”、“H”，则显示文字就为“N”、“H”。因此，基于输入法规则，就可以得到候选词组为“你好、你和、你还”等。当得到候选词组后，本实施例就可以从中挑选目标文字，并将该目标文字选中并输入，以此完成文字输入。当然，在另一种实现方式中，本实施例在确定候选词组后，可基于头部动作来控制光标的移动，进而选中目标文字，以便实现目标文字的输入。
在另一种实现方式中，本实施例还可以基于所述嘴部口型，确定与所述嘴部口型所对应的发声音频数据，也就是说，本实施例可同步采集发声音频数据，或者，可直接根据嘴部口型来还原出发声音频数据，然后基于所述发声音频数据确定所述按键信息。基于声音识别技术可准确且快速地确定出按键信息。或者，本实施例可将通过口型识别模型识别按键信息与通过发声音频数据确定所述按键信息结合起来，也就是通过两种方式来确定按键信息，以保证按键信息的准确性。
综上，本实施例首先采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状。然后，将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息。最后，基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。本实施例可基于口型识别模型来识别出嘴部口型，然后根据嘴部口型来确定按键信息，并生成敲击指令来控制按键信息对应的按键来模拟被敲击操作，以便实现文字输入。因此，本实施例无需手动操作就可以对按键进行操作，方便用户的使用，也提高了操作效率。
示例性装置
基于上述实施例，本发明还公开一种基于嘴部口型的键盘操作装置，如图2中所示，该装置包括：唇形特征确定模块10、按键信息确定模块20以及按键操作控制模块30。具体地，所述唇形特征确定模块10，用于采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状。所述按键信息确定模块20，用于将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息。所述按键操作控制模块30，用于基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。
在一种实现方式中，所述唇形特征确定模块10，包括：
唇部区域确定单元，用于基于所述嘴部图像数据，确定唇部区域；
唇角位置确定单元，用于基于所述唇部区域，确定两侧的唇角位置；
唇形特征识别单元，用于基于所述唇角位置，确定所述唇形特征。
在一种实现方式中，所述唇形特征识别单元，包括：
差异数据确定子单元，用于获取两侧的所述唇角位置所对应的坐标信息，并基于所述坐标信息，确定两侧的所述唇角位置的位置差异数据；
唇形特征确定子单元，用于基于所述位置差异数据，确定所述唇形特征。
在一种实现方式中，所述装置包括模型训练模块，所述模型训练模块包括：
样本数据采集单元，用于采集唇形样本数据以及每一个唇形样本数据对应的口型样本数据；
口型数据采集单元，用于采集按键样本数据以及每一个按键样本数据对应的发声口型数据，所述发声口型数据用于反映用户读取所述按键样本数据时的嘴部口型；
映射关系建立单元，用于将所述口型样本数据与所述发声口型数据对应，并构建所述唇形样本数据、所述口型样本数据以及所述按键样本数据三者之间的映射关系；
模型训练单元，用于根据所述映射关系，训练预设的神经网络模型，得到所述口型识别模型。
在一种实现方式中，所述映射关系建立单元，具体用于：
从所述口型样本数据中获取用于反映相同嘴部口型的发声口型数据，并将用于反映相同嘴部口型的口型样本数据与发声口型数据映射并建立对应关系。
在一种实现方式中，所述按键操作控制模块30，包括：
指令生成单元，用于获取按键信息所对应的目标按键，并针对所述目标按键生成所述敲击指令；
事件模拟单元，用于针对所述目标按键执行所述敲击指令，以控制所述目标按键模拟被敲击事件；
文字输入单元，用于获取所述目标按键所对应的显示内容，并基于所述显示内容进行文字输入。
在一种实现方式中，所述装置还包括：
发声音频分析单元，用于基于所述嘴部口型，确定与所述嘴部口型所对应的发声音频数据，并基于所述发声音频数据确定所述按键信息。
本实施例的基于嘴部口型的键盘操作装置中各个模块的工作原理与上述方法实施例中各个步骤的原理相同，此处不再赘述。
基于上述实施例，本发明还提供了一种终端设备，所述终端设备的原理框图可以如图3所示。终端设备可以包括一个或多个处理器100(图3中仅示出一个)，存储器101以及存储在存储器101中并可在一个或多个处理器100上运行的计算机程序102，例如，基于嘴部口型的键盘操作的程序。一个或多个处理器100执行计算机程序102时可以实现基于嘴部口型的键盘操作的方法实施例中的各个步骤。或者，一个或多个处理器100执行计算机程序102时可以实现基于嘴部口型的键盘操作的装置实施例中各模块/单元的功能，此处不作限制。
在一个实施例中，所称处理器100可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在一个实施例中，存储器101可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器101也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，存储器101还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器101用于存储计算机程序以及终端设备所需的其他程序和数据。存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员可以理解，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双运营数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上，本发明公开了一种基于嘴部口型的键盘操作方法、装置及终端设备，所述方法包括：采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状；将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息；基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。本发明可通过识别用户的嘴部口型来实现对按键的操作，实现无需手动操作即可进行文字输入，给用户的使用提供了方便。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于嘴部口型的键盘操作方法，其特征在于，所述方法包括：
采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状；
将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息；
基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。
2.根据权利要求1所述的基于嘴部口型的键盘操作方法，其特征在于，所述采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，包括：
基于所述嘴部图像数据，确定唇部区域；
基于所述唇部区域，确定两侧的唇角位置；
基于所述唇角位置，确定所述唇形特征。
3.根据权利要求2所述的基于嘴部口型的键盘操作方法，其特征在于，所述基于所述唇角位置，确定所述唇形特征，包括：
获取两侧的所述唇角位置所对应的坐标信息，并基于所述坐标信息，确定两侧的所述唇角位置的位置差异数据；
基于所述位置差异数据，确定所述唇形特征。
4.根据权利要求1所述的基于嘴部口型的键盘操作方法，其特征在于，所述口型识别模型的训练过程包括：
采集唇形样本数据以及每一个唇形样本数据对应的口型样本数据；
采集按键样本数据以及每一个按键样本数据对应的发声口型数据，所述发声口型数据用于反映用户读取所述按键样本数据时的嘴部口型；
将所述口型样本数据与所述发声口型数据对应，并构建所述唇形样本数据、所述口型样本数据以及所述按键样本数据三者之间的映射关系；
根据所述映射关系，训练预设的神经网络模型，得到所述口型识别模型。
5.根据权利要求4所述的基于嘴部口型的键盘操作方法，其特征在于，所述将所述口型样本数据与所述发声口型数据对应，包括：
从所述口型样本数据中获取用于反映相同嘴部口型的发声口型数据，并将用于反映相同嘴部口型的口型样本数据与发声口型数据映射并建立对应关系。
6.根据权利要求1所述的基于嘴部口型的键盘操作方法，其特征在于，所述基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作，包括：
获取按键信息所对应的目标按键，并针对所述目标按键生成所述敲击指令；
针对所述目标按键执行所述敲击指令，以控制所述目标按键模拟被敲击事件；
获取所述目标按键所对应的显示内容，并基于所述显示内容进行文字输入。
7.根据权利要求1所述的基于嘴部口型的键盘操作方法，其特征在于，所述方法还包括：
基于所述嘴部口型，确定与所述嘴部口型所对应的发声音频数据，并基于所述发声音频数据确定所述按键信息。
8.一种基于嘴部口型的键盘操作装置，其特征在于，所述装置包括：
唇形特征确定模块，用于采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状；
按键信息确定模块，用于将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息；
按键操作控制模块，用于基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于嘴部口型的键盘操作程序，所述处理器执行基于嘴部口型的键盘操作程序时，实现如权利要求1-7任一项所述的基于嘴部口型的键盘操作方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于嘴部口型的键盘操作程序，所述基于嘴部口型的键盘操作程序被处理器执行时，实现如权利要求1-7任一项所述的基于嘴部口型的键盘操作方法的步骤。
CN202310277166.7A 2023-03-21 2023-03-21 一种基于嘴部口型的键盘操作方法、装置及终端设备 Pending CN116520998A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310277166.7A CN116520998A (zh) 2023-03-21 2023-03-21 一种基于嘴部口型的键盘操作方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310277166.7A CN116520998A (zh) 2023-03-21 2023-03-21 一种基于嘴部口型的键盘操作方法、装置及终端设备

Publications (1)

Publication Number Publication Date
CN116520998A true CN116520998A (zh) 2023-08-01

Family

ID=87405432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310277166.7A Pending CN116520998A (zh) 2023-03-21 2023-03-21 一种基于嘴部口型的键盘操作方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN116520998A (zh)

Similar Documents

Publication Publication Date Title
CN107436691B (zh) 一种输入法进行纠错的方法、客户端、服务器及装置
CN110334179B (zh) 问答处理方法、装置、计算机设备和存储介质
CN110517685B (zh) 语音识别方法、装置、电子设备及存储介质
CN109345553B (zh) 一种手掌及其关键点检测方法、装置和终端设备
CN106293074B (zh) 一种情绪识别方法和移动终端
CN111353501A (zh) 一种基于深度学习的书本点读方法及系统
CN102750552B (zh) 一种手写识别方法、系统及手写识别终端
CN111126339A (zh) 手势识别方法、装置、计算机设备和存储介质
US9760278B2 (en) Finger expressions for touch screens
CN112364799A (zh) 一种手势识别方法及装置
CN103713845B (zh) 筛选候选项的方法和装置、文字输入方法和输入法系统
CN109558599A (zh) 一种转换方法、装置和电子设备
CN109388935B (zh) 单证验证方法及装置、电子设备及可读存储介质
CN103455262A (zh) 一种基于移动计算平台的笔式交互方法及系统
JP4212270B2 (ja) 文字入力装置、文字入力方法および文字を入力するためのプログラム
CN110858291A (zh) 字符切分方法及装置
CN110263346B (zh) 基于小样本学习的语意分析方法、电子设备及存储介质
US11322142B2 (en) Acoustic sensing-based text input method
CN116520998A (zh) 一种基于嘴部口型的键盘操作方法、装置及终端设备
JP5628691B2 (ja) 手話キーボードおよびそれを用いた手話検索装置
CN112163513A (zh) 信息选取方法、系统、装置、电子设备及存储介质
KR20190027287A (ko) 손가락 동작과 입 모양에 의한 키보드와 마우스 기능 모사 방법
CN115857706B (zh) 基于面部肌肉状态的文字输入方法、装置及终端设备
CN118259747A (zh) 多模态交互方法、装置、控制器、系统、汽车及存储介质
CN113449652A (zh) 基于生物特征识别的定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination