CN102117115A - 一种利用唇语进行文字输入选择的系统及实现方法 - Google Patents

Abstract

本发明提供了一种利用唇语进行文字输入选择系统及其实现方法，属于电子技术在计算机、软件技术领域的应用。该系统在现有输入组件的基础上，设置摄像模块、标准唇语内容模块、唇语识读模块及唇语文字选择执行模块，建立唇语口型对应的标准唇语内容模块；其实现方法为：利用摄像模块，拍摄用户在进行文字输入时的唇语图像；将拍摄的唇语图像与标准唇语内容模块进行比较识别获得识读唇语内容；根据获得的唇语识读结果，确定文字输入内容列表中的选择字符项，来实现用户的文字输入选择，从而帮助用户提高文字输入的速度和工作效率，同时，增添了用户进行文字输入时的趣味性。

Description

一种利用唇语进行文字输入选择的系统及实现方法

技术领域

本发明属于电子技术在计算机、软件技术领域的应用，特别是文字输入的相关技术领域。

背景技术

在PC机，或包括手机、手持型游戏机、手持型播放器、个人数字助理在内的手持终端的各种应用中，语言文字处理是其一种最基本的功能，也是应用最多、范围最广、涉及面最大的实用功能。在各种终端的使用过程中，文字输入是必不可少的，尤其是在使用频度最高的文字处理方面，文字输入几乎就是其全部内容，因此，对于使用电脑者来说，掌握一种文字输入法就成了一种最基本的技能和需要。

在各种软、硬件技术高度发达的今天，文字输入的方法已由当初单一的键盘输入发展为键盘输入、手写输入、语音输入、光电输入多头并进的格局，在这众多的输入法中，目前主要集中在键盘输入、手写输入上。如果采用QWERT类型的标准键盘来进行字符输入的话，比如这样的英语形式：“Nice to meet you！”每一个单词中的字母与按键是一一对应的，就没有必要进行文字的选择了。

然而，对于一些采用一个读音对应多种类型字符的情况下，比如汉语，“没”、“美”、“每”，它们读音是一样的，当用户输入字母拼音“mei”时，mei的拼音会对应超过50个以上的汉字。如果采用目前的输入方式的话，通常每个界面会有5-9个汉字供选择，例如：“1.没2.每3.酶4.美5.梅6.妹.......”

通常人们是采用数字的方式进行选择的，然后采用按键的形式来进行每个界面字符的翻页操作。该方式相当的繁琐且浪费时间，从而影响用户的工作效率，鉴于此，本发明提出了一种利用唇语进行文字输入选择的系统及其实现方法。

发明内容

本发明的目的之一，在于提供一种利用唇语进行文字输入选择的系统，本发明的目的之二，在于提供了一种利用唇语进行文字输入选择的系统的实现方法，从而帮助用户提高文字输入的速度和工作效率。

一种利用唇语进行文字输入选择的系统，它包括有用以实现文字输入功能的输入组件，以及设置有显示屏的终端，其特征在于，该系统还包括有如下部分：

(1)摄像模块，它设置在前述的机身上，或与机身能够实现通信连接的位置处，是用以在用户进行文字输入时拍摄用户的唇语口型的功能结构；

(2)标准唇语内容模块，它是预先建立的用以存储标准唇语内容的模块结构，包含有不同内容含义下口型数据的内容列表；

(3)唇语识读模块，它与前述的摄像模块相连接，获得唇语的图像数据，并与前述的标准唇语内容模块相连接，来获得标准的唇语数据，并实现两者之间的比较识别的模块结构；

(4)字符输入模决，它是通过前述的输入组件来实现文字输入模块的模块结构，包含有文字输入内容列表；

(5)唇语文字选择执行模块，它是与前述的字符输入模块相连接以获得文字输入内容列表，并与前述的唇语识读模块相连接，以获得唇语的识读结果，并根据该唇语识读结果来确定前述文字输入内容列表中的选择字符项。

进一步，所述的一种利用唇语进行文字输入选择的系统，还可以具有如下技术特征：

在所述的摄像模块中，包括摄像清晰度自调节模块、摄像角度自调节模块及唇部取像模块。

在所述的唇部取像模块中，包含有唇部图像识别子模块，以及口部范围子模块。

在所述的标准唇语内容模块中，包括数字唇语内容模块、命令唇语内容模块及词汇唇语内容模块。

在所述的标准唇语内容模块中，还可以配套设置标准唇语个性输入模块，包含有标准文字列表子模块，和针对该子模块进行唇语输入的标准文字唇语内容子模块。

在所述的唇语识读模块中，包括唇语内容比较模块和唇语识读结果模块，以及数字识读模块、命令识读模块及词汇识读模块。

本发明还提供一种利用唇语进行文字输入选择系统的实现方法，所述的系统如前面所述，其特征在于，该方法包括以下步骤：

步骤1，建立唇语口型对应的标准唇语内容模块；

步骤2，利用摄像模块，拍摄用户在进行文字输入时的唇语图像；

步骤3，将步骤2拍摄的唇语图像数据与步骤1建立的标准唇语内容模块进行比较识别，来识读唇语内容；

步骤4，根据步骤3获得的唇语识读结果，确定文字输入内容列表中的选择字符项。

进一步，所述的一种利用唇语进行文字输入选择系统的实现方法，还可以具有如下技术特征：

在所述的步骤1中，可以配套设置标准唇语个性输入模块，包含有标准文字列表子模块，和针对该子模块进行唇语输入的标准文字唇语内容子模块。

对应着所述的步骤2，可设置摄像清晰度自调节模块，用以在判定唇语图像清晰度不复合要求的情况下调整图像的清晰度，

以及设置摄像角度自调节模块，用以根据所判定的唇部图像来调整摄像头的角度，

以及唇部取像模块，它包含有唇部图像识别子模块，以及口部范围子模块，在工作时，利用唇部图像识别子模块来判定用户的口部位置，利用口部范围子模块来确定与口部相关的图像范围。

在所述的步骤3中，通过比较，获得一个唇语识读结果列表，可根据该列表中与相关已输入词汇的关联程度，来对该唇语识读结构列表进行排序，或根据该列表中词汇的常用程度进行排序，或根据该列表中词汇在用户输入操作中的出现频率进行排序。

本发明的优点在于：

与现有的键盘输入、手写输入法相比，本发明在现有输入组件的基础上，通过设置摄像模块、标准唇语内容模块、唇语识读模块及唇语文字选择执行模块，实现了用户利用唇语进行文字输入选择的功能，例如，在该系统中，可以通过字符的选择、执行字符界面的翻页命令及基于词汇或关联词等在文字输入列表中进行输入文字的选择，从而帮助用户提高文字输入的速度和工作效率，同时，增添了用户进行文字输入时的趣味性。

附图说明

图1是为本发明所述的一种利用唇语进行文字输入选择系统的原理框图。

图2是为本发明所述的一种利用唇语进行文字输入选择系统的实现方法的流程图。

图3是为本发明所述的一种利用唇语进行文字输入选择系统及实现方法的具体实施例图。

图4是为本发明所述的一种利用唇语进行文字输入选择系统及实现方法的具体实施例图。

图5是为本发明所述的一种利用唇语进行文字输入选择系统及实现方法的具体实施例图。

图中的标号说明：

利用唇语进行文字输入选择系统-100，包括摄像模块-110，摄像清晰度自调节模块-111，摄像角度自调节模块-112，唇部取像模块-113，唇部图像识别子模块-113a，口部范围子模块-113b，标准唇部内容模块-120，数字唇语内容模块-121，命令唇语内容模块-122，词汇唇语内容模块-123，标准唇语个性输入模块-124，标准文字列表子模块-124a，标准文字唇语内容子模块-124b，唇语识读模块-130，唇语内容比较模块-131，唇语识读结果模块-132，数字识读模块-132a，four(四)-A，next page(下一页)-B，词汇识读模块-132c，美丽-C，字符输入模块-140，文字输入内容列表-141，唇语文字选择执行模块-150，输入组件-160，键盘-161，终端-170，显示屏-171。

具体实施方式

下面参照着附图，对本发明所述的一种利用唇语进行文字输入选择的系统100及其实现方法，做详细介绍：

图1为本发明所述的一种利用唇语进行文字输入选择的系统100的原理框图的说明。

参图中所示，这儿展示了一种利用唇语进行文字输入选择系统100的原理框图结构，它包括有用以实现文字输入功能的输入组件160，以及设置有显示屏171的终端170，该系统还包括有如下部分。

摄像模块110，它设置在终端170上，或与终端170能够实现通信连接的位置处，是用以在用户进行文字输入时拍摄用户的唇语口型的功能结构；

进一步，在所述的摄像模块110中，包括摄像清晰度自调节模块111、摄像角度自调节模块112及唇部取像模块113，其中，摄像清晰度自调节模块111，用以在判定唇语图像清晰度不复合要求的情况下调整图像的清晰度，可以通过旋转镜头，调节焦距或清晰度等来调节图像的清晰度，做为举例而非限定，可以通过调节图像的分辨率为“1280*1024像素”、“1280*720像素”、“800*600像素”；摄像角度自调节模块112，用以根据所判定的唇部图像来调整摄像头的角度，做为举例而非限定，可以把摄像头设置成与用户的脸部水平，或者向下倾15°等；唇部取像模块113，包含有唇部图像识别子模块113a，以及口部范围子模块113b，在工作时，利用唇部图像识别子模块来判定用户的口部位置，利用口部范围子模块来确定与口部相关的图像范围。

标准唇语内容模块120，它是预先建立的用以存储标准唇语内容的模块结构，包含有不同内容含义下口型数据的内容列表，做为举例而非限定，例如，英语中的“four”对应“下唇收紧，上唇向上呈弧形，舌头紧抵下齿”的唇语口型图，汉语中“翻页”对应由“下唇微张，上唇向上呈弧形”到“双唇外张，舌头紧抵下齿”的唇语口型连贯图；

进一步，在所述的标准唇语内容模块120中，包括数字唇语内容模块121、命令唇语内容模块122及词汇唇语内容模块123，还可以配套设置标准唇语个性输入模块124，包含有标准文字列表子模块124a，和针对该子模块进行唇语输入的标准文字唇语内容子模块124b；其中，做为举例而非限定，在数字唇语内容模块121中，包括有多种不同语种的数字与对应发音的唇语口型图，例如，英语中的“four”对应“下唇收紧，上唇向上呈弧形，舌头紧抵下齿”的唇语口型图，汉语中的“四”对应“双唇外张，上下牙齿对紧，舌头紧抵下齿”的唇语口型图；在命令唇语内容模块122中，包括有多种不同语种的命令指示与对应发音的连贯唇语口型图，例如，汉语中“翻页”对应由“下唇微张，上唇向上呈弧形”到“双唇外张，舌头紧抵下齿”的唇语口型连贯图；在词汇唇语内容模块123中，包括有多种不同语种的词汇与对应发音的连贯唇语口型图，例如，汉语中“高兴”对应由“下唇收紧，上唇向上呈圆弧形”到“双唇外张，上下牙齿对紧”的唇语口型连贯图。

唇语识读模块130，它与前述的摄像模块110相连接，获得唇语的图像数据，并与前述的标准唇语内容模块120相连接，来获得标准的唇语数据，并实现两者之间的比较识别的模块结构；

进一步，在所述的唇语识读模块130中，包括唇语内容比较模块131和唇语识读结果模块132；唇语内容比较模块131，它与前述的摄像模块110相连接，获得唇语的图像数据，并与前述的标准唇语内容模块120相连接，来获得唇语识读结果；在所述的唇语识读结果模块132中，包括有数字识读模块132a、命令识读模块132b及词汇识读模块132c；做为举例而非限定，在数字识读模块132a中，包含有多种不同语种数字，它可以是英语中的“one，two，three，four......”，也可以是汉语中的“一、二、三、四.......”，也可以是法语中的“un，deux，trois，quatre......”；在命令识读模块132b中，包含有各种不同的命令，例如，“向下翻页”、“向上翻页”等；在词汇识读模块132c中，包含有基于常用意思的关联词汇，例如“美丽、美好、俊美......”、“年轻、年龄、年纪......”等。

字符输入模块140，它是通过前述的输入组件160来实现文字输入模块的模块结构，包含有不同语种的文字输入内容列表141；做为举例而非限定，例如，用户通过输入组件160键盘161，利用goole拼音输入法输入“mei”，就会在显示屏171上出现“1.没2.每3.酶4.美5.梅6.妹......”的文字输入内容列表。

唇语文字选择执行模块150，它与前述的字符输入模块140相连接以获得文字输入内容列表141，并与前述的唇语识读模块130相连接，以获得唇语的识读结果，并根据该唇语识读结果来确定前述文字输入内容列表中的选择字符项；做为举例而非限定，例如，由字符输入模块140获得文字输入内容列表“1.没2.每3.酶4.美5.梅6.妹......”，由唇语识读模块130获得的识读结果为“four”，该唇语文字选择执行模块150则确定“1.没2.每3.酶4.美5.梅6.妹......”中的选择字符项为“4.美”。

所述的利用唇语进行文字输入选择的系统100是PC机，或包括手机、手持型游戏机、手持型播放器、个人数字助理在内的手持终端中至少其一。

图2是为本发明所述的一种利用唇语进行文字输入选择的系统100的实现方法的流程图的说明。

结合图1一种利用唇语进行文字输入选择系统的原理框图结构，图2给出了该系统的实现方法的流程图。

步骤1，建立唇语口型对应的标准唇语内容模块120，在本步骤中，可以通过用户修改，来更正标准唇语内容模块120中存储的唇语内容，来满足用户更多的需求；在本步骤中，还可以配套设置标准唇语个性输入模块124，包含有标准文字列表子模块124a，和针对该子模块进行唇语输入的标准文字唇语内容子模块124b。

步骤2，利用摄像模块110，拍摄用户在进行文字输入时的唇语图像；在所述的摄像模块110中，设置摄像清晰度自调节模块111，用以在判定唇语图像清晰度不复合要求的情况下调整图像的清晰度，设置摄像角度自调节模块112，用以根据所判定的唇部图像来调整摄像头的角度，设置唇部取像模块113，包含有唇部图像识别子模块113a，以及口部范围子模块113b，在工作时，利用唇部图像识别子模块113a来判定用户的口部位置，利用口部范围子模块113b来确定与口部相关的图像范围。

步骤3，将步骤2拍摄的唇语图像数据与步骤1建立的标准唇语内容模块120进行比较识别，来识读唇语内容；在本步骤中，唇语内容比较模块131与前述的摄像模块110相连接，获得唇语的图像数据，与前述的标准唇语内容模块120相连接，来获得唇语识读结果列表，在该唇语识读结果列表中，包括有数字识读模块132a、命令识读模块132b及词汇识读模块132c；该唇语识读模块130，可根据唇语识读结果列表中与相关已输入词汇的关联程度，来对唇语识读结构列表进行排序，或根据该列表中词汇的常用程度进行排序，或根据该列表中词汇在用户输入操作中的出现频率进行排序。

步骤4，根据步骤3获得的唇语识读结果，确定文字输入内容列表中的选择字符项。做为举例而非限定，例如，由字符输入模块140获得文字输入内容列表“1.没2.每3.酶4.美5.梅6.妹......”，由唇语识读模块130获得的识读结果为“four”，该唇语文字选择执行模块150则确定“1.没2.每3.酶4.美5.梅6.妹......”中的选择字符项为“4.美”。

图3是为本发明所述的一种利用唇语进行文字输入选择系统的实现方法的具体实施例图的说明。

本图所示为利用该系统通过数字选择来实现文字的选择，具体如下：

当用户采用goole汉语拼音输入法利用输入组件160中的键盘161输入“mei”时，会在显示屏171上出现文字输入内容列表141，显示为“1.没2.每3.酶4.美5.煤6.玫7.梅”；

用户根据文字输入内容列表141显示的内容，结合实际要求，需要选择“4.美”这个汉字，此时用户会用唇200发出英语“four”A，同时，摄像模块110会拍摄下用户发出“four”时所对应的唇语口型图像；

唇语识读模块130中的唇语内容比较模块131将被拍摄下的唇语口型图像与标准唇语内容模块120中存储的关于数字标准唇语口型的图像相比较，来得出识读结果为英语中“four”A；

唇语文字选择执行模块150，将来自与唇语识读结果模块132中的识读结果“four”，结合文字输入内容列表141的显示内容“1.没2.每3.酶4.美5.煤6.玫7.梅”，来确定选择“4.美”，从而实现对文字的正确输入。

图4是为本发明所述的一种利用唇语进行文字输入选择系统的实现方法的具体实施例图的说明。

本图所示为利用该系统通过字符界面的翻页来实现文字的选择，具体如下：

当用户采用goole汉语拼音输入法利用输入组件160中的键盘161输入“me i”时，会在显示屏171上出现文字输入内容列表141，显示为“1.没2.每3.酶4.美5.煤6.玫7.梅”；

结合用户的实际输入内容，用户需要输入的文字为“镁”，而此时文字输入内容列表141显示的内容中没有“镁”字，用户需要查看下一页的文字输入内容列表来寻找正确的输入内容，此时用户会用唇200发出汉语“向下翻页”B，同时，摄像模块110会拍摄下用户发出“向下翻页”时所对应的唇语口型的连贯图像；

唇语识读模块130中的唇语内容比较模块131将拍摄的“向下翻页”所对应的唇语口型的连贯图像与标准唇语内容模块120中存储的关于命令的标准唇语口型的图像相比较，来得出识读结果为汉语中“向下翻页”B；

唇语文字选择执行模块150，确定来自与唇语识读结果模块132中的识读结果为“向下翻页”，执行相应的命令并进行操作，此时，显示屏171上显示的文字输入内容列表141的内容为“1.妹2.眉3.媚4.镁5.霉6.魅7.媒”，从而出现用户所需要的文字，用户只需重复图3所示的数字选择操作，即可实现对“4.镁”的正确输入。

图5是为本发明所述的一种利用唇语进行文字输入选择系统的实现方法的具体实施例图。

本图所示为利用该系统通过词汇关联性来实现文字的选择，具体如下：

当用户采用goole汉语拼音输入法利用输入组件160中的键盘161输入“mei”时，会在显示屏171上出现文字输入内容列表141，显示为“1.没2.每3.酶4.美5.煤6.玫7.梅”；

用户根据文字输入内容列表141显示的内容，结合实际要求，需要选择“4.美”这个汉字，此时用户会用唇发出汉语“美丽”C，同时，摄像模块110会拍摄下用户发出“美丽”时所对应的唇语口型的连贯图像；

唇语识读模块130中的唇语内容比较模块131将拍摄的“美丽”所对应的唇语口型的连贯图像与标准唇语内容模块120中存储的关于词汇的标准唇语口型的图像相比较，来得出识读结果为汉语中“美丽”C；

唇语文字选择执行模块150，确定来自与唇语识读结果模块132中的识读结果为“美丽”，就会自动执行对应的汉字的选择，来确定选择“4.美”，从而实现对文字的正确输入。

以上是对本发明的描述而非限定，基于本发明思想的其它实施方式，均在本发明的保护范围之中。

Claims (10)

1.一种利用唇语进行文字输入选择的系统，它包括有用以实现文字输入功能的输入组件，以及设置有显示屏的终端，其特征在于，该系统还包括有如下部分：

(1)摄像模块，它设置在前述的机身上，或与机身能够实现通信连接的位置处，是用以在用户进行文字输入时拍摄用户的唇语口型的功能结构；

(2)标准唇语内容模块，它是预先建立的周以存储标准唇语内容的模块结构，包含有不同内容含义下口型数据的内容列表；

(3)唇语识读模块，它与前述的摄像模块相连接，获得唇语的图像数据，并与前述的标准唇语内容模块相连接，来获得标准的唇语数据，并实现两者之间的比较识别的模块结构；

(4)字符输入模块，它是通过前述的输入组件来实现文字输入模块的模块结构，包含有文字输入内容列表；

(5)唇语文字选择执行模块，它是与前述的字符输入模块相连接以获得文字输入内容列表，并与前述的唇语识读模块相连接，以获得唇语的识读结果，并根据该唇语识读结果来确定前述文字输入内容列表中的选择字符项。

2.根据权利要求1所述的一种利用唇语进行文字输入选择的系统，其特征在于：在所述的摄像模块中，包括摄像清晰度自调节模块、摄像角度自调节模块及唇部取像模块。

3.根据权利要求2所述的一种利用唇语进行文字输入选择的系统，其特征在于：在所述的唇部取像模块中，包含有唇部图像识别子模块，以及口部范围子模块。

4.根据权利要求1所述的一种利用唇语进行文字输入选择的系统，其特征在于：在所述的标准唇语内容模块中，包括数字唇语内容模块、命令唇语内容模块及词汇唇语内容模块。

5.根据权利要求1所述的一种利用唇语进行文字输入选择的系统，其特征在于：在所述的标准唇语内容模块中，还可以配套设置标准唇语个性输入模块，包含有标准文字列表子模块，和针对该子模块进行唇语输入的标准文字唇语内容子模块。

6.根据权利要求1所述的一种利用唇语进行文字输入选择的系统，其特征在于：在所述的唇语识读模块中，包括唇语内容比较模块和唇语识读结果模块，以及数字识读模块、命令识读模块及词汇识读模块。

7.一种利用唇语进行文字输入选择系统的实现方法，所述的系统如前面权利要求1所述，其特征在于，该方法包括以下步骤：

步骤1，建立唇语口型对应的标准唇语内容模块；

步骤2，利用摄像模块，拍摄用户在进行文字输入时的唇语图像；

步骤3，将步骤2拍摄的唇语图像数据与步骤1建立的标准唇语内容模块进行比较识别，来识读唇语内容；

步骤4，根据步骤3获得的唇语识读结果，确定文字输入内容列表中的选择字符项。

8.根据权利要求7所述的一种利用唇语进行文字输入选择系统的实现方法，其特征在于：在所述的步骤1中，可以配套设置标准唇语个性输入模块，包含有标准文字列表子模块，和针对该子模块进行唇语输入的标准文字唇语内容子模块。

9.根据权利要求7所述的一种利用唇语进行文字输入选择系统的实现方法，其特征在于：对应着所述的步骤2，可设置摄像清晰度自调节模块，用以在判定唇语图像清晰度不复合要求的情况下调整图像的清晰度，

以及设置摄像角度自调节模块，用以根据所判定的唇部图像来调整摄像头的角度，

以及唇部取像模块，它包含有唇部图像识别子模块，以及口部范围子模块，在工作时，利用唇部图像识别子模块来判定用户的口部位置，利用口部范围子模块来确定与口部相关的图像范围。

10.根据权利要求7所述的一种利用唇语进行文字输入选择系统的实现方法，其特征在于：在所述的步骤3中，通过比较，获得一个唇语识读结果列表，可根据该列表中与相关已输入词汇的关联程度，来对该唇语识读结构列表进行排序，或根据该列表中词汇的常用程度进行排序，或根据该列表中词汇在用户输入操作中的出现频率进行排序。

Images