CN102830915A - 语义输入控制系统及其方法 - Google Patents

Abstract

本发明涉及移动终端的操作系统和自然语言处理技术领域，尤其涉及一种语义输入控制系统及其方法。所述系统包括：获取模块，用于获取用户语义输入的信息；识别模块，与获取模块连接，用于将获取模块所获得的语义输入的信息转化为字符串信息；解析模块，与识别模块连接，用于将字符串信息解析为标准命令和参数；接口模块，与解析模块通信，用于将解析的结果集成于第三方应用程序中。所述方法包括：（1）获取用户语义输入的信息；（2）通过识别模块将所述获取模块所获得的语义输入的信息转化为字符串信息；（3）利用解析模块将字符串信息解析为标准命令和参数；（4）将解析的结果集成于第三方应用程序，以供第三方应用程序中命令的调用。

Description

语义输入控制系统及其方法

技术领域

本发明涉及移动终端的操作系统和自然语言处理技术领域，尤其涉及一种语义输入控制系统及其方法。

背景技术

随着智能移动终端（例如，Android手机）的日益普及，移动终端的功能越来越强大，同时用户对应用程序的功能要求也越来越高。

目前，在部分智能移动终端上仅可以只能实现语义控制的自身应用，以及一些简单操作第三方应用程序，例如打开、关闭，但是无法对第三方应用程序进行复杂的控制，例如：通过语义控制一个第三方的视频客户端去下载指定的电影。 又例如：通过语义控制第三方的照片分享客户端上传指定照片至社交网站。目前的语义输入控制除了无法进行精细的复杂操作之外，而且进入第三方应用程序后，无法再进行语义输入控制。

发明内容

本发明的目的在于解决上述问题，提供一种语义输入控制系统。本发明可以实现语义输入控制的平台化，通过将语义输入控制功能集成至第三方应用程序中，使得用户可以通过语义输入的方式，控制移动终端上的所有第三方应用程序。

为实现上述的目的，本发明采用下述技术方案。

一种语义输入控制系统，包括以下模块：获取模块、识别模块、解析模块和接口模块；

获取模块用于获取用户语义输入的信息；

识别模块与所述获取模块连接，用于将所述获取模块所获得的语义输入的信息转化为字符串信息；

解析模块与所述识别模块连接，用于将字符串信息解析为标准命令和参数；

接口模块集成于第三方应用程序中，并与所述解析模块通信，用于根据收到的标准命令和参数对第三方应用程序实施操作。

进一步，所述获取模块包括一悬浮窗，所述悬浮窗设置在移动终端用户界面的最上层，用于使用户在任意一用户界面中均能进行语义输入。

进一步，所述识别模块所转化生成的字符串信息包括中文字符串信息和/或英文字符串信息。

进一步，所述解析模块包括语义解析器，所述语义解析器包括命令单元、参数单元和标号单元；所述命令单元用于从所述字符串信息中解析出标准命令信息；所述参数单元用于从所述字符串信息中解析出参数信息；所述标号单元用于映射第三方应用程序。

进一步，所述接口模块以广播的方式与所述解析模块进行通信。

本发明的另一个目的在于提供一种语义输入控制方法。

为实现上述的目的，本发明采用下述技术方案。

一种语义输入控制方法，采用所述语义输入控制系统，包括以下步骤：

（1） 获取用户语义输入的信息；

（2） 通过识别模块将所述获取模块所获得的语义输入的信息转化为字符串信息；

（3） 利用解析模块将字符串信息解析为标准命令和参数；

（4） 将解析的结果以接口方式集成于第三方应用程序，以供第三方应用程序调用。

进一步，在步骤（1）之前还包括以下步骤：

在移动终端用户界面的最上层中开启悬浮窗。

本发明的优点在于：

（1） 通过将语义输入的信息转化并解析为标准命令和参数，以统一语义输入控制命令，并利用广播方式使第三方应用程序能够与语义解析器（parser）进行通信，使得语义输入控制能够独立运行，也使得第三方应用程序更容易的集成。

（2） 通过语义语音的统一输入控制入口（悬浮窗），解决了传统语音输入方式无法在任意一用户界面上进行语义语音输入的问题。

（3） 大大地降低语义语音类应用程序的开发难度，促进语义语音技术的发展。

（4） 简化移动终端的使用操作，使语义语音技术更快地进入到人们的日常生活中。

附图说明

图1是本发明所述语义输入控制系统的结构示意图。

图2A和图2B是所述悬浮窗安装位置示意图。

图3是所述语义解析器结构示意图。

图4是本发明所述语义输入控制方法的具体实施方式的实施步骤流程图。

图5是本发明具体实施例一的示意图。

图6是本发明具体实施例二的示意图。

图中的标注分别为：

M100、语义输入控制系统；M1、获取模块；M10、悬浮窗；

M2、识别模块；M3、解析模块；M30、语义解析器；

M31、命令单元；M32、参数单元；M33、标号单元；

M4、接口模块。

具体实施方式

下面结合附图对本发明所述语义输入控制系统及其方法的具体实施方式做详细说明。本发明的语义输入控制系统是一种应用于移动终端进行语义（语音）操作的控制系统。

参见图1所示，一种语义输入控制系统M100包括：获取模块M1、识别模块M2、解析模块M3和接口模块M4；获取模块M1，用于获取用户语义输入的信息；识别模块M2与所述获取模块M1连接，用于将所述获取模块M1所获得的语义输入的信息转化为字符串信息；解析模块M3与所述识别模块M2连接，用于将字符串信息解析为标准命令和参数；接口模块M4集成于第三方应用程序中，并与所述解析模块M3通信，用于根据收到的标准命令和参数对第三方应用程序实施操作。

其中，所述获取模块M1包括一悬浮窗M10，参见图2A和图2B所示，所述悬浮窗M10设置在移动终端用户界面的最上层，用于使用户在任意一用户界面中均能进行语义语音输入信息。所述用户界面包括主界面和应用程序界面。无论是在主界面或是应用程序界面中，当通过对所述悬浮窗M10进行手势操作（例如，手指点击悬浮窗M10或长按悬浮窗M10）后，用户可以进行语义（语音）信息的输入。在本发明的具体实施例中，通过移动终端内置程序单元的设置（勾选或不勾选“开启悬浮窗”），可开启或关闭所述悬浮窗M10。当勾选“开启悬浮窗”后，即开启所述悬浮窗M10，而且之后当每次移动终端开启时，所述悬浮窗M10都会自动开启，不需要再手动设置。而且，所述悬浮窗M10可以被设置成显示或者隐藏。此外，所述悬浮窗M10能够被任意拖动至用户界面的任意一位置，可以通过点击悬浮窗M10并按住不放，可以任意地拖动悬浮窗M10至所述主界面或者应用程序界面中的任意一位置，从而可以避免因使用悬浮窗M10而遮挡住应用程序内容。

所述识别模块M2将所述获取模块M1所获得的语义（语音）输入的信息转化为字符串信息，而所转化生成的字符串信息包括中文字符串信息和/或英文字符串信息。在本发明具体实施例中，所述识别模块M2利用所述识别模块M2中所包括的语音识别引擎（图中未示），以确定将所获得的语音输入的信息正确地转化为中文字符串信息。

参见图3所示，所述解析模块M3包括语义解析器M30，所述语义解析器M30包括命令单元M31、参数单元M32和标号单元M33；所述命令单元M31用于从所述字符串信息中解析出标准命令信息；所述参数单元M32用于从所述字符串信息中解析出参数信息；所述标号单元M33用于映射第三方应用程序。所述解析模块M3用于根据用户语义（语音）输入控制的信息识别，解析出标准的操作命令和参数。

所述接口模块M4集成于第三方应用程序中，以广播的方式与所述解析模块M3进行通信。其中，广播是Android系统的标准进程间的通信方式，广播的形式是target（目标）包名+数据。在每一个广播消息中的数据均包括标准命令（CommandName）和参数（ArgList-arg0，arg1，arg2…），其中标准命令的数据类型为String，所述标准命令对应的参数的数据类型为ArrayList<String>。第三方应用程序通过SDK（Software Development Kit，译为“软件开发包”）中的接口可获得对应的标准命令和对应的参数，从而可以执行相应的操作。所以，通过广播的形式可以实现跨进程的访问，其具有高效、实现方便简单的特点，适合于一对多的通信需求。

所述接口模块M4根据所述解析模块M3所提供的解析结果，通过所述标号单元M33包括的唯一的标号ID调用相应的第三方应用程序，并根据所述命令单元M31执行相应的操作命令。若所述参数单元M32中的参数不为空，则以操作命令+参数的方式执行。

在本发明的优选实施例中，通过设置的悬浮窗为语义（语音）输入提供一个统一的控制入口。对用户而言，在主界面和任意一应用程序界面中均有一个语义输入控制的悬浮窗（或称按钮）。当开启悬浮窗后，且可以进行语义（语音）输入的情况下，无论是在主界面和应用程序界面中，均可进行语义（语音）输入控制，从而实现语义输入控制的标准化，也增强了用户体验。

为了解决上述问题，本发明还提供了一种语义输入控制方法，采用所述语义输入控制系统。参见图4所示，一种语义输入控制方法，包括以下步骤：

S401：在移动终端用户界面的最上层中开启悬浮窗。

其中，此步骤为可选步骤。用户可以通过移动终端的系统程序单元的设置开启并显示悬浮窗M10。或者，根据移动终端出厂的默认设置，悬浮窗M10是随着所述移动终端的启动而被自动开启显示，不需要人为设置。

S402：获取用户语义输入控制的信息。

在开启悬浮窗M10之后，且可以进行语义（语音）信息输入的情况下，用户可发出含有操作命令的语义信息，所述获取模块M1接收到语义输入控制的信息。

S403：通过识别模块将所述获取模块所获得的语义输入控制的信息转化为字符串信息。

其中，所述识别模块M2利用所述识别模块M2中所包括的语音识别引擎，以确定将所获得的语音输入控制的信息正确地转化为中文字符串信息和/或英文字符串信息。所述识别模块M2将所转换生成的中文字符串信息和/或英文字符串信息发送至解析模块M3。在本发明具体实施例中，所述识别模块M2所转换生成的字符串信息为中文字符串信息。

S404：利用解析模块将字符串信息解析为标准命令和参数；

在移动终端中的第三方程序的操作命令包括基本操作命令和私有操作命令。所述基本操作命令是每一个应用程序所共有的命令。例如：打开或关闭。而所述私有操作命令是每一个应用程序自身的特别操作命令，例如：在一个视频播放的应用程序中，执行私有操作命令，即调用其自身的特别操作命令，例如，显示字幕；或者在一个聊天的应用程序中，执行私有操作命令，即调用其自身的特别操作命令，例如，统计流量。利用解析模块M3中的语义解析器M30，将所获得的字符串信息解析成标准命令和参数，同时还输出映射第三方应用程序的标号ID。 

S405：将解析的结果以接口方式集成于第三方应用程序，以供第三方应用程序的调用。

根据所解析出的标准命令、参数以及标号ID，制作成一语义SDK。第三方应用程序将所述语义SDK以接口方式集合在其自身的应用程序中。当用户进行语义输入时，解析出的标号ID为某一个第三方应用程序，则可从任意一用户界面无缝切换至所述第三方应用程序的界面，同时根据操作命令（标准命令）和参数执行。

以下给出几个具体实施例，用于说明本发明所述语义输入控制方法。

实施例一：

用户需要通过语义输入控制完成播放音乐的操作。参见图5所示。

步骤（11）：用户在移动终端屏幕的主界面中点击悬浮窗M10，并在移动终端上进行语义输入。

步骤（12）：当用户对悬浮窗M10说“播放某歌手的某歌曲”时，获取模块接收到用户语义（语音）输入控制的信息。

步骤（13）：将所获取的语义输入控制的信息传送至识别模块，使所述识别模块根据接收到的语义（语音）输入控制的信息确定对应的字符。

在此步骤中，所述识别模块通过内置的语音识别引擎，分析出输入的信息为中文字符串信息“播放某歌手的某歌曲”。

步骤（14）：通过解析模块对所获得的字符串信息进一步解析。

所述解析模块利用所述语义解析器，解析出输入的信息内容是需要调用移动终端中内置的第三方应用程序A“播放歌曲”，参数为“某歌手”和“某歌曲”，标号ID映射相应的第三方应用程序A“播放歌曲”。其中CommandName为播放歌曲，ArgList：arg0为某歌手，arg1为某歌曲。

步骤（15）：移动终端的内置处理系统根据解析模块所提供的标号ID，自动调用移动终端内置的第三方应用程序A“播放歌曲”，在打开所述第三方应用程序A之后，根据所述参数“某歌手”和“某歌曲”，开始播放歌曲。

实施例二：

用户需要通过语义输入控制完成打电话操作，参见图6所示。

步骤（21）：用户在移动终端屏幕的主界面中点击悬浮窗M10，并在移动终端上进行语义输入。

步骤（22）：当用户对悬浮窗M10说“拨打某人电话”时，获取模块接收到用户语义（语音）输入控制的信息。

步骤（23）：将所获取的语义输入控制的信息传送至识别模块，使所述识别模块根据接收到的语义（语音）输入控制的信息确定对应的字符。

在此步骤中，所述识别模块通过内置的语音识别引擎，分析出输入的信息为中文字符串信息“拨打某人电话”。

步骤（24）：通过解析模块对所获得的字符串信息进一步解析。

所述解析模块利用所述语义解析器，解析出输入的信息内容是需要调用移动终端中内置的第三方应用程序B“拨打电话”，参数为“某人”，标号ID映射相应的第三方应用程序“拨打电话”。

步骤（25）：移动终端的内置处理系统根据解析模块所提供的标号ID，自动调用移动终端内置的第三方应用程序B“拨打电话”，在打开所述第三方应用程序B之后，根据所述参数“某人”在通讯录中找到该联系人的联系电话并拨叫，用户可以与某人通话了。

实施例三：

用户需要通过语义输入控制完成下载软件的操作。

步骤（31）：用户在移动终端屏幕的主界面中点击悬浮窗M10，并在移动终端上进行语义输入。

步骤（32）：当用户对悬浮窗M10说“用某某下载软件客户端下载某某电影”时，获取模块接收到用户语义（语音）输入控制的信息。

步骤（33）：将所获取的语义输入控制的信息传送至识别模块，使所述识别模块根据接收到的语义（语音）输入控制的信息确定对应的字符。

在此步骤中，所述识别模块通过内置的语音识别引擎，分析出输入的信息为中文字符串信息“用某某下载软件客户端下载某某电影”。

步骤（34）：通过解析模块对所获得的字符串信息进一步解析。

所述解析模块利用所述语义解析器，解析出输入的信息内容是需要调用移动终端中内置的第三方应用程序A“某某下载软件客户端”，参数为“某某电影”，标号ID映射相应的某某下载软件客户端。

步骤（35）：移动终端的内置处理系统根据解析模块所提供的标号ID，自动调用移动终端内置的第三方应用程序A“某某下载软件客户端”，在打开所述第三方应用程序A之后，根据所述参数“某某电影”，开始进行电影下载。

故，本发明通过语义（语音）的统一输入控制入口（悬浮窗），解决了传统语音输入方式无法在任意一用户界面上进行语义（语音）输入的问题。

实施例四：

用户需要通过语义输入控制完成翻译的操作。

步骤（41）：用户在移动终端屏幕的主界面中点击悬浮窗M10，并在移动终端上进行语义输入。

步骤（42）：当用户对悬浮窗M10说“翻译“我爱你”中译英”时，获取模块接收到用户语义（语音）输入控制的信息。

步骤（43）：将所获取的语义输入控制的信息传送至识别模块，使所述识别模块根据接收到的语义（语音）输入控制的信息确定对应的字符。

在此步骤中，所述识别模块通过内置的语音识别引擎，分析出输入的信息为中文字符串信息“翻译“我爱你”中译英”。

步骤（44）：通过解析模块对所获得的字符串信息进一步解析。

所述解析模块利用所述语义解析器，解析出输入的信息内容是需要调用移动终端中内置的第三方应用程序B“翻译”，参数为“我爱你”和“中译英”，标号ID映射相应的第三方应用程序“翻译”。

步骤（45）：移动终端的内置处理系统根据解析模块所提供的标号ID，自动调用移动终端内置的第三方应用程序B“翻译”，在打开所述第三方应用程序B之后，根据所述参数“我爱你”和“中译英”，开始进行翻译。

 本发明通过将语义输入的信息转化并解析为标准命令和参数，以统一语义输入控制命令，并利用广播方式使第三方应用程序能够与语义解析器（parser，译为“语法分析器”，或称语义解析器）进行通信，使得语义输入控制能够独立运行，也方便第三方应用程序的集成。

本发明实施例包括但不限于上述几个实施例的情况，用于说明本发明所述语义输入控制方法。本发明所述的语义输入控制系统及其方法，是基于所述语义解析器，并将解析的结果集成于第三方应用程序SDK中，以实现统一的语义输入控制，并利用开启的悬浮窗使得用户在任意一用户界面可进行语义输入控制，同时可以简化移动终端的使用操作。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。   

Claims (7)

1.一种语义输入控制系统，其特征在于，包括：获取模块、识别模块、解析模块和接口模块；

获取模块用于获取用户语义输入的信息；

识别模块与所述获取模块连接，用于将所述获取模块所获得的语义输入的信息转化为字符串信息；

解析模块与所述识别模块连接，用于将字符串信息解析为标准命令和参数；

接口模块集成于第三方应用程序中，并与所述解析模块通信，用于根据收到的标准命令和参数对第三方应用程序实施操作。

2.如权利要求1所述的语义输入控制系统，其特征在于，所述获取模块包括一悬浮窗，所述悬浮窗设置在移动终端用户界面的最上层，用于使用户在任意一用户界面中均能进行语义输入。

3.如权利要求1所述的语义输入控制系统，其特征在于，所述识别模块所转化生成的字符串信息包括中文字符串信息和/或英文字符串信息。

4.如权利要求1所述的语义输入控制系统，其特征在于，所述解析模块包括语义解析器，所述语义解析器包括命令单元、参数单元和标号单元；所述命令单元用于从所述字符串信息中解析出标准命令信息；所述参数单元用于从所述字符串信息中解析出参数信息；所述标号单元用于映射第三方应用程序。

5.如权利要求1所述的语义输入控制系统，其特征在于，所述接口模块以广播的方式与所述解析模块进行通信。

6.一种采用权利要求1所述的语义输入控制系统的语义输入控制方法，其特征在于，包括以下步骤：

（1）获取用户语义输入的信息；

（2）通过识别模块将所述获取模块所获得的语义输入的信息转化为字符串信息；

（3）利用解析模块将字符串信息解析为标准命令和参数；

（4）将解析的结果以接口方式集成于第三方应用程序，以供第三方应用程序调用。

7.如权利要求6所述的语义输入控制方法，其特征在于，在步骤（1）之前还包括以下步骤：

在移动终端用户界面的最上层中开启悬浮窗。

Images