CN106155513A - 一种投影触屏的控制方法及装置 - Google Patents

Abstract

本发明公开了一种投影触屏的控制方法及装置，用以将语音和触控的多模态输入方式融合，优化触控操作。所述方法包括：接收来自投影触屏的触摸指令，并根据所述投影触屏的触摸位置的位置信息自动放大显示所述触摸位置的按键及与所述按键匹配的文字说明；接收与所述文字说明对应的语音指令，并检测所述语音指令的置信度是否达到预设阈值；在所述语音指令的置信度达到预设阈值时，根据所述语音指令执行与所述文字说明匹配的按键的触控操作。该方案在投影触屏触摸操作的基础上加入了语音操作功能，在将语音和触控的多模态输入方式融合之后，避免了语音识别可能带来的错误操作，最大程度地优化了触摸体验；且其操作方便，适应人群更广泛。

Description

一种投影触屏的控制方法及装置

技术领域

本发明涉及互联网技术领域，特别涉及一种投影触屏的控制方法及装置。

背景技术

随着科学技术的发展，投影技术得到越来越迅速的发展，而智能设备的日益兴起，尤其是可穿戴智能设备的使用，使得人们的智能控制生活模式得到了更好的发展。目前，智能设备中已出现可以将操作界面投影在胳膊或者其他皮肤上以供触摸操作的功能，该种方式可将投影屏幕替代传统的显示屏；但是在该方案中，投影屏幕通常被投影在皮肤表面上，由于投影的屏幕往往比较小不易控制，因此毛发旺盛的人由于其投影处皮肤多毛发、不平坦而不适用于该功能；而皮肤黑的用户，由于其投影处皮肤的颜色不适合显示投影屏幕，同样也不适用于该功能。

发明内容

本发明提供一种投影触屏的控制方法及装置，用以将语音和触控的多模态输入方式融合之后，使其操作方便，且优化了触摸体验，使该方案的适应人群更广泛。

根据本发明实施例的第一方面，提供一种投影触屏的控制方法，包括：

接收来自投影触屏的触摸指令，并根据所述投影触屏的触摸位置的位置信息自动放大显示所述触摸位置的按键及与所述按键匹配的文字说明；

接收与所述文字说明对应的语音指令，并检测所述语音指令的置信度是否达到预设阈值；

在所述语音指令的置信度达到预设阈值时，根据所述语音指令执行与所述文字说明匹配的按键的触控操作。

在一个实施例中，所述接收来自投影触屏的触摸指令，并根据所述投影触屏的触摸位置的位置信息自动放大显示所述触摸位置的按键及与所述按键匹配的文字说明，包括：

接收用户触碰投影触屏时所产生的触摸指令，并检测用户触碰所述投影触屏的触屏位置的位置信息；

根据所述投影触屏的触屏位置的位置信息实时放大显示所述触摸位置的预设范围内的按键及与所述按键匹配的文字说明；

开启麦克风及语音识别功能，并识别与所述文字说明对应的语音指令。

在一个实施例中，所述接收与所述文字说明对应的语音指令，并检测所述语音指令的置信度是否达到预设阈值之后，还包括：

在所述语音指令的置信度未达到预设阈值/需要手动触控与所述文字说明匹配的按键时，在所述投影触屏上与所述文字说明匹配的按键位置浮出包含所述按键的立体界面；

检测所述立体界面的颜色与所述投影触屏的投影区域的颜色是否符合预设标准；

在所述立体界面的颜色与所述投影触屏的投影区域的颜色不符合预设标准时，根据所述预设标准更改所述立体界面的颜色。

在一个实施例中，所述接收与所述文字说明对应的语音指令，并检测所述语音指令的置信度是否达到预设阈值之后，还包括：

在所述语音指令的置信度未达到预设阈值时，放大与所述文字说明匹配的按键，且所述按键上显示预设的反馈标记。

在一个实施例中，所述方法还包括：

在用户点击返回按键所在位置/所述立体界面在预设时间内未被触碰时，所述立体界面隐藏，系统返回至所述投影触屏被触摸前的初始状态。

根据本发明实施例的第二方面，还提供一种投影触屏的控制装置，包括：

第一显示模块，用于接收来自投影触屏的触摸指令，并根据所述投影触屏的触摸位置的位置信息自动放大显示所述触摸位置的按键及与所述按键匹配的文字说明；

第一检测模块，用于接收与所述文字说明对应的语音指令，并检测所述语音指令的置信度是否达到预设阈值；

触控模块，用于在所述语音指令的置信度达到预设阈值时，根据所述语音指令执行与所述文字说明匹配的按键的触控操作。

在一个实施例中，所述第一显示模块包括：

第一检测子模块，用于接收用户触碰投影触屏时所产生的触摸指令，并检测用户触碰所述投影触屏的触屏位置的位置信息；

第一显示子模块，用于根据所述投影触屏的触屏位置的位置信息实时放大显示所述触摸位置的预设范围内的按键及与所述按键匹配的文字说明；

语音识别子模块，用于开启麦克风及语音识别功能，并识别与所述文字说明对应的语音指令。

在一个实施例中，所述装置还包括：

第二显示模块，用于在所述语音指令的置信度未达到预设阈值/需要手动触控与所述文字说明匹配的按键时，在所述投影触屏上与所述文字说明匹配的按键位置浮出包含所述按键的立体界面；

第二检测模块，用于检测所述立体界面的颜色与所述投影触屏的投影区域的颜色是否符合预设标准；

颜色调整模块，用于在所述立体界面的颜色与所述投影触屏的投影区域的颜色不符合预设标准时，根据所述预设标准更改所述立体界面的颜色。

在一个实施例中，所述装置还包括：

按键显示模块，用于在所述语音指令的置信度未达到预设阈值时，放大与所述文字说明匹配的按键，且所述按键上显示预设的反馈标记。

在一个实施例中，所述装置还包括：

界面返回模块，用于在用户点击返回按键所在位置/所述立体界面在预设时间内未被触碰时，所述立体界面隐藏，系统返回至所述投影触屏被触摸前的初始状态。

本发明实施例提供的技术方案可产生以下有益效果：接收来自投影触屏的触摸指令，并根据所述投影触屏的触摸位置的位置信息自动放大显示所述触摸位置的按键及与所述按键匹配的文字说明；接收与所述文字说明对应的语音指令，并检测所述语音指令的置信度是否达到预设阈值；在所述语音指令的置信度达到预设阈值时，根据所述语音指令执行与所述文字说明匹配的按键的触控操作。该方案在投影触屏触摸操作的基础上加入了语音操作功能，在将语音和触控的多模态输入方式融合之后，使其操作方便，且优化了触摸体验，使其适应人群更广泛。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1为本发明根据一示例性实施例示出的一种投影触屏的控制方法的流程图；

图2为本发明根据一示例性实施例示出的投影触屏的控制方法中步骤S10的实施方式流程图；

图3为本发明根据一示例性实施例示出的另一种投影触屏的控制方法的流程图；

图4为本发明根据一示例性实施例示出的又一种投影触屏的控制方法的流程图；

图5为本发明根据一示例性实施例示出的再一种投影触屏的控制方法的流程图；

图6为本发明根据一示例性实施例示出的一种投影触屏的控制装置的框图；

图7为本发明根据一示例性实施例示出的投影触屏的控制装置中第一显示模块61的框图；

图8为本发明根据一示例性实施例示出的另一种投影触屏的控制装置的框图；

图9为本发明根据一示例性实施例示出的又一种投影触屏的控制装置的框图；

图10为本发明根据一示例性实施例示出的再一种投影触屏的控制装置的框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本公开实施例提供了一种投影触屏的控制方法，用于提高投影触屏的控制的效率，实现视频的快速搜索。如图1所示，该方法包括步骤S10-S30：

在步骤S10中，接收来自投影触屏的触摸指令，并根据所述投影触屏的触摸位置的位置信息自动放大显示所述触摸位置的按键及与所述按键匹配的文字说明。

其中，所述触摸指令为用户触碰投影触屏时所产生的触摸指令，且用户触碰所述投影触屏的触碰点即为所述投影触屏的触摸位置，且所述投影触屏上的每个触碰点均对应一个位置信息，也即其坐标，根据所述位置信息定位所述触碰点之后，可以自动放大显示所述触摸位置的按键及与所述按键匹配的文字说明；在系统中可以事先设定一个以所述触碰点为中心的范围，并放大显示该范围，所述范围的设定可以由用户自行定义，比如，以触碰点为圆心且半径为10mm-30mm的圆形范围。

在一个实施例中，如图2所示，所述步骤S10可包括：

步骤S101、接收用户触碰投影触屏时所产生的触摸指令，并检测用户触碰所述投影触屏的触屏位置的位置信息。也即，用户触碰所述投影触屏之后，开始检测所述投影触屏上的该触碰点对应一个位置信息，也即其坐标，并根据所述位置信息定位所述触碰点。

步骤S102、根据所述投影触屏的触屏位置的位置信息实时放大显示所述触摸位置的预设范围内的按键及与所述按键匹配的文字说明。也即，根据所述位置信息定位所述触碰点之后，可以实时放大显示所述触摸位置的按键及与所述按键匹配的文字说明；所述放大显示的范围可以在系统中预先设定，比如，以触碰点为圆心且半径为20mm的圆形范围。且在该范围内的按键以及与显示的按键对应的文字说明均放大显示在该范围内，以便于用户在投影触屏上更好地辨识文字说明并在放大的按键上进行触控操作。

步骤S103、开启麦克风及语音识别功能，并识别与所述文字说明对应的语音指令。也即，将步骤S102中放大显示的文字说明与语音识别功能关联，构建语音识别网络，使得在开启麦克风及语音识别功能之后，可以通过语音指令控制与所述文字说明匹配的按键的触控操作。

在步骤S20中，接收与所述文字说明对应的语音指令，并检测所述语音指令的置信度是否达到预设阈值。

其中，所述接收与所述文字说明对应的语音指令是指用户通过麦克风输入语音指令，此时首先需要检测所述语音指令的置信度是否达到预设阈值，所述置信度是否达到预设阈值是指检测所述语音指令与步骤S10中放大显示的文字说明的匹配程度是否达到预设阈值，该语音指令是否为与所述文字说明匹配的语音指令，若所述语音指令的置信度达到预设阈值，则表明该语音指令为控制执行与所述文字说明匹配的按键的触控操作的指令。

在步骤S30中，在所述语音指令的置信度达到预设阈值时，根据所述语音指令执行与所述文字说明匹配的按键的触控操作。也即，若所述语音指令的置信度达到预设阈值，则表明该语音指令为控制执行与所述文字说明匹配的按键的触控操作的指令，此时，系统自动进行该按键的触控操作，也即点击该按键。

在一个实施例中，如图3所示，该方法还包括步骤S40-S60：

在步骤S40中，在所述语音指令的置信度未达到预设阈值/需要手动触控与所述文字说明匹配的按键时，在所述投影触屏上与所述文字说明匹配的按键位置浮出包含所述按键的立体界面。

也即，若所述语音指令的置信度达到预设阈值，则表明该语音指令仅疑似为控制执行与所述文字说明匹配的按键的触控操作的指令，此时可以浮出一立体界面，所述立体界面中包含了所述疑似按键；或者，在本实施例的另一方面，当用户需要手动触控与所述文字说明匹配的按键时，也即，用户需要进行手动操作时，可以通过语音指令或者点击该按键周围一定范围内的触碰点，即可触发浮出立体界面，且该立体界面中包含了用户想要点击的按键，在立体的界面上进行操作，避免了用户的皮肤状态与颜色对于触控操作的影响，使得毛发旺盛的人或者无法正常投影在皮肤上的人能够方便地进行操作，适用于更为广大的人群；且立体界面上进行游戏操作或看电影等更有视觉效果和真实感，提升了用户体验。在一个实施例中，该立体界面为透明的。

在步骤S50中，检测所述立体界面的颜色与所述投影触屏的投影区域的颜色是否符合预设标准。也即，步骤S40中显示立体界面之后，所述立体界面的颜色可以根据投影区域的颜色进行自动判断并在判断后进行调整，使得投影更清晰。

在步骤S60中，在所述立体界面的颜色与所述投影触屏的投影区域的颜色不符合预设标准时，根据所述预设标准更改所述立体界面的颜色。其中，所述预设标准可以是用户根据投影区域的常见颜色(比如人的不同肤色)以及适合不同颜色投影屏幕的颜色进行合理搭配后的标准，该标准由用户或者系统根据需要自行选用。

在一个实施例中，如图4所示，该方法还包括步骤S70：

在步骤S70中，在所述语音指令的置信度未达到预设阈值时，放大与所述文字说明匹配的按键，且所述按键上显示预设的反馈标记。也即，当所述语音指令的置信度较低时，可以只放大显示疑似与所述语音指令对应的按键，以便于供用户进行触控操作，且在放大显示时，给予该按键一个反馈标记，以表明该案件为待选择的按键。该反馈标记可以为用户自定义，比如，在所述按键外加一个不同颜色的边框。

在一个实施例中，如图5所示，该方法还包括步骤S80：

在步骤S80中，在用户点击返回按键所在位置/所述立体界面在预设时间内未被触碰时，所述立体界面隐藏，系统返回至所述投影触屏被触摸前的初始状态。也即，当用户点击返回按键所在位置时，表明不需要显示当前显示的立体界面，此时所述立体界面隐藏，系统返回至所述投影触屏被触摸前的初始状态；或者当所述立体界面在预设时间内未被触碰时，为了节约电能，同时表明用户当前暂时不需要操控所述立体界面，此时所述立体界面隐藏，系统返回至所述投影触屏被触摸前的初始状态待用户重新触碰投影触屏。

本发明实施例提供的上述方法，接收来自投影触屏的触摸指令，并根据所述投影触屏的触摸位置的位置信息自动放大显示所述触摸位置的按键及与所述按键匹配的文字说明；接收与所述文字说明对应的语音指令，并检测所述语音指令的置信度是否达到预设阈值；在所述语音指令的置信度达到预设阈值时，根据所述语音指令执行与所述文字说明匹配的按键的触控操作。该方案在投影触屏触摸操作的基础上加入了语音操作功能，在将语音和触控的多模态输入方式融合之后，避免了语音识别可能带来的错误操作，最大程度地优化了触摸体验。且该方案不仅适用于可穿戴设备，也同样适用其它智能设备；同时立体屏幕的浮出可以避免很多平面设计的缺陷，使其操作方便，适应人群更广泛，也拥有了更好的显示和操作效果。

对应本发明实施例提供的投影触屏的控制方法，本发明还提供投影触屏的控制装置，如图6所示，该装置可包括：

第一显示模块61，用于接收来自投影触屏的触摸指令，并根据所述投影触屏的触摸位置的位置信息自动放大显示所述触摸位置的按键及与所述按键匹配的文字说明；

第一检测模块62，用于接收与所述文字说明对应的语音指令，并检测所述语音指令的置信度是否达到预设阈值；

触控模块63，用于在所述语音指令的置信度达到预设阈值时，根据所述语音指令执行与所述文字说明匹配的按键的触控操作。

在一个实施例中，如图7所示，所述第一显示模块61包括：

第一检测子模块611，用于接收用户触碰投影触屏时所产生的触摸指令，并检测用户触碰所述投影触屏的触屏位置的位置信息；

第一显示子模块612，用于根据所述投影触屏的触屏位置的位置信息实时放大显示所述触摸位置的预设范围内的按键及与所述按键匹配的文字说明；

语音识别子模块613，用于开启麦克风及语音识别功能，并识别与所述文字说明对应的语音指令。

在一个实施例中，如图8所示，所述装置还包括：

第二显示模块64，用于在所述语音指令的置信度未达到预设阈值/需要手动触控与所述文字说明匹配的按键时，在所述投影触屏上与所述文字说明匹配的按键位置浮出包含所述按键的立体界面；

第二检测模块65，用于检测所述立体界面的颜色与所述投影触屏的投影区域的颜色是否符合预设标准；

颜色调整模块66，用于在所述立体界面的颜色与所述投影触屏的投影区域的颜色不符合预设标准时，根据所述预设标准更改所述立体界面的颜色。

在一个实施例中，如图9所示，所述装置还包括：

按键显示模块67，用于在所述语音指令的置信度未达到预设阈值时，放大与所述文字说明匹配的按键，且所述按键上显示预设的反馈标记。

在一个实施例中，如图10所示，所述装置还包括：

界面返回模块68，用于在用户点击返回按键所在位置/所述立体界面在预设时间内未被触碰时，所述立体界面隐藏，系统返回至所述投影触屏被触摸前的初始状态。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种投影触屏的控制方法，其特征在于，包括：

接收来自投影触屏的触摸指令，并根据所述投影触屏的触摸位置的位置信息自动放大显示所述触摸位置的按键及与所述按键匹配的文字说明；

接收与所述文字说明对应的语音指令，并检测所述语音指令的置信度是否达到预设阈值；

在所述语音指令的置信度达到预设阈值时，根据所述语音指令执行与所述文字说明匹配的按键的触控操作。

2.如权利要求1所述的方法，其特征在于，所述接收来自投影触屏的触摸指令，并根据所述投影触屏的触摸位置的位置信息自动放大显示所述触摸位置的按键及与所述按键匹配的文字说明，包括：

接收用户触碰投影触屏时所产生的触摸指令，并检测用户触碰所述投影触屏的触屏位置的位置信息；

根据所述投影触屏的触屏位置的位置信息实时放大显示所述触摸位置的预设范围内的按键及与所述按键匹配的文字说明；

开启麦克风及语音识别功能，并识别与所述文字说明对应的语音指令。

3.如权利要求1所述的方法，其特征在于，所述接收与所述文字说明对应的语音指令，并检测所述语音指令的置信度是否达到预设阈值之后，还包括：

在所述语音指令的置信度未达到预设阈值/需要手动触控与所述文字说明匹配的按键时，在所述投影触屏上与所述文字说明匹配的按键位置浮出包含所述按键的立体界面；

检测所述立体界面的颜色与所述投影触屏的投影区域的颜色是否符合预设标准；

在所述立体界面的颜色与所述投影触屏的投影区域的颜色不符合预设标准时，根据所述预设标准更改所述立体界面的颜色。

4.如权利要求1或3所述的方法，其特征在于，所述接收与所述文字说明对应的语音指令，并检测所述语音指令的置信度是否达到预设阈值之后，还包括：

在所述语音指令的置信度未达到预设阈值时，放大与所述文字说明匹配的按键，且所述按键上显示预设的反馈标记。

5.如权利要求3所述的方法，其特征在于，所述方法还包括：

在用户点击返回按键所在位置/所述立体界面在预设时间内未被触碰时，所述立体界面隐藏，系统返回至所述投影触屏被触摸前的初始状态。

6.一种投影触屏的控制装置，其特征在于，包括：

第一显示模块，用于接收来自投影触屏的触摸指令，并根据所述投影触屏的触摸位置的位置信息自动放大显示所述触摸位置的按键及与所述按键匹配的文字说明；

第一检测模块，用于接收与所述文字说明对应的语音指令，并检测所述语音指令的置信度是否达到预设阈值；

触控模块，用于在所述语音指令的置信度达到预设阈值时，根据所述语音指令执行与所述文字说明匹配的按键的触控操作。

7.如权利要求6所述的装置，其特征在于，所述第一显示模块包括：

第一检测子模块，用于接收用户触碰投影触屏时所产生的触摸指令，并检测用户触碰所述投影触屏的触屏位置的位置信息；

第一显示子模块，用于根据所述投影触屏的触屏位置的位置信息实时放大显示所述触摸位置的预设范围内的按键及与所述按键匹配的文字说明；

语音识别子模块，用于开启麦克风及语音识别功能，并识别与所述文字说明对应的语音指令。

8.如权利要求6所述的装置，其特征在于，所述装置还包括：

第二显示模块，用于在所述语音指令的置信度未达到预设阈值/需要手动触控与所述文字说明匹配的按键时，在所述投影触屏上与所述文字说明匹配的按键位置浮出包含所述按键的立体界面；

第二检测模块，用于检测所述立体界面的颜色与所述投影触屏的投影区域的颜色是否符合预设标准；

颜色调整模块，用于在所述立体界面的颜色与所述投影触屏的投影区域的颜色不符合预设标准时，根据所述预设标准更改所述立体界面的颜色。

9.如权利要求6或8所述的装置，其特征在于，所述装置还包括：

按键显示模块，用于在所述语音指令的置信度未达到预设阈值时，放大与所述文字说明匹配的按键，且所述按键上显示预设的反馈标记。

10.如权利要求8所述的装置，其特征在于，所述装置还包括：

界面返回模块，用于在用户点击返回按键所在位置/所述立体界面在预设时间内未被触碰时，所述立体界面隐藏，系统返回至所述投影触屏被触摸前的初始状态。