CN111090383B - 一种指令识别方法及电子设备 - Google Patents

Abstract

本发明涉及电子设备技术领域，公开一种指令识别方法及电子设备，包括：电子设备的显示屏包括墨水屏，检测用户在墨水屏上输入的目标操作时所做出的音视频信息，音视频信息包括语音信息和/或所做出的动作类型；获取音视频信息对应的指令；将指令确定为目标操作对应的目标指令。实施本发明实施例，能够在用户通过墨水屏输入目标操作时获取输入目标操作的音视频信息，从而根据获取到的音视频信息确定目标操作对应的指令，以使的电子设备可以通过除墨水屏以外的方式确定用户输入的目标指令，从而提升了识别用户触发的指令的准确率。

Description

一种指令识别方法及电子设备

技术领域

本发明涉及电子设备技术领域，具体涉及一种指令识别方法及电子设备。

背景技术

随着智能手机、平板电脑等电子设备的快速发展，越来越多的用户选择使用电子设备进行学习、工作或是娱乐。由于当前电子设备的显示屏通常为LCD显示屏，长期使用会导致用户视力受损，因此市面上出现了使用墨水屏的电子设备。然而，在实践中发现，由于墨水屏的刷新率较低，因此当用户在墨水屏上执行点击或涂抹等交互性操作时，墨水屏可能出现延迟、卡顿等现象，导致识别用户触发的指令的准确率较低。

发明内容

本发明实施例公开一种指令识别方法及电子设备，能够提升识别用户触发的指令的准确率。

本发明实施例第一方面公开一种指令识别方法，所述方法应用于电子设备，所述电子设备的显示屏包括墨水屏，所述方法包括：

检测用户在所述墨水屏上输入的目标操作时所做出的音视频信息，所述音视频信息包括语音信息和/或所做出的动作类型；

获取所述音视频信息对应的指令；

将所述指令确定为所述目标操作对应的目标指令。

作为一种可选的实施方式，在本发明实施例第一方面中，所述电子设备的显示屏还包括LCD显示屏，所述将所述指令确定为所述目标操作对应的目标指令之后，所述方法还包括：

检测所述目标指令是否为显示屏关闭指令；

如果所述目标指令为所述显示屏关闭指令，确定所述显示屏关闭指令对应的目标显示屏，所述目标显示屏为所述墨水屏或所述LCD显示屏；

检测所述目标显示屏是否处于运行状态；

如果处于所述运行状态，通过所述目标显示屏输出关闭询问信息，所述关闭询问信息用于询问是否需要关闭所述目标显示屏；

当检测到输入的用于指示需要关闭所述目标显示屏的指令时，控制所述目标显示屏关闭。

作为一种可选的实施方式，在本发明实施例第一方面中，在检测出所述目标指令不为所述显示屏关闭指令之后，所述方法还包括：

控制所述电子设备响应所述目标指令，并检测所述电子设备在响应所述目标指令的过程中是否触发LCD显示屏开启指令；

如果是，控制所述LCD显示屏开启，并获取所述LCD显示屏开启指令对应的LCD显示屏待输出内容；

通过所述LCD显示屏输出所述LCD显示屏待输出内容。

作为一种可选的实施方式，在本发明实施例第一方面中，所述通过所述LCD显示屏输出所述LCD显示屏待输出内容，包括：

检测所述LCD显示屏待输出内容的内容类型；

当所述内容类型为所述多媒体类型时，通过所述LCD显示屏输出所述多媒体类型的所述LCD显示屏待输出内容；

当所述内容类型为所述键盘类型时，从所述LCD显示屏待输出内容中获取虚拟键盘，并通过所述LCD显示屏输出所述虚拟键盘；

当检测到基于所述虚拟键盘的点击操作时，根据所述点击操作获取通过所述虚拟键盘输入的字符信息。

作为一种可选的实施方式，在本发明实施例第一方面中，所述获取所述音视频信息对应的指令，包括：

获取预存储的标准指令的标准音视频信息；

计算所述音视频信息与所述标准音视频信息的相似度；

将所述相似度中的最高相似度对应的标准指令确定为所述音视频信息对应的指令。

本发明实施例第二方面公开一种电子设备，所述电子设备的显示屏包括墨水屏，包括：

第一检测单元，用于检测用户在所述墨水屏上输入的目标操作时所做出的音视频信息，所述音视频信息包括语音信息和/或所做出的动作类型；

获取单元，用于获取所述音视频信息对应的指令；

第一确定单元，用于将所述指令确定为所述目标操作对应的目标指令。

作为一种可选的实施方式，在本发明实施例第二方面中，所述电子设备的显示屏还包括LCD显示屏，所述电子设备还包括：

第二检测单元，用于在所述第一确定单元将所述指令确定为所述目标操作对应的目标指令之后，检测所述目标指令是否为显示屏关闭指令；

第二确定单元，用于在所述第二检测单元的检测结果为是时，确定所述显示屏关闭指令对应的目标显示屏，所述目标显示屏为所述墨水屏或所述LCD显示屏；

第三检测单元，用于检测所述目标显示屏是否处于运行状态；

第一输出单元，用于在所述第三检测单元的检测结果为是时，通过所述目标显示屏输出关闭询问信息，所述关闭询问信息用于询问是否需要关闭所述目标显示屏；

关闭单元，用于当检测到输入的用于指示需要关闭所述目标显示屏的指令时，控制所述目标显示屏关闭。

作为一种可选的实施方式，在本发明实施例第二方面中，所述电子设备还包括：

第四检测单元，用于在所述第二检测单元的检测结果为否时，控制所述电子设备响应所述目标指令，并检测所述电子设备在响应所述目标指令的过程中是否触发LCD显示屏开启指令；

开启单元，用于在所述第四检测单元的检测结果为是时，控制所述LCD显示屏开启，并获取所述LCD显示屏开启指令对应的LCD显示屏待输出内容；

第二输出单元，用于通过所述LCD显示屏输出所述LCD显示屏待输出内容。

作为一种可选的实施方式，在本发明实施例第二方面中，所述第二输出单元包括：

检测子单元，用于检测所述LCD显示屏待输出内容的内容类型；

第一输出子单元，用于当所述内容类型为所述多媒体类型时，通过所述LCD显示屏输出所述多媒体类型的所述LCD显示屏待输出内容；

第二输出子单元，用于当所述内容类型为所述键盘类型时，从所述LCD显示屏待输出内容中获取虚拟键盘，并通过所述LCD显示屏输出所述虚拟键盘；

第一获取子单元，用于当检测到基于所述虚拟键盘的点击操作时，根据所述点击操作获取通过所述虚拟键盘输入的字符信息。

作为一种可选的实施方式，在本发明实施例第二方面中，所述获取单元包括：

第二获取子单元，用于获取预存储的标准指令的标准音视频信息；

计算子单元，用于计算所述音视频信息与所述标准音视频信息的相似度；

确定子单元，用于将所述相似度中的最高相似度对应的标准指令确定为所述音视频信息对应的指令。

本发明实施例第三方面公开另一种麦克风，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行第一方面的任意一种方法的部分或全部步骤。

本发明实施例第四方面公开一种计算机可读存储介质，所述计算机可读存储介质存储了程序代码，其中，所述程序代码包括用于执行第一方面的任意一种方法的部分或全部步骤的指令。

本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，电子设备的显示屏包括墨水屏，检测用户在墨水屏上输入的目标操作时所做出的音视频信息，音视频信息包括语音信息和/或所做出的动作类型；获取音视频信息对应的指令；将指令确定为目标操作对应的目标指令。可见，实施本发明实施例，能够在用户通过墨水屏输入目标操作时获取输入目标操作的音视频信息，从而根据获取到的音视频信息确定目标操作对应的指令，以使的电子设备可以通过除墨水屏以外的方式确定用户输入的目标指令，从而提升了识别用户触发的指令的准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种指令识别方法的流程示意图；

图2是本发明实施例公开的另一种指令识别方法的流程示意图；

图3是本发明实施例公开的另一种指令识别方法的流程示意图；

图4是本发明实施例公开的一种电子设备的结构示意图；

图5是本发明实施例公开的另一种电子设备的结构示意图；

图6是本发明实施例公开的另一种电子设备的结构示意图；

图7是本发明实施例公开的另一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开一种指令识别方法及电子设备，能够通过除墨水屏以外的方式确定用户输入的目标指令，从而提升了识别用户触发的指令的准确率。以下分别进行详细说明。

实施例一

请参阅图1，图1是本发明实施例公开的一种指令识别方法的流程示意图。该方法应用于电子设备，电子设备的显示屏可以包括墨水屏，如图1所示，该指令识别方法可以包括以下步骤：

101、电子设备检测用户在墨水屏上输入的目标操作时所做出的音视频信息，该音视频信息包括语音信息和/或所做出的动作类型。

本发明实施例中，电子设备可以为家教机、学习平板等，且电子设备上设置的显示屏可以包含墨水屏，且本发明实施例对墨水屏的大小不做限定，此外，墨水屏可以通过电子纸显技术实现，墨水屏可以模拟书本的效果，从而实现保护用户视力的效果。此外，用户可以在墨水屏输入的目标操作可以为点击操作、涂抹操作、移动操作等，对此，本发明实施例不做限定。音视频信息的采集可以与用户在墨水屏上输入目标操作同时进行，为了使用户输入的指令更加明确，用户可以在墨水屏上输入目标操作的同时通过语音的方式输入与目标操作相关的其他指令。此外，音视频信息可以通过电子设备上设置的声音采集设备(如麦克风等)和图像采集设备(如摄像头、照相机等)采集得到。音视频信息中包含的动作类型可以为用户在墨水屏上输入目标操作时用户手部的动作类型，例如，当用户在墨水屏上输入长按操作时，用户手部的动作类型可以为静止类型；当用户在墨水屏上输入涂抹操作时，用户手部的动作类型可以为移动类型，对此，本发明实施例不做限定。

作为一种可选的实施方式，电子设备检测用户在墨水屏上输入的目标操作时所做出的音视频信息的方式可以包含以下步骤：

当检测到墨水屏上存在按压操作时，电子设备可以认为用户在墨水屏上输入目标操作，并在墨水屏采集用户的目标操作的同时控制麦克风采集用户的音频信息以及控制图像采集设备(如摄像头)采集用户输出目标操作的手部的视频信息；

电子设备对音频信息和视频信息进行识别；

当识别出音频信息中不包含与用户声纹匹配的语音信息时，电子设备将音频信息删除，并识别视频信息中的用户手部的动作类型，以及将该动作类型确定为音视频信息；

当电子设备从视频信息中识别不到用户手部的动作类型时，电子设备将视频信息删除，并将音频信息确定为音视频信息；

当识别出音频信息中不包含与用户声纹匹配的语音信息且从视频信息中识别不到用户手部的动作类型时，电子设备将音频信息和视频信息删除，并输出输入提示信息，该输入提示信息用于提示电子设备的用户采集的音频信息和视频信息无法辅助电子设备识别目标操作对应的目标指令，需要重新输入目标操作；

当识别出音频信息中包含与用户声纹匹配的语音信息且从视频信息中识别到用户手部的动作类型时，电子设备将音频信息和动作类型同时确定为音视频信息。

其中，实施这种实施方式，可以根据采集的音频信息和视频信息的质量确定音视频信息中包含的内容，还可以在识别出音频信息和视频信息均不符合音视频信息的质量的情况下提示用户重新输入目标操作，以使电子设备可以更加准确的获取到目标操作的音视频信息，从而提高了获取的音视频信息的质量。

102、电子设备获取音视频信息对应的指令。

本发明实施例中，电子设备可以根据采集到的音视频信息从电子设备预存的指令中确定与音视频信息对应的指令，电子设备中可以预先采集用户输入各个指令时的标准音视频信息，并且可以根据预先采集的标准音视频信息与当前电子设备采集的音视频信息进行对比，从而得到相似度最高的指令。

作为一种可选的实施方式，电子设备获取音视频信息对应的指令的方式可以包含以下步骤：

电子设备获取所有的预存指令，并获取各个预存指令分别对应的预存音视频信息，该预存音视频信息中可以包含对应的预存指令的预存音频信息和/或预存动作类型；

当检测出音视频信息中只包含音频信息时，电子设备计算音频信息与各个预存音频信息的第一相似度，并从第一相似度中选取最高第一相似度，以及将最高第一相似度对应的预存指令确定为音视频信息对应的指令；

当检测出音视频信息中只包含动作类型时，电子设备计算动作类型与各个预存动作类型的第二相似度，并从第二相似度中选取最高第二相似度，以及将最高第二相似度对应的预存指令确定为音视频信息对应的指令；

当检测出音视频信息中既包含音频信息又包含动作类型时，电子设备计算音频信息与各个预存音频信息的第三相似度，并将高于预设音频相似度的第三相似度对应的预存指令确定为备选指令，以及计算动作类型与各个备选指令的预存动作类型的第四相似度，以及从第四相似度中选取最高第四相似度，以及将最高第四相似度对应的备选指令确定为音视频信息对应的指令。

其中，实施这种实施方式，可以根据音视频信息中包含的不同内容选择不同的指令获取方式，从而提高电子设备获取到的音视频信息对应的指令的准确度。

可选的，在确定最高第一相似度对应的预存指令、确定最高第二相似度对应的预存指令以及确定最高第四相似度对应的备选指令之后，电子设备还可以获取预存指令或备选指令的预存操作轨迹，电子设备可以将目标操作的操作轨迹与预存操作轨迹进行对比，如果目标操作的操作轨迹与预存操作轨迹的相似度大于预设轨迹相似度，可以认为预存指令或备选指令为目标操作对应的指令。从而可以根据目标操作的操作轨迹再次对识别出的指令进行检测，保证了识别得到的指令的正确性。

103、电子设备将指令确定为目标操作对应的目标指令。

本发明实施例中，由于音视频信息是在用户在墨水屏上输入目标操作时得到的，因此该音视频信息与目标操作是匹配的，因此，与音视频信息对应的指令也可以认为是与目标操作对应的目标指令。

在图1所描述的方法中，能够通过除墨水屏以外的方式确定用户输入的目标指令，从而提升了识别用户触发的指令的准确率。此外，实施图1所描述的方法，提高了获取的音视频信息的质量。此外，实施图1所描述的方法，提高电子设备获取到的音视频信息对应的指令的准确度。此外，实施图1所描述的方法，保证了识别得到的指令的正确性。

实施例二

请参阅图2，图2是本发明实施例公开的另一种指令识别方法的流程示意图。该方法应用于电子设备，电子设备的显示屏可以包括墨水屏，电子设备的显示屏还可以包括LCD显示屏，如图2所示，该指令识别方法可以包括以下步骤：

201、电子设备检测用户在墨水屏上输入的目标操作时所做出的音视频信息，该音视频信息包括语音信息和/或所做出的动作类型。

本发明实施例中，电子设备的显示屏还可以包含LCD显示屏(Liquid CrystalDisplay，液晶显示屏)，由于墨水屏输出的多媒体内容在墨水屏上输出的效果为黑白效果，因此用墨水屏输出多媒体内容的效果较差，可以通过彩色显示屏输出多媒体内容，以使终端设备的用户可以通过彩色显示屏看到更为清晰、效果更好的多媒体内容，提高了终端设备用户的使用体验。此外，本发明实施例对彩色显示屏的大小以及墨水屏和彩色显示屏的相对位置关系均不做限定。

202、电子设备获取音视频信息对应的指令。

203、电子设备将指令确定为目标操作对应的目标指令。

204、电子设备检测目标指令是否为显示屏关闭指令，如果是，执行步骤205～步骤206；如果否，执行步骤209。

本发明实施例中，目标指令可以为任意电子设备能够执行的指令，因此目标指令也可以为显示屏关闭指令，由于显示屏关闭过程较为费时，且用户操作过程较多，因此可以使电子设备自动响应显示屏关闭指令，以使电子设备自动关闭显示屏。

205、电子设备确定显示屏关闭指令对应的目标显示屏，目标显示屏为墨水屏或LCD显示屏。

作为一种可选的实施方式，电子设备执行步骤205之后，还可以执行以下步骤：

电子设备检测目标显示屏的属性，该属性可以为主屏或副屏；

当检测出目标显示屏的属性为副屏时，电子设备执行步骤206；

当检测出目标显示屏的属性为主屏时，电子设备检测电子设备的副屏是否处于运行状态；

如果电子设备的副屏未处于运行状态，电子设备执行步骤206；

如果电子设备的副屏处于运行状态，电子设备输出副屏提示信息，该副屏提示信息用于提示电子设备的用户关闭主屏的前提为关闭副屏，并询问用户是否需要关闭副屏；

当检测到用户输入的用于指示确定关闭副屏的指令时，电子设备控制副屏关闭，并执行步骤206。

其中，实施这种实施方式，可以检测出目标显示屏的属性，并根据不同的属性执行不同的关闭操作，从而保证目标显示屏上输出的内容不会在未取得用户同意的前提下关闭，保证了目标显示屏输出内容的稳定性。

206、电子设备检测目标显示屏是否处于运行状态，如果是，执行步骤207～步骤208；如果否，结束本流程。

207、电子设备通过目标显示屏输出关闭询问信息，关闭询问信息用于询问是否需要关闭目标显示屏。

本发明实施例中，电子设备输出关闭询问信息的方式可以为通过文字的方式输出，还可以为通过语音的方式输出，对此，本发明实施例不做限定。

208、当检测到输入的用于指示需要关闭目标显示屏的指令时，电子设备控制目标显示屏关闭。

本发明实施例中，实施上述的步骤204～步骤208，可以在检测到目标指令为显示屏关闭指令时检测需要关闭的显示屏的运行状态，如果目标显示屏上正在输出内容，可以对用户做出提示，以使电子设备根据用户的意愿对显示屏进行操作，从而提升了电子设备与用户之间的交互性。

209、电子设备控制电子设备响应目标指令，并检测电子设备在响应目标指令的过程中是否触发LCD显示屏开启指令，如果是，执行步骤210～步骤211；如果否，结束本流程。

210、电子设备控制LCD显示屏开启，并获取LCD显示屏开启指令对应的LCD显示屏待输出内容。

本发明实施例中，电子设备控制LCD显示屏开启的方式可以为控制LCD显示屏解除隐藏状态，进而可以控制LCD显示屏的屏幕开启。LCD显示屏待输出内容可以为图片、视频、虚拟键盘、游戏应用等，对此，本发明实施例不做限定。

211、电子设备通过LCD显示屏输出LCD显示屏待输出内容。

本发明实施例中，实施上述的步骤209～步骤211，可以在电子设备响应目标指令的过程中检测是否触发LCD显示屏开启指令，并在检测到LCD显示屏开启指令时开启LCD显示屏并通过LCD显示屏输出与LCD显示屏开启指令匹配的内容，从而使得LCD显示屏在开启时就能够输出内容，从而提高了LCD显示屏的利用率。

作为一种可选的实施方式，电子设备通过LCD显示屏输出LCD显示屏待输出内容的方式可以包含以下步骤：

电子设备检测LCD显示屏待输出内容的内容类型；

当内容类型为多媒体类型时，电子设备通过LCD显示屏输出多媒体类型的LCD显示屏待输出内容；

当内容类型为键盘类型时，电子设备从LCD显示屏待输出内容中获取虚拟键盘，并通过LCD显示屏输出虚拟键盘；

当检测到基于虚拟键盘的点击操作时，电子设备根据点击操作获取通过虚拟键盘输入的字符信息。

其中，实施这种实施方式，可以通过LCD显示屏输出多媒体内容，还可以通过LCD显示屏输出虚拟键盘，以使用户可以基于LCD显示屏输出的虚拟键盘向电子设备输入信息，避免了用户通过墨水屏上输出的虚拟键盘输入信息时可能出现的卡顿以及案件识别不准确的问题，提高了虚拟键盘使用的流程度以及准确度。

在图2所描述的方法中，能够通过除墨水屏以外的方式确定用户输入的目标指令，从而提升了识别用户触发的指令的准确率。此外，实施图2所描述的方法，保证了目标显示屏输出内容的稳定性。此外，实施图2所描述的方法，提升了电子设备与用户之间的交互性。此外，实施图2所描述的方法，提高了LCD显示屏的利用率。此外，实施图2所描述的方法，提高了虚拟键盘使用的流程度以及准确度。

实施例三

请参阅图3，图3是本发明实施例公开的另一种指令识别方法的流程示意图。该方法应用于电子设备，电子设备的显示屏可以包括墨水屏，如图3所示，该指令识别方法可以包括以下步骤：

301、电子设备检测用户在墨水屏上输入的目标操作时所做出的音视频信息，该音视频信息包括语音信息和/或所做出的动作类型。

302、电子设备获取预存储的标准指令的标准音视频信息。

本发明实施例中，标准音视频信息可以为电子设备预先采集的用户在通过墨水屏输入标准指令时的音视频信息，且标准音视频信息中可以包含标准音频信息和/或做出的标准动作类型。

303、电子设备计算音视频信息与标准音视频信息的相似度。

304、电子设备将相似度中的最高相似度对应的标准指令确定为音视频信息对应的指令。

本发明实施例中，实施上述的步骤302～步骤304，可以获取到电子设备预存储的各个标准指令对应的标准音视频信息，并且可以计算当前获得的音视频信息与各个标准音视频信息的相似度，并且可以将相似度最高的标准指令确定为音视频信息对应的指令，以使确定电子设备识别目标操作对应的目标指令更加准确。

305、电子设备将指令确定为目标操作对应的目标指令。

在图3所描述的方法中，能够通过除墨水屏以外的方式确定用户输入的目标指令，从而提升了识别用户触发的指令的准确率。此外，实施图3所描述的方法，可以确定电子设备识别目标操作对应的目标指令更加准确。

实施例四

请参阅图4，图4是本发明实施例公开的一种电子设备的结构示意图。其中，电子设备的显示屏可以包括墨水屏，如图4所示，该电子设备可以包括：

第一检测单元401，用于检测用户在墨水屏上输入的目标操作时所做出的音视频信息，该音视频信息包括语音信息和/或所做出的动作类型。

作为一种可选的实施方式，第一检测单元401检测用户在墨水屏上输入的目标操作时所做出的音视频信息的方式具体可以为：

当检测到墨水屏上存在按压操作时，可以认为用户在墨水屏上输入目标操作，并在墨水屏采集用户的目标操作的同时控制麦克风采集用户的音频信息以及控制图像采集设备(如摄像头)采集用户输出目标操作的手部的视频信息；

对音频信息和视频信息进行识别；

当识别出音频信息中不包含与用户声纹匹配的语音信息时，将音频信息删除，并识别视频信息中的用户手部的动作类型，以及将该动作类型确定为音视频信息；

当从视频信息中识别不到用户手部的动作类型时，将视频信息删除，并将音频信息确定为音视频信息；

当识别出音频信息中不包含与用户声纹匹配的语音信息且从视频信息中识别不到用户手部的动作类型时，将音频信息和视频信息删除，并输出输入提示信息，该输入提示信息用于提示电子设备的用户采集的音频信息和视频信息无法辅助电子设备识别目标操作对应的目标指令，需要重新输入目标操作；

当识别出音频信息中包含与用户声纹匹配的语音信息且从视频信息中识别到用户手部的动作类型时，将音频信息和动作类型同时确定为音视频信息。

其中，实施这种实施方式，可以根据采集的音频信息和视频信息的质量确定音视频信息中包含的内容，还可以在识别出音频信息和视频信息均不符合音视频信息的质量的情况下提示用户重新输入目标操作，以使电子设备可以更加准确的获取到目标操作的音视频信息，从而提高了获取的音视频信息的质量。

获取单元402，用于获取第一检测单元401检测的音视频信息对应的指令。

作为一种可选的实施方式，获取单元402获取音视频信息对应的指令的方式具体可以为：

获取所有的预存指令，并获取各个预存指令分别对应的预存音视频信息，该预存音视频信息中可以包含对应的预存指令的预存音频信息和/或预存动作类型；

当检测出音视频信息中只包含音频信息时，计算音频信息与各个预存音频信息的第一相似度，并从第一相似度中选取最高第一相似度，以及将最高第一相似度对应的预存指令确定为音视频信息对应的指令；

当检测出音视频信息中只包含动作类型时，计算动作类型与各个预存动作类型的第二相似度，并从第二相似度中选取最高第二相似度，以及将最高第二相似度对应的预存指令确定为音视频信息对应的指令；

当检测出音视频信息中既包含音频信息又包含动作类型时，计算音频信息与各个预存音频信息的第三相似度，并将高于预设音频相似度的第三相似度对应的预存指令确定为备选指令，以及计算动作类型与各个备选指令的预存动作类型的第四相似度，以及从第四相似度中选取最高第四相似度，以及将最高第四相似度对应的备选指令确定为音视频信息对应的指令。

其中，实施这种实施方式，可以根据音视频信息中包含的不同内容选择不同的指令获取方式，从而提高电子设备获取到的音视频信息对应的指令的准确度。

可选的，在确定最高第一相似度对应的预存指令、确定最高第二相似度对应的预存指令以及确定最高第四相似度对应的备选指令之后，电子设备还可以获取预存指令或备选指令的预存操作轨迹，电子设备可以将目标操作的操作轨迹与预存操作轨迹进行对比，如果目标操作的操作轨迹与预存操作轨迹的相似度大于预设轨迹相似度，可以认为预存指令或备选指令为目标操作对应的指令。从而可以根据目标操作的操作轨迹再次对识别出的指令进行检测，保证了识别得到的指令的正确性。

第一确定单元403，用于将获取单元402获取的指令确定为目标操作对应的目标指令。

可见，实施图4所描述的电子设备，能够通过除墨水屏以外的方式确定用户输入的目标指令，从而提升了识别用户触发的指令的准确率。此外，实施图4所描述的电子设备，提高了获取的音视频信息的质量。此外，实施图4所描述的电子设备，提高电子设备获取到的音视频信息对应的指令的准确度。此外，实施图4所描述的电子设备，保证了识别得到的指令的正确性。

实施例五

请参阅图5，图5是本发明实施例公开的另一种电子设备的结构示意图。其中，图5所示的电子设备是由图4所示的电子设备进行优化得到的。其中，电子设备的显示屏可以包括墨水屏，电子设备的显示屏还可以包含LCD显示屏，图5所示的电子设备还可以包括：

第二检测单元404，用于在第一确定单元403将指令确定为目标操作对应的目标指令之后，检测目标指令是否为显示屏关闭指令。

第二确定单元405，用于在第二检测单元404的检测结果为是时，确定显示屏关闭指令对应的目标显示屏，目标显示屏为墨水屏或LCD显示屏。

作为一种可选的实施方式，第二确定单元405还可以用于：

检测目标显示屏的属性，该属性可以为主屏或副屏；

当检测出目标显示屏的属性为副屏时，触发第三检测单元406执行检测目标显示屏是否处于运行状态；

当检测出目标显示屏的属性为主屏时，检测电子设备的副屏是否处于运行状态；

如果电子设备的副屏未处于运行状态，触发第三检测单元406执行检测目标显示屏是否处于运行状态；

如果电子设备的副屏处于运行状态，输出副屏提示信息，该副屏提示信息用于提示电子设备的用户关闭主屏的前提为关闭副屏，并询问用户是否需要关闭副屏；

当检测到用户输入的用于指示确定关闭副屏的指令时，控制副屏关闭，并触发第三检测单元406执行检测目标显示屏是否处于运行状态。

其中，实施这种实施方式，可以检测出目标显示屏的属性，并根据不同的属性执行不同的关闭操作，从而保证目标显示屏上输出的内容不会在未取得用户同意的前提下关闭，保证了目标显示屏输出内容的稳定性。

第三检测单元406，用于检测第二确定单元405确定的目标显示屏是否处于运行状态。

第一输出单元407，用于在第三检测单元406的检测结果为是时，通过目标显示屏输出关闭询问信息，关闭询问信息用于询问是否需要关闭目标显示屏。

关闭单元408，用于当检测到输入的用于指示需要关闭目标显示屏的指令时，控制第二确定单元405确定的目标显示屏关闭。

本发明实施例中，可以在检测到目标指令为显示屏关闭指令时检测需要关闭的显示屏的运行状态，如果目标显示屏上正在输出内容，可以对用户做出提示，以使电子设备根据用户的意愿对显示屏进行操作，从而提升了电子设备与用户之间的交互性。

作为一种可选的实施方式，图5所示的电子设备还可以包括：

第四检测单元409，用于在第二检测单元404的检测结果为否时，控制电子设备响应目标指令，并检测电子设备在响应目标指令的过程中是否触发LCD显示屏开启指令；

开启单元410，用于在第四检测单元409的检测结果为是时，控制LCD显示屏开启，并获取LCD显示屏开启指令对应的LCD显示屏待输出内容；

第二输出单元411，用于通过LCD显示屏输出开启单元410获取的LCD显示屏待输出内容。

其中，实施这种实施方式，可以在电子设备响应目标指令的过程中检测是否触发LCD显示屏开启指令，并在检测到LCD显示屏开启指令时开启LCD显示屏并通过LCD显示屏输出与LCD显示屏开启指令匹配的内容，从而使得LCD显示屏在开启时就能够输出内容，从而提高了LCD显示屏的利用率。

作为一种可选的实施方式，图5所示的电子设备的第二输出单元411可以包括：

检测子单元4111，用于检测开启单元410获取的LCD显示屏待输出内容的内容类型；

第一输出子单元4112，用于当检测子单元4111检测出内容类型为多媒体类型时，通过LCD显示屏输出多媒体类型的LCD显示屏待输出内容；

第二输出子单元4113，用于当检测子单元4111检测出内容类型为键盘类型时，从LCD显示屏待输出内容中获取虚拟键盘，并通过LCD显示屏输出虚拟键盘；

第一获取子单元4114，用于当检测到基于第二输出子单元4113输出的虚拟键盘的点击操作时，根据点击操作获取通过虚拟键盘输入的字符信息。

其中，实施这种实施方式，可以通过LCD显示屏输出多媒体内容，还可以通过LCD显示屏输出虚拟键盘，以使用户可以基于LCD显示屏输出的虚拟键盘向电子设备输入信息，避免了用户通过墨水屏上输出的虚拟键盘输入信息时可能出现的卡顿以及案件识别不准确的问题，提高了虚拟键盘使用的流程度以及准确度。

可见，实施图5所描述的电子设备，能够通过除墨水屏以外的方式确定用户输入的目标指令，从而提升了识别用户触发的指令的准确率。此外，实施图5所描述的电子设备，保证了目标显示屏输出内容的稳定性。此外，实施图5所描述的电子设备，提升了电子设备与用户之间的交互性。此外，实施图5所描述的电子设备，提高了LCD显示屏的利用率。此外，实施图5所描述的电子设备，提高了虚拟键盘使用的流程度以及准确度。

实施例六

请参阅图6，图6是本发明实施例公开的另一种电子设备的结构示意图。其中，图6所示的电子设备是由图5所示的电子设备进行优化得到的。其中，电子设备的显示屏可以包括墨水屏，电子设备的显示屏还可以包含LCD显示屏，图6所示的电子设备的获取单元402可以包括：

第二获取子单元4021，用于获取预存储的标准指令的标准音视频信息。

计算子单元4022，用于计算第一检测单元401检测的音视频信息与第二获取子单元4021获取的标准音视频信息的相似度。

确定子单元4023，用于将计算子单元4022计算的相似度中的最高相似度对应的标准指令确定为音视频信息对应的指令。

本发明实施例中，可以获取到电子设备预存储的各个标准指令对应的标准音视频信息，并且可以计算当前获得的音视频信息与各个标准音视频信息的相似度，并且可以将相似度最高的标准指令确定为音视频信息对应的指令，以使确定电子设备识别目标操作对应的目标指令更加准确。

可见，实施图6所描述的电子设备，能够通过除墨水屏以外的方式确定用户输入的目标指令，从而提升了识别用户触发的指令的准确率。此外，实施图6所描述的电子设备，可以确定电子设备识别目标操作对应的目标指令更加准确。

实施例七

请参阅图7，图7是本发明实施例公开的另一种电子设备的结构示意图。如图7所示，该电子设备可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，执行以上各方法实施例中的方法的部分或全部步骤。

本发明实施例还公开一种计算机可读存储介质，其中，计算机可读存储介质存储了程序代码，其中，程序代码包括用于执行以上各方法实施例中的方法的部分或全部步骤的指令。

本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

应理解，说明书通篇中提到的“本发明实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在本发明实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

另外，本文中术语“系统”和“网络”在本文中常可互换使用。应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

以上对本发明实施例公开的一种指令识别方法及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种指令识别方法，其特征在于，所述方法应用于电子设备，所述电子设备的显示屏包括墨水屏，所述方法包括：

检测用户在所述墨水屏上输入的目标操作时所做出的音视频信息，所述音视频信息包括语音信息和/或所做出的动作类型；

获取所述音视频信息对应的指令；

将所述指令确定为所述目标操作对应的目标指令。

2.根据权利要求1所述的方法，其特征在于，所述电子设备的显示屏还包括LCD显示屏，所述将所述指令确定为所述目标操作对应的目标指令之后，所述方法还包括：

检测所述目标指令是否为显示屏关闭指令；

如果所述目标指令为所述显示屏关闭指令，确定所述显示屏关闭指令对应的目标显示屏，所述目标显示屏为所述墨水屏或所述LCD显示屏；

检测所述目标显示屏是否处于运行状态；

如果处于所述运行状态，通过所述目标显示屏输出关闭询问信息，所述关闭询问信息用于询问是否需要关闭所述目标显示屏；

当检测到输入的用于指示需要关闭所述目标显示屏的指令时，控制所述目标显示屏关闭。

3.根据权利要求2所述的方法，其特征在于，在检测出所述目标指令不为所述显示屏关闭指令之后，所述方法还包括：

控制所述电子设备响应所述目标指令，并检测所述电子设备在响应所述目标指令的过程中是否触发LCD显示屏开启指令；

如果是，控制所述LCD显示屏开启，并获取所述LCD显示屏开启指令对应的LCD显示屏待输出内容；

通过所述LCD显示屏输出所述LCD显示屏待输出内容。

4.根据权利要求3所述的方法，其特征在于，所述通过所述LCD显示屏输出所述LCD显示屏待输出内容，包括：

检测所述LCD显示屏待输出内容的内容类型；

当所述内容类型为所述多媒体类型时，通过所述LCD显示屏输出所述多媒体类型的所述LCD显示屏待输出内容；

当所述内容类型为所述键盘类型时，从所述LCD显示屏待输出内容中获取虚拟键盘，并通过所述LCD显示屏输出所述虚拟键盘；

当检测到基于所述虚拟键盘的点击操作时，根据所述点击操作获取通过所述虚拟键盘输入的字符信息。

5.根据权利要求1～4任一项所述的方法，其特征在于，所述获取所述音视频信息对应的指令，包括：

获取预存储的标准指令的标准音视频信息；

计算所述音视频信息与所述标准音视频信息的相似度；

将所述相似度中的最高相似度对应的标准指令确定为所述音视频信息对应的指令。

6.一种电子设备，其特征在于，所述电子设备的显示屏包括墨水屏，包括：

第一检测单元，用于检测用户在所述墨水屏上输入的目标操作时所做出的音视频信息，所述音视频信息包括语音信息和/或所做出的动作类型；

获取单元，用于获取所述音视频信息对应的指令；

第一确定单元，用于将所述指令确定为所述目标操作对应的目标指令。

7.根据权利要求6所述的电子设备，其特征在于，所述电子设备的显示屏还包括LCD显示屏，所述电子设备还包括：

第二检测单元，用于在所述第一确定单元将所述指令确定为所述目标操作对应的目标指令之后，检测所述目标指令是否为显示屏关闭指令；

第二确定单元，用于在所述第二检测单元的检测结果为是时，确定所述显示屏关闭指令对应的目标显示屏，所述目标显示屏为所述墨水屏或所述LCD显示屏；

第三检测单元，用于检测所述目标显示屏是否处于运行状态；

第一输出单元，用于在所述第三检测单元的检测结果为是时，通过所述目标显示屏输出关闭询问信息，所述关闭询问信息用于询问是否需要关闭所述目标显示屏；

关闭单元，用于当检测到输入的用于指示需要关闭所述目标显示屏的指令时，控制所述目标显示屏关闭。

8.根据权利要求7所述的电子设备，其特征在于，所述电子设备还包括：

第四检测单元，用于在所述第二检测单元的检测结果为否时，控制所述电子设备响应所述目标指令，并检测所述电子设备在响应所述目标指令的过程中是否触发LCD显示屏开启指令；

开启单元，用于在所述第四检测单元的检测结果为是时，控制所述LCD显示屏开启，并获取所述LCD显示屏开启指令对应的LCD显示屏待输出内容；

第二输出单元，用于通过所述LCD显示屏输出所述LCD显示屏待输出内容。

9.根据权利要求8所述的电子设备，其特征在于，所述第二输出单元包括：

检测子单元，用于检测所述LCD显示屏待输出内容的内容类型；

第一输出子单元，用于当所述内容类型为所述多媒体类型时，通过所述LCD显示屏输出所述多媒体类型的所述LCD显示屏待输出内容；

第二输出子单元，用于当所述内容类型为所述键盘类型时，从所述LCD显示屏待输出内容中获取虚拟键盘，并通过所述LCD显示屏输出所述虚拟键盘；

第一获取子单元，用于当检测到基于所述虚拟键盘的点击操作时，根据所述点击操作获取通过所述虚拟键盘输入的字符信息。

10.根据权利要求6～9任一项所述的电子设备，其特征在于，所述获取单元包括：

第二获取子单元，用于获取预存储的标准指令的标准音视频信息；

计算子单元，用于计算所述音视频信息与所述标准音视频信息的相似度；

确定子单元，用于将所述相似度中的最高相似度对应的标准指令确定为所述音视频信息对应的指令。

Images