CN111475241A

CN111475241A - 一种界面的操作方法、装置、电子设备及可读存储介质

Info

Publication number: CN111475241A
Application number: CN202010256674.3A
Authority: CN
Inventors: 韩超
Original assignee: Shenzhen Skyworth RGB Electronics Co Ltd
Current assignee: Shenzhen Skyworth RGB Electronics Co Ltd
Priority date: 2020-04-02
Filing date: 2020-04-02
Publication date: 2020-07-31
Anticipated expiration: 2040-04-02
Also published as: CN111475241B; WO2021196609A1

Abstract

本申请涉及信息处理技术领域，尤其涉及一种界面的操作方法、装置、电子设备及可读存储介质。本申请在接收用户发出的语音指令时，对当前的屏幕界面进行截屏，并从截屏图片中确定是否存在与语音指令相匹配的目标界面控件，若存在目标界面控件，控制目标界面控件执行语音指令对应的第一操作；若不存在目标界面控件，根据语音指令中的语音信息，确定控制屏幕界面的第二操作，并控制屏幕界面执行第二操作。这样，通过截屏图片和语音指令，对于电视终端中安装的任何应用程序都可以通过语音指令来进行控制，在省去了对应用程序的适配工作量的同时，还可以提升语音识别的准确率。

Description

一种界面的操作方法、装置、电子设备及可读存储介质

技术领域

本申请涉及信息处理技术领域，尤其涉及一种界面的操作方法、装置、电子设备及可读存储介质。

背景技术

随着科学进步和时代的发展，电视终端具有的功能越来越多，其中，带有语音识别功能的电视终端，由于用户通过语音指令便可以实现对其进行操控，解放了用户的双手，而深受广大用户的欢迎。

通常，电视终端在投放市场前，需要事先对电视终端上配置的应用程序进行适配工作，这样，用户才可以实现对配置的应用程序进行语音控制，但是，对于用户后期自行安装的应用程序，由于没有进行适配，将无法通过语音指令进行控制，而适配过程繁琐，用户很难自行操作。

发明内容

有鉴于此，本申请实施例的目的在于提供一种界面的操作方法及装置，可以省去对第三方应用程序的适配工作量的同时，还可以提升语音识别的准确率。

主要包括以下几个方面：

第一方面，本申请实施例提供一种界面的操作方法，所述界面的操作方法包括：

在接收用户发出的语音指令时，对当前的屏幕界面进行截屏，得到截屏图片；

确定所述截屏图片中是否存在与所述语音指令相匹配的目标界面控件；

若存在，控制所述目标界面控件执行所述语音指令对应的第一操作；

若不存在，根据所述语音指令中的语音信息，确定控制所述屏幕界面的第二操作，并控制所述屏幕界面执行所述第二操作。

在一种可能的实施方式中，根据以下步骤确定所述截屏图片中是否存在与所述语音指令相匹配的目标界面控件：

从所述截屏图片中，识别出至少一个候选界面控件；

判断所述至少一个候选界面控件中，是否存在与所述语音指令相匹配的界面控件；

若存在，则将该界面控件确定为所述目标界面控件。

在一种可能的实施方式中，所述根据所述语音指令中的语音信息，确定控制所述屏幕界面的第二操作，包括：

将所述语音信息与语句库中存储的语句信息进行匹配；所述语句库中存储有多个语句信息和每个语句信息对应的操作；

若所述语句库中存在与所述语音信息匹配的语句信息，则获取该语句信息对应的操作，并将该操作确定为控制所述屏幕界面的第二操作。

在一种可能的实施方式中，在所述将所述语音信息与语句库中存储的语句信息进行匹配之后，所述操作方法还包括：

若所述语句库中不存在与所述语音信息匹配的语句信息，则从所述语音信息中提取出动词；

基于所述动词和所述语音指令，确定控制所述屏幕界面的第二操作。

在一种可能的实施方式中，所述基于所述动词和所述语音指令，确定控制所述屏幕界面的第二操作，包括：

从所述语句库中，确定包含所述动词的至少一个语句信息；

获取所述至少一个语句信息中每个语句信息对应的操作；

从所述至少一个语句信息对应的操作中，确定与所述语音指令匹配的操作，并将该操作确定为控制所述屏幕界面的第二操作。

在一种可能的实施方式中，若所述第二操作为跳转操作，所述控制所述屏幕界面执行所述第二操作，包括：

从所述当前的屏幕界面跳转到所述语音指令对应的界面。

第二方面，本申请实施例还提供一种界面的操作装置，所述界面的操作装置包括：

截屏模块，用于在接收用户发出的语音指令时，对当前的屏幕界面进行截屏，得到截屏图片；

第一确定模块，用于确定所述截屏图片中是否存在与所述语音指令相匹配的目标界面控件；

控制模块，用于若存在，控制所述目标界面控件执行所述语音指令对应的第一操作；

第二确定模块，用于若不存在，根据所述语音指令中的语音信息，确定控制所述屏幕界面的第二操作，并控制所述屏幕界面执行所述第二操作。

在一种可能的实施方式中，所述第一确定模块用于根据以下步骤确定所述截屏图片中是否存在与所述语音指令相匹配的目标界面控件：

从所述截屏图片中，识别出至少一个候选界面控件；

若存在，则将该界面控件确定为所述目标界面控件。

在一种可能的实施方式中，所述第二确定模块包括：

匹配单元，用于将所述语音信息与语句库中存储的语句信息进行匹配；所述语句库中存储有多个语句信息和每个语句信息对应的操作；

第一确定单元，用于若所述语句库中存在与所述语音信息匹配的语句信息，则获取该语句信息对应的操作，并将该操作确定为控制所述屏幕界面的第二操作。

在一种可能的实施方式中，所述第二确定模块还包括：

提取单元，用于若所述语句库中不存在与所述语音信息匹配的语句信息，则从所述语音信息中提取出动词；

第二确定单元，用于基于所述动词和所述语音指令，确定控制所述屏幕界面的第二操作。

在一种可能的实施方式中，所述第二确定单元用于根据以下步骤确定控制所述屏幕界面的第二操作：

从所述语句库中，确定包含所述动词的至少一个语句信息；

获取所述至少一个语句信息中每个语句信息对应的操作；

在一种可能的实施方式中，若所述第二操作为跳转操作，所述第二确定模块用于根据以下步骤控制所述屏幕界面执行所述第二操作：

从所述当前的屏幕界面跳转到所述语音指令对应的界面。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的界面的操作方法的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的界面的操作方法的步骤。

本申请实施例中，在接收用户发出的语音指令时，对当前的屏幕界面进行截屏，并从截屏图片中确定是否存在与语音指令相匹配的目标界面控件，若存在，控制目标界面控件执行语音指令对应的第一操作，通过在当前屏幕界面确定目标界面控件，并控制目标界面执行第一操作，在任何应用程序中都可以通过语音指令控制当前的界面，免去对第三方应用程序的适配工作，若不存在，根据语音指令中的语音信息，确定控制屏幕界面的第二操作，并控制屏幕界面执行第二操作，实现了可以对所有语音指令进行识别，并执行语音指令对应的操作的效果。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种界面的操作方法的流程图；

图2示出了本申请实施例所提供的一种界面的操作装置的结构示意图之一；

图3示出了本申请实施例所提供的一种界面的操作装置的结构示意图之二；

图4示出了本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。

值得注意的是，在本申请提出之前，通常，电视终端在投放市场前，需要事先对电视终端上配置的应用程序进行适配工作，这样，用户才可以实现对配置的应用程序进行语音控制，但是，对于用户后期自行安装的应用程序，由于没有进行适配，将无法通过语音指令进行控制，而适配过程繁琐，用户很难自行操作。

针对上述问题，本申请实施例在接收用户发出的语音指令时，对当前的屏幕界面进行截屏，并从截屏图片中确定是否存在与语音指令相匹配的目标界面控件，若存在目标界面控件，控制目标界面控件执行语音指令对应的第一操作；若不存在目标界面控件，根据语音指令中的语音信息，确定控制屏幕界面的第二操作，并控制屏幕界面执行第二操作。这样，通过截屏图片和语音指令，对于电视终端中安装的任何应用程序都可以通过语音指令来进行控制，在省去了对应用程序的适配工作量的同时，还可以提升语音识别的准确率。

需要说明的是，本申请适用的智能设备可以是带有智能语音识别功能的电视终端，并且本发明中带有智能语音识别功能的电视终端可以通过物联网技术与住宅中的各种智能设备进行交互，实现智能家居。

为便于对本申请进行理解，下面结合具体实施例对本申请提供的技术方案进行详细说明。

图1为本申请实施例一所提供的一种界面的操作方法的流程图。所述界面的操作方法，包括以下步骤：

S101：在接收用户发出的语音指令时，对当前的屏幕界面进行截屏，得到截屏图片。

该步骤中，在接收用户发出的语音指令之后，就对当前的屏幕界面进行截屏，就可以得到当前屏幕界面对应的截屏图片。

S102：确定所述截屏图片中是否存在与所述语音指令相匹配的目标界面控件。

该步骤中，在S101中获取到的截屏图片中，筛选出是否存在有与接收到用户的语音指令相匹配的目标界面控件，其中，界面控件可以是特殊图案类别的界面控件，也可以是单纯的是文字类别的界面控件，通过点击界面控件，便可以控制界面控件对应的操作，或者跳转到界面控件对应的界面。

一示例中，界面控件可以是特殊图形类别的界面控件，如在视频软件中，“下一集”的界面控件是一个倒着的三角形和一个竖杠的特殊图形，界面控件也可以是单纯文字类别的界面控件，如在网页中，“热点新闻”这几个字，就可以通过点击跳转到对应的热点新闻。

S103：若存在，控制所述目标界面控件执行所述语音指令对应的第一操作。

该步骤中，如果截屏图片中有与语音指令相匹配的目标界面控件，也就是当前屏幕界面中有与语音指令相匹配的目标界面控件，就控制目标界面控件执行与语音指令相对应的操作。

一示例中，假设电视终端的当前界面是在播放一首歌，此时用户想要切换下一首，对着电视终端发出“播放下一首音乐”，所以在当前界面对应的截屏图片中，确定出与“下一首”对应的目标界面控件，确定出“下一首”对应的目标界面控件之后，控制“下一首”对应的目标界面控件进行点击，实现通过语音输入播放下一首的效果。

其中，对当前的屏幕界面进行截屏，得到当前界面对应的截屏图片，因为当前的屏幕与对应的截屏图片是等比例缩小或者放大，所以在截屏图片中确定出目标界面控件的位置之后，在当前的屏幕的相对位置也可以精准地确定出目标界面控件的位置。

需要说明的是，本发明预先建立一个语音指令库，其中存储着各个应用程序中存在的界面控件的名称和对应的图形，以便无论当前的屏幕界面在哪一个应用程序中，都可以确定出与语音指令相匹配的目标界面控件，假设不同的音乐播放器中“下一首”对应的界面控件都略有不同，所以预先存储好各个应用程序中界面控件的名称以及对应的图形，在识别目标界面控件的时候，不用适配第三方应用程序的界面控件，可以直接识别，省去了对应用程序的适配工作量。

S104：若不存在，根据所述语音指令中的语音信息，确定控制所述屏幕界面的第二操作，并控制所述屏幕界面执行所述第二操作。

该步骤中，如果截屏图片中没有与语音指令相匹配的目标界面控件，也就是当前屏幕界面中没有与语音指令相匹配的目标界面控件，那么根据接收到的语音指令确定出当前屏幕界面要执行的第二操作，其中第二操作可以包括跳转其他屏幕界面，控制其它屏幕界面执行操作或者在当前屏幕界面执行语音指令相关的操作，因此，本申请不仅通过截屏来识别与语音指令相匹配的目标界面控件，在没有目标界面控件时，通过识别语音指令中的语音信息，来确定控制屏幕界面的操作，可以提升语音识别的准确率。

进一步地，本发明中的电视终端设备不仅通过语音指令对当前屏幕界面进行控制，也可以通过该设备向其他设备进行控制，达到智能家居的效果，强化了电视终端的功能。

在本申请实施例中，在接收用户发出的语音指令时，对当前的屏幕界面进行截屏，并从截屏图片中确定是否存在与语音指令相匹配的目标界面控件，若存在目标界面控件，控制目标界面控件执行语音指令对应的第一操作；若不存在目标界面控件，根据语音指令中的语音信息，确定控制屏幕界面的第二操作，并控制屏幕界面执行第二操作。这样，通过截屏图片和语音指令，对于电视终端中安装的任何应用程序都可以通过语音指令来进行控制，在省去了对应用程序的适配工作量的同时，还可以提升语音识别的准确率。

在一种可能的实施方式中，在S102中所述确定所述截屏图片中是否存在与所述语音指令相匹配的目标界面控件，包括以下步骤：

步骤(2A)：从所述截屏图片中，识别出至少一个候选界面控件。

该步骤中，在得到的当前屏幕界面对应的截屏图片中，可能存在有多个功能各异的候选界面控件，假设在音乐播放器的屏幕界面中，就可能存在有“上一首”、“下一首”、“播放”/“暂停”和“播放模式”等多个候选界面控件，从截屏图片中可能存在的多个候选界面控件都识别出来。

步骤(2B)：判断所述至少一个候选界面控件中，是否存在与所述语音指令相匹配的界面控件。

步骤(2C)：若存在，则将该界面控件确定为所述目标界面控件。

该步骤中，将从截屏图片中识别出的至少一个候选界面控件与语音指令相匹配，并判断是否存在有与语音指令相匹配的界面控件，假设，语音指令为“播放下一首”，那么识别出的至少一个候选界面控件中与语音指令相匹配的界面控件是“下一首”，所以“下一首”对应的界面控件就是目标界面控件。

在一种可能的实施方式中，在S104中所述根据所述语音指令中的语音信息，确定控制所述屏幕界面的第二操作，包括以下步骤：

步骤(3A)：将所述语音信息与语句库中存储的语句信息进行匹配；所述语句库中存储有多个语句信息和每个语句信息对应的操作。

该步骤中，提取语音指令中的语音信息，再将语音信息与语句库中存储的语音信息进行匹配，其中，语句库中存储着多个语句信息，以及每个语句信息对应的操作。

步骤(3B)：若所述语句库中存在与所述语音信息匹配的语句信息，则获取该语句信息对应的操作，并将该操作确定为控制所述屏幕界面的第二操作。

该步骤中，如果从语句库中匹配到与语音信息相匹配的语句信息，则在语句库中获取该语句信息对应的操作，并将该操作作为当前的屏幕界面应该执行的第二操作。

一示例中，假设电视终端当前的屏幕界面处在某个音乐播放器中，此时接收到用户发来的“启动扫地机器人”的语音指令，在与当前的屏幕界面对应的截屏图片匹配之后，没有发现与“启动扫地机器人”相匹配的目标界面控件，那么将“启动扫地机器人”这一语音信息与语句库做匹配，找出语句库中存储着“扫地机器人”这一语句信息，所以再配合着语音信息中的“启动”，使电视终端的界面跳转到“扫地机器人”界面中，并在“扫地机器人”的界面中执行“启动”的指令。

需要说明的是，如上述例子中，在电视终端收到“启动扫地机器人”的语音指令之后，电视终端可以通过从语句库中找出与“扫地机器人”相关的操作，再跳转到电视终端中“扫地机器人”的界面，再截屏，从当前的屏幕界面中找出“执行”的目标界面控件，也可以直接向扫地机器人发送启动的命令。

在一种可能的实施方式中，在步骤(3A)中所述将所述语音信息与语句库中存储的语句信息进行匹配之后，还包括以下步骤：

步骤(4A)：若所述语句库中不存在与所述语音信息匹配的语句信息，则从所述语音信息中提取出动词。

步骤(4B)：基于所述动词和所述语音指令，确定控制所述屏幕界面的第二操作。

该步骤中，如果语句库中不存在与语音信息匹配的语句信息，则从接收到的语音信息中提取出动词，如“阅读”这样的动词，根据提取出的动词，以及语音信息，控制当前的屏幕界面执行第二操作。

一示例中，假设当前的界面是某一新闻的文字信息，用户不想用眼睛看，想听到新闻，所以向电视终端发出“阅读第二段”的语音指令，当电视终端接收到语音指令后，对当前的屏幕界面进行截图，并从语音信息中提取出“阅读”这样的动词，结合语音指令中的“第二段”，对当前的屏幕界面对应的截屏图片中的第二段用预先存储的模拟人声进行播放。

在一种可能的实施方式中，在步骤(4B)中所述基于所述动词和所述语音指令，确定控制所述屏幕界面的第二操作，包括以下步骤：

步骤(5A)：从所述语句库中，确定包含所述动词的至少一个语句信息。

该步骤中，根据从语音指令中提取出的动词与语句库进行匹配，从语句库中找出包含该动词的至少一个语句信息。

一示例中，假设接收的语音指令为“阅读第二段”，从该语音信息中提取出的动词为“阅读”，将“阅读”这个动词与语句库中各个语句信息进行匹配，找出的包含“阅读”的语句信息包括：“阅读当前屏幕界面的段落”、“阅读下一屏幕界面的段落”以及“阅读上一屏幕界面的段落”。

步骤(5B)：获取所述至少一个语句信息中每个语句信息对应的操作。

步骤(5C)：从所述至少一个语句信息对应的操作中，确定与所述语音指令匹配的操作，并将该操作确定为控制所述屏幕界面的第二操作。

该步骤中，获取包含动词的至少一个语句信息，以及每个语句信息对应的操作，并将每个语句信息与接收到的语音指令进行匹配，从至少一个语句信息中确定出与语音指令相匹配的语句信息，并将该语句信息对应的操作，确定为控制当前屏幕界面的第二操作。

一示例中，通过将动词与语句库进行匹配，匹配到的语句信息有“阅读当前屏幕界面的段落”、“阅读下一屏幕界面的段落”以及“阅读上一屏幕界面的段落”，若接收到的语音指令是“阅读第二段”，用该语音指令与从语句库中匹配出的三个语句信息进一步匹配，确定出“阅读当前屏幕界面的段落”是与语音指令最匹配的，将“阅读当前屏幕界面”对应的操作确定为控制当前屏幕界面的第二操作。

从所述当前的屏幕界面跳转到所述语音指令对应的界面。

该步骤中，若第二操作为跳转操作，那么控制当前屏幕界面执行该第二操作包括控制当前屏幕界面跳转到与语音指令相匹配的界面。

其中，第二操作还包括通过提取语音信息中的动词，以及通过获取该动词对应的操作而确定出控制当前屏幕界面的第二操作。

一示例中，若当前屏幕界面是在一个音乐播放器中，若此时接收到的语音指令是“启动洗衣机”，那么当前的屏幕界面就跳转到应用程序为“洗衣机”的屏幕界面，并对“洗衣机”的屏幕界面进行控制。

基于同一申请构思，本申请实施例中还提供了与上述实施例提供的一种界面的操作方法对应的界面的操作装置，由于本申请实施例中的装置解决问题的原理与本申请上述实施例的界面的操作方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参见图2所示，为本申请实施例提供的一种界面的操作装置200的结构示意图之一，参见图3所示，为本申请实施例提供的一种界面的操作装置200的结构示意图之二，其中，如图2和图3所示，本申请实施例提供的界面的操作装置200，包括：

截屏模块210，用于在接收用户发出的语音指令时，对当前的屏幕界面进行截屏，得到截屏图片；

第一确定模块220，用于确定所述截屏图片中是否存在与所述语音指令相匹配的目标界面控件；

控制模块230，用于若存在，控制所述目标界面控件执行所述语音指令对应的第一操作；

第二确定模块240，用于若不存在，根据所述语音指令中的语音信息，确定控制所述屏幕界面的第二操作，并控制所述屏幕界面执行所述第二操作。

本申请在接收用户发出的语音指令时，通过截屏模块210对当前的屏幕界面进行截屏，并通过第一确定模块220从截屏图片中确定是否存在与语音指令相匹配的目标界面控件，若存在，通过控制模块230控制目标界面控件执行语音指令对应的第一操作，若不存在，根据语音指令中的语音信息，通过第二确定模块240确定控制屏幕界面的第二操作，并控制屏幕界面执行第二操作。这样，通过截屏图片和语音指令，对于电视终端中安装的任何应用程序都可以通过语音指令来进行控制，在省去了对应用程序的适配工作量的同时，还可以提升语音识别的准确率。

在一种可能的实施方式中，所述第一确定模块220用于根据以下步骤确定所述截屏图片中是否存在与所述语音指令相匹配的目标界面控件：

从所述截屏图片中，识别出至少一个候选界面控件；

若存在，则将该界面控件确定为所述目标界面控件。

在一种可能的实施方式中，如图3所示，所述第二确定模块240包括：

匹配单元241，用于将所述语音信息与语句库中存储的语句信息进行匹配；所述语句库中存储有多个语句信息和每个语句信息对应的操作；

第一确定单元242，用于若所述语句库中存在与所述语音信息匹配的语句信息，则获取该语句信息对应的操作，并将该操作确定为控制所述屏幕界面的第二操作。

在一种可能的实施方式中，如图3所示，所述第二确定模块240还包括：

提取单元243，用于若所述语句库中不存在与所述语音信息匹配的语句信息，则从所述语音信息中提取出动词；

第二确定单元244，用于基于所述动词和所述语音指令，确定控制所述屏幕界面的第二操作。

在一种可能的实施方式中，所述第二确定单元244用于根据以下步骤确定控制所述屏幕界面的第二操作：

从所述语句库中，确定包含所述动词的至少一个语句信息；

获取所述至少一个语句信息中每个语句信息对应的操作；

在一种可能的实施方式中，若所述第二操作为跳转操作，所述第二确定模块240用于根据以下步骤控制所述屏幕界面执行所述第二操作：

从所述当前的屏幕界面跳转到所述语音指令对应的界面。

基于同一申请构思，参见图4所示，为本申请实施例提供的一种电子设备400的结构示意图，包括：处理器410、存储器420和总线430，所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过所述总线430进行通信，所述机器可读指令被所述处理器410运行时执行如上述实施例所述的界面的操作界面的操作方法的步骤。

具体地，所述机器可读指令被所述处理器410执行时可以执行如下处理：

本申请实施例中，在接收用户发出的语音指令时，对当前的屏幕界面进行截屏，并从截屏图片中确定是否存在与语音指令相匹配的目标界面控件，若存在目标界面控件，控制目标界面控件执行语音指令对应的第一操作；若不存在目标界面控件，根据语音指令中的语音信息，确定控制屏幕界面的第二操作，并控制屏幕界面执行第二操作。这样，通过截屏图片和语音指令，对于电视终端中安装的任何应用程序都可以通过语音指令来进行控制，在省去了对应用程序的适配工作量的同时，还可以提升语音识别的准确率。

基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例中提供的一种界面的操作方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种界面的操作方法，其特征在于，所述操作方法包括：

2.根据权利要求1所述的操作方法，其特征在于，根据以下步骤确定所述截屏图片中是否存在与所述语音指令相匹配的目标界面控件：

从所述截屏图片中，识别出至少一个候选界面控件；

若存在，则将该界面控件确定为所述目标界面控件。

3.根据权利要求1所述的操作方法，其特征在于，所述根据所述语音指令中的语音信息，确定控制所述屏幕界面的第二操作，包括：

4.根据权利要求3所述的操作方法，其特征在于，在所述将所述语音信息与语句库中存储的语句信息进行匹配之后，所述操作方法还包括：

5.根据权利要求4所述的操作方法，其特征在于，所述基于所述动词和所述语音指令，确定控制所述屏幕界面的第二操作，包括：

从所述语句库中，确定包含所述动词的至少一个语句信息；

获取所述至少一个语句信息中每个语句信息对应的操作；

6.根据权利要求1所述的操作方法，其特征在于，若所述第二操作为跳转操作，所述控制所述屏幕界面执行所述第二操作，包括：

从所述当前的屏幕界面跳转到所述语音指令对应的界面。

7.一种界面的操作装置，其特征在于，所述操作装置包括：

8.根据权利要求7所述的操作装置，其特征在于，所述第一确定模块用于根据以下步骤确定所述截屏图片中是否存在与所述语音指令相匹配的目标界面控件：

从所述截屏图片中，识别出至少一个候选界面控件；

若存在，则将该界面控件确定为所述目标界面控件。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一项所述的一种界面的操作方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6任一项所述的一种界面的操作方法。