CN113986417A

CN113986417A - 一种应用程序投屏控制方法、装置、终端设备及存储介质

Info

Publication number: CN113986417A
Application number: CN202111183098.5A
Authority: CN
Inventors: 周胜杰
Original assignee: Shenzhen Konka Electronic Technology Co Ltd
Current assignee: Shenzhen Konka Electronic Technology Co Ltd
Priority date: 2021-10-11
Filing date: 2021-10-11
Publication date: 2022-01-28

Abstract

本发明公开了一种应用程序投屏控制方法、装置、终端设备及存储介质，所述方法包括：获取显示设备所播放的应用界面图像；根据所述应用界面图像，确定与所述应用界面图像所对应的目标应用程序；下载并安装所述目标应用程序，并将所述目标应用程序的运行界面投屏至所述显示设备。本发明可以实现利用显示设备所播放的应用界面图像来确定与所述应用界面图像所对应的目标应用程序，使得能够准确获取所述目标应用程序,然后启动所述目标应用程序并将所述目标应用程序的运行界面顺利投屏至所述显示设备，以实现多设备之间基于同一个应用程序之间的投屏互动。

Description

一种应用程序投屏控制方法、装置、终端设备及存储介质

技术领域

本发明涉及投屏控制技术领域，尤其涉及一种应用程序投屏控制方法、装置、终端设备及存储介质。

背景技术

在科技助力生活的今天，人们和各种终端设备如影随形，生活中早已被诸如手机，平板，电脑，电视所围绕。随着人们的使用需求，经常需要进行投屏互动的操作，将A终端的屏幕内容投屏至B终端上进行显示。当两个终端设备在进行投屏互动时可能需要使用同一个应用程序，而目前针对不同的终端设备所开发出的应用程序不同，因此无法完成投屏互动。比如，用户A在电视上玩游戏Z，用户B希望在电视上投屏一起玩，想实现投屏互动获得大屏体验，而此刻的用户B的手机上并没有安装游戏Z的应用，因此无法实现投屏互动。可见现有技术中在进行投屏互动受到限制。

因此，现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种应用程序投屏控制方法、装置、终端设备及存储介质，旨在解决现有技术中当两个不同终端想要基于同一个应用程序进行投屏互动时，容易受到限制的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

第一方面，本发明提供一种应用程序投屏控制方法，其中，所述方法包括：

获取显示设备所播放的应用界面图像；

根据所述应用界面图像，确定与所述应用界面图像所对应的目标应用程序；

下载并安装所述目标应用程序，并将所述目标应用程序的运行界面投屏至所述显示设备。

在一种实现方式中，所述获取显示设备所播放的应用界面图像，包括：

启动预设的图像采集装置；

根据所述图像采集装置录制所述显示设备上所播放的所述应用界面图像。

在一种实现方式中，所述根据所述应用界面图像，确定与所述应用界面图像所对应的目标应用程序，包括：

对所述应用界面图像进行识别，得到所述应用界面图像中的图像特征；

根据所述图像特征，确定与所述图像特征所匹配的目标应用程序。

在一种实现方式中，所述根据所述图像特征，确定与所述图像特征所匹配的目标应用程序，包括：

将所述图像特征输入至预设的应用信息资源库，所述应用信息资源库中存储有各种应用程序的名称信息以及与所述名称信息所对应的图像特征；

根据所述应用信息资源库，确定与所述图像特征所匹配的名称信息；

根据所述名称信息，确定该名称信息所对应的目标应用程序。

若所述应用信息资源库中不存在与所述图像特征所对应的名称信息，则将所述图像特征作为训练样本，并输入至预设的网络模型进行训练。

在一种实现方式中，所述下载并安装所述目标应用程序，并将所述目标应用程序的运行界面投屏至所述显示设备，包括：

根据所述名称信息，下载并安装所述目标应用程序；

启动所述目标应用程序，并在接收到投屏指令后，将所述目标应用程序的运行界面投屏至所述显示设备。

当安装完所述目标应用程序后，对所述目标应用程序进行正确性确认。

第二方面，本发明实施例还提供一种应用程序投屏控制装置，其中，所述装置包括：

图像获取模块，用于获取显示设备所播放的应用界面图像；

图像识别模块，用于根据所述应用界面图像，确定与所述应用界面图像所对应的目标应用程序；

界面投屏模块，用于下载并安装所述目标应用程序，并将所述目标应用程序的运行界面投屏至所述显示设备。

第三方面，本发明实施例还提供一种终端设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的应用程序投屏控制方法。

第四方面，本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述的应用程序投屏控制方法。

本发明的有益效果：与现有技术相比，本发明提供了一种应用程序投屏控制方法，本发明首先获取显示设备所播放的应用界面图像，使用图像采集装置采集所述应用界面图像，然后，对所述应用界面图像进行识别，根据所述应用界面图像，确定与所述应用界面图像所对应的目标应用程序。最后，下载并安装所述目标应用程序，并将所述目标应用程序的运行界面投屏至所述显示设备。可见，本发明中可以实现通过使用图像采集装置采集所述应用界面图像，对所述应用界面图像进行识别，确定与所述应用界面图像所对应的目标应用程序，并下载并安装所述目标应用程序，将所述目标应用程序的运行界面顺利投屏至所述显示设备，完成两个不同终端基于同一个应用程序之间的投屏互动操作。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的应用程序投屏控制方法的具体实施方式的流程图。

图2为本发明实施例提供的应用程序投屏控制方法中获取显示设备所播放的应用界面图像的流程图。

图3为本发明实施例提供的应用程序投屏控制方法中实现确定与所述应用界面图像所对应的目标应用程序的流程图。

图4为本发明实施例提供的应用程序投屏控制方法中实现将所述目标应用程序的运行界面投屏至所述显示设备的流程图。

图5为本发明实施例提供的应用程序投屏控制装置的原理框图。

图6为本发明实施例提供的终端设备的内部结构原理框图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

由于现有技术中，当两个不同终端想要基于相同的应用程序进行投屏互动的操作时，但由于不同的终端设备可能所开发出的应用程序并不同，这时会导致无法完成投屏互动。

为了解决现有技术的问题，本实施例提供了一种应用程序投屏控制方法，本实施例首先获取显示设备所播放的应用界面图像，使用图像采集装置采集所述应用界面图像，然后，对所述应用界面图像进行识别，根据所述应用界面图像，确定与所述应用界面图像所对应的目标应用程序。最后，下载并安装所述目标应用程序，并将所述目标应用程序的运行界面投屏至所述显示设备。可见，本实施例中可以实现通过使用图像采集装置采集所述应用界面图像，对所述应用界面图像进行识别，确定与所述应用界面图像所对应的目标应用程序，并下载并安装所述目标应用程序，将所述目标应用程序的运行界面顺利投屏至所述显示设备，完成两个不同终端基于同一个应用程序之间的投屏互动操作。

举例说明，当电视机(即显示设备)上正在云心开心消消乐这款游戏，用户想要在手机上玩同款游戏，用户就可以使用手机获取到电视机上正在播放的游戏界面图像(即应用界面图像)，然后根据该游戏界面图像确定该游戏界面图像所对应的目标应用程序--即开心消消乐，然后手机下载并安装开心消消乐这款游戏，在手机上启动开心消消乐，然后将运行界面投屏至电视机上，用户就可以在电视机上玩开心消消乐这款游戏了，从而实现了手机与电视机基于同一款游戏之间的投屏互动。

示例性方法

本实施例提供了一种应用程序投屏控制方法，该方法可以应用于终端设备。所述终端设备可为手机、平板电脑等便携式终端。

具体如图1中所示，所述方法包括：

步骤100、获取显示设备所播放的应用界面图像。

在一种实施方式中，本实施例实现对显示设备所播放的应用界面图像的获取，是通过预设的图像采集装置进行录制所述显示设备上所播放的所述应用界面图像实现的。如图2中所示，具体包括如下步骤：

步骤101、启动预设的图像采集装置；

步骤102、根据所述图像采集装置录制所述显示设备上所播放的所述应用界面图像。

在本实施例中，为了采集所述应用界面图像，在终端设备上设置有图像采集装置(如摄像头)。当欲对显示设备所播放的应用界面图像进行获取时，终端设备启动预设的图像采集装置，所述图像采集装置具有拍摄功能和录制功能。具体地，当终端设备发出获取所述应用界面图像信号时(比如，用户启动手机上的摄像头)，对显示设备上所播放的应用界面图像进行拍摄或者录制，并将拍摄图像或录制视频进行存储。进一步地，对所述应用界面图像进行拍摄时，可以进行多次拍摄操作，分别拍摄不同的界面图像，一般一款应用程序都不止只有一个界面，比如会有主界面、设置界面等多个界面，对不同的应用界面图像进行拍摄可以得到一款应用程序多方面的应用界面图像，增强图像的识别度。

在另一种实现方式中，本实施例还可以将终端设备与显示设备进行连接，然后当终端设备接收到获取图像的指令后，显示设备就会将正在播放的应用界面图像截屏然后发送至终端设备中，使得终端设备可直接获取到显示设备上正在播放的应用界面图像，以对该应用界面图像进行识别。举例说明，当用户的智能电视的显示屏上正在运行一款游戏时，如王者荣耀，用户想要用手机对电视机进行投屏，实现投屏互动操作，但用户手机中并未安装有此款游戏，则用户用手机打开预设的软件，使手机连接智能电视，将电视端的显示内容传到手机端显示，手机端接收到获取图像的指令后，接收显示设备发送来得的王者荣耀的应用界面图像。具体地，该游戏具有主界面、设置界面、账号界面，所述终端设备可对该游戏的三个界面进行截屏，然后再发送给终端设备。当然，所述显示设备还可以可以对显示屏上正在运行的王者荣耀游戏界面进行录制，录制时间可以进行自主设置，如将录制时间设置为30s，录制时间30s过后，将录制视频发送给终端设备，终端设备再从该录制视频中挑选并提取应用界面图像。

使用所述图片采集装置获取显示设备所播放的应用界面图像，是为了确定显示设备中所播放的应用程序，即执行图1中的步骤S200、根据所述应用界面图像，确定与所述应用界面图像所对应的目标应用程序。

每一款应用程序的应用界面都是独立设置的，故每一款应用程序的应用界面都有自己的特点，比如颜色、人物、关键字、排版、场景等等，从每一张图像中能够提取出相应的图像特征，根据该图像特征，则可以识别出所述应用界面图像所对应的目标应用程序。

在一种实施方式中，如图3所示，具体包括如下步骤：

步骤201、对所述应用界面图像进行识别，得到所述应用界面图像中的图像特征；

步骤202、根据所述图像特征，确定与所述图像特征所匹配的目标应用程序。

具体地，当对所述应用界面图像进行识别时，根据应用界面图像的界面特点可以识别出所述目标应用程序的类型，类型可分为游戏类型、音乐软件类型、阅读软件类型等等，进一步地，根据所述应用界面图像确定的所述目标应用程序类型，来确定所述图像特征，所述图像特征可以是一款游戏中的主要人物形象、一款应用程序的排版样式、颜色、关键词等等，比如当应用界面图像是一款叫“超级玛丽”的游戏界面时，则通过对应用界面图像识别出的图像特征为人物形象，即提取出该应用界面图像中“马里奥”的人物形象作为图像特征；当应用界面图像是一款叫“网易云音乐”界面时，则可以通过识别该应用界面图像中的排版样式，该排版样式即为所述图像特征。

进一步地，当确定出图像特征后，本实施例将所述图像特征输入至预设的应用信息资源库，所述应用信息资源库中存储有各种应用程序的名称信息以及与所述名称信息所对应的图像特征。接着，根据所述应用信息资源库，确定与所述图像特征所匹配的名称信息。最后，根据所述名称信息，确定该名称信息所对应的目标应用程序。即预先设置有应用信息资源库，所述应用信息资源库中存储了各种应用程序的名称信息以及与所述名称信息所对应的图像特征，每一个所述图像特征对应有一个所述名称信息，根据所述图像特征，可以找出对应的所述名称信息，根据所述名称信息即可确定该名称信息所对应的目标应用程序。比如，当获取的所述图像特征为“超级玛丽”游戏中主人公“马里奥”的人物形象，将“马里奥”的人物形象输入至预设的应用信息资源库中，与所述预设的应用信息资源库中预先存储的各种图像特征进行匹配，当匹配出“马里奥”的人物形象所对应的应用程序的名称信息为“超级玛丽”时，则就确定出此时的目标应用程序即为“超级玛丽”游戏应用。

在一种实现方式中，若所述应用信息资源库中不存在与所述图像特征所对应的名称信息，则将所述图像特征作为训练样本，并输入至预设的网络模型进行训练。具体地，当所述预设信息资源库中存储的图像特征都没有与入至输入至所述预设信息资源库的所述图像特征进行正确匹配时，即所述应用信息资源库中不存在与输入至所述预设信息资源库的所述图像特征相同的图像特征，所述预设信息资源库输出匹配结果为“匹配失败”，则将所述图像特征作为训练样本，输入至预设的网络模型进行训练，具体地，所述预设网络模型具有识别所述图像特征功能，所述预设网络模型用于对输入的图像特征进行识别，确定所述图像特征所对应的名称信息，将所述图像特征所对应的名称信息和所述图像特征进行训练，得到该图像特征与名称信息的对应关系，再上传至所述预设的应用信息资源库，使预设的应用信息资源库得到扩充。

进一步地，当所述应用信息资源库中不存在与所述图像特征所对应的名称信息时，即与所述预设的应用信息资源库中的图像特征匹配失败，对匹配失败结果进行判定，判定是否为第一次匹配失败，若为第一次匹配失败时，则重新获取显示设备所播放的应用界面图像进行图像特征识别；若不是第一次匹配失败，则将所述图像特征作为训练样本，并输入至预设的网络模型进行训练，对预设的应用信息资源库进行扩充，这样可以防止匹配失败的偶然性，以及重复对已有的图像特征以及应用名称信息进行存储。

步骤300、下载并安装所述目标应用程序，并将所述目标应用程序的运行界面投屏至所述显示设备。

在一种实施方式中，本实施例实现将所述目标应用程序的运行界面投屏至所述显示设备，如图4所示，具体包括如下步骤：

步骤301、根据所述名称信息，下载并安装所述目标应用程序；

步骤302、启动所述目标应用程序，并在接收到投屏指令后，将所述目标应用程序的运行界面投屏至所述显示设备。

根据所述名称信息可以确定所述目标应用程序，终端设备获取所述目标应用程序的下载途径，所述下载途径有多种，比如说手机自带的应用商城、应用宝、网页游览器等多种下载途径，进一步地，每款应用程序的下载途径可能有多种，当识别出所述目标应用程序具有多种下载途径时，终端设备自动选择出最安全快捷的下载途径，最后，通过自动选择出的最安全快捷的下载途径下载所述目标应用程序并安装。待所述目标应用程序安装好后，启动所述目标应用程序，并向显示设备发送投屏请求，当显示投屏接收了所述投屏请求时，终端设备将所述目标应用程序的运行界面投屏至所述显示设备，这样就可以实现显示设备和终端设备基于同一个目标应用程序之间的投屏互动。

在一种实现方式中，当安装完所述目标应用程序后，对所述目标应用程序进行正确性确认。具体地，待所述目标程序安装完毕后，发送所述目标应用程序确认信息，终端设备在显示屏上显示“用户确认该目标程序是否为显示设备运行的应用程序同款”，若是，则用户可自行点击确认按钮，进行投屏操作；若不是，则用户点击报错按钮，此时，终端设备重新对显示设备运行的应用界面图像进行获取，并重新提取所述图像特征确定所述目标程序。进一步地，当对所述目标应用程序进行了三次正确性确认，若三次正确性确认都点击了报错按钮，即确认失败，此时用户可以手动输入标记应用程序名称来下载该目标应用程序，具体地，当连续点击三次报错按钮时，界面自动弹出输入应用程序名称的输入框，用户可手动将需要下载的应用程序名称输入至输入框中，终端设备接收输入框中输入的信息，根据输入框中的应用程序名称，自动下载所述输入框中输入的应用程序名称对应的目标应用程序。

此外，在其他实现方式中，所述显示设备可进行多窗口显示。比如，显示设备上显示两个窗口，其中一个窗口用于显示该显示设备自身运行的目标应用程序的运行界面，另一个窗口用于显示所述终端设备投屏的所述目标应用程序的运行界面，这样就可以在一个设备上实现多窗口且基于同一个目标应用程序的同屏互动，方便用户的使用。

由此可见，本发明实施例首先获取显示设备所播放的应用界面图像，使用图像采集装置采集所述应用界面图像，然后，对所述应用界面图像进行识别，根据所述应用界面图像，确定与所述应用界面图像所对应的目标应用程序。最后，下载并安装所述目标应用程序，并将所述目标应用程序的运行界面投屏至所述显示设备。可见，本实施例中可以实现通过使用图像采集装置采集所述应用界面图像，对所述应用界面图像进行识别，确定与所述应用界面图像所对应的目标应用程序，并下载并安装所述目标应用程序，将所述目标应用程序的运行界面顺利投屏至所述显示设备，完成两个不同终端基于同一个应用程序之间的投屏互动操作。

示例性设备

如图5中所示，本发明实施例提供了一种应用程序投屏控制装置，该装置包括：图像获取模块501、图像识别模块502、界面投屏模块503。具体地，所述图像获取模块501，用于获取显示设备所播放的应用界面图像；所述图像识别模块502，用于根据所述应用界面图像，确定与所述应用界面图像所对应的目标应用程序；所述界面投屏模块503，用于下载并安装所述目标应用程序，并将所述目标应用程序的运行界面投屏至所述显示设备。

基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图6所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种应用程序投屏控制方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。

本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的应用程序投屏控制程序，处理器执行应用程序投屏控制程序时，实现如下操作指令：

获取显示设备所播放的应用界面图像；

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双运营数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

综上所述，本发明公开了一种应用程序投屏控制方法、装置、终端设备及存储介质，所述方法包括：获取显示设备所播放的应用界面图像；根据所述应用界面图像，确定与所述应用界面图像所对应的目标应用程序；下载并安装所述目标应用程序，并将所述目标应用程序的运行界面投屏至所述显示设备。本发明可以实现利用显示设备所播放的应用界面图像来确定与所述应用界面图像所对应的目标应用程序，使得能够准确获取所述目标应用程序，将所述目标应用程序的运行界面顺利投屏至所述显示设备。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种应用程序投屏控制方法，其特征在于，所述方法包括：

获取显示设备所播放的应用界面图像；

2.根据权利要求1所述的应用程序投屏控制方法，其特征在于，所述获取显示设备所播放的应用界面图像，包括：

启动预设的图像采集装置；

3.根据权利要求1所述的应用程序投屏控制方法，其特征在于，所述根据所述应用界面图像，确定与所述应用界面图像所对应的目标应用程序，包括：

4.根据权利要求3所述的应用程序投屏控制方法，其特征在于，所述根据所述图像特征，确定与所述图像特征所匹配的目标应用程序，包括：

5.根据权利要求3所述的应用程序投屏控制方法，其特征在于，所述根据所述图像特征，确定与所述图像特征所匹配的目标应用程序，包括：

6.根据权利要求4所述的应用程序投屏控制方法，其特征在于，所述下载并安装所述目标应用程序，并将所述目标应用程序的运行界面投屏至所述显示设备，包括：

根据所述名称信息，下载并安装所述目标应用程序；

7.根据权利要求6所述的应用程序投屏控制方法，其特征在于，所述下载并安装所述目标应用程序，并将所述目标应用程序的运行界面投屏至所述显示设备，包括：

8.一种应用程序投屏控制装置，其特征在于，所述装置包括：

图像获取模块，用于获取显示设备所播放的应用界面图像；

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的应用程序投屏控制程序，所述处理器执行所述应用程序投屏控制程序时，实现如权利要求1-7任一项所述的应用程序投屏控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有应用程序投屏控制程序，所述应用程序投屏控制程序被处理器执行时，实现如权利要求1-7任一项所述的应用程序投屏控制方法的步骤。