CN113515244B - 基于投屏的终端遥控方法、装置、设备及存储介质 - Google Patents

Abstract

本发明提供了一种基于投屏的终端遥控方法、装置、设备及存储介质，其中，所述基于投屏的终端遥控方法包括：在投屏应用程序中内置遥控功能；接收对所述遥控功能的选择，生成所述遥控功能的控制窗口；在所述控制窗口中加载接收端设备的屏幕数据；接收在所述控制窗口的操作，生成所述操作的屏幕响应并同步到所述接收端设备。本发明的基于投屏的终端遥控方法由于在投屏应用程序中内置遥控功能，这样在用户需要对接收端设备进行控制时，发送端设备中就会生成带有接收端设备的屏幕数据的控制窗口以供用户执行各种遥控操作，操作的对象可以不仅限于视频，交互控制更加方便。

Description

基于投屏的终端遥控方法、装置、设备及存储介质

技术领域

本发明涉及投屏技术领域，尤其涉及一种基于投屏的终端遥控方法、装置、设备及存储介质。

背景技术

用户发送端投屏到接收端以后，希望能直接对接收端显示画面进行缩放、旋转、平移、区域显示、标注、亮度、进度、音量等操作，目前的投屏方法，发送端只能够实现视频类文件的播放进度控制，导致适用的场景比较少，难以满足用户对接收端设备投屏画面的控制需求。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于解决现有技术的终端投屏后，对接收端设备显示画面的操作比较单一，无法满足用户控制需求的技术问题。

本发明第一方面提供了一种基于投屏的终端遥控方法，所述基于投屏的终端遥控方法包括：

在投屏应用程序中内置遥控功能；

接收对所述遥控功能的选择，生成所述遥控功能的控制窗口；

在所述控制窗口中加载接收端设备的屏幕数据；

接收在所述控制窗口的操作，生成所述操作的屏幕响应并同步到所述接收端设备。

在本发明第一方面一种可选的实施方式中，所述接收对所述遥控功能的选择，生成所述遥控功能的控制窗口之前包括：

开启所述投屏应用程序，搜索附近的接收端设备；

建立与所述接收端设备的投屏连接。

在本发明第一方面一种可选的实施方式中，所述接收对所述遥控功能的选择，生成所述遥控功能的控制窗口之后，所述在所述控制窗口中加载接收端设备的屏幕数据之前包括：

当监测到所述控制窗口生成后，触发向所述接收端设备发送屏幕获取请求；

接收所述接收端设备返回的所述屏幕数据。

在本发明第一方面一种可选的实施方式中，所述接收在所述控制窗口的操作，生成所述操作的屏幕响应并同步到所述接收端设备包括：

接收在所述控制窗口的操作，并获取所述操作的类型；

若所述操作属于标注类操作，则在所述接收端设备的显示界面上增加一个透明显示层；

将所述操作的屏幕响应显示在所述透明显示层中。

在本发明第一方面一种可选的实施方式中，所述在所述控制窗口中加载接收端设备的屏幕数据包括：

获取所述接收端设备返回的所述屏幕数据的第一帧率和第一分辨率；

基于所述控制窗口的显示参数将所述屏幕数据转换成第二帧率和第二分辨率在所述控制窗口中进行播放。

在本发明第一方面一种可选的实施方式中，所述控制窗口中设置有模式切换按钮，所述模式切换按钮用于将所述接收端设备的显示界面切换成发送端设备的界面或者是将所述接收端设备的显示界面切换回自身的界面。

在本发明第一方面一种可选的实施方式中，所述操作包括屏幕缩放、屏幕旋转、屏幕平移、屏幕区域显示、屏幕标注和屏幕亮度调节。

本发明第二方面提供了一种基于投屏的终端遥控装置，所述基于投屏的终端遥控装置包括：

预置模块，用于在投屏应用程序中内置遥控功能；

窗口生成模块，用于接收对所述遥控功能的选择，生成所述遥控功能的控制窗口；

加载显示模块，用于在所述控制窗口中加载接收端设备的屏幕数据；

遥控模块，用于接收在所述控制窗口的操作，生成所述操作的屏幕响应并同步到所述接收端设备。

本发明第三方面提供了一种基于投屏的终端遥控设备，所述基于投屏的终端遥控设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于投屏的终端遥控设备执行如上述任一项所述的基于投屏的终端遥控方法。

本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于投屏的终端遥控方法。

有益效果：本发明提供了一种基于投屏的终端遥控方法、装置、设备及存储介质，其中，所述基于投屏的终端遥控方法包括：在投屏应用程序中内置遥控功能；接收对所述遥控功能的选择，生成所述遥控功能的控制窗口；在所述控制窗口中加载接收端设备的屏幕数据；接收在所述控制窗口的操作，生成所述操作的屏幕响应并同步到所述接收端设备。本发明的基于投屏的终端遥控方法由于在投屏应用程序中内置遥控功能，这样在用户需要对接收端设备进行控制时，发送端设备中就会生成带有接收端设备的屏幕数据的控制窗口以供用户执行各种遥控操作，操作的对象可以不仅限于视频，交互控制更加方便。

附图说明

图1为本发明一种基于投屏的终端遥控方法的一个实施例示意图；

图2为本发明一种基于投屏的终端遥控装置的一个实施例示意图；

图3为本发明一种基于投屏的终端遥控设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种基于投屏的终端遥控方法、装置、设备及存储介质。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明第一方面提供了一种基于投屏的终端遥控方法，所述基于投屏的终端遥控方法包括：

S100、在投屏应用程序中内置遥控功能；

在本实施例中，本发明中的发送端设备和接收端设备中需要安装相同的投屏应用程序，且在应用程序中集成有遥控功能(包括基于手势操作的缩放、旋转、平移、区域显示、标注、亮度、进度、音量等操作指令，以及常用的控制指令库)，在集成遥控功能时，可以通过接入其他公司提供的遥控SDK来实现；

S200、接收对所述遥控功能的选择，生成所述遥控功能的控制窗口；

在本实施例中，用户需要对接收端设备进行遥控时，选择相应的遥控功能菜单，投屏应用程序自动在发送端设备的显示界面上生成遥控功能的控制窗口；

S300、在所述控制窗口中加载接收端设备的屏幕数据；

在本实施例中，生成控制窗口之后，控制窗口会加载显示接收端设备的屏幕数据，这样用户就可以在发送端设备上看到接收端设备当前的屏幕装置，从而方便后续操作；

S400、接收在所述控制窗口的操作，生成所述操作的屏幕响应并同步到所述接收端设备。

在本实施例中，用户只需要在所述控制窗口按照预设的控制方式调整控制窗口中的显示画面，接收端设备中的显示画面即可同步发生变化。

本发明的基于投屏的终端遥控方法由于在投屏应用程序中内置遥控功能，这样在用户需要对接收端设备进行控制时，发送端设备中就会生成带有接收端设备的屏幕数据的控制窗口以供用户执行各种遥控操作，操作的对象可以不仅限于视频，交互控制更加方便。

在本发明第一方面一种可选的实施方式中，所述接收对所述遥控功能的选择，生成所述遥控功能的控制窗口之前包括：

开启所述投屏应用程序，搜索附近的接收端设备；

在本实施例中，接收端设备需要先对外发布自己所能够提供的服务，发送端设备开启投屏应用程序后点击搜索附近的设备，并生成附近可投屏设备的列表，用户根据自己所需要的服务选择对应的接收端设备，之后向其投屏请求；

建立与所述接收端设备的投屏连接。

在本实施例中，接收端设备接收到发送端发送的连接请求并验证通过后建立与发送端设备的投屏连接。

在本发明第一方面一种可选的实施方式中，所述接收对所述遥控功能的选择，生成所述遥控功能的控制窗口之后，所述在所述控制窗口中加载接收端设备的屏幕数据之前包括：

当监测到所述控制窗口生成后，触发向所述接收端设备发送屏幕获取请求；

在本实施例中，在发送端设备的系统中设置有一个监控进程，该监控进程用于实时监测投屏应用程序当前的状态，当监测到投屏应用程序生成控制窗口后，触发向接收端设备发送屏幕获取请求；

接收所述接收端设备返回的所述屏幕数据。

在本实施例中，接收端设备接收到发送端设备发送的屏幕获取请求之后，按照一定的帧率和一定的分辨率采集(比如将当前显示画面以每秒5帧，分辨率为320x240进行采集)，之后接收端设备将采集到的当前的屏幕数据后发送给发送端设备。

在本发明第一方面一种可选的实施方式中，所述接收在所述控制窗口的操作，生成所述操作的屏幕响应并同步到所述接收端设备包括：

接收在所述控制窗口的操作，并获取所述操作的类型；

在本实施例中，用户可以对该控制窗口的画面进行缩放、旋转、平移、区域显示、标注、亮度调节等操作；具体可以通过手势来实现，手势操作定义如下：在面板上双指靠拢完成缩小、双指分离完成放大；四指的旋转完成画面的旋转；三指完成画面的移动；选择区域显示功能后再单指选择区域完成区域显示操作；选择亮度控制功能后再单指左侧上下互动控制亮度高低；选择音量控制功能后再单指右侧上下互动控制音量高低；选择进度控制功能后在单指左右滑动控制进度；单指可以在画面上进行绘制操作；可以选择文字输入以完成在画面上输入文字；

若所述操作属于标注类操作，则在所述接收端设备的显示界面上增加一个透明显示层；

将所述操作的屏幕响应显示在所述透明显示层中。

在本实施例中，在接收端设备的显示画面的上一层增加一个透明显示层，用于绘制手机端的标注操作，从而不需要涉及到对显示画面底层的修改，显示更加的方便。

在本发明第一方面另一种可选的实施方式中，若所述操作属于非标注类操作，则在所述接收端设备的显示界面上生成所述操作的屏幕响应。在本实施例中，比如控制显示界面的放大、缩小、旋转等，并且缩放、旋转、区域显示直接在画面渲染时完成。

在本发明第一方面一种可选的实施方式中，所述在所述控制窗口中加载接收端设备的屏幕数据包括：

获取所述接收端设备返回的所述屏幕数据的第一帧率和第一分辨率；

基于所述控制窗口的显示参数将所述屏幕数据转换成第二帧率和第二分辨率在所述控制窗口中进行播放。

在本实施例中，本发明基于投屏的终端遥控方法可以适用于不同的发送端设备和接收端设备，并且具有自动调整屏幕数据的帧率和分辨率以使得控制窗口中显示的接收端设备画面更佳适配的效果。

在本发明第一方面一种可选的实施方式中，所述控制窗口中设置有模式切换按钮，所述模式切换按钮用于将所述接收端设备的显示界面切换成发送端设备的界面或者是将所述接收端设备的显示界面切换回自身的界面。

在本实施例中，本发明技术方案的终端遥控方法不仅可以实现对接收端设备原本显示画面的控制，也可以实现对投屏到接收端设备上的发送端设备的显示画面的控制，在实现对接收端设备原本显示画面的控制时，发送端设备中接收有接收端设备的控制指令库，在用户点击相应的控制按钮后，从控制指令库中查找对应的控制指令后发送给接收端设备已完成对接收端设备自身显示画面的控制，同时，由于接收端设备的画面可以自由切换，因此本发明的终端遥控方法也可以适应更多的应用场景。

在本发明第一方面一种可选的实施方式中，所述操作包括屏幕缩放、屏幕旋转、屏幕平移、屏幕区域显示、屏幕标注和屏幕亮度调节。

在本实施例中，本发明的基于投屏的终端遥控方法由于在投屏应用程序中内置遥控功能，这样在用户需要对接收端设备进行控制时，发送端设备中就会生成带有接收端设备的屏幕数据的控制窗口以供用户执行各种遥控操作，操作的对象可以不仅限于视频，操作的方式不再限制于按键类功能的操作，交互控制更加方便。

参见图2，本发明第二方面提供了一种基于投屏的终端遥控装置，所述基于投屏的终端遥控装置包括：

预置模块10，用于在投屏应用程序中内置遥控功能；

窗口生成模块20，用于接收对所述遥控功能的选择，生成所述遥控功能的控制窗口；

加载显示模块30，用于在所述控制窗口中加载接收端设备的屏幕数据；

遥控模块40，用于接收在所述控制窗口的操作，生成所述操作的屏幕响应并同步到所述接收端设备。

在本发明第二方面一种可选的实施方式中，所述基于投屏的终端遥控装置还包括：

搜索模块，用于开启所述投屏应用程序，搜索附近的接收端设备；

连接模块，用于建立与所述接收端设备的投屏连接。

在本发明第二方面一种可选的实施方式中，所述基于投屏的终端遥控装置还包括：

触发发送模块，用于当监测到所述控制窗口生成后，触发向所述接收端设备发送屏幕获取请求；

接收模块，用于接收所述接收端设备返回的所述屏幕数据。

在本发明第二方面一种可选的实施方式中，所述遥控模块包括：

接收单元，用于接收在所述控制窗口的操作，并获取所述操作的类型；

建层单元，用于若所述操作属于标注类操作，则在所述接收端设备的显示界面上增加一个透明显示层；

显示单元，用于将所述操作的屏幕响应显示在所述透明显示层中。

在本发明第二方面一种可选的实施方式中，所述加载显示模块包括：

获取单元，用于获取所述接收端设备返回的所述屏幕数据的第一帧率和第一分辨率；

转换单元，用于基于所述控制窗口的显示参数将所述屏幕数据转换成第二帧率和第二分辨率在所述控制窗口中进行播放。

在本发明第一方面一种可选的实施方式中，所述控制窗口中设置有模式切换按钮，所述模式切换按钮用于将所述接收端设备的显示界面切换成发送端设备的界面或者是将所述接收端设备的显示界面切换回自身的界面。

在本发明第一方面一种可选的实施方式中，所述操作包括屏幕缩放、屏幕旋转、屏幕平移、屏幕区域显示、屏幕标注和屏幕亮度调节。

图3是本发明实施例提供的一种基于投屏的终端遥控设备的结构示意图，该基于基于投屏的终端遥控设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器50(central processing units，CPU)(例如，一个或一个以上处理器)和存储器60，一个或一个以上存储应用程序或数据的存储介质70(例如一个或一个以上海量存储设备)。其中，存储器和存储介质可以是短暂存储或持久存储。存储在存储介质的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于投屏的终端遥控设备中的一系列指令操作。更进一步地，处理器可以设置为与存储介质通信，在答题卡切分设备上执行存储介质中的一系列指令操作。

基于投屏的终端遥控设备还可以包括一个或一个以上电源80，一个或一个以上有线或无线网络接口90，一个或一个以上输入输出接口100，和/或，一个或一个以上操作系统，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图3示出的基于投屏的终端遥控设备结构并不构成对基于投屏的终端遥控设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述的基于投屏的终端遥控方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于投屏的终端遥控方法，其特征在于，所述基于投屏的终端遥控方法包括：

在投屏应用程序中内置遥控功能；

接收对所述遥控功能的选择，生成所述遥控功能的控制窗口；

在所述控制窗口中加载接收端设备的屏幕数据；

接收在所述控制窗口的操作，生成所述操作的屏幕响应并同步到所述接收端设备；

其中，所述接收在所述控制窗口的操作，生成所述操作的屏幕响应并同步到所述接收端设备包括：接收在所述控制窗口的操作，并获取所述操作的类型；若所述操作属于标注类操作，则在所述接收端设备的显示界面上增加一个透明显示层；将所述操作的屏幕响应显示在所述透明显示层中；

所述控制窗口中设置有模式切换按钮，所述模式切换按钮用于将所述接收端设备的显示界面切换成发送端设备的界面或者是将所述接收端设备的显示界面切换回自身的界面；在实现对接收端设备原本显示画面的控制时，发送端设备中接收有接收端设备的控制指令库，在用户点击相应的按钮后，从控制指令库中查找对应的控制指令后发送给接收端设备以完成对接收端设备自身显示画面的控制；

所述操作包括屏幕缩放、屏幕旋转、屏幕平移、屏幕区域显示、屏幕标注和屏幕亮度调节；具体可以通过手势来实现，手势操作定义如下：在面板上双指靠拢完成缩小、双指分离完成放大；四指的旋转完成画面的旋转；三指完成画面的移动；选择区域显示功能后再单指选择区域完成区域显示操作；选择亮度控制功能后再单指左侧上下互动控制亮度高低；选择音量控制功能后再单指右侧上下互动控制音量高低；选择进度控制功能后在单指左右滑动控制进度；单指可以在画面上进行绘制操作；选择文字输入以完成在画面上输入文字。

2.根据权利要求1所述的基于投屏的终端遥控方法，其特征在于，所述接收对所述遥控功能的选择，生成所述遥控功能的控制窗口之前包括：

开启所述投屏应用程序，搜索附近的接收端设备；

建立与所述接收端设备的投屏连接。

3.根据权利要求1所述的基于投屏的终端遥控方法，其特征在于，所述接收对所述遥控功能的选择，生成所述遥控功能的控制窗口之后，所述在所述控制窗口中加载接收端设备的屏幕数据之前包括：

当监测到所述控制窗口生成后，触发向所述接收端设备发送屏幕获取请求；

接收所述接收端设备返回的所述屏幕数据。

4.根据权利要求1所述的基于投屏的终端遥控方法，其特征在于，所述在所述控制窗口中加载接收端设备的屏幕数据包括：

获取所述接收端设备返回的所述屏幕数据的第一帧率和第一分辨率；

基于所述控制窗口的显示参数将所述屏幕数据转换成第二帧率和第二分辨率在所述控制窗口中进行播放。

5.一种基于投屏的终端遥控装置，其特征在于，所述基于投屏的终端遥控装置包括：

预置模块，用于在投屏应用程序中内置遥控功能；

窗口生成模块，用于接收对所述遥控功能的选择，生成所述遥控功能的控制窗口；

加载显示模块，用于在所述控制窗口中加载接收端设备的屏幕数据；

遥控模块，用于接收在所述控制窗口的操作，生成所述操作的屏幕响应并同步到所述接收端设备；

其中，所述接收在所述控制窗口的操作，生成所述操作的屏幕响应并同步到所述接收端设备包括：接收在所述控制窗口的操作，并获取所述操作的类型；若所述操作属于标注类操作，则在所述接收端设备的显示界面上增加一个透明显示层；将所述操作的屏幕响应显示在所述透明显示层中；

所述控制窗口中设置有模式切换按钮，所述模式切换按钮用于将所述接收端设备的显示界面切换成发送端设备的界面或者是将所述接收端设备的显示界面切换回自身的界面；在实现对接收端设备原本显示画面的控制时，发送端设备中接收有接收端设备的控制指令库，在用户点击相应的按钮后，从控制指令库中查找对应的控制指令后发送给接收端设备以完成对接收端设备自身显示画面的控制；

所述操作包括屏幕缩放、屏幕旋转、屏幕平移、屏幕区域显示、屏幕标注和屏幕亮度调节；具体可以通过手势来实现，手势操作定义如下：在面板上双指靠拢完成缩小、双指分离完成放大；四指的旋转完成画面的旋转；三指完成画面的移动；选择区域显示功能后再单指选择区域完成区域显示操作；选择亮度控制功能后再单指左侧上下互动控制亮度高低；选择音量控制功能后再单指右侧上下互动控制音量高低；选择进度控制功能后在单指左右滑动控制进度；单指可以在画面上进行绘制操作；选择文字输入以完成在画面上输入文字。

6.根据权利要求5所述的基于投屏的终端遥控装置，其特征在于，还包括：

搜索模块，用于开启所述投屏应用程序，搜索附近的接收端设备；

连接模块，用于建立与所述接收端设备的投屏连接。

7.根据权利要求5所述的基于投屏的终端遥控装置，其特征在于，所述加载显示模块包括：获取单元，用于获取所述接收端设备返回的所述屏幕数据的第一帧率和第一分辨率。

8.根据权利要求5所述的基于投屏的终端遥控装置，其特征在于，所述加载显示模块包括：转换单元，用于基于所述控制窗口的显示参数将所述屏幕数据转换成第二帧率和第二分辨率在所述控制窗口中进行播放。

9.一种基于投屏的终端遥控设备，其特征在于，所述基于投屏的终端遥控设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于投屏的终端遥控设备执行如权利要求1-4中任一项所述的基于投屏的终端遥控方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的基于投屏的终端遥控方法。