CN116931862A - 一种多屏移动终端、相应操控方法及存储介质 - Google Patents

Abstract

本发明公开了多屏协同技术领域的一种多屏移动终端、相应操控方法及存储介质，该终端包括连接建立单元、控制定义单元、控制交互单元和控制执行单元；连接建立单元用于接收显示终端的连接请求，与请求连接的显示终端建立连接；控制定义单元用于在已建立连接的显示终端中预选控制终端，在用户输入控制信息时，切换用户输入控制信息的显示终端为控制终端；控制交互单元用于监听并交互控制终端发出的多条控制指令，以及控制终端的基础参数；控制执行单元用于依次执行对应的控制操作，并结合终端的基础参数，对受控的显示终端的基础参数进行调节。本发明，能够使显示设备适应用户需求，提升用户使用便捷性、舒适性。

Description

一种多屏移动终端、相应操控方法及存储介质

技术领域

本发明属于多屏协同技术领域，具体是一种多屏移动终端、相应操控方法及存储介质。

背景技术

多屏协同技术是指利用多个屏幕设备进行协同工作或展示的技术。它允许用户通过多个屏幕设备扩展工作区域或共享内容，并在这些设备之间进行数据传输和协同操作。相较于传统的多屏扩展技术，现有技术实现了多个显示终端之间的相互协同操作，但是在对多个显示终端进行控制时，往往需要单独的逐个进行控制，使得操作繁琐，效率受限。

为此，中国专利文献CN103607779A提出了一种多屏协同智能输入系统及其实现方法，该发明通过在智能终端（智能手机/平板）上完成对智能电视端的信息输入，智能终端可以同时支持多种不同的快速输入方法，从而达到使得智能电视能够快速高效的输入信息。适用数字家庭中的多屏协同。

常规情况下用户可通过上述方式实现“一对多”的快捷控制，但是，由于用户的个人需求、使用状态以及使用环境的变化，通常需要对其他显示终端的一些基础参数进行调整，以此适应用户的需求、使用状态以及环境，而部分显示终端无法通过自主感知的方式进行调节，需要用户通过发送控制信号或者直接手动对显示终端进行控制的方式进行调节，影响用户的使用时的便捷性、舒适性。

发明内容

本发明的目的是提供一种多屏移动终端、相应操控方法及存储介质，便于跟随用户正在发送控制指令的设备的基础参数，对受控设备的基础参数做出相应调整，以适应用户需求，提升用户使用便捷性、舒适性。

为了实现上述目的，本发明的技术方案如下：

一种多屏移动终端，其特征在于，包括连接建立单元、控制定义单元、控制交互单元和控制执行单元；

连接建立单元用于接收显示终端的连接请求，与请求连接的显示终端建立连接；

控制定义单元用于在已建立连接的显示终端中预选控制终端，在用户输入控制信息时，切换用户输入控制信息的显示终端为控制终端；

控制交互单元用于监听并交互控制终端发出的多条控制指令，以及控制终端的基础参数；

控制执行单元用于根据控制指令的优先级进行排序，并按照排序后的控制指令依次执行对应的控制操作，并结合终端的基础参数，对受控的显示终端的基础参数进行调节。

进一步，连接请求的创建方式包括基本创建方式和智能创建方式；

其中基本创建步骤为：通过连接建立单元接收用户输入的连接控制信息，根据用户的连接控制信息向对应的显示终端发出连接请求；

其中智能创建步骤为：通过两个拟建立连接的显示终端所属的连接建立单元采集对方的图像，若相互采集到对方图像时间超过阈值，则其中任意显示终端向对方发出连接请求。

进一步，控制定义单元默认将与显示终端最近建立连接的显示终端预选为控制终端。。

进一步，控制交互单元的具体控制信息交互步骤为：

S1、分析指令，控制指令包含播放、暂停、页面调整、页面搜索等类型，根据读取到的消息类型选择不同的指令内容推送；

S2、推送指令，后端服务程序将指令内容转换为MQTT协议并发送到MQTT服务器上，并将控制终端的基础参数一同转换为MQTT协议并发送到MQTT服务器上；

S3、接收指令，监听MQTT服务器上特定的topic，接收后端服务程序推送的指令内容，以及控制终端的基础参数。

进一步，控制终端的基础参数包括显示亮度、播放音量、是否处于通话状态、通话音量、是否处于其他应用界面以及其他应用界面下的亮度和音量。

一种多屏移动终端相应操控方法，包括如下步骤：

步骤1，接收显示终端的连接请求，与请求连接的显示终端建立连接；

步骤2，在已建立连接的显示终端中预选控制终端，在用户输入控制信息时，切换用户输入控制信息的显示终端为控制终端；

步骤3，监听并交互控制终端发出的多条控制指令，以及控制终端的基础参数；

步骤4，根据控制指令的优先级进行排序，并按照排序后的控制指令依次进行对应的控制操作，并结合终端的基础参数，对受控的显示终端的基础参数进行调节。

进一步，连接请求的创建方式包括基本创建方式和智能创建方式；

其中基本创建步骤为：通过连接建立单元接收用户输入的连接控制信息，根据用户的连接控制信息向对应的显示终端发出连接请求；

其中智能创建步骤为：通过两个拟建立连接的显示终端所属的连接建立单元采集对方的图像，若相互采集到对方图像时间超过阈值，则其中任意显示终端向对方发出连接请求。

进一步，控制信息交互步骤为：

S1、分析指令，控制指令包含播放、暂停、页面调整、页面搜索等类型，根据读取到的消息类型选择不同的指令内容推送；

S2、推送指令，后端服务程序将指令内容转换为MQTT协议并发送到MQTT服务器上，并将控制终端的基础参数一同转换为MQTT协议并发送到MQTT服务器上；

S3、接收指令，监听MQTT服务器上特定的topic，接收后端服务程序推送的指令内容，以及控制终端的基础参数。

一种计算机存储介质，其中存储有计算机程序，所述计算机程序运行时导致所述计算机存储介质的所在设备执行上述任意一项多屏移动终端相应操控方法。

采用上述方案有以下有益效果：

1、本方案，在接收用户的控制指令同时，对用户正在使用的控制终端的基础参数进行采集，在执行控制指令的同时，将控制终端上的基础参数应用到受控显示终端上，使受控显示终端在显示亮度、播放音量等方面进行自主调节，以符合用户实际和环境需求。

相较于现有技术中，仅接受并执行用户的控制指令，使得受控设备的基础参数难以自主满足用户和环境需求，本方案，能够结合控制终端上的基础参数进行主动调节，对于无感知功能的显示终端也能够适应用户和环境需求，以提高用户使用多屏协同时的便捷性和舒适性。

此外，通过采集用户正在使用的控制终端的使用状态，在用户正在控制终端上执行一些操作需要受控显示终端在显示、音量和内容等方面作出调整时，受控显示终端能够自主的作出相应调整，从而提升用户的使用体验。

2、本方案，在建立终端间的连接时，提供两种连接方式，当用户和控制终端处于受控显示终端无法被采集图像的区域时，用户可通过发送控制指令的方式建立连接；当用户和控制终端处于受控显示终端能够被采集图像的区域时，用户可通过将控制终端对准受控显示终端，并保持一段时间即可与受控显示终端建立连接；两种方式能够适应用户的实际使用场景，同时拥有较高的便捷性，提升用户的使用体验。

3、本方案，由于用户一般需要进行控制时或者需要加入新的显示终端进行控制时，往往需要先建立连接，基于该特性默认将最近连接的显示终端预设为控制终端，提前建立起传输控制指令的链路，从而优化指令处理过程中的步骤，提升终端对控制指令的传输和处理效率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为本发明多屏移动终端实施例的系统框图；

图2为本发明多屏移动终端相应操控方法实施例的基本流程框图；

图3为本发明多屏移动终端相应操控方法实施例的控制信息交互流程框图；

图4为本发明多屏移动终端相应操控方法实施例的连接建立流程框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“竖向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

下面通过具体实施方式进一步详细说明：

实施例一

如附图1所示：一种多屏移动终端，包括连接建立单元101、控制定义单元102、控制交互单元103和控制执行单元104。上述单元均内置于显示终端内，对于上述单元的的运行均可通过显示器自带控制模块进行控制。

控制模块包括但不限于中央处理器(Central Processing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-SpecificIntegrated Circuit，ASIC)，现场可编程门阵列(Field Programmable GateArray，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。

其中，连接建立单元101还包括有图像采集器和通信单元，对于显示终端未自带图像采集器的，可外置图像采集器，且外置的图像采集器需与连接建立单元101建立信号连接；控制交互单元103需要对控制指令进行传输，因此同样包括有通信单元。上述通信单元可以是收发器、收发电路或通信接口等。

为了便于具体清楚的描述和表达，本申请实施例中采用手机、平板、智能穿戴设备与智能电视设备的多屏协同进行具体实施例的描述，上述各个单元的功能如下：

连接建立单元101用于接收显示终端的连接请求，与请求连接的显示终端建立连接。

其中，当用户运行同一局域网下的设备之间默认建立连接的情况下，在各个显示终端接触局域网时，则默认进行连接，同样与已连接局域网的显示终端建立连接的也相当于与现实终端进行了连接，即当手机和平板与智能电视设备处于统同一局域网(同一路由器)下时，则通过局域网建立的链路即可实现控制指令的传输，而智能手表与手机或平板建立蓝牙连接后，也可通过智能手表以手机或平板为中转发送控制。

控制定义单元102用于在已建立连接的显示终端中预选控制终端，在用户输入控制信息时，切换用户输入控制信息的显示终端为控制终端。

其中，控制定义单元102默认将与显示终端最近建立连接的显示终端预选为控制终端。当然，用户也可以根据需求指定某一或某一类后某一区域的显示终端为控制终端，但在默认状态下仅预先的控制终端数量保持为1，根据用户的指定，在用户指定范围内选择一个显示终端为控制终端。

控制交互单元103用于监听并交互控制终端发出的多条控制指令，以及控制终端的基础参数。

其中，控制交互单元103的具体控制信息交互步骤为：

S1、分析指令，控制指令包含播放、暂停、页面调整、页面搜索等类型，根据读取到的消息类型选择不同的指令内容推送；

S2、推送指令，后端服务程序将指令内容转换为MQTT协议并发送到MQTT服务器上，并将控制终端的基础参数一同转换为MQTT协议并发送到MQTT服务器上；

S3、接收指令，监听MQTT服务器上特定的topic(主题)，接收后端服务程序推送的指令内容，以及控制终端的基础参数。

控制执行单元104用于根据控制指令的优先级进行排序，并按照排序后的控制指令依次执行对应的控制操作，并结合终端的基础参数，对受控的显示终端的基础参数进行调节。

针对于手机和智能电视设备具体流程如下：

1)接收手机指令，手机程序通过调用后端服务程序接口将指令信息传入。

2)分析指令类型，控制指令包含播放、暂停、页面调整、页面搜索等类型，根据读取到的消息类型选择不同的指令内容推送。

3)推送指令，后端服务程序将指令内容转换为MQTT协议并发送到MQTT服务器上。

4)机顶盒接收指令，机顶盒程序监听MQTT服务器上特定的topic，接收后端服务程序推送的指令内容。

5)控制屏幕播放及显示，机顶盒程序以服务方式运行，当接收到控制指令后并解析对应内容，控制电视屏幕上的播放及显示。

此外，本申请实施例引入了对控制终端的基础参数进行获取，控制终端的基础参数包括显示亮度、播放音量、是否处于通话状态、通话音量、是否处于其他应用界面以及其他应用界面下的亮度和音量。

针对于亮度和播放音量，智能电视设备获取到亮度和播放音量后，对亮度和音量进行匹配处理，例如，当手机亮度和音量均为50%时，即用户选择所需求的智能电视设备亮度和音量，但是由于手机的屏幕和喇叭于智能电视的类型可能不同，因此，智能电视的控制模块对手机的亮度和音量进行处理后，对智能电视设备的显示亮度和播放音量进行调节。若是手机与平板设备之间的亮度和音量控制，则可以直接采用，无需进行处理。

针对于是否处于通话状态、通话音量，智能电视设备在用户进行通话时，根据用户的通话音量对播放的音量临时进行调节，在用户通话完成后进行恢复，并可根据用户设定对用户通话期间的播放内容进行临时储存，在用户通话完成后寻求用户意见进行删除或者储存；若是手机与平板设备之间，与上述操作逻辑相同。

针对于是否处于其他应用界面以及其他应用界面下的亮度和音量，智能电视设备获取到用户使用的手机处于应用界面且正在播放内容时，同样根据用户在应用中的亮度和音量对智能电视的亮度和音量进行调节。

实施例二

相较于上一实施例，不同之处在于，本实施例提供一种多屏移动终端相应操控方法，包括如下步骤：

11，接收显示终端的连接请求，与请求连接的显示终端建立连接；

12，在已建立连接的显示终端中预选控制终端，在用户输入控制信息时，切换用户输入控制信息的显示终端为控制终端；

13，监听并交互控制终端发出的多条控制指令，以及控制终端的基础参数；

14，根据控制指令的优先级进行排序，并按照排序后的控制指令依次进行对应的控制操作，并结合终端的基础参数，对受控的显示终端的基础参数进行调节。

其中，控制信息交互步骤为：

S1、分析指令，控制指令包含播放、暂停、页面调整、页面搜索等类型，根据读取到的消息类型选择不同的指令内容推送；

S2、推送指令，后端服务程序将指令内容转换为MQTT协议并发送到MQTT服务器上，并将控制终端的基础参数一同转换为MQTT协议并发送到MQTT服务器上；

S3、接收指令，监听MQTT服务器上特定的topic(主题)，接收后端服务程序推送的指令内容，以及控制终端的基础参数。

本实施例所记载的多屏移动终端相应操控方法，为上述多屏移动终端的执行步骤，因此可以达到与上述多屏移动终端相同的效果。

实施例三

相较于上两个实施例，不同之处在于，本实施例旨在使上述终端以及终端的操作执行步骤更加便捷，使用户获得更好的使用体验。具体的，提供两种连接请求的创建方式，包括基本创建方式和智能创建方式。

其中，基本创建步骤为：通过连接建立单元101接收用户输入的连接控制信息，根据用户的连接控制信息向对应的显示终端发出连接请求。

例如，用户在手机上打开控制智能电视的APP，APP获取用户权限对手机的显示亮度和音量等权限进行获取；用户在APP内发起并选取智能电视发起连接请求，当智能电视设备接收到该连接请求后，与手机之间进行配对，从而完成手机与智能电视设备的连接。

其中，智能创建步骤为：通过两个拟建立连接的显示终端所属的连接建立单元101采集对方的图像，若相互采集到对方图像时间超过阈值，则其中任意显示终端向对方发出连接请求。为了避免显示终端之间造成误判，对于有前置摄像头的显示终端，预设前置摄像头进行图像采集。

具体的，拟建立连接的显示终端所属的连接建立单元101对被建立连接的显示终端进行图像采集，同时通过被建立连接的显示终端所属的连接建立单元101对拟建立连接的显示终端进行图像采集，若相互采集到对方图像时间超过阈值，则其中任意显示终端向对方发出连接请求。

例如，用户开启手机的前置摄像头对智能电视设备进行采集，当手机采集到智能电视设备图像超过2.5s时，手机自主发起连接请求，智能电视设备的摄像头被唤醒，但是智能电视设备不对摄像头采集到的图像进行显示，在智能电视设备采集到手机的前面板超过2.5s时，即自动建立起手机与智能电视设备的连接。

上述两种发出连接请求的方式，分别适用于用户脱离电视设备摄像头采集区域和用户处于电视设备摄像头采集区域；从而让用户便捷的实现手机与智能电视设备之间的连接。提升了用户的使用体验。

实施例四

本实施例提供一种执行上述多屏移动终端相应操控方法的计算机储存介质。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种执行上述多屏移动终端相应操控方法中的步骤，因此，可以实现本申请实施例所提供的任一种执行上述多屏移动终端相应操控方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上所述的仅是本发明的实施例，方案中公知的具体结构和/或特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (9)

1.一种多屏移动终端，其特征在于，包括连接建立单元、控制定义单元、控制交互单元和控制执行单元；

连接建立单元用于接收显示终端的连接请求，与请求连接的显示终端建立连接；

控制定义单元用于在已建立连接的显示终端中预选控制终端，在用户输入控制信息时，切换用户输入控制信息的显示终端为控制终端；

控制交互单元用于监听并交互控制终端发出的多条控制指令，以及控制终端的基础参数；

控制执行单元用于根据控制指令的优先级进行排序，并按照排序后的控制指令依次执行对应的控制操作，并结合终端的基础参数，对受控的显示终端的基础参数进行调节。

2.根据权利要求1所述的多屏移动终端，其特征在于：连接请求的创建方式包括基本创建方式和智能创建方式；

其中基本创建步骤为：通过连接建立单元接收用户输入的连接控制信息，根据用户的连接控制信息向对应的显示终端发出连接请求；

其中智能创建步骤为：通过两个拟建立连接的显示终端所属的连接建立单元采集对方的图像，若相互采集到对方图像时间超过阈值，则其中任意显示终端向对方发出连接请求。

3.根据权利要求1所述的多屏移动终端，其特征在于：控制定义单元默认将与显示终端最近建立连接的显示终端预选为控制终端。

4.根据权利要求1所述的多屏移动终端，其特征在于：控制交互单元的具体控制信息交互步骤为：

S1、分析指令，控制指令包含播放、暂停、页面调整、页面搜索等类型，根据读取到的消息类型选择不同的指令内容推送；

S2、推送指令，后端服务程序将指令内容转换为MQTT协议并发送到MQTT服务器上，并将控制终端的基础参数一同转换为MQTT协议并发送到MQTT服务器上；

S3、接收指令，监听MQTT服务器上特定的topic，接收后端服务程序推送的指令内容，以及控制终端的基础参数。

5.根据权利要求1所述的多屏移动终端，其特征在于：控制终端的基础参数包括显示亮度、播放音量、是否处于通话状态、通话音量、是否处于其他应用界面以及其他应用界面下的亮度和音量。

6.一种多屏移动终端相应操控方法，其特征在于，包括如下步骤：

步骤1，接收显示终端的连接请求，与请求连接的显示终端建立连接；

步骤2，在已建立连接的显示终端中预选控制终端，在用户输入控制信息时，切换用户输入控制信息的显示终端为控制终端；

步骤3，监听并交互控制终端发出的多条控制指令，以及控制终端的基础参数；

步骤4，根据控制指令的优先级进行排序，并按照排序后的控制指令依次进行对应的控制操作，并结合终端的基础参数，对受控的显示终端的基础参数进行调节。

7.根据权利要求6所述的多屏移动终端相应操控方法，其特征在于：连接请求的创建方式包括基本创建方式和智能创建方式；

其中基本创建步骤为：通过连接建立单元接收用户输入的连接控制信息，根据用户的连接控制信息向对应的显示终端发出连接请求；

其中智能创建步骤为：通过两个拟建立连接的显示终端所属的连接建立单元采集对方的图像，若相互采集到对方图像时间超过阈值，则其中任意显示终端向对方发出连接请求。

8.根据权利要求6所述的多屏移动终端相应操控方法，其特征在于：控制信息交互步骤为：

S1、分析指令，控制指令包含播放、暂停、页面调整、页面搜索等类型，根据读取到的消息类型选择不同的指令内容推送；

S2、推送指令，后端服务程序将指令内容转换为MQTT协议并发送到MQTT服务器上，并将控制终端的基础参数一同转换为MQTT协议并发送到MQTT服务器上；

S3、接收指令，监听MQTT服务器上特定的topic，接收后端服务程序推送的指令内容，以及控制终端的基础参数。

9.一种计算机存储介质，其中存储有计算机程序，其特征在于：所述计算机程序运行时导致所述计算机存储介质的所在设备执行权利要求6-8中任意一项多屏移动终端相应操控方法。