CN104731539B

CN104731539B - 一种多屏联合显示的方法及装置

Info

Publication number: CN104731539B
Application number: CN201310719436.1A
Authority: CN
Inventors: 梁震; 祝勇; 王帅; 赵海奇
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2013-12-24
Filing date: 2013-12-24
Publication date: 2021-08-24
Anticipated expiration: 2033-12-24
Also published as: EP3089024A4; EP3089024A1; WO2014187230A1; CN104731539A; US20160342376A1

Abstract

本发明公开了一种多屏联合显示的方法及装置，涉及交互技术，所述方法包括：多个设备进行通信连接；确定所述多个设备的相对位置；已通信连接的所述多个终端按照所述相对位置，形成由所述多个设备的屏幕组成的用于显示同一内容的联合屏幕；所述多个设备中发起显示任务的设备作为主设备将用于显示同一内容的显示信息发送给作为从设备的其他设备；收到显示信息的从设备根据所述显示信息在其屏幕上显示所述内容的相应部分。本发明能够在不改变当前设备的情况下，使用软件的方式，临时扩大用户的阅读面积，便于用户阅读。

Description

一种多屏联合显示的方法及装置

技术领域

本发明涉及一种交互技术，特别涉及一种设备间通过交互实现多屏联合显示的方法及相关的装置。

背景技术

随着终端的发展，大屏终端已经普及，但是人们阅读的时候，有时候还是觉得屏幕尺寸不够用。但是过大的屏幕尺寸又会给便携性带来困难，因此难以满足用户阅读需求。

发明内容

本发明的目的在于提供一种多屏联合显示的方法及装置，能够解决在不改变当前设备的情况下扩大用户阅读面积的问题。

根据本发明的一个方面，提供了一种多屏联合显示的方法，包括：

多个设备进行通信连接；

确定所述多个设备的相对位置；

已通信连接的所述多个设备按照所述相对位置，形成由所述多个设备的屏幕组成的用于显示同一内容的联合屏幕；

所述多个设备中发起显示任务的设备作为主设备将用于显示同一内容的显示信息发送给作为从设备的其他设备；

收到显示信息的从设备根据所述显示信息在其屏幕上显示所述内容的相应部分。

优选地，所述多个设备进行通信连接后，所述多个设备分别将各自的相对位置显示在屏幕上，以供用户按照所述相对位置将所述多个设备的屏幕放置在一起。

优选地，设置在所述多个设备边缘的传感器被触发后，所述多个设备进行通信连接，并通过设备检测，确定所述相对位置。

优选地，所述的所述多个设备中发起显示任务的设备作为主设备将用于显示同一内容的显示信息发送给作为从设备的其他设备的步骤包括：

所述主设备根据所述相对位置，显示所述内容的一部分；

所述主设备生成包含所述内容或其地址、以及主设备当前显示状态的显示信息，并发送给从设备。

优选地，所述的收到显示信息的从设备根据所述显示信息在其屏幕上显示所述内容的相应部分的步骤包括：

从设备解析收到的所述显示信息，得到所述内容或其地址、以及主设备当前显示状态；

从设备根据所述相对位置和主设备当前显示状态，确定其待显示的所述内容的相应部分，并在其屏幕上进行显示。

优选地，还包括：

当在任意一个从设备的屏幕上移动所述内容时，所述从设备作为新的主设备将其显示部分的变化信息发送给作为从设备的其他设备；

收到所述变化信息的从设备根据所述变化信息重新确定其显示的所述内容的相应部分，并在其屏幕上进行显示。

所述主设备根据所述相对位置和所述联合屏幕的屏幕尺寸，确定所述内容在所述多个设备上显示的相应部分；

所述主设备生成显示信息，并发送给从设备，其中所述显示信息包括由从设备显示的所述内容的相应部分。

优选地，还包括：

当在任意一个从设备的屏幕上移动所述内容时，所述从设备将移动所述内容的操作信息发送给所述主设备；

所述主设备利用所述操作信息，重新确定所述内容在所述多个设备上显示的相应部分，并生成显示信息发送给从设备，其中所述显示信息包括重新确定的由从设备显示的所述内容的相应部分。

优选地，所述多个设备的数量至少是两个。

根据本发明的另一方面，提供了一种多屏联合阅读的装置，包括：

联合屏幕生成模块，用于将多个设备进行通信连接，并确定所述多个设备的相对位置，使已通信连接的所述多个设备按照所述相对位置，形成由所述多个设备的屏幕组成的用于显示同一内容的联合屏幕；

传递模块，用于使所述多个设备中发起显示任务的设备作为主设备将用于显示同一内容的显示信息发送给作为从设备的其他设备；

显示模块，用于使收到显示信息的从设备根据所述显示信息在其屏幕上显示所述内容的相应部分。

与现有技术相比较，本发明的有益效果在于：

本发明在不改变当前设备的情况下，使用软件的方式，临时扩大用户的阅读面积，此种显示方式对于显示文档文件、图像文件、网页等有版式的内容非常适用。

附图说明

图1是本发明实施例提供的多屏联合显示的方法原理框图；

图2是本发明实施例提供的两台终端进行竖直联合显示的示意图；

图3是本发明实施例提供的两台终端进行水平联合显示的示意图；

图4是本发明实施例提供的四台终端进行矩阵型联合显示的示意图；

图5是本发明实施例提供的应用级实现多屏联合阅读的流程图；

图6是本发明实施例提供的系统级实现多屏联合阅读的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是本发明实施例提供的多屏联合显示的方法原理框图，如图1所示，步骤包括：

步骤S101：多个设备进行通信连接。

步骤S102：确定所述多个设备的相对位置。

步骤S103：已通信连接的所述多个设备按照所述相对位置，形成由所述多个设备的屏幕组成的用于显示同一内容的联合屏幕。

所述多个设备进行通信连接后，所述多个设备分别将各自的相对位置显示在屏幕上，以供用户按照所述相对位置将所述多个设备的屏幕放置在一起。例如，将多个设备进行通信连接后，按照多个设备各自显示的序号，将多个设备排列起来，从而形成联合屏幕。

或者，设置在所述多个设备边缘的传感器被触发后，所述多个设备进行通信连接，并通过设备检测，确定相对位置。也就是说，首先将多个设备排列起来，然后触发设置在设备边缘的传感器，使多个设备通信连接，然后，已通信连接的所述多个设备通过设备检测，确定所述相对位置，从而形成联合屏幕。

步骤S104：所述多个设备中发起显示任务的设备作为主设备将用于显示同一内容的显示信息发送给作为从设备的其他设备。

步骤S105：收到显示信息的从设备根据所述显示信息在其屏幕上显示所述内容的相应部分。

所述步骤S104包括：所述主设备根据所述相对位置，显示所述内容的一部分，并生成包含所述内容或其地址、以及主设备当前显示状态的显示信息发送给从设备。此时，所述步骤S105包括：从设备解析收到的所述显示信息，得到所述内容或其地址、以及主设备当前显示状态，并根据所述相对位置和主设备当前显示状态，确定其待显示的所述内容的相应部分，并在其屏幕上进行显示。需要说明的是，如果解析得到的时所述内容的地址，则需要预先通过所述地址得到对应的内容，以供后续显示相应部分。进一步地，当在任意一个从设备的屏幕上移动所述内容时，所述从设备作为新的主设备将其显示部分的变化信息发送给作为从设备的其他设备，收到所述变化信息的从设备根据所述变化信息重新确定其显示的所述内容的相应部分，并在其屏幕上进行显示。

或者，所述步骤S104包括：所述主设备根据所述相对位置和所述联合屏幕的屏幕尺寸，确定所述内容在所述多个设备上显示的相应部分，并生成显示信息发送给从设备，其中所述显示信息包括由从设备显示的所述内容的相应部分。然后，从设备解析所述显示信息，并将得到的所述内容的相关部分显示在屏幕上。进一步地，当在任意一个从设备的屏幕上移动所述内容时，所述从设备将移动所述内容的操作信息发送给所述主设备，所述主设备利用所述操作信息，重新确定所述内容在所述多个设备上显示的相应部分，并生成显示信息发送给从设备，其中所述显示信息包括重新确定的由从设备显示的所述内容的相应部分。

本发明实施例还提供了一种实现上述多屏联合显示的方法的多屏联合显示装置，所述装置设置在触摸屏终端等任何有屏设备上，包括联合屏幕生成模块、传递模块和显示模块。

所述联合屏幕生成模块用于将多个设备进行通信连接，并确定所述多个设备的相对位置，使已通信连接的所述多个设备按照所述相对位置，形成由所述多个设备的屏幕组成的用于显示同一内容的联合屏幕。联合屏幕的形成可以通过多种方式实现，例如，将多个设备进行通信连接后，按照多个设备各自显示的序号，将多个设备排列起来，从而形成联合屏幕，又例如，首先将多个设备排列起来，然后通过触发设置在设备边缘的传感器，使多个设备通信连接，然后，已通信连接的所述多个设备通过设备检测，确定所述相对位置，从而形成联合屏幕。

所述传递模块用于使所述多个设备中发起显示任务的设备作为主设备将用于显示同一内容的显示信息发送给作为从设备的其他设备。

所述显示模块，用于使收到显示信息的从设备根据所述显示信息在其屏幕上显示所述内容的相应部分。

所述主设备上的传递模块根据所述相对位置，显示所述内容的一部分，并生成包含所述内容或其地址、以及主设备当前显示状态的显示信息发送给从设备。此时，从设备的显示模块解析收到的所述显示信息，得到所述内容或其地址、以及主设备当前显示状态，并根据所述相对位置和主设备当前显示状态，确定其待显示的所述内容的相应部分，并在其屏幕上进行显示。需要说明的是，如果解析得到的时所述内容的地址，则需要预先通过所述地址得到对应的内容，以供后续显示相应部分。进一步地，当在任意一个从设备的屏幕上移动所述内容时，所述从设备作为新的主设备，其传递模块将所述新的主设备的显示部分的变化信息发送给作为从设备的其他设备，收到所述变化信息的从设备的显示模块根据所述变化信息重新确定其显示的所述内容的相应部分，并在各自的屏幕上进行显示。

或者，所述主设备的传递模块根据所述相对位置和所述联合屏幕的屏幕尺寸，确定所述内容在所述多个设备上显示的相应部分，并生成显示信息发送给从设备，其中所述显示信息包括由从设备显示的所述内容的相应部分。然后，从设备的显示模块解析所述显示信息，并将得到的所述内容的相关部分显示在屏幕上。进一步地，当在任意一个从设备的屏幕上移动所述内容时，所述从设备的传递模块将移动所述内容的操作信息发送给所述主设备，以供所述主设备的传递模块利用所述操作信息，重新确定所述内容在所述多个设备上显示的相应部分，并生成显示信息发送给从设备进行显示，其中所述显示信息包括重新确定的由从设备显示的所述内容的相应部分。

上述主设备当前显示状态包括当前阅读的页面页码和显示位置以及缩放比例等等。

上述多个设备可以是触摸屏终端等任何有屏设备，其数量至少是两个。

多台终端（例如两台）使用蓝牙/WLAN等任何底层网络协议进行互联，这两台终端可以通过事先约定的协议（暂命名为“联合内容显示协议”），相互传递当前页面的显示状态，这里采用主从或对等的不同架构均可。以主从架构为例，终端1作为主机传递当前阅读的页面页码和显示位置以及缩放比例给从终端2，终端2作为从机根据接收到的页面页码和显示位置，继续显示终端1显示内容的后续内容。也就是说，根据两台终端的左右或者上下的相对位置关系，继续显示终端1未能显示的下方或者右方超出终端1屏幕区域的内容。进一步地，当用户在终端1或终端2的屏幕上进行滚动、翻页等移动页面位置的操作时，两台终端所显示的内容也同时同步地进行相应的滚动，即，此时两台终端的屏幕已经变为一个联合的“大屏幕”以共同显示同一个内容。以此，即可实现终端1和终端2的屏幕联合显示同一个内容的效果。

上段中所述的传递对象“当前阅读的页面页码和显示位置”仅为可能的待传递对象的其中一种形式的范例，其他可能的传递形式还包括且不限于：URI统一资源符、URL网址、当前打开的页面二进制文件内容本身（或“联合内容显示协议”中约定的编码形式）、当前打开的文档文件内容或对应的文件存储位置等等。传递对象方式的选择策略可根据当前显示的文档类型以及文档所处于本地还是远端服务器决定。例如，a.如果文档处于终端1中，则可以直接传递需要显示的文件内容到终端2；b.如果终端1打开的是一个网络上的页面，则可以仅将页面的URL传递个终端2，由终端2自己去网络中获取同一个页面的内容。

如果使用上层应用软件（如浏览器、文档阅读软件等）来实现上述方案，则可以完全独立于终端的系统和型号限制，不依赖于特定的终端生产厂商或终端系统。所有能够安装该应用软件的设备都可以达到联合显示的效果。

如果在终端系统底层来实现上述方案，则可以实现完全不依赖于上层应用软件的广泛应用场景。在拥有多个这种终端时，使用者如果启用了终端系统中预置的“联合显示”功能连接了这些终端，则终端相当于有了一个“虚拟大屏幕”，即联合屏幕，则任何运行在这个终端系统上的应用均可以使用联合显示的方式来显示内容。上层应用程序在初始化启动并获取终端屏幕尺寸参数的时候，系统就会告诉上层应用它拥有的屏幕尺寸是该“虚拟大屏幕”的分辨率，这样上层的应用就会以虚拟大屏幕的屏幕尺寸来布局界面和显示内容，而系统底层则会直接跨屏幕渲染这个应用内容，从而达到一个应用在两个或多个终端上显示的效果。

图2和图3分别是两台终端进行竖直联合显示和水平联合显示的示意图，对于竖直联合显示的形式，显示内容连贯，能够减少翻页滚动，对于水平联合显示的形式，能够扩展横向展示空间。

进一步地，图2和图3中所示的终端数量均可以自由增加或减少，例如横向内容很长，可以使用3台～n台终端横向联合形成一个超宽的大屏幕，以4台终端为例，如图4所示，实现了四台终端矩阵型联合显示。

图5是本发明实施例提供的应用级实现多屏联合阅读的流程图，如图5所示，步骤包括：

步骤S501：使用者开启应用程序中的联合显示功能，例如启动终端1和终端2的应用程序。

步骤S502：在联合显示功能中，通过蓝牙或wlan的发现设备的功能，列出附近已经开启联合显示功能的其他设备，根据使用者的选择，将这些终端以预定义的协议进行通信连接。

步骤S503：终端1与终端2确定相对位置。

具体地说，所述终端1与终端2进行通信连接后，所述终端1与终端2分别在终端屏幕上显示数字或文字以标示各个终端的相对位置关系，从而帮助用户将终端连续的摆放到对应的位置，例如横向、竖向等等，也可以提供预先排布方式的模板。

所述步骤S502和步骤S503也可以通过以下方式实现：

在终端边缘提供传感器，例如红外传感器和距离传感器等。当终端边缘传感器相互触发时，所述终端1与终端2自动进行通信连接，并通过设备检测，自动检测出相对位置。此外，还可以利用NFC或者金属触点触发终端自动连接功能和检测功能。

步骤S504：终端1打开一个URL网址、文档或者图片等文件，解析并显示该文件内容的一部分；终端1传递要显示的文件内容（或地址）给终端2，并同时传递当前终端1的显示位置，即所显示的区域的起始和结束位置（或已显示的像素区域的xy值）。

步骤S505：终端2接收终端1传递的内容，并借着终端1的结束位置，显示内容的后续部分，已达到联合显示拼接内容的目的。也就是说，终端2接收终端1发送过来的文件内容（或地址）并解析该内容已备显示，根据接收到的终端1已显示的区域，以及步骤S503中设置好的相对位置，确定终端2所需要显示的后续区域，显示之，即，达到图2-图4所示的显示效果。

步骤S506：终端1检测是否有内容变化的操作，若有，则执行步骤S507，否则，执行步骤S508。

步骤S507：更新终端1的所显示的区域的起始和结束位置（或已显示的像素区域的xy值），然后执行步骤S504。

步骤S508：终端2检测是否有内容变化的操作，若有，则执行步骤S509，否则，执行步骤S511。

步骤S509：更新终端2的所显示的区域的起始和结束位置（或已显示的像素区域的xy值），传递位置更新信息（即再次生成的显示信息）给终端1，然后执行步骤S510。

步骤S510：终端1接收终端2传递的位置更新信息，重新计算终端1所需要显示内容的新位置，滚动终端1显示的内容到新位置，达到图2-图4所示的显示效果，然后，执行步骤S504。

步骤S511：是否退出应用，若是，则退出，否则，执行步骤S504。

由所述步骤S506至所述步骤S511可知，在任意一个终端上进行平移、滚动、缩放等常规的移动操作时，被操作的终端根据现有技术实现方式，响应用户的操作，改变本终端上显示的内容的大小和位置，被操作的终端传递当前显示区域的变化信息给已连接的其他终端，从而其他终端根据收到的显示区域的变化信息以及相对位置关系，重新计算本终端需要显示的新内容区域以及比例，重新绘制显示的内容，显示之，即，再次达到图2至图4中所示的显示效果。

图6是本发明实施例提供的系统级实现多屏联合阅读的流程图，如图6所示，步骤包括：

步骤S601：使用者开启终端中的联合显示功能，例如启动终端1和终端2的应用程序。

步骤S602：所述终端1和终端2进行通信连接，并确定相对位置，使所述终端1和终端2形成一个更大尺寸的虚拟屏幕，即联合屏幕。该虚拟屏幕会将需要显示的像素以及对应该像素的操作都一一映射并传递给已连接的终端。

实现所述步骤S602的方式包括：

方式一：在联合显示功能中，通过蓝牙或wlan发现设备的功能，列出附近已经开启联合显示功能的其他设备，根据使用者的选择，将这些终端连接起来。设置终端之间的相对位置，例如横向、竖向等等，也可以提供预先排布方式的模板，并在各个终端屏幕上显示数字或文字以标示各个终端，从而帮助用户将终端连续的摆放到对应的位置。

方式二：在终端边缘提供传感器，例如红外传感器和距离传感器等。当终端边缘的传感器相互触发时，自动触发所述终端1和终端2的连接功能，并自动检测出终端间的相对位置。此外，还可以利用NFC或者金属触点自动触发终端连接功能和检测功能。

步骤S603：应用程序获取屏幕尺寸，系统返回虚拟屏幕的屏幕尺寸给应用。

步骤S604：应用程序根据获取到的屏幕尺寸，以对应的分辨率进行布局。

步骤S605：终端1和终端2（终端n）之间以约定的协议进行通信，将需要显示在终端2（终端n）上的部分通过协议传递并显示在终端2（终端n）的屏幕上，即显示各自需要显示的虚拟屏幕的一部分。

步骤S606：检测是否有内容变化的操作，若有，则执行步骤S605，否则，执行步骤S607。

步骤S607：是否退出应用，若是，则退出，否则，执行步骤S605。

由所述步骤S606至所述步骤S607可知，在任意一个终端上进行操作，被操作的终端系统将操作以约定的协议传递到应用程序运行的那部终端，应用程序对操作做出相应的响应并更新该应用的显示界面和显示内容。系统将新的内容传递并映射到虚拟屏幕锁对应的各个终端，各个终端显示各自需要显示的部分。

综上所述，本发明具有以下技术效果：

本发明通过简单的方式，实现了对阅读面积的扩大，适用于触摸屏终端，也适用于其他任何有屏设备。

尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。

Claims

1.一种多屏联合显示的方法，其特征在于，包括：

多个设备在进行通信连接后分别将各自预先排布的相对位置显示在屏幕上，以供用户按照所述相对位置将所述多个设备的屏幕放置在一起；

所述多个设备中的用于发起显示任务的主设备根据所述相对位置，显示内容的一部分；

所述主设备生成所述内容的地址信息以及主设备当前显示状态信息，并发送给所述多个设备中的从设备；

从设备解析收到的所述内容的地址信息以及主设备当前显示状态信息，得到所述内容的地址、以及主设备当前显示状态；

从设备根据所述内容的地址从网络中获取同一个页面的内容，并根据所述相对位置和主设备当前显示状态，确定其待显示内容的相应部分，并显示在屏幕上。

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求1或2所述的方法，其特征在于，所述的所述多个设备中发起显示任务的设备作为主设备将用于显示同一内容的显示信息发送给作为从设备的其他设备的步骤包括：

所述主设备根据所述相对位置和联合屏幕的屏幕尺寸，确定所述内容在所述多个设备上显示的相应部分；

4.根据权利要求3所述的方法，其特征在于，还包括：

5.根据权利要求4所述的方法，其特征在于，所述多个设备的数量至少是两个。

6.一种多屏联合显示的装置，其特征在于，包括：

联合屏幕生成模块，用于多个设备在进行通信连接后分别将各自预先排布的相对位置显示在屏幕上，以供用户按照所述相对位置将所述多个设备的屏幕放置在一起；

传递模块，用于使所述多个设备中的用于发起显示任务的主设备根据所述相对位置，显示内容的一部分；所述主设备生成所述内容的地址信息以及主设备当前显示状态信息，并发送给多个设备中的从设备；

显示模块，用于使从设备解析收到的所述内容的地址信息以及主设备当前显示状态信息，得到所述内容的地址、以及主设备当前显示状态；并使从设备根据所述内容的地址从网络中获取同一个页面的内容，并根据所述相对位置和主设备当前显示状态，确定其待显示内容的相应部分，并显示在屏幕上。