CN114816290A - 一种基于多个移动终端的画面同步显示的方法及系统 - Google Patents

Abstract

本申请提供了一种基于多个移动终端的画面同步显示的方法及系统，该方法应用于包括n个终端设备的系统中，所述n个终端设备的显示屏相互拼接，所述n个终端设备包括一个主设备和n‑1个副设备，所述方法包括：所述主设备将待显示的屏幕内容分割成n份，n≥2；所述主设备将分割后的屏幕内容发送给对应的副设备；所述主设备向每一个所述副设备发送同步指令；确定所述同步指令发送完成，所述主设备显示所述分割后的屏幕内容；响应于所述同步指令，所述副设备显示所述分割后的屏幕内容，以使各所述副设备及所述主设备同步播放所述待显示的屏幕内容。本申请提供的画面同步显示的方法能够有效保证多个移动终端之间显示的同步性。

Description

一种基于多个移动终端的画面同步显示的方法及系统

技术领域

本申请涉及电子设备技术领域，特别涉及一种基于多个移动终端的画面同步显示的方法及系统。

背景技术

随着移动终端技术的不断发展，移动终端的功能也越来越强大。人们已经习惯使用移动终端(如手机)观看视频、玩游戏、聊天通讯等。为了满足移动终端的“可移动性”，移动终端的屏幕尺寸通常不会做的特别大，这样，可能无法满足一些用户的特定场景下的使用需求。例如，当多个用户的户外郊游时，移动终端的小屏幕可能很难满足人们一起观看高清视频的需求。

针对于此，通过对多个移动终端进行形态组合，从而将几个移动终端的屏幕拼接起来，以形成一个大屏幕，就可以解决屏幕小的问题，由此能够提高人们用移动终端观看视频的使用体验。此时，保证多个移动终端之间视频播放的同步性是一个关键性的问题。当前多个终端设备之间的同步策略复杂冗余，效率较低，由此可能导致多个移动终端播放同一帧画面的播放时间不同步，降低用户的使用体验。

发明内容

本申请提供一种基于多个移动终端的画面同步显示的方法及系统，该方法能够有效保证多个移动终端之间显示的同步性。

第一方面，提供了一种画面同步显示的方法，应用于包括n个终端设备的系统中，所述n个终端设备的显示屏相互拼接，所述n个终端设备包括一个主设备和n-1个副设备，所述主设备与每一个所述副设备通信连接，所述方法包括：所述主设备根据所述n个终端设备的屏幕尺寸将待显示的屏幕内容分割成n份，n≥2；所述主设备将分割后的屏幕内容发送给对应的副设备；所述主设备向每一个所述副设备发送同步指令；确定所述同步指令发送完成，所述主设备显示所述分割后的屏幕内容；响应于所述同步指令，所述副设备显示所述分割后的屏幕内容，以使各所述副设备及所述主设备同步播放所述待显示的屏幕内容。

具体地，对于主设备而言，在确认对多个副设备的同步指令发送完成以后，可以立即开始刷图过程(即显示过程)。而对于各个副设备而言，在确认接收到同步指令以后，可以立即开始刷图过程。在这里，同步指令所包含的内容特别少，发送时间可以忽略不计，并且各个副设备接收到同步指令的时间几乎相同。也就是说，此显示过程由于是以同步指令开始，所以各设备是并行刷图，刷新效率较现有多屏串行刷新效率更高。

根据本申请实施例提供了的画面同步显示的方法，可满足高分辨率的显示屏的画面同步需求，可以满足多场景使用要求，而且同步策略及时序简洁可靠，同步效率相比于现有的方法具有较大的提升(较现有技术效率可提升近2倍)，有效保证了多个移动终端之间显示的同步性。

在一种可能的设计中，所述方法还包括：所述副设备向所述主设备发送刷图完成指令，所述刷图完成指令用于指示所述分割后的屏幕内容被所述副设备显示完成；响应于所述刷图完成指令，所述主设备对下一个待显示的屏幕内容进行分割处理。

通过以上设置，如果在固定时间范围内，副设备未反馈刷图完成指令，则主设备强制开启下一帧处理，放弃本帧异常流程，避免主设备死等造成的显示异常。

在一种可能的设计中，所述主设备与所述副设备通过插接组件相互拼接，所述插接组件包括相互配合插接使用的插块和插槽；所述插块设置于所述主设备与所述副设备中的一者上，所述插槽设置于所述主设备与所述副设备中的另一者上。

在一种可能的设计中，所述插块呈T形凸起结构，所述插槽的截面呈T形，并且所述插槽的槽口的宽度小于槽底的宽度，所述插槽的边缘处设有供所述插块插入的插口。

在一种可能的设计中，所述插块的表面开设有卡接孔，所述卡接孔内设置有金属连接端子，所述插槽的槽壁上凸出设置有弹性金属凸点，当所述插块被插入所述插槽内时，所述弹性金属凸点卡入所述卡接孔内，并且与所述金属连接端子相互抵接，进而实现所述主设备和所述副设备的通信连接。

在一种可能的设计中，所述待显示的屏幕内容为一帧画面。

在一种可能的设计中，所述同步指令为帧同步信号。

在一种可能的设计中，所述主设备与所述副设备通过无线保真WIFI网络或者物理接口通信连接。

第二方面，提供了一种画面同步显示的系统，该系统包括n个终端设备，所述n个终端设备的显示屏相互拼接，所述n个终端设备包括一个主设备和n-1个副设备，所述主设备与每一个所述副设备通信连接，所述主设备用于：根据所述n个终端设备的屏幕尺寸将待显示的屏幕内容分割成n份，n≥2；将分割后的屏幕内容发送给对应的副设备；向每一个所述副设备发送同步指令；确定所述同步指令发送完成，显示所述分割后的屏幕内容；所述副设备用于：响应于所述同步指令，显示所述分割后的屏幕内容，以使各所述副设备及所述主设备同步播放所述待显示的屏幕内容。

在一种可能的设计中，所述副设备还用于：向所述主设备发送刷图完成指令，所述刷图完成指令用于指示所述分割后的屏幕内容被所述副设备显示完成；所述主设备还用于：响应于所述刷图完成指令，所述主设备对下一个待显示的屏幕内容进行分割处理。

在一种可能的设计中，所述主设备与所述副设备通过插接组件相互拼接，所述插接组件包括相互配合插接使用的插块和插槽；所述插块设置于所述主设备与所述副设备中的一者上，所述插槽设置于所述主设备与所述副设备中的另一者上。

在一种可能的设计中，所述插块呈T形凸起结构，所述插槽的截面呈T形，并且所述插槽的槽口的宽度小于槽底的宽度，所述插槽的边缘处设有供所述插块插入的插口。

在一种可能的设计中，所述插块的表面开设有卡接孔，所述卡接孔内设置有金属连接端子，所述插槽的槽壁上凸出设置有弹性金属凸点，当所述插块被插入所述插槽内时，所述弹性金属凸点卡入所述卡接孔内，并且与所述金属连接端子相互抵接，进而实现所述主设备和所述副设备的通信连接。

在一种可能的设计中，所述待显示的屏幕内容为一帧画面。

在一种可能的设计中，所述同步指令为帧同步信号。

在一种可能的设计中，所述主设备与所述副设备通过无线保真WIFI网络或者物理接口通信连接。

第三方面提供了一种主设备，包括：一个或多个处理器；一个或多个存储器；安装有多个应用程序的模块；该存储器存储有一个或多个程序，当该一个或者多个程序被该处理器执行时，使得该主设备执行如上述任一方面任一项可能的实现中主设备执行的步骤。

第四方面提供了一种副设备，包括：显示屏；一个或多个处理器；一个或多个存储器；安装有多个应用程序的模块；该存储器存储有一个或多个程序，当该一个或者多个程序被该处理器执行时，使得该副设备执行上述任一方面任一项可能的实现中副设备执行的步骤。

第五方面提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第一方面任一项可能的画面同步显示的方法。

第六方面提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面或者第一方面的任意一种可能的画面同步显示的方法。

附图说明

图1是本申请实施例提供的画面同步显示的系统的一例的连接示意图。

图2是本申请实施例提供的画面同步显示的系统的另一例的连接示意图。

图3是本申请实施例提供的画面同步显示的系统的再一例的连接示意图。

图4是本申请实施例提供的电子设备的一例的结构示意图。

图5是本申请实施例提供的第一终端和第二终端的连接结构示意图。

图6是本申请实施例提供的第一终端和第二终端拼接后的结构示意图。

图7是本申请实施例提供的第一终端套接保护壳的结构示意图。

图8是本申请实施例提供的画面同步显示的方法的一例的流程图。

图9是本申请实施例提供的通过多个设备显示同一画面的一例的示例图。

图10是本申请实施例提供的画面同步显示的方法的另一例的流程图。

图11是本申请实施例提供的多屏画面同步时序设计原理图。

图12是本申请实施例提供的应用迁移的方法的流程图。

图13是本申请实施例提供的在不同设备上执行不同应用任务的效果图。

图14是在本申请实施例提供的多设备上运行游戏的效果图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本申请的描述中，需要理解的是，术语“内”、“外”、“上”、“底”、“前”、“后”等指示的方位或者位置关系(若有的话)为基于附图1所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或者暗示所指的装置或者元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

随着消费电子市场的迅猛发展，目前市场上面向消费者的终端产品层出不穷，形态各异。以手机为例，从“全面屏”热潮的出现，到“折叠屏”形态的亮相，终端电子产品不断以其更丰富的可能性，满足着消费者用户的各种应用场景，而如何更便捷、智能地满足用户的个性化需求，给用户带来最佳体验，始终是厂商的探索方向。

随着移动终端技术的不断发展，移动终端的功能也越来越强大。人们已经习惯使用智能手机等移动终端观看视频、玩游戏、聊天通讯等。为了满足移动终端的“可移动性”，移动终端的屏幕尺寸通常不会做的特别大，例如，当前智能手机的屏幕尺寸通常在7英寸以内。这样，可能无法满足一些用户的特定场景下的使用需求。作为一个具体的场景示例，当多个用户的户外郊游时，移动终端的小屏幕可能很难满足人们一起观看高清视频的需求。

针对于此，通过对多个移动终端进行形态组合，从而将几个移动终端的屏幕拼接起来，以形成一个大屏幕，就可以解决屏幕小的问题，由此能够提高人们用移动终端进行视频观看等应用的使用体验。例如，可以将多个(例如4个或者8个)智能手机按照横向或者纵向的方式进行形态组合，由此形成一个较大的屏幕，用户可以通过该较大的屏幕观看电影。该多个智能手机可以是全面屏手机，屏幕外缘较小的边框几乎可以忽略不计，由此不会对用户的观影体验产生影响。

此时，为了进一步保证用户的观影体验，同一时刻下的各个移动终端应当播放同一帧画面，保证多个移动终端之间视频播放的同步性成为一个关键性的问题。当前多个终端设备之间的同步策略复杂冗余，效率较低，并且效果不好，由此可能导致多个移动终端播放同一帧画面的播放时间不同步，降低了用户的使用体验。

有鉴于此，本申请实施例提供了一种基于多个移动终端的画面同步显示的方法，该方法可满足高分辨率的显示屏的画面同步需求，而且同步策略及时序简洁可靠，同步效率相比于现有的方法具有较大的提升，有效保证了多个移动终端之间显示的同步性。

本申请实施例提供的画面同步显示的方法应用于包括多个移动终端在内的系统，为方便对本申请所提供的实施例的理解，下面首先结合附图对该系统进行介绍。图1是本申请实施例提供的画面同步显示的系统的一例的连接示意图。

如图1所示，该画面同步显示的系统包括第一终端10和第二终端20，该第一终端10和第二终端20可以通过插头或者卡扣等物理结构实现二者的可靠拼接(下文将对拼接方式做详细介绍)，以形成一个较大的显示屏，满足用户不同场景的使用需求。

可选地，该第一终端10和第二终端20可以为手机、平板、PC、电视等中的任意一种。该第一终端10和第二终端20的设备类型可以相同，也可以不同，本申请对此不做限定。

如图1所示，在本申请实施例中，第一终端10和第二终端20可以均为手机，并且二者的屏幕尺寸相同，从而使得拼接而成的较大屏幕具有规整的轮廓(两端平齐)。此时，该较大屏幕类似于折叠屏手机的展开状态，可以作为平板使用。

例如，第一终端10和第二终端20可以均为全面屏或者曲面屏手机，从而使得拼接而成的较大屏幕在连接处衔接的更加紧密，能够提高用户的使用体验。

可选地，该画面同步显示的系统除了包括第一终端10和第二终端20以外，还可以包括更多个终端，例如，该画面同步显示的系统包括4、6、8或10个移动终端，此时拼接而成的屏幕具有更大的尺寸。该更多个终端的设备类型可以部分相同，也可以全部相同。例如，该更多个终端可以包括多个手机以及多个平板电脑，或者，该更多个终端可以均为手机、平板电脑或者电视。

如图1中的(a)部分所示，第一终端10和第二终端20的显示屏呈长方形，第一终端10和第二终端20可以沿着长边进行竖向组合，并且横向使用，第一终端10和第二终端20的显示屏可以同时显示同一画面的不同部分。例如，如图1中的(b)部分所示，拼接而成的较大屏幕可以用来播放电影，第一终端10和第二终端20的显示屏可以同时显示同一帧电影画面的不同部分。

如图1中的(c)部分所示，第一终端10和第二终端20可以沿着长边进行竖向组合，并且竖向使用。此时，第一终端100和第二终端200组合后，软件协同采用分布式策略，可以在第一终端10上观看视频，在第二终端20上处理文档，例如，如图1中的(d)部分所示，在第一终端10的显示屏上观看(听)网课，在第二终端20上做笔记等。又或者第一终端10和第二终端20组合后玩游戏，不仅可以获得大的显示画面，而且第一终端10可以对游戏处理任务进行安排，例如将声音等子任务分配给第二终端200单独处理。第一终端10也可以对声音媒体的多个声道进行分配，分别在不同的终端上进行播放，从而能够具有立体声效果。

图2是本申请实施例提供的画面同步显示的系统的另一例的连接示意图。如图2中的(a)部分所示，第一终端10和第二终端20可以沿着短边进行横向组合，以使拼接而成的较大屏幕具有细长的结构。如图2中的(b)部分所示，此时，该细长结构的屏幕可以显示虚拟键盘，以提供与用户的交互界面，第一终端10和第二终端20中的一者可以与其他设备(例如PC或平板)无线通信连接，此时，第一终端10和第二终端20可以作为无线键盘使用，用户手指触摸该虚拟键盘，能够向该其他设备输入指令，例如输入游戏控制指令或者聊天文本等。

图3是本申请实施例提供的画面同步显示的系统的再一例的连接示意图。如图3所示，该画面同步显示的系统除了包括第一终端10和第二终端20以外，还包括第三终端30和第四终端40。

图3中的(a)和(b)部分分别示出了两种不同的连接方式，以获得不同形态(比例)的较大屏幕。如图3中的(a)部分所示，第一终端10、第二终端20、第三终端30和第四终端40的长边可以依次连接。如图3中的(b)部分所示，第一终端10与第二终端20、第三终端30与第四终端40分别通过短边连接之后，第一终端10与第三终端30通过长边连接，第二终端20与第四终端40也通过长边连接。

也可以根据需求进行更多个终端设备的拼接，此时拼接而成的屏幕具有更大的尺寸，可在多人聚会场景，拼接成电视形态，一起观看视频及游戏等，增加趣味性。也可在多人会议时，可便捷拼接起来组合为大屏幕进行会议共享使用等。

第一终端10和第二终端20除了具备显示屏以外，还包括其他功能模块，以实现相应的功能。在一种可能的实现方式中，第一终端10和/或第二终端20可以是下文中的电子设备100，此时，第一终端10和/或第二终端20可以包括电子设备100的全部或者部分结构。

图4是本申请实施例提供的电子设备100的一例的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serialbus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，位置传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。I2S接口可以用于音频通信。PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

在本申请实施例中，上述无线通信模块160连接基站之后，信号强度可以通过手机显示屏上的信号标识进行显示。例如，用户的手机界面上的信号标识在满格情况下显示为5格，随着信号逐渐变差，可以显示为4格、3格、2格、1格等。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLED，Micro-OLED，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器180B可以用于确定电子设备100的运动姿态。气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。磁传感器180D包括霍尔传感器。加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。

在本申请实施例中，位置传导传感器180M可以获取电子设备的位置信息，并转换成可用输出信号。例如，对于手机来说，位置传感器180M可以全球定位系统(globalpositioning system，GPS)传感器，可以确定电子设备的经纬度坐标等，本申请实施例对此不作限定。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

在本申请实施例中，对于便携式设备，例如智能手表，用户可以通过按压机械按键执行快捷操作，例如开启智能手表的某个功能等。

马达191可以产生震动提示。马达191可以用于来电震动提示，也可以用于触摸震动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的震动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的震动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的震动反馈效果。触摸震动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。

应理解，第一终端10和第二终端20作为电子设备，可以包括以上介绍的全部硬件结构，或者包括以上的部分硬件结构，又或者，具有更多的以上没有列举的其他硬件结构，本申请实施例对此不作限定。

还应理解，第一终端10和第二终端20作为电子设备，可以采用分层架构，鸿蒙系统(Harmony OS)架构、事件驱动架构，微核架构，微服务架构，或云架构等软件系统。

下面结合附图，对第一终端10和第二终端20如何实现可靠拼接进行介绍。图5是本申请实施例提供的第一终端10和第二终端20的连接结构示意图。图6是本申请实施例提供的第一终端10和第二终端20拼接后的结构示意图。

如图5、图6所示，在本申请实施例中，第一终端10和第二终端20通过插接组件50相互拼接。具体地，第一终端10的一侧边缘位置固定设置有插块51，第二终端20的一侧固定设置有插槽52，插块51和插槽52相互适配，插块51能够固定插接于插槽52内，以实现第一终端10和第二终端20的可靠拼接。

进一步地，如图5所示，插块51呈T形凸起结构，沿着第一终端10的长边进行延伸，使得插块51整体呈长条状结构。插槽52为条形槽，截面呈T形，并沿着第二终端20的长边延伸设置，插槽52的槽口的宽度小于槽底的宽度，插槽52的边缘处设有插口521。

如图5、图6所示，拼接时，呈T形凸起结构状的插块51的前端部511从该插口521插入插槽52内，当插块51完全被插入插槽52内时，前端部511抵接插槽52的内侧边缘，此时第一终端10和第二终端20完成拼接，并且第一终端10和第二终端20上下两侧的边缘相互对齐。

进一步地，第一终端10的另一侧边缘位置固定设置有插槽52，用于供另一终端的插块插入。第二终端20的另一侧边缘位置固定设置有插块51，用于插入另一终端的插槽52。也就是说，本申请的第一终端10和第二终端20的左右边框部分可做类似设计，这样设计一是可以实现拼接后设备之间几乎无缝隙，二是可以实现“乐高积木”式的无限拼接组合，甚至达成无限串连，极大的拓展了应用场景的丰富性。

本申请能够实现多终端设备的随意组合拼接，呈现出新的产品形态，可以更便捷的带给消费者更丰富的场景体验。同时，从部分场景上，也可替代昂贵的“折叠屏”产品。

插块51的外表面以及插槽52的内壁面可以进行光滑处理，进而能够方便插块51高效插入插槽52内。为提高机械强度，插块51与第一终端10的外壳可以通过一体成型工艺制成一体结构。例如，该一体结构可以为注塑成型。此时，插块51可以由硬塑料材质构成。

进一步地，如图5所示，插块51的表面开设有多个卡接孔53，每个卡接孔53内设置有金属连接端子，插槽52的槽壁上凸出设置有多个弹性金属凸点54，弹性金属凸点54相对于插槽52可以弹性活动，多个弹性金属凸点54与多个卡接孔53的位置一一对应设置，当插块51完全被插入插槽52内时，多个弹性金属凸点54对应卡入多个卡接孔53内，并且与内部的金属连接端子相互抵接，进而实现第一终端10与第二终端20的通信连接。此时，卡接孔53相当于USB插口，弹性金属凸点54相当于USB插头。

弹性金属凸点54凸出于插槽52的内壁面，为了减少弹性金属凸点54对插块51滑动的影响，该弹性金属凸点54呈弧形结构(具有弧形表面)，活动设置于插槽52上开设的安装孔内，自由状态下，弹性金属凸点54的外端部凸出于插槽52的内壁面。

插块51的前端部511具有弧形过渡表面，前端部511能够顺畅的挤过并且按压弹性金属凸点54，将弹性金属凸点54挤回安装孔内，当插块51安装到位时，弹性金属凸点54弹出安装孔，伸入卡接孔53内，并且与卡接孔53内的金属连接端子相互抵接进行电气连通，此时实现第一终端10和第二终端20之间的通信连接。

而当使用完毕需要拆解时，用户两手分别握持第一终端10和第二终端20，使得插块51从插口521拔出插槽52即可。

可选地，如图5、图6所示，为了减少弹性金属凸点54对插块51滑动的影响，弹性金属凸点54可以设置于远离插口521的一端，相对应地，将卡接孔53设置于靠近前端部511的一端。

本申请实施例提供的插接组件50能够实现第一终端10和第二终端20高效的拼接与拆解，较现有的卡扣、插接接口更加稳固，不易松动脱落，同时起到结构固定和数据接口连通固定的作用。

本申请实施例提供的上述结构设计，不局限屏幕尺寸，针对不同大小的设备，只要具备此标准连接结构，就可以随意拼接，通过软件保证拼接后画面平齐。而且接口插接对齐后，会有USB物理接触点连通，保证数据传输的物理基础。

图7是本申请实施例提供的第一终端10套接保护壳60的结构示意图。插块51与插槽52作为第一终端10外观上的薄弱环节，为了防止对上述两个部分造成损坏，如图7所示，图7中的(a)和(b)分别示出第一终端10套接保护壳60不同视角的结构示意图，还可以设置相互适配的保护壳60，保护壳60可以套接于第一终端10的外部，从而能够对插块51与插槽52进行更好的保护，提高了第一终端10的使用性能。

前述图1-图7所示的实施例介绍了如何实现多个终端设备之间的可靠拼接，以获得较大的显示屏，进而满足用户不同场景下(例如观影或者打游戏)的使用需求。在该基础之上，保证多个移动终端之间视频播放的同步性成为一个关键性的问题。当前多个终端设备之间的同步策略复杂冗余，效率较低，并且效果不好，由此可能导致多个移动终端播放同一帧画面的播放时间不同步，降低了用户的使用体验。

也就是说，前述图1-图7所示的实施例涉及对硬件方面的改进。下面将继续介绍本申请在软件系统方面的改进。在本申请实施例中，软件系统主要处理画面及任务协同，可分为三级协同层级，分别是：

第一协同层次，副设备作为主设备拓展屏使用。

第二协同层次，副设备协同承担应用处理。

第三协同层次，副设备深度参与主设备的进程级子任务处理。

在前述基础之上，本申请实施例继续提供了一种基于多个移动终端的画面同步显示的方法，该方法可满足高分辨率的显示屏的画面同步需求，而且同步策略及时序简洁可靠，同步效率相比于现有的方法具有较大的提升，有效保证了多个移动终端之间显示的同步性。

在本实施例中(第一协同层次)，副设备(例如前述第二终端20)的CPU/GPU无需参与画面的绘制及渲染等任务。画面的绘制、渲染、合成全部由主设备(例如前述第一终端10)完成，画面最终在主设备上合成为一帧整体画面数据，主设备根据当前接入的副设备数量及其属性(例如其分辨率、屏幕尺寸、副设备相对位置等)，对画面资料进行预处理，最终将处理后的多块画面数据包，通过高速接口依次将处理后的各数据包发送到各副设备上。

可选地，该高速接口可以是通用串行总线(universal serial bus，USB)接口，例如，A型(type-A)接口、B型(type-B)接口、C型(type-C)接口、微型(micro)USB接口以及未来的新型USB接口等。

再例如，该高速接口也可以为闪电(lightning)接口等其他类型的接口。

再例如，该高速接口也可以包括前述的卡接孔53与弹性金属凸点54。

再例如，该高速接口可以是无线保真(wireless fidelity，WIFI)接口或者蓝牙接口。

由于数据传输的速率是固定的，因此各画面数据包发送耗时对主设备而言是已知的，在数据包顺利发送到各副设备之后，为了提高数据传输效率，减少冗余交互，主设备直接发送帧同步信号(Frame-Vsync)指令，在副设备收到Frame-Vsync指令之后，开始同步将收到的画面数据包刷新送显到各自的显示屏上，由于此处是同步刷图，所以多个屏幕的刷图同步进行，刷图效率很高。由此提高了同步效率，有效保证了多个移动终端之间显示的同步性。

图8是本申请实施例提供的基于多个移动终端的画面同步显示的方法800的一例的流程图。如图8所示，该多个移动终端可以包括一个主设备和至少一个副设备(例如一个或者多个副设备)，该方法800包括：

步骤810，设备鉴权。

主设备根据当前副设备接入情况，进行设备鉴权。此时，主设备可以向副设备发送鉴权请求，副设备向主设备发送鉴权通过应答消息，该应答消息中包括有副设备的设备信息，例如包括副设备的显示屏分辨率、显示屏尺寸、副设备所处的相对位置，为后续画面预处理提供依据。在对副设备鉴权完成后，主设备即可将副设备作为扩展屏进行使用。

设备信息包含的内容越多，越有利于主设备分析接入的副设备的情况，方便做画面分割及对齐。可选地，设备信息还可以包括副设备的屏幕最大亮度、当前亮度等级、色温信息等，主要作用是为了使得刷新画面时，可以保证主、副设备的画面效果尽可能的一致，优化体验。

步骤820，数据预处理。

主设备根据应用场景，绘制画面，同步完成渲染、叠加等工作(例如进行图层(layer)绘制，使用GPU渲染，之后通过硬件进行叠加)，将绘制的一帧完整画面数据保存在帧缓存(buffer)中。由于在副设备接入主设备时已经完成了步骤810，所以主设备可以对帧缓存中画面进行预处理，将画面分解与总设备数相等的若干份。预处理过程中需考虑设备总数、各设备的分辨率及尺寸等相关信息。

可选地，副设备包括1个，并且与主设备的屏幕尺寸相同，此时主设备可以将画面分解(分割)成相等的两份，并且根据主副设备的相对位置，将对应的画面发送给副设备。

例如，若副设备位于主设备的下方，可以将画面分成上下尺寸相同的两份，并且将下面的一份发送给副设备。

再例如，若副设备位于主设备的右方(例如图6中的第二终端20)，可以将画面分成左右尺寸相同的两份，并且将右侧的一份发送给副设备。

可选地，副设备包括2或3个，并且与主设备的屏幕尺寸相同，此时主设备可以将画面分解成相等的3或4份，并且根据主副设备的相对位置，将对应的画面发送给对应的副设备。

可选地，也可以一次对多帧完整画面进行绘制，之后保存到帧缓存中，并且对该多帧画面进行分解，之后发送给对应的副设备，由此能够提高处理效率。

步骤830，数据分发。

在步骤820的基础上，进行预处理后各画面数据包的分发，主要由主设备进行发送，副设备进行接收。如果各设备是通过物理方式的接口插接，则可使用USB的接口协议进行数据传输，目前USB的C型接口的实际传输速率可达1.25GB/s。而如果各设备如果采用无线方式，则可选用Wi-Fi方式连接组网。目前Wi-Fi 6的传输速率可达9.6Gbps。以上两种传输方式速率都很高，满足HD、FHD等分辨率的图像资料的高速传输需求。

可选地，副设备包括多个，主设备可以按照一定的顺序逐一发送各个副设备的画面数据包。

可选地，副设备包括多个，主设备可以同时通过物理接口和无线的方式向多个副设备发送画面数据包。

步骤840，同步送显。

由于主设备已知画面的传输速率，因此在将各数据包分发给各副设备之后，主动发送帧同步信号指令Frame-Vsync，各副设备在收到Frame-Vsync指令之后，开始将各自收到的画面数据包通过移动产业处理器接口(mobile industry processor interface，MIPI)刷新到显示屏上。

对于主设备而言，在确认对多个副设备的帧同步信号发送完成以后，可以立即开始刷图过程。而对于各个副设备而言，在确认接收到帧同步信号以后，可以立即开始刷图过程。在这里，帧同步信号所包含的内容特别少，发送时间可以忽略不计，并且各个从设备接收到帧同步信号的时间几乎相同。也就是说，此刷图过程由于是以帧同步信号开始，所以各设备是并行刷图，刷新效率较现有多屏串行刷新效率更高。

可选地，在各副设备刷图完成后，需要再给主设备返回一个刷图完成指令(例如Ending-cmd指令)，以便主设备确认本次刷图完成，从而启动下一个帧画面的处理流程。如果在固定时间范围内，副设备未反馈刷图完成指令，则主设备强制开启下一帧处理，放弃本帧异常流程，避免主设备死等造成的显示异常。

可选地，该显示屏可以是液晶显示器(Liquid Crystal Display，LCD)、微发光二极管(Micro LED)、次毫米发光二极管(Mini LED)、有机发光二极管(Organic Light-Emitting Diode，OLED)等型号的显示屏。

图9是本申请实施例提供的通过多个设备显示同一画面的一例的示例图。如图9所述，第一终端10(主设备)和第二终端20(副设备)通过前述图5所示的结构拼接而成，从而获得更大尺寸的显示屏。并且通过卡接孔53和弹性金属凸点54(物理接口)实现二者的通信连接。

此时，第二终端20的显示屏可以作为第一终端10的拓展屏进行使用，第一终端10需要显示的画面可以分出一半在第二终端20上进行显示。具体地，第一终端10进行预处理之后，将一半画面的数据包通过卡接孔53和弹性金属凸点54发送给第二终端20，第一终端10和第二终端20同步显示完整的画面供用户观看。例如，该完整的画面可以是图9中的(a)部分所示的显示桌面，或者是图9中的(b)部分所示的一副图像，例如该图像可以是一个视频文件中的一帧画面。

图10是本申请实施例提供的基于多个移动终端的画面同步显示的方法1000的流程图。如图10所示，该方法1000包括：

步骤1001，主设备上运动的应用或者交互界面(user interface，UI)需要绘制画面，并且进行显示。

步骤1002，主设备根据具有需求，进行画面的图层(layer)绘制，GPU同步完成渲染。

步骤1003，主设备的处理器进行图层硬件叠加，并且将绘制完成的至少一帧完整画面数据保存在本地存储器中(例如帧buffer中)。

步骤1004，主设备确定是否需要进行多屏模式，即主设备确定副设备是否需要作为主设备的拓展屏使用。若否，则进入步骤1010，在步骤1010中，将绘制完成的至少一帧完整画面数据送图到主设备的显示屏进行单屏显示，用户通过主设备的显示屏观看绘制好的完整画面。若主设备确定需要进行多屏模式，则进入步骤1005。

步骤1005，主设备进行分辨率分析和画面预处理。此时，主设备可以对预存的至少一帧完整画面数据进行预处理，将画面分解(分割)与总设备数相等的若干份。预处理过程中需考虑设备总数、各设备的分辨率、尺寸、副设备所处的相对位置、副设备的屏幕最大亮度、当前亮度等级、色温信息等相关信息。具体内容可以参见前述对步骤820的描述，在此不再赘述。

可选地，若主设备和其中至少一个副设备是首次配对，则在步骤1005中，还可以同步进行设备鉴权过程。换句话说，步骤1005也可以放在设备鉴权阶段进行。

步骤1006，主设备送图到各副设备。此时，主设备可以将画面数据包发送给对应的副设备。具体内容可以参见前述对步骤830的描述，在此不再赘述。

步骤1007，主设备向各个副设备发送帧同步信号指令Frame-Vsync。

步骤1008，多设备同步送显到显示器(Panel)。

步骤1009，多个终端设备的显示屏共同显示完整画面。

具体地，对于主设备而言，在确认对多个副设备的帧同步信号发送完成以后，可以立即开始刷图过程。而对于各个副设备而言，在确认接收到帧同步信号以后，可以立即开始刷图过程。此时，多个设备(包括一个主设备和至少一个副设备)的多个显示屏所组成的较大显示屏同步显示该完整画面(的各个部分)，用户通过该较大显示屏进行观看，可以获得更好的使用体验。

可选地，在本申请实施例中，主设备不仅可以分配分割后的屏幕内容，还可以指定播放声音的声道，实现立体声的播放效果。例如，屏幕拼接完成后，主设备将左声道分配给放在左边的设备，将右声道分配给右边的设备，即放在左边的设备播放左声道，放在右边的设备播放右声道，从而，可以实现立体声的播放效果。

下面结合附图对步骤840(以及步骤1008和步骤1009)中多个终端设备如何进行同步送显做进一步说明。图11是本申请实施例提供的多屏画面同步时序设计原理图。

如图11所示，本申请提供的多屏画面同步时序设计按照时间先后具体分为数据预处理及分发、帧信号同步、刷图到显示屏三个阶段，下面对该三个阶分别进行说明：

阶段①：数据预处理及分发。

主设备对完整一帧画面数据进行预处理后，将分解的数据包通过Wi-Fi或USB通信方式传递到各副设备(即图11中的副设备1和副设备2)中，主设备可以依次将相应的数据包发送给对应的副设备，由于这两种通信速率接近10Gbps，因此可以很快完成数据包的发送过程。

如图11所示，假定有2个和主设备尺寸分辨率相同的副设备，则由主设备(例如下文图14中的第一终端10)将画面预处理为3个帧(frame)数据包，并依次将另外2个数据包(1/3帧)分别发送到副设备1(例如下文图14中的第二终端20)和副设备2(例如下文图14中的第三终端30)上。需要重点说明的是，如果各设备的尺寸不同，则可采用多种预处理策略进行画面分析，本发明并非默认做等分处理，如果画面尺寸不同，则会以最小尺寸的屏幕为显示基准对齐，此部分也可预留用户手动设置窗口，确保组合后的显示画面规则且完整，符合观看习惯。由于采用Wi-Fi或USB方式发送预处理后的数据包，所以此数据分发过程在极短的时间内可完成，具体耗时取决于图像的分辨率(分辨率越大，帧数据包越大，传输耗时越长)，常规分辨率在1～2ms内即可完成数据分发。

阶段②：同步信号Vsync同步阶段。

在主设备发送完各图像数据包之后，会发送同步信号Vsync给各副设备，副设备在收到同步信号Vsync后，会触发下一阶段的刷图过程。

在这里，各个副设备同时收到该同步信号Vsync，并且同时触发下一阶段的刷图过程。具体地，同步信号Vsync所包含的内容特别少，发送特别快，发送耗时可以忽略不计，因此在阶段②中，即使主设备是逐一发送该同步信号Vsync，也可以认为各个副设备是同时接收到该同步信号Vsync。各个副设备在确认收到该同步信号Vsync后，立即触发下一阶段的刷图过程，此时至少可以使得多个副设备之间可以同步刷图。而在主设备确定同步信号Vsync发送完毕后，也立即开启刷图过程，由于同步信号Vsync的发送时间可以忽略不计，因此使得主设备和多个副设备之间均能够做到同步刷图(显示)，进而能够保证显示画面的一致性，提高用户的使用体验。

阶段③：刷图到显示屏。

各副设备(同时)收到同步信号Vsync后，(同时)启动刷图任务，副设备的处理器(相当于发送端Tx)将阶段①收到的预处理后的数据包通过MIPI接口同步刷新到显示屏(相当于接收端Rx)上，各设备的刷图过程并行且同步，满足多个设备组合显示一帧完整画面的设计需求。

进一步地，如图11所示，在阶段③中，在各副设备刷图完成(刷图和显示几乎同步，这里的刷图完成也可以理解为显示完成)后，给主设备返回一个Ending-cmd指令，以便主设备确认本次刷图完成，从而启动下一个帧画面的处理流程。

可选地，如果在固定时间范围(例如1～5ms)内，副设备未反馈Ending-cmd指令，则主设备强制开启下一帧处理，放弃本帧异常流程，避免主设备死等造成的显示异常。

根据本申请实施例提供了的画面同步显示的方法，可满足高分辨率的显示屏的画面同步需求，可以满足多场景使用要求，而且同步策略及时序简洁可靠，同步效率相比于现有的方法具有较大的提升(较现有技术效率可提升近2倍)，有效保证了多个移动终端之间显示的同步性。

在前述图8-图11所示的实施例中，副设备仅作为主设备的拓展屏使用，参与的程度较低，副设备的其他功能(例如，计算功能等)未得到有效利用。在该基础之上，本申请实施例还提供了一种应用迁移的方法，能够将主设备上正在或者即将运行的应用迁移到副设备上，由副设备来运行，由此能够提高多组合设备的硬件资源利用率，均衡了各设备的运行负载，大幅改善了用户体验。

下面结合附图继续介绍本申请实施例提供的主设备和副设备之间软件系统方面的第二协同层次，副设备协同承担应用处理。

具体地，主设备在多应用场景下，可发送指令控制副设备独立工作(分发应用任务)，将主设备的其中一个或多个应用“迁移”到副设备上运行。例如，主设备当前有多个应用正在运行或者需要运行，比如主设备正在播放视频、浏览网页以及使用社交软件聊天，此时主设备可以将其中一个应用迁移到副设备上，由副设备来运行，比如可以将聊天应用直接拖移到副设备上独立执行。

图12是本申请实施例提供的应用迁移的方法1200的流程图。如图12所示，该应用迁移的方法1200包括：

步骤1210，主设备在后台向副设备发送鉴权请求。

步骤1220，副设备通过主设备的鉴权，向主设备回传确认消息，该确认消息中携带有副设备的设备信息。

具体地，此鉴权行为发生在副设备接入主设备的最初阶段，主设备发起鉴权请求，如果副设备同意接入，则回复确认消息，指示鉴权通过，并将主设备关注的副设备的相关设备信息传递给主设备，以便主设备在进行应用分发的时候进行决策。例如决策是否进行应用迁移，以及迁移哪个(哪些)应用到副设备。

可选地，该设备信息可以包括以下信息中的一种或者多种：

副设备的型号、屏幕尺寸、屏幕分辨率、内存大小、CPU核数、当前剩余内存、当前剩余电量、当前应用运行情况(多少)、应用安装情况(安装了哪些应用)、当前网络状况(是否联网以及网速情况)、当前剩余流量等信息。

例如，当主设备确定副设备的屏幕分辨率和/或当前网络状况不满足要求时，可以停止在线视频观看等应用的迁移操作。

再例如，当主设备确定副设备的当前剩余内存或者当前剩余电量不足时，可以停止应用迁移操作。

再例如，当主设备确定副设备的内存大小和/或CPU核数等不满足要求时，可以停止将游戏等需要较高计算能力的应用的迁移操作。

当主设备确定要将某一个(或一些)应用迁移到副设备上运行时，此时可以进入步骤1230。

步骤1230，主设备向副设备发起应用分发请求。

步骤1240，副设备进行自身应用检测，并向主设备发送回执消息。

步骤1250，主设备向副设备发送回执确认消息。

步骤1260，副设备向主设备发送执行应答，指示状态已经准备完毕(Ready)。

具体地，在设备鉴权完成后，如果主设备处于多应用场景下，用户则可以在主设备上将特定应用“拖动”到副设备上，此时主设备会在后台对副设备发起应用分发请求。该请求中携带需要迁移的应用的指示信息。

在接收到该请求后，副设备进行自身应用检测，如果副设备自身已经安装此特定应用，且版本兼容性满足运行要求，则给主设备回复的回执消息中回执“OK”，指示已有应用(即图12中步骤1241)。如果副设备上并未事先安装此应用，则给主设备回复的回执消息中回执“没有应用”，并且可以建议“推荐同类应用”或者“请求下载该应用”(即图12中步骤1242)。

此时，可设计弹出窗口在主设备的显示屏显示，提示用户是否需要下载此应用到副设备上，如果用户点击“同意”，主设备则向副设备发送回执确认消息，此时副设备下载并安装完成此应用后，给主设备发送执行应答，提示用户副设备已经准备完毕(Ready)，如果用户点击“不同意”，则本次应用分发流程结束。

此外，弹出窗口也可以提示用户是否使用同类型的某一应用进行替换，用户可以根据自身需求点击“同意”或者“不同意”。

主设备在接收到指示副设备应用运行环境“Ready”的执行应答消息后，则进行下一步应用分发(进入步骤1270)，如果没有接收到该执行应答消息，则结束本次分发流程。

步骤1270，主设备向副设备进行应用分发，并传递该应用的上下文消息。

步骤1280，多应用分机运行。

如果主设备接收到副设备的执行应答消息，则进行下一步应用分发，因为已经经过设备鉴权，所以主设备上的应用可以无缝的迁移到副设备上进行运行。以某社交聊天软件应用为例，这里重点说明下“应用上下文”，上下文消息包括用户的登陆信息，迁移的过程免登陆、当前打开的聊天界面、聊天记录等相关的场景资料。至于其他无需账号登陆的应用，则只需将对应的网址、页面、缓存消息等传递到副设备上就行，如果涉及到从网络获取数据，则应用迁移到副设备之后，网络也同步借用副设备的网络能力。

在这里，迁移过程免登陆指的是应用迁移到副设备上之后，不需要再进行用户登录，应用的上下文场景完全平移，用户无感知。

本申请实施例提供的应用迁移方法1200并非简单在副设备上重新打开一个新应用，而是将主设备上此应用的上下文状态信息传递到副设备上，借助副设备的芯片运算及网络能力，将应用无感知的分离到副设备上运行，从而使得用户可以在组合在一起的多个设备上运行多个应用，方便了用户的使用，提高了用户体验。

本申请实施例提供的应用迁移方法1200能够实现应用无缝切换到其他副设备，方便快捷，提高多组合设备的硬件资源利用率，均衡了各设备的运行负载，大幅改善了用户体验。

图13是本申请实施例提供的在不同设备上执行不同应用任务的效果图。如图13所示，用户可以在第一终端10上观看视屏，第一终端10同时发送指令(实际操作是将第一终端10的应用任务迁移到第二终端20上)让第二终端打开社交软件，用户可以通过第二终端20来进行聊天通讯。具体处理过程参见对方法1200的描述，在此不再赘述。

下面结合附图继续介绍本申请实施例提供的主设备和副设备之间软件系统方面的第三协同层次，副设备深度参与主设备的进程级子任务处理。

在主设备负载较高时，可以将部分消耗资源较高的进程任务安排到副设备上执行运算，甚至参与游戏画面的绘制任务，提高多设备的资源利用率。

图14是在本申请实施例提供的多设备上运行游戏的效果图。假设单设备CPU为8核处理器，如图14所示，该多设备由第一终端10、第二终端20、第三终端30共3个设备组合而成，则拼接后的多设备具有“24核”处理器，主设备负责统一任务调度，让副设备从“进程”任务层面参与任务处理。

例如，主设备可以将图层(layer)信息分发给不同核(不同终端)进行绘制，最终再统一叠加渲染。或者游戏场景，主设备负责图像处理，而将音频信息处理分给从第二终端20、将网络处理任务交给第三终端30等策略。

本申请实施例通过让设备子任务深度交互，需要对设备的系统调度做好统筹，但是以线程粒度为单位的任务交互较容易导致协同异常，本实施例主要是以任务子模块这种较粗粒度的方式进行任务分发处理，在硬件资源较充分利用的同时，具备较高的稳定性。

可以理解的是，主设备、副设备等设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本实施例可以根据上述方法示例对主设备、副设备等设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，本申请实施例对此不作限定。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本实施例提供的主设备、副设备等设备，用于执行上述画面同步显示的方法或者应用迁移的方法，因此可以达到与上述实现方法相同的效果。

在采用集成的单元的情况下，主设备、副设备等设备可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对执行的动作进行控制管理，存储模块可以用于存储程序代码和数据等。通信模块，可以用于支持主设备、副设备之间的通信。

其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。

在一个实施例中，当处理模块为处理器，存储模块为存储器时，本实施例所涉及的主设备、副设备可以为具有图4所示结构的设备。

本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令被运行时，使得在包括主设备、副设备等设备的系统中可以执行上述相关方法步骤实现上述实施例中的画面同步显示的方法或者应用迁移的方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的画面同步显示的方法或者应用迁移的方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的画面同步显示的方法或者应用迁移的方法。

其中，本实施例提供的主设备、副设备等设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种画面同步显示的方法，其特征在于，应用于包括n个终端设备的系统中，所述n个终端设备的显示屏相互拼接，所述n个终端设备包括一个主设备和n-1个副设备，所述主设备与每一个所述副设备通信连接，所述方法包括：

所述主设备根据所述n个终端设备的屏幕尺寸将待显示的屏幕内容分割成n份，n≥2；

所述主设备将分割后的屏幕内容发送给对应的副设备；

所述主设备向每一个所述副设备发送同步指令；

确定所述同步指令发送完成，所述主设备显示所述分割后的屏幕内容；

响应于所述同步指令，所述副设备显示所述分割后的屏幕内容，以使各所述副设备及所述主设备同步播放所述待显示的屏幕内容。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述副设备向所述主设备发送刷图完成指令，所述刷图完成指令用于指示所述分割后的屏幕内容被所述副设备显示完成；

响应于所述刷图完成指令，所述主设备对下一个待显示的屏幕内容进行分割处理。

3.根据权利要求1或2所述的方法，其特征在于，所述主设备与所述副设备通过插接组件相互拼接，所述插接组件包括相互配合插接使用的插块和插槽；

所述插块设置于所述主设备与所述副设备中的一者上，所述插槽设置于所述主设备与所述副设备中的另一者上。

4.根据权利要求3所述的方法，其特征在于，所述插块呈T形凸起结构，所述插槽的截面呈T形，并且所述插槽的槽口的宽度小于槽底的宽度，所述插槽的边缘处设有供所述插块插入的插口。

5.根据权利要求4所述的方法，其特征在于，所述插块的表面开设有卡接孔，所述卡接孔内设置有金属连接端子，所述插槽的槽壁上凸出设置有弹性金属凸点，当所述插块被插入所述插槽内时，所述弹性金属凸点卡入所述卡接孔内，并且与所述金属连接端子相互抵接，进而实现所述主设备和所述副设备的通信连接。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述待显示的屏幕内容为一帧画面。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述同步指令为帧同步信号。

8.根据权利要求1-4中任一项所述的方法，其特征在于，所述主设备与所述副设备通过无线保真WIFI网络或者物理接口通信连接。

9.一种画面同步显示的系统，其特征在于，包括n个终端设备，所述n个终端设备的显示屏相互拼接，所述n个终端设备包括一个主设备和n-1个副设备，所述主设备与每一个所述副设备通信连接，所述主设备用于：

根据所述n个终端设备的屏幕尺寸将待显示的屏幕内容分割成n份，n≥2；

将分割后的屏幕内容发送给对应的副设备；

向每一个所述副设备发送同步指令；

确定所述同步指令发送完成，显示所述分割后的屏幕内容；

所述副设备用于：

响应于所述同步指令，显示所述分割后的屏幕内容，以使各所述副设备及所述主设备同步播放所述待显示的屏幕内容。

10.根据权利要求9所述的系统，其特征在于，所述副设备还用于：

向所述主设备发送刷图完成指令，所述刷图完成指令用于指示所述分割后的屏幕内容被所述副设备显示完成；

所述主设备还用于：

响应于所述刷图完成指令，所述主设备对下一个待显示的屏幕内容进行分割处理。

11.根据权利要求9或10所述的系统，其特征在于，所述主设备与所述副设备通过插接组件相互拼接，所述插接组件包括相互配合插接使用的插块和插槽；

所述插块设置于所述主设备与所述副设备中的一者上，所述插槽设置于所述主设备与所述副设备中的另一者上。

12.根据权利要求11所述的系统，其特征在于，所述插块呈T形凸起结构，所述插槽的截面呈T形，并且所述插槽的槽口的宽度小于槽底的宽度，所述插槽的边缘处设有供所述插块插入的插口。

13.根据权利要求12所述的系统，其特征在于，所述插块的表面开设有卡接孔，所述卡接孔内设置有金属连接端子，所述插槽的槽壁上凸出设置有弹性金属凸点，当所述插块被插入所述插槽内时，所述弹性金属凸点卡入所述卡接孔内，并且与所述金属连接端子相互抵接，进而实现所述主设备和所述副设备的通信连接。

14.根据权利要求9-13中任一项所述的系统，其特征在于，所述待显示的屏幕内容为一帧画面。

15.根据权利要求9-14中任一项所述的系统，其特征在于，所述同步指令为帧同步信号。

16.根据权利要求9-12中任一项所述的系统，其特征在于，所述主设备与所述副设备通过无线保真WIFI网络或者物理接口通信连接。

Images