CN114579068A - 一种多屏协同的显示方法及电子设备 - Google Patents

一种多屏协同的显示方法及电子设备 Download PDF

Info

Publication number
CN114579068A
CN114579068A CN202011381303.4A CN202011381303A CN114579068A CN 114579068 A CN114579068 A CN 114579068A CN 202011381303 A CN202011381303 A CN 202011381303A CN 114579068 A CN114579068 A CN 114579068A
Authority
CN
China
Prior art keywords
electronic device
frame
interface image
interface
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011381303.4A
Other languages
English (en)
Inventor
彭冠奇
段潇潇
王金波
钟小飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011381303.4A priority Critical patent/CN114579068A/zh
Priority to EP21897227.1A priority patent/EP4231133A4/en
Priority to PCT/CN2021/134390 priority patent/WO2022111727A1/zh
Priority to US18/254,472 priority patent/US11977810B2/en
Publication of CN114579068A publication Critical patent/CN114579068A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

本申请提供一种多屏协同的显示方法及电子设备，涉及分布式控制技术领域，可以解决多屏协同场景下第二电子设备更新界面图像存在的卡顿问题。应用于第一电子设备的具体方案包括：显示第一界面图像，并对第一界面图像编码得到第一界面图像的编码数据；向第二电子设备发送第一界面图像的编码信息；响应于对第一界面图像的更新操作，显示第i帧界面图像，并获取第i帧界面图像中、相较于第i‑1帧界面图像的N个差异区域；若N个差异区域在第i帧界面图像的面积占比小于预设值，对N个差异区域的图像内容进行编码，得到第一编码数据；向第二电子设备发送第一编码信息；第一编码信息包括第一编码数据和N个差异区域在第i帧界面图像中的位置信息。

Description

一种多屏协同的显示方法及电子设备
技术领域
本申请实施例涉及分布式控制技术领域，尤其涉及一种多屏协同的显示方法及电子设备。
背景技术
在多屏协同场景中，投屏设备(如手机)和被投屏设备(如个人计算机(PersonalComputer， PC))建立连接(如有线连接或无线连接)后，手机可以将手机的界面图像投屏到PC上显示。
第一种使用场景下，在手机向PC投屏的过程中，手机可以接收用户对界面图像的更新操 作；手机响应该更新操作，可以更新手机的界面图像，并指示PC也更新PC的界面图像。
第二种使用场景(称为反控场景)下，在手机向PC投屏的过程中，还可以由PC接收用 户对PC显示的界面图像的更新操作。PC可以接收用户对PC的更新操作；然后向手机发送更 新指令，以指示手机响应于该更新指令更新界面图像。手机响应该更新指令，可以更新手机 的界面图像，并指示PC也更新PC的界面图像。
上述手机指示PC更新界面图像，具体可以包括：手机对更新的界面图像进行编码得到编 码数据；手机向PC传输该编码数据；PC接收该编码数据并对该编码数据进行解码，得到更 新的界面图像；PC显示更新的界面图像。
其中，编解码耗时较长以及网络波动等原因，在多屏协同场景下，PC更新界面图像会存 在明显的卡顿。并且，随着用户对设备显示画面分辨率的要求越来越高，多屏协同场景的卡 顿问题越来越严重。尤其在上述反控场景中，需要PC接收更新操作并向手机发送更新指令， 手机才可以响应于更新指令更新界面图像，并指示PC更新界面图像。这样，无疑会增加PC 更新界面图像的耗时，进一步增大PC更新界面图像出现卡顿现象的可能性。
发明内容
本申请提供一种多屏协同的显示方法及电子设备，可以解决多屏协同场景下第二电子设 备更新界面图像存在的卡顿问题。
为达到上述目的，本申请采用如下技术方案：
第一方面提供一种多屏协同的显示方法，应用于第一电子设备，第一电子设备连接第二电子设备。该显示方法包括：第一电子设备先显示第一界面图像，并对第一界 面图像编码得到第一界面图像的编码数据；再向第二电子设备发送第一界面图像的编码信息；然后，若第一电子设备接收对第一界面图像的更新操作，则响应于更新操作，显示第 i帧界面图像，并获取第i帧界面图像中、相较于第i-1帧界面图像的N个差异区域； 再然后，若N个差异区域在第i帧界面图像的面积占比小于预设值，第一电子设备对 N个差异区域的图像内容进行编码，得到第一编码数据；最后，第一电子设备向第二 电子设备发送第一编码信息。
其中，第一界面图像的编码信息包括第一界面图像的编码数据；第一界面图像的编码信息用于触发第二电子设备基于第一界面图像的编码信息显示第一投屏界面，第一投屏界面的内容是第一界面图像的镜像。更新操作用于触发第一电子设备依次显示M 帧界面图像，M为正整数。i在{1，……，M}中依次取值；第0帧界面图像为第一界 面图像；N个差异区域中像素点的像素值与第i-1帧界面图像中对应像素点的像素值 不同，N为正整数。第一编码信息包括第一编码数据和N个差异区域在第i帧界面图像中的 位置信息；第一编码信息用于触发第二电子设备基于第一编码信息更新第i-1帧界面图 像得到第二投屏界面并显示第二投屏界面；第二投屏界面的内容是第i帧界面图像的 镜像。
第一方面提供的多屏协同的显示方法，第一电子设备显示第一界面图像，并将第一界面图像的内容投屏到第二电子设备上。第一电子设备若接收到对第一界面图像的 更新操作，则显示M帧界面图像，并获取第i帧界面图像中、相较于第i-1帧界面图 像的N个差异区域。如果N个差异区域在第i帧界面图像的面积占比小于预设值，第 一电子设备只对N个差异区域编码得到第一编码数据；然后，将包括第一编码数据的 第一编码信息发送给第二电子设备。其中，N个差异区域包括第i帧界面图像相较于 第i-1帧界面图像的像素值不同的像素点。那么，第一电子设备对N个差异区域编码， 就是对第i帧界面图像中的与第i-1帧界面图像不同的内容进行编码，相较于对第i 帧界面图像编码，可以减少编解码耗时以及第一编码数据的大小，而传输较小的第一 编码数据也可以缩短第一编码数据的传输时长。进而，由于减小了编解码耗时和缩短 了第一编码数据的传输时长，则第二电子设备可以更快地利用包括第一编码数据的第 一编码信息更新第i-1帧界面图像，显示第i帧界面图像的镜像。如此，可以解决多 屏协同场景下第二电子设备更新界面图像存在的卡顿问题。
在一种可能的设计方式中，上述第一电子设备接收对第一界面图像的更新操作，包括： 第一电子设备接收来自第二电子设备的更新指令，更新指令是对第一投屏界面的更新操作触 发的；或者，第一电子设备接收用户对第一电子设备显示的第一界面图像的更新操作。
在该设计方式中，描述了该显示方法的几种使用场景。在第一使用场景下，第一电子设 备直接接收用户对第一电子设备显示的第一界面图像的更新操作，更新第一电子设备的界面 图像，并指示(或触发)第二电子设备更新界面图像。在反控场景下，由第二电子设备接收 用户对第一电子设备显示的第一界面图像的更新操作，然后向第一电子设备发送更新指令； 第一电子设备再响应于该更新指令，更新第一电子设备的界面图像，并指示(或触发)第二 电子设备更新界面图像。
其中，根据上述分析可知采用该显示方法，第二电子设备可以更快地利用包括第一 编码数据的第一编码信息更新第i-1帧界面图像，显示第i帧界面图像的镜像。那么， 在反控场景下，第二电子设备在接收用户的该更新操作后，快速地利用包括第一编码 数据的第一编码信息更新第i-1帧界面图像，表示第一电子设备对第二电子设备的反 控时延较小。也就是说，在反控场景下采用该显示方法，可以减小第一电子设备对第 二电子设备的反控时延。
另一种可能的设计方式中，上述获取第i帧界面图像中、相较于第i-1帧界面图像的N 个差异区域，包括：第一电子设备将第i帧界面图像中每个像素点的像素值，与第i-1帧界 面图像中对应像素点的像素值进行对比，得到第i帧界面图像中的差异像素点；第一电子设 备确定包括第i帧界面图像中的差异像素点的N个差异区域。其中，差异像素点的像素值与 第i-1帧界面图像中对应像素点的像素值不同。
在该设计方式中，描述了第一电子设备获取第i帧界面图像中、相较于第i-1帧界面图 像的N个差异区域的一种实现方式。
另一种可能的设计方式中，该显示方法还包括：若N个差异区域在第i帧界面图像的面 积占比大于预设值，第一电子设备对第i帧界面图像进行编码，得到第二编码数据；第一电 子设备向第二电子设备发送第二编码信息；其中，第二编码信息包括第二编码数据，第二编 码信息用于触发第二电子设备基于第二编码信息显示第三投屏界面，第三投屏界面的内容是 第i帧界面图像的镜像。
在该设计方式中，若N个差异区域在第i帧界面图像的面积占比大于预设值，则对N个 差异区域编解码的耗时，和对第i帧界面图像编解码的耗时相差不大。也就是说，第一电子 设备对N个差异区域编码后发送至第二电子设备，或者对第i帧界面图像编码后发送至第二 电子设备，第二电子设备更新界面图像时的卡顿程度差别不大，则第一电子设备可以在N个 差异区域在第i帧界面图像的面积占比大于预设值的情况下，采用常规技术对第i帧界面图 像编码后传输。
另一种可能的设计方式中，该显示方法还包括：第一电子设备响应于更新操作，生成第 i帧的第一时间戳；第i帧的第一时间戳用于记录第一电子设备生成第i帧界面图像的时间； 其中，第二编码信息还包括第i帧的第一时间戳。
在该设计方式中，描述了第一电子设备生成第二编码信息的一种实现方式。考虑到虽然 第一电子设备按照生成M帧界面图像的先后顺序，依次向第二电子设备发送M帧界面图像对 应的编码信息(即第一编码信息或第二编码信息)，但是由于编码数据大小不同和网络波动等 原因，第二电子设备接收到多个编码信息(即第一编码信息或第二编码信息)的顺序可能与 生成M帧界面图像的先后顺序不同。例如，第一电子设备依次向第二电子设备发送第i帧界 面图像对应的编码信息(即第一编码信息或第二编码信息)、第i+1帧界面图像对应的编码信 息(即第一编码信息或第二编码信息)时，由于编码数据大小不同和网络波动等原因，第二 电子设备可能先接收到第i+1帧界面图像对应的编码信息，再接收到第i帧界面图像对应的 编码信息。因此，第一编码信息和第二编码信息都可以包括第i帧的第一时间戳，以指示第 二电子设备可以参考第一时间戳，按照时间先后顺序显示界面图像。
另一种可能的设计方式中，该显示方法还包括：第一电子设备生成第二时间戳，并保存 第二时间戳，第二时间戳用于记录第一电子设备生成第一界面图像的时间，第二时间戳是第 1帧的第一基准时间戳，第一基准时间戳是第一电子设备记录投屏的基准时间；若N个差异 区域在第i帧界面图像的面积占比大于预设值，第一电子设备确定第i+1帧的第一基准时间 戳为第i帧的第一时间戳；若N个差异区域在第i帧界面图像的面积占比小于预设值，第一 电子设备确定第i+1帧的第一基准时间戳为第i帧的第一基准时间戳。其中，第一编码信息 还包括：第i帧的第一时间戳和第i帧的第一基准时间戳。
可以理解的是，如果第i帧界面图像中、相较于第i-1帧界面图像的N个差异区域(简 称为第i帧的N个差异区域)在第i帧界面图像的面积占比小于预设值，则表示第i帧界面 图像与第i-1帧界面图像的差异较小。其次，如果第i-1帧界面图像中、相较于第i-2帧界面图像的N个差异区域(简称为第i-1帧的N个差异区域)在第i-2帧界面图像的面积占比 大于预设值，则表示第i-1帧界面图像相较于第i-2帧界面图像差异较大。而第i帧界面图 像与第i-1帧界面图像的差异较小，则第i帧界面图像与该第i-2帧界面图像差异也较大。
同理可知，如果第i-k帧界面图像中、相较于第i-k-1帧界面图像的N个差异区域(简 称为第i-k帧的N个差异区域)在第i-k帧界面图像的面积占比大于预设值，则表示第i-k 帧界面图像与第i-k-1帧界面图像及其之前的界面图像的差异都较大，k为一个正整数。其 次，如果从第i-k+1帧界面图像到第i帧界面图像中任一帧的N个差异区域在任一帧界面图 像中的面积占比都小于预设值，则表示第i帧界面图像与第i-k帧界面图像及其到第i帧界 面图像之间的界面图像的差异较小。因此，若因为编码数据大小不同和网络波动等原因，第 二电子设备在第i-k帧界面图像之前先接收到第i帧界面图像的第一编码信息；并且，在显 示第i-k帧界面图像之前利用接收到的第一编码信息显示第i帧界面图像的内容，则会出现 画面错位的问题。
针对画面错位的问题，第一电子设备确定N个差异区域在第i帧界面图像的面积占比大 于或等于预设值时，将第i帧的第一时间戳用作第i+1帧的第一基准时间戳，否则，将第i 帧的第一基准时间戳用作第i+1帧的第一基准时间戳。结合上述“第i-k帧的N个差异区域 在第i-k帧界面图像的面积占比大于预设值”可知，第i-k+1帧的第一基准时间戳等于第i-k 帧界面图像的第一时间戳。结合上述“从第i-k+1帧界面图像到第i帧界面图像中任一帧的 N个差异区域在任一帧界面图像中的面积占比都小于预设值”可知，从第i-k+1帧界面图像 到第i帧中任一帧的第一基准时间戳等于第i-k+1帧的第一基准时间戳。由于第i-k+1帧的 第一基准时间戳等于第i-k帧界面图像的第一时间戳，因此，第i帧的第一基准时间戳等于 第i-k帧界面图像的第一时间戳。
其次，第一电子设备在第一编码信息中携带有第i帧的第一时间戳和第i帧的第一基准 时间戳。因为第i帧的第一基准时间戳等于第i-k帧界面图像的第一时间戳，则第i帧的第 一基准时间戳能够用于指示第二电子设备将第i帧界面图像的内容显示在上述第i-k帧界面 图像之后。如此，就可以避免由于将第i帧界面图像的内容显示在第i-k帧界面图像之前所 导致的画面错位的问题。
第二方面提供一种多屏协同的显示方法，应用于第二电子设备，第二电子设备连接第 一电子设备，该显示方法包括：第二电子设备显示第一投屏界面，第一投屏界面的内容是第 一电子设备显示的第一界面图像的镜像；第二电子设备接收来自第一电子设备的第一编码信 息；其中，第一编码信息包括第一编码数据、以及第i帧界面图像中相较于第i-1帧界面图 像的N个差异区域的位置信息；第二电子设备解码第一编码数据，得到N个差异区域的图像 内容；第二电子设备显示第二投屏界面。
其中，第i帧界面图像是第一电子设备响应于更新操作生成的，更新操作用于触发第一 电子设备依次显示M帧界面图像。M为正整数，i在{1，……，M}中依次取值，第0帧界面图 像为第一界面图像。N个差异区域中像素点的像素值与第i-1帧界面图像中对应像素点的像 素值不同，N为正整数。第一编码数据是对所述N个差异区域的图像内容编码得到的。第二 投屏界面的内容是第i帧界面图像的镜像，第i帧界面图像是根据N个差异区域的图像内容 和位置信息更新第i-1帧界面图像得到的。
第二方面提供的应用于第二电子设备的多屏协同的显示方法，第二电子设备显示第一电 子设备投屏来的第一界面图像的内容。第二电子设备可以接收到来自第一电子设备的第一编 码信息，对第一编码信息中的第一编码数据解码得到N个差异区域的图像内容；然后显示第 二投屏界面。由于，第二投屏界面的内容是第i帧界面图像的镜像，第i帧界面图像是根据 N个差异区域的图像内容和位置信息更新第i-1帧界面图像得到的，则可以知道，第二投屏 界面利用解码得到的N个差异区域的图像内容，就可以显示更新界面图像。其中，由于N个 差异区域是第i帧界面图像中的与第i-1帧界面图像不同的内容，则对N个差异区域编码得 到的第一编码数据小于对第i帧界面图像编码得到的其他编码数据。进而，第二电子设备对 第一编码数据解码的耗时少于对该其他编码数据解码的耗时，则第二电子设备可以更快地利 用包括第一编码数据的第一编码信息更新第i-1帧界面图像，显示第i帧界面图像的镜像。 如此，可以解决多屏协同场景下第二电子设备更新界面图像存在的卡顿问题。
在一种可能的设计方式中，在第二电子设备接收来自第一电子设备的第一编码信息之前， 该显示方法还包括：第二电子设备接收用户对第一投屏界面的更新操作；响应于更新操作， 向第一电子设备发送更新指令。
其中，更新指令用于触发第一电子设备依次显示M帧界面图像。第二电子设备通过与第 二电子设备连接的外部设备接收对第一投屏界面的更新操作；外部设备包括第二电子设备的 显示屏、遥控器、鼠标或者手写笔中的任一种。
在该设计方式中，描述了使用该显示方法的一种反控场景。在反控场景下，第二电子设 备接收用户对第一电子设备显示的第一界面图像的更新操作，然后向第一电子设备发送更新 指令，以指示(或触发)第一电子设备更新界面图像。
另一种可能的实施方式中，该显示方法还包括：第二电子设备接收来自第一电子设备的 第二编码信息；第二编码信息包括第二编码数据，第二编码数据是对第i帧界面图像编码得 到的；第二电子设备对第二编码数据解码，得到第i帧界面图像；第二电子设备显示第三投 屏界面；第三投屏界面的内容是第i帧界面图像的镜像。
在该设计方式中，描述了第二电子设备更新界面图像的另一种实现方式。
另一种可能的设计方式中，第二编码信息还包括：第i帧的第一时间戳，第i帧的第一 时间戳用于记录第一电子设备生成第i帧界面图像的时间。在第二电子设备接收来自第一电 子设备的第二编码信息之后，该显示方法还包括第二电子设备确定第i+1帧的第二基准时间 戳为第i帧的第一时间戳，第二基准时间戳是第二电子设备记录投屏的基准时间。
在该设计方式中，第二电子设备在接收到第i帧界面图像的第二编码信息后，表示第i 帧的N个差异区域在第i帧界面图像的面积占比大于预设值，而第i帧的N个差异区域在第 i帧界面图像的面积占比大于预设值，表示第i帧界面图像与第i-1帧界面图像的差异较大。 那么，第i+1帧界面图像与第i-1帧界面图像的差异更大，因此，将第二编码信息中的第i 帧的第一时间戳用作第i+1帧的第二基准时间戳。
另一种可能的设计方式中，第一编码信息还包括：第i帧的第一时间戳和第i帧的第一 基准时间戳，第一基准时间戳是第一电子设备记录投屏的基准时间。在第二电子设备接收来 自第一电子设备的第一编码信息之后，第二电子设备解码第一编码数据，得到N个差异区域 的图像内容之前，该显示方法还包括：第二电子设备确定第i帧的第一时间戳所记录的时间 晚于第i帧的第一基准时间戳所记录的时间，并且第i帧的第一基准时间戳所记录的时间等 于第i帧的第二基准时间戳所记录的时间。
在该设计方式中，第二电子设备如果接收到第i-1帧界面图像的第二编码信息(简称为 第i-1帧的第二编码信息)，则将第i-1帧的第二编码信息中的第i-1帧的第一时间戳用作第 i帧的第二基准时间戳(即第i帧的第二基准时间戳等于第i-1帧的第一时间戳)，还利用第 i-1帧的第二编码信息显示第i-1帧界面图像的内容。其中，接收到第i-1帧的第二编码信 息表示第i-1帧的N个差异区域在第i-1帧界面图像的面积占比大于预设值；而第i-1帧的 N个差异区域在第i-1帧界面图像的面积占比大于预设值，表示第i-1帧界面图像与第i-2 帧界面图像的差异较大。那么，第i帧界面图像与第i-2帧界面图像的差异更大。然后，如 果第二电子设备再接收到第i帧界面图像的第一编码信息(简称为第i帧的第一编码信息)， 则表示第i帧的N个差异区域在第i帧界面图像的面积占比小于预设值；而第i帧的N个差 异区域在第i帧界面图像的面积占比小于预设值，表示第i帧界面图像与第i-1帧界面图像 的差异较小。其中，第i帧界面图像的第一编码信息可以包括第i帧的第一基准时间戳。第 一电子设备在确定第i-1帧的N个差异区域在第i-1帧界面图像的面积占比大于预设值时， 将第i-1帧的第一时间戳用作第i帧的第一基准时间戳，即第i帧的第一基准时间戳等于第i-1帧的第一时间戳；再结合上述第i帧的第二基准时间戳等于第i-1帧的第一时间戳，则 可知第i帧的第一基准时间戳等于第i帧的第二基准时间戳。
综上可知，第i帧的第一基准时间戳等于第i帧的第二基准时间戳，表示第i帧界面图 像与第i-1帧界面图像的差异较小，还表示第二电子设备已显示出第i-1帧界面图像的内容。 那么，第二电子设备在第i帧的第一基准时间戳等于第i帧的第二基准时间戳时，利用第i 帧的第一编码信息显示第i帧界面图像的内容。因为第i帧界面图像的内容与已显示出的第 i-1帧界面图像的内容差异较小，就可以避免因为第二电子设备接收M帧界面图像对应的编 码信息(即第一编码信息或第二编码信息)的顺序与第一电子设备生成M帧界面图像的先后 顺序不同导致画面错位的问题。
第三方面提供了一种第一电子设备，该第一电子设备包括执行如第一方面和第一方面的 各种可能的方法的装置，或者，模块，或者，单元。
第四方面提供了一种第二电子设备，该第二电子设备包括执行如第二方面和第二方面的 各种可能的方法的装置，或者，模块，或者，单元。
第五方面提供了一种第一电子设备，第一电子设备包括：处理器和存储器。其中，存储 器用于存储计算机程序代码，计算机程序代码包括计算机指令；处理器用于运行计算机指令， 使得第一电子设备执行如第一方面及其任一种可能的设计方式的方法。
第六方面提供了一种第二电子设备，第二电子设备包括：处理器和存储器。其中，存储 器用于存储计算机程序代码，计算机程序代码包括计算机指令；处理器用于运行计算机指令， 使得第二电子设备执行如第二方面及其任一种可能的设计方式的方法。
第七方面提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机指令， 当计算机指令在第一电子设备上运行时，使得第一电子设备执行如第一方面及其任一种可能 的设计方式的方法。
第八方面提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机指令， 当计算机指令在第二电子设备上运行时，使得第二电子设备执行如第二方面及其任一种可能 的设计方式的方法。
第九方面还提供一种计算机程序产品，包括一条或多条指令，该一条或多条指令可以在 第一电子设备上运行，使得第一电子设备执行如第一方面及其任一种可能的设计方式的方法。
第十方面还提供一种计算机程序产品，包括一条或多条指令，该一条或多条指令可以在 第二电子设备上运行，使得第二电子设备执行如第二方面及其任一种可能的设计方式的方法。
本申请的第三方面及其任一种可能的设计方式，以及第五方面、第七方面和第九方面所 带来的技术效果可参见上述第一方面中不同设计方式所带来的技术效果；本申请第四方面及 其任一种可能的设计方式，以及第六方面、第八方面和第十方面所带来的技术效果可参见上 述第二方面中不同设计方式所带来的技术效果，此处不再赘述。
附图说明
图1为常规技术提供的一种多屏非镜像场景下的多屏显示示意图；
图2为常规技术提供的一种多屏扩展场景下的多屏显示示意图；
图3为常规技术提供的一种多屏镜像场景下的多屏显示示意图；
图4为常规技术提供的一种多屏场景下的多屏显示示意图；
图5为常规技术提供的一种多屏场景下更新界面图像后的多屏显示示意图；
图6为本申请实施例提供的一种第一电子设备的硬件结构示意图；
图7为本申请实施例提供的一种第一使用场景下的多屏协同的显示方法流程图一；
图8为本申请实施例提供的一种第一使用场景下的多屏显示示意图一；
图9为本申请实施例提供的一种第一使用场景下的多屏显示示意图二；
图10为本申请实施例提供的一种第一电子设备获取N个差异区域的界面示意图；
图11A为本申请实施例提供的一种第一电子设备显示界面图像并更新时间戳的时序图；
图11B为本申请实施例提供的一种第一电子设备显示界面图像并更新时间戳的时序图；
图12为本申请实施例提供的一种第一电子设备向第二电子设备投屏的时序图；
图13为本申请实施例提供的一种第一使用场景下的多屏协同的显示方法流程图二；
图14为本申请实施例提供的一种反控场景下的多屏协同的显示方法流程图一；
图15为本申请实施例提供的一种反控场景下的多屏显示示意图一；
图16为本申请实施例提供的一种反控场景下的多屏显示示意图二；
图17为本申请实施例提供的一种反控场景下的多屏协同的显示方法流程图二；
图18为本申请实施例提供的一种第一电子设备的结构示意图；
图19为本申请实施例提供的一种第二电子设备的结构示意图。
具体实施方式
以下，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示 或者隐含地包括一个或者更多个该特征。
目前，在多屏协同场景中，第一电子设备(如，手机)和第二电子设备(如，PC)建立连接(如有线连接或无线连接)后，第一电子设备可以将第一电子设备的界面图像投屏到第二电子设备上显示。其中，无线连接可以为蓝牙连接、近场通信(Near FieldCommunication， NFC)连接或者无线保真(Wireless Fidelity，WiFi)连接。
第一种使用场景下，在第一电子设备向第二电子设备投屏的过程中，第一电子设备可以 接收用户对界面图像的更新操作；第一电子设备响应该更新操作，可以更新第一电子设备的 界面图像，并指示(或触发)第二电子设备也更新第二电子设备的界面图像。
其中，第一使用场景可以包括多屏扩展场景和多屏非镜像场景。多屏扩展场景下，第一 电子设备生成并显示第一界面图像；第一电子设备还生成第二界面图像，并指示(或触发) 第二电子设备显示第二界面图像的镜像，第一电子设备不显示第二界面图像。多屏非镜像场 景下，第一电子设备可以显示第一界面图像；第一电子设备还显示第二界面图像，并指示(或 触发)第二电子设备显示第二界面图像的镜像。
示例性地，以第一电子设备为笔记本电脑、第二电子设备为平板电脑为例，如图1所示， 在多屏非镜像场景下，笔记本电脑110通过无线连接的方式连接平板电脑120。笔记本电脑 110显示第一界面图像111和第二界面图像112；平板电脑还指示平板电脑120显示第二界面 图像112的镜像113。其中，第一界面图像111的内容包括“涂鸦”、“颜色”、“粗细”、“橡 皮檫”等图片编辑选项；第二界面图像112的内容包括“标题”，还包括“开始”、“插入”、“页面布局”等文档操作选项。
示例性地，以第一电子设备为笔记本电脑、第二电子设备为平板电脑为例，如图2所示， 在多屏扩展场景下，笔记本电脑110通过无线连接的方式连接平板电脑120。笔记本电脑110 生成并显示第一界面图像111；笔记本电脑110还生成第二界面图像112，并指示平板电脑 120显示第二界面图像112的镜像113；笔记本电脑110不显示第二界面图像112。
第二种使用场景(称为反控场景)下，在第一电子设备向第二电子设备投屏的过程中， 还可以由第二电子设备接收用户对第二电子设备显示的界面图像的更新操作。第二电子设备 可以通过与第二电子设备存在连接的手写笔、遥控器或鼠标等外部设备接收用户对第二电子 设备的更新操作；然后向第一电子设备发送更新指令，以指示(或触发)第一电子设备响应 于该更新指令更新界面图像。第一电子设备响应该更新指令，可以更新第一电子设备的界面 图像，并指示(或触发)第二电子设备也更新第二电子设备的界面图像。
其中，反控场景可以包括多屏镜像场景和上述多屏非镜像场景。多屏镜像场景下，第一 电子设备向第二电子设备投屏后，第二电子设备可以采用全屏或非全屏的方式显示第一电子 设备显示的内容。其中，在多屏镜像场景下，第二电子设备可以全屏显示第一电子设备所显 示的内容。在多屏镜像场景下，第二电子设备可以非全屏显示第一电子设备所显示的内容， 并且，第二电子设备不显示其他内容。
示例性地，以第一电子设备为笔记本电脑、第二电子设备为平板电脑为例，如图3所示， 在多屏镜像场景下，笔记本电脑110通过无线连接的方式连接平板电脑120。笔记本电脑110 显示第二界面图像112，并指示平板电脑120显示第二界面图像112的镜像113。其中，平板 电脑120全屏显示第二界面图像112的镜像113。
上述方案中第一电子设备指示(或触发)第二电子设备更新界面图像，具体可以包括： 第一电子设备采用H.262、H.263或H.264等编解码标准，对更新的界面图像进行编码得到编 码数据；第一电子设备向第二电子设备传输该编码数据；第二电子设备接收该编码数据，并 采用与第一电子设备相同的编解码标准对该编码数据进行解码，得到更新的界面图像；第二 电子设备显示更新的界面图像。
然而，由于上述方案是对整张界面图像进行编码，则编解码耗时较长、编码数据较大。 而编码数据较大又增加了编码数据的传输时间。较长的编解码耗时和较长的传输时间，都会 导致第二电子设备利用第一电子设备发送的编码数据更新界面图像变慢。在多屏协同场景下， 第二电子设备更新界面图像变慢，则表现为第二电子设备更新界面图像时发生明显的卡顿。 进一步地，随着用户对设备显示画面分辨率的要求越来越高，多屏协同场景的卡顿问题越来 越严重。尤其在上述反控场景中，需要第二电子设备接收更新操作并向第一电子设备发送更 新指令，第一电子设备才可以响应于更新指令更新界面图像，并指示(或触发)第二电子设 备更新界面图像。这样，无疑会增加第二电子设备更新界面图像的耗时，进一步增大第二电 子设备更新界面图像出现卡顿现象的可能性。
示例性地，以第一电子设备为笔记本电脑、第二电子设备为平板电脑为例，说明上述方 案更新界面图像的过程。如图4所示，笔记本电脑210通过无线连接的方式连接平板电脑220； 笔记本电脑210显示一帧界面图像(如，编辑一张图片的编辑界面图像211)，并将编辑界面 图像211的内容投屏到平板电脑220上。平板电脑220上显示编辑界面图像211的镜像212。 从图4中可以看出，该编辑界面图像211的内容包括：“涂鸦”、“颜色”、“粗细”和“橡皮檫” 的多个图片编辑选项。
进一步地，平板电脑220显示编辑界面图像211的内容时，接收用户对编辑界面图像211 的更新操作(如在编辑界面图像上绘制一个心形的绘画操作)。平板电脑220在接收该绘画操 作后，向笔记本电脑210发送一个更新指令，以指示笔记本电脑210响应于该更新指令显示 所绘制的心形。笔记本电脑210响应于更新指令，依次显示绘制心形过程中的多帧界面图像。 笔记本电脑210还对该多帧界面图像中每一帧界面图像进行编码，得到编码数据，并将该编 码数据传输至平板电脑220。然而，由于编解码耗时较长、编码数据较大等原因，导致平板 电脑220在接收绘画操作后接收并解码每一帧界面图像的时间较长。
如图5所示，笔记本电脑210响应于更新指令，依次显示了绘制心形过程中的所有界面 图像，显示出一个包括心形的编辑界面图像213。而平板电脑220在接收绘画操作后，由于 接收再解码每一帧界面图像的时间较长，此刻，只利用绘制心形过程中的部分界面图像显示 出心形的一部分。平板电脑220在接收绘画操作后经过较长的时间，利用绘制心形过程中的 所有界面图像显示出一个心形。
可以理解的是，平板电脑在接收绘画操作后显示更新后的包括心形的界面图像出现卡顿。 并且，在这种笔记本电脑反向控制平板电脑的反控场景下，平板电脑在接收绘画操作后显示 更新后的包括心形的界面图像的卡顿情况更明显，表现为笔记本电脑对平板电脑的反控时延 较长。
针对上述方案存在的多屏协同场景下第二电子设备更新界面图像的卡顿问题、以及反控 场景下第一电子设备对第二电子设备的反控时延较长的问题，本申请实施例提出一种多屏协 同的显示方法，可以解决多屏协同场景下第二电子设备更新界面图像存在的卡顿问题、以及 减小反控场景下第一电子设备对第二电子设备的反控时延。
需要说明的是，本申请实施例中的第一电子设备可以为手机、PC、平板电脑、笔记本电 脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助 理(personal digital assistant，PDA)等。第一种使用场景下的第二电子设备可以为PC 的显示器、电视机或者投影仪等任一显示装置，或者为包括显示器的电子设备。反控场景下 的第二电子设备可以为包括显示器的电子设备。其中，上述包括显示器的电子设备可以为PC、 平板电脑、笔记本电脑、UMPC、上网本、PDA，大屏设备，智能电视等。本申请实施例对第一 电子设备和第二电子设备的具体形态不作任何限制。
下面继续以第一电子设备是手机为例，介绍第一电子设备的硬件结构。如图6所示，手 机300可以包括：处理器310，外部存储器接口320，内部存储器321，通用串行总线(universal serial bus，USB)接口330，充电管理模块340，电源管理模块341，电池342，天线1，天 线2，移动通信模块350，无线通信模块360，音频模块370，扬声器370A，受话器370B，麦 克风370C，耳机接口370D，传感器模块380，按键390，马达391，指示器392，摄像头393(可包括摄像头1-N)，显示屏394(如触摸屏)，以及用户标识模块(subscriberidentification module，SIM)卡接口395(可包括SIM卡接口1-N)等。
其中，上述传感器模块380可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感 器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器和骨传导传感器等传感器。
可以理解的是，本实施例示意的结构并不构成对手机300的具体限定。在另一些实施例 中，手机300可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件， 或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器310可以包括一个或多个处理单元，例如：处理器310可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit， GPU)，控制器，存储器，视频编解码器，数字信号处理器(digital signalprocessor，DSP)， 基带处理器，和/或神经网络处理器(neural-network processingunit，NPU)等。其中， 不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以是手机300的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号， 产生操作控制信号，完成取指令和执行指令的控制。
处理器310中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器310 中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数 据。如果处理器310需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取， 减少了处理器310的等待时间，因而提高了系统的效率。
在一些实施例中，处理器310可以包括一个或多个接口。可以理解的是，本实施例示意 的各模块间的接口连接关系，只是示意性说明，并不构成对手机300的结构限定。在另一些 实施例中，手机300也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的 组合。
充电管理模块340用于从充电器接收充电输入(有线充电器的充电输入和/或无线充电输 入)，为电池342充电。其中，充电器可以是无线充电器，也可以是有线充电器。充电管理模 块340为电池342充电的同时，还可以通过电源管理模块341为手机供电。
电源管理模块341用于连接电池342，充电管理模块340与处理器310。电源管理模块 341接收电池342和/或充电管理模块340的输入，为处理器310，内部存储器321，外部存储器，显示屏394，摄像头393，和无线通信模块360等供电。在一些实施例中，电源管理模 块341也可以设置于处理器310中。在另一些实施例中，电源管理模块341和充电管理模块 340也可以设置于同一个器件中。
手机300的无线通信功能可以通过天线1，天线2，移动通信模块350，无线通信模块360， 调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。在一 些实施例中，手机300的天线1和移动通信模块350耦合，天线2和无线通信模块360耦合， 使得手机300可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球 导航卫星系统(Global Navigation Satellite System，GNSS)，无线局域网(wireless local area networks，WLAN)(如Wi-Fi网络)技术等。GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigationsatellite system， GLONASS)，北斗卫星导航系统(beidou navigation satellitesystem，BDS)，准天顶卫星 系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)等。示例性的，手机300可以通过GPS、BDS或者SBAS等定 位技术，获取手机300的实时位置信息。
移动通信模块350可以提供应用在手机300上的包括2G/3G/4G/5G等无线通信的解决方 案。例如，手机300可以通过移动通信模块350向服务器发送电子邮件。
无线通信模块360可以提供应用在手机300上的包括WLAN(如Wi-Fi网络)，蓝牙(bluetooth，BT)，GNSS，近场通信(Near Field Communication，NFC)、红外(Infrared，IR)、调频(frequency modulation，FM)等无线通信的解决方案。例如，手机300可以通过GNSS定位技术，获取手机300的实时位置信息。
手机300通过GPU，显示屏394，以及应用处理器等实现显示功能。手机300可以通过ISP，摄像头393，视频编解码器，GPU，显示屏394以及应用处理器等实现拍摄功能。外部 存储器接口320可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机300的存储能力。内部存储器321可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器310 通过运行存储在内部存储器321的指令，从而执行手机300的各种功能应用以及数据处理。 手机300可以通过音频模块370，扬声器370A，受话器370B，麦克风370C，耳机接口370D，以及应用处理器等实现音频功能。
可以理解，本申请后续实施例中的方法步骤可以由上述第一电子设备和/或上述第二电子 设备执行，或者本申请实施例中的方法步骤的执行主体也可以是第一电子设备中的部分功能 模块(如中央处理器(Central Processing Unit，CPU))和/或第二电子设备终端中的部分 功能模块(如CPU)，本申请实施例对此不做限制。其中，本申请实施例这里以第一电子设备 和/或上述第二电子设备执行多屏协同的显示方法为例，对本申请实施例提供的多屏协同的显 示方法进行详细说明。
本申请实施例中，第一电子设备将界面图像的内容投屏到第二电子设备上之后，若接收 到用户对第一电子设备的界面图像的更新操作，更新界面图像。第一电子设备还指示(或触 发)第二电子设备更新界面图像。为了减少编解码的耗时和编码数据的传输时长，第一电子 设备可以对更新后的每一帧界面图像和其前一帧界面图像进行比较。若每一帧界面图像相较 于其前一帧界面图像的变化较小，第一电子设备可以只对每一帧界面图像中的与其前一帧界 面图像不同的内容进行编码得到编码数据，将编码数据传输至第二电子设备。以使得第二电 子设备利用该编码数据更新界面图像。其中，每一帧界面图像的前一帧界面图像是生成时间 在自身生成时间之前、且在生成时间上与自身连续的界面图像。由于第一电子设备只对每一 帧界面图像中的与其前一帧界面图像不同的内容进行编码，可以减少编解码耗时以及编码数 据的传输时长。进而可以解决了多屏协同场景下第二电子设备更新界面图像存在的卡顿问题， 还可以减小反控场景下第一电子设备对第二电子设备的反控时延。
请参考图7，本申请实施例提供一种多屏协同的显示方法，应用于上述第一使用场景下 的第一电子设备和第二电子设备中，第一电子设备连接第二电子设备。如图7所示，该显示 方法可以包括S401-S415。
S401、第一电子设备显示第一界面图像，并对第一界面图像编码得到第一界面图像的编 码数据。
第一电子设备显示第一界面图像，并对第一界面图像编码得到第一界面图像的编码数据； 然后，生成第一界面图像的编码信息。其中，第一界面图像的编码信息包括第一界面图像的 编码数据。可选的，第一界面图像的编码信息除了包括第一界面图像的编码数据，还可包括 第一界面图像的时间戳；第一界面图像的时间戳用于记录第一电子设备生成第一界面图像的 时间。其中，以下实施例中所述的第二时间戳是该第一界面图像的时间戳。
S402、第一电子设备向第二电子设备发送第一界面图像的编码信息。
其中，第一界面图像的编码信息用于触发第二电子设备基于第一界面图像的编码信息显 示第一投屏界面，第一投屏界面的内容是第一界面图像的镜像。
第二电子设备接收第一界面图像的编码信息后，利用第一界面图像的编码信息，生成第 一投屏界面，并显示第一投屏界面。
示例性地，以第一电子设备为手机、第二电子设备为笔记本电脑为例，如图8中的(a) 所示，手机300显示的第一界面图像501为编辑一张图片的编辑界面图像，并指示(或触发) 笔记本电脑510显示第一投屏界面502。第一界面图像501的内容包括：当前时间为“8:00”、 待编辑的图片的采集时间为“2020年6月5日下午5:10”、以及包括“涂鸦”、“颜色”、“粗细”和“橡皮檫”的多个图片编辑选项。
S403、第二电子设备接收来自第一电子设备的第一界面图像的编码信息，并利用第一界 面图像的编码信息显示第一投屏界面。
第二电子设备接收来自第一电子设备的第一界面图像的编码信息后，采用第一电子设备 在生成第一界面图像的编码数据时所采用的编解码标准，对第一界面图像的编码信息中的编 码数据解码，得到第一界面图像。第二电子设备再利用第一界面图像生成第一投屏界面，并 显示第一投屏界面。
本申请实施例中，在上述多屏扩展场景下，第二电子设备可以全屏显示第一投屏界面。
本申请实施例中，在上述多屏非镜像场景下，第二电子设备可以全屏显示第一投屏界面， 也可以非全屏显示第一投屏界面。其中，第二电子设备在多屏非镜像场景下非全屏显示第一 投屏界面的同时，可以显示其他界面图像，例如，在除第一投屏界面之外的其他区域显示该 其他界面图像。该其他界面图像不同于第一界面图像和第一投屏界面。
本申请实施例中，在上述多屏镜像场景下，第二电子设备可以全屏显示第一投屏界面， 也可以非全屏显示第一投屏界面。其中，第二电子设备在多屏镜像场景下非全屏显示第一投 屏界面时，不显示其他内容，例如，该其他区域可以表现为黑色。
需要说明的是，本申请实施例中所述的全屏显示投屏界面是指：第二电子设备可以在显 示屏显示该投屏界面和第二电子设备的状态栏，不显示其他内容；或者，第二电子设备可以 在显示屏显示该投屏界面，不显示第二电子设备的状态栏和其他内容。
S404、第一电子设备接收用户对第一界面图像的更新操作，更新操作用于触发第一电子 设备依次显示M帧界面图像。
在上述第一种使用场景下，第一电子设备可以直接接收用户对第一界面图像的更新操作。 其中，M为正整数(如，1、2或3)。M的取值取决于该更新操作。
示例性地，更新操作可以包括切换第一界面图像的操作、在第一界面图像上进行绘画的 操作或在第一界面图像上加载新的内容的操作等，本申请实施例对此不做限制。
S405、第一电子设备响应于更新操作，显示第i帧界面图像，并获取第i帧界面图像中、 相较于第i-1帧界面图像的N个差异区域。
第一电子设备响应于更新操作，依次生成M帧界面图像并显示。第一电子设备还获取第 i帧界面图像中、相较于第i-1帧界面图像的N个差异区域，以及N个差异区域在第i帧界 面图像中的位置信息。该位置信息用于指示(或表征)N个差异区域在第i帧界面图像中的 位置。
其中，i在{1，……，M}中依次取值；第0帧界面图像为上述第一界面图像。N个差异区 域中像素点的像素值与第i-1帧界面图像中对应像素点的像素值不同，N为正整数。
示例性地，M帧第一界面图像可以包括第1帧界面图像、第2帧界面图像、…、第i帧界面图像、…、第M帧界面图像。第1帧界面图像、第2帧界面图像、…、第i帧界面图像、…、 第M帧界面图像为按生成时间先后排列的界面图像。第i-1帧界面图像就是第i帧界面图像 的前一帧界面图像。
本申请实施例中，N可以等于任意一个正整数。若N大于1，则N个差异区域中的任意两 个差异区域可以是独立的、不重叠的。N个差异区域中每个差异区域的所有像素点的像素值 与第i-1帧界面图像中对应像素点的像素值不同，或者，每个差异区域的部分像素点的像素 值与第i-1帧界面图像中对应像素点的像素值不同。N个差异区域的位置信息可以包括N个 差异区域一一对应的N个位置信息。
S406、第一电子设备判断N个差异区域在第i帧界面图像的面积占比是否小于预设值。
第一电子设备可以先计算N个差异区域在第i帧界面图像的面积占比；再判断该面积占 比是否小于预设值(如，1/4或1/2)。第一电子设备确定该面积占比小于预设值，执行S407-S410。第一电子设备确定该面积占比大于或等于预设值，执行S411-S415。
S407、第一电子设备对N个差异区域的图像内容进行编码，得到第一编码数据。
第一电子设备可以采用有损编码方式(如JPEG、RM文件格式、RealMedia可变比特率) 或无损编码方式(如霍夫曼(Huffman)算法、LZW(Lenpel-Ziv&Welch)压缩算法)，对N个差异区域的图像内容进行编码，得到第一编码数据。
S408、第一电子设备向第二电子设备发送第一编码信息，第一编码信息包括第一编码数 据。
第一电子设备在获取N个差异区域后，还可以获取N个差异区域在第i帧界面图像中的 位置信息。然后，第一电子设备利用该位置信息和第一编码数据生成第一编码信息，再将第 一编码信息发送至第二电子设备。
S409、第二电子设备接收来自第一电子设备的第一编码信息，解码第一编码数据得到N 个差异区域的图像内容。
第二电子设备采用第一电子设备在生成第一编码数据时所采用的编解码标准，对第一编 码信息中的第一编码数据解码，得到N个差异区域的图像内容。
S410、第二电子设备显示第二投屏界面。
其中，第二投屏界面的内容是第i帧界面图像的镜像。第i帧界面图像是第二电子设备 根据N个差异区域的图像内容和位置信息更新第i-1帧界面图像得到的。
本申请实施例中，第二电子设备按照第一编码信息中的N个差异区域的位置信息，利用 N个差异区域的图像内容，更新第i-1帧界面图像，得到第i帧界面图像。第二电子设备再 根据第i帧界面图像，生成第二投屏界面，并采用全屏或非全屏的方式显示第二投屏界面。
需要说明的是，第二电子设备全屏显示或非全屏显示第二投屏界面的具体过程，可以参 见上述S403中关于第二电子设备全屏显示或非全屏显示第一投屏界面的详细介绍，本申请实 施例这里不予赘述。
示例性地，第二电子设备可以用N个差异区域的图像内容，对第i-1帧界面图像中N个 差异区域的位置信息所指示的区域内容进行替换，得到第i帧界面图像。
示例性地，在上述第一种使用场景下，继续以第一电子设备为手机、第二电子设备为笔 记本电脑为例，如图8中的(b)所示，手机300的显示屏为触摸屏，手机300接收用户对第 一界面图像的更新操作，如用户手指在手机300的显示屏上绘制一个心形的绘画操作。然后， 300响应于该绘画操作，依次显示了绘制心形过程中的M帧界面图像，显示出一个包括心形 的界面图像503。同时，手机300向笔记本电脑510发送M帧界面图像中每一帧界面图像的 第一编码信息或第二编码信息。由于手机300可以在每一帧界面图像相较于其前一帧界面图 像的变化较小时，只对每一帧界面图像中的与其前一帧界面图像不同的内容进行编码得到第 一编码数据，将包括第一编码数据的第一编码信息传输至第二电子设备，减少了编解码耗时 以及编码数据的传输时长。因此，笔记本电脑510也较快地利用接收到的第一编码信息或第 二编码信息显示一个包括心形的投屏界面504。
S411、第一电子设备对第i帧界面图像进行编码，得到第二编码数据。
本申请实施例中，第一电子设备可以采用H.261、H.263、H.264等编解码标准，对第i 帧界面图像进行编码，得到第二编码数据。
其中，第一电子设备对第i帧界面图像编码，就是对完整的第i帧界面图像编码；此时， 该第i帧界面图像可以为帧内编码图像帧(Intra-coded picture，I帧)或预测编码图像帧 (Predictive-coded Picture，P帧)。
需要说明的是，若N个差异区域在第i帧界面图像的面积占比大于或等于预设值，则对 N个差异区域编解码的耗时，和对第i帧界面图像编解码的耗时相差不大。也就是说，第一 电子设备对N个差异区域编码后传输第二电子设备，或者对第i帧界面图像编码后传输至第 二电子设备，第二电子设备更新界面图像时的卡顿程度差别不大，则第一电子设备可以在N 个差异区域在第i帧界面图像的面积占比大于或等于预设值的情况下，直接对第i帧界面图 像编码后传输。
S412、第一电子设备向第二电子设备发送第二编码信息，第二编码信息包括第二编码数 据。
S413、第二电子设备接收来自第一电子设备的第二编码信息。
其中，第二编码数据是第一电子设备对第i帧界面图像编码后生成的。第二编码信息还 可以包括第i帧的第一时间戳。第i帧的第一时间戳用于记录第一电子设备生成第i帧界面 图像的时间。
S414、第二电子设备对第二编码数据解码，得到第i帧界面图像。
第二电子设备可以采用第一电子设备在生成第二编码数据时所采用的编解码标准，对第 二编码信息中的第二编码数据解码，得到第i帧界面图像。
S415、第二电子设备显示第三投屏界面。
第二电子设备可以利用第i帧界面图像，生成第三投屏界面，并采用全屏或非全屏的方 式显示第三投屏界面；第三投屏界面的内容是第i帧界面图像的镜像。
需要说明的是，第二电子设备全屏显示或非全屏显示第三投屏界面的具体过程，可以参 见上述S403中关于第二电子设备全屏显示或非全屏显示第一投屏界面的详细介绍，本申请实 施例这里不予赘述。
示例性地，在上述第一种使用场景下，以第一电子设备为笔记本电脑、第二电子设备为 平板电脑为例，如图9中的(a)所示，笔记本电脑520显示的第一界面图像501为编辑一张 图片的编辑界面图像，并指示(或触发)平板电脑505显示第一投屏界面502。其中，笔记本电脑520连接鼠标506。如图9中的(b)所示，笔记本电脑520通过鼠标506接收用户对 第一界面图像的更新操作，如用户使用鼠标506在笔记本电脑520的显示屏上绘制一个心形 的绘画操作。然后，笔记本电脑520响应于该绘画操作，依次显示了绘制心形过程中的M帧 界面图像，显示出一个包括心形的界面图像503。同时，笔记本电脑520向平板电脑505发 送每一帧界面图像的第一编码信息或第二编码信息。由于笔记本电脑520可以在每一帧界面 图像相较于其前一帧界面图像的变化较小时，只对每一帧界面图像中的与其前一帧界面图像不同的内容进行编码得到第一编码数据，将包括第一编码数据的第一编码信息传输至第二电 子设备，减少了编解码耗时以及编码数据的传输时长。因此，平板电脑505也较快地利用接 收到的第一编码信息或第二编码信息显示一个包括心形的投屏界面504。
可以理解的是，本申请提供的多屏协同的显示方法，第一电子设备显示第一界面图像， 并将第一界面图像的内容投屏到第二电子设备上。第一电子设备若接收到对第一界面图像的 更新操作，则显示M帧界面图像，并获取第i帧界面图像中、相较于第i-1帧界面图像的N 个差异区域。如果N个差异区域在第i帧界面图像的面积占比小于预设值，第一电子设备只 对N个差异区域编码得到第一编码数据；然后，将包括第一编码数据的第一编码信息发送给 第二电子设备。其中，N个差异区域为第i帧界面图像相较于第i-1帧界面图像的像素值不 同的像素点。那么，第一电子设备对N个差异区域编码，就是对第i帧界面图像中的与第i-1 帧界面图像不同的内容进行编码，相较于对第i帧界面图像编码，可以减少编解码耗时以及 第一编码数据的大小，而传输较小的第一编码数据也可以缩短第一编码数据的传输时长。进 而，由于减小了编解码耗时和缩短了第一编码数据的传输时长，则第二电子设备可以更快地 利用包括第一编码数据的第一编码信息更新第i-1帧界面图像，显示第i帧界面图像的镜像。 如此，可以解决多屏协同场景下第二电子设备更新界面图像存在的卡顿问题。
本申请实施例中，第一电子设备在获取N个差异区域时，可以将第i帧界面图像中每个 像素点的像素值，与第i-1帧界面图像中对应像素点的像素值进行对比，得到第i帧界面图 像中的差异像素点；再确定包括第i帧界面图像中的差异像素点的N个差异区域。其中，差 异像素点的像素值与第i-1帧界面图像中对应像素点的像素值不同。差异像素点可以包括多 个像素点。
第一电子设备得到差异像素点后，可以按照预设区域形状，确定包括差异像素点的最小 区域；该最小区域就是N个差异区域。其中，预设区域形状可以为矩形、圆形、多边形等等。 N个差异区域的形状为预设区域形状。
或者，第一电子设备得到差异像素点后，可以将差异像素点所在的区域，作为N个差异 区域。
示例性地，以预设区域的形状为矩形为例，说明第一电子设备确定包括差异像素点的最 小矩形区域的过程，最小矩形区域就是N个差异区域。针对如图10中的(a)所示的第i-1 帧界面图像，以及如图10中的(b)所示的第i帧界面图像，第一电子设备比较该第i帧界面图像中像素点的像素值和该第i-1帧界面图像中像素点的像素值，得到第i帧界面图像中的差异像素点。如图10中的(c)中的斜线区域包括第i帧界面图像中的所有差异像素点。 然后，第一电子设备确定包括所有差异像素点的最小矩形区域R1，即N个差异区域R1。
其中，N个差异区域R1的位置信息包括左上顶点P1的横坐标xmin(或左下顶点P3的横 坐标xmin)、右上顶点P2的横坐标xmax(或右下顶点P4的横坐标xmax)、左上顶点P1的纵坐标ymin(或右上顶点P2的纵坐标ymin)、左下顶点P3的纵坐标ymax(或右下顶点P4的纵坐标ymax)。或者，N个差异区域R1的位置信息可以包括左上顶点P1的坐标(xmin，ymin)，右上顶点P2的 坐标是(xmax，ymin)，左下顶点P1的坐标是(xmin，ymax)，右下顶点P4的坐标是(xmax，ymax)。
其中，上述坐标值xmin、xmax、ymin、ymax可以是在第一坐标系下取得的坐标值。该第一坐标 系的原点为第i帧界面图像的左上顶点，第一坐标系的X轴的正方向为从第i帧界面图像的 左上顶点到右上顶点的方向，第一坐标系的Y轴的正方向为从第i帧界面图像的左上顶点到 左下顶点的方向。
需要说明的是，N个差异区域可以包括多个独立的区域，上述图10中以N个差异区域为 1个区域为例，本申请实施例不对此进行限制。
本申请实施例中，第一电子设备响应于更新操作，可以生成第i帧的第一时间戳。第i 帧的第一时间戳用于记录第一电子设备生成第i帧界面图像的时间。其中，第二编码信息还 包括所述第i帧的第一时间戳。
第一电子设备在生成第i帧界面图像的同时，生成第i帧的第一时间戳。另外，第一电 子设备可以将第i帧的第一时间戳携带在第二编码信息中发送给第二电子设备。
需要说明的是，虽然第一电子设备按照生成M帧界面图像的先后顺序，依次向第二电子 设备发送M帧界面图像对应的编码信息(即第一编码信息或第二编码信息)，但是由于编码数 据大小不同和网络波动等原因，第二电子设备接收到多个编码信息(即第一编码信息或第二 编码信息)的顺序可能与生成M帧界面图像的先后顺序不同。例如，第一电子设备依次向第 二电子设备发送第i帧界面图像对应的编码信息(即第一编码信息或第二编码信息)、第i+1 帧界面图像对应的编码信息(即第一编码信息或第二编码信息)时，由于编码数据大小不同 和网络波动等原因，第二电子设备可能先接收到第i+1帧界面图像对应的编码信息，再接收 到第i帧界面图像对应的编码信息。因此，第一编码信息和第二编码信息都可以包括第i帧 的第一时间戳，以指示第二电子设备可以参考第一时间戳，按照时间先后顺序显示界面图像。
本申请实施例中，第一电子设备可以生成第二时间戳，并保存第二时间戳。第二时间戳 用于记录第一电子设备生成第一界面图像的时间，第二时间戳是第1帧的第一基准时间戳， 第一基准时间戳是第一电子设备记录投屏的基准时间。其次，若N个差异区域在第i帧界面 图像的面积占比大于预设值，第一电子设备确定第i+1帧的第一基准时间戳为第i帧的第一 时间戳；若N个差异区域在第i帧界面图像的面积占比小于预设值，第一电子设备确定第i+1 帧的第一基准时间戳为第i帧的第一基准时间戳。第一编码信息还包括：第i帧的第一时间 戳和第i帧的第一基准时间戳。
第一电子设备在显示第一界面图像的时候，可以生成第二时间戳。第一电子设备接收到 上述更新操作时，可以将第二时间戳用作第1帧的第一基准时间戳。然后，第一电子设备可 以在N个差异区域在第i帧界面图像中的面积占比大于或等于预设值的情况下，将第i帧的 第一时间戳用作第i+1帧的第一基准时间戳。第一电子设备在N个差异区域在第i帧界面图 像中的面积占比小于预设值的情况下，将第i帧的第一基准时间戳用作第i+1帧的第一基准 时间戳，即在第i+1帧继续使用第i帧的第一基准时间戳。另外，第一电子设备可以将第i 帧的第一时间戳和第i帧的第一基准时间戳携带在第一编码信息中发送给第二电子设备。
其中，第i帧的第一基准时间戳是第一电子设备记录向第二电子设备投屏第i帧界面图 像的基准时间。第二时间戳就是上述S401中的第一界面图像的时间戳。
需要说明的是，如果第i帧界面图像中、相较于第i-1帧界面图像的N个差异区域(简 称为第i帧的N个差异区域)在第i帧界面图像的面积占比小于预设值，则表示第i帧界面 图像与第i-1帧界面图像的差异较小。其次，如果第i-1帧界面图像中、相较于第i-2帧界面图像的N个差异区域(简称为第i-1帧的N个差异区域)在第i-2帧界面图像的面积占比 大于预设值，则表示第i-1帧界面图像相较于第i-2帧界面图像差异较大。而第i帧界面图 像与第i-1帧界面图像的差异较小，则第i帧界面图像与该第i-2帧界面图像差异也较大。
同理可知，如果第i-k帧界面图像中、相较于第i-k-1帧界面图像的N个差异区域(简 称为第i-k帧的N个差异区域)在第i-k帧界面图像的面积占比大于预设值，则表示第i-k 帧界面图像与第i-k-1帧界面图像及其之前的界面图像的差异都较大，k为正整数。其次，如果从第i-k+1帧界面图像到第i帧界面图像中任一帧的N个差异区域在任一帧界面图像中的面积占比都小于预设值，则表示第i帧界面图像与第i-k帧界面图像及其到第i帧界面图像之间的界面图像的差异较小。因此，若因为编码数据大小不同和网络波动等原因，第二电子设备在第i-k帧界面图像之前先接收到第i帧界面图像的第一编码信息；并且，在显示第i-k帧界面图像之前利用接收到的第一编码信息显示第i帧界面图像的内容，则会出现画面错位的问题。
针对画面错位的问题，第一电子设备确定N个差异区域在第i帧界面图像的面积占比大 于或等于预设值时，将第i帧的第一时间戳用作第i+1帧的第一基准时间戳，否则，将第i 帧的第一基准时间戳用作第i+1帧的第一基准时间戳。结合上述“第i-k帧的N个差异区域 在第i-k帧界面图像的面积占比大于预设值”可知，第i-k+1帧的第一基准时间戳等于第i-k 帧界面图像的第一时间戳。结合上述“从第i-k+1帧界面图像到第i帧界面图像中任一帧的 N个差异区域在任一帧界面图像中的面积占比都小于预设值”可知，从第i-k+1帧界面图像 到第i帧中任一帧的第一基准时间戳等于第i-k+1帧的第一基准时间戳。由于第i-k+1帧的 第一基准时间戳等于第i-k帧界面图像的第一时间戳，因此，第i帧的第一基准时间戳等于 第i-k帧界面图像的第一时间戳。
其次，第一电子设备在第一编码信息中携带有第i帧的第一时间戳和第i帧的第一基准 时间戳。因为第i帧的第一基准时间戳等于第i-k帧界面图像的第一时间戳，则第i帧的第 一基准时间戳能够用于指示第二电子设备将第i帧界面图像的内容显示在上述第i-k帧界面 图像之后。如此，就可以避免由于将第i帧界面图像的内容显示在第i-k帧界面图像之前所 导致的画面错位的问题。
示例性地，以M＝5为例，说明第一电子设备生成第一基准时间戳的过程。如图11A所示， 第一电子设备先显示第一界面图像，并生成第二时间戳T0。然后，第一电子设备接收到更新 操作，依次执行以下过程：显示第1帧界面图像与生成第1帧的第一时间戳T1，显示第2帧 界面图像与生成第2帧的第一时间戳T2，显示第3帧界面图像与生成第3帧的第一时间戳T3， 显示第4帧界面图像与生成第4帧的第一时间戳T4，显示第5帧界面图像与生成第5帧的第 一时间戳T5。其中，时间轴的箭头方向表示时间顺序。
如图11B所示，第一电子设备在接收到更新操作时，还可以将第二时间戳T0作为第1帧 的第一基准时间戳T11-JZ。第一电子设备确定第1帧界面图像相较于第一界面图像的N个差异 区域(简称为第1帧的N个差异区域)在第1帧界面图像的面积占比大于预设值，将第1帧 的第一时间戳T1用作第2帧的第一基准时间戳T21-JZ。第一电子设备确定第2帧界面图像相 较于第1帧界面图像的N个差异区域(简称为第2帧的N个差异区域)在第2帧界面图像的 面积占比小于预设值，将第2帧的第一基准时间戳T21-JZ用作第3帧的第一基准时间戳T31-JZ。 第一电子设备确定第3帧界面图像相较于第2帧界面图像的N个差异区域(简称为第3帧的 N个差异区域)在第3帧界面图像的面积占比小于预设值，将第3帧的第一基准时间戳T31-JZ用作第4帧的第一基准时间戳T41-JZ。第一电子设备确定第4帧界面图像相较于第3帧界面图 像的N个差异区域(简称为第4帧的N个差异区域)在第4帧界面图像的面积占比大于预设 值，将第4帧的第一时间戳T4用作第5帧的第一基准时间戳T51-JZ。第一电子设备还确定第5 帧界面图像相较于第4帧界面图像的N个差异区域(简称为第5帧的N个差异区域)在第5帧界面图像的面积占比小于预设值。
其次，如图11A所示，第一电子设备依次编码第1帧界面图像(即I帧或P帧)、第2帧的N个差异区域、第3帧的N个差异区域、第4帧界面图像(即I帧或P帧)、第5帧的N个 差异区域。其中，第一电子设备分别对完整的第1帧界面图像和完整的第4帧界面图像编码， 则第1帧界面图像可以是I帧或P帧，第4帧界面图像可以是I帧或P帧。
本申请实施例中，为了区分第一编码信息和第二编码信息，第一编码信息还可以包括表 征N个差异区域的第一标识，第二编码信息还可以包括表征第i帧界面图像的第二标识。
示例性地，若第一电子设备向第二电子设备发送第一编码信息所采用的传输路径，和发 送第二编码信息所采用的传输路径不同，则第一标识可以是指与发送第一编码信息所采用的 传输路径相关的信息(如端口号)，第二标识可以是指与发送第二编码信息所采用的传输路径 相关的信息(如端口号)。
进一步地，第一电子设备对N个差异区域的图像内容编码所采用的编解码标准，与对第 i帧界面图像编码所采用的编解码标准可以不同，则第一标识可以用于指示第二电子设备采 用第一电子设备在生成第一编码数据时所采用的编解码标准，对第一编码数据解码；第二标 识可以用于指示第二电子设备采用第一电子设备在生成第二编码数据时所采用的编解码标准， 对第二编码数据解码。
本申请实施例中，第一编码信息的数据结构可以如下表1所示，第一编码信息中不同的 字节存放不同的数据，第一编码信息具体包括：(1)表示第一编码数据的编码类型的数据， 可以取值0或1，0表示第一编码数据为原始数据(即N个差异区域内的所有像素点的像素值)， 1表示JPEG或其他的编码方式；(2)第i-1帧界面图像的宽度videoWidth；(3)第i-1帧界 面图像的高度videoHeight，宽度和高度的单位都可以为像素；(4)第i帧的第一基准时间 戳Basetimestamp；(5)第i帧的第一时间戳Playtimestamp；(6)差异区域的总个数N；(7) 第一编码数据的总长度(或者说净荷域(payload)的长度len)；(8)N个差异区域中第1个 差异区域的位置信息，如第1个差异区域的xmin、xmax、ymin、ymax；(9)第1个差异区域在第一编码数据中所占的数据长度len1(或者说第1个差异区域的长度len1)；(10)第1个差异区域的编码数据data1，len1就是data1的长度；(11)第N个差异区域的位置信息，如第N个 差异区域的xmin、xmax、ymin、ymax；(12)第N个差异区域在第一编码数据中所占的数据长度lenN(或者说第N个差异区域的长度lenN)；(13)第N个差异区域的编码数据dataN，lenN就是dataN的长度。
表1
Figure BDA0002809414960000181
其中，unit8表示数据为无符号的8比特(bit)整数，unit32表示数据为无符号的32bit 整数，unit64表示数据为无符号的64bit整数，unit32[4]表示数据为无符号的32bit整数 且长度等于4，unit8[len1]表示数据为无符号的32bit整数且长度等于len1，unit8[lenN] 表示数据为无符号的32bit整数且长度等于lenN。第一编码信息可以分为帧头和净荷域 (payload)，用于存放不同的数据。
本申请实施例中，第二编码信息还包括：第i帧的第一时间戳，第i帧的第一时间戳用 于记录第一电子设备生成第i帧界面图像的时间。第二电子设备在第二电子设备接收来自第 一电子设备的第二编码信息之后，确定第i+1帧的第二基准时间戳为第i帧的第一时间戳， 第二基准时间戳是第二电子设备记录投屏的基准时间。
示例性地，第二编码信息可以包括上述第二标识。第二电子设备可以在确定第二编码信 息包括上述第二标识时，确定第i+1帧的第二基准时间戳为第i帧的第一时间戳。
本申请实施例中，第一编码信息还包括：第i帧的第一时间戳和第i帧的第一基准时间 戳，第一基准时间戳是第一电子设备记录投屏的基准时间。第二电子设备在接收来自第一电 子设备的第一编码信息之后，第二电子设备解码第一编码数据，得到N个差异区域的图像内 容之前，第二电子设备确定第i帧的第一时间戳所记录的时间晚于第i帧的第一基准时间戳 所记录的时间，并且第i帧的第一基准时间戳所记录的时间等于第i帧的第二基准时间戳所 记录的时间。
第二电子设备接收来自第一电子设备的第一编码信息之后，确定第i帧的第一时间戳所 记录的时间晚于第i帧的第一基准时间戳所记录的时间、且第i帧的第一基准时间戳所记录 的时间等于第i帧的第二基准时间戳所记录的时间时，才解码第一编码数据，得到N个差异 区域的图像内容。
进一步地，第二电子设备接收来自第一电子设备的第一编码信息之后，还可以确定第i+1 帧的第二基准时间戳为第i帧的第二基准时间戳。
可以理解的是，第二电子设备如果接收到第i-1帧界面图像的第二编码信息(简称为第 i-1帧的第二编码信息)，则将第i-1帧的第二编码信息中的第i-1帧的第一时间戳用作第i 帧的第二基准时间戳(即第i帧的第二基准时间戳等于第i-1帧的第一时间戳)，还利用第 i-1帧的第二编码信息显示第i-1帧界面图像的内容。其中，接收到第i-1帧的第二编码信 息表示第i-1帧的N个差异区域在第i-1帧界面图像的面积占比大于预设值；而第i-1帧的 N个差异区域在第i-1帧界面图像的面积占比大于预设值，表示第i-1帧界面图像与第i-2 帧界面图像的差异较大。那么，第i帧界面图像与第i-2帧界面图像的差异更大。然后，如 果第二电子设备再接收到第i帧界面图像的第一编码信息(简称为第i帧的第一编码信息)， 则表示第i帧的N个差异区域在第i帧界面图像的面积占比小于预设值；而第i帧的N个差 异区域在第i帧界面图像的面积占比小于预设值，表示第i帧界面图像与第i-1帧界面图像 的差异较小。其中，第i帧界面图像的第一编码信息可以包括第i帧的第一基准时间戳。第 一电子设备在确定第i-1帧的N个差异区域在第i-1帧界面图像的面积占比大于预设值时， 将第i-1帧的第一时间戳用作第i帧的第一基准时间戳，即第i帧的第一基准时间戳等于第 i-1帧的第一时间戳；再结合上述第i帧的第二基准时间戳等于第i-1帧的第一时间戳，则 可知第i帧的第一基准时间戳等于第i帧的第二基准时间戳。
综上可知，第i帧的第一基准时间戳等于第i帧的第二基准时间戳，表示第i帧界面图 像与第i-1帧界面图像的差异较小，还表示第二电子设备已显示出第i-1帧界面图像的内容。 那么，第二电子设备在第i帧的第一基准时间戳等于第i帧的第二基准时间戳时，利用第i 帧的第一编码信息显示第i帧界面图像的内容。因为第i帧界面图像的内容与已显示出的第 i-1帧界面图像的内容差异较小，就可以避免因为第二电子设备接收M帧界面图像对应的编 码信息(即第一编码信息或第二编码信息)的顺序与第一电子设备生成M帧界面图像的先后 顺序不同导致画面错位的问题。
本申请实施例中，第二电子设备可以确定第i帧的第一时间戳所记录的时间不晚于(即 早于或等于)第i帧的第一基准时间戳所记录的时间、或者第i帧的第一基准时间戳所记录 的时间早于第i帧的第二基准时间戳所记录的时间，不处理第i帧界面图像的第一编码信息， 或者删除第一编码信息。在第i帧的第一时间戳所记录的时间晚于第i帧的第一基准时间戳 所记录的时间、且第i帧的第一基准时间戳所记录的时间晚于第i帧的第二基准时间戳所记 录的时间的情况下，不处理第i帧界面图像的第一编码信息。
进一步地，第二电子设备在第i帧的第一时间戳所记录的时间晚于第i帧的第一基准时 间戳所记录的时间、且第i帧的第一基准时间戳所记录的时间晚于第i帧的第二基准时间戳 所记录的时间的情况下，又接收到第j帧界面图像的第二编码信息(简称为第j帧的第二编 码信息)；将第j帧的第一时间戳用作第j+1帧的第二基准时间戳，并利用第j帧的第二编码 信息更新界面图像。第二电子设备还可以在第i帧的第一基准时间戳所记录的时间等于第j+1 帧的第二基准时间戳所记录的时间时，对第i帧界面图像的第一编码信息执行S409-S410。
可以理解的是，一方面，第二电子设备接收到第i帧的第一编码信息包括第i帧的第一 时间戳和第i帧的第一基准时间戳。如果第i帧的第一时间戳所记录的时间不晚于第i帧的 第一基准时间戳所记录的时间，则第i帧的第一编码信息是错误的；因此，第二电子设备不 处理该第一编码信息。如果第i帧的第一基准时间戳所记录的时间早于第i帧的第二基准时 间戳所记录的时间，表示第二电子设备已经接收第i+h帧界面图像的第二编码信息(简称为 第i+h帧的第二编码信息)，并将第i+h帧的第二编码信息中的第i+h帧的第一时间戳用作第 i帧的第二基准时间戳。第二电子设备还利用第i+h帧的第二编码信息显示出第i+h帧界面 图像的内容，则第i帧界面图像的内容和当前显示出的界面图像的内容差异较大；因此，第 二电子设备不处理第i帧的第一编码信息，即不显示第i帧界面图像的内容，避免了画面错 位的问题。其中，h为一个正整数。
另一方面，第二电子设备在接收到第i帧的的第一编码信息包括第i帧的第一时间戳和 第i帧的第一基准时间戳。如果第i帧的第一时间戳所记录的时间晚于第i帧的第一基准时 间戳所记录的时间、且第i帧的第一基准时间戳所记录的时间晚于第i帧的第二基准时间戳 所记录的时间，表示第i帧的第一基准时间戳等于第i-k帧的第一时间戳，第i帧的第二基 准时间戳等于第i-k-q帧的第一时间戳。其中，第i帧的第二基准时间戳等于第i-k-q帧的 第一时间戳，又表示第二电子设备还没有接收到第i-k帧的第二编码信息，第二电子设备只 显示出第i-k帧之前的界面图像的内容。其次，第i帧的第一基准时间戳等于第i-k帧的第 一时间戳，又表示相较于第i帧界面图像和第i-k帧之前的界面图像的差异，第i帧界面图 像和第i-k帧界面图像的差异更小；进而，可以知道第i帧界面图像的内容和第二电子设备 当前显示出的界面图像的内容差异较大。因此，不处理第i帧的第一编码信息，即不显示第 i帧界面图像的内容。然后，如果第二电子设备又接收到第j帧的第二编码信息，将第j帧 的第二编码信息中的第j帧的第一时间戳用作第j+1帧的第二基准时间戳，并利用第j帧的 第二编码信息显示第j帧界面图像的内容。此时，如果第i帧的第一基准时间戳等于第j+1 帧的第二基准时间戳，表示第j+1帧就是第i-k帧，即第二电子设备显示出与第i帧界面图 像的差异较小的第i-k帧界面图像的内容。此时，第二电子设备再利用第i帧的第一编码信 息显示第i帧界面图像的内容，就可以避免因为第二电子设备接收M帧界面图像对应的编码 信息(即第一编码信息或第二编码信息)的顺序与第一电子设备生成M帧界面图像的先后顺 序不同导致画面错位的问题。其中，k、q为一个正整数,k和q可以相等或不相等。
示例性地，继续以图11中的5帧界面图像为例，如图12中的(a)所示，第一电子设备依次向第二电子设备发送第1帧界面图像的第二编码信息(简称为第1帧的第二编码信息)、第2帧界面图像的第一编码信息(简称为第2帧的第一编码信息)、第3帧界面图像的第一编码信息(简称为第3帧的第一编码信息)、第4帧界面图像的第二编码信息(简称为第4帧的第二编码信息)、第5帧界面图像的第一编码信息(简称为第5帧的第一编码信息)。其中， 第1帧的第二编码信息包括第1帧的第一时间戳T1。第2帧的第一编码信息包括：第2帧的 第一时间戳T2、第2帧的第一基准时间戳T21-jz＝T1。第3帧的第一编码信息包括：第3帧的 第一时间戳T3、第3帧的第一基准时间戳T31-jz＝T21-jz＝T1。第4帧的第二编码信息包括第4帧 的第一时间戳T4。第5帧的第一编码信息包括：第5帧的第一时间戳T5、第5帧的第一基准 时间戳T51-jz＝T4。第一电子设备可以通过第一传输路径发送第一编码信息，通过第二传输路径发送第二编码信息。然而，由于编码数据大小不同和网络波动等原因，第二电子设备可能依次接收第1帧界面图像的第二编码信息、第2帧界面图像的第一编码信息、第3帧界面图像的第一编码信息、第5帧界面图像的第一编码信息、第4帧界面图像的第二编码信息。
如图12中的(b)所示，第二电子设备可以接收第1帧的第二编码信息(包括：第1帧的第一时间戳T1)，则显示第1帧界面图像的内容，并确定第2帧的第二基准时间戳T22-jz＝T1。 第二电子设备再接收第2帧的第一编码信息(包括：第2帧的第一时间戳T2、第2帧的第一 基准时间戳T21-jz＝T1)，在T21-jz＝T22-jz＝T1时显示第2帧界面图像的内容，并确定第3帧的第 二基准时间戳T32-jz＝T22-jz(T32-jz＝T22-jz＝T1)。第二电子设备再接收第3帧的第一编码信息(包 括：T3、T31-jz＝T21-jz＝T1)，在T31-jz＝T32-jz时显示第3帧界面图像的内容，并确定第4帧的第二 基准时间戳T42-jz＝T32-jz(T42-jz＝T32-jz＝T22-jz＝T1)。第二电子设备再接收第5帧的第一编码信息 (包括：T5、T51-jz＝T4)，在T51-jz≠T42-jz时不处理第5帧的第一编码信息。
最后，第二电子设备接收到第4帧的第二编码信息(包括T4)，显示第4帧界面图像的 内容，并确定第5帧的第二基准时间戳T52-jz＝T4。然后，第一电子设备在T51-jz＝T52-jz时显示 第5帧界面图像的内容。
请参照图13，本申请实施例提供一种多屏协同的显示方法，应用于上述第一使用场景下 的第一电子设备和第二电子设备中，第一电子设备连接第二电子设备。如图13所示，在S401 之后、且S402之前，该显示方法可以包括S601。在S403之后，该显示方法可以包括S602。 在S405之后，该显示方法可以包括S603。在S407之后、且S408之前，该显示方法可以包 括S604。该显示方法中的S408可以包括S605。在S409之后，该显示方法可以包括S606。该显示方法中的S410可以包括S607。该显示方法中的S412可以包括S608。在S414之后， 该显示方法可以包括S609。
S601、第一电子设备生成第二时间戳，确定第二时间戳是第1帧的第一基准时间戳。
其中，第二时间戳用于记录第一电子设备生成第一界面图像的时间；第一基准时间戳是 所述第一电子设备记录投屏的基准时间。
S602、第二电子设备确定第1帧的第二基准时间戳为第二时间戳。
S603、第一电子设备生成第i帧的第一时间戳。
其中，第i帧的第一时间戳用于记录第一电子设备生成第i帧界面图像的时间。
S604、第一电子设备确定第i+1帧的第一基准时间戳为第i帧的第一基准时间戳。
S605、第一电子设备向第二电子设备发送第一编码信息；第一编码信息包括：第一编码 数据、第i帧的第一时间戳、第i帧的第一基准时间戳。
其中，第一编码信息还包括第i帧界面图像中相较于第i-1帧界面图像的N个差异区域 的位置信息(即N个差异区域在第i帧界面图像中的位置信息)。
S606、第二电子设备确定第i+1帧的第二基准时间戳为第i帧的第二基准时间戳。
S607、第二电子设备在第i帧的第一时间戳所记录的时间晚于第i帧的第一基准时间戳 所记录的时间，并且第i帧的第一基准时间戳所记录的时间等于第i帧的第二基准时间戳所 记录的时间的情况下，显示第二投屏界面。
S608、第一电子设备向第二电子设备发送第二编码信息；第二编码信息包括：第二编码 数据、第i帧的第一时间戳。
S609、第二电子设备确定第i+1帧的第二基准时间戳为第i帧的第一时间戳。
本申请实施例中，在上述反控场景下，第一电子设备连接第二电子设备后，第一电子设 备将第一电子设备显示的界面图像的内容投屏第二电子设备上，还可以由第二电子设备接收 用户对该界面图像的更新操作。第二电子设备响应于该更新操作，指示第一电子设备更新该 界面图像，并从第一电子设备接收更新后的界面图像，显示更新后的界面图像的内容。具体 地，如图14所示，上述反控场景下，应用于第一电子设备和第二电子设备的多屏协同的显示 方法在S403之后、且在405之前，可以执行S701-S704，不执行S404。
S701、第二电子设备接收用户对第一界面图像的更新操作。
其中，更新操作用于触发第一电子设备依次显示M帧界面图像。
S702、第二电子设备向第一电子设备发送更新指令，更新指令是对第一投屏界面的更新 操作触发的。
S703、第一电子设备接收来自第二电子设备的更新指令。
其中，更新指令用于触发第一电子设备依次显示M帧界面图像。
S704、响应于更新指令，显示第i帧界面图像，并获取第i帧界面图像中、相较于第i-1 帧界面图像的N个差异区域。
需要说明的是，S703中第一电子设备响应于更新指令显示第i帧界面图像的详情过程可 以参见上述S404中关于第一电子设备响应于更新操作显示第i帧界面图像的介绍，本申请实 施例这里不予赘述。
示例性地，在上述反控场景下，以第一电子设备为手机、第二电子设备为笔记本电脑为 例，如图15中的(a)所示，手机300显示的第一界面图像501为编辑一张图片的编辑界面 图像，并指示(或触发)笔记本电脑510显示第一投屏界面502。如图15中的(b)所示， 笔记本电脑510无线连接手写笔507，笔记本电脑510通过手写笔507接收用户对第一界面 图像的更新操作，如用户通过手写笔507在手机300的显示屏上绘制一个心形的绘画操作。 然后，手机300响应于该绘画操作，依次显示了绘制心形过程中的M帧界面图像，显示出一 个包括心形的界面图像503。同时，手机300向笔记本电脑510发送每一帧界面图像的第一 编码信息或第二编码信息。由于手机300可以在每一帧界面图像相较于其前一帧界面图像的变化较小时，只对每一帧界面图像中的与其前一帧界面图像不同的内容进行编码得到第一编 码数据，将包括第一编码数据的第一编码信息传输至第二电子设备，减少了编解码耗时以及 编码数据的传输时长。因此，笔记本电脑510也较快地利用接收到的第一编码信息或第二编 码信息显示一个包括心形的投屏界面504。
示例性地，在上述反控场景下，以第一电子设备为笔记本电脑、第二电子设备为平板电 脑为例，如图16中的(a)所示，笔记本电脑520显示的第一界面图像501为编辑一张图片 的编辑界面图像，并指示(或触发)平板电脑505显示第一投屏界面502。如图16中的(b)所示，平板电脑505无线连接手写笔507，平板电脑505通过手写笔507接收用户对第一界 面图像的更新操作，如用户通过手写笔507在笔记本电脑520的显示屏上绘制一个心形的绘画操作。然后，笔记本电脑520响应于该绘画操作，依次显示了绘制心形过程中的M帧界面图像，显示出一个包括心形的界面图像503。同时，笔记本电脑520向平板电脑505发送每 一帧界面图像的第一编码信息或第二编码信息。由于笔记本电脑520可以在每一帧界面图像相较于其前一帧界面图像的变化较小时，只对每一帧界面图像中的与其前一帧界面图像不同 的内容进行编码得到第一编码数据，将包括第一编码数据的第一编码信息传输至第二电子设 备，减少了编解码耗时以及编码数据的传输时长。因此，平板电脑505也较快地利用接收到 的第一编码信息或第二编码信息显示一个包括心形的投屏界面504。
示例性地，如下表2所示，反控场景下，第一电子设备显示第一界面图像时接收来自第 二电子设备的更新指令。第一电子设备采用常规技术(如H264编码技术)，响应于更新指令， 显示M帧界面图像，并指示(或触发)第二电子设备显示M帧界面图像；在第二电子设备显 示M帧界面图像的过程中，测量到第二电子设备显示M帧界面图像的帧率(即投屏帧率)等 于48FPS；还测量到第二电子设备从接收到更新操作到显示出M帧界面图像所需时长为130ms， 即第一电子设备对第二电子设备的反控时长为130ms。同样场景下，第一电子设备采用本申 请实施例提供的方法，响应于更新指令，显示M帧界面图像，并指示(或触发)第二电子设 备显示M帧界面图像；在第二电子设备显示M帧界面图像的过程中，测量到第二电子设备显 示M帧界面图像的帧率(即投屏帧率)等于60FPS；还测量到第二电子设备从接收到更新操 作到显示出M帧界面图像所需时长为58ms，即第一电子设备对第二电子设备的反控时长为 58ms。
表2
投屏帧率 反控时长
H264编码技术 48FPS 130ms
本申请实施例提供的方法 60FPS 58ms
可以看出，采用本申请实施例提供的方法，第一电子设备对第二电子设备的反控时延更 小，并且，第二电子设备显示M帧界面图像的帧率等于60FPS，表示第二电子设备更新界面 图像不卡顿。
请参照图17，本申请实施例提供一种多屏协同的显示方法，应用于上述反控场景下的第 一电子设备和第二电子设备中，第一电子设备连接第二电子设备。如图17所示，在S401之 后、且S402之前，该显示方法可以包括S801。在S403之后，该显示方法可以包括S802。在 S704之后，该显示方法可以包括S803。在S407之后、且S408之前，该显示方法可以包括 S804。该显示方法中的S408可以包括S805。在S409之后，该显示方法可以包括S806。该显 示方法中的S410可以包括S807。该显示方法中的S412可以包括S808。在S414之后，该显示方法可以包括S809。
S801、第一电子设备生成第二时间戳，确定第二时间戳是第1帧的第一基准时间戳。
其中，第二时间戳用于记录第一电子设备生成第一界面图像的时间；第一基准时间戳是 所述第一电子设备记录投屏的基准时间。
S802、第二电子设备确定第1帧的第二基准时间戳为第二时间戳。
S803、第一电子设备生成第i帧的第一时间戳。
S804、第一电子设备确定第i+1帧的第一基准时间戳为第i帧的第一基准时间戳。
S805、第一电子设备向第二电子设备发送第一编码信息；第一编码信息包括：第一编码 数据、第i帧的第一时间戳、第i帧的第一基准时间戳。
其中，第一编码信息还包括第i帧界面图像中相较于第i-1帧界面图像的N个差异区域 的位置信息(即N个差异区域在第i帧界面图像中的位置信息)。
S806、第二电子设备确定第i+1帧的第二基准时间戳为第i帧的第二基准时间戳。
S807、第二电子设备在第i帧的第一时间戳所记录的时间晚于第i帧的第一基准时间戳 所记录的时间，并且第i帧的第一基准时间戳所记录的时间等于第i帧的第二基准时间戳所 记录的时间的情况下，显示第二投屏界面。
S808、第一电子设备向第二电子设备发送第二编码信息；第二编码信息包括：第二编码 数据、第i帧的第一时间戳。
S809、第二电子设备确定第i+1帧的第二基准时间戳为第i帧的第一时间戳。
可以理解的是，上述方法可以由多屏协同的显示装置实现。多屏协同的显示装置为了实 现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很 容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能 够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动 硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个 特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例 的范围。
本申请实施例可以根据上述方法示例对上述电子设备等进行功能模块的划分，例如，可 以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。 上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说 明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时 可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图18示出了上述实施例中所涉及的第 一电子设备一种可能的结构示意图，第一电子设备900连接第二电子设备，第一电子设备900 包括显示模块901、发送模块902、接收模块903和协同处理模块904。其中，显示模块901， 用于显示第一界面图像；协同处理模块904，用于对第一界面图像编码得到第一界面图像的 编码数据；发送模块902，用于向第二电子设备发送第一界面图像的编码信息；接收模块903， 用于接收对第一界面图像的更新操作，更新操作用于触发第一电子设备900依次显示M帧界 面图像，M为正整数；协同处理模块904，还用于响应于更新操作，显示第i帧界面图像，并 获取第i帧界面图像中、相较于第i-1帧界面图像的N个差异区域；若N个差异区域在第i 帧界面图像的面积占比小于预设值，对N个差异区域的图像内容进行编码，得到第一编码数 据；发送模块902，还用于向第二电子设备发送第一编码信息。
其中，第一界面图像的编码信息包括第一界面图像的编码数据。第一界面图像的编码信 息用于触发第二电子设备基于第一界面图像的编码信息显示第一投屏界面，第一投屏界面的 内容是第一界面图像的镜像。第一编码信息包括第一编码数据和N个差异区域在第i帧界面 图像中的位置信息；第一编码信息用于触发第二电子设备基于第一编码信息更新第i-1帧界 面图像得到第二投屏界面并显示第二投屏界面，第二投屏界面的内容是第i帧界面图像的镜 像；i在{1，……，M}中依次取值；第0帧界面图像为第一界面图像；N个差异区域中像素点 的像素值与第i-1帧界面图像中对应像素点的像素值不同，N为正整数。
在一种可能的实施方式中，接收模块903，用于接收对第一界面图像的更新操作，包括： 接收模块903，具体用于接收来自第二电子设备的更新指令，或者，接收用户对第一电子设 备900显示的第一界面图像的更新操作；更新指令是对第一投屏界面的更新操作触发的。
另一种可能的实施方式中，协同处理模块904，用于获取第i帧界面图像中、相较于第 i-1帧界面图像的N个差异区域，包括：协同处理模块904，具体用于将第i帧界面图像中每 个像素点的像素值，与第i-1帧界面图像中对应像素点的像素值进行对比，得到第i帧界面 图像中的差异像素点；确定包括第i帧界面图像中的差异像素点的N个差异区域。其中，差 异像素点的像素值与第i-1帧界面图像中对应像素点的像素值不同。
另一种可能的实施方式中，协同处理模块904，还用于若N个差异区域在第i帧界面图 像的面积占比大于预设值，对第i帧界面图像进行编码，得到第二编码数据；发送模块902， 还用于向第二电子设备发送第二编码信息。其中，第二编码信息包括第二编码数据，第二编 码信息用于触发第二电子设备基于第二编码信息显示第三投屏界面，第三投屏界面的内容是 第i帧界面图像的镜像。
另一种可能的实施方式中，协同处理模块904，还用于：响应于更新操作，生成第i帧 的第一时间戳；第i帧的第一时间戳用于记录第一电子设备生成第i帧界面图像的时间；其 中，第二编码信息还包括第i帧的第一时间戳。
另一种可能的实施方式中，协同处理模块904，还用于：生成第二时间戳，并保存第二 时间戳；若N个差异区域在第i帧界面图像的面积占比大于预设值，确定第i+1帧的第一基 准时间戳为第i帧的第一时间戳；若N个差异区域在第i帧界面图像的面积占比小于预设值， 确定第i+1帧的第一基准时间戳为第i帧的第一基准时间戳。其中，第二时间戳用于记录第 一电子设备生成第一界面图像的时间，第二时间戳是第1帧的第一基准时间戳，第一基准时 间戳是第一电子设备记录投屏的基准时间。第一编码信息还包括：第i帧的第一时间戳和第 i帧的第一基准时间戳。
本申请实施例还提供一种电子设备，该电子设备是第一电子设备。该第一电子设备可以 包括处理器和存储器。其中，存储器用于存储计算机程序代码，计算机程序代码包括计算机 指令；处理器用于运行计算机指令，使得第一电子设备执行上述方法实施例中手机300或笔 记本电脑520执行的各个功能或者步骤。其中，第一电子设备的其他硬件结构可以参考上述 实施例对图6所示的手机300的详细介绍，本申请实施例这里不予赘述。
在采用对应各个功能划分各个功能模块的情况下，图19示出了上述实施例中所涉及的第 二电子设备一种可能的结构示意图，第二电子设备1000连接第一电子设备，第二电子设备 1000包括：显示模块1001、接收模块1002和协同处理模块1003。其中，显示模块1001，用 于显示第一投屏界面，第一投屏界面的内容是第一电子设备显示的第一界面图像的镜像；接 收模块1002，用于接收来自第一电子设备的第一编码信息；其中，第一编码信息包括第一编 码数据、以及第i帧界面图像中相较于第i-1帧界面图像的N个差异区域的位置信息；协同 处理模块1003，用于解码第一编码数据，得到N个差异区域的图像内容；显示模块1001，还 用于显示第二投屏界面。
其中，第i帧界面图像是第一电子设备响应于更新操作生成的，更新操作用于触发第一 电子设备依次显示M帧界面图像，M为正整数，i在{1，……，M}中依次取值，第0帧界面图 像为第一界面图像。N个差异区域中像素点的像素值与第i-1帧界面图像中对应像素点的像 素值不同，N为正整数；第一编码数据是对N个差异区域的图像内容编码得到的。第二投屏 界面的内容是第i帧界面图像的镜像，第i帧界面图像是根据N个差异区域的图像内容和位 置信息更新第i-1帧界面图像得到的。
在一种可能的实施方式中，第二电子设备1000还包括发送模块1004。接收模块1002， 还用于在接收来自第一电子设备的第一编码信息之前，接收用户对第一投屏界面的更新操作； 发送模块1004，用于响应于更新操作，向第一电子设备发送更新指令；更新指令用于触发第 一电子设备依次显示M帧界面图像。
其中，发送模块通过与第二电子设备1000连接的外部设备接收对第一投屏界面的更新操 作；其中，外部设备包括第二电子设备1000的显示屏、遥控器、鼠标或者手写笔中的任一种。
另一种可能的实施方式中，接收模块1002，还用于接收来自第一电子设备的第二编码信 息；其中，第二编码信息包括第二编码数据，第二编码数据是对第i帧界面图像编码得到的； 协同处理模块1003，还用于对第二编码数据解码，得到第i帧界面图像；显示模块1001，还 用于显示第三投屏界面；第三投屏界面的内容是第i帧界面图像的镜像。
另一种可能的实施方式中，第二编码信息还包括：第i帧的第一时间戳，第i帧的第一 时间戳用于记录第一电子设备生成第i帧界面图像的时间。协同处理模块1003，还用于在接 收模块接收来自第一电子设备的第二编码信息之后，确定第i+1帧的第二基准时间戳为第i 帧的第一时间戳，第二基准时间戳是第二电子设备记录投屏的基准时间。
另一种可能的实施方式中，第一编码信息还包括：第i帧的第一时间戳和第i帧的第一 基准时间戳，第一基准时间戳是第一电子设备记录投屏的基准时间。协同处理模块1003，还 用于在接收模块接收来自第一电子设备的第一编码信息之后，解码第一编码数据，得到N个 差异区域的图像内容之前，确定第i帧的第一时间戳所记录的时间晚于第i帧的第一基准时 间戳所记录的时间，并且第i帧的第一基准时间戳所记录的时间等于第i帧的第二基准时间 戳所记录的时间。
本申请实施例还提供一种电子设备，该电子设备是第二电子设备。该第二电子设备包括 处理器和存储器。其中，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令； 处理器用于运行计算机指令，使得第二电子设备执行上述方法实施例中笔记本电脑510或平 板电脑505执行的各个功能或者步骤。其中，第二电子设备的其他硬件结构可以参考上述实 施例对图6所示的手机300的详细介绍，本申请实施例这里不予赘述。
本申请另一实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算 机指令，当计算机指令在第一电子设备(如图6、图8和图15中任一附图所示的手机300、 图9或图16所示的笔记本电脑520、图18所示的第一电子设备900)上运行时，使得第一电 子设备执行上述方法实施例中手机300、笔记本电脑520或第一电子设备900执行的各个功 能或者步骤。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、 随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory， CD-ROM)、磁带、软盘和光数据存储设备等。
本申请另一实施例提供了一种计算机程序产品，包括一条或多条指令，该一条或多条指 令可以在第一电子设备(如图6、图8和图15中任一附图所示的手机300、图9或图16所示 的笔记本电脑520，图18所示的第一电子设备900)上运行，使得第一电子设备执行上述方 法实施例中手机300、笔记本电脑520或第一电子设备900执行的各个功能或者步骤。
本申请另一实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算 机指令，当计算机指令在第二电子设备(如图8或图15所示的笔记本电脑510、图9或图16 所示的平板电脑505、图19所示的第二电子设备1000)上运行时，使得第二电子设备执行上 述方法实施例中笔记本电脑510、平板电脑505或第二电子设备1000执行的各个功能或者步 骤。例如，该计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备 等。
本申请另一实施例提供了一种计算机程序产品，包括一条或多条指令，该一条或多条指 令可以在第二电子设备(如图8或图15所示的笔记本电脑510、图9或图16所示的平板电 脑505、图19所示的第二电子设备1000)上运行，使得第二电子设备执行上述方法实施例中 笔记本电脑510、平板电脑505或第二电子设备1000执行的各个功能或者步骤。
通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简 洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分 配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的 全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的 方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅 仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合 或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相 互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连 接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可 以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。 可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个 单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以 采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储 在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有 技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件 产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或 处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质 包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本 申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的 保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种多屏协同的显示方法，其特征在于，应用于第一电子设备，所述第一电子设备连接第二电子设备，所述方法包括：
所述第一电子设备显示第一界面图像，并对所述第一界面图像编码得到所述第一界面图像的编码数据；
所述第一电子设备向所述第二电子设备发送所述第一界面图像的编码信息，所述第一界面图像的编码信息包括所述第一界面图像的编码数据，所述第一界面图像的编码信息用于触发所述第二电子设备基于所述第一界面图像的编码信息显示第一投屏界面，所述第一投屏界面的内容是所述第一界面图像的镜像；
所述第一电子设备接收对所述第一界面图像的更新操作，所述更新操作用于触发所述第一电子设备依次显示M帧界面图像，M为正整数；
所述第一电子设备响应于更新操作，显示第i帧界面图像，并获取所述第i帧界面图像中、相较于第i-1帧界面图像的N个差异区域；其中，i在{1，……，M}中依次取值；第0帧界面图像为所述第一界面图像；所述N个差异区域中像素点的像素值与所述第i-1帧界面图像中对应像素点的像素值不同，N为正整数；
若所述N个差异区域在所述第i帧界面图像的面积占比小于预设值，所述第一电子设备对N个差异区域的图像内容进行编码，得到第一编码数据；
所述第一电子设备向所述第二电子设备发送第一编码信息，所述第一编码信息包括所述第一编码数据和所述N个差异区域在所述第i帧界面图像中的位置信息；所述第一编码信息用于触发所述第二设备基于所述第一编码信息更新所述第i-1帧界面图像得到第二投屏界面并显示所述第二投屏界面，所述第二投屏界面的内容是所述第i帧界面图像的镜像。
2.根据权利要求1的方法，其特征在于，所述第一电子设备接收对所述第一界面图像的更新操作，包括：
所述第一电子设备接收来自所述第二电子设备的更新指令，所述更新指令是对所述第一投屏界面的更新操作触发的；或者，
所述第一电子设备接收用户对所述第一电子设备显示的所述第一界面图像的更新操作。
3.根据权利要求1或2的方法，其特征在于，所述获取所述第i帧界面图像中、相较于第i-1帧界面图像的N个差异区域，包括：
所述第一电子设备将所述第i帧界面图像中每个像素点的像素值，与所述第i-1帧界面图像中对应像素点的像素值进行对比，得到所述第i帧界面图像中的差异像素点；其中，所述差异像素点的像素值与所述第i-1帧界面图像中对应像素点的像素值不同；
所述第一电子设备确定包括所述第i帧界面图像中的差异像素点的所述N个差异区域。
4.根据权利要求1-3中任一项的方法，其特征在于，所述方法还包括：
若所述N个差异区域在所述第i帧界面图像的面积占比大于所述预设值，所述第一电子设备对所述第i帧界面图像进行编码，得到第二编码数据；
所述第一电子设备向所述第二电子设备发送第二编码信息；其中，所述第二编码信息包括所述第二编码数据，所述第二编码信息用于触发所述第二电子设备基于所述第二编码信息显示第三投屏界面，所述第三投屏界面的内容是所述第i帧界面图像的镜像。
5.根据权利要求1-4中任一项的的方法，其特征在于，所述方法还包括：
所述第一电子设备响应于所述更新操作，生成第i帧的第一时间戳；所述第i帧的第一时间戳用于记录所述第一电子设备生成所述第i帧界面图像的时间；
其中，所述第二编码信息还包括所述第i帧的第一时间戳。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
所述第一电子设备生成第二时间戳，并保存所述第二时间戳，所述第二时间戳用于记录所述第一电子设备生成所述第一界面图像的时间，所述第二时间戳是第1帧的第一基准时间戳，所述第一基准时间戳是所述第一电子设备记录投屏的基准时间；
若所述N个差异区域在所述第i帧界面图像的面积占比大于所述预设值，所述第一电子设备确定第i+1帧的第一基准时间戳为所述第i帧的第一时间戳；
若所述N个差异区域在所述第i帧界面图像的面积占比小于所述预设值，所述第一电子设备确定所述第i+1帧的第一基准时间戳为所述第i帧的第一基准时间戳；
其中，所述第一编码信息还包括：所述第i帧的第一时间戳和所述第i帧的第一基准时间戳。
7.一种多屏协同的显示方法，其特征在于，应用于第二电子设备，所述第二电子设备连接第一电子设备，所述方法包括：
所述第二电子设备显示第一投屏界面，所述第一投屏界面的内容是所述第一电子设备显示的第一界面图像的镜像；
所述第二电子设备接收来自所述第一电子设备的第一编码信息；其中，所述第一编码信息包括第一编码数据、以及第i帧界面图像中相较于第i-1帧界面图像的N个差异区域的位置信息；所述N个差异区域中像素点的像素值与所述第i-1帧界面图像中对应像素点的像素值不同，N为正整数；所述第一编码数据是对所述N个差异区域的图像内容编码得到的；所述第i帧界面图像是所述第一电子设备响应于更新操作生成的，所述更新操作用于触发所述第一电子设备依次显示M帧界面图像，M为正整数，i在{1，……，M}中依次取值，第0帧界面图像为所述第一界面图像；
所述第二电子设备解码所述第一编码数据，得到所述N个差异区域的图像内容；
所述第二电子设备显示所述第二投屏界面；其中，所述第二投屏界面的内容是所述第i帧界面图像的镜像，所述第i帧界面图像是根据所述N个差异区域的图像内容和所述位置信息更新所述第i-1帧界面图像得到的。
8.根据权利要求7的方法，其特征在于，在所述第二电子设备接收来自所述第一电子设备的第一编码信息之前，所述方法还包括：
所述第二电子设备接收用户对所述第一投屏界面的所述更新操作；
响应于所述更新操作，向所述第一电子设备发送更新指令；所述更新指令用于触发所述第一电子设备依次显示所述M帧界面图像；
其中，所述第二电子设备通过与所述第二电子设备连接的外部设备接收对所述第一投屏界面的所述更新操作；其中，所述外部设备包括所述第二电子设备的显示屏、遥控器、鼠标或者手写笔中的任一种。
9.根据权利要求7或8的方法，其特征在于，所述方法还包括：
所述第二电子设备接收来自所述第一电子设备的第二编码信息；其中，所述第二编码信息包括第二编码数据，所述第二编码数据是对所述第i帧界面图像编码得到的；
所述第二电子设备对所述第二编码数据解码，得到所述第i帧界面图像；
所述第二电子设备显示第三投屏界面；所述第三投屏界面的内容是所述第i帧界面图像的镜像。
10.根据权利要求9的方法，其特征在于，所述第二编码信息还包括：第i帧的第一时间戳，所述第i帧的第一时间戳用于记录所述第一电子设备生成所述第i帧界面图像的时间；
在所述第二电子设备接收来自所述第一电子设备的第二编码信息之后，所述方法还包括：
所述第二电子设备确定第i+1帧的第二基准时间戳为所述第i帧的第一时间戳，所述第二基准时间戳是所述第二电子设备记录投屏的基准时间。
11.根据权利要求7-10中任一项所述的方法，其特征在于，所述第一编码信息还包括：第i帧的第一时间戳和所述第i帧的第一基准时间戳，所述第一基准时间戳是所述第一电子设备记录投屏的基准时间；
在所述第二电子设备接收来自所述第一电子设备的第一编码信息之后，所述第二电子设备解码所述第一编码数据，得到所述N个差异区域的图像内容之前，所述方法还包括：
所述第二电子设备确定所述第i帧的第一时间戳所记录的时间晚于所述第i帧的第一基准时间戳所记录的时间，并且所述第i帧的第一基准时间戳所记录的时间等于所述第i帧的第二基准时间戳所记录的时间。
12.一种电子设备，其特征在于，所述电子设备是第一电子设备，所述第一电子设备包括：处理器和存储器；其中，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；所述处理器用于运行所述计算机指令，使得所述第一电子设备执行如权利要求1-6中任一项所述的方法。
13.一种电子设备，其特征在于，所述电子设备是第二电子设备，所述第二电子设备包括：处理器和存储器；
其中，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；所述处理器用于运行所述计算机指令，使得所述第二电子设备执行如权利要求7-11中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，当所述计算机指令在第一电子设备上运行时，使得所述第一电子设备执行如权利要求1-6中任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，当所述计算机指令在第二电子设备上运行时，使得所述第二电子设备执行如权利要求7-11中任一项所述的方法。
CN202011381303.4A 2020-11-30 2020-11-30 一种多屏协同的显示方法及电子设备 Pending CN114579068A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011381303.4A CN114579068A (zh) 2020-11-30 2020-11-30 一种多屏协同的显示方法及电子设备
EP21897227.1A EP4231133A4 (en) 2020-11-30 2021-11-30 COLLABORATIVE MULTI-SCREEN DISPLAY METHOD AND ELECTRONIC DEVICE
PCT/CN2021/134390 WO2022111727A1 (zh) 2020-11-30 2021-11-30 一种多屏协同的显示方法及电子设备
US18/254,472 US11977810B2 (en) 2020-11-30 2021-11-30 Multi-screen collaborative display method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011381303.4A CN114579068A (zh) 2020-11-30 2020-11-30 一种多屏协同的显示方法及电子设备

Publications (1)

Publication Number Publication Date
CN114579068A true CN114579068A (zh) 2022-06-03

Family

ID=81754052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011381303.4A Pending CN114579068A (zh) 2020-11-30 2020-11-30 一种多屏协同的显示方法及电子设备

Country Status (3)

Country Link
EP (1) EP4231133A4 (zh)
CN (1) CN114579068A (zh)
WO (1) WO2022111727A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970003799B1 (ko) * 1993-12-29 1997-03-21 양승택 영상 프레임차를 이용한 영상신호 전송장치
CN103281539B (zh) * 2013-06-07 2016-10-05 华为技术有限公司 一种图像编、解码处理的方法、装置及终端
KR102227661B1 (ko) * 2014-01-08 2021-03-15 삼성전자주식회사 화면 미러링 방법 및 그에 따른 장치
CN109218731B (zh) * 2017-06-30 2021-06-01 腾讯科技（深圳）有限公司 移动设备的投屏方法、装置及系统
CN111625211B (zh) * 2019-12-03 2023-11-28 蘑菇车联信息科技有限公司 一种屏幕投屏方法、装置、安卓设备及显示设备
CN111459428B (zh) * 2020-02-28 2023-01-06 通彩视听科技(上海)有限公司 显示界面同步方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
EP4231133A1 (en) 2023-08-23
EP4231133A4 (en) 2024-04-24
WO2022111727A1 (zh) 2022-06-02
US20240053946A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
US11388403B2 (en) Video encoding method and apparatus, storage medium, and device
CN106412691B (zh) 一种视频图像的截取方法和装置
CN106412702B (zh) 一种视频片段的截取方法和装置
WO2020216156A1 (zh) 投屏方法和计算设备
US20090096927A1 (en) System and method for video coding using variable compression and object motion tracking
JP2023126583A (ja) 予測モードの復号化の方法、符号化の方法、復号化の装置、符号化の装置および記憶媒体
CN113691846A (zh) 多窗口投屏方法及电子设备
US9661229B2 (en) Method for capturing a picture in a portable terminal by outputting a notification of an object being in a capturing position
US20230162324A1 (en) Projection data processing method and apparatus
CN108769738B (zh) 视频处理方法、装置、计算机设备和存储介质
CN110996117B (zh) 视频转码方法、装置、电子设备和存储介质
CN113747346B (zh) 终端设备的待机方法和终端设备
CN110049326B (zh) 视频编码方法及装置、存储介质
EP3506635B1 (en) Picture encoding method and terminal
CN114579068A (zh) 一种多屏协同的显示方法及电子设备
CN112351133B (zh) 媒体数据的分享方法及终端
CN116055802B (zh) 图像帧处理方法及电子设备
US11977810B2 (en) Multi-screen collaborative display method and electronic device
CN114630113B (zh) 基于自适应帧内刷新机制的解码、编码方法及相关设备
CN116939212A (zh) 视频处理方法、装置、计算机可读存储介质及计算机设备
CN114885192A (zh) 视频处理方法、视频处理装置及存储介质
CN109040753B (zh) 预测模式选择方法、装置及存储介质
CN113709479A (zh) 基于自适应帧内刷新机制的解码、编码方法及相关设备
CN115543649B (zh) 一种数据获取方法及电子设备
CN117808688A (zh) 高分辨率高帧率摄像方法和图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination