CN114185503A - 多屏交互的系统、方法、装置和介质 - Google Patents

Abstract

本公开的实施例提供了多屏交互的系统、方法、设备和介质。根据本公开的方案，第二设备响应于接收到用户的第一触发操作，向第一设备发送用于多屏交互的请求，该请求中包括请求时间点。第一设备根据该请求向第二设备发送响应，该响应包括第一设备的第一屏幕在请求时间点附近的至少一个显示帧。第二设备接收该响应，在第二屏幕上显示第一界面，第一界面包括至少一个显示帧。第二设备接收用户输入，该用户输入指示用户针对至少一个显示帧中的目标显示帧的选择和/或编辑。第二设备响应于接收到用户的第二触发操作，向第一设备发送目标显示帧或者经编辑的目标显示帧，以在第一屏幕上显示。该方案能够在不同屏幕之间实现多种类型的交互。

Description

多屏交互的系统、方法、装置和介质

技术领域

本公开的实施例涉及设备交互领域，更具体地涉及用于多屏交互的系统、方法、装置和介质。

背景技术

随着多屏设备、分布式设备的普及，多屏交互技术的应用越来越广泛。目前的多屏交互技术主要包括多屏共享技术以及屏幕内容标记技术。多屏共享技术通常是指经由有线连接或者无线连接在主设备和从设备之间共享屏幕内容。屏幕内容标记技术通常是指第二屏幕在同步显示来自第一屏幕的屏幕内容的情况下，通过本地截图、拍照等方式对来自第一屏幕的屏幕内容进行标记。

然而，目前的多屏交互技术无法在不同屏幕之间共享多种类型的信息，也无法在对共享屏幕内容进行标记之后实现不同屏幕之间的进一步交互。

发明内容

总体上，本公开的实施例提供了多屏交互的系统、方法、装置、设备和计算机可读存储介质，从而能够在不同屏幕之间共享多种类型的信息并且能够基于经标记的屏幕内容实现不同屏幕之间的进一步交互。

在本公开的第一方面，提供了一种多屏交互的系统。该系统包括第一设备，包括第一屏幕；以及第二设备，包括第二屏幕，其中：所述第一设备在所述第一屏幕上显示第一内容，所述第一内容包括多个显示帧；所述第二设备接收用户的第一触发操作；响应于接收到的所述第一触发操作，所述第二设备向所述第一设备发送用于多屏交互的请求，所述请求中包括请求时间点；所述第一设备根据所述请求，向所述第二设备发送响应，所述响应至少包括所述第一屏幕在所述请求时间点附近的至少一个显示帧；所述第二设备接收所述响应，在所述第二屏幕上显示第一界面，所述第一界面包括所述至少一个显示帧；所述第二设备接收用户输入，所述用户输入指示用户针对所述至少一个显示帧中的目标显示帧的选择和/或编辑；所述第二设备接收用户的第二触发操作；响应于接收到的所述第二触发操作，所述第二设备向所述第一设备发送所述目标显示帧或者经编辑的所述目标显示帧；并且所述第一设备在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧。以此方式，能够在不同屏幕之间共享经用户选择和/或编辑的屏幕内容。

在一些实施例中，响应于接收到所述目标显示帧或者经编辑的所述目标显示帧，所述第一设备在所述第一屏幕上显示是否允许所述目标显示帧的分享的提示；所述第一设备接收另一用户输入；并且响应于所述另一用户输入指示用户允许所述分享，所述第一设备在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧。以此方式，能够在用户控制下进行不同屏幕之间的屏幕内容分享。

在一些实施例中，所述第二设备接收用户输入的控制命令；响应于接收到的所述控制命令，所述第二设备向所述第一设备发送所述控制命令，以用于控制所述第一屏幕的显示；并且所述第一设备根据所述控制命令，在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧。以此方式，能够基于用户的控制命令在不同屏幕之间实现多种类型的交互。

在一些实施例中，所述控制命令包括以下任一项：第一控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧；第二控制命令，用于在所述第一屏幕上显示所述目标显示帧；第三控制命令，用于在所述第一屏幕上显示所述目标显示帧的同时，播放用户针对所述目标显示帧的提问；以及第四控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧的同时，播放与所述目标显示帧对应的录音片段。以此方式，能够基于用户的控制命令在不同屏幕之间实现多种类型的交互。

在一些实施例中，所述用户输入还指示用户针对所述目标显示帧的提问。响应于接收到的所述第二触发操作，所述第二设备向所述第一设备发送所述提问；并且所述第一设备在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧的同时，播放所述提问。以此方式，允许在不同设备之间分享用户针对屏幕内容的提问。

在一些实施例中，所述响应包括与所述至少一个显示帧对应的录音；所述第一界面包括所述录音的可视表示；并且所述用户输入指示用户针对所述录音中的录音片段的选择，所述录音片段对应于所述目标显示帧。以此方式，允许用户通过选择录音片段来选择要分享的屏幕内容。

在一些实施例中，响应于接收到的所述第二触发操作，所述第二设备向所述第一设备发送所述录音片段；并且所述第一设备在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧的同时，播放所述录音片段。以此方式，允许在不同设备之间分享与屏幕内容对应的录音片段。

在一些实施例中，所述第一设备接收用户的第三触发操作；并且响应于接收到的所述第三触发操作，所述第一设备停止在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧，并且重新在所述第一屏幕上显示所述第一内容。以此方式，允许用户收回屏幕控制权并且终止多屏交互。

在一些实施例中，在所述第二设备向所述第一设备发送所述请求之前，所述第一设备与所述第二设备建立用于多屏交互的连接。以此方式，不同设备之间能够建立用于多屏交互的连接。

在本公开的第二方面，提供了一种多屏交互的方法。该方法包括：第二设备响应于接收到来自用户的第一触发操作，向第一设备发送用于多屏交互的请求，所述请求中包括请求时间点；所述第二设备接收来自所述第一设备的响应，所述响应至少包括所述第一设备的第一屏幕在所述请求时间点附近的至少一个显示帧；所述第二设备在所述第二设备的第二屏幕上显示第一界面，所述第一界面包括所述至少一个显示帧；所述第二设备接收用户输入，所述用户输入指示用户针对所述至少一个显示帧中的目标显示帧的选择和/或编辑；以及所述第二设备响应于接收到来自用户的所述第二触发操作，向所述第一设备发送所述目标显示帧或者经编辑的所述目标显示帧，以用于在所述第一屏幕上显示。

在一些实施例中，该方法还包括：所述第二设备接收用户输入的控制命令；以及响应于接收到的所述控制命令，所述第二设备向所述第一设备发送所述控制命令，以用于控制所述第一屏幕的显示。

在一些实施例中，所述控制命令包括以下任一项：第一控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧；第二控制命令，用于在所述第一屏幕上显示所述目标显示帧；第三控制命令，用于在所述第一屏幕上显示所述目标显示帧的同时，播放用户针对所述目标显示帧的提问；以及第四控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧的同时，播放与所述目标显示帧对应的录音片段。

在一些实施例中，所述用户输入还指示用户针对所述目标显示帧的提问，并且该方法还包括：响应于接收到所述第二触发操作，所述第二设备向所述第一设备发送所述提问。

在一些实施例中，所述响应包括与所述至少一个显示帧对应的录音；所述第一界面包括所述录音的可视表示；并且所述用户输入指示用户针对所述录音中的录音片段的选择，所述录音片段对应于所述目标显示帧。

在一些实施例中，该方法还包括：响应于接收到所述第二触发操作，所述第二设备向所述第一设备发送所述录音片段。

在一些实施例中，该方法还包括：在所述第二设备向所述第一设备发送所述请求之前，所述第二设备与所述第一设备建立用于多屏交互的连接。

在本公开的第三方面，提供了一种多屏交互的方法。该方法包括：第一设备接收来自第二设备的用于多屏交互的请求，所述第一设备在第一屏幕上显示第一内容，所述第一内容包括多个显示帧，并且所述请求中包括请求时间点；所述第一设备根据所述请求，向所述第二设备发送响应，所述响应至少包括所述第一屏幕在所述请求时间点附近的至少一个显示帧；所述第一设备接收来自所述第二设备的目标显示帧或者经编辑的所述目标显示帧，所述目标显示帧选自所述至少一个显示帧；以及所述第一设备在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧。

在一些实施例中，在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧包括：响应于接收到所述目标显示帧或者经编辑的所述目标显示帧，所述第一设备在所述第一屏幕上显示是否允许所述目标显示帧的分享的提示；所述第一设备接收用户输入；以及响应于所述用户输入指示用户允许所述分享，所述第一设备在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧。

在一些实施例中，在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧包括：所述第一设备接收来自所述第二设备的控制命令，所述控制命令用于控制所述第一屏幕的显示；以及所述第一设备根据所述控制命令，在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧。

在一些实施例中，所述控制命令包括以下任一项：第一控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧；第二控制命令，用于在所述第一屏幕上显示所述目标显示帧；第三控制命令，用于在所述第一屏幕上显示所述目标显示帧的同时，播放用户针对所述目标显示帧的提问；以及第四控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧的同时，播放与所述目标显示帧对应的录音片段。

在一些实施例中，该方法还包括：所述第一设备接收来自所述第二设备的针对所述目标显示帧的提问；以及所述第一设备在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧的同时，播放所述提问。

在一些实施例中，所述响应包括与所述至少一个显示帧对应的录音，并且该方法还包括：所述第一设备接收来自所述第二设备的录音片段，所述录音片段选自所述录音并且对应于所述目标显示帧；以及所述第一设备在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧的同时，播放所述录音片段。

在一些实施例中，该方法还包括：所述第一设备接收用户的触发操作；以及响应于接收到的所述触发操作，所述第一设备停止在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧，并且重新在所述第一屏幕上显示所述第一内容。

在一些实施例中，该方法还包括：在所述第一设备接收来自所述第二设备的所述请求之前，所述第一设备与所述第二设备建立用于多屏交互的连接。

在本公开的第四方面，提供了一种多屏交互的装置。该装置包括：请求发送单元，被配置为响应于接收到来自用户的第一触发操作，向第一设备发送用于多屏交互的请求，所述请求中包括请求时间点；响应接收单元，被配置为接收来自所述第一设备的响应，所述响应至少包括所述第一设备的第一屏幕在所述请求时间点附近的至少一个显示帧；屏幕显示单元，被配置为在所述第二设备的第二屏幕上显示第一界面，所述第一界面包括所述至少一个显示帧；用户输入接收单元，被配置为接收用户输入，所述用户输入指示用户针对所述至少一个显示帧中的目标显示帧的选择和/或编辑；以及显示帧发送单元，被配置为响应于接收到来自用户的所述第二触发操作，向所述第一设备发送所述目标显示帧或者经编辑的所述目标显示帧，以用于在所述第一屏幕上显示。

在一些实施例中，该装置还包括：控制命令接收单元，被配置为接收用户输入的控制命令；以及控制命令发送单元，被配置为响应于接收到的所述控制命令，向所述第一设备发送所述控制命令，以用于控制所述第一屏幕的显示。

在一些实施例中，所述控制命令包括以下任一项：第一控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧；第二控制命令，用于在所述第一屏幕上显示所述目标显示帧；第三控制命令，用于在所述第一屏幕上显示所述目标显示帧的同时，播放用户针对所述目标显示帧的提问；以及第四控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧的同时，播放与所述目标显示帧对应的录音片段。

在一些实施例中，所述用户输入还指示用户针对所述目标显示帧的提问，并且该装置还包括：提问发送单元，被配置为响应于接收到所述第二触发操作，向所述第一设备发送所述提问。

在一些实施例中，所述响应包括与所述至少一个显示帧对应的录音；所述第一界面包括所述录音的可视表示；并且所述用户输入指示用户针对所述录音中的录音片段的选择，所述录音片段对应于所述目标显示帧。

在一些实施例中，该装置还包括：录音片段发送单元，被配置为响应于接收到所述第二触发操作，向所述第一设备发送所述录音片段。

在一些实施例中，该装置还包括：连接建立单元，被配置为在向所述第一设备发送所述请求之前，与所述第一设备建立用于多屏交互的连接。

在本公开的第五方面，提供了一种多屏交互的装置。该装置包括：屏幕显示单元，被配置为在第一屏幕上显示第一内容，所述第一内容包括多个显示帧；请求接收单元，被配置为接收来自第二设备的用于多屏交互的请求，所述请求中包括请求时间点；响应发送单元，被配置为根据所述请求，向所述第二设备发送响应，所述响应至少包括所述第一屏幕在所述请求时间点附近的至少一个显示帧；以及显示帧接收单元，被配置为接收来自所述第二设备的目标显示帧或者经编辑的所述目标显示帧，所述目标显示帧选自所述至少一个显示帧；所述屏幕显示单元还被配置为在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧。

在一些实施例中，所述屏幕显示单元包括：第一显示单元，被配置为响应于接收到所述目标显示帧或者经编辑的所述目标显示帧，在所述第一屏幕上显示是否允许所述目标显示帧的分享的提示；用户输入接收单元，被配置为接收用户输入；以及第二显示单元，被配置为响应于所述用户输入指示用户允许所述分享，在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧。

在一些实施例中，所述屏幕显示单元包括：控制命令接收单元，被配置为接收来自所述第二设备的控制命令，所述控制命令用于控制所述第一屏幕的显示；以及第三显示单元，被配置为根据所述控制命令，在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧。

在一些实施例中，所述控制命令包括以下任一项：第一控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧；第二控制命令，用于在所述第一屏幕上显示所述目标显示帧；第三控制命令，用于在所述第一屏幕上显示所述目标显示帧的同时，播放用户针对所述目标显示帧的提问；以及第四控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧的同时，播放与所述目标显示帧对应的录音片段。

在一些实施例中，该装置还包括：提问接收单元，被配置为接收来自所述第二设备的针对所述目标显示帧的提问；以及提问播放单元，被配置为在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧的同时，播放所述提问。

在一些实施例中，所述响应包括与所述至少一个显示帧对应的录音，并且该装置还包括：录音片段接收单元，被配置为接收来自所述第二设备的录音片段，所述录音片段选自所述录音并且对应于所述目标显示帧；以及录音片段播放单元，被配置为在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧的同时，播放所述录音片段。

在一些实施例中，该装置还包括：操作接收单元，被配置为接收用户的触发操作；以及第四显示单元，被配置为响应于接收到的所述触发操作，停止在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧，并且重新在所述第一屏幕上显示所述第一内容。

在一些实施例中，该装置还包括：连接建立单元，被配置为在接收来自所述第二设备的所述请求之前，与所述第二设备建立用于多屏交互的连接。

在本公开的第六方面，提供了一种电子设备。该电子设备包括：一个或多个处理器；一个或多个存储器；以及一个或多个计算机程序。所述一个或多个计算机程序被存储在所述一个或多个存储器中，所述一个或多个计算机程序包括指令。当所述指令被所述电子设备执行时，使得所述电子设备执行上述第二方面或第三方面的方法。

在本公开的第七方面，提供了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第二方面或第三方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

图1A示出了根据本公开的实施例的示例系统的框图；

图1B示出了根据本公开的实施例的示例系统的软件系统架构图；

图2A示出了根据本公开的实施例的另一示例系统的框图；

图2B示出了根据本公开的实施例的另一示例系统的软件系统架构图；

图3示出了根据本公开的实施例的在主设备和从设备之间建立连接的示意图；

图4示出了根据本公开的实施例在主设备和从设备之间建立连接的信令交互图；

图5示出了根据本公开的实施例的触发主设备和从设备之间的屏幕交互的示意图；

图6示出了根据本公开的实施例在主设备和从设备之间进行多屏交互的信令交互图；

图7示出了根据本公开的实施例从主设备处的屏幕缓冲区和音频缓冲区中获取屏幕内容相关信息的示意图；

图8A至图8F示出了根据本公开的实施例的用于多屏交互的示例用户界面的示意图；

图9示出了根据本公开的实施例在同一设备的不同屏幕之间进行多屏交互的信令交互图；

图10示出了根据本公开的实施例的用于多屏交互的示例方法的流程图；

图11示出了根据本公开的实施例的用于多屏交互的示例方法的流程图；

图12示出了根据本公开的实施例的用于多屏交互的示例装置的框图；

图13示出了根据本公开的实施例的用于多屏交互的示例装置的框图；以及

图14示出了适合实现本公开的实施例的示例设备的框图。

图15示出了适合实现本公开的实施例的示例设备的的软件结构框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

现在将参考一些示例实施例描述本公开的原理。应当理解，这些实施例仅出于说明的目的进行描述，并且帮助本领域技术人员理解和实现本公开，而不暗示对本公开的范围的任何限制。除了下面描述的方式以外，本文中描述的公开内容可以以各种方式来实现。

在以下描述和权利要求中，除非另有定义，否则本文中使用的所有技术和科学术语具有与本公开所属领域的普通技术人员通常理解的相同的含义。

如本文中使用的，除非上下文另外明确指出，否则单数形式“一”、“一个”和“该”也意图包括复数形式。术语“包括”及其变体应当被解读为开放式术语，意指“包括但不限于”。术语“基于”应当被解读为“至少部分基于”。术语“一个实施例”和“实施例”应当被解读为“至少一个实施例”。术语“另一实施例”应当被理解为“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同或相同的对象。下面可以包括其他定义(明确的和隐含的)。

在一些示例中，值、过程或装置被称为“最佳”、“最低”、“最高”、“最小”、“最大”等。应当理解，这样的描述旨在指示可以在很多使用的功能替代方案中进行选择，并且这样的选择不需要比其他选择更好、更小、更高或以其他方式优选。

如上所述，目前的屏幕内容标记技术通常是指第二屏幕在同步显示来自第一屏幕的屏幕内容的情况下，通过本地截图、拍照等方式对来自第一屏幕的屏幕内容进行标记。

当第一屏幕和第二屏幕分别来自主设备和从设备时，从设备需要同步显示主设备上的第一屏幕的屏幕内容，例如幻灯片或者视频等。当从设备期望对屏幕内容进行标记时，其可以通过本地截图、拍照等方式来获取要标记的屏幕内容，然后针对所获取的图片进行编辑。在上述过程中，从设备仅能获得屏幕截图，而无法获得主设备显示对应屏幕内容时的其他类型的信息，例如音频数据。此外，上述屏幕内容标记的操作较为繁琐，并且主设备和从设备无法基于经标记的屏幕内容进行进一步交互。

当第一屏幕和第二屏幕是来自同一设备(例如，折叠屏设备)的不同屏幕时，两个屏幕可以分别用于运行不同应用。当利用第二屏幕运行的应用期望对第一屏幕的屏幕内容进行标记时，其可以通过本地截图、拍照等方式来获取要标记的屏幕内容，然后针对所获取的图片进行编辑。上述屏幕内容标记的操作较为繁琐，并且不同应用之间无法基于经标记的屏幕内容进行进一步交互。

本公开的实施例提供了一种用于多屏交互的方案。针对第一屏幕和第二屏幕分别来自主设备和从设备的场景，该方案不需要从设备同步显示主设备的屏幕内容。该方案能够在不同屏幕之间共享多种类型的信息，例如图片、音频、视频等。此外，该方案能够基于经标记的屏幕内容实现不同屏幕之间的进一步交互。针对第一屏幕和第二屏幕是来自同一设备(例如，折叠屏设备)的不同屏幕的场景，该方案能够在不同屏幕之间共享多种类型的信息，并且能够基于经标记的屏幕内容实现不同屏幕之间的进一步交互。

图1A示出了根据本公开的实施例的示例系统100的框图。如图1A所示，系统100包括主设备110和一个或多个从设备120(在图1中仅示出一个)。在主设备110上运行有应用111，应用111例如可以利用主设备110的屏幕来运行。在从设备120上运行有应用121，应用121例如可以利用从设备120的屏幕来运行。主设备110和从设备120可以是相同类型的设备或者不同类型的设备。主设备110或从设备120的示例可以包括但不限于诸如个人计算机、笔记本电脑、投影仪、电视等非便携式设备，以及诸如手持终端、智能电话、无线数据卡、平板型电脑、可穿戴设备等便携式设备。应用111的示例可以包括但不限于视频会议应用、视频播放应用、办公应用(例如，幻灯片、Word应用等)或者其他展示应用。应用121可以是多屏交互应用，其可以根据本公开的实施例与主设备110上的应用111进行交互。在本文中，应用111也称为“第一应用”，并且主设备110的屏幕也称为“第一屏幕”或“主屏幕”。应用121也称为“第二应用”，并且从设备120的屏幕也称为“第二屏幕”或“从屏幕”。

图1B示出了根据本公开的实施例的示例系统100的软件系统架构图。如图1B所示，主设备110的软件系统架构可以分为应用层、框架层和驱动层。应用层可以包括应用111。框架层可以包括媒体服务112，用于支持应用111(例如，视频会议应用、视频播放应用、办公应用或者其他展示应用)的运行。框架层还可以包括多屏交互服务113，用于支持应用111与应用121之间的多屏交互。驱动层例如可以包括屏幕驱动114和图形处理单元(GPU)驱动115，用于支持应用111在主设备110的屏幕上的显示。驱动层例如还可以包括蓝牙驱动116、Wifi驱动117、近场通信(NFC)驱动(未示出)等，用于在主设备110和从设备120之间建立通信连接。

如图1B所示，从设备120的软件系统架构可以分为应用层、框架层和驱动层。应用层可以包括应用121。框架层还可以包括多屏交互服务122，用于支持应用111与应用121之间的多屏交互。驱动层例如可以包括蓝牙驱动123、Wifi驱动124、近场通信(NFC)驱动(未示出)等，用于在主设备110和从设备120之间建立通信连接。驱动层例如还可以包括屏幕驱动和GPU驱动(未示出)等，用于支持应用121在从设备120的屏幕上的显示。

应当理解，如图1B所示的软件系统架构仅是示例性的，并且与设备的操作系统无关。也即，如图1B所示的软件系统架构可以实现在安装有不同操作系统的设备上，包括但不限于Windows操作系统、Android操作系统和IOS操作系统。上述软件系统架构中的软件分层也是示例性的，而不旨在限制本公开的范围。例如，在一些实施例中，多屏交互服务113可以被集成在应用111中，并且多屏交互服务122可以被集成在应用121中。

图2A示出了根据本公开的实施例的另一示例系统200的框图。如图2A所示，系统200包括设备210，设备210可以包括多个屏幕或者设备210的屏幕可以被划分成多个区域。在设备210上运行有应用211和212，其中应用211可以利用设备210的第一屏幕或第一屏幕区域运行，应用212可以利用设备210的第二屏幕或第二屏幕区域运行。应用211的示例可以包括但不限于视频会议应用、视频播放应用、办公应用(例如，幻灯片、Word应用等)或者其他展示应用。应用212可以是多屏交互应用，其可以根据本公开的实施例与应用211进行交互。在本文中，应用211也称为“第一应用”，并且其利用的屏幕或屏幕区域也称为“第一屏幕”或“主屏幕”。应用212也称为“第二应用”，并且其利用的屏幕或屏幕区域也称为“第二屏幕”或“从屏幕”。

图2B示出了根据本公开的实施例的示例系统200的软件系统架构图。如图2B所示，设备210的软件系统架构可以分为应用层、框架层和驱动层。应用层可以包括应用211和212。框架层可以包括媒体服务213，用于支持应用211(例如，视频会议应用、视频播放应用、办公应用或者其他展示应用)的运行。框架层还可以包括多屏交互服务214，用于支持应用211与应用212之间的多屏交互。驱动层例如可以包括屏幕驱动215和GPU驱动216，用于支持应用211和212在不同屏幕上的显示。

应当理解，如图2B所示的软件系统架构仅是示例性的，并且与设备的操作系统无关。也即，如图2B所示的软件系统架构可以实现在安装有不同操作系统的设备上，包括但不限于Windows操作系统、Android操作系统和IOS操作系统。上述软件系统架构中的软件分层也是示例性的，而不旨在限制本公开的范围。例如，在一些实施例中，多屏交互服务214可以被集成在应用211和212中。

以下首先结合如图1A和1B所示的示例系统100来详细描述本公开的实施例。

为了在主设备110和从设备120之间实现多屏交互，需要首先在主设备110和从设备120之间建立用于多屏交互的连接。该连接例如可以通过蓝牙、Wifi、NFC、二维码扫描等任一种方式来建立。以下以二维码扫描为例进行说明。

图3示出了根据本公开的实施例的在主设备和从设备之间建立连接的示意图。在图3中，出于示例的目的，主设备110被示出为笔记本电脑，从设备120被示出为手机。在一些实施例中，当主设备110上的应用111启用多屏交互功能时，其可以显示如图3所示的二维码，以指示从设备通过扫描该二维码来与其建立用于多屏交互的连接。从设备120上的多屏交互应用121在被启动时可以显示例如如图3所示的用户界面121-1，其中包括按钮“扫一扫配对”。当用户点击按钮“扫一扫配对”时，从设备120可以呈现二维码扫描窗口，以扫描主设备110上显示的二维码。通过扫描二维码，主设备110可以与从设备120建立用于多屏交互的连接。

图4示出了根据本公开的实施例在主设备和从设备之间建立连接的信令图。图4涉及如图1B所示的应用111和121以及多屏交互服务113和122。

如图4所示，当应用111启用多屏交互功能时，应用111可以向多屏交互服务113发送(401)绑定服务请求，以使得多屏交互服务113能够为其提供多屏交互服务。应用111可以在主屏幕上显示(402)二维码，以指示从设备通过扫描该二维码来与其建立用于多屏交互的连接。类似地，当应用121被启动时，应用121可以向多屏交互服务122发送(403)绑定服务请求，以使得多屏交互服务122能够为其提供多屏交互服务。应用121可以在从屏幕上呈现二维码扫描窗口，以扫描(404)主设备110上显示的二维码。以此方式，主设备110与从设备120之间能够建立通信连接。应当理解，如步骤401～404所示的建立通信连接的过程仅是示例性的，而无意于限制本公开的范围。在一些实施例中，主设备110与从设备120可以通过其他方式来建立通信连接。备选地，如果主设备110与从设备120之间已经通过某种方式建立通信连接，则步骤401～404可以省略。

在主设备110与从设备120之间的通信连接被建立的情况下，应用121可以与应用111进行握手，以建立用于多屏交互的连接。如图4所示，应用121可以向多屏交互服务122发送(405)建立多屏交互连接的请求。多屏交互服务122可以将该请求转发(406)至多屏交互服务113，多屏交互服务113进一步将该请求转发(407)至应用111。应用111可以生成(408)应用信息数据包。在一些实施例中，取决于应用111的类型，所生成的应用信息数据包的内容可以是不同的。以视频播放应用为例，所生成的应用信息数据包可以包括所播放的视频源地址、视频名称、视频帧数、播放速度、播放时间点等。以幻灯片或文档编辑应用为例，所生成的应用信息数据包可以包括文件地址、文件名、当前播放的页码等。应用111可以向多屏交互服务113发送(409)该应用信息数据包。多屏交互服务113可以将该应用信息数据包转发(410)至多屏交互服务122，多屏交互服务122进一步将该应用信息数据包转发(411)至应用121。以此方式，应用121与应用111之间完成握手并建立用于多屏交互的连接。应当理解，如步骤405～411所示的建立用于多屏交互的连接的过程仅是示例性的，而无意于限制本公开的范围。在一些实施例中，步骤405～407可以被省略。也即，应用111可以主动生成应用信息数据包并且发送至应用121。备选地，在另一些实施例中，步骤408～411可以被省略，也即当应用111接收到来自应用121的建立多屏交互连接的请求时，该握手过程完成。

在用于多屏交互的连接被建立的情况下，主设备和从设备之间的屏幕交互可以被触发。图5示出了根据本公开的实施例的触发主设备和从设备之间的屏幕交互的示意图。

如图5所示，在主设备110与从设备120之间的多屏交互连接被建立后，应用111可以在主设备110上正常运行。以视频播放应用为例，应用111可以利用主设备110的屏幕来播放视频。以幻灯片或文档编辑应用为例，应用111可以利用主设备110的屏幕来播放幻灯片或者文档。在一些实施例中，多屏交互服务113可以建立屏幕缓冲区，以用于缓存主设备110的屏幕的显示内容。例如，多屏交互服务113可以定时(例如，每隔100ms)向屏幕缓冲区添加所捕获的屏幕显示帧，屏幕显示帧例如可以通过截图或者其他手段获取。例如，屏幕缓冲区可以利用环形缓冲区实现。也即，屏幕缓冲区仅用于缓存最近的固定数目的显示帧。当屏幕缓冲区被占满时，最新添加的显示帧将覆盖屏幕缓冲区最老的显示帧。附加地或备选地，在一些实施例中，多屏交互服务113可以从应用111被启动后开始录音，例如录制幻灯片或文档的演讲者在展示时的演讲。多屏交互服务113可以建立音频缓冲区，以用于缓存在应用111运行期间录制的音频流。在一些实施例中，音频缓冲区可以利用环形缓冲区实现。也即，音频缓冲区仅用于缓存最近的固定长度的录音数据。当音频缓冲区被占满时，最新添加的录音数据将覆盖音频缓冲区最老的录音数据。建立屏幕缓冲区和音频缓冲的目的是为了处理从设备120与主设备110之间的通信延迟，使得当主设备110接收到来自从设备120的多屏交互请求时能够根据请求中携带的时间戳找到从设备120期望针对其进行交互的目标显示内容和对应的录音片段。

如图5所示，从设备120上的第二应用121的用户界面从如图3所示的用户界面121-1被更新为如图5所示的用户界面121-2。例如，在用户界面121-2，按钮“扫一扫配对”可以被禁用或者不显示，而仅显示按钮“与主屏幕交互”。从设备120的用户例如与主设备110及其用户处在同一空间(例如，办公室或会议室)内，当操作主设备110的用户正使用主设备播放其期望交互的内容时，从设备120的用户可以观看主设备110的屏幕，从设备120的用户还可以通过点击按钮“与主屏幕交互”来触发与主设备110的屏幕的交互。应当理解，从设备120的用户也可以通过其他方式来触发与主设备110的屏幕的交互，包括但不限于，通过在从设备120的屏幕上双击等手势触发、通过诸如“做笔记”等语音命令触发或者通过其他外部设备触发等。本公开的范围在此方面不受限制。

图6示出了根据本公开的实施例在主设备和从设备之间进行多屏交互的信令交互图。图6涉及如图1B所示的应用111和121以及多屏交互服务113和122。

如图6所示，当从设备120的用户通过手势、语音命令或外部设备等任何方式触发与主屏幕交互时，响应于接收(601)到触发信号，应用121可以向多屏交互服务122发送(602)用于在主设备110和从设备120之间进行多屏交互的请求(本文中也称为“第一请求”)，该请求可以指示从设备120的用户请求交互的时间点(本文中也称为“请求时间点”)和/或请求类型(例如，“多屏交互”)。多屏交互服务122可以将该请求转发(603)至多屏交互服务113，多屏交互服务113可以将该请求进一步转发(604)至应用111。

应用111可以生成(605)经更新的应用信息数据包。与建立连接时发送的应用信息数据包相比，该经更新的应用信息数据包可以包括附加信息，该信息与主屏幕在请求时间点的显示内容有关。在一些实施例中，根据第一请求，应用111可以从多屏交互服务113所建立的屏幕缓冲区中获取主屏幕在请求时间点附近的预定时间段内的至少一个显示帧，并且可以从多屏交互服务113所建立的音频缓冲区中获取与该至少一个显示帧对应的录音数据。应用111可以基于所获取的至少一个显示帧和录音数据中的至少一项来生成经更新的应用信息数据包。

图7示出了根据本公开的实施例从主设备处的屏幕缓冲区和音频缓冲区中获取屏幕内容相关信息的示意图。图7示出了主设备110处的屏幕缓冲区730，其缓存有主屏幕的多个显示帧701～710。图7还示出了主设备110处的音频缓冲区760，其缓存有应用111运行期间录制的音频数据761。例如，应用111接收到的第一请求所指示的请求时间点是T0。如图7所示，应用111可以从屏幕缓冲区730中获取主屏幕在请求时间点T0之前的预定时间段T内的显示帧702～706，并且可以从音频缓冲区760中获取与预定时间段T对应的录音数据762。应当理解，在其他实施例中，所获取的屏幕显示帧也可以是在请求时间点T0前后的预定数目个显示帧，或者在请求时间点T0之前的一帧。所获取的录音数据可以是与所获取的屏幕显示帧相对应的录音数据。例如，在记录屏幕显示帧和录音数据时，多屏交互服务113可以基于每个显示帧截取的时间来确定与该显示帧对应的录音片段。以此方式，可以基于所获取的屏幕显示帧的起始时间和结束时间来确定与所获取的屏幕显示帧相对应的录音数据。

返回参考图6，应用111可以将经更新的应用信息数据包作为对第一请求的响应发送(606)至多屏交互服务113。多屏交互服务113可以将该应用信息数据包转发(607)至多屏交互服务122，多屏交互服务122将其进一步转发(608)至应用121。

响应于接收到该应用信息数据包，应用121可以在从设备120的屏幕上显示包括在该应用信息数据包中的至少一个显示帧、以及录音数据的可视表示。

图8A示出了应用121的示例用户界面121-3的示意图。如图8A所示，用户界面121-3可以呈现所接收的显示帧702～706以及录音数据762的可视表示。从设备120的用户可以针对显示帧702～706或者录音762进行选择，以选择期望与其交互的显示帧(本文中也称为“目标显示帧”或“目标显示内容”)及其对应的录音片段。例如，假设用户选择了显示帧704作为目标显示内容，应用121可以确定录音数据762中与显示帧704对应的录音片段和/或显示帧704所对应的时间点(本文中也称为“目标时间点”)。又例如，假设用户选择了录音数据762中的录音片段，应用121可以确定与该录音片段对应的目标显示帧和/或与该录音片段所对应的目标时间点。在一些实施例中，如图8A所示，用户界面121-3还可以提供按钮“选择确认”和“重新选择”。当用户点击按钮“重新选择”时，应用121可以忽略用户之前的选择，而重新接收用户输入。当用户点击按钮“选择确认”时，如图8A所示的用户界面121-3可以被更新为如图8B所示的用户界面121-4。

如图8B所示，用户界面121-4可以呈现所选择的目标显示帧704。附加地或者备选地，用户界面121-4还可以呈现与目标显示帧704对应的录音片段(图8B中未示出)。此外，用户界面121-4还可以提供按钮“编辑”、“分享”和“提问”。当用户点击按钮“编辑”时，用户可以对目标显示帧704进行编辑，例如包括但不限于裁剪、修改、标记等操作。当用户点击按钮“提问”时，用户可以通过语音或其他方式输入针对目标显示帧704的提问。例如，应用121可以录制并保存用户的提问录音。当用户点击按钮“分享”时，应用121可以基于所确定的目标时间点、未编辑的目标显示内容、经过编辑的目标显示内容、与目标显示帧对应的录音片段、所录制的提问录音中的一项或多项来生成针对目标显示内容进行交互的请求(本文中也称为“第二请求”)，以发送给应用111。应当理解，从设备120的用户也可以通过其他方式来触发对编辑结果和/或提问录音的分享，包括但不限于，通过在从设备120的屏幕上上滑等手势触发、通过诸如“分享笔记”等语音命令触发或者通过其他外部设备触发等。本公开的范围在此方面不受限制。

返回参考图6，响应于用户通过点击按钮“分享”触发分享，应用121可以基于所确定的目标时间点、经过编辑的目标显示帧、与目标显示帧对应的录音片段、所录制的提问录音中的一项或多项来生成(609)第二请求，并且将其发送(610)至多屏交互服务122。在一些实施例中，第二请求可以仅指示目标时间点和/或请求类型(例如，“分享笔记”)。经过编辑的目标显示帧、与目标显示帧对应的录音片段以及所录制的提问录音中的一项或多项可以被包括在经更新的应用信息数据包中与第二请求一起被发送。多屏交互服务122可以将第二请求连同经更新的应用信息数据包转发(611)至多屏交互服务113，多屏交互服务113将它们进一步转发(612)至应用111。

响应于接收到第二请求，应用111可以在主设备110的屏幕上显示关于第二请求的提示，以询问主设备110的用户是否允许分享。响应于接收(613)到指示允许分享的用户输入，应用111可以经由多屏交互服务113和122向应用121发送(614～616)通知，以通知应用121向应用111发送后续控制命令。

响应于接收到该通知，应用121可以在从设备120的屏幕上显示多个候选控制命令的可视表示。从设备120的用户可以从多个候选控制命令中选择一个控制命令。响应于接收(617)到指示所选择的控制命令的用户输入，应用121可以经由多屏交互服务122和113向应用111发送(618～620)该控制命令。应用111可以根据该控制命令，执行(621)与目标显示内容有关的操作。

图8C至图8F示出了应用121的示例用户界面121-5以及对应的主设备110的用户界面的示意图。例如，当从设备120的用户在用户界面121-4中点击“编辑”按钮对目标显示帧704进行编辑，然后点击“分享”按钮，应用121可以在从设备120的屏幕上呈现用户界面121-5。在图8C至图8F中，用户界面121-5可以呈现经过编辑的目标显示帧704’以及与候选控制命令801～804对应的按钮。例如，控制命令801指示在主屏幕上显示经过编辑的目标显示帧704’。控制命令802指示在主屏幕上跳回到目标显示帧704(也即，未编辑的目标显示帧)。控制命令803指示在主屏幕上跳回到目标显示帧704并同时播放针对目标显示帧704的提问录音。控制命令804指示在主屏幕上显示经过编辑的目标显示帧704’并同时播放与目标显示帧704对应的录音片段。如图8C所示，当从设备120的用户点击与控制命令801对应的按钮时，应用111可以暂停其正常的应用运行，并且在主设备110的屏幕上显示经过编辑的目标显示帧704’。如图8D所示，当从设备120的用户点击与控制命令802对应的按钮时，应用111可以在主设备110的屏幕上跳回到目标显示帧704。例如，当应用111是幻灯片应用时，应用111可以跳回到目标时间点所对应的那页幻灯片；当应用111是视频播放应用时，应用111可以使视频播放跳回到目标时间点所对应的位置。如图8E所示，当从设备120的用户点击与控制命令803对应的按钮时，应用111可以在主设备110的屏幕上重新显示目标显示帧704并同时播放针对目标显示帧704的提问录音。如图8F所示，当从设备120的用户点击与控制命令804对应的按钮时，应用111可以暂停其正常的应用运行，并且在主设备110的屏幕上显示经过编辑的目标显示帧704’同时播放与目标显示帧704对应的录音片段。

返回参考图6，主设备110的用户可以通过语音命令、快捷键(例如Ctrl+Alt+M)等各种方式来收回主屏幕的控制权。响应于接收到收回主屏幕的控制权的用户命令，应用111可以停止(622)对于来自应用121的控制命令的响应。

以此方式，针对多个屏幕分别来自不同设备的场景，本公开的实施例不需要从设备同步显示主设备的屏幕内容。本公开的实施例能够在多个屏幕之间共享多种类型的信息，例如图片、音频等。此外，本公开的实施例能够基于经编辑的屏幕内容实现不同屏幕之间的进一步交互。

本公开的实施例也适用于多个屏幕来自同一设备(例如，折叠屏设备)的场景。以下将结合如图2A和2B所示的示例系统200来详细描述本公开的实施例。

图9示出了根据本公开的实施例在同一设备的不同屏幕之间进行多屏交互的信令图。图9涉及如图2A和2B所示的应用211和212以及多屏交互服务214。

如图9所示，当设备210的用户通过手势、语音命令或外部设备等任何方式触发主从屏幕之间的交互时，响应于接收(901)到触发信号，应用212可以将由多屏交互服务214向应用211发送(902～903)用于在主从屏幕之间进行多屏交互的请求(本文中也称为“第一请求”)，该请求可以指示请求时间点和/或请求类型(例如，“多屏交互”)。

应用211可以生成(904)应用信息数据包，该应用信息数据包可以包括主屏幕在请求时间点的显示内容有关的信息。在一些实施例中，根据第一请求，应用211可以从多屏交互服务214维护的屏幕缓冲区中获取主屏幕在请求时间点附近的预定时间段内的至少一个显示帧，并且可以从多屏交互服务214维护的音频缓冲区中获取与该至少一个显示帧对应的录音数据。应用211可以基于所获取的至少一个显示帧和录音数据中的至少一项来生成该应用信息数据包。

应用211可以经由多屏交互服务214向应用212发送(905～906)该应用信息数据包，以作为对第一请求的响应。响应于接收到该应用信息数据包，应用212可以在从屏幕上显示包括在该应用信息数据包中的至少一个显示帧、以及录音数据的可视表示，以供用户选择。从屏幕上显示的用户界面例如可以与图8A和8B所示的用户界面相同或类似。用户在选择目标显示帧及其对应的录音片段后，可以对目标显示帧进行编辑、针对目标显示帧进行提问、和/或触发对编辑结果和/或提问录音的分享。

响应于用户触发分享，应用212可以基于所确定的目标时间点、经过编辑的目标显示帧、与目标显示帧对应的录音片段、所录制的提问录音中的一项或多项来生成(907)第二请求，并且经由多屏交互服务214将其发送(908～909)至应用211。在一些实施例中，第二请求可以仅指示目标时间点和/或请求类型(例如，“分享笔记”)。经过编辑的目标显示帧、与目标显示帧对应的录音片段以及所录制的提问录音中的一项或多项可以被包括在经更新的应用信息数据包中与第二请求一起被发送。

响应于接收到第二请求，应用211可以在主屏幕上显示关于第二请求的提示，以询问用户是否允许分享。响应于接收(910)到指示允许分享的用户输入，应用211可以经由多屏交互服务214向应用212发送(911～912)通知，以通知应用212向应用211发送后续控制命令。

响应于接收到该通知，应用212可以在从屏幕上显示多个候选控制命令的可视表示。从屏幕上显示的用户界面例如可以与图8C至图8F所示的用户界面121-5相同或类似。用户可以从多个候选控制命令中选择一个控制命令。响应于接收(913)到指示所选择的控制命令的用户输入，应用212可以经由多屏交互服务214向应用211发送(914～915)该控制命令。应用211可以根据该控制命令，执行(916)与目标显示内容有关的操作。

分享完毕后，用户可以通过语音命令、快捷键(例如Ctrl+Alt+M)等各种方式来收回主屏幕的控制权。响应于接收到收回主屏幕的控制权的用户命令，应用211可以停止(917)对于来自应用212的控制命令的响应。

以此方式，针对不同屏幕来自同一设备(例如，折叠屏设备)的场景，本公开的实施例能够在不同屏幕之间共享多种类型的信息，并且能够基于经标记的屏幕内容实现不同屏幕之间的进一步交互。

图10示出了根据本公开的实施例的用于多屏交互的示例方法1000的流程图。方法1000例如可以由第一设备执行，第一设备例如是如图1A和1B所示的主设备111。另外，第二设备例如是如图1A和1B所示的从设备120。应当理解，方法1000还可以包括未示出的附加动作和/或可以省略所示出的动作。本公开的范围在此方面不受限制。

在框1010，第一设备接收来自第二设备的用于多屏交互的请求。第一设备在第一屏幕上显示第一内容，第一内容包括多个显示帧，并且该请求中包括请求时间点。

在框1020，第一设备根据该请求，向第二设备发送响应。该响应至少包括第一屏幕在请求时间点附近的至少一个显示帧。

在框1030，第一设备接收来自第二设备的目标显示帧或者经编辑的目标显示帧。该目标显示帧选自至少一个显示帧。

在框1040，第一设备在第一屏幕上显示目标显示帧或者经编辑的目标显示帧。

在一些实施例中，响应于接收到目标显示帧或者经编辑的目标显示帧，第一设备可以在第一屏幕上显示是否允许目标显示帧的分享的提示。第一设备可以接收用户输入，并且响应于用户输入指示用户允许该分享，在第一屏幕上显示目标显示帧或者经编辑的目标显示帧。

在一些实施例中，第一设备可以接收来自第二设备的控制命令，该控制命令用于控制第一屏幕的显示。第一设备可以根据该控制命令，在第一屏幕上显示目标显示帧或者经编辑的目标显示帧。

在一些实施例中，该控制命令包括以下任一项：第一控制命令，用于在第一屏幕上显示经编辑的目标显示帧；第二控制命令，用于在第一屏幕上显示目标显示帧；第三控制命令，用于在第一屏幕上显示目标显示帧的同时，播放用户针对目标显示帧的提问；以及第四控制命令，用于在第一屏幕上显示经编辑的目标显示帧的同时，播放与目标显示帧对应的录音片段。

在一些实施例中，第一设备可以接收来自第二设备的针对目标显示帧的提问。第一设备可以在第一屏幕上显示目标显示帧或者经编辑的目标显示帧的同时，播放该提问。

在一些实施例中，该响应可以包括与至少一个显示帧对应的录音。第一设备可以接收来自第二设备的录音片段，该录音片段选自录音并且对应于目标显示帧。第一设备可以在第一屏幕上显示目标显示帧或者经编辑的目标显示帧的同时，播放该录音片段。

在一些实施例中，第一设备可以接收用户的触发操作。响应于接收到的触发操作，第一设备可以停止在第一屏幕上显示目标显示帧或者经编辑的目标显示帧，并且重新在第一屏幕上显示第一内容。

在一些实施例中，在接收来自第二设备的请求之前，第一设备可以与第二设备建立用于多屏交互的连接。

图11示出了根据本公开的实施例的用于多屏交互的示例方法1100的流程图。方法1100例如可以由第二设备执行，第二设备例如是如图1A和1B所示的从设备120。另外，第一设备例如是如图1A和1B所示的主设备111。应当理解，方法1100还可以包括未示出的附加动作和/或可以省略所示出的动作。本公开的范围在此方面不受限制。

在框1110，第二设备响应于接收到来自用户的第一触发操作，向第一设备发送用于多屏交互的请求。该请求中包括请求时间点

在框1120，第二设备接收来自第一设备的响应。该响应至少包括第一设备的第一屏幕在请求时间点附近的至少一个显示帧。

在框1130，第二设备在第二屏幕上显示第一界面。第一界面包括该至少一个显示帧。

在框1140，第二设备接收用户输入。该用户输入指示用户针对至少一个显示帧中的目标显示帧的选择和/或编辑

在框1150，第二设备响应于接收到来自用户的第二触发操作，向第一设备发送目标显示帧或者经编辑的所述目标显示帧，以用于在第一屏幕上显示。

在一些实施例中，第二设备可以接收用户输入的控制命令。响应于接收到的控制命令，第二设备可以向第一设备发送该控制命令，以用于控制第一屏幕的显示。

在一些实施例中，该控制命令包括以下任一项：第一控制命令，用于在第一屏幕上显示经编辑的目标显示帧；第二控制命令，用于在第一屏幕上显示目标显示帧；第三控制命令，用于在第一屏幕上显示目标显示帧的同时，播放用户针对目标显示帧的提问；以及第四控制命令，用于在第一屏幕上显示经编辑的目标显示帧的同时，播放与目标显示帧对应的录音片段。

在一些实施例中，用户输入还指示用户针对目标显示帧的提问。响应于接收到第二触发操作，第二设备可以向第一设备发送该提问。

在一些实施例中，该响应包括与至少一个显示帧对应的录音。第一界面包括该录音的可视表示。用户输入指示用户针对该录音中的录音片段的选择，该录音片段对应于目标显示帧。

在一些实施例中，响应于接收到第二触发操作，第二设备可以向第一设备发送该录音片段。

在一些实施例中，在第二设备向第一设备发送请求之前，第二设备可以与第一设备建立用于多屏交互的连接。

图12示出了根据本公开的实施例的用于多屏交互的示例装置1200的框图。例如，装置1200可以用于实现如图1A和1B所示的主设备110或者主设备110的一部分。

如图12所示，装置1200包括屏幕显示单元1210，被配置为在第一屏幕上显示第一内容，第一内容包括多个显示帧；请求接收单元1220，被配置为接收来自第二设备的用于多屏交互的请求，该请求中包括请求时间点；响应发送单元1230，被配置为根据该请求，向第二设备发送响应，该响应至少包括第一屏幕在请求时间点附近的至少一个显示帧；以及显示帧接收单元1240，被配置为接收来自第二设备的目标显示帧或者经编辑的目标显示帧，该目标显示帧选自至少一个显示帧；其中屏幕显示单元1210还被配置为在第一屏幕上显示目标显示帧或者经编辑的目标显示帧。

在一些实施例中，屏幕显示单元1210：第一显示单元，被配置为响应于接收到目标显示帧或者经编辑的目标显示帧，在第一屏幕上显示是否允许目标显示帧的分享的提示；用户输入接收单元，被配置为接收用户输入；以及第二显示单元，被配置为响应于该用户输入指示用户允许分享，在第一屏幕上显示目标显示帧或者经编辑的目标显示帧。

在一些实施例中，屏幕显示单元1210：控制命令接收单元，被配置为接收来自第二设备的控制命令，该控制命令用于控制第一屏幕的显示；以及第三显示单元，被配置为根据该控制命令，在第一屏幕上显示目标显示帧或者经编辑的目标显示帧。

在一些实施例中，该控制命令包括以下任一项：第一控制命令，用于在第一屏幕上显示经编辑的目标显示帧；第二控制命令，用于在第一屏幕上显示目标显示帧；第三控制命令，用于在第一屏幕上显示目标显示帧的同时，播放用户针对目标显示帧的提问；以及第四控制命令，用于在第一屏幕上显示经编辑的目标显示帧的同时，播放与目标显示帧对应的录音片段。

在一些实施例中，装置1200还包括：提问接收单元，被配置为接收来自第二设备的针对目标显示帧的提问；以及提问播放单元，被配置为在第一屏幕上显示目标显示帧或者经编辑的目标显示帧的同时，播放该提问。

在一些实施例中，该响应包括与至少一个显示帧对应的录音，并且装置1200还包括：录音片段接收单元，被配置为接收来自第二设备的录音片段，该录音片段选自录音并且对应于目标显示帧；以及录音片段播放单元，被配置为在第一屏幕上显示目标显示帧或者经编辑的目标显示帧的同时，播放录音片段。

在一些实施例中，装置1200还包括：操作接收单元，被配置为接收用户的触发操作；以及第四显示单元，被配置为响应于接收到的触发操作，停止在第一屏幕上显示目标显示帧或者经编辑的目标显示帧，并且重新在第一屏幕上显示第一内容。

在一些实施例中，装置1200还包括：连接建立单元，被配置为在接收来自第二设备的请求之前，与第二设备建立用于多屏交互的连接。

应当理解，装置1200中的各个单元的操作和特征分别为了实现前述实施例中由第一设备执行的方法的相应步骤，并且具有同样的有益效果。出于简化的目的，具体细节不再赘述。此外，装置1200中的各种发送单元和接收单元例如可以利用以下图14所示的无线通信模块1460来实现。装置1200中的各种显示单元可以利用以下图14所示的显示屏1494来实现。

图13示出了根据本公开的实施例的用于多屏交互的示例装置1300的框图。例如，装置1300可以用于实现如图1A和1B所示的从设备120或者从设备120的一部分。

如图13所示，装置1300包括请求发送单元1310，被配置为响应于接收到来自用户的第一触发操作，向第一设备发送用于多屏交互的请求，该请求中包括请求时间点；响应接收单元1320，被配置为接收来自第一设备的响应，该响应至少包括第一设备的第一屏幕在请求时间点附近的至少一个显示帧；屏幕显示单元1330，被配置为在第二设备的第二屏幕上显示第一界面，第一界面包括至少一个显示帧；用户输入接收单元1340，被配置为接收用户输入，该用户输入指示用户针对至少一个显示帧中的目标显示帧的选择和/或编辑；以及显示帧发送单元1350，被配置为响应于接收到来自用户的第二触发操作，向第一设备发送目标显示帧或者经编辑的目标显示帧，以用于在第一屏幕上显示。

在一些实施例中，装置1300还包括：控制命令接收单元，被配置为接收用户输入的控制命令；以及控制命令发送单元，被配置为响应于接收到的控制命令，向第一设备发送该控制命令，以用于控制第一屏幕的显示。

在一些实施例中，该控制命令包括以下任一项：第一控制命令，用于在第一屏幕上显示经编辑的目标显示帧；第二控制命令，用于在第一屏幕上显示目标显示帧；第三控制命令，用于在第一屏幕上显示目标显示帧的同时，播放用户针对目标显示帧的提问；以及第四控制命令，用于在第一屏幕上显示经编辑的目标显示帧的同时，播放与目标显示帧对应的录音片段。

在一些实施例中，用户输入还指示用户针对目标显示帧的提问，并且装置1300还包括：提问发送单元，被配置为响应于接收到第二触发操作，向第一设备发送该提问。

在一些实施例中，该响应包括与至少一个显示帧对应的录音；第一界面包括该录音的可视表示；并且用户输入指示用户针对该录音中的录音片段的选择，录音片段对应于目标显示帧。

在一些实施例中，装置1300还包括：录音片段发送单元，被配置为响应于接收到第二触发操作，向第一设备发送该录音片段。

在一些实施例中，装置1300还包括：连接建立单元，被配置为在向第一设备发送请求之前，与第一设备建立用于多屏交互的连接。

应当理解，装置1300中的各个单元的操作和特征分别为了实现前述实施例中由第二设备执行的方法的相应步骤，并且具有同样的有益效果。出于简化的目的，具体细节不再赘述。此外，装置1300中的各种发送单元和接收单元例如可以利用以下图14所示的无线通信模块1460来实现。装置1300中的各种显示单元可以利用以下图14所示的显示屏1494来实现。

图14示出了电子设备1400的结构示意图。例如，如图1A所示的主设备110、从设备120和/或如图2A所示的设备210可以由电子设备1400实施。

电子设备1400可以包括处理器1410，外部存储器接口1420，内部存储器1421，通用串行总线(universal serial bus，USB)接口1430，充电管理模块1440，电源管理模块1441，电池1442，天线141，天线142，移动通信模块1450，无线通信模块1460，音频模块1470，扬声器1470A，受话器1470B，麦克风1470C，耳机接口1470D，传感器模块1480，按键1490，马达1491，指示器1492，摄像头1493，显示屏1494，以及用户标识模块(subscriberidentification module，SIM)卡接口1495等。其中传感器模块1480可以包括压力传感器1480A，陀螺仪传感器1480B，气压传感器1480C，磁传感器1480D，加速度传感器1480E，距离传感器1480F，接近光传感器1480G，指纹传感器1480H，温度传感器1480J，触摸传感器1480K，环境光传感器1480L，骨传导传感器1480M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备1400的具体限定。在本申请另一些实施例中，电子设备1400可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器1410可以包括一个或多个处理单元，例如：处理器1410可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器1410中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器1410中的存储器为高速缓冲存储器。该存储器可以保存处理器1410刚用过或循环使用的指令或数据。如果处理器1410需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器1410的等待时间，因而提高了系统的效率。

在一些实施例中，处理器1410可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器1410可以包含多组I2C总线。处理器1410可以通过不同的I2C总线接口分别耦合触摸传感器1480K，充电器，闪光灯，摄像头1493等。例如：处理器1410可以通过I2C接口耦合触摸传感器1480K，使处理器1410与触摸传感器1480K通过I2C总线接口通信，实现电子设备1400的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器1410可以包含多组I2S总线。处理器1410可以通过I2S总线与音频模块1470耦合，实现处理器1410与音频模块1470之间的通信。在一些实施例中，音频模块1470可以通过I2S接口向无线通信模块1460传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块1470与无线通信模块1460可以通过PCM总线接口耦合。在一些实施例中，音频模块1470也可以通过PCM接口向无线通信模块1460传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器1410与无线通信模块1460。例如：处理器1410通过UART接口与无线通信模块1460中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块1470可以通过UART接口向无线通信模块1460传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器1410与显示屏1494，摄像头1493等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(display serial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备1400的拍摄功能。处理器1410和显示屏1494通过DSI接口通信，实现电子设备1400的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器1410与摄像头1493，显示屏1494，无线通信模块1460，音频模块1470，传感器模块1480等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口1430是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口1430可以用于连接充电器为电子设备1400充电，也可以用于电子设备1400与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备1400的结构限定。在本申请另一些实施例中，电子设备1400也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块1440用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块1441用于连接电池1442，充电管理模块1440与处理器1410。电源管理模块1441接收电池1442和/或充电管理模块1440的输入，为处理器1410，内部存储器1421，显示屏1494，摄像头1493，和无线通信模块1460等供电。

电子设备1400的无线通信功能可以通过天线141，天线142，移动通信模块1450，无线通信模块1460，调制解调处理器以及基带处理器等实现。

天线141和天线142用于发射和接收电磁波信号。电子设备1400中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线141复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块1450可以提供应用在电子设备1400上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块1450可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块1450可以由天线141接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块1450还可以对经调制解调处理器调制后的信号放大，经天线141转为电磁波辐射出去。在一些实施例中，移动通信模块1450的至少部分功能模块可以被设置于处理器1410中。在一些实施例中，移动通信模块1450的至少部分功能模块可以与处理器1410的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器1470A，受话器1470B等)输出声音信号，或通过显示屏1494显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器1410，与移动通信模块1450或其他功能模块设置在同一个器件中。

无线通信模块1460可以提供应用在电子设备1400上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块1460可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块1460经由天线142接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器1410。无线通信模块1460还可以从处理器1410接收待发送的信号，对其进行调频，放大，经天线142转为电磁波辐射出去。在一些实施例中，无线通信模块1460可以用于收发上文描述的各种消息(包括各种请求和响应)、数据包(包括显示帧、录音数据和/或其他数据)等。无线通信模块1460例如可以用于实现如图12所示的装置1200和/或如图13所示的装置1300中的各种发送单元和接收单元。

在一些实施例中，电子设备1400的天线141和移动通信模块1450耦合，天线142和无线通信模块1460耦合，使得电子设备1400可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobilecommunications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband codedivision multiple access，WCDMA)，时分码分多址(time-division code divisionmultiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellite system，BDS)，准天顶卫星系统(quasi-zenithsatellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备1400通过GPU，显示屏1494，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏1494和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器1410可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏1494用于显示图像，视频等。在一些实施例中，显示屏1494可以用于上文描述的各种界面、显示帧等等。例如，显示屏1494可以用于实现如图12所示的装置1200和/或如图13所示的装置1300中的各种显示单元。显示屏1494包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备1400可以包括1个或N个显示屏1494，N为大于1的正整数。

电子设备1400可以通过ISP，摄像头1493，视频编解码器，GPU，显示屏1494以及应用处理器等实现拍摄功能。

ISP用于处理摄像头1493反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头1493中。

摄像头1493用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备1400可以包括1个或N个摄像头1493，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备1400在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备1400可以支持一种或多种视频编解码器。这样，电子设备1400可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备1400的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口1420可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备1400的存储能力。外部存储卡通过外部存储器接口1420与处理器1410通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器1421可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器1421可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备1400使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器1421可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器1410通过运行存储在内部存储器1421的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备1400的各种功能应用以及数据处理。

电子设备1400可以通过音频模块1470，扬声器1470A，受话器1470B，麦克风1470C，耳机接口1470D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块1470用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块1470还可以用于对音频信号编码和解码。在一些实施例中，音频模块1470可以设置于处理器1410中，或将音频模块1470的部分功能模块设置于处理器1410中。

扬声器1470A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备1400可以通过扬声器1470A收听音乐，或收听免提通话。

受话器1470B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备1400接听电话或语音信息时，可以通过将受话器1470B靠近人耳接听语音。

麦克风1470C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风1470C发声，将声音信号输入到麦克风1470C。电子设备1400可以设置至少一个麦克风1470C。在另一些实施例中，电子设备1400可以设置两个麦克风1470C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备1400还可以设置三个，四个或更多麦克风1470C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口1470D用于连接有线耳机。耳机接口1470D可以是USB接口1430，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器1480A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器1480A可以设置于显示屏1494。压力传感器1480A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器1480A，电极之间的电容改变。电子设备1400根据电容的变化确定压力的强度。当有触摸操作作用于显示屏1494，电子设备1400根据压力传感器1480A检测所述触摸操作强度。电子设备1400也可以根据压力传感器1480A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器1480B可以用于确定电子设备1400的运动姿态。在一些实施例中，可以通过陀螺仪传感器1480B确定电子设备1400围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器1480B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器1480B检测电子设备1400抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备1400的抖动，实现防抖。陀螺仪传感器1480B还可以用于导航，体感游戏场景。

气压传感器1480C用于测量气压。在一些实施例中，电子设备1400通过气压传感器1480C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器1480D包括霍尔传感器。电子设备1400可以利用磁传感器1480D检测翻盖皮套的开合。在一些实施例中，当电子设备1400是翻盖机时，电子设备1400可以根据磁传感器1480D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器1480E可检测电子设备1400在各个方向上(一般为三轴)加速度的大小。当电子设备1400静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器1480F，用于测量距离。电子设备1400可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备1400可以利用距离传感器1480F测距以实现快速对焦。

接近光传感器1480G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备1400通过发光二极管向外发射红外光。电子设备1400使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备1400附近有物体。当检测到不充分的反射光时，电子设备1400可以确定电子设备1400附近没有物体。电子设备1400可以利用接近光传感器1480G检测用户手持电子设备1400贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器1480G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器1480L用于感知环境光亮度。电子设备1400可以根据感知的环境光亮度自适应调节显示屏1494亮度。环境光传感器1480L也可用于拍照时自动调节白平衡。环境光传感器1480L还可以与接近光传感器1480G配合，检测电子设备1400是否在口袋里，以防误触。

指纹传感器1480H用于采集指纹。电子设备1400可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器1480J用于检测温度。在一些实施例中，电子设备1400利用温度传感器1480J检测的温度，执行温度处理策略。例如，当温度传感器1480J上报的温度超过阈值，电子设备1400执行降低位于温度传感器1480J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备1400对电池1442加热，以避免低温导致电子设备1400异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备1400对电池1442的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器1480K，也称“触控器件”。触摸传感器1480K可以设置于显示屏1494，由触摸传感器1480K与显示屏1494组成触摸屏，也称“触控屏”。触摸传感器1480K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏1494提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器1480K也可以设置于电子设备1400的表面，与显示屏1494所处的位置不同。

骨传导传感器1480M可以获取振动信号。在一些实施例中，骨传导传感器1480M可以获取人体声部振动骨块的振动信号。骨传导传感器1480M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器1480M也可以设置于耳机中，结合成骨传导耳机。音频模块1470可以基于所述骨传导传感器1480M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器1480M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键1490包括开机键，音量键等。按键1490可以是机械按键。也可以是触摸式按键。电子设备1400可以接收按键输入，产生与电子设备1400的用户设置以及功能控制有关的键信号输入。

马达1491可以产生振动提示。马达1491可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏1494不同区域的触摸操作，马达1491也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器1492可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口1495用于连接SIM卡。SIM卡可以通过插入SIM卡接口1495，或从SIM卡接口1495拔出，实现和电子设备1400的接触和分离。电子设备1400可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口1495可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口1495可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口1495也可以兼容不同类型的SIM卡。SIM卡接口1495也可以兼容外部存储卡。电子设备1400通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备1400采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备1400中，不能和电子设备1400分离。

电子设备1400的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备1400的软件结构。

图15是本发明实施例的电子设备1400的软件结构框图。如图15所示的软件结构可以用于实现如图1B和2B所示的软件系统架构。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图15所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。在一些实施例中，应用程序还可以包括如图1B所示的应用111和/或应用121，或者可以包括如图2B所示的应用211和/或应用212(出于简化目的，图15中未示出)。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图15所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器、媒体服务、多屏交互服务等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备1400的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

媒体服务例如可以是如图1B所示的媒体服务112，用于支持应用111(例如，视频会议应用、视频播放应用、办公应用或者其他展示应用)的运行，或者可以是如图2B所示的媒体服务213，用于支持应用211(例如，视频会议应用、视频播放应用、办公应用或者其他展示应用)的运行。多屏交互服务例如可以是如图1B所示的多屏交互服务113，用于支持应用111与应用121之间的多屏交互，或者可以是如图2B所示的多屏交互服务214，用于支持应用211与应用212之间的多屏交互。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。在一些实施例中，内核层可以包括如图1B所示的显示器驱动114、GPU驱动115、蓝牙驱动116或123、以及WIFI驱动117或124；或者可以包括如图2B所示的显示器驱动215、GPU驱动216、蓝牙驱动217、以及WIFI驱动218(出于简化目的，图15中未示出)。

下面结合捕获拍照场景，示例性说明电子设备1400软件以及硬件的工作流程。当触摸传感器1480K接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头1493捕获静态图像或视频。

本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (18)

1.一种多屏交互的系统，其特征在于，包括：

第一设备，包括第一屏幕；以及

第二设备，包括第二屏幕，其中：

所述第一设备在所述第一屏幕上显示第一内容，所述第一内容包括多个显示帧；

所述第二设备接收用户的第一触发操作；

响应于接收到的所述第一触发操作，所述第二设备向所述第一设备发送用于多屏交互的请求，所述请求中包括请求时间点；

所述第一设备根据所述请求，向所述第二设备发送响应，所述响应至少包括所述第一屏幕在所述请求时间点附近的至少一个显示帧；

所述第二设备接收所述响应，在所述第二屏幕上显示第一界面，所述第一界面包括所述至少一个显示帧；

所述第二设备接收用户输入，所述用户输入指示用户针对所述至少一个显示帧中的目标显示帧的选择和/或编辑；

所述第二设备接收用户的第二触发操作；

响应于接收到的所述第二触发操作，所述第二设备向所述第一设备发送所述目标显示帧或者经编辑的所述目标显示帧；并且

所述第一设备在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧。

2.根据权利要求1所述的系统，其特征在于，其中：

响应于接收到所述目标显示帧或者经编辑的所述目标显示帧，所述第一设备在所述第一屏幕上显示是否允许所述目标显示帧的分享的提示；

所述第一设备接收另一用户输入；并且

响应于所述另一用户输入指示用户允许所述分享，所述第一设备在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧。

3.根据权利要求1或2所述的系统，其特征在于，其中：

所述第二设备接收用户输入的控制命令；

响应于接收到的所述控制命令，所述第二设备向所述第一设备发送所述控制命令，以用于控制所述第一屏幕的显示；并且

所述第一设备根据所述控制命令，在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧。

4.根据权利要求3所述的系统，其特征在于，所述控制命令包括以下任一项：

第一控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧；

第二控制命令，用于在所述第一屏幕上显示所述目标显示帧；

第三控制命令，用于在所述第一屏幕上显示所述目标显示帧的同时，播放用户针对所述目标显示帧的提问；以及

第四控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧的同时，播放与所述目标显示帧对应的录音片段。

5.根据权利要求1至4中任一项所述的系统，其特征在于，其中所述用户输入还指示用户针对所述目标显示帧的提问，并且其中：

响应于接收到的所述第二触发操作，所述第二设备向所述第一设备发送所述提问；并且

所述第一设备在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧的同时，播放所述提问。

6.根据权利要求1至5中任一项所述的系统，其特征在于，其中：

所述响应包括与所述至少一个显示帧对应的录音；

所述第一界面包括所述录音的可视表示；并且

所述用户输入指示用户针对所述录音中的录音片段的选择，所述录音片段对应于所述目标显示帧。

7.根据权利要求6所述的系统，其特征在于，其中：

响应于接收到的所述第二触发操作，所述第二设备向所述第一设备发送所述录音片段；并且

所述第一设备在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧的同时，播放所述录音片段。

8.根据权利要求1至7中任一项所述的系统，其特征在于，其中：

所述第一设备接收用户的第三触发操作；并且

响应于接收到的所述第三触发操作，所述第一设备停止在所述第一屏幕上显示所述目标显示帧或者经编辑的所述目标显示帧，并且重新在所述第一屏幕上显示所述第一内容。

9.根据权利要求1至8中任一项所述的系统，其特征在于，其中：

在所述第二设备向所述第一设备发送所述请求之前，所述第一设备与所述第二设备建立用于多屏交互的连接。

10.一种多屏交互的方法，其特征在于，包括：

第二设备响应于接收到来自用户的第一触发操作，向第一设备发送用于多屏交互的请求，所述请求中包括请求时间点；

所述第二设备接收来自所述第一设备的响应，所述响应至少包括所述第一设备的第一屏幕在所述请求时间点附近的至少一个显示帧；

所述第二设备在所述第二设备的第二屏幕上显示第一界面，所述第一界面包括所述至少一个显示帧；

所述第二设备接收用户输入，所述用户输入指示用户针对所述至少一个显示帧中的目标显示帧的选择和/或编辑；以及

所述第二设备响应于接收到来自用户的所述第二触发操作，向所述第一设备发送所述目标显示帧或者经编辑的所述目标显示帧，以用于在所述第一屏幕上显示。

11.根据权利要求10所述的方法，其特征在于，还包括：

所述第二设备接收用户输入的控制命令；以及

响应于接收到的所述控制命令，所述第二设备向所述第一设备发送所述控制命令，以用于控制所述第一屏幕的显示。

12.根据权利要求11所述的方法，其特征在于，所述控制命令包括以下任一项：

第一控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧；

第二控制命令，用于在所述第一屏幕上显示所述目标显示帧；

第三控制命令，用于在所述第一屏幕上显示所述目标显示帧的同时，播放用户针对所述目标显示帧的提问；以及

第四控制命令，用于在所述第一屏幕上显示经编辑的所述目标显示帧的同时，播放与所述目标显示帧对应的录音片段。

13.根据权利要求10至12中任一项所述的方法，其特征在于，其中所述用户输入还指示用户针对所述目标显示帧的提问，并且所述方法还包括：

响应于接收到所述第二触发操作，所述第二设备向所述第一设备发送所述提问。

14.根据权利要求10至13中任一项所述的方法，其特征在于，其中：

所述响应包括与所述至少一个显示帧对应的录音；

所述第一界面包括所述录音的可视表示；并且

所述用户输入指示用户针对所述录音中的录音片段的选择，所述录音片段对应于所述目标显示帧。

15.根据权利要求14所述的方法，其特征在于，还包括：

响应于接收到所述第二触发操作，所述第二设备向所述第一设备发送所述录音片段。

16.根据权利要求10至15中任一项所述的方法，其特征在于，还包括：

在所述第二设备向所述第一设备发送所述请求之前，所述第二设备与所述第一设备建立用于多屏交互的连接。

17.一种电子设备，包括：

一个或多个处理器；

一个或多个存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述一个或多个存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行根据权利要求10至16中任一项所述的方法。

18.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至16中任一项的方法所述的操作。

Images