CN115328414A - 协同显示方法、电子设备、介质以及程序产品 - Google Patents

Abstract

本公开的实施例提供了一种协同显示方法、电子设备、存储介质以及程序产品。在该方法中，第一设备(例如，投屏设备)获取与由第二设备(例如，源设备)基于其上运行的应用和第一设备的第一取向而生成的第一界面相关联的第一数据，并相应地呈现第一界面。第一设备向第二设备提供取向信息以指示第一设备从第一取向改变至第二取向(例如，从水平取向切换到垂直取向)。相应地，第一设备获取与由第二设备基于该应用和第一设备的第二取向而生成的第二界面相关联的第二数据，并相应地呈现第二界面，其中该第二界面具有不同于第一界面的显示方向(例如，从横幅显示切换到竖幅显示)。基于这样的方式，在多设备协同显示的过程中，本公开的实施例能够使得在源设备上运行的应用能够响应于投屏设备的取向变化而相应地改变投屏界面的显示方向，这能够使得用户能够更为便捷地与投屏界面进行交互。

Description

协同显示方法、电子设备、介质以及程序产品

技术领域

本公开总体上涉及信息技术领域，并且更特别地涉及一种协同显示方法、电子设备、计算机可读存储介质、以及计算机程序产品。

背景技术

在人们的日常生活中，某些类型的设备可能由于其屏幕尺寸问题，而无法给用户提供最佳的视觉效果。各种类型的协同显示技术(例如，投屏技术)被提出。例如，具有较小尺寸屏幕的设备上的应用界面可以投影到更大尺寸屏幕的设备，从而为用户提供更优的视觉或交互体验。运行应用并生成应用界面的设备可以被称为源设备(也称为source设备)，作为显示设备而呈现源设备生成的应用界面的设备可以被称为投屏设备(也称为sink设备)。在传统的协同显示过程中，投屏设备往往仅仅作为显示设备来工作，这导致用户难以获得如同在源设备上直接交互的体验。

发明内容

本公开的实施例涉及一种多设备之间协同显示的技术方案，并且具体提供了一种协同显示方法、电子设备、计算机可读存储介质、以及计算机程序产品。

在本公开的第一方面，提供了一种协同显示方法。在该方法中，第一设备(例如，投屏设备)获取与由第二设备(例如，源设备)基于其上运行的应用和第一设备的第一取向而生成的第一界面相关联的第一数据，并相应地呈现第一界面。第一设备向第二设备提供取向信息以指示第一设备从第一取向改变至第二取向(例如，从水平取向切换到垂直取向)。相应地，第一设备获取与由第二设备基于该应用和第一设备的第二取向而生成的第二界面相关联的第二数据，并相应地呈现第二界面，其中该第二界面具有不同于第一界面的显示方向(例如，从横幅显示切换到竖幅显示)。应理解：本文中“运行的应用”为第二终端上运行的，并投屏到第一设备上的应用，该应用可以是运行在第二终端前台的应用，也可以是运行在第二终端后台的应用。

基于这样的方式，在多设备协同显示的过程中，本公开的实施例能够使得在源设备上运行的应用能够响应于投屏设备的取向变化而相应地改变投屏界面的显示方向，这能够使得用户能够更为便捷地与投屏界面进行交互，从而提升用户交互的友好程度。

在本公开中，取向(orientation)可以用于表示设备相对于世界坐标系的绝对倾斜角度。或者，取向也可以用于表示设备的屏幕方向，其例如可以包括四种状态，即0度、90度、180度和270度。或者，取向也可以用于表示设备的横竖屏状态，其例如可以包括两种状态，即竖屏状态和横屏状态。

在一些实施例中，呈现第一界面包括：以异源投屏模式呈现第一界面，其中在异源投屏模式中，第二设备呈现的界面不同于第一界面。以此方式，投屏设备可以以扩展的方式来进行投屏，从而允许用户同时在源设备上执行其他任务。

在一些实施例中，取向信息由包括第一设备中的物理传感器所生成的传感器数据。以这种方式，能够保证投屏界面能够根据投屏设备的传感器数据来相应地变化。

在一些实施例中，向第二设备提供取向信息包括：向第二设备发送与第一设备中的物理传感器相关联的硬件信息；以及向第二设备中基于硬件信息构建的虚拟传感器发送传感器数据，虚拟传感器运行作为物理传感器的代理。通过构建虚拟传感器，本公开的实施例能够使得上层应用如同在源设备上显示一样进行操作，因此不用额外地改变上层应用的逻辑。这能够降低开发的成本，此外，这样的机制还能够为管理多个设备的并行投屏提供支持。

在一些实施例中，向第二设备提供取向信息包括：获取第一设备中的物理传感器所生成的传感器数据；响应于基于传感器数据确定第一设备从第一取向改变至第二取向，向第二设备提供取向信息，取向信息包括用于指示改变的指示符。基于这样的方式，本公开的实施例能够降低取向信息的通信成本，从而便捷地实现投屏设备取向改变的通知。

在一些实施例中，第一界面对应于应用的横幅显示模式并且第二界面对应于应用的竖幅显示模式。备选地，第一界面对应于应用的竖幅显示模式并且第二界面对应于应用的横幅显示模式。备选地，第一界面和第二界面可以分别对应于应用的、具有不同显示方向的横幅显示模式。备选地，第一界面和第二界面可以分别对应于应用的、具有不同显示方向的竖幅显示模式。在一些实施例中，横幅显示模式和竖幅显示模式具有不同的界面布局。

在一些实施例中，第一设备可以接收在第一设备上的用户操作，并向第二设备发送与用户操作相关联操作信息。进一步地，第一设备可以接收第二设备发送的与第三界面相关联的第三数据，并基于第三数据来呈现第三界面，其中第三数据由第二设备基于应用和操作信息而生成的。基于这样的方式，用户可以直接在投屏设备上对界面进行交互，从而能够提高交互的便利程度。

在本公开的第二方面，提供了一种协同显示方法。在该方法中，第二设备(例如，源设备)基于其上运行的应用和第一设备(例如，投屏设备)的第一取向生成与第一界面相关联的第一数据，并向第一设备发送第一数据。进一步地，第二设备从第一设备获取取向信息，其中取向信息指示第一设备从第一取向改变至第二取向。进一步地，第二设备基于该应用和第一设备的第二取向生成与第二界面相关联的第二数据，并向第一设备发送第二数据，其中第二数据由应用基于第一设备的第二取向而生成，并且其中第二界面具有不同于第一界面的显示方向。应理解：本文中“运行的应用”为第二终端上运行的，并投屏到第一设备上的应用，该应用可以是运行在第二终端前台的应用，也可以是运行在第二终端后台的应用。

基于这样的方式，在多设备协同显示的过程中，本公开的实施例能够使得在源设备上运行的应用能够响应于投屏设备的取向变化而相应地改变投屏界面的显示方向，这能够使得用户能够更为便捷地与投屏界面进行交互，从而提升用户交互的友好程度。

在一些实施例中，第二设备还可以是第一设备以异源投屏模式呈现第一界面，其中在异源投屏模式中，第二设备呈现的界面不同于第一界面。以此方式，投屏设备可以以扩展的方式来进行投屏，从而允许用户同时在源设备上执行其他任务。

在一些实施例中，取向信息由包括第一设备中的物理传感器所生成的传感器数据。以这种方式，能够保证投屏界面能够根据投屏设备的传感器数据来相应地变化。

在一些实施例中，从第二设备获取取向信息包括：获取与第一设备中的物理传感器相关联的硬件信息；基于硬件信息构建与物理传感器对应的虚拟传感器，以作为物理传感器的代理；以及经由虚拟传感器获取物理传感器生成的传感器数据。

在一些实施例中，第二设备还可以创建与第一设备相对应的逻辑显示设备；以及将逻辑显示设备绑定至虚拟传感器，使得被投屏至第一设备的界面基于由虚拟传感器指示第一设备的取向而被确定，而不考虑第二设备的取向。

通过构建虚拟传感器，本公开的实施例能够使得上层应用如同在源设备上显示一样进行操作，因此不用额外地改变上层应用的逻辑。

在一些实施例中，应用为第一应用，并且逻辑显示设备为第一逻辑显示设备，第二设备还可以将第二设备上运行的第二应用生成的界面异源投屏至第三设备；创建与第三设备相对应的第二逻辑显示设备；以及将第二逻辑显示设备绑定至第二虚拟传感器，使得被投屏至第三设备的界面基于由第二虚拟传感器指示的第三设备的取向而被确定，而不考虑第二设备的取向，其中第二虚拟传感器基于第三设备中的物理传感器而被构建。

以此方式，本公开的实施例能够支持将单个源设备中的单个应用或不同应用所生成的多个界面分别投影到不同投影设备中，并且使得投影界面总是基于相应投影设备的取向来发生变化。这进一步提升了交互的便利程度。

在一些实施例中，向第一设备发送与第二界面相关联的第二数据包括：响应于基于传感器数据确定第一设备从第一取向改变至第二取向，生成应用的、与第二取向相对应的第二界面；以及向第一设备发送与第二界面相关联的第二数据。

在一些实施例中，取向信息包括指示第一设备从第一取向改变至第二取向的指示符。基于这样的方式，本公开的实施例能够降低取向信息的通信成本，从而便捷地实现投屏设备取向改变的通知。

在一些实施例中，第一界面对应于应用的横幅显示模式并且第二界面对应于应用的竖幅显示模式。备选地，第一界面对应于应用的竖幅显示模式并且第二界面对应于应用的横幅显示模式。备选地，第一界面和第二界面可以分别对应于应用的、具有不同显示方向的横幅显示模式。备选地，第一界面和第二界面可以分别对应于应用的、具有不同显示方向的竖幅显示模式。在一些实施例中，横幅显示模式和竖幅显示模式具有不同的界面布局。

在一些实施例中，第二设备还可以从第一设备接收与第一设备上的用户操作相关联的操作信息，并基于运行的应用和操作信息生成与第三界面相关联的第三数据。进一步地，第二设备可以向第一设备发送第三数据。基于这样的方式，用户可以直接在投屏设备上对界面进行交互，从而能够提高交互的便利程度。

在本公开的第三方面，提供了一种协同显示方法。在该方法中，第一设备(例如，投屏设备)向第二设备(例如，源设备)发送第一设备中的物理传感器生成的传感器数据，传感器数据指示第一设备的取向。进一步地，第一设备接收第二设备发送的与界面相关的数据，该数据是由第二设备基于其上运行的应用和传感器数据所生成的。进一步地，第一设备基于接收的数据来呈现该界面，该界面具有与取向对应的显示方向。

基于这样的方式，在多设备协同显示的过程中，本公开的实施例能够使得投屏界面总是基于投屏设备的传感器信息来生成，而不考虑源设备自身的传感器信息。这样的协同显示方式将更符合用户的自然交互习惯，并且提升用户交互体验。

在一些实施例中，向第二设备发送传感器数据包括：向第二设备发送与第一设备中的物理传感器相关联的硬件信息；以及向第二设备中基于硬件信息构建的虚拟传感器发送传感器数据，虚拟传感器运行作为物理传感器的代理。

通过构建虚拟传感器，本公开的实施例能够使得上层应用如同在源设备上显示一样进行操作，因此不用额外地改变上层应用的逻辑。这能够降低开发的成本，此外，这样的机制还能够为管理多个设备的并行投屏提供支持。

在本公开的第四方面，提供了一种协同显示方法。在该方法中，第二设备(例如，源设备)从第一设备(例如，投屏设备)获取第一设备中的物理传感器生成的传感器数据，传感器数据指示第一设备的取向。进一步地，第二设备基于其上运行的应用和传感器数据生成与界面相关联的数据，并向第一设备发送该数据，其中该界面具有与第一设备的取向相对应的显示方向。

基于这样的方式，在多设备协同显示的过程中，本公开的实施例能够使得投屏界面总是基于投屏设备的传感器信息来生成，而不考虑源设备自身的传感器信息。这样的协同显示方式将更符合用户的自然交互习惯，并且提升用户交互体验。

在一些实施例中，从第二设备获取传感器数据包括：获取与第一设备中的物理传感器相关联的硬件信息；基于硬件信息构建与物理传感器对应的虚拟传感器，以作为物理传感器的代理；以及经由虚拟传感器获取物理传感器生成的传感器数据。

通过构建虚拟传感器，本公开的实施例能够使得上层应用如同在源设备上显示一样进行操作，因此不用额外地改变上层应用的逻辑。这能够降低开发的成本，此外，这样的机制还能够为管理多个设备的并行投屏提供支持。

在本公开的第五方面，提供了一种第一设备。第一设备包括处理器以及存储有指令的存储器。指令在被处理器执行时使得第一设备执行根据第一方面或第三方面及其实现方式的任一方法。

在本公开的第六方面，提供了一种第二设备。第二设备包括处理器以及存储有指令的存储器。指令在被处理器执行时使得第二设备执行根据第二方面或第四方面及其实现方式的任一方法。

在本公开的第七方面，提供了一种计算机可读存储介质。计算机可读存储介质存储有指令，指令在被电子设备执行时使得电子设备执行第一方面、第二方面、第三方面或第四方面及其实现方式的任一方法。

在本公开的第八方面，提供了一种计算机程序产品。计算机程序产品包括指令，指令在被电子设备执行时使得电子设备执行第一方面、第二方面、第三方面或第四方面及其实现方式的任一方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的关键或重要特征，亦非用于限制本公开的范围。本公开的其他特征通过以下的描述将变得容易理解。

附图说明

通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得容易理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施例。

图1示出了可以实现本公开的实施例的一种电子设备的硬件结构的示意图。

图2A至图2C示出了传统的协同显示的示意图。

图3A至图3D示出了根据本公开的实施例的协同显示的示意图。

图4示出了根据本公开的一些实施例的示例协同显示过程。

图5示出了根据本公开的实施例的协同显示系统的示意架构图。

图6示出了根据本公开的又一些实施例的示例协同显示过程。

图7示出了根据本公开的一些实施例的界面显示方法的示例过程的流程图。

图8示出了根据本公开的又一些实施例的界面显示方法的示例过程的流程图。

图9示出了根据本公开的又一些实施例的界面显示方法的示例过程的流程图。

图10示出了根据本公开的又一些实施例的界面显示方法的示例过程的流程图。

贯穿所有附图，相同或者相似的参考标号被用来表示相同或者相似的组件。

具体实施方式

下文将参考附图中示出的若干示例性实施例来描述本公开的原理和精神。应当理解，描述这些具体的实施例仅是为了使本领域的技术人员能够更好地理解并实现本公开，而并非以任何方式限制本公开的范围。在以下描述和权利要求中，除非另有定义，否则本文中使用的所有技术和科学术语具有与所属领域的普通技术人员通常所理解的含义。

如本文所使用的，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象，并且仅用于区分所指代的对象，而不暗示所指代的对象的特定空间顺序、时间顺序、重要性顺序，等等。在一些实施例中，取值、过程、所选择的项目、所确定的项目、设备、装置、手段、部件、组件等被称为“最佳”、“最低”、“最高”、“最小”、“最大”，等等。应当理解，这样的描述旨在指示可以在许多可使用的功能选择中进行选择，并且这样的选择不需要在另外的方面或所有方面比其他选择更好、更低、更高、更小、更大或者以其他方式优选。如本文所使用的，术语“确定”可以涵盖各种各样的动作。例如，“确定”可以包括运算、计算、处理、导出、调查、查找(例如，在表格、数据库或另一数据结构中查找)、查明等。此外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。再者，“确定”可以包括解析、选择、选取、建立等。

示例设备

图1示出了可以实施本公开的实施例的一种电子设备100的硬件结构的示意图。如图1所示，电子设备100可以包括处理器110、外部存储器接口120、内部存储器121、通用串行总线(universal serial bus，USB)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、按键190、马达191、指示器192、摄像头193、显示屏194、以及用户标识模块(subscriber identification module，SIM)卡接口195等。传感器模块180可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K、环境光传感器180L、骨传导传感器180M等。

应当理解，本公开的实施例所示意的结构并不构成对电子设备100的具体限定。在本公开的另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processingunit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口、集成电路内置音频(inter-integrated circuitsound，I2S)接口、脉冲编码调制(pulse code modulation，PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口、移动产业处理器接口(mobile industry processor interface，MIPI)、通用输入输出(general-purposeinput/output，GPIO)接口、用户标识模块(subscriber identity module，SIM)接口、和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K、充电器、闪光灯、摄像头193等。例如，处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样、量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如，处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194、摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)、显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193、显示屏194、无线通信模块160、音频模块170、传感器模块180等。GPIO接口还可以被配置为I2C接口、I2S接口、UART接口、MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口、Micro USB接口、USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本公开的实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本公开的另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备100供电。

电源管理模块141用于连接电池142、充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110、内部存储器121、显示屏194、摄像头193、和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如，可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G/6G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器、开关、功率放大器、低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A、受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(global navigation satellite system，GNSS)、调频(frequency modulation，FM)、近距离无线通信技术(near field communication，NFC)、红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(GSM)、通用分组无线服务(GPRS)、码分多址接入(CDMA)、宽带码分多址(WCDMA)、时分码分多址(TD-SCDMA)、长期演进(long termevolution，LTE)、5G以及后续演进标准、BT、GNSS、WLAN、NFC、FM、和/或IR技术等。电子设备100通过GPU、显示屏194、以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可以包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如，动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3、MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如图像识别、人脸识别、语音识别、文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐、视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令、和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

电子设备100可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、以及应用处理器等实现音频功能。例如音乐播放，录音等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡、Micro SIM卡、SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本公开的实施例以分层架构的一种移动操作系统为例，示例性说明电子设备100的软件结构。

基本原理

如上文所讨论的，各种类型的协同显示技术被应用于人们的日常生活中，以帮助用户提高交互效率或者获得更好的视觉呈现。例如，在一些传统的投屏技术中，具有较小尺寸屏幕的设备上的应用界面可以投影到更大尺寸屏幕的设备。运行应用并生成应用界面的设备可以被称为源设备，作为显示设备而呈现源设备生成的应用界面的设备可以被称为投屏设备。在此类投屏技术中，投屏设备往往仅仅作为显示设备来工作，这导致用户难以获得如同在源设备上直接交互的体验。

此外，随着移动互联技术发展，多屏协同的概念也随之被提出。多屏协同不仅能够支持将源设备的界面投屏到投屏设备上显示，并且还能够使得用户能够直接在投屏设备对投屏的界面进行交互。

图2A示出了传统的投屏显示的示意图200A。如图2A所示，源设备210可以与投屏设备220建立连接，以将源设备210上的界面投屏到投屏设备220中。在一些实施例中，源设备210可以基于任何适当的无线连接来建立与投屏设备220之间的连接，这样的无线连接包括但不限于：Wi-Fi无线连接、蓝牙无线连接、NFC无线连接等。在一些实施例中，源设备210还可以建立与投屏设备220之间的有线连接。例如，可以通过USB Type C接口线缆来连接源设备210和投屏设备220。

在一些示例中，源设备210和投屏设备220可以包括任何适当类型的有屏设备，其示例包括但不限于：智能手机、平板电脑、笔记本电脑、电视机、带屏的可穿戴设备、车载显示屏等。

如图2A所示，在源设备210和投屏设备220建立连接后，源设备210上所生成的界面215可以被投屏至投屏设备220。例如，界面215可以是由源设备210基于其上运行的“信息”应用所生成，并且以镜像方式呈现为投屏设备220上的界面230。以镜像方式将源设备210呈现的界面投屏到投屏设备220的方式也被称为“同源投屏模式”，在同源投屏模式中，源设备210和投屏设备220将同步地呈现相同的显示内容。

在一些示例中，如图2A所示，界面215例如可以具有与界面230相同大小的分辨率。由于源设备210的分辨率例如小于投屏设备220，界面230例如可能只会占据投屏设备220所呈现的完整界面225中的一部分。

在一些示例中，当投屏设备220例如接收到用户对于界面230中的“全屏”按钮的点击时，投屏模式可以从“同源投屏模式”切换至如图2B所示的“异源投屏模式”。图2B示出了传统的投屏显示的示意图200B。如图2B所示，当投屏设备220例如接收到用户对于界面230中的“全屏”按钮的点击时，源设备210例如可以不再呈现界面215，投屏设备220可以以全屏模式呈现被投屏的界面230。

在异源投屏模式中，源设备210和投屏设备220不再同步地呈现相同的显示内容。例如，以图2B为例，源设备210可以显示“桌面”应用所生成的界面235，投屏设备220则以全屏模式呈现由源设备210利用“信息”应用所生成的界面240。

在传统的异源投屏模式中，界面250的显示方向总是取决于源设备210的取向。图2C示出了传统的投屏显示的示意图200C。如图2C所示，当源设备210例如被顺时针旋转90度，从而从竖直取向改变至水平取向。此时，源设备210中所显示的界面可能不发生变化。以“桌面”应用为例，在源设备210改变到水平取向后，界面245与界面235的显示内容相同。而对于一些其他的应用，其布局也可以因为从源设备210从竖直取向改变到水平取向而发生变化。

在本公开中，界面的“显示方向(display orientation)”是指矩形的界面被定向以供用户查看的方式。常见的“显示方向”可以包括水平显示方向和竖直显示方向。例如，水平方向是指界面在水平方向的宽度大于竖直方向的高度。相反，竖直显示方向是指水平方向的宽度小于竖直方向的高度。此外，根据实际场景的需要，水平显示方向可以根据界面中视觉元素的朝向而进一步被区分。类似地，竖直显示方向也可以根据界面中视觉元素的朝向而进一步被区分。

在本公开中，取向(orientation)可以用于表示设备相对于世界坐标系的绝对倾斜角度。或者，取向也可以用于表示设备的屏幕方向，其例如可以包括四种状态，即0度、90度、180度和270度。或者，取向也可以用于表示设备的横竖屏状态，其例如可以包括两种状态，即竖屏状态和横屏状态。

在本公开中，术语“竖直取向”用于指示设备处于基本上竖直的取向，此时，设备的纵轴线与地平面的夹角例如可以大于预定阈值。术语“水平取向”用于指示设备处于基本上水平的取向，此时，设备的纵轴线与地平面的夹角例如可以小于预定阈值。此外，根据实际场景的需要，根据设备头部的朝向不同，“竖直取向”例如还可以被进一步细化为两个相反方向上的“竖直取向”，“水平取向”例如也可以被进一步细化为两个相反方向上的“水平取向”。

由于在传统的“异源投屏模式”中，投屏设备220呈现的被投屏的界面的显示方向总是取决于源设备210的取向。因此，如图2C所示，投屏设备220将呈现新的界面250，该界面250对应于源设备210的水平取向而处于横幅显式模式。然而，由于此时投屏设备220仍处于竖直取向，这使得界面250只能够被相应地按比例拉伸，而导致投屏设备220在界面250外可能出现大面积的黑屏区域。

能够看到，如图2C所示的大面积黑屏区域将极大地影响用户的观感，并无法充分地利用投屏设备220的显示范围，从而影响用户的交互体验。因此，这种传统的“异源投屏模式”违背了大部分用户的自然交互习惯，降低了协同显示的效率。

另一方面，这种传统的“异源投屏模式”还无法响应于用户对于投屏设备220的操作。例如，当用户旋转投屏设备220时，投屏界面将无法有效地进行响应，这也极大地影响了用户的交互体验。

有鉴于此，根据本公开的实施例，提供了一种协同显示的方案。具体地，投屏设备(为了方便描述，也称为第一设备)获取由源设备(为了方便描述，也称为第二设备)基于运行的应用和第一设备的第一取向而生成的与第一界面相关联的第一数据，并相应地呈现第一界面。进一步地，第一设备可以向第二设备提供取向信息以指示第一设备从第一取向改变至第二取向(例如，从水平取向切换到垂直取向)。相应地，第一设备获取由第二设备基于运行的应用和第一设备的第二取向而生成的与第二界面相关联的第二数据，并相应地呈现第二界面，其中该第二界面具有不同于第一界面的显示方向(例如，从横幅显示切换到竖幅显示)。

基于这样的方式，在多设备协同显示的过程中，本公开的实施例能够使得在源设备上运行的应用能够响应于投屏设备的取向变化而相应地改变投屏界面的显示方向，这更加符合用户的自然交互习惯。此外，用户还能够通过直接操作投屏设备来快捷地改变投屏界面的显示方向，这使得用户能够在投屏设备处获得更加接近于在源设备上直接操作的体验。

以下将结合附图来描述根据本公开实施例的协同显示方案。

协同显示

图3A示出了根据本公开的实施例的协同显示的示意图300A。如图3A所示，源设备310(为了方便描述，下文也称为第二设备310)与投屏设备320(为了方便描述，下文也称为第一设备320)连接，以将第二设备310上应用生成的界面投屏到第一设备320上以用于显示。

在图3A的示例中，与上文参考图2B所讨论的过程类似，初始地，第一设备320例如以“异源投屏模式”呈现由第二设备310基于其上运行的“信息”应用所生成的界面340。此时，第二设备310例如可以呈现“桌面”应用生成的界面330。与参考图2C所讨论的传统“异源投屏模式”不同，如图3A所示，当第一设备320例如从竖直取向改变为水平取向时，第一设备320将相应地呈现处于横幅显示模式的界面350。应当理解，此处虽然界面340仅示出为与单个“信息”应用有关，但是在其他场景中，界面340例如也可以包括与多个运行的应用有关的子界面。

以下将参考图4来描述呈现界面350的具体过程。图4示出了根据本公开实施例的示例协同显示过程400。过程400可能涉及第一设备和第二设备。第一设备例如可以包括图3A中的投屏设备320，第二设备例如可以包括图3A中的源设备310。应当理解，过程400也可以适用于其他任何适当的第一设备和第二设备。

如图4所示，在402，第二设备310可以生成与第一界面相关联的第一数据。具体地，第二设备310可以基于其上运行的应用和第一设备320的第一取向生成与第一界面相关联的第一数据。

在一些实施例中，第一设备320可以首先建立与第二设备310之间的投屏连接。如上文所讨论的，可以采用任何适当的有线或无线通信技术来建立投屏连接，本公开不旨在对此进行限定。

在一些实施例中，在建立投屏连接过程中，第二设备310可以确定第一设备320的第一取向。在一些示例中，第一设备320可以将当前界面的分辨率信息提供至第二设备310，这样的分辨率信息例如可以指示第一设备320处于竖直取向或者水平取向。示例性地，第一设备320可以向第二设备310发送关于当前显示分辨率为“1080*1920”，以指示当前为竖直显示模式。

在又一些示例中，第二设备310还可以基于第一设备320中的传感器生成的传感器数据来确定第一设备320的第一取向。关于基于传感器数据来确定取向并相应生成界面的过程将在下文参考图6详细讨论，在此暂不详叙。

在一些实施例中，在确定第一设备320的第一取向后，第二设备310可以基于其上运行的应用来生成与第一取向相对应的第一界面相关联的第一数据。例如，如果第一取向为竖直取向，则第二设备310可以生成与竖幅显示模式相对应的第一界面相关联的第一数据；相反，如果第一取向为水平取向，则第二设备310可以生成与横幅显示模式相对应的第一界面相关联的第一数据。

在404，第二设备310可以向第一设备320发送与第一界面相关联的第一数据。在一些实施例中，第一数据可以包括由第一设备320呈现第一界面所需要的数据。示例性地，第一数据可以包括与第一界面的对应的图像帧数据。这样的图像帧数据例如可以经由适当的压缩算法而被编码。

在又一示例中，第一数据例如也可以包括其他类型的数据。例如，第一数据可以包括与第一界面对应的模板信息、视觉元素信息等，以使得第一设备320可以基于该数据重新渲染得到第一界面。

在406，第一设备320可以基于第一数据呈现第一界面。在一些实施例中，第一设备320可以基于所接收的与第一界面相关联的第一数据来呈现第一界面。在一些示例中，如果第一数据包括对第一界面的图像帧进行压缩后的编码数据，则第一设备320还可以相应地进行解码操作。在又一些示例中，如果第一数据包括用于重新渲染第一界面的数据，则第一设备320还可以利用第一数据重新渲染第一界面。

在一些实施例中，第一设备320可以按上文所讨论的“同源投屏模式”来呈现第一界面。此时，第一设备320和第二设备310将以镜像方式呈现相同的视觉内容。在一些实施例中，第一设备320可以按上文所讨论的“异源投屏模式”来呈现第一界面，在异源投屏模式中，第一设备320将呈现与第一界面不同的界面。

图3A示出了异源投屏模式的示例。例如，第一设备320可以按异源投屏模式呈现第一界面340。参考上文关于图2B所描述的，该第一界面340例如可以是由第二设备310基于其上运行的“信息”应用所生成的。此时，第二设备310呈现的例如是由第二设备310基于其上运行的“桌面”应用所生成的界面330。

在408，第一设备320向第二设备310提供取向信息，该取向信息指示第一设备320从第一取向改变至第二取向。如上文所介绍的，取向可以用于表示：设备相对于世界坐标系的绝对倾斜角度、设备的屏幕方向、或者设备的横竖屏状态。因此，第一取向到第二取向的改变，可以表示相对于世界坐标系的绝对倾斜角度的变化，例如，从设备的纵向轴线与水平线的夹角从60度变化到30度。或者，第一取向到第二取向的改变也可以表示设备的屏幕方向从四个状态(即，0度，90度，180度和270度)中的一个切换到其他任意的另一个，例如，从0度切换到180度。或者，第一取向到第二取向的改变也可以表示设备的横竖屏状态发生了变化，例如，从横屏状态切换到了竖屏状态。

在一些实施例中，第一设备320可以检测设备取向的变化，并在检测到取向发生变化时告知第二设备310该取向变化。具体地，第一设备320可以获取第一设备320中物理传感器所生成的传感器数据。这样的物理传感器可以包括用于检测第一设备320的取向的任何适当类型的传感器，其示例包括但不限于：陀螺仪、加速度计、磁力计、重力传感器等。

进一步地，第一设备320可以基于传感器数据来确定第一设备320从第一取向改变至第二取向，并进而向第二设备310提供包括用于指示改变的指示符的取向信息。以图3A作为示例，当第一设备320例如从竖直取向被旋转至水平取向后，第一设备320例如可以向第二设备310发送关于该取向改变的指示符。

在一些示例中，该指示符例如可以被编码不同的数值以指示不同的取向切换。例如，指示符“0”可以表示从竖直取向切换至水平取向，指示符“1”可以表示从水平取向切换至竖直取向。或者，该指示符例如也可以被编码不同的数值以仅指示第一设备320改变后的取向。例如，指示符“0”可以表示第一设备320改变为水平取向，指示符“1”可以表示第一设备320改变为竖直取向。基于这样的方式，第二设备310可以及时地获知第一设备320的取向改变，并相应地进行响应。

在一些实施例中，取向信息可以包括第一设备320中的物理传感器所生成的传感器数据。这样的物理传感器可以包括用于检测第一设备320的取向的任何适当类型的传感器，其示例包括但不限于：陀螺仪、加速度计、磁力计、重力传感器等。在一些实施例中，第一设备320中的物理传感器所生成的传感器数据例如可以被实时地同步至第二设备310，以用于控制在第一设备320上被投屏的界面。

在一些实施例中，可以通过构建虚拟传感器的方式来同步传感器数据。具体地，在第一设备320和第二设备310构建投屏连接的过程中，第一设备320可以向第二设备310提供与第一设备320中物理传感器相关联的硬件信息。第二设备310可以相应地基于该硬件信息来构建与第一设备320中的物理传感器相对应的虚拟传感器，以作为该物理传感器的代理。进一步地，第二设备310可以经由虚拟传感器与物理传感器之间的通信通道来获取由第一设备320中的物理传感器所生成的传感器数据。

在一些实施例中，在异源投屏模式中，第二设备310还可以创建与第一设备320相对应的逻辑显示设备。该逻辑显示设备也可以理解为在第二设备310中未呈现的逻辑应用界面，其例如对应于被投屏至第二设备310的第一界面。

进一步地，第二设备310可以将该逻辑显示设备绑定至所创建的虚拟传感器，使得被投屏至第一设备320的界面基于由虚拟传感器指示第一设备320的取向而被确定，而不考虑第二设备310的取向。

在410，第二设备310可以生成与第二界面相关联的第二数据。具体地，第二设备310可以基于其上运行的应用和所确定的第一设备320的第二取向来生成与第二界面相关联的第二数据，其中第二界面可以具有不同于第一界面的显示方向。

在一些实施例中，对于利用虚拟传感器来同步传感器数据的示例，第二设备310可以基于传感器数据来确定第一设备320取向上的变化，并将该变化发送至对应的应用，以使得该应用能够基于更新后的取向来生成与该更新后的取向对应的第二界面相关联的第二数据。

在一些实施例中，对于取向信息包括指示符的示例，第二设备310可以将指示符指示的第一设备320的当前取向提供至对应的应用，从而能够基于更新后的取向来生成与该更新后的取向对应的第二界面相关联的第二数据。

在一些实施例中，第一界面可以对应于应用的横幅显示模式，第二界面可以对应于应用的竖幅显示模式。备选地，第一界面可以对应于应用的竖幅显示模式，第二界面可以对应于应用的横幅显示模式。备选地，第一界面和第二界面可以分别对应于应用的、不同显示方向的横幅显示模式。备选地，第一界面和第二界面可以分别对应于应用的、不同显示方向的竖幅显示模式。

在一些实施例中，横幅显示模式和竖幅显示模式可以具有相同的界面布局。例如，两种显示模式的区别例如仅仅是显示的长宽比和方向发生变化，其中显示的视觉元素例如可以不发生变化。

在一些实施例中，横幅显示模式和竖幅显示模式可以具有不同的界面布局。例如，横幅显示模式例如可以相对于竖幅显示模式呈现更多或者更少的视觉元素。或者，同一对象的视觉元素在不同显示模式中例如也可以发生变化，例如，某个图标可以竖幅显示模式中可能是方形图标，在横幅显示模式中可能变化为圆形图标等。应当理解，横幅显示模式和竖幅显示模式对应的具体界面可以由生成投屏界面的应用来具体定义。

在412，第二设备310可以向第一设备320发送与第二界面相关联的第二数据。关于第二数据的生成和发送过程类似于上文关于步骤404所讨论的第一数据的生成与发送过程，在此不在赘述。

在414，第一设备320基于第二数据呈现第二界面。如上文所讨论的，该第二界面是由该应用基于第一设备的第二取向而生成，并且第二界面具有不同于第一界面的显示方向。以图3A作为示例，在第一设备320旋转至水平取向后，第一设备320可以呈现由第二设备310基于其上运行的“信息”应用所生成的与水平取向对应的第二界面350。

在一些实施例中，第一取向到第二取向的变化还可以表示不同竖直取向之间的变化，如3B所示，第一设备320可以从设备头部(例如，摄像头一侧)朝向上方的竖直取向切换到朝向下方的竖直取向。相应地，第一设备320可以基于类似的过程来呈现由第二设备310基于朝向下方的竖直取向所生成的界面360。

在一些实施例中，第一取向到第二取向的变化还可以表示设备的绝对倾斜角的变化。此时，第二设备基于第二取向所生成的第二界面例如可以是基于第一设备320的新的绝对倾斜角而生成。如图3C所示，第一设备320的取向例如可以从纵轴相对于水平的夹角为90度切换至60度，相应地，第二设备310基于60度夹角所生成的界面370可以例如使得界面中的内容始终处于竖直状态。这使得在设备倾斜过程中也能够保证界面的显示符合用户观看习惯。

基于上文所讨论的过程，在多设备协同显示的过程中，本公开的实施例能够使得在源设备上运行的应用能够响应于投屏设备的取向变化而相应地改变界面显示方向，这更加符合用户的自然交互习惯。此外，用户还能够通过直接操作投屏设备来快捷地改变投屏界面的显示方向，这使得用户能够在投屏设备处获得更加接近于在源设备上直接操作的体验。

在一些实施例中，第一设备320还支持用户直接在第一设备320上对所投屏的界面进行操作。具体地，第一设备320可以接收在第一设备上320的用户操作，并向第二设备310发送与用户操作相关联操作信息。以图3A作为示例，第一设备320例如可以接收用户对于输入框的点击操作，以期望唤起键盘从而直接在用于投屏的第一设备320直接进行输入。相应地，第一设备320例如可以将点击操作对应的坐标信息发送至第二设备310。

相应地，第二设备310可以接收与第一设备320上的用户操作相关联的操作信息。在获取操作信息后，第二设备310可以基于应用(例如，“信息”应用)和该操作信息来生成与第三界面相关联的第三数据，并相应地向第一设备320发送第三数据。例如，继续图3A的示例，第一设备320可以根据操作信息中指示的点击的坐标信息，从而生成与包括用于输入文本的软键盘的第三界面相关联的第三数据。

进一步地，第一设备320可以基于第三数据来呈现第三界面。如图3D所示，第一设备320例如可以基于第三数据来生成包括软键盘的第三界面380，以使得用户可以直接经由第一设备320中的第三界面380所呈现的软键盘来直接键入内容。

以下将参考图5来进一步根据上文所讨论的协同显示的系统实现。图5示出了根据本公开的实施例的协同显示系统500的示意架构图。

如图5所示，协同显示系统500可以包括第一设备320和第二设备310。在第一设备320与第二设备310建立投屏连接后，第一设备320中的分布式硬件管理515可以与第二设备310中的分布式硬件管理530通信，以将第一设备320中的物理传感器520的硬件信息发送至第二设备。相应地，第二设备310可以利用分布式管理530所获得的硬件信息来构建与物理传感器520相对应的虚拟传感器525，以作为其代理。

进一步地，第二设备310例如还可以包括用于管理第二设备310显示的显示服务535，其被配置为将虚拟传感器525绑定至与第一设备320所对应的逻辑显示设备545-1。进一步地，与逻辑显示设备545-1所对应的应用550-1可以监听逻辑显示设备545-1的虚拟传感器数据，并进而确定其对应的界面的显示模式，例如是横幅显示模式或者是竖幅显示模式。

具体地，第二设备310中的显示服务535可以基于传感器数据所指示的设备指向改变，来将对应的逻辑显示设备545-1的宽高信息互换，即调整逻辑显示设备545-1的尺寸。逻辑显示设备545-1的尺寸调整可以被通知至与该逻辑显示设备545-1对应的应用550-1，例如，尺寸调整可以触发应用550-1收到onConfigurateChange消息。进一步地，显示服务535可以通知投屏服务540调整后的尺寸，该投屏服务540可以进一步将调整后的尺寸同步至第一设备320中的投屏服务510。投屏服务510可以相应地刷新显示，并根据新的尺寸来获取应用550-1所生成的新的界面，并通过显示窗口505进行显示。

在一些实施例中，如图5所示，第二设备310可以构建多个逻辑显示设备545-1至545-N，其中，N为大于1的整数。具体地，第二设备310例如还可以将第二设备310基于运行的应用550-N所生成的界面异源投屏至第三设备。应当理解，应用550-1和应用550-N可以是相同或者不同的应用。例如，同一应用的不同界面例如可以被投屏到不同的设备。

进一步地，第二设备310可以创建与第三设备相对应的第二逻辑显示设备545-N，并且将第二逻辑显示设备545-N绑定至第二虚拟传感器，使得被投屏至第三设备的界面基于由第二虚拟传感器指示的第三设备的取向而被确定，而不考虑第二设备的取向，其中第二虚拟传感器基于第三设备中的物理传感器而被构建。

基于这样的方式，本公开的实施例可以支持将源设备中的不同界面同时投屏到不同投屏设备中，并且使得不同投屏设备中呈现的投屏界面总是基于对应的投屏设备的取向变化而相应地改变。

此外，本公开还提供了一种协同显示的方案，在该方案中，投屏设备(为了方便描述，也称为第一设备)可以向源设备(为了方便描述，也称为第二设备)提供投屏设备中物理传感器的传感器数据，以使得源设备能够基于该传感器数据来生成用于投屏至投屏设备的界面。

图6示出了根据本公开实施例的示例协同显示过程600。过程600可能涉及第一设备和第二设备。第一设备例如可以包括图3A中的投屏设备320，第二设备例如可以包括图3A中的源设备310。应当理解，过程600也可以适用于其他任何适当的第一设备和第二设备。

如图6所示，在602，第一设备320向第二设备310发送第一设备320中的物理传感器生成的传感器数据，传感器数据指示第一设备的取向。

具体地，第二设备310可以通过构建与第一设备320中的物理传感器对应的虚拟传感器来获取传感器数据。具体地，在第一设备320和第二设备310构建投屏连接的过程中，第一设备320可以向第二设备310提供与第一设备320中物理传感器相关联的硬件信息。第二设备310可以相应地基于该硬件信息来构建与第一设备320中的物理传感器相对应的虚拟传感器，以作为该物理传感器的代理。进一步地，第二设备310可以经由虚拟传感器与物理传感器之间的通信通道来获取由第一设备320中的物理传感器所生成的传感器数据。

在604，第二设备310可以生成与界面相关联的数据。具体地，第二设备310可以基于其上运行的应用和传感器数据指示的第一设备320的取向来生成界面相关联的数据。

在606，第二设备310向第一设备320发送与界面相关联的数据。在一些实施例中，数据可以包括由第一设备320呈现界面所需要的数据。示例性地，第一数据可以包括与第一界面的对应的图像帧数据。这样的图像帧数据例如可以经由适当的压缩算法而被编码。

在又一示例中，数据例如也可以包括其他类型的数据。例如，数据可以包括与第一界面对应的模板信息、视觉元素信息等，以使得第一设备320可以基于该数据重新渲染得到界面。

在608，第一设备320可以基于接收到的数据来呈现该界面。以图3A作为示例，界面340例如可以是由第一设备320基于过程600所呈现的。应当理解，上文所讨论的过程400可以进一步用于改变基于过程600所生成的界面，在此不在详叙。

基于这样的方式，在多设备协同显示的过程中，本公开的实施例能够使得投屏界面总是基于投屏设备的传感器信息来生成，而不考虑源设备自身的传感器信息。这样的协同显示方式将更符合用户的自然交互习惯，并且提升用户交互体验。

示例过程

图7示出了根据本公开一些实施例的协同显示的示例过程700的流程图。过程700例如可以由第一设备(例如，参考图3所讨论的第一设备320)来实施。

如图7所示，在框710，第一设备接320收第二设备发送的与第一界面相关联的第一数据，第一数据由第二设备基于运行的应用和第一设备的第一取向而生成的。在框720，第一设备320基于第一数据呈现第一界面。在框730，第一设备320向第二设备提供取向信息，取向信息指示第一设备从第一取向改变至第二取向。在框740，第一设备320接收第二设备发送的与第二界面相关联的第二数据，第二数据由第二设备基于该应用和第一设备的第二取向而生成的。在框750，第一设备320基于第二数据呈现第二界面，第二界面具有不同于第一界面的显示方向。

在一些实施例中，呈现第一界面包括：以异源投屏模式呈现第一界面，其中在异源投屏模式中，第二设备呈现的界面不同于第一界面。

在一些实施例中，取向信息由包括第一设备中的物理传感器所生成的传感器数据。

在一些实施例中，向第二设备提供取向信息包括：向第二设备发送与第一设备中的物理传感器相关联的硬件信息；以及向第二设备中基于硬件信息构建的虚拟传感器发送传感器数据，虚拟传感器作为物理传感器的代理。

在一些实施例中，向第二设备提供取向信息包括：获取第一设备中的物理传感器所生成的传感器数据；响应于基于传感器数据确定第一设备从第一取向改变至第二取向，向第二设备提供取向信息，取向信息包括用于指示改变的指示符。

在一些实施例中，第一界面对应于应用的横幅显示模式并且第二界面对应于应用的竖幅显示模式，或者第一界面对应于应用的竖幅显示模式并且第二界面对应于应用的横幅显示模式，或者第一界面和第二界面分别对应于应用的、具有不同显示方向的横幅显示模式，或者第一界面和第二界面对应于应用的、具有不同显示方向的竖幅显示模式。

在一些实施例中，横幅显示模式和竖幅显示模式具有不同的界面布局。

在一些实施例中，过程700还包括：第一设备320接收在第一设备上的用户操作；第一设备320向第二设备发送与用户操作相关联的操作信息；第一设备320接收第二设备发送的与第三界面相关联的第三数据，第三数据由第二设备基于运行的应用和操作信息而生成的；以及第一设备320基于第三数据呈现第三界面。

图8示出了根据本公开一些实施例的协同显示的示例过程800的流程图。过程800例如可以由第二设备(例如，参考图3所讨论的第二设备310)来实施。

如图8所示，在框810，第二设备310基于运行的应用和第一设备的第一取向生成与第一界面相关联的第一数据。在框820，第二设备310向第一设备发送与第一界面相关联的第一数据，第一数据由第二设备基于其上运行的应用和第一设备的第一取向而生成。在框830，第二设备310从第一设备获取取向信息，取向信息指示第一设备从第一取向改变至第二取向。在框840，第二设备310基于运行的应用和第一设备的第二取向生成与第二界面相关联的第二数据，第二界面具有不同于第一界面的显示方向。在框850，第二设备310向第一设备发送与第二界面相关联的第二数据。

在一些实施例中，过程800还包括：第二设备310使第一设备以异源投屏模式呈现第一界面，其中在异源投屏模式中，第二设备呈现的界面不同于第一界面。

在一些实施例中，取向信息由包括第一设备中的物理传感器所生成的传感器数据。

在一些实施例中，从第二设备获取取向信息包括：获取与第一设备中的物理传感器相关联的硬件信息；基于硬件信息构建与物理传感器对应的虚拟传感器，以作为物理传感器的代理；以及经由虚拟传感器获取物理传感器生成的传感器数据。

在一些实施例中，过程800还包括：创建与第一设备相对应的逻辑显示设备；以及将逻辑显示设备绑定至虚拟传感器，使得被投屏至第一设备的界面基于由虚拟传感器指示第一设备的取向而被确定，而不考虑第二设备的取向。

在一些实施例中，应用为第一应用，并且逻辑显示设备为第一逻辑显示设备，过程800还包括：将第二设备上运行的第二应用生成的界面异源投屏至第三设备；创建与第三设备相对应的第二逻辑显示设备；以及将第二逻辑显示设备绑定至第二虚拟传感器，使得被投屏至第三设备的界面基于由第二虚拟传感器指示的第三设备的取向而被确定，而不考虑第二设备的取向，其中第二虚拟传感器基于第三设备中的物理传感器而被构建。

在一些实施例中，向第一设备发送与第二界面相关联的第二数据包括：响应于基于传感器数据确定第一设备从第一取向改变至第二取向，生成应用的、与第二取向相对应的第二界面；以及向第一设备发送与第二界面相关联的第二数据。

在一些实施例中，取向信息包括指示第一设备从第一取向改变至第二取向的指示符。

在一些实施例中，第一界面对应于应用的横幅显示模式并且第二界面对应于应用的竖幅显示模式，或者第一界面对应于应用的竖幅显示模式并且第二界面对应于应用的横幅显示模式，或者第一界面和第二界面分别对应于应用的、具有不同显示方向的横幅显示模式，或者第一界面和第二界面对应于应用的、具有不同显示方向的竖幅显示模式。

在一些实施例中，横幅显示模式和竖幅显示模式具有不同的界面布局。

在一些实施例中，过程800还包括：第二设备310从第一设备接收与第一设备上的用户操作相关联的操作信息；第二设备310基于运行的应用和操作信息生成与第三界面相关联的第三数据；以及第二设备310向第一设备发送第三数据。

图9示出了根据本公开一些实施例的协同显示的示例过程900的流程图。过程900例如可以由第一设备(例如，参考图3所讨论的第一设备320)来实施。

如图9所示，在框910，第一设备320向第二设备发送第一设备中的物理传感器生成的传感器数据，传感器数据指示第一设备的取向。在框920，第一设备320接收第二设备发送的与界面相关的数据，该界面是由第二设备基于其上运行的应用和传感器数据所生成的。在框930，第一设备320基于接收的数据来呈现该界面，该界面具有与取向对应的显示方向。

在一些实施例中，向第二设备发送传感器数据包括：向第二设备发送与第一设备中的物理传感器相关联的硬件信息；以及向第二设备中基于硬件信息构建的虚拟传感器发送传感器数据，虚拟传感器作为物理传感器的代理。

图10示出了根据本公开一些实施例的协同显示的示例过程1000的流程图。过程1000例如可以由第二设备(例如，参考图3所讨论的第二设备310)来实施。

如图10所示，在框1010，第二设备310从第一设备获取第一设备中的物理传感器生成的传感器数据，传感器数据指示第一设备的取向。在框1020，第二设备310向第一设备发送与界面相关联的数据，该数据是由第二设备基于其上运行的应用和传感器数据所生成的，该界面具有与第一设备的取向相对应的显示方向。

在一些实施例中，从第二设备获取传感器数据包括：获取与第一设备中的物理传感器相关联的硬件信息；基于硬件信息构建与物理传感器对应的虚拟传感器，以作为物理传感器的代理；以及经由虚拟传感器获取物理传感器生成的传感器数据。

本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (23)

1.一种协同显示方法，应用于第一设备，所述第一设备与第二设备建立连接，所述方法包括：

所述第一设备接收所述第二设备发送的与第一界面相关联的第一数据，所述第一数据由所述第二设备基于运行的应用和所述第一设备的第一取向而生成的；

所述第一设备基于所述第一数据呈现所述第一界面；

所述第一设备向所述第二设备提供取向信息，所述取向信息指示所述第一设备从所述第一取向改变至第二取向；

所述第一设备接收所述第二设备发送的与第二界面相关联的第二数据，所述第二数据由所述第二设备基于所述应用和所述第一设备的所述第二取向而生成的；

所述第一设备基于所述第二数据呈现所述第二界面，所述第二界面具有不同于所述第一界面的显示方向。

2.根据权利要求1所述的方法，其中呈现所述第一界面包括：

以异源投屏模式呈现所述第一界面，其中在所述异源投屏模式中，所述第二设备呈现的界面不同于所述第一界面。

3.根据权利要求1或2所述的方法，其中所述取向信息由包括所述第一设备中的物理传感器所生成的传感器数据。

4.根据权利要求3所述的方法，其中向所述第二设备提供取向信息包括：

向所述第二设备发送与所述第一设备中的所述物理传感器相关联的硬件信息；以及

向所述第二设备中基于所述硬件信息构建的虚拟传感器发送所述传感器数据，所述虚拟传感器作为所述物理传感器的代理。

5.根据权利要求1或2所述的方法，其中向所述第二设备提供取向信息包括：

获取所述第一设备中的物理传感器所生成的传感器数据；

响应于基于所述传感器数据确定所述第一设备从所述第一取向改变至第二取向，向所述第二设备提供所述取向信息，所述取向信息包括用于指示所述改变的指示符。

6.根据权利要求1-5中任一项所述的方法，

所述第一界面对应于所述应用的横幅显示模式并且所述第二界面对应于所述应用的竖幅显示模式，或者

所述第一界面对应于所述应用的竖幅显示模式并且所述第二界面对应于所述应用的横幅显示模式，或者

所述第一界面和所述第二界面分别对应于所述应用的、具有不同显示方向的横幅显示模式，或者

所述第一界面和所述第二界面对应于所述应用的、具有不同显示方向的竖幅显示模式。

7.根据权利要求6所述的方法，其中所述横幅显示模式和所述竖幅显示模式具有不同的界面布局。

8.根据权利要求1-7中任一项所述的方法，还包括：

所述第一设备接收在所述第一设备上的用户操作；

所述第一设备向所述第二设备发送与所述用户操作相关联的操作信息；

所述第一设备接收所述第二设备发送的与第三界面相关联的第三数据，所述第三数据由所述第二设备基于所述应用和所述操作信息而生成的；以及

所述第一设备基于所述第三数据呈现第三界面。

9.一种协同显示方法，应用于第二设备，所述第二设备与第一设备建立链接，所述方法包括：

所述第二设备基于运行的应用和所述第一设备的第一取向生成与第一界面相关联的第一数据；

所述第二设备向所述第一设备发送所述第一数据；

所述第二设备从所述第一设备获取取向信息，所述取向信息指示所述第一设备从所述第一取向改变至第二取向；

所述第二设备基于所述应用和所述第一设备的所述第二取向生成与第二界面相关联的第二数据，所述第二界面具有不同于所述第一界面的显示方向；以及

所述第二设备向所述第一设备发送所述第二数据。

10.根据权利要求9所述的方法，还包括：所述第二设备使所述第一设备以异源投屏模式呈现所述第一界面，其中在所述异源投屏模式中，所述第二设备呈现的界面不同于所述第一界面。

11.根据权利要求9或10所述的方法，其中所述取向信息由包括所述第一设备中的物理传感器所生成的传感器数据。

12.根据权利要求11所述的方法，其中从所述第二设备获取取向信息包括：

获取与所述第一设备中的所述物理传感器相关联的硬件信息；

基于所述硬件信息构建与所述物理传感器对应的虚拟传感器，以作为所述物理传感器的代理；以及

经由所述虚拟传感器获取所述物理传感器生成的所述传感器数据。

13.根据权利要求12所述的方法，还包括：

创建与所述第一设备相对应的逻辑显示设备；以及

将所述逻辑显示设备绑定至所述虚拟传感器，使得被投屏至所述第一设备的界面基于由所述虚拟传感器指示所述第一设备的取向而被确定，而不考虑所述第二设备的取向。

14.根据权利要求13所述的方法，其中所述应用为第一应用，并且所述逻辑显示设备为第一逻辑显示设备，所述方法还包括：

将所述第二设备上运行的第二应用生成的界面异源投屏至第三设备；

创建与所述第三设备相对应的第二逻辑显示设备；以及

将所述第二逻辑显示设备绑定至第二虚拟传感器，使得被投屏至所述第三设备的界面基于由所述第二虚拟传感器指示的所述第三设备的取向而被确定，而不考虑所述第二设备的取向，其中所述第二虚拟传感器基于所述第三设备中的物理传感器而被构建。

15.根据权利要求11-14中任一项所述的方法，其中向所述第一设备发送与第二界面相关联的第二数据包括：

响应于基于所述传感器数据确定所述第一设备从所述第一取向改变至第二取向，生成所述应用的、与所述第二取向相对应的所述第二界面；以及

向所述第一设备发送与所述第二界面相关联的所述第二数据。

16.根据权利要求9或10所述的方法，其中所述取向信息包括指示所述第一设备从所述第一取向改变至所述第二取向的指示符。

17.根据权利要求9-16中任一项所述的方法，所述第一界面对应于所述应用的横幅显示模式并且所述第二界面对应于所述应用的竖幅显示模式，或者

所述第一界面对应于所述应用的竖幅显示模式并且所述第二界面对应于所述应用的横幅显示模式，或者

所述第一界面和所述第二界面分别对应于所述应用的、具有不同显示方向的横幅显示模式，或者

所述第一界面和所述第二界面对应于所述应用的、具有不同显示方向的竖幅显示模式。

18.根据权利要求17所述的方法，其中所述横幅显示模式和所述竖幅显示模式具有不同的界面布局。

19.根据权利要求9-18中任一项所述的方法，还包括：

所述第二设备从所述第一设备接收与所述第一设备上的用户操作相关联的操作信息；

所述第二设备基于所述应用和所述操作信息生成与第三界面相关联的第三数据；以及

所述第二设备向所述第一设备发送所述第三数据。

20.一种第一设备，包括：处理器、以及存储有指令的存储器，所述指令在被所述处理器执行时使得所述第一设备执行根据权利要求1至8中任一项所述的方法。

21.一种第二设备，包括：处理器、以及存储有指令的存储器，所述指令在被所述处理器执行时使得所述第二设备执行根据权利要求9至19中任一项所述的方法。

22.一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令在被电子设备执行时使得所述电子设备执行根据权利要求1至19中任一项所述的方法。

23.一种计算机程序产品，所述计算机程序产品包括指令，所述指令在被电子设备执行时使得所述电子设备执行根据权利要求1至19中任一项所述的方法。

Images