CN114667497A - 显示设备、移动设备和显示设备的屏幕镜像方法 - Google Patents

Abstract

一种屏幕镜像方法，包括：当显示设备镜像同时执行多个任务的移动设备的屏幕时，将显示设备的屏幕分割成多个局部屏幕；接收分别与多个任务对应的多项窗数据；以及基于多项窗数据分别在多个局部屏幕上显示与多个任务对应的多个图像。

Description

显示设备、移动设备和显示设备的屏幕镜像方法

技术领域

本公开涉及能够执行屏幕镜像的显示设备和移动设备以及显示设备和移动设备的屏幕镜像方法。

更具体地，本公开涉及一种由显示设备执行的镜像同时执行多个任务的移动设备的屏幕的方法以及用于该方法的显示设备和移动设备。

背景技术

随着有线或无线通信网络的发展，显示屏幕并输出用户可视觉识别的数据的电子设备可以彼此连接。

电子设备可以通过有线或无线通信网络彼此发送数据和从彼此接收数据。此外，电子设备可以远程控制其它电子设备，或者电子设备可以由其它电子设备使用。为了执行上述电子设备的控制，使用了镜像技术。

镜像技术是指用于在包括显示器的设备之间共享和操纵屏幕数据的技术。

镜像技术已经开发成应用于可以通过显示器输出屏幕的电子设备，诸如便携式计算机(诸如笔记本计算机、网络书籍计算机、或平板个人计算机(PC))、便携式终端(诸如智能电话或个人数字助理(PDA))、以及电视(TV)。此外，镜像技术可以应用于多个电子设备以提供镜像服务，由此屏幕可以被共享并且多个电子设备可以被彼此远程控制。这里，镜像也可以被称为屏幕镜像。

为了提供镜像服务，可以将关于要共享的屏幕(或图像)的数据从提供图像的设备发送到接收图像的设备。这里，提供图像的设备可以被称为源设备或主设备，并且接收图像的设备可以被称为宿设备或客户端设备。在下文中，提供图像的设备将被称为源设备，并且接收图像的设备将被称为宿设备。

提供小屏幕的电子设备(例如智能电话)的用户可能喜欢通过使用具有大屏幕的电子设备(例如电视等)来观看期望图像的放大版本。

如上所述，当通过使用多个电子设备提供镜像服务时，需要提供一种用于增加用户便利性和满意度的屏幕镜像方法以及实现该屏幕镜像方法的电子设备。

发明内容

技术问题

当通过使用多个电子设备提供镜像服务时，需要提供一种用于增加用户便利性和满意度的屏幕镜像方法以及一种实现该屏幕镜像方法的电子设备。

技术方案

提供了用于在显示设备镜像并输出移动设备的屏幕时提高用户的便利性或用户的满意度的显示设备和移动设备以及显示设备的屏幕镜像方法以及移动设备的屏幕镜像方法。

更具体地，提供了用于允许用户通过显示设备方便地观看同时执行多个任务的移动设备的屏幕的显示设备和移动设备以及显示设备的屏幕镜像方法和移动设备的屏幕镜像方法。

有益效果

根据本公开的实施例，当显示设备镜像并输出移动设备的屏幕时，显示设备和移动设备以及显示设备的屏幕镜像方法和移动设备的屏幕镜像方法可以提高用户的便利性或用户的满意度。

更具体地，提供了用于允许用户通过显示设备方便地观看同时执行多个任务的移动设备的屏幕的显示设备和移动设备以及显示设备的屏幕镜像方法和移动设备的屏幕镜像方法。

附图说明

从以下结合附图的描述中，本公开的某些实施例的上述和其它方面、特征和优点将变得更加明显，其中：

图1是用于描述移动设备和显示设备之间的屏幕镜像的图；

图2是示出要被镜像的移动设备的屏幕的图；

图3是示出要被镜像的移动设备的另一屏幕的图；

图4是示出要被镜像的移动设备的另一屏幕的图；

图5是示出要被镜像的移动设备的另一屏幕的图；

图6是示出要被镜像的移动设备的另一屏幕的图；

图7是示出要被镜像的移动设备的另一屏幕的图；

图8是用于描述根据本公开的实施例的由移动设备或显示设备执行的操作的图；

图9是示出根据本公开的实施例的由显示设备镜像并输出的屏幕的图；

图10a是示出根据本公开的实施例的由显示设备镜像并输出的屏幕的另一图；

图10b是示出根据本公开的实施例的由显示设备镜像并输出的屏幕的另一图；

图11是示出根据本公开的实施例的显示设备的图；

图12是根据本公开的实施例的显示设备的屏幕镜像方法的流程图；

图13是示出根据本公开的实施例的显示设备的另一图；

图14是根据本公开的实施例的显示设备的屏幕镜像方法的另一流程图；

图15是示出根据本公开的实施例的移动设备的图；

图16a是根据本公开的实施例的移动设备的屏幕镜像方法的流程图；

图16b是根据本公开的实施例的移动设备的屏幕镜像方法的另一流程图；

图17是根据本公开的实施例的移动设备的屏幕镜像方法的另一流程图；

图18是用于描述根据本公开的实施例的显示设备和移动设备之间的通信连接的图；

图19是示出根据本公开的实施例的由移动设备输出的用户接口屏幕的图；

图20是示出根据本公开的实施例的由移动设备输出的用户接口屏幕的另一图；

图21是示出根据本公开的实施例的由移动设备输出的用户接口屏幕的另一图；

图22是示出根据本公开的实施例的由移动设备输出的用户接口屏幕的另一图；

图23是示出根据本公开的实施例的由移动设备输出的用户接口屏幕的另一图；

图24是示出根据本公开的实施例的由移动设备输出的用户接口屏幕的另一图；

图25是用于描述根据本公开的实施例的由移动设备生成的多项窗数据的图；

图26是用于描述根据本公开的实施例的屏幕分割操作的图；

图27是用于描述根据本公开的实施例的屏幕分割操作的另一图；

图27是用于描述根据本公开的实施例的屏幕分割操作的另一图；

图29是用于描述根据本公开的实施例的屏幕分割操作的另一图；

图30是示出根据本公开的实施例的显示设备的另一图；以及

图31是示出根据本公开的实施例的显示设备的另一图。

具体实施方式

本申请以2019年11月19日在韩国知识产权局提交的第10-2019-0149113号韩国专利申请为基础并且要求其优先权，该韩国专利申请的公开内容通过引用整体并入本文。

提供了用于在显示设备镜像并输出移动设备的屏幕时提高用户的便利性或用户的满意度的显示设备、移动设备以及显示设备的屏幕镜像方法和移动设备的屏幕镜像方法。

更具体地，提供了用于允许用户通过显示设备方便地观看同时执行多个任务的移动设备的屏幕的显示设备和移动设备以及显示设备的屏幕镜像方法和移动设备的屏幕镜像方法。

另外的方面将部分地在随后的描述中阐述，并且部分地将从描述中显而易见，或者可以通过对本公开的所呈现的实施例的实践来获知。

根据本公开的实施例，显示设备的屏幕镜像方法包括：当请求显示设备镜像同时执行多个任务的移动设备的屏幕时，响应于屏幕镜像，将显示设备的屏幕分割成多个局部屏幕；接收分别与多个任务对应的多项窗数据；以及基于多项窗数据，分别在多个局部屏幕上显示与多个任务对应的多个图像。

屏幕镜像方法还可以包括：从移动设备接收控制信号，该控制信号包括用于将显示设备的屏幕分割成多个局部屏幕的信息。分割显示设备的屏幕可以包括：基于用于将显示设备的屏幕分割成多个局部屏幕的信息来分割显示设备的屏幕。

控制信号可以包括关于多个任务的数量的信息。

分割显示设备的屏幕可以包括：根据多个任务的数量将显示设备的屏幕分割成多个局部屏幕。

分割显示设备的屏幕可以包括：基于多个任务的数量、包括在移动设备中的显示器的纵横比、以及包括在显示设备中的显示器的纵横比，将显示设备的屏幕分割成多个局部屏幕。

屏幕镜像方法还可以包括：当多个任务中的至少两个任务伴随有音频输出时，经由显示设备输出从至少两个任务中选择的音频数据。

输出音频数据可以包括：输出至少两个任务中的、与在移动设备的屏幕的主屏幕部分上输出的窗对应的任务的音频数据。

输出音频数据可以包括：基于应用类型或任务类型中的至少之一来选择至少两个任务中的任务，以及输出与所选择的任务对应的音频数据。

屏幕镜像方法还可以包括：发送用于通知由移动设备执行的多个任务中的至少一个任务发生改变的信息；以及基于用于通知发生改变的信息再次分割显示设备的屏幕。

屏幕镜像方法还可以包括：在移动设备和显示设备之间执行配对操作。执行配对操作可以包括：经由显示设备向移动设备发送关于显示设备的屏幕的信息。

屏幕镜像方法还可以包括：基于用户输入来设置显示设备的包括多个局部屏幕的屏幕。

显示多个图像可以包括：显示包括没有在移动设备的屏幕上输出的至少一个图像的多个图像。

根据本公开的实施例，显示设备包括：显示器；通信器，配置成与移动设备通信；以及处理器，配置成执行至少一个指令以：响应于来自显示设备的用于镜像同时执行多个任务的移动设备的屏幕的请求，将显示设备的屏幕分割成多个局部屏幕；控制通信器分别接收与多个任务对应的多项窗数据；以及基于多项窗数据，控制显示器分别在多个局部屏幕上显示与多个任务对应的多个图像。

处理器还可以配置成执行至少一个指令以：控制通信器从移动设备接收控制信号，该控制信号包括用于将显示设备的屏幕分割成多个局部屏幕的信息；以及基于用于将显示设备的屏幕分割成多个局部屏幕的信息，将显示器的屏幕分割成多个局部屏幕。

处理器还可以配置成执行至少一个指令以：根据多个任务的数量将显示器的屏幕分割成多个局部屏幕。

处理器还可以配置成执行至少一个指令以：基于多个任务的数量、包括在移动设备中的显示器的纵横比以及显示器的纵横比，将显示器的屏幕分割成多个局部屏幕。

显示设备还可以包括配置成输出音频数据的音频输出器，其中处理器还被配置成执行至少一个指令以：当至少两个任务包括音频输出时，控制音频输出器输出从多个任务中的至少两个任务中选择的音频数据。

处理器还可以配置成执行至少一个指令以：输出至少两个任务中的、与在移动设备的屏幕的主屏幕部分上输出的窗对应的任务的音频数据。

根据本公开的实施例，移动设备包括：显示器；用户接口；通信器，被配置成与显示设备通信；以及处理器，被配置成执行至少一个指令以：在同时执行多个任务期间，当显示设备镜像经由显示器输出的屏幕时，向显示设备发送控制信号，该控制信号用于请求将显示设备的屏幕分割成多个局部屏幕；以及分别向显示设备发送与多个任务对应的多项窗数据。

多项窗数据中的每个可以包括用于生成与在执行多个任务中的每个时通过显示器输出的窗的至少一部分对应的图像的数据。

处理器还可以配置成执行至少一个指令以：控制通信器向显示设备发送控制信号，该控制信号包括多个任务的数量、显示器的纵横比、多个任务的优先级顺序、或者与多个任务之中的、在显示器的主屏幕部分上输出的任务有关的信息中的至少一个。

处理器还可以配置成执行至少一个指令以：当在同时执行的多个任务中的至少一个任务中发生改变时，向显示设备发送关于多个任务中的至少一个任务发生改变的信息。

多个任务可以包括第一任务和第二任务。处理器还可以配置成执行至少一个指令以：响应于请求在执行第一任务的同时执行第二任务的第一输入，控制通信器将控制信号发送到显示设备。

处理器还可以配置成执行至少一个指令，以：响应于第一输入，控制通信器向显示设备发送请求将显示设备的屏幕分割成第一局部屏幕和第二局部屏幕的控制信号，其中第一局部屏幕和第二局部屏幕分别对应于与第一任务对应的第一窗和与第二任务对应的第二窗；控制通信器向显示设备发送与第一窗对应的第一窗数据和与第二窗对应的第二窗数据。

根据本公开的实施例，移动设备的屏幕镜像方法包括：当显示设备镜像同时执行多个任务的移动设备的屏幕时，向显示设备发送用于将显示设备的屏幕分割成多个局部屏幕的控制信号；以及分别向显示设备发送与多个任务对应的多项窗数据。多项窗数据可以分别对应于在多个局部屏幕上输出的多个图像。

发明模式

在下文中，将参考附图详细描述本公开的实施例，以使本领域普通技术人员容易理解本公开。然而，本公开可以具有不同的形式，并且不应被解释为限于本文的实施例。此外，在附图中，为了清楚地描述本公开，省略了与描述无关的部分，并且在整个说明书中，相同的附图标记表示相同的元件。

在整个说明书中，当一个部件被称为“连接”到其它部件时，该部件可以“直接连接”到其它部件，或者可以“电连接”到其它部件且在它们之间有其它设备。当部件“包括”或“包含”某一元件时，除非另有具体说明，否则该部件可以进一步包括或包含另一组件，并且可以不排除另一组件。

在本说明书的各个部分中描述的诸如“在一些实施例中”、“根据实施例”等的表述不一定是指彼此相同的元件。

本公开的一个或更多实施例可以被描述为功能块组件和各种处理操作。所有或部分这样的功能块可以通过被配置成执行指定功能的任何数量的硬件和/或软件组件来实现。例如，本公开的功能块可以用一个或更多微处理器或利用用于某些功能的电路结构来实现。此外，例如，本公开的功能块可以用各种编程或脚本语言来实现。功能块可以用由一个或更多处理器执行的算法来实现。此外，本公开可以采用用于电子配置、信号处理和/或数据控制的常规技术。词语“模块”、“元件”、“配置”等可以被广泛地使用，并且不限于机械或物理组件。

此外，附图中所示的连接线或连接器旨在表示各种元件之间的示例性功能关系和/或物理或逻辑联接。应当注意，在实际设备中可以存在许多替代或附加的功能关系、物理连接或逻辑连接。

在本文中，表述“A、B和C中的至少一个”表示“A”、“B”、“C”、“A和B”、“A和C”、“B和C”和“A、B和C”中的任一者。

在整个公开内容中，表述“a、b或c中的至少一个”仅表示a，仅b，仅c，a和b两者，a和c两者，b和c两者，所有的a、b和c，或其变体。

根据本公开的实施例，提供了执行屏幕镜像的电子设备和使用电子设备的屏幕镜像方法。

根据本公开的实施例，电子设备可以包括能够通过共享和显示屏幕来提供镜像服务的所有类型的电子设备。此外，根据本公开的实施例，电子设备可以包括作为屏幕镜像中的宿设备操作的电子设备和作为屏幕镜像中的源设备操作的电子设备。能够提供镜像服务的电子设备可以包括能够通过显示器输出屏幕的电子设备，诸如便携式计算机(包括笔记本计算机、网络书籍计算机或平板个人计算机(PC))、便携式终端(包括智能电话或个人数字助理(PDA))、以及电视(TV)。

根据本公开的实施例，作为屏幕镜像中的源设备操作的电子设备可以包括便携式的电子设备，并且在下文中将被称为“移动设备”。此外，作为屏幕镜像中的宿设备操作的电子设备可以包括通过比移动设备更大的显示器提供大屏幕的电子设备，并且在下文中将被称为“显示设备”。

详细地，移动设备可以是对用户便携的电子设备，并且可以包括可穿戴设备、智能电话、平板PC、PDA、膝上型计算机、媒体播放器等。此外，显示设备可以是包括比上述移动设备更大的显示器以向用户提供比移动设备更大的屏幕的电子设备。例如，显示设备可以包括电视、数字电视、智能电视、数字看板、数字标牌等。

在附图中，相同的元件用相同的附图标记表示。此外，在整个详细描述中，通过使用相同的术语来指代相同的元件。

在下文中，将参考附图详细描述根据本公开的实施例的显示设备、移动设备以及使用显示设备和移动设备的屏幕镜像方法。

图1是用于描述移动设备110和显示设备120之间的屏幕镜像的图。

参照图1，可以通过使用包括移动设备110和显示设备120的多个电子设备来向用户提供镜像服务。

这里，镜像服务可以通过基于1到n连接方、n对1连接方法或n对m连接方法(这里，n和m是大于或等于2的自然数)使用三个或更多电子设备来提供。根据本公开的实施例，通过基于1对1连接方法使用包括移动设备110和显示设备120的两个电子设备来提供镜像服务的情况将被描述为示例。

参考图1，对于提供镜像服务的两个电子设备，源设备可以对应于用户便携的移动设备110，而宿设备可以对应于用户观看的显示设备120。图1示出其中移动设备110对应于用户的智能电话并且显示设备120对应于电视(特别是智能电视)的示例。

为了通过大屏幕观看在移动设备110上输出的图像，用户可以使用移动设备110和显示设备120之间的镜像服务。这里，移动设备110和显示设备120可以通过有线或无线通信网络彼此连接。

当使用镜像服务时，通过移动设备110的显示器输出的屏幕115可以被镜像以便由显示设备120输出。这里，显示屏幕121可以直接表示由显示设备120输出的图像，或者表示通过包括在显示设备120中的显示器显示图像的区域。

图1示出移动设备110显示屏幕115(例如，用户接口屏幕)的示例，在屏幕115上以图标的形式显示多个菜单。例如，屏幕115可以包括至少一个图标，该图标对应于要由移动设备110执行的任务、应用和/或服务。例如，屏幕115可以包括相机使用图标、镜像服务使用图标、词典(指示“ABC”)图标、音乐播放图标(指示“音乐”)等。

用户可以通过触摸屏幕115上的对应于镜像服务的图标116来请求执行镜像服务。当移动设备110接收到用于请求执行镜像服务的用户输入时，移动设备110可以通过通信网络130向显示设备120发送用于生成显示的屏幕115的数据。然后，显示设备120可以通过使用所接收的数据来显示与移动设备110输出的屏幕115对应的屏幕121。这里，由显示设备120输出的屏幕121可以包括由移动设备110输出的屏幕115的全部或部分。也就是说，镜像图像可以对应于被镜像的图像的放大或缩小版本。

此外，将移动设备110与显示设备120连接的通信网络130可以表示用于收发特定数据的有线或无线通信网络。例如，通信网络130可以根据无线网络标准来配置，例如局域网(LAN)、广域网(WAN)、无线LAN(WLAN)(或Wifi)、无线宽带(Wibro)、码分多址(CDMA)、宽带CDMA(WCDMA)、近场通信(NFC)、蓝牙等。此外，通信网络130可以包括使用有线线缆(例如高清晰度多媒体接口(HDMI)线缆或移动高清晰度链路(MHL)线缆)将移动设备110与显示设备120连接的有线网络。

此外，用于提供镜像服务的镜像技术可以包括作为服务(Daas)、Miracast、Airplay、数字生活网络联盟(DLNA)等的显示物，但不限于此。根据本公开的实施例，为了向显示设备120发送关于与移动设备110输出的屏幕对应的屏幕的信息或数据，可以使用上述镜像技术。

移动设备110可以同时执行多个任务。这里，任务可以对应于由计算设备运行或执行的作业的组件，并且可以表示计算设备的特定作业的被执行的操作。此外，任务可以表示用于执行特定作业的进程、线程或程序。此外，同时执行多个任务可以被称为多任务。

根据本公开的实施例，移动设备110可以对应于能够进行多任务的计算设备，并且可以同时执行至少两个任务。此外，当移动设备110执行某个应用时，可以执行与该应用对应的至少一个任务。也就是说，可以执行至少一个任务来执行某个应用。

移动设备110已经被开发来通过提供可由用户控制的各种服务、功能或应用来增加用户的便利性。此外，用户可以同时执行多个应用。

因此，当执行多任务的移动设备110的屏幕被镜像时，可能需要这样一种镜像方法，其用于通过反映同时执行多个应用的用户请求来提高用户满意度。

在下文中，为了便于描述，用于在移动设备110中执行服务、功能或特定操作的程序将被称为“应用”。例如，当移动设备110对应于智能电话时，用于实现作为主要功能之一的呼叫功能的至少一个指令可以被称为“呼叫应用”。作为另一个示例，从外部应用提供服务器等下载到移动设备110上的特定游戏程序可以被称为“游戏应用”。当执行应用时，可以执行一个或更多任务以执行预期操作。也就是说，应用的执行可以伴随着一个或更多任务的执行。详细地，一个应用的执行可以伴随着一个任务的执行，或者一个应用的执行可以伴随着多个任务的执行。

例如，作为由移动设备110执行的应用的示例，存在用于提供视频内容的应用。当执行用于提供视频内容的应用时，移动设备110可以同时执行用于播放视频内容的任务和用于显示视频内容列表的任务。在这种情况下，移动设备110可以与一个应用的执行对应地同时执行多个任务。

作为另一个示例，移动设备110可以同时执行多个应用。在这种情况下，移动设备110可以与多个应用的执行对应地同时执行多个任务。

此外，当执行任务时，移动设备110可以通过显示器可视地输出对应于任务的窗。这里，窗可以包括这样的信息，该信息指示任务的执行、当执行任务时生成的数据等。此外，窗可以被称为任务执行窗或执行窗。详细地，当执行任务时，窗可以指在移动设备110的显示器上输出的图像。

对应于由移动设备110执行的多个任务的多个窗可以在显示器的屏幕115上输出。此外，当同时执行多个任务时，可以在显示器的屏幕115上输出对应于多个任务的多个窗中的一个或更多。

这里，当在显示器的屏幕115上没有输出对应于某个任务的窗时，它指示该任务在后台环境中被执行或被最小化。

此外，可以在包括在整个屏幕中的局部屏幕上输出对应于某个任务的窗。例如，可以在整个屏幕上以浮动窗的形式输出对应于某个任务的窗。这里，在整个屏幕上输出的窗可以对应于在前景环境中执行或被最大化的任务。此外，上述以浮动窗的形式输出的窗可以对应于在后台环境中执行的任务。

在下文中，将通过参考图2至图7来描述在运行至少一个应用的过程中当移动设备110执行至少一个任务时通过移动设备110的显示器输出的屏幕的示例。

详细地说，图2至图5示出移动设备110可视地输出包括一个窗的屏幕的示例，而图6和图7示出移动设备110可视地输出包括多个窗的屏幕的示例。

图2是示出移动设备110的要被镜像的屏幕的图。

移动设备110可以执行用于播放视频内容的应用(以下称为“内容播放应用”)。图2示出当执行内容播放应用时由移动设备110输出的屏幕200。也就是说，移动设备110可以在屏幕200上输出用于执行内容播放应用的窗。例如，屏幕200可以包括用于播放视频内容的部分21。这里，部分210可以被称为视频内容的播放窗。

显示设备120可以镜像由移动设备110输出的屏幕的至少一部分。在图2所示的屏幕200中，用户实际观看的部分可以对应于与播放窗对应的部分210。因此，当图2所示的屏幕200被显示设备120镜像时，显示设备120可以仅镜像屏幕200的部分210，该部分对应于播放窗。

图3是示出移动设备110的要被镜像的另一屏幕的图。

参照图3，由移动设备110执行的应用可以对应于地图搜索应用。当执行地图搜索应用时，移动设备110可以生成用于搜索位置的窗，并且可以通过显示器输出包括所生成的窗的屏幕300。这里，地图搜索应用可以指示用于搜索特定区域、特定区域的位置等的应用。或者，地图搜索应用可以指示导航应用。

图4是示出移动设备110的要被镜像的另一屏幕的图。

参照图4，由移动设备110执行的应用可以对应于游戏应用或用于购买游戏内容的应用(以下称为“游戏应用”)。当执行游戏应用时，移动设备110可以执行相应的任务以生成提供用户接口的窗，其中用户可以通过该用户接口购买游戏内容。此外，移动设备110可以通过显示器输出包括所生成的窗的屏幕400。

图5是示出移动设备110的要被镜像的另一屏幕的图。

*122参照图5，由移动设备110执行的应用可以对应于用于提供广播内容的数字多媒体广播(DMB)应用。当执行DMB应用时，移动设备110可以通过显示器输出屏幕500，并且屏幕500包括用于输出播放当前选择的广播节目的播放窗的部分510以及用于输出包括从中选择广播节目或广播信道的列表的窗的部分520。

图6是示出移动设备110的要被镜像的另一屏幕的图。

根据本公开的实施例，移动设备110可以在多任务环境中同时执行多个应用。也就是说，当移动设备110在执行另一个应用的同时执行一个应用时，移动设备110可以通过主屏幕610输出与一个应用对应的窗，并且在子屏幕620上以浮动窗的形式输出与另一个应用对应的窗。由移动设备110同时执行的多个应用可以对应于参考图2至图5所描述的应用。

当同时执行多个应用时，通常，可在移动设备110的主屏幕上仅输出对应于任一应用的一个窗，且可不在移动设备110的显示器的屏幕上显示对应于其它一个或更多应用的一个或更多窗，或者可以以浮动窗的形式或在子屏幕上输出对应于其它一个或更多应用的一个或更多窗。

图6示出其中移动设备110在主屏幕610上输出与用于提供因特网搜索引擎的应用对应的窗并且在子屏幕620上输出与用于播放视频内容的应用对应的窗的示例。

在这种情况下，当显示设备120直接镜像并输出由移动设备110输出的屏幕600时，由显示设备120输出的屏幕可以具有与屏幕600相同的形状。然而，用户可能想要观看子屏幕620的放大版本。根据相关技术，为了增加子屏幕620的尺寸，用户必须手动执行多个设置操作以改变移动设备110中的子屏幕620的尺寸。根据本公开的实施例，在没有用户的手动操作的情况下，显示设备120可以镜像移动设备110的屏幕，使得镜像的屏幕可以增加用户的方便性。

详细地，根据本公开的实施例，当显示设备120镜像并输出移动设备110的在图6所示的屏幕610时，显示设备120可以输出图9所示的屏幕900，使得用户可以作为具有高图像质量的大图像来观看子屏幕620。下面将参考图8和图9来描述由显示设备120输出的屏幕。

图7是示出当移动设备110执行至少一个任务时输出的另一屏幕的图。

参照图7，一个移动设备110可以在执行应用时生成并输出多个窗。

当接收到用于执行内容播放应用的请求时，移动设备110可以通过显示器输出图2所示的屏幕200。

用户可以搜索其它内容，同时通过执行内容播放应用来观看某些内容。例如，用户可以将用于请求搜索其它内容的操作的信号(以下称为触摸输入)输入到移动设备110中。

详细地，当在执行内容播放应用的同时接收到向下拖动屏幕200的触摸输入时，移动设备110可以响应于触摸输入将屏幕200转换为图7所示的屏幕700。这里，向下拖动屏幕的触摸输入可以对应于请求输出多项内容的列表的操作的用户输入，其中可以搜索可再现的多项视频内容。

响应于上述触摸输入，包括用于播放内容的部分210的窗720可以通过被转换为流动窗或子窗来输出。此外，可以在整个屏幕700上输出多项视频内容的列表。详细地，屏幕700可以显示指示与生成和提供多项视频内容的列表的任务对应的窗的图像。

在这种情况下，移动设备110可以在执行内容播放应用的同时执行多个任务。详细地，移动设备110可以执行播放视频内容的任务和生成多项视频内容的列表的任务。这里，当执行播放视频内容的任务时，可以生成浮动窗720，并且当执行生成多项视频内容的列表的任务时，可以生成窗710。

如图7所示，当移动设备110在某个时间点执行一个应用，例如视频播放应用时，可以在执行一个应用的同时执行多个任务，并且可以生成分别对应于多个任务的窗。此外，所生成的多个窗的全部或部分可以通过移动设备110的显示器输出。

根据本公开的实施例，当执行镜像服务时，显示设备120可以输出包括对应于多个任务的多个窗中的全部的屏幕。下面将参照图8和图10详细描述显示设备120镜像和输出由移动设备110输出的屏幕700以及显示设备120的输出屏幕的操作。

图8是用于描述根据本公开的实施例的由移动设备110或显示设备120执行的操作的图。

参照图8，根据本公开的实施例，执行屏幕镜像方法的移动设备110和显示设备120可以在操作S810启动镜像服务。这里，可以响应于用户的请求来启动镜像服务。详细地，可以响应于由移动设备110或显示设备120接收的用户输入来启动镜像服务。根据本公开的实施例，将描述响应于通过移动设备110接收的用户输入来启动镜像服务的示例。

例如，当用户操纵由移动设备110或显示设备120输出的用户接口屏幕时，可以启动镜像服务。根据通过移动设备110请求镜像服务的示例，当用户触摸图1所示的屏幕115，更具体地触摸用于请求启动镜像服务的图标116(其中图标116包括在用户接口屏幕中)时，移动设备110可以接收请求镜像服务的用户输入。此外，移动设备110可以响应于用户输入来执行镜像服务。

此外，启动镜像服务的操作(S810)可以在移动设备110执行多任务之前或之后执行。换句话说，图7示出在移动设备110执行多任务之前启动镜像服务(S810)的示例。然而，启动镜像服务的操作(S810)可以在移动设备110执行多任务(S820)之后执行。

此外，为了执行镜像服务，移动设备110和显示设备120可能必须通过有线或无线通信网络彼此连接。当移动设备110和显示设备120使用线缆等通过有线通信连接彼此连接时，移动设备110和显示设备120可以响应于请求镜像服务的输入而启动镜像服务，而不需要额外的配对操作。

当移动设备110和显示设备120将通过无线通信网络彼此连接时，移动设备110和显示设备120可以执行配对操作以配置无线通信网络。详细地，当启动镜像服务时，移动设备110和显示设备120可以执行配对操作以便屏幕镜像。

这里，配对操作可以表示这样的操作，其通过在移动设备110和显示设备120之间收发无线通信连接所需的数据来设置无线通信网络，使得显示设备120可以输出与移动设备110输出的屏幕对应的屏幕。当配对操作完成时，移动设备110和显示设备120可以收发镜像所需的数据。

移动设备110和显示设备120之间的配对操作可以在启动镜像服务之前完成。

当先前在移动设备110和显示设备120之间配置了无线通信网络时，可以省略上述的配对操作。

当移动设备110和显示设备120先前在先前的时间点执行了镜像服务时，可以在先前的时间点执行移动设备110和显示设备120之间的配对操作。此外，当在后续时间点启动镜像服务(S810)时，移动设备110和显示设备120可以通过使用无线通信连接所需的并且在先前执行的配对操作中获得的数据来配置它们之间的通信连接。

移动设备110可以执行多任务(S820)。详细地，移动设备110可以在执行至少一个应用的过程中同时执行多个任务。如上所述，启动镜像服务的操作(S810)可以在执行多任务的操作(S820)之后执行。

当启动镜像服务(S810)并且执行多任务(S820)从而请求显示设备120镜像同时执行多个任务的移动设备110的屏幕时，在操作S830，显示设备120可以从移动设备110接收用于分割屏幕的控制信号。或者，当在启动镜像服务之后开始多任务时，显示设备120可以接收与多任务的开始对应的控制信号。

这里，屏幕分割可以表示将显示设备120的屏幕分割成多个局部屏幕。此外，作为分割操作的对象，显示设备120的“屏幕”可以直接表示包括在显示设备120中的显示器或显示器的整个部分。详细地，作为分割操作的对象，显示设备120的“屏幕”可以表示包括在显示设备120中的显示器的整个部分，其中在该显示器上可以显示图像。

详细地，在操作S830中，显示设备120可以从移动设备110接收控制信号，该控制信号包括用于将显示设备120的显示器(详细地，显示器的屏幕)分成多个局部屏幕的信息。

在操作S830中发送的控制信号可以包括关于由移动设备110执行的多个任务的信息。详细地，控制信号可以包括关于由移动设备110同时执行的多个任务的数量的信息。例如，当移动设备110同时执行两个任务时，从移动设备110发送到显示设备120的控制信号可以包括指示任务数量是两个的信息和请求分割屏幕的信息。

可替换地，控制信号可以包括指示显示设备120的屏幕将被分割成哪个数量的局部屏幕的信息。例如，控制信号可以包括请求将显示设备120的屏幕分割成两个局部屏幕的信息。如参考图6所描述的，将描述移动设备110同时执行与用于提供因特网搜索引擎的应用对应的任务和与用于播放视频内容的应用对应的任务的示例。在这种情况下，控制信号可以包括用于通知同时执行的任务包括与用于提供因特网搜索引擎的应用对应的任务和与用于播放视频内容的应用对应的任务的信息。

控制信号可以包括关于移动设备110的显示器的纵横比或当执行多个任务时生成的窗的纵横比中的至少一个的信息。在下文中，为了便于描述，关于移动设备110的显示器的纵横比或当执行多个任务时生成的窗(或执行窗)的纵横比中的至少一个的信息将被称为“纵横比信息”。这里，纵横比信息可以不包括在分割屏幕的请求中，而是可以在配对操作期间从移动设备110发送到显示设备120，该配对操作是在执行上述启动镜像服务(S810)的操作期间执行的。

控制信号可以包括关于以下至少之一的信息：多个任务的数量、包括在移动设备110中的显示器的纵横比、多个任务的优先级顺序、或者多个任务之中的在显示器的主屏幕上输出的任务。

当显示设备120接收到控制信号(S830)时，显示设备120可以在操作S850中基于所接收的控制信号执行屏幕分割。详细地，显示设备120可以将其上显示图像的显示器的整个屏幕分成多个部分。

这里，执行屏幕分割的功能可以被称为屏幕分割功能。根据本公开的实施例，显示设备120可以包括屏幕分割功能。例如，屏幕分割功能可以表示将显示设备120的屏幕分割成多个部分并在分别在分割后的各部分上输出单独的图像的功能。此外，屏幕分割功能可以被称为各种名称，例如“多链接屏幕功能”、“画中画(PIP)功能”、“屏幕分割驱动功能”等。

例如，当在操作S830中发送的控制信号对应于用于请求将显示设备120的显示器的屏幕分割成两个局部屏幕的信号时，显示设备120可以将显示器的整个区域851分割成两个局部区域，即第一局部屏幕852和第二局部屏幕853。

此外，在操作S850中，显示设备120可以基于多个任务的数量、包括在移动设备110中的显示器的纵横比以及包括在显示设备120中的显示器的纵横比，将显示设备120的屏幕分割成多个局部屏幕。

例如，包括在移动设备110或显示设备120中的显示器的纵横比可以不同，并且可以包括例如16:9、21:9、4:3、1:85:1等。详细地，当显示设备120分割屏幕时，由移动设备110输出的图像的形状可以根据包括在移动设备110中的显示器的纵横比而变化。此外，由显示设备120输出的图像的形状可以根据包括在显示设备120中的显示器的纵横比而变化。

当显示设备120的屏幕基于多个任务的数量、包括在移动设备110中的显示器的纵横比以及包括在显示设备120中的显示器的纵横比而被分割时，屏幕中的多个图像可以相对更有效地排列。例如，可以最小化黑屏区域，该黑屏区域是由显示设备120输出的屏幕的、其上没有显示图像的剩余区域。

此外，当显示设备120接收到控制信号(S830)时，在操作S850，显示设备120可以基于所接收的控制信号和关于多视窗屏幕的设置来执行屏幕分割。这里，多视窗屏幕可以表示在一个屏幕中包括多个单独图像的屏幕。根据本公开的实施例，当在一个屏幕中输出多个窗时，该屏幕可以被称为多视窗屏幕。

此外，关于多视窗屏幕的设置可以表示与在操作S870中显示的多视窗屏幕中所包括的多个图像的尺寸、纵横比或排列结构中的至少之一有关的设置。详细地，当多视窗屏幕包括n(n是自然数)个图像时，关于多视窗屏幕的设置可以表示关于包括在多视窗屏幕中的n个图像中的每个的尺寸、纵横比或排列结构中的至少之一的设置。例如，当在操作S830中接收的控制信号请求将显示设备120的屏幕分割成两个局部屏幕并且多视窗屏幕包括两个图像时，关于多视窗屏幕的设置可以表示关于两个图像中的每个的尺寸、纵横比或排列结构中的至少之一的设置。在这种情况下，在操作S850，可以基于控制信号和关于多视窗屏幕的设置来执行屏幕分割。

上述的关于多视窗屏幕的设置可以在操作S850之前执行，或者可以基于通过移动设备110或显示设备120中的至少一个的用户输入来执行。或者，可以基于移动设备110或显示设备120中的至少一个的直接设置来执行上述的关于多视窗屏幕的设置。下面将参考图23详细描述关于多视窗屏幕的设置。

在操作S840中，移动设备110可以生成分别对应于在操作S820中执行的多个任务的多项窗数据。这里，窗数据可以表示用于生成对应于任务的窗(或执行窗)的数据。例如，窗数据可以包括指示对应于任务的窗的图像数据。

当窗输出图像数据和音频数据时，窗数据可以包括用于生成被输出的图像数据的数据和用于生成被输出的音频数据的数据。例如，任务可以伴随着参照图2描述的内容播放应用的执行。在这种情况下，可以将对应于任务的窗形成为内容播放窗。在这种情况下，窗数据可以包括用于生成内容播放窗的数据。

详细地说，可以通过内容播放窗播放视频，并且因此，与内容播放窗对应的窗数据可以包括用于生成被输出以播放内容的图像数据的数据和用于生成被输出以播放内容的音频数据的数据两者。

或者，除了图像数据之外，窗数据可以包括用于生成对应于任务的窗的广播数据(cast data)。这里，广播数据可以表示关于提供预定窗的源的信息。例如，任务可以对应于伴随参考图2描述的内容播放应用的执行的任务。此外，可以假设内容播放应用基于流方法从内容提供服务器接收视频内容。移动设备110可以根据基于流方法从内容提供服务器接收的数据生成内容播放窗。

在上述示例中，窗数据可以包括访问内容提供服务器所需的信息(例如，关于对内容提供服务器的网络访问的信息、用于指定基于流方法从内容提供服务器接收的预定视频内容的信息等)。然后，显示设备120可以使用所接收的窗数据来访问内容提供服务器，从所访问的内容提供服务器接收预定视频内容，生成并显示预定视频内容的播放窗。

如参考图6所描述的，将描述移动设备110同时执行与提供因特网搜索引擎的应用对应的任务和与用于播放视频内容的应用对应的任务的示例。在这种情况下，移动设备110可以生成用于生成与用于提供因特网搜索引擎的应用对应的窗的窗数据以及用于生成与视频内容播放应用对应的窗的窗数据。这里，“与应用对应的窗”可以表示根据应用的执行而执行的任务的执行窗。因此，“与应用对应的窗”可以表示为“与所执行的任务(与应用的执行)对应的窗”。

当如图6所示的示例中所描述的那样移动设备110同时执行两个任务时，可以在操作S840中生成分别对应于所执行的两个任务的两项窗数据。详细地，当如图6所示的示例中所描述的那样移动设备110同时执行两个任务时，可以在操作S840中生成用于生成在主屏幕610上显示的与一个应用对应的窗的一项窗数据和用于生成在子屏幕620上显示的与另一应用对应的窗的另一项窗数据。

在操作S860中，显示设备120可以接收在操作S840中生成的多项窗数据。

此外，显示设备120可以基于在操作S860中接收的多项窗数据，在于操作S850中划分的多个局部屏幕上分别显示与多个任务对应的多个图像(S870)。在下文中，为了便于解释，将包括在操作S870中显示的多个图像的屏幕称为“多视窗屏幕”。

这里，在操作S870中显示的多个图像中的每个可以对应于在执行多个任务中的每个时输出的窗的至少一部分。详细地，在操作S870中显示的图像可以对应于当执行预定任务时输出的窗的全部或部分。

如上所述，当在操作S860中接收到分别对应于两个任务的两项窗数据时，可以在第一局部屏幕852上显示对应于一个任务的图像(该图像通过使用一项窗数据来生成)，并且可以在第二局部屏幕853上显示对应于另一个任务的图像(该图像通过使用另一项窗数据来生成)。在下文中将参考图9和图10详细描述显示设备120的在操作S870中显示的屏幕。

图9是示出根据本公开的实施例的由显示设备120镜像并输出的屏幕的图。

根据本公开的实施例，当显示设备120镜像移动设备110的屏幕600同时执行多个任务时，在移动设备110中输出的屏幕600和在显示设备120中输出的屏幕可以具有彼此不同的形状。详细地，当移动设备110同时执行多个任务时，窗可以对应于多个任务之中的至少一个任务，该至少一个任务在后台环境中执行。在这种情况下，窗可以作为子屏幕或浮动屏幕作为用户难以识别的尺寸输出，或者窗可以不在移动设备110的屏幕上输出。根据本公开的实施例，显示设备120可以在显示设备120的显示器的屏幕上输出与至少一个任务对应的窗，使得该窗对于用户是容易识别的。

参照图9，显示设备120可以在操作S870中显示屏幕900。详细地，当移动设备110显示图6所示的屏幕600时，屏幕900可以对应于通过将显示在移动设备110上的屏幕600进行镜像而由显示设备120显示的屏幕。

如参考图6所描述的那样，例如，移动设备110可以同时执行两个任务。详细地，移动设备110可以同时执行这两个任务，其包括用于提供因特网搜索引擎的任务(或者伴随着用于提供因特网搜索引擎的应用的执行的任务)(以下称为“第一任务”)以及用于播放视频内容的任务(或者伴随着用于播放视频内容的应用的执行的任务)(以下称为“第二任务”)。

因此，显示设备120可以在操作S850中将显示器的屏幕分成第一局部屏幕950和第二局部屏幕960。这里，第一局部屏幕950和第二局部屏幕960可以分别对应于参考图8描述的第一局部屏幕852和第二局部屏幕853。此外，在操作S860中，显示设备120可以接收对应于第一任务的窗数据(以下称为“第一窗数据”)和对应于第二任务的窗数据(以下称为“第二窗数据”)。

此外，显示设备120可以在第一局部屏幕950上显示与第一任务对应的窗(详细地，用于提供因特网搜索引擎的应用的执行窗)，以及在第二局部屏幕960上显示与第二任务对应的窗(详细地，与用于播放视频内容的应用的执行相伴随的任务对应的执行窗。

例如，第一窗数据可以包括用于提供因特网搜索引擎的源的网络访问地址(例如，提供因特网搜索引擎的因特网服务器的统一资源定位符(URL)等)。或者，第一窗数据可以包括与用于提供因特网搜索引擎的任务的执行窗(详细地，图6中所示的主屏幕610)有关的图像数据。

此外，第二窗数据可以包括用于提供视频内容播放应用的源的网络访问地址(例如，用于提供内容播放应用的内容提供服务器的URL、对应于通过视频内容播放应用播放的视频内容的URL等)。或者，第二窗数据可以包括在内容播放应用的播放窗上输出的视频内容的图像数据。

在上述示例中，当第一窗数据包括用于提供因特网搜索引擎的源的网络访问地址时，显示设备120可以通过使用网络访问地址访问源来接收与对应于因特网搜索引擎的窗有关的图像数据。此外，基于所接收的图像数据，显示设备120可以生成对应于第一任务的图像，并且在第一局部屏幕950上显示所生成的图像。

在上述示例中，当第二窗数据包括用于提供视频内容播放应用的源的网络访问地址时，显示设备120可以通过使用网络访问地址访问源来接收关于与视频内容播放应用对应的窗的图像数据。此外，基于所接收的图像数据，显示设备120可以生成对应于第二任务的图像，并且在第二局部屏幕960上显示所生成的图像。例如，当用于提供视频内容播放应用的源基于流方法发送具有8K分辨率的视频内容时，显示设备120可以通过访问源直接接收具有8K分辨率的视频内容，并且可以在第二局部屏幕960上输出视频内容。因此，用户可以通过第二局部屏幕960观看高质量图像。

与本公开的实施例不同，从移动设备110输出的屏幕600可以由显示设备120直接镜像并输出。在这种情况下，与视频内容播放应用对应的任务的窗(详细地，内容播放窗，其是与视频内容播放应用同时执行的任务的执行窗)可以作为小图像(详细地，在子屏幕620上输出的图像)输出到屏幕600上。也就是说，通过子屏幕620输出的视频内容也可以在显示设备120的屏幕上输出以对应于整个屏幕的相对较小的部分。

因此，即使当用户使用具有比移动设备110大的屏幕的显示设备120时，用户也可能不能体验通过大屏幕观看播放的视频内容的便利性。

此外，当显示设备120直接镜像并输出由移动设备110输出的屏幕600时，屏幕600中包括的子屏幕620通常可以具有浮动窗的大小。此外，在浮动窗上输出的视频内容通常可对应于缩略图图像，且因此通常可具有低图像质量。

因此，当显示设备120直接将子屏幕620的低质量图像镜像到显示设备120的大屏幕上时，显示设备120输出的图像可以具有甚至更低的图像质量。详细地，用户可以将在显示设备120上输出的图像(对应于子屏幕620的图像)识别为破碎图像。

根据本公开的实施例，用户可以不像在显示设备120直接镜像移动设备110的屏幕的情况下那样，在显示设备120的屏幕上观看与子屏幕620对应的低质量图像。

详细地，根据本公开的实施例，取代由显示设备120直接镜像并输出在移动设备110上输出的屏幕600，显示设备120可以生成并在分割后的局部屏幕上显示通过使用窗数据而生成的图像。因此，用户可以通过利用具有比移动设备110更大的屏幕和更高的图像质量的显示设备120的优势来观看与子屏幕620对应的图像921。这里，图像921可以不是通过简单地放大在子屏幕620上输出的低质量缩略图而生成的图像，而是可以是通过使用第二窗数据而生成的图像，其中第二窗数据用于生成当执行预定任务时通过移动设备110的显示器输出的窗。因此，图像921可以被显示为高质量、高分辨率的图像。

此外，根据本公开的实施例，可以在显示设备120上显示与在移动设备110上同时执行的多个任务之中的至少一个任务(该至少一个任务在后台环境中执行)对应的窗，从而增加用户的观看便利性和满意度。

图10a是示出根据本公开的实施例的由显示设备120镜像并输出的屏幕的另一图。

参照图10a，显示设备120可以在操作S870中显示屏幕1000。详细地，当移动设备110显示图7所示的屏幕700时，屏幕1000可以对应于通过镜像显示在移动设备110上的屏幕700而由显示设备120显示的屏幕。

参照图7，可以在执行一个应用(例如，内容播放应用)的情况下同时执行两个任务。如图7所示，当执行这两个任务时，可以生成分别对应于这两个任务的两个窗，并且可以通过移动设备110的显示器输出这两个窗。

根据本公开的实施例，通过执行参考图8描述的操作，显示设备120可以显示与移动设备110的屏幕700对应的屏幕1000。详细地说，对应于在移动设备110的整个屏幕700上显示的窗710的图像可以通过包括在显示设备120的屏幕1000中的第一局部屏幕1010来显示。此外，对应于在移动设备110的屏幕700的一部分上显示的浮动窗720的图像可以通过包括在显示设备120的屏幕1000中的第二局部屏幕1020来显示。详细地说，图像1011可以对应于屏幕700的窗710。此外，图像1031可对应于浮动窗720。

图7示出其中与浮动窗720对应地被镜像的图像1031可以对应于包括在浮动窗720中的对应于播放窗730的图像的示例。详细地，用户实际观看的对象可以对应于在播放窗730中输出的视频内容。因此，仅仅来自浮动窗720的由用户观看的播放窗730可以被镜像并显示在第二局部屏幕1020上。或者，浮动窗720通常可以被镜像并显示在第二局部屏幕1020上。

根据图10a所示的本公开的实施例，在用户搜索内容的过程中，用户能够通过具有高图像质量的大屏幕连续地观看由用户正在观看的内容。

图10b是示出根据本公开的实施例的由显示设备120镜像并输出的屏幕的另一图。

当同时执行多个任务时，可以在后台环境中执行多个任务中的至少一个。在这种情况下，可以不在移动设备110的屏幕上输出与在后台环境中执行的任务对应的窗。

参照图10b，框1040可以指示通过移动设备110的显示器输出的屏幕，并且框1050可以指示通过显示设备120的显示器输出的屏幕，该显示设备120镜像并输出移动设备110的屏幕。

参照图10b，移动设备110可以在图3中描述的地图搜索应用的执行在被执行之后没有结束的状态下，附加地执行图2中描述的内容播放应用。因此，移动设备110可以执行伴随内容播放应用的任务，同时执行伴随地图搜索应用的任务。在这种情况下，移动设备110可以同时执行两个任务。

首先，移动设备110可以在仅执行地图搜索应用的过程中显示屏幕300。当附加地执行内容播放应用时，移动设备110可以控制地图搜索应用(或伴随着地图搜索应用的执行的任务)在后台环境中执行。因此，当附加地执行内容播放应用时，移动设备110可以将屏幕300转换为屏幕200，以控制与内容播放应用对应的屏幕200被输出。在这种情况下，移动设备110可以控制屏幕300不被输出而仅屏幕200被输出，其中，屏幕300指示与伴随着地图搜索应用的执行的任务(该任务在后台环境中被执行)对应的窗，屏幕200指示与伴随着内容播放应用的执行的任务(该任务在前台环境中被执行)对应的窗。

如上所述，当移动设备110同时执行多个任务时，即使在移动设备110没有显示与在后台环境中执行的任务对应的窗时，显示设备120也可以在视觉上输出与移动设备110在后台环境中执行的任务对应的窗。

参照图10b，当移动设备110同时执行伴随地图搜索应用的任务和伴随内容播放应用的任务时，在显示设备120镜像仅显示与内容播放应用对应的屏幕200的移动设备110的屏幕时，显示设备120可以显示屏幕1060。详细地说，可以在屏幕1060的第一局部屏幕1070上显示对应于屏幕200的图像，并且可以在第二局部屏幕1080上显示对应于屏幕300的图像。

如参考图10b所描述的，即使移动设备110没有显示对应于在后台环境中执行的任务的屏幕300，当显示设备120镜像移动设备110的屏幕时，显示设备120也可以镜像并输出对应于上述的在后台环境中执行的任务的屏幕300。

因此，用户可以观看与对应于没有由用户结束的应用的窗有关的屏幕。

如参考图9至图10B所描述的那样，根据本公开的实施例，因为显示设备120可以提供比移动设备110更大的屏幕，所以显示设备120可以通过改变由移动设备110输出的屏幕来输出屏幕，使得改变后的屏幕可以增加观看屏幕的用户便利性。此外，当显示设备120镜像同时执行多个任务的移动设备110的屏幕时，显示设备120可以显示高质量图像。因此，可以增加关于接收镜像服务的用户满意度。

此外，根据本公开的实施例，在操作S850中分割的局部屏幕的数量可以根据设置来限制。例如，当移动设备110同时执行其数量大于等于预定数量的任务时，可以仅考虑最近执行的任务之中的、与被设置的局部屏幕的数量对应的任务来分割屏幕。作为另一个示例，当移动设备110同时执行其数量大于或等于预定数量的任务时，可以仅考虑高优先级的任务之中的、与被设置的局部屏幕的数量对应的任务来分割屏幕。

例如，当移动设备110同时执行五个任务，并且在多视窗屏幕中包括指示分别对应于五个任务的五个窗的五个图像时，多视窗屏幕可能包括如此多的图像从而分散用户的注意力。因此，可以通过将通过移动设备110或显示设备120中的至少一个设置的任务数量设置为阈值来执行屏幕分割。例如，当局部屏幕的最大数量是3时，即使当移动设备110同时执行五个任务时，显示设备120也可以在操作S850中将屏幕分成三个局部屏幕。

图11是示出根据本公开的实施例的显示设备1100的图。

图11所示的显示设备1100可以对应于参照图1至图10B所描述的显示设备120。因此，当描述显示设备1100时，将不会冗余地描述参考图1至图10B描述的显示设备120的操作。

参照图11，显示设备1100可以包括处理器1110、显示器1120和通信器1130。

处理器1110可执行至少一个指令以控制执行期望的操作。这里，至少一个指令可以被存储在包括在处理器1110中的内部存储器中，或者被存储在与处理器1110分开地包括在显示设备1100中的存储器中。

详细地，处理器1110可以运行至少一个指令以控制包括在显示设备1100中的至少一个组件来执行期望的操作。因此，当处理器1110执行某些操作时，处理器1110可以控制包括在显示设备1100中的至少一个组件来执行这些操作。

显示器1120可以在屏幕上输出图像。详细地说，显示器1120可以通过包括在显示器1120中的显示面板输出对应于视频数据的图像，从而用户可以在视觉上识别视频数据。

例如，由显示器1120输出的屏幕可以通过镜像由移动设备110的显示器输出的屏幕来生成。根据本公开的实施例，显示器1120可以对应于根据本公开的实施例的被镜像的屏幕(例如，图9中所示的屏幕900、图10a中所示的屏幕1000、或者图10b中所示的屏幕1050)。

通信器1130可以通过至少一个有线或无线通信网络执行与另一电子设备的通信。

根据本公开的实施例，通信器1130可以与移动设备110通信。

在附图中，相同的附图标记表示相同的元件。因此，因为图11中所示的移动设备110指示参考图1所描述的移动设备110，所以当描述与显示设备1100通信的移动设备110时，参考图1至图10B所描述的移动设备110的操作将不会被冗余地描述。

详细地，处理器1110可以包括随机存取存储器(RAM)、只读存储器(ROM)和至少一个处理器，其中，随机存取存储器(RAM)用作用于存储从显示设备1100的外部输入的信号或数据的存储空间或者用作对应于由显示设备1100执行的各种操作的存储空间，只读存储器(ROM)存储用于控制显示设备1100的操作的控制程序和/或多个指令。处理器1110可包括用于处理对应于视频数据的图形数据的图形处理单元(GPU)。处理器1110可被实现为将核和GPU组合的片上系统(SoC)。此外，处理器1110可以包括多核而不是单核。例如，处理器1110可以包括双核、三核、四核、六核、八核、十核、十二核、十六核等。

通信器1130可以通过有线或无线通信网络与移动设备110通信。详细地，通信器1130可以包括根据这样的通信标准执行通信的至少一个短距离无线通信模块，该通信标准例如蓝牙、Wifi、蓝牙低能量(BLE)、近场通信(NFC)/射频识别(RFID)、Wifi直连、超宽带(UWB)或Zigbee。这里，短距离无线通信模块也可以被称为短距离无线通信器。

此外，通信器1130还可以包括远程通信模块，其执行与服务器的通信以支持根据远程通信标准的远程通信。详细地，通信器1130可以包括通过网络执行通信以进行因特网通信的远程通信模块。此外，通信器1130可以包括根据这样的通信标准的通信网络，该通信标准例如3G、4G和/或5G。此外，远程通信模块也可以被称为远程通信器。

此外，通信器1130可以包括至少一个端口，其中，通信器1130可以通过该端口使用有线线缆连接到移动设备110，使得通信器1130可以基于有线通信方法与移动设备110通信。例如，通信器1130可以包括线缆连接端口，例如HDMI端口。

根据本公开的实施例，当显示设备1100镜像同时执行多个任务的移动设备110的屏幕时，处理器1110可以将显示器1120的屏幕分割成多个局部屏幕。此外，处理器1110可以控制通信器1130接收分别对应于多个任务的多项窗数据。此外，处理器1110可以通过使用多项窗数据来分别控制与要在多个局部屏幕上显示的多个任务对应的多个图像。

在下文中，将参考图12更详细地描述显示设备1100的操作。

图12是根据本公开的实施例的由显示设备1100执行的屏幕镜像方法1200的流程图。图12所示的屏幕镜像方法1200可以由显示设备1100执行。而且，包括在屏幕镜像方法1200中的操作可以对应于参考图1至图10B描述的显示设备120的操作。因此，当描述屏幕镜像方法1200时，将不描述与图1至图11相同的方面。

根据本公开的实施例，屏幕镜像方法1200可以包括：当显示设备1100镜像同时执行多个任务的移动设备110的屏幕时，将显示器1120的屏幕分割成多个局部屏幕(S1210)。包括在操作S1210中的操作可以由处理器1110执行。同样，包括在操作S1210中的操作可以对应于包括在参照图8描述的操作S850中的操作。

屏幕镜像方法1200可以包括：接收分别对应于多个任务的多项窗数据(S1220)。包括在操作S1220中的操作可以由通信器1130在处理器1110的控制下执行。同样，包括在操作S1220中的操作可以对应于包括在参照图8描述的操作S860中的操作。

屏幕镜像方法1200可以包括：通过使用多项窗数据，分别在多个局部屏幕上显示与多个任务对应的多个图像(S1230)。包括在操作S1230中的操作可以在处理器1110的控制下执行。详细地说，显示包括多个图像的屏幕可以由显示器1120在处理器1110的控制下执行。同样，包括在操作S1230中的操作可以对应于包括在参照图8描述的操作S870中的操作。

图13是示出根据本公开的实施例的显示设备的另一图。图13所示的显示设备1300可以对应于分别在图1和图11中所示的显示设备120和1100。参照图13，与显示设备1100相比，显示设备1300还可以包括存储器1140、用户接口1150或音频输出器1160中的至少一个。

存储器1140可存储至少一个指令。此外，存储器1140可存储由处理器1110执行的至少一个指令。此外，存储器1140可以存储由处理器1110执行的至少一个程序。

详细地，存储器1140可以包括闪速型存储器、硬盘型存储器、多媒体卡微型存储器、卡型存储器(例如，SD或XD存储器)、RAM、静态RAM(SRAM)、ROM、电可擦除可编程ROM(EEPROM)、磁存储器、磁盘或光盘之中的至少一种类型的存储介质。

用户接口1150可以接收用于控制显示设备1300的用户输入。用户接口1150可以包括但不限于这样的用户输入设备，该用户输入设备包括触摸面板、硬件按钮、硬件滚轮、键盘、圆顶开关等，其中，触摸面板配置成感测用户的触摸，硬件按钮配置成接收用户的按压操作，硬件滚轮配置成接收用户的旋转操作。

此外，用户接口1150可以包括配置成识别声音数据的语音识别设备。例如，声音识别设备可以包括麦克风。声音识别设备可以接收用户的语音命令或语音请求。因此，处理器1110可以进行控制以执行与语音命令或语音请求对应的操作。

此外，用户接口1150可以包括运动感测传感器。例如，运动感测传感器可以感测显示设备1300的运动并接收所感测的运动作为用户输入。此外，上述的声音识别设备和运动感测传感器可以不包括在用户接口1150中。相反，声音识别设备和运动感测传感器可以作为与用户接口1150分离的模块被包括在显示设备1300中。

音频输出器1160可以在处理器1110的控制下输出音频数据。

详细地，音频输出器1160可以输出通过通信器1130输入的音频数据(例如，语音、声音等)。此外，音频输出器1160可以在处理器1110的控制下输出存储在存储器1140中的音频数据。音频输出器1160可以包括扬声器、耳机输出端子或飞利浦/索尼数字接口(Sony/Philips，S/PDIF)输出端子中的至少之一。音频输出器1160可以包括扬声器、耳机输出端子和S/PDIF输出端子的组合。

根据本公开的实施例，音频输出器1160可以在处理器1110的控制下输出与显示器1120输出的镜像屏幕对应的音频数据。详细地，音频输出器1160可以输出对应于分别与显示在显示器1120上的多个任务对应的多个图像中的至少一个的音频数据。

图14是根据本公开的实施例的显示设备的屏幕镜像方法的另一流程图。此外，图14是根据本公开的实施例的由参考图1至图13描述的显示设备120、1100或1300执行的操作的流程图。此外，与图12所示的屏幕镜像方法1200相比，图14所示的屏幕镜像方法1400还可以包括操作S1205和S1207。屏幕镜像方法1400中包括的、与屏幕镜像方法1200中所包括的操作相同的操作通过使用相同的附图标记来说明。

因此，当描述图14中所示的屏幕镜像方法1400时，将不会冗余地描述与针对参考图1至图13所描述的显示设备120、1100或1300以及屏幕镜像方法1200的方面相同的方面。此外，当描述屏幕镜像方法1400时，将参考图13所示的显示设备1300。

参照图14，屏幕镜像方法1400可以在操作S1205中启动镜像服务。详细地说，可以启动移动设备110和显示设备1300之间的镜像服务。这里，可以响应于由移动设备110或显示设备1300接收的用户输入来启动镜像服务。

包括在操作S1205中的操作可以在处理器1110的控制下执行。同样，包括在操作S1205中的操作可以对应于包括在参照图8描述的操作S810中的操作。

此外，屏幕镜像方法1400还可以包括：由显示设备1300从移动设备110接收用于分割屏幕的控制信号(S1207)。包括在操作S1207中的操作可以由通信器1130在处理器1110的控制下执行。另外，包括在操作S1207中的操作可以对应于包括在参照图8描述的操作S830中的操作。

接下来，屏幕镜像方法1400可以包括：当显示设备1300镜像同时执行多个任务的移动设备110的屏幕时，将显示器1120的屏幕分割成多个局部屏幕(S1210)。

屏幕镜像方法1400可以包括：接收分别对应于多个任务的多项窗数据(S1220)。

此外，屏幕镜像方法1400可以包括：通过使用多项窗数据在多个局部屏幕上分别显示分别与多个任务对应的多个图像(S1230)。

此外，操作S1230还可以包括：当显示多个图像时，输出与多个图像对应的音频数据。输出音频数据可以由音频输出器1160在处理器1110的控制下执行。

下文将详细描述音频数据的输出。

根据本公开的实施例，多个任务中的至少两个任务可以伴随有音频输出。在这种情况下，当多个任务中的至少两个任务伴随有音频输出时，处理器1110可以控制音频输出器1160以输出对应于至少两个任务之中的第一任务的音频数据。这里，第一任务可以不表示首先执行的任务。相反，第一任务可以指针对音频输出选择的任务。

例如，当经由呼叫应用的执行来执行呼叫服务时，移动设备110可以响应于用户的请求来另外地执行内容播放应用。这里，伴随呼叫应用的执行的任务(详细地，用于执行语音呼叫功能的任务)和伴随内容播放应用的执行的任务(详细地，用于播放视频内容的任务)两者均可以伴随有音频输出。在这种情况下，响应于用户的请求，移动设备110的屏幕可以由显示设备1300基于根据本公开的实施例的屏幕镜像方法1400来进行镜像。

如上所述，当同时执行的至少两个任务均伴随有音频输出时，处理器1110可以输出与至少两个任务之中的第一任务对应的音频数据，其中，第一任务表示与显示在移动设备110的屏幕的主屏幕上的窗对应的任务。详细地说，可以在处理器1110的控制下通过音频输出器1160输出对应于从至少两个任务中选择的第一任务的音频数据。

或者，处理器1110可基于应用类型或任务类型中的至少一者来选择至少两个任务中的任一者，并且输出对应于所选择的任务的音频数据。如上所述，在经由呼叫应用的执行来执行有线呼叫服务的过程中,移动设备110可以响应于用户的请求来附加地执行内容播放应用。在上述示例中，呼叫应用可以直接针对语音呼叫操作(或视频呼叫操作)，因此，音频输出可能是不可避免的。在这种情况下，伴随呼叫应用的音频输出可以被控制为优先由显示设备1300输出。

或者，处理器1110可以根据所确定的优先级顺序来确定音频输出的优先级顺序并且输出音频数据。这里，可以根据用户的设置来确定优先级顺序。或者，可根据处理器1110的直接设置来确定优先级顺序。关于音频数据的输出，下文将参考图24描述设置优先级顺序的操作。

或者，处理器1110可以进行控制以输出与用户从伴随有音频输出的至少两个任务之中选择的任务对应的音频数据。

此外，当至少两个任务被同时执行并且伴随有音频输出时，处理器1110可以通过混合多项音频数据来输出对应于至少两个任务中的每个的一项音频数据。这里，可以根据不同的输出比来混合至少两项音频数据。

例如，处理器1110可以将伴随着移动设备110的屏幕的主屏幕的一项音频数据的输出比控制为大于伴随着移动设备110的屏幕的子屏幕(或浮动窗或浮动屏幕)的一项音频数据的输出比。

或者，当根据不同的输出比混合至少两项音频数据时，处理器1110可以根据上述的音频输出的优先级顺序增加输出比，使得输出比随着优先级顺序的增加而增加。

图15是示出根据本公开的实施例的移动设备1500的图。

参照图15，图15所示的移动设备1500可以对应于参照图1至图13所描述的移动设备110。因此，当描述移动设备1500时，将不会冗余地描述参考图1至图13描述的移动设备110的操作。

参照图15，移动设备1500可以包括处理器1505、用户接口1510、显示器1520和通信器1530。

处理器1505可执行至少一个指令以控制执行期望的操作。这里，至少一个指令可以被存储在包括在处理器1505中的内部存储器中，或者被存储在与处理器1505分开地包括在显示设备1100中的存储器中。

详细地，处理器1505可以执行至少一个指令以控制包括在移动设备1500中的至少一个组件来执行期望的操作。因此，当处理器1505执行某些操作时，处理器1505控制包括在移动设备1500中的至少一个组件来执行这些操作。

显示器1520可以在屏幕上输出图像。详细地说，显示器1520可以通过包括在显示器1520中的显示面板输出对应于视频数据的图像，使得用户可以在视觉上识别视频数据。

此外，显示器1520还可以包括与显示面板组合的触摸板。当显示器1520形成为与触摸板组合的显示面板时，显示器1520可以显示用于接收触摸输入的用户接口屏幕。此外，当在用户接口屏幕上感测到对应于某个命令的用户操作(例如，触摸操作)时，显示器1520可以将所感测的触摸输入发送到处理器1505。然后，处理器1505可以解释所感测的触摸输入以识别并执行由用户输入的特定命令。

通信器1530可以通过至少一个有线或无线通信网络执行与另一电子设备的通信。

根据本公开的实施例，通信器1530可以通过有线或无线通信连接与显示设备(例如，120、1100或1300)通信。

详细地，通信器1530可以包括根据这样的通信标准执行通信的至少一个短距离无线通信模块，该通信标准例如蓝牙、Wifi、BLE、NFC/RFID、Wifi直连、UWB或Zigbee。

此外，通信器1530还可以包括根据远程通信标准与服务器执行通信以支持远程通信的远程通信模块。详细地说，通信器1530可以包括通过网络执行通信以进行因特网通信的远程通信模块。此外，通信器1530可以包括根据这样的通信标准的通信网络，该通信标准例如3G、4G和/或5G。此外，远程通信模块也可以被称为移动通信模块。

此外，通信器1530可以包括至少一个端口，该至少一个端口通过有线线缆连接到显示设备(例如，120、1100或1300)以通过有线通信与显示设备(例如，120、1100或1300)通信。例如，通信器1130可以包括线缆连接端口，例如HDMI端口、USB连接端口等。

用户接口1510可以接收用于控制移动设备1500的用户输入。用户接口1510可以包括但不限于这样的用户输入设备，诸如触摸面板、硬件按钮、硬件滚轮、键盘、圆顶开关等，其中，触摸面板配置成感测用户的触摸操作，硬件按钮配置成接收用户的按压操作，硬件滚轮配置成接收用户的旋转操作。另外，按钮、滚轮和圆顶开关中的每个都可以包括与不同功能中的每个对应的键。

此外，用户接口1510可以包括被配置用于语音识别的语音识别设备。例如，语音识别设备可以包括麦克风。语音识别设备可以接收用户的语音命令或语音请求。因此，处理器1505可以进行控制以执行与语音命令或语音请求对应的操作。

此外，用户接口1510可以包括运动感测传感器。例如，运动感测传感器可以感测用户在车辆中的运动，并接收所感测的运动作为用户输入。此外，上述的语音识别设备和运动感测传感器可以不包括在用户接口1510中。相反，语音识别设备和运动感测传感器可以作为与用户接口1510分离的组件或模块被包括在移动设备1500中。

当显示设备(例如，120、1100或1300)在多个任务被同时执行的情况下镜像由显示器1520输出的屏幕时，处理器1505可以向显示设备(例如，120、1100或1300)发送用于请求将显示设备(例如，120、1100或1300)的屏幕分割成多个局部屏幕的控制信号。此外，处理器1505可经由通信器1530将分别对应于多个任务的多项窗数据发送到显示设备(例如，120、1100或1300)。

在下文中，将通过参考图16a来更详细地描述移动设备1500的操作。

图16a是根据本公开的实施例的由移动设备1500执行的屏幕镜像方法1600的流程图。图16a所示的屏幕镜像方法1600可以由移动设备1500执行。同样，包括在屏幕镜像方法1600中的操作可以对应于参照图1至图14所描述的移动设备110的操作。因此，当描述屏幕镜像方法1600时，将不会冗余地描述如图1至图15的方面。

屏幕镜像方法1600可以包括：从移动设备1500向显示设备(例如，120、1100或1300)发送用于请求分割显示设备(例如，120、1100或1300)的屏幕的控制信号(S1620)。

详细地，屏幕镜像方法1600可以包括：当显示设备(例如，120、1100或1300)在移动设备1500同时执行多个任务的情况下镜像通过显示器1520输出的屏幕时，向显示设备(例如，120、1100或1300)发送用于请求将显示设备(例如，120、1100或1300)的屏幕分割成多个局部屏幕的控制信号(S1620)。包括在操作S1620中的操作可以由通信器1530在处理器1505的控制下执行。同样，包括在操作S1620中的操作可以对应于包括在参照图8描述的操作S830中的操作。

屏幕镜像方法1600可以包括：将分别对应于多个任务的多项窗数据发送到显示设备(例如，120、1100或1300)(S1630)。包括在操作S1630中的操作可以由通信器1530在处理器1505的控制下执行。同样，包括在操作S1630中的操作可以对应于包括在参照图8描述的操作S860中的操作。这里，多项窗数据中的每项都可以包括用于生成与当执行多个任务中的每个时通过显示器1520输出的窗的至少一部分对应的图像的数据。下面将参照图25详细描述多项窗数据。

图16b是根据本公开的实施例的由移动设备执行的屏幕镜像方法的另一流程图。此外，图16b是由移动设备110或1500执行的操作的流程图。

图16b所示的屏幕镜像方法1650可以由移动设备1500执行。同样，包括在屏幕镜像方法1650中的操作可以对应于参照图1至图14所描述的移动设备110的操作。因此，当描述屏幕镜像方法1650时，将不会冗余地描述与图1至图15相同的方面。

此外，与图16a所示的屏幕镜像方法1600相比，图16b所示的屏幕镜像方法1650还可以包括操作S1605和S1610。而且，包括在屏幕镜像方法1650中的、与包括在屏幕镜像方法1600中的操作相同的操作通过使用相同的附图标记来示出。因此，当描述图16b中所示的屏幕镜像方法1650时，将不会冗余地描述与图16a中所示的屏幕镜像方法1600的方面相同的方面。

参照图16b，屏幕镜像方法1650可以包括：启动镜像服务(S1605)。详细地，可以执行移动设备110和显示设备1300之间的镜像服务。这里，可以响应于通过移动设备110或显示设备1300接收的用户输入来启动镜像服务。

包括在操作S1605中的操作可以在处理器1505的控制下执行。同样，包括在操作S1605中的操作可以对应于包括在参照图8描述的操作S810中的操作。

此外，启动镜像服务的操作(S1605)可以在移动设备1500执行多任务之前或之后执行。换句话说，图16b示出在移动设备1500执行多任务之前启动镜像服务(S1605)的示例。然而，启动镜像服务的操作(S1605)可以在移动设备110执行多任务(S1610)之后执行。

移动设备1500可以执行多任务(S1610)。详细地，在至少一个应用被执行的情况下，移动设备1500可以同时执行多个任务。如上所述，启动镜像服务的操作(S1650)可以在执行多任务的操作(S1610)之后执行。

当执行启动镜像服务的操作(S1650)和执行多任务的操作(S1610)并且请求显示设备(例如，120、1100或1300)镜像同时执行多个任务的移动设备1500的屏幕时，可以将用于请求分割显示设备(例如，120、1100或1300)的屏幕的控制信号从移动设备1500发送到显示设备(例如，120、1100或1300)(S1620)。

接下来，屏幕镜像方法1650可以包括：向显示设备(例如，120、1100或1300)发送分别对应于多个任务的多项窗数据(S1630)。

详细地说，可以在多个任务被同时执行时自动生成和发送在操作S1620中发送的控制信号。例如，被同时执行的多个任务可以包括第一任务和第二任务。详细地，响应于请求在执行第一任务的同时执行第二任务的第一输入，移动设备1500可以生成控制信号并将其发送到显示设备(例如，120、1100或1300)。

详细地，响应于第一输入，处理器1505可以向显示设备(例如，120、1100或1300)发送用于请求将显示设备(例如，120、1100或1300)的屏幕分割成第一局部屏幕和第二局部屏幕的控制信号(S1620)，其中，第一局部屏幕和第二局部屏幕分别对应于与第一任务对应的第一窗和与第二任务对应的第二窗。此外，处理器1505可以将对应于第一窗的第一窗数据和对应于第二窗的第二窗数据发送到显示设备(例如，120、1100或1300)(S1630)。

此外，在操作S1630之后，当在同时执行的多个任务中的至少一个中发生改变时，屏幕镜像方法1650可以包括：将关于改变的信息发送到显示设备(例如，120、1100或1300)。因此，显示设备(例如，120、1100或1300)可以基于关于改变的信息再次分割屏幕。详细地，当在同时执行的多个任务中的至少一个中发生改变时，处理器1505可以将关于改变的信息发送到显示设备(例如，120、1100或1300)。

图17是根据本公开的实施例的移动设备的屏幕镜像方法的另一流程图。此外，图17是由移动设备110或1500执行的操作的流程图。

图17所示的屏幕镜像方法1700可以由移动设备1500执行。同样，包括在屏幕镜像方法1700中的操作可以对应于参照图1至图14所描述的移动设备110的操作。因此，当描述屏幕镜像方法1700时，将不会冗余地描述与图1至图15相同的方面。

此外，与图16b所示的屏幕镜像方法1650相比，图17所示的屏幕镜像方法1700还可以包括操作S1607。此外，包括在屏幕镜像方法1700中的、与包括在屏幕镜像方法1650中的操作相同的操作通过使用相同的附图标记来示出。因此，当描述图17中所示的屏幕镜像方法1700时，将不会冗余地描述与图16b中所示的屏幕镜像方法1650的方面相同的方面。

屏幕镜像方法1700可以包括：在操作S1605之后，设置多视窗屏幕(S1607)。包括在操作S1607中的操作可以在处理器1505的控制下执行。这里，设置多视窗屏幕可以表示：设置在操作S1670中显示的多视窗屏幕中所包括的多个图像的尺寸、纵横比或排列结构中的至少一者。

详细地，可以由处理器1505基于设置多视窗屏幕的用户输入来执行操作S1607的操作。或者，可根据处理器1505的直接设置(例如，默认设置)来执行操作S1607的操作。

此外，图17示出在操作S1605之后执行操作S1607的示例。然而，操作S1607可以在发送控制信号的操作(S1620)之前执行，或者与发送控制信号的操作(S1620)同时执行。

此外，示出和描述了屏幕镜像方法1700包括经由移动设备1500设置多视窗屏幕的操作(S1607)。然而，设置多视窗屏幕的操作(S1607)可以由显示设备(例如，120、1100或1300)执行。

图18是用于描述根据本公开的实施例的显示设备和移动设备之间的通信连接的图。

详细地，图18将图15的移动设备1500和图13的显示设备1300示出为根据本公开的实施例的移动设备和根据本公开的实施例的显示设备、执行根据本公开的实施例的屏幕镜像方法1200、1400、1600、1650或1700的移动设备和显示设备。

在下文中，将参考图19至图24来描述用于执行根据本公开的实施例的屏幕镜像方法1200、1400、1600、1650或1700的用户接口屏幕输出。

可以通过根据本公开的实施例的移动设备(例如，1500)的显示器1520或根据本公开的实施例的显示设备(例如，1300)的显示器1120中的任何一个来输出图19至图24中所示的用户接口屏幕。

通常，通过移动设备可以比显示设备更容易地接收用户输入。因此，将在下文中参考图19至图24描述通过移动设备(例如，1500)的显示器1520输出用户接口屏幕的示例。

图19是示出根据本公开的实施例的由移动设备1500输出的用户接口屏幕1900的图。

参考图19，用户接口屏幕1900可以对应于根据上述的启动镜像服务的操作(S810)而输出的屏幕。例如，用户可以通过在图2所示的用户接口屏幕115上触摸对应于镜像服务的图标116来请求执行镜像服务。然后，移动设备1500的显示器1520可以响应于图标116上的触摸输入而输出用户接口屏幕1900。图19将镜像服务例示为具有名称“智能观看(smartview)”。

详细地，当请求执行镜像服务时，移动设备1500的处理器1505可以搜索可以与移动设备1500连接的显示设备，并且可以控制生成和显示用户接口屏幕1900，其中，该用户接口屏幕1900示出包括搜索到的设备的列表1920。

用户可以从包括在列表1920中的显示设备之中选择将利用其向用户提供镜像服务的显示设备。例如，当接收到选择TV1 1921(其是包括在列表1920中的显示设备)的触摸输入时，移动设备1500可以响应于该触摸输入启动与TV1 1921的镜像服务。

此外，当不存在与TV1 1921(作为所选择的显示设备)的配对操作的历史时，移动设备1500可以执行与TV1 1921的配对操作。或者，当存在与TV1 1921执行配对操作的历史时，移动设备1500可以基于配对操作的历史直接与TV1 1921连接通信。因此，可以开始在移动设备1500和TV1 1921之间执行镜像服务。

图20是示出根据本公开的实施例的由移动设备输出的用户接口屏幕的另一图。

参照图20，用户接口屏幕2000可对应于根据上述的启动镜像服务的操作(S810)而输出的另一屏幕。用户接口屏幕2000的、与图19所示的用户接口屏幕1900的各方面相同的各方面通过使用相同的附图标记来示出。因此，当描述用户接口屏幕2000的输出时，将不会冗余地描述与图19中描述的方面相同的方面。

参照图20，包括在用户接口屏幕2000中的列表1920可以包括与搜索到的可以被连接的显示设备中的每个是否提供分割屏幕的功能有关的信息。因此，当用户想要观看与根据本公开的实施例的屏幕分割对应的多视窗屏幕时，用户可以通过用户接口屏幕2000选择提供分割屏幕的功能的显示设备。

例如，可以在列表1920上显示用于通知相应的显示设备具有分割屏幕的功能的图标1922。例如，可以包括或不包括图标1922，该图标1922用于针对列表1920中包括的每个显示设备告知存在分割屏幕的功能。这里，图标1922可以包括指示分割屏幕的功能的符号、字母或图形中的至少一个。

在图20所示的示例中，电视1(TV1)和电视2(TV2)可以具有分割屏幕的功能，并且电视3(TV3)可以不具有分割屏幕的功能。

图21是示出根据本公开的实施例的由移动设备输出的用户接口屏幕的另一图。

当在用户接口屏幕1900或用户接口屏幕2000上选择的显示设备(例如，电视1)包括分割屏幕的功能时，移动设备1500可以在显示器1520上显示包括菜单2120的用户接口屏幕2100，该菜单2120用于接收关于是否执行根据本公开的实施例的屏幕镜像方法的用户输入。

在图21中，根据本公开的实施例的屏幕镜像方法被示为具有名称“多视窗镜像”。即，根据本公开的实施例，多视窗镜像可以指这样的屏幕镜像，其中与在移动设备1500上同时执行的多个任务对应的多个图像分别输出到通过分割显示设备1300的屏幕而生成的多个局部屏幕上。

例如，当在用户接口1510上接收到与菜单2120的接受键2130对应的用户输入时，移动设备1500可以向显示设备1300发送用于请求分割屏幕以便进行多视窗镜像的控制信号。详细地说，控制信号可以在处理器1505的控制下发送到显示设备1300。

或者，当在用户接口1510上接收到对应于菜单2120的拒绝键2123的用户输入时，根据本公开的实施例，移动设备1500可以执行一般镜像而不是多视窗镜像。这里，一般镜像表示这样的镜像，其中由移动设备1500的显示器1520输出的屏幕由显示设备1300的显示器1120直接输出。

图22是示出根据本公开的实施例的由移动设备输出的用户接口屏幕的另一图。

图23是示出根据本公开的实施例的由移动设备输出的用户接口屏幕的另一图。

移动设备1500可以基于用户输入来执行上述的多视窗屏幕的设置。例如，移动设备1500可以响应于通过图22或图23所示的用户接口屏幕2210或2310接收的用户输入来执行多视窗屏幕的设置。

参照图22，移动设备1500可以生成并显示用于设置包括在多视窗屏幕、多视窗布局或音频输出设置中的一定数量的窗(或对应于窗的图像)中的至少之一的用户接口屏幕2210。

参照图23，当在图22的用户接口屏幕2210中选择“多视窗布局”时，移动设备1500可以生成并显示用于设置多视窗屏幕中的图像布局的用户接口屏幕2310。

图24是示出根据本公开的实施例的由移动设备输出的用户接口屏幕的另一图。

参照图24，当在图22的用户接口屏幕2210中选择“音频输出设置”时，并且当同时执行的多个任务中的至少两个伴随有音频输出时，移动设备1500可以生成并显示用于设置要由显示设备1300优先输出哪项音频数据的用户接口屏幕2410。移动设备1500可以向显示设备1300发送用于根据通过用户接口屏幕2410执行的音频输出设置来执行音频输出的控制信号。然后，当在操作S870中显示多视窗屏幕时，显示设备1300可以根据音频输出设置来输出相应的音频数据。

在下文中，将通过参考图25至图29来描述根据本公开的实施例的屏幕镜像方法的详细操作。此外，将通过参考图13、图15和图18中所示的移动设备1500和显示设备1300来描述图25至图29中所示的根据本公开的实施例的屏幕镜像方法。此外，图25至图29示出显示设备1300对应于电视的示例。

图25是用于描述根据本公开的实施例的由移动设备1500生成的多项窗数据的图。详细地说，图25示出对应于同时执行的多个任务的多项窗数据。

当执行多个任务时，移动设备1500可以生成与多个任务对应的多项窗数据。详细地说，处理器1505可以生成多项窗数据。此外，所生成的多项窗数据可以存储在包括在处理器1505中的存储器中或存储在与处理器1505分开地包括在移动设备1500中的存储器中。

图25示出其中移动设备1500生成分别对应于四个任务(即第一至第四任务)的第一至第四项窗数据2510、2520、2530和2540的示例。

参照图25，移动设备1500可以生成用于在执行第一任务时生成执行窗(或“执行窗”)的第一项窗数据2510、用于在执行第二任务时生成执行窗的第二项窗数据2520、用于在执行第三任务时生成执行窗的第三项窗数据2530、以及用于在执行第四任务时生成执行窗的第四项窗数据2540。

这里，对应于多个任务的多项窗数据可以以其中多项窗数据被包括在窗堆栈2500中的形式生成。窗堆栈2500中的各项窗数据的排列顺序可以根据窗的输出顺序或优先级顺序而改变。

例如，通过使用第一项窗数据2510生成的第一窗可以在主屏幕上输出，并且分别通过使用第二至第四项窗数据2520、2530和2540生成的第二至第四窗可以在子屏幕上输出。在这种情况下，第一项窗数据2510可以被排列在窗堆栈2500中的最上端，并且第二至第四项窗数据2520、2530和2540可以在窗堆栈2500中排列在第一项窗数据2510之下。

此外，移动设备1500可以根据多项窗数据在窗堆栈2500中被排列的顺序，顺序地将多项窗数据发送到显示设备1300。然后，显示设备1300可以基于多项窗数据被发送的顺序来识别多个窗的输出顺序或优先级顺序。

图26是用于描述根据本公开的实施例的屏幕分割操作的图。

在图26和图27中，#1指示根据第一任务的执行而输出的第一窗2610。这里，第一窗2610可以对应于第一任务的执行窗，并且可以指示在执行第一任务时在移动设备1500的显示器1520上输出的屏幕。此外，第一窗2610可以通过使用第一项窗数据来生成。

此外，#2指示根据第二任务的执行而输出的第二窗2620。这里，第二窗2620可以对应于第二任务的执行窗，并且可以指示在执行第二任务时在移动设备1500的显示器1520上输出的屏幕。此外，第二窗2620可以通过使用第二项窗数据来生成。

参照图26，可以启动移动设备1500和显示设备1300之间的镜像服务。

基于根据本公开的实施例的屏幕镜像方法，当显示设备1300镜像移动设备1500的屏幕并输出多视窗屏幕时，可以在多视窗屏幕上输出未在移动设备1500的屏幕上输出的至少一个图像。

参照图26，当执行第一任务时，移动设备1500可以在显示器1520上显示对应于第一任务的第一窗2610。

在执行第一任务期间，移动设备1500可以另外执行第二任务。例如，移动设备1500可以在前台环境中执行最新开始的任务并且在后台环境中执行先前被执行的任务。此外，可以在显示器1520上输出与在前景环境中执行的任务(详细地，第二任务)对应的窗(详细地，第二窗)。此外，对应于在后台环境中执行的任务(详细地，第一任务)的窗(详细地，第一窗)可以在显示器1520上以浮动窗的形式输出，或者可以不在显示器1520上输出。通过参考图26，将描述其中对应于在后台环境中执行的任务(详细地，第一任务)的窗不被输出的示例。

参照图26，可以在显示器1520上显示与第二任务对应的第二窗2620，并且可以不显示与第一任务对应的第一窗2610。

因为在移动设备1500和显示设备1300之间的镜像服务被启动，所以显示设备1300可以镜像作为移动设备1500的屏幕的第一窗2610，并且在显示器1120上显示对应于第一窗2610的屏幕2615。在图26中，S_#1表示与#1(其对应于第一窗2610)对应的图像。另外，S_#1可以对应于通过基于预定比率放大图像#1而生成的图像。

此外，当移动设备1500由于添加了第二任务而开始同时执行第一任务和第二任务时，显示设备1300可以显示从屏幕2615转换的屏幕2625。

详细地，显示设备1300可以根据移动设备1500同时执行的任务的数量来分割屏幕2625。这里，图26所示的第一局部屏幕2627和第二局部屏幕2629可以分别对应于参照图8描述的第一局部屏幕852和第二局部屏幕853。此外，显示设备1300可以在第一局部屏幕2627上输出与对应于第一任务的第一窗2610对应的图像S_#1，并且在第二局部屏幕2629上输出与对应于第二任务的第二窗2620对应的图像S_#2。

图27是用于描述根据本公开的实施例的屏幕分割操作的另一图。在图27中，通过使用相同的附图标记来示出与图26中的配置相同的配置。

参照图27，对应于在前景环境中执行的任务(详细地，第二任务)的窗(详细地，第二窗)可以在显示器1520上输出，并且对应于在后台环境中执行的任务(详细地，第一任务)的窗(详细地，第一窗)可以以浮动窗的形式在显示器1520上输出。这里，以浮动窗的形式输出的窗可以对应于整个窗的一部分。

因此，当在执行第一任务期间开始执行第二任务以便移动设备1500同时执行第一任务和第二任务时，可以在整个屏幕2710上显示第二窗2721，并且可以以浮动窗的形式显示第一窗2720，其中，该浮动窗显示在第二窗2721的一部分上。

根据本公开的实施例，显示设备1300可以通过镜像屏幕2720来显示屏幕2625。

图28是用于描述根据本公开的实施例的屏幕分割操作的另一图。在图28中，与图27中的配置相同的配置通过使用相同的附图标记来示出。

参照图28，移动设备1500可以顺序地执行第一任务、第二任务和第三任务。详细地，移动设备1500可以在通过同时执行第一和第二任务而输出屏幕2710的同时另外地执行第三任务。然后，随着另外执行第三任务，移动设备1500可以将屏幕2710转换成屏幕2810。此外，当在同时执行第一和第二任务期间另外执行第三任务时，移动设备1500可以向显示设备1300发送关于同时执行的任务的改变的信息。详细地，通信器1530可以在处理器1505的控制下将关于改变的信息发送到显示设备1300。

然后，显示设备1300的处理器1110可以基于上述的关于改变的信息再次分割屏幕。此外，处理器1110可以进行控制以在多个再分割的局部屏幕上显示分别对应于同时执行的多个任务的图像。

参照图28，移动设备1500在前台环境中执行最近开始的任务以及在后台环境中执行先前执行的至少一个任务。

因此，可以在显示器1520上输出对应于在前景环境中执行的任务(详细地，第三任务)的窗(详细地，第三窗2813)，并且可以以浮动窗的形式在显示器1520上输出对应于在后台环境中执行的任务(详细地，第一和第二任务)的窗(详细地，第一和第二窗2811和2812)。

详细地，移动设备1500可以在整个屏幕2810上显示与#3对应的第三窗2813，并且在第三窗2813的部分上以浮动窗的形式显示第一窗2811和第二窗2812。

根据本公开的实施例，显示设备1300可以通过镜像屏幕2810来显示屏幕2830。

详细地，当在执行第一和第二任务期间另外开始第三任务时，显示设备1300可以根据移动设备1500同时执行的任务的数量(3)来分割屏幕2830。因此，对应于第一任务的第一窗2811的图像S_#1可以在第一局部屏幕2831上输出，对应于第二窗2812的图像S_#2可以在第二局部屏幕2832上输出，并且对应于第三窗2813的图像S_#3可以在第三局部屏幕2833上输出，其中第一至第三局部屏幕2831、2832和2833中的三个在屏幕2830中被分割开。

图29是用于描述根据本公开的实施例的屏幕分割操作的另一图。在图29中，与图26中的配置相同的配置通过使用相同的附图标记来示出。

参照图29，移动设备1500可以顺序地执行第一任务、第二任务和第三任务。详细地，移动设备1500可以在通过同时执行第一和第二任务而输出与第二窗对应的屏幕2620期间另外地执行第三任务。然后，随着另外执行第三任务，移动设备1500可以将与第二窗对应的屏幕2620转换为屏幕2920。

参照图29，移动设备1500在前景环境中执行最近开始执行的任务以及在后台环境中执行先前执行的至少一个任务。通过参考图29，将描述其中对应于在后台环境中执行的任务的窗不被输出的示例。

因此，可以在显示器1520上输出对应于在前景环境中执行的任务(详细地，第三任务)的窗(详细地，第三窗2831)，并且可以不在显示器1520上输出对应于在后台环境中执行的任务(详细地，第一和第二任务)的窗(详细地，第一和第二窗2610和2620)。参照图29，当执行所有的第一至第三任务时，移动设备1500可以显示屏幕2920，该屏幕2920显示与最近启动的第三任务对应的第三窗#3 2831。

根据本公开的实施例，显示设备1300可以通过镜像屏幕2920来显示屏幕2830。

详细地，当在执行第一和第二任务期间另外开始第三任务时，显示设备1300可以根据移动设备1500同时执行的任务的数量(3)来分割屏幕2830。因此，对应于第一任务的第一窗2610的图像S_#1可以在第一局部屏幕2831上输出，对应于第二窗2620的图像S_#2可以在第二局部屏幕2832上输出，并且对应于第三窗2630的图像S_#3可以在第三局部屏幕2833上输出，其中第一至第三局部屏幕2831、2832和2833中的三个在屏幕2830中被分开。

图30是示出根据本公开的实施例的移动设备的另一图。图30所示的移动设备3000可以对应于图1或图15所示的移动设备110或1500。详细地，包括在图30所示的移动设备3000中的处理器3005、用户接口3010、显示器3021和通信器3030可以分别对应于包括在图15所示的移动设备1500中的处理器1505、用户接口1510、显示器1520和通信器1530。

因此，当描述移动设备3000时，将不会冗余地描述与移动设备110或1500的方面相同的方面。

用户接口3010可以表示用于供用户输入数据以控制移动设备3000的设备。例如，用户接口3010可以包括键盘、圆顶开关、触摸板(触摸电容方法、压力电阻层方法、红外传感方法、表面超声传导方法、整体张力测量方法、压电效应方法等)、微动轮、微动开关等，但不限于此。

用户接口3010可以接收用于选择要显示的虚拟图像的用户输入。此外，用户接口3010可以接收用于设置虚拟图像的操作的用户输入和用于购买与虚拟图像相关的项目的用户输入。

输出器3020可以输出音频信号、视频信号或振动信号。输出器3020可以包括显示器3021、声音输出器3022和振动电机3023。

显示器3021可以显示由移动设备3000处理的数据。例如，显示器3021可以显示用于选择虚拟图像的用户接口、用于设置虚拟图像的操作的用户接口、以及用于购买与虚拟图像相关的项目的用户接口。

当通过包括显示器3021和触摸板的分层结构来提供触摸屏时，除了输出器之外，显示器3021还可以用作输入器。显示器3021可以包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管、柔性显示器、三维显示器或电泳显示器中的至少一个。此外，根据移动设备3000的实现形式，移动设备3000可以包括两个或更多显示器3021。这里，两个或多个显示器3021可以通过使用铰链来布置成彼此面对。

声音输出器3022可以输出从通信器3030接收的或存储在存储器3070中的音频数据。此外，声音输出器3022可以输出与在移动设备3000中执行的功能相关的声音信号(例如，呼叫信号接收声音、消息接收声音、通知声音等)。声音输出器3022可以包括扬声器、蜂鸣器等。

振动电机3023可以输出振动信号。例如，振动电机3023可以输出与音频数据或视频数据(例如，呼叫信号接收声音、消息接收声音等)的输出对应的振动信号。此外，当在触摸屏上输入触摸时，振动电机3023可以输出振动信号。

处理器3005可以控制移动设备3000的总体操作。例如，处理器3005可以执行存储在存储器3070中的程序，以总体地控制用户接口3010、输出器3020、传感器3040、通信器3030、音频/视频(A/V)输入器3060等。

传感器3040可以检测移动设备3000的状态或移动设备3000周围的状态，并将检测到的信息发送到处理器3005。

传感器3040可以包括但不限于：磁传感器3041、加速度传感器3042、温度/湿度传感器3043、红外传感器3044、陀螺仪传感器3045、定位传感器(例如，全球定位传感器(GPS)3046、大气压力传感器3047、接近传感器3048、RGB(照度)传感器3049或者生物传感器3050中的至少之一。本领域的普通技术人员可以从其名字直观地推断出每个传感器的功能，因此，将不给出其详细描述。

通信器3030可以包括能够实现在移动设备3000和HMD设备之间或者在移动设备3000和服务器之间进行通信的一个或更多部件。例如，通信器3030可以包括短距离无线通信器3051、移动通信器3052和广播接收器3053。

短距离无线通信器3051可以包括蓝牙通信器、BLE通信器、近场通信器、WLAN(Wifi)通信器、Zigbee通信器、红外数据关联(IrDA)通信器、Wifi直连(WFD)通信器、UWB通信器、Ant+通信器等，但不限于此。

移动通信器3052可以通过移动网络向基站、外部终端或服务器中的至少一个发送无线信号和从基站、外部终端或服务器中的至少一个接收无线信号。这里，无线信号可以包括声音呼叫信号、视频电话呼叫信号、或者根据文本/多媒体的发送和接收的各种形式的数据。

广播接收器3053可以通过广播信道从外部接收广播信号和/或与广播节目有关的信息。广播信道可以包括卫星信道、地波信道等。根据本公开的实施例，移动设备3000可以不包括广播接收器3053。

A/V输入器3060可以包括相机3061和用于输入音频信号或视频信号的麦克风3062。相机3061可以在视频电话模式或拍摄模式下通过图像传感器获得图像帧，例如静止图像或视频。由图像传感器捕获的图像可以由处理器3005或附加图像处理器处理。

相机3061处理的图像帧可以存储在存储器3070中，或者可以通过通信器3030发送到外部。可以根据终端的实现形式来提供两个或更多相机3061。

麦克风3062可以接收外部声音信号，并将接收到的外部声音信号处理成电子声数据。例如，麦克风3062可以从外部设备或扬声器接收声音信号。麦克风3062可以使用各种噪声消除算法来消除在接收外部声音信号的过程中出现的噪声。

存储器3070可以存储用于处理和控制处理器3005的操作的程序，并且可以存储输入到移动设备3000或从移动设备3000输出的数据。

存储器3070可以包括来自以下的至少一种类型的存储介质：闪速型存储器、硬盘型存储器、多媒体卡微型存储器、卡型存储器(例如SD或XD存储器)、RAM、SRAM、ROM、EEPROM、PROM、磁存储器、磁盘或光盘。

存储在存储器3070中的程序可以根据它们的功能被分成多个模块。例如，程序可以被分成用户接口(UI)模块3071、触摸屏模块3072、通知模块3073等。

UI模块3071可以为每个应用提供与移动设备3000同步的专用UI或GUI。触摸屏模块3072可以感测用户在触摸屏上的触摸手势，并将关于触摸手势的信息发送到处理器3005。根据本公开的实施例的触摸屏模块3072可以识别和分析触摸代码。触摸屏模块3072可以形成为包括控制器的附加硬件设备。

可以在触摸屏中或触摸屏周围提供各种传感器，以感测触摸屏上的触摸或近似触摸。例如，可以提供触觉传感器作为用于感测触摸屏上的触摸的传感器的示例。触觉传感器指的是被配置成感测特定对象(如人类感测或比人类更好)的触摸的传感器。触觉传感器可以感测各种信息，例如接触表面的粗糙度、接触对象的刚性和接触点的温度。

用于感测触摸屏上的触摸的传感器可以包括例如接近传感器。

接近传感器是指被配置成通过使用电磁场的力或红外线来在没有机械接触的情况下检测存在或不存在接近预定检测表面的对象或附近对象的传感器。接近传感器的示例包括透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡型接近传感器、电容式接近传感器、磁性接近传感器、红外接近传感器等。用户的触摸手势可以包括敲击、触摸并保持、双击、拖动、摇动、闪烁、轻扫、滑动等。

通知模块3073可以生成用于通知移动设备3000的事件的发生的信号。在移动设备3000中发生的事件的示例可以包括呼叫信号接收、消息接收、键信号输入、调度通知等。通知模块3073可以通过显示器3021输出视频信号形式的通知信号，可以通过声音输出器3022输出音频信号形式的通知信号，或者可以通过振动电机3023输出振动信号形式的通知信号。

图31是示出根据本公开的实施例的显示设备的另一图。

显示设备3100可以对应于根据参考图1至图29描述的本公开的实施例的显示设备(例如，120、1100或1300)。因此，当描述显示设备3100时，将不描述与图1至图29相同的方面。

详细地，包括在图31所示的显示设备3100中的处理器3180、显示器3115、通信器3150、存储器3190、用户接口3130和音频输出器3125可以分别对应于包括在图13所示的显示设备1300中的处理器1110、显示器1120、通信器1130、存储器1140、用户接口1150和音频输出器1160。

视频处理器3110可以处理由显示设备3100接收的视频数据。视频处理器3110可对视频数据执行各种图像处理操作，例如解码、缩放、噪声滤波、帧速率转换、分辨率转换等。

处理器3180可以接收对记录由视频处理器3110处理的视频数据的请求，并且进行控制以将视频数据加密并记录在包括在处理器3180中的存储器设备(例如RAM)或存储器3190中。

显示器3115可以在处理器3180的控制下在屏幕上显示包括在通过调谐器3140接收的广播信号中的视频。此外，显示器3115可以显示通过通信器3150或输入器/输出器3170输入的内容(例如，视频)。

此外，显示器3115可以在处理器3180的控制下输出存储在存储器3190中的图像。此外，显示器3115可以显示用于执行与声音识别对应的声音识别任务的声音UI(例如，包括声音指令指南)或者用于执行与运动识别对应的运动识别任务的运动UI(例如，包括用于运动识别的用户运动指南)。

音频处理器3120可以处理音频数据。音频处理器3120可对音频数据执行各种处理操作，例如解码、放大、噪声滤波等。音频处理器3120可以包括用于处理与多项内容对应的音频数据的多个音频处理模块。

音频输出器3125可以在处理器3180的控制下输出包括在通过调谐器3140接收的广播信号中的音频数据。音频输出器3125可以输出通过通信器3150或输入器/输出器3170输入的音频数据(例如，语音、声音等)。此外，音频输出器3125可以在处理器3180的控制下输出存储在存储器3190中的音频数据。音频输出器3125可以包括扬声器3126、耳机输出端子3127或S/PDIF输出端子3128中的至少一个。音频输出器3125可以包括扬声器3126、耳机输出端子3127和S/PDIF输出端子3128的组合。

电源单元3130可以在处理器3180的控制下将从外部电源输入的电力供应到显示设备3100的组件3110至3190。此外，电源单元3130可以在处理器3180的控制下向内部的组件3110至3190提供从包括在显示设备3100中的一个电池或者两个或更多电池输出的电力。

调谐器3140可以通过对基于有线或无线方法而接收的广播信号进行放大、混频、谐振等，来从许多电波分量中调谐和仅选择要由显示设备3100接收的信道的频率。广播信号可以包括音频数据、视频数据和附加数据(例如，电子节目指南(EPG))。

调谐器3140可以根据从外部控制设备(例如，遥控器)接收的控制信号从与信道号(例如，有线广播号506)对应的频带接收广播信号，其中控制信号包括例如信道号的输入、向上或向下滚动信道的输入、EPG屏幕上的信道输入等。

调谐器3140可以从各种源接收广播信号，例如地波广播、有线广播、卫星广播、因特网广播等。调谐器3140可以从诸如模拟广播或数字广播的源接收广播信号。通过调谐器3140接收的广播信号可以被解码(例如，音频解码、视频解码或附加数据解码)，并且被划分为音频数据、视频数据和/或附加数据。划分后的音频数据、视频数据和/或附加数据可以在处理器3180的控制下存储在存储器3190中。

显示器3100的调谐器3140可以包括单个调谐器或多个调谐器。根据本公开的实施例，当调谐器3140包括多个调谐器时，可以在显示器3115上提供的多视窗屏幕中所包括的多个局部屏幕上输出多个广播信号。

调谐器3140可以实现为显示设备3100中的一体单元，实现为具有电连接到显示设备3100的调谐器的附加设备(例如机顶盒)，或者实现为连接到输入器/输出器3170的调谐器。

通信器3150可以在处理器3180的控制下将显示设备3100连接到外部设备(例如，音频设备等)。处理器3180可以通过通信器3150向/从连接到处理器3180的外部设备发送/接收内容，或者可以通过通信器3150从外部设备下载/以网页形式浏览应用。详细地，通信器3150可以通过接入网络从外部设备接收内容。

如上所述，通信器3150可以包括短距离无线通信模块、有线通信模块或移动通信模块中的至少一个。

图31示出通信器3150包括无线LAN 3151、蓝牙通信器3152或有线以太网3153中的一个的示例。

此外，通信器3150可以包括模块组合，该模块组合包括无线LAN3151、蓝牙通信器3152或有线以太网3153中的至少一个。此外，通信器3150可以在处理器3180的控制下接收控制器的控制信号。控制信号可以实现为蓝牙类型、射频(RF)信号类型或Wifi类型。

除了蓝牙模块之外，通信器3150还可以包括不同的短距离无线通信模块(例如，NFC模块和附加BLE模块)。

传感器3160可以感测用户的语音、图像或交互。

麦克风3161可以接收用户发出的语音。麦克风3161可以通过将所接收的语音转换为电信号来将所接收的语音输出到处理器3180。用户语音可以包括例如对应于显示设备3100的菜单或功能的语音。例如，麦克风3161的推荐识别范围可以在从麦克风3161到用户位置的大约4m内，并且麦克风3161的识别范围可以基于用户语音的音量或周围环境(例如，扬声器声音、周围噪声等)来改变。

麦克风3161可以相对于显示设备3100实现为整体类型或单独类型。可以通过通信器3150或输入器/输出器3170将单独类型的麦克风3161电连接到显示设备3100。

本领域普通技术人员可以容易地理解，可以根据显示设备3100的性能和结构而不包括麦克风3161。

相机3162可以在相机识别范围内接收与用户的包括手势的动作对应的图像(例如，连续帧)。例如，相机3162的识别范围可以对应于从相机3162到用户的大约0.1m到大约5m的距离。用户的动作可以包括例如用户的身体部分，诸如用户的面部、表情、手、拳头、手指等，或者用户的身体部分的运动。相机3162可以在处理器3180的控制下将所接收的图像转换为电信号并通过处理器3180输出电信号。

处理器3180可以通过使用识别所接收的运动的结果来选择显示在显示设备3100上的菜单，或者可以执行与识别所接收的运动的结果对应的控制操作。例如，控制操作可以包括信道调节、音量调节、光标移动等。

相机3162可以包括镜头和图像传感器。相机3162可以通过使用多个镜头和图像处理来支持光学变焦或数字变焦。相机3162的识别范围可以根据相机的角度和周围环境的条件以各种方式设置。当相机3162包括多个相机时，可以通过使用多个相机接收三维静止图像或三维运动。

相机3162可以相对于显示设备3100实现为整体类型或单独类型。包括单独类型的相机3162的附加设备可以通过通信器3150或输入器/输出器3170电连接到显示设备3100。

本领域的普通技术人员可以容易地理解，可以根据显示设备3100的性能和结构而不包括相机3162。

光接收器3163可以通过显示器3115的边框的光学窗从外部控制器接收光信号(包括控制信号)。光接收器3163可以从控制器接收对应于用户输入(例如，触摸输入、按压输入、触摸姿势、语音或动作)的光信号。在处理器3180的控制下，可以从所接收的光信号中提取控制信号。

例如，光接收器3163可以接收对应于控制器的指向位置的信号，并将该信号发送到处理器3180。例如，当通过显示器3115输出用于接收来自用户的数据或命令的用户接口屏幕并且用户通过控制器将数据或命令输入到显示设备3100时，当用户在用户的手指触摸设置在控制器中的触摸板的状态下移动控制器时，光接收器3163可以接收与控制器的运动对应的信号并且将该信号发送到处理器3180。此外，光接收器3163可以接收指示在控制器中提供的预定按钮被按下的信号，并将该信号发送到处理器3180。例如，当用户通过使用手指按下以控制器中的按钮的形式提供的触摸板时，光接收器3163可以向处理器3180发送指示按钮型触摸板被按下的信号。例如，指示按钮型触摸板被按下的信号可以用作选择项目之一的信号。

输入器/输出器3170可以在处理器3180的控制下从显示设备3100的外部接收视频数据(例如，视频等)、音频数据(例如，语音、音乐等)和附加数据(例如，EPG等)。输入器/输出器3170可以包括HDMI端口3171、组件插孔3172、PC端口3173或USB端口3174中的一个。输入器/输出器3170可以包括HDMI端口3171、组件插孔3172、PC端口3173和USB端口3174的组合。

本领域的普通技术人员可以容易地理解，根据本公开的实施例，可以以各种方式实现输入器/输出器3170的结构和操作。

处理器3180可以控制显示设备3100的一般操作，控制在显示设备3100的内部组件之间流动的信号，并且处理数据。当存在用户输入或满足预定和存储的条件时，处理器3180可以执行操作系统(OS)或存储在存储器3190中的各种应用。

处理器3180可以包括RAM、ROM和处理器，其中，RAM用作存储从显示设备3100的外部输入的信号或数据的存储器或者用作对应于由显示设备3100执行的各种操作的存储器，ROM存储用于控制显示设备3100的操作的控制程序。

处理器可包括用于处理对应于视频数据的图形的GPU。处理器可被实现为将核和GPU组合的SoC。处理器可以包括单核、双核、三核、四核或更高数量的多核。

此外，处理器可以包括多个处理器。例如，处理器可以被实现为主处理器以及在睡眠模式中工作的子处理器。

GPU可以通过使用计算器和渲染器来生成包括各种对象的屏幕，对象诸如图标、图像、文本等。计算器可以使用通过传感器感测的用户交互来计算对象中的每个的属性值，诸如坐标值、形状、大小、颜色等，其中，对象将通过属性值根据屏幕的布局来被显示。渲染器可以基于计算器计算的属性值生成包括对象的各种布局的屏幕。由渲染器生成的屏幕可以显示在显示器3115的显示区域中。

根据本公开的实施例的屏幕镜像方法可以以程序命令的形式实现，该程序命令可以由各种计算设备执行并且可以被记录在计算机可读介质上。此外，本公开的一个或更多实施例可以包括其上记录有一个或更多程序的计算机可读记录介质，其中该一个或更多程序包括用于执行上述屏幕镜像方法的指令。

计算机可读记录介质可以包括程序命令、数据文件、数据结构或其组合。记录在计算机可读记录介质上的程序命令可以是为本发明构思专门设计和构造的，或者可以是计算机软件领域的普通技术人员已知的和可用的。计算机可读介质的示例包括存储介质，例如磁介质(例如，硬盘、软盘或磁带)、光学介质(例如，光盘只读存储器(CD-ROM)或数字多功能盘(DVD))、磁光介质(例如，光碟)、以及专门配置成存储和执行程序命令的硬件设备(例如，ROM、RAM或闪速存储器)。程序命令的示例包括可以由计算机使用解释器来执行的高级语言代码以及由编译器生成的机器语言代码。

根据本公开的一个或更多实施例，屏幕镜像方法可以实现为计算机程序产品，该计算机程序产品包括记录有程序的记录介质，该程序用于：获得由多种语言构成的句子；利用多种语言翻译模型获取多种语言构成的句子中包含的单词分别对应的矢量值；将所获得的矢量值转换为目标语言对应的矢量值；基于转换后的矢量值获取由目标语言构造的句子。

根据本公开的实施例的显示设备、移动设备、显示设备的屏幕镜像方法以及移动设备的屏幕镜像方法，用户可以通过显示设备方便地观看同时执行多个任务的移动设备的屏幕。

详细地，基于根据本公开的实施例的显示设备、移动设备、显示设备的屏幕镜像方法和移动设备的屏幕镜像方法，同时执行多个任务的移动设备的屏幕可以被显示设备镜像和显示，使得用户可以作为高质量图像方便地观看分别与多个任务对应的多个图像。

虽然已经参考本公开的示例性实施例具体示出和描述了本公开，但是本领域的普通技术人员将理解，在不脱离由所附权利要求限定的本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种显示设备的屏幕镜像方法，所述屏幕镜像方法包括：

响应于请求所述显示设备镜像同时执行多个任务的移动设备的屏幕，执行屏幕分割操作，所述屏幕分割操作包括将所述显示设备的屏幕区域分割成多个局部屏幕区域；

接收分别与所述多个任务对应的多项窗数据；以及

基于所述多项窗数据分别在所述多个局部屏幕上显示与所述多个任务对应的多个图像。

2.如权利要求1所述的屏幕镜像方法，还包括：从所述移动设备接收控制信号，所述控制信号包括用于将所述显示设备的屏幕分割成所述多个局部屏幕的信息，

其中，分割所述显示设备的屏幕包括：基于用于将所述显示设备的屏幕分割成所述多个局部屏幕的所述信息来分割所述显示设备的屏幕。

3.如权利要求2所述的屏幕镜像方法，其中，所述控制信号包括与所述多个任务的数量有关的信息。

4.如权利要求3所述的屏幕镜像方法，其中，分割所述显示设备的屏幕包括：根据所述多个任务的数量，将所述显示设备的屏幕分割成所述多个局部屏幕。

5.如权利要求3所述的屏幕镜像方法，其中，分割所述显示设备的屏幕包括：基于所述多个任务的数量、包括在所述移动设备中的显示器的纵横比以及包括在所述显示设备中的显示器的纵横比，将所述显示设备的屏幕分割成所述多个局部屏幕。

6.如权利要求1所述的屏幕镜像方法，还包括：当所述多个任务中的至少两个任务伴随有音频输出时，经由所述显示设备输出从所述至少两个任务中选择的音频数据。

7.如权利要求6所述的屏幕镜像方法，其中，输出所述音频数据包括：输出所述至少两个任务中的、与在所述移动设备的屏幕的主屏幕部分上输出的窗对应的任务的音频数据。

8.如权利要求6所述的屏幕镜像方法，其中，输出所述音频数据包括：

基于应用类型或任务类型中的至少之一选择所述至少两个任务中的任务；以及

输出与所述任务对应的音频数据。

9.如权利要求1所述的屏幕镜像方法，还包括：

发送用于通知由所述移动设备执行的所述多个任务中的至少一个任务发生改变的信息；以及

基于用于通知发生所述改变的所述信息来再次分割所述显示设备的屏幕。

10.如权利要求1所述的屏幕镜像方法，还包括：在所述移动设备和所述显示设备之间执行配对操作，

其中，所述配对操作包括：经由所述显示设备将与所述显示设备的屏幕有关的信息发送到所述移动设备。

11.如权利要求1所述的屏幕镜像方法，还包括：基于用户输入来设置所述显示设备的包括所述多个局部屏幕的屏幕。

12.如权利要求1所述的屏幕镜像方法，其中，显示所述多个图像包括：显示包括没有在所述移动设备的屏幕上输出的至少一个图像的所述多个图像。

13.一种显示设备，包括：

显示器；

通信器，配置成与移动设备通信；以及

处理器，配置成执行至少一个指令以：

响应于来自所述显示设备的请求，将所述显示设备的屏幕分割成多个局部屏幕，以镜像同时执行多个任务的所述移动设备的屏幕；

控制所述通信器接收分别与所述多个任务对应的多项窗数据；以及

基于所述多项窗数据，控制所述显示器分别在所述多个局部屏幕上显示与所述多个任务对应的多个图像。

14.如权利要求13所述的显示设备，其中，所述处理器还配置成执行所述至少一个指令以：

控制所述通信器从所述移动设备接收控制信号，所述控制信号包括用于将所述显示设备的屏幕分割成所述多个局部屏幕的信息；以及

基于用于将所述显示设备的屏幕分割成所述多个局部屏幕的所述信息，将所述显示器的屏幕分割成所述多个局部屏幕。

15.一种移动设备，包括：

显示器；

用户接口；

通信器，配置成与显示设备通信；以及

处理器，配置成执行至少一个指令以：

当所述显示设备镜像在同时执行多个任务期间经由所述显示器输出的屏幕时，将用于请求将所述显示设备的屏幕分割成多个局部屏幕的控制信号发送到所述显示设备，以及

将分别与所述多个任务对应的多项窗数据发送到所述显示设备。

Images