CN107852435A - 移动终端及其控制方法 - Google Patents

Abstract

本发明涉及一种移动终端及其控制方法，该移动终端用于控制在显示设备上输出的至少一个外部设备的画面输出状态。为实现上述目的或其它目的，本发明的一个方面提供了一种移动终端，所述移动终端包括：显示单元，所述显示单元包括第一显示区域和第二显示区域；无线通信单元，所述无线通信单元用于向显示设备发送信号/从显示设备接收信号；以及控制单元，所述控制单元用于执行以下控制：将正在所述显示设备上输出的所述至少一个外部设备的当前画面分割状态输出到所述第一显示区域并且将用于至少一个外部设备的至少一个画面划分选项输出到所述第二显示区域。

Description

移动终端及其控制方法

技术领域

本发明涉及一种移动终端及其控制方法，该移动终端用于控制输出在显示设备上输出的至少一个外部设备的画面的状态。

背景技术

终端可根据移动性而被分成移动/便携式终端或固定终端。移动终端可根据用户是否能够直接携带终端而被分成手持终端或车载终端。

移动终端的功能变得多样化。例如，移动终端可以包括诸如数据和语音通信、通过相机进行拍摄和摄影、音频记录、通过扬声器系统重放音乐文件以及在显示器上输出图像和视频。一些移动终端可以进一步执行电子游戏功能或多媒体播放器功能。特别地说，新的移动终端可以接收用于提供诸如广播、视频或电视节目之类的可视内容的多播信号。

随着终端的功能变得更多样化，终端可以具有复杂功能的多媒体播放器的形式来实现，诸如拍摄或摄影、重放音乐或视频文件或者接收游戏和广播节目。

为了支持和增加终端的功能，可以考虑改进终端的结构和/或软件。

同时，已经开发了通过显示设备(诸如TV)使用在智能手机上采用的诸如视频、音乐和照片的内容的各种方法。例如，YouTube视频可以在TV上播放，电脑画面也可以输出。此时，需要在显示设备上输出多个外部设备的画面的同时方便且有效地控制多个外部设备的画面状态的各种方法。

发明内容

技术问题

本发明的目的是解决上述问题和其它问题。本发明的另一个目的是提供一种用于控制连接到移动终端的显示设备的画面的分割的移动终端及其控制方法。

本发明的另一个目的是提供一种用于通过在移动终端上执行的显示设备的画面控制应用程序来以不同方式控制多个外部设备的画面输出形式的移动终端及其控制方法。

技术方案

本发明的目的可以通过提供一种移动终端来实现，所述移动终端包括：显示单元，所述显示单元包括第一显示区域和第二显示区域；无线通信单元，所述无线通信单元被配置为向显示设备发送信号和从所述显示设备接收信号；以及控制器，所述控制器被配置为执行以下控制：在所述第一显示区域中输出在所述显示设备上输出的至少一个外部设备的当前分割画面状态，并且在所述第二显示区域中输出针对所述至少一个外部设备的至少一个分割画面选项。

根据本发明的另一方面，所述第一显示区域的当前分割画面状态可以包括以下区域中的至少一个：指示所述至少一个外部设备在所述显示设备上的输出状态的外部设备区域、指示所述显示设备的声源的声音区域以及所述至少一个外部设备的画面选项区域。

根据本发明的另一方面，当感测到针对所述外部设备区域的输入信号时，所述控制器可以执行以下控制：通过所述无线通信单元向所述显示设备发送用于改变所述至少一个外部设备的输入位置的控制信号。

根据本发明的另一方面，当感测到针对所述声音区域的输入信号时，所述控制器可以执行以下控制：通过所述无线通信单元发送用于改变所述显示设备中的声源设备的控制信号。

根据本发明的另一方面，当感测到针对所述画面选项区域的输入信号时，所述控制器可以执行以下控制：输出与所述输入信号被感测到的外部设备区域对应的外部设备的输入改变菜单和宽高比菜单。

根据本发明的另一方面，当感测到针对所述宽高比菜单的输入信号时，所述控制器可以执行以下控制：通过所述无线通信单元向所述显示设备发送用于改变所述至少一个外部设备的宽高比的控制信号。

根据本发明的另一方面，当感测到用于选择所述至少一个分割画面选项中的一个的输入信号时，所述控制器可以执行以下控制：通过所述无线通信单元向所述显示设备发送用于改变所述至少一个外部设备的分割画面的控制信号。

根据本发明的另一方面，所述控制器可以执行以下控制：在对所述至少一个外部设备在所述显示设备上的内容进行镜像的同时输出用于控制所述至少一个外部设备的输出形式的所述第一显示区域和所述第二显示区域。

根据本发明的另一方面，所述无线通信单元可以使用蓝牙方法向所述显示设备发送画面控制信号及从所述显示设备接收所述画面控制信号。

在本发明的另一方面中，在此提供了一种控制移动终端的方法，所述方法包括以下步骤：在第一显示区域中输出连接到显示设备的至少一个外部设备的当前分割画面状态，并且在第二显示区域中输出所述至少一个外部设备的分割画面选项；当感测到针对所述第一显示区域的输入信号时，向所述显示设备发送在所述显示设备上输出的至少一个外部设备的输出位置、声源、输入源和宽高比中的至少一个的控制信号；以及当感测到针对所述第二显示区域的输入信号时，向所述显示设备发送用于控制在所述显示设备上输出的至少一个外部设备的分割画面形式的信号。

有益效果

根据本发明的移动终端及其控制方法具有以下效果。

根据本发明的至少一个实施方式，可以通过移动终端容易地控制正在显示设备上输出的各种内容的画面。

根据本发明的至少一个实施方式，可以根据用户的便利在移动终端上容易地控制正在显示设备上输出的多个外部设备的内容。

根据本发明的至少一个实施方式，移动终端可以通过蓝牙通信控制显示设备的画面的输出，由此降低功耗。

根据下文给出的详细描述，本发明的附加适用范围将变得显而易见。然而，由于本领域技术人员可以清楚地理解在本发明的精神和范围内的各种改变和修改，因此，本发明的特定实施方式(例如下面的详细描述)和优选实施方式应被理解为仅通过例示的方式给出。

附图说明

图1a是示出与本发明相关的移动终端的框图。

图1b和图1c是示出当沿不同方向观看时与本发明相关的移动终端的示例的概念的图。

图2是示出根据本发明实施方式的移动终端的框图。

图3是示出根据本发明实施方式的在移动终端处控制显示设备的画面的输出的示例的图。

图4是示出根据本发明实施方式的在移动终端的显示单元上输出的画面控制应用程序的代表性画面的示例的图。

图5是示出根据本发明实施方式的在移动终端的显示单元上输出的画面控制应用程序的菜单标签的示例的图。

图6和图7是示出根据本发明实施方式的在移动终端中执行画面控制应用程序以建立与显示设备的连接的方法的示例的图。

图8是示出根据本发明实施方式的当在移动终端中首次执行画面控制应用程序时发生的错误的示例的图。

图9是示出根据本发明实施方式的当在移动终端中首次执行画面控制应用程序时发生的错误的另一示例的图。

图10是示出根据本发明实施方式的在移动终端处的被连接的显示设备的图。

图11是示出根据本发明实施方式的控制移动终端上的第一显示区域的示例的图。

图12是示出根据本发明实施方式的控制移动终端上的第一显示区域的另一示例的图。

图13是示出根据本发明实施方式的控制移动终端上的第一显示区域的另一示例的图。

图14是示出根据本发明实施方式的控制移动终端上的第一显示区域的另一示例的图。

图15是示出根据本发明实施方式的控制移动终端上的第二显示区域的示例的图。

图16是示出根据本发明实施方式的控制移动终端上的第二显示区域的另一示例的图。

图17是示出控制图16的实施方式中的第二显示区域中的宽高比选项输出的示例的图。

图18是示出控制图16的实施方式中的第二显示区域中的宽高比选项输出的示例的图。

图19是示出根据本发明实施方式的移动终端的画面控制应用程序的帮助菜单的图。

图20是示出根据本发明实施方式的移动终端的画面控制应用程序的相关程序菜单的图。

图21是示出根据本发明实施方式的移动终端的画面控制应用程序的设置菜单的图。

图22是示出根据本发明实施方式的控制移动终端的方法的图。

具体实施方式

以下将参考附图详细描述本发明的示例性实施方式，其中在整个说明书中使用相同的附图标记来指代相同或相似的部分，并且将省略对其的重复描述。这里的元件的后缀“模块”和“单元”是为了描述的方便而使用的，因此可以互换使用，并且不具有任何可区分的含义或功能。在描述本发明时，当可能模糊本发明的主题时，将省略已知功能和配置的详细描述。附图用于帮助理解本发明的技术思想，并且应该理解，本发明的构思不受附图的限制。除了附图之外，本发明的构思应该被解释为扩展到任何改变、等同物和替换。

应当理解，尽管可在本文中使用术语第一、第二等描述本发明的各种元件，但是这些术语仅用于将一个元件与另一个元件相区分，并且相应元件的顺序或次序不受这些术语的限制。

应当理解，当一个元件被称为“与”另一个元件“连接”或“联接”时，虽然该元件可以与另一个元件直接连接或直接接入另一个元件，但是该元件也可以经由再一个元件“与”另一个元件“连接”或“联接”。

单数表示可以包括复数表示，除非该单数表示根据上下文表示明确不同的含义。

应该理解，术语“包含”、“包括”等当在本说明书中使用时指定存在若干组件或几个步骤，并且可以不包括组件或步骤的一部分，或者可以包括另外的组件或步骤进一步包括在内。

本文呈现的移动终端可利用各种不同类型的终端来实现。这些终端的示例包括蜂窝电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、、石板PC、平板PC、超级本、可穿戴设备(例如，智能手表、智能眼镜、头戴式显示器(HMD))等。

然而，除了仅应用于移动终端的配置之外，根据本说明书的实施方式的配置还可以应用于诸如数字TV，台式计算机，数字标牌等的固定终端。

现在将参照附图，根据本文公开的示例性实施方式详细给出描述。为了参照附图简要描述，可为相同或等同的组件提供相同的标号，其描述将不再重复。通常，诸如“模块”和“单元”的后缀可用于指代元件或组件。本文使用这种后缀仅是为了方便说明书的描述，后缀本身并非旨在给予任何特殊含义或功能。在本公开中，为了简明起见，相关领域的普通技术人员熟知的内容已被省略。使用附图来帮助容易地理解各种技术特征，应该理解，本文呈现的实施方式不受附图的限制。因此，本公开应该被解释为扩展至附图中具体示出的更改形式、等同形式和替代形式以外的任何更改形式、等同形式和替代形式。

应当理解，尽管可在本文中使用术语第一、第二等描述各种元件，但是这些元件不应当受这些术语的限制。这些术语一般仅用于将一个元件与另一个元件相区分。

应当理解，当一个元件被称为“与”另一个元件“连接”时，该元件可以与另一个元件连接或中间元件也可以存在。相反，当一个元件被称为“与”另一个元件“直接连接”时，不存在中间元件。

单数表示可以包括复数表示，除非该单数表示根据上下文表示明确不同的含义。在本文中使用的诸如“包括”或“具有”的术语应当理解为它们旨在指示本说明书中公开的多个部件、功能或步骤的存在，并且还应当理解的是，同样可以使用更多或更少的部件、功能或步骤。

本文呈现的移动终端可利用各种不同类型的终端来实现。这些终端的示例包括蜂窝电话、智能电话、用户设备、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、石板PC、平板PC、超级本、可穿戴设备(例如，智能手表、智能眼镜、头戴式显示器(HMD))等。

仅通过非限制性示例，参照特定类型的移动终端进行进一步的描述。然而，这些教导同样适用于其它类型的终端，例如上述那些类型。另外，这些教导也可适用于诸如数字TV、台式计算机等的固定终端。

现在参照图1a至图1c，其中图1a是根据本公开的移动终端的框图，图1b和图1c是从不同方向看时移动终端的一个示例的概念图。

移动终端100被示出为具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180和电源单元190的组件。将理解，不要求实现所示的所有组件，可另选地实现更多或更少的组件。

现在参照图1a，移动终端100被示出为具有利用多个通常实现的组件配置的无线通信单元110。例如，无线通信单元110通常包括允许移动终端100与无线通信系统或者移动终端所在的网络之间的无线通信的一个或更多个组件。

无线通信单元110通常包括允许通信(例如，移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端之间的通信、移动终端100与外部服务器之间的通信)的一个或更多个模块。另外，无线通信单元110通常包括将移动终端100连接到一个或更多个网络的一个或更多个模块。为了方便这些通信，无线通信单元110包括广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114和位置信息模块115中的一个或更多个。

输入单元120包括用于获得图像或视频的相机121、麦克风122(是用于输入音频信号的一种音频输入设备)以及用于使得用户能够输入信息的用户输入单元123(例如，触摸键、按键、机械键、软键等)。数据(例如，音频、视频、图像等)通过输入单元120来获得，并且可由控制器180根据设备参数、用户命令及其组合来分析和处理。

通常利用被配置为感测移动终端的内部信息、移动终端的周围环境、用户信息等的一个或更多个传感器来实现感测单元140。例如，在图1a中，感测单元140被示出为具有接近传感器141和照度传感器142。

如果需要，感测单元140可另选地或另外地包括其它类型的传感器或设备，例如触摸传感器、加速度传感器、磁传感器、重力传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如，相机121)、麦克风122、电池电量计、环境传感器(例如，气压计、湿度计、温度计、辐射检测传感器、热传感器和气体传感器等)和化学传感器(例如，电子鼻、保健传感器、生物传感器等)等。移动终端100可被配置为利用从感测单元140获得的信息，具体地讲，从感测单元140的一个或更多个传感器获得的信息及其组合。

输出单元150通常被配置为输出各种类型的信息，例如音频、视频、触觉输出等。输出单元150被示出为具有显示单元151、音频输出模块152、触觉模块153和光学输出模块154。为了方便触摸屏，显示单元151可具有与触摸传感器的中间层结构或集成结构。触摸屏可在移动终端100与用户之间提供输出接口，并且用作在移动终端100与用户之间提供输入接口的用户输入单元123。

接口单元160用作与可连接到移动终端100的各种类型的外部设备的接口。例如，接口单元160可包括任何有线或无线端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。在一些情况下，移动终端100可响应于外部设备连接到接口单元160而执行与连接的外部设备关联的各种控制功能。

存储器170通常被实现为存储用于支持移动终端100的各种功能或特征的数据。例如，存储器170可被配置为存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或指令等。这些应用程序中的一些应用程序可经由无线通信从外部服务器下载。其它应用程序可在制造或出厂时安装在移动终端100内，针对移动终端100的基本功能(例如，接电话、打电话、接收消息、发送消息等)，通常是这种情况。常见的是，应用程序被存储在存储器170中，被安装在移动终端100中，并由控制器180执行以执行移动终端100的操作(或功能)。

除了与应用程序关联的操作以外，控制器180通常还用于控制移动终端100的总体操作。控制器180可通过处理经由图1a所描绘的各种组件输入或输出的信号、数据、信息等或者激活存储在存储器170中的应用程序来提供或处理适合于用户的信息或功能。作为一个示例，控制器180根据存储在存储器170中的应用程序的执行来控制图1a至图1c所示的一些或所有组件。

电源单元190可被配置为接收外部电力或提供内部电力，以便供应对包括在移动终端100中的元件和组件进行操作所需的适当电力。电源单元190可包括电池，所述电池可被配置为嵌入终端主体中，或者被配置为可从终端主体拆卸。

仍参照图1a，现在将更详细地描述该图中描绘的各种组件。关于无线通信单元110，广播接收模块111通常被配置为经由广播频道从外部广播管理实体接收广播信号和/或广播相关信息。广播频道可包括卫星频道、地面频道或这二者。在一些实施方式中，可使用两个或更多个广播接收模块111以方便同时接收两个或更多个广播频道或者支持在广播频道之间切换。

广播管理实体可以是生成并发送广播信号和/或广播相关信息的系统或者接收预先生成的广播信号和/或广播相关信息并将这些项目发送给移动终端的服务器。广播信号可利用TV广播信号、无线电广播信号、数据广播信号及其组合等中的任一个来实现。在一些情况下，广播信号还可包括与TV或无线电广播信号组合的数据广播信号。

可根据用于数字广播信号的发送和接收的各种技术标准或广播方法(例如，国际标准化组织(ISO)、国际电工委员会(IEC)、数字视频广播(DVB)、高级电视系统委员会(ATSC)等)中的任一种来对广播信号进行编码。广播接收模块111可利用适合于使用的发送方法的方法来接收数字广播信号。

广播相关信息的示例可包括与广播频道、广播节目、广播事件、广播服务提供商等关联的信息。广播相关信息还可经由移动通信网络来提供，并且在这种情况下由移动通信模块112来接收。

广播相关信息可按照各种格式来实现。例如，广播相关信息可包括数字多媒体广播(DMB)的电子节目指南(EPG)、手持数字视频广播(DVB-H)的电子服务指南(ESG)等。经由广播接收模块111接收的广播信号和/或广播相关信息可被存储在诸如存储器170的合适的设备中。

移动通信模块112可向一个或更多个网络实体发送无线信号和/或从其接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等。这些网络实体形成移动通信网络的一部分，根据移动通信的技术标准或通信方法(例如，全球移动通信系统(GSM)、码分多址(CDMA)、CDMA2000(码分多址2000)、EV-DO(增强型优化语音数据或增强型仅语音数据)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等)来构建所述移动通信网络。经由移动通信模块112发送和/或接收的无线信号的示例包括音频呼叫信号、视频(电话)呼叫信号或者支持文本和多媒体消息的通信的各种格式的数据。

无线互联网模块113被配置为方便无线互联网接入。此模块可从内部或外部连接到移动终端100。无线互联网模块113可根据无线互联网技术经由通信网络发送和/或接收无线信号。

这种无线互联网接入的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(WiBro)、全球微波接入互操作性(WiMAX)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等。无线互联网模块113可根据这些无线互联网技术以及其它互联网技术中的一个或更多个来发送/接收数据。

在一些实施方式中，当根据例如WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LTE、LTE-A等实现作为移动通信网络的一部分的无线互联网接入时，无线互联网模块113执行这种无线互联网接入。因此，互联网模块113可与移动通信模块112协作或用作移动通信模块112。

短距离通信模块114被配置为方便短距离通信。用于实现这些短距离通信的合适的技术包括BLUETOOTHTM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBee)、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线USB(无线通用串行总线)等。短距离通信模块114通常经由无线局域网支持移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端100之间的通信或者移动终端与另一移动终端100(或外部服务器)所在的网络之间的通信。无线局域网的一个示例是无线个域网。

在一些实施方式中，另一移动终端(可类似于移动终端100来配置)可以是能够与移动终端100交换数据(或者与移动终端100协作)的可穿戴设备(例如，智能手表、智能眼镜或头戴式显示器(HMD))。短距离通信模块114可感测或识别可穿戴设备，并允许可穿戴设备与移动终端100之间的通信。另外，当所感测到的可穿戴设备是被验证为与移动终端100进行通信的设备时，例如，控制器180可将在移动终端100中处理的数据的至少一部分经由短距离通信模块114发送给可穿戴设备。因此，可穿戴设备的用户可在可穿戴设备上使用在移动终端100中处理的数据。例如，当在移动终端100中接收到呼叫时，用户可利用可穿戴设备来对该呼叫进行应答。另外，当在移动终端100中接收到消息时，用户可利用可穿戴设备来查看所接收到的消息。

位置信息模块115通常被配置为检测、计算、推导或者标识移动终端的位置。例如，位置信息模块115包括全球定位系统(GPS)模块、Wi-Fi模块或这二者。如果需要，位置信息模块115可另选地或另外地与无线通信单元110的任何其它模块一起工作，以获得与移动终端的位置有关的数据。

作为一个示例，当移动终端使用GPS模块时，可利用从GPS卫星发送的信号来获取移动终端的位置。作为另一示例，当移动终端使用Wi-Fi模块时，可基于与无线接入点(AP)有关的信息来获取移动终端的位置，所述无线接入点(AP)向Wi-Fi模块发送无线信号或者从Wi-Fi模块接收无线信号。

输入单元120可以被配置为允许对移动终端100的各种类型的输入。这些输入的示例包括音频、图像、视频、数据和用户输入。图像和视频输入常常利用一个或更多个相机121来获得。这些相机121可对在视频或图像拍摄模式下通过图像传感器获得的静止画面或视频的图像帧进行处理。经处理的图像帧可被显示在显示单元151上或者被存储在存储器170中。在一些情况下，相机121可按照矩阵配置布置，以使得具有各种角度或焦点的多个图像能够被输入至移动终端100。作为另一示例，相机121可按照立体布置方式来设置，以获取用于实现立体图像的左图像和右图像。

麦克风122通常被实现为允许向移动终端100输入音频。可根据移动终端100中执行的功能来按照各种方式处理音频输入。如果需要，麦克风122可包括各种噪声去除算法以去除在接收外部音频的过程中生成的不期望的噪声。

用户输入单元123是允许用户输入的组件。这种用户输入可使得控制器180能够控制移动终端100的操作。用户输入单元123可包括机械输入元件(例如，位于移动终端100的正面和/或背面或侧面的键、按钮、薄膜开关、滚轮、触合式开关等)或者触敏输入设备等中的一个或更多个。作为一个示例，触敏输入设备可以是通过软件处理显示在触摸屏上的虚拟键或软键、或者设置在移动终端上的触摸屏以外的位置处的触摸键。另一方面，虚拟键或视觉键可按照各种形状(例如，图形、文本、图标、视频或其组合)显示在触摸屏上。

感测单元140通常被配置为感测移动终端的内部信息、移动终端的周围环境信息、用户信息等中的一个或更多个。控制器180通常与感测单元140协作以基于感测单元140所提供的感测来控制移动终端100的操作或者执行与安装在移动终端中的应用程序关联的数据处理、功能或操作。可利用各种传感器中的任何传感器来实现感测单元140，现在将更详细地描述其中一些传感器。

接近传感器141可包括在没有机械接触的情况下，利用电磁场、红外线等来感测是否存在靠近表面的物体或者位于表面附近的物体的传感器。接近传感器141可布置在移动终端被触摸屏覆盖的内侧区域处或触摸屏附近。

例如，接近传感器141可包括透射型光电传感器、直接反射型光电传感器、反射镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等中的任何传感器。当触摸屏被实现为电容型时，接近传感器141可通过电磁场响应于导电物体的靠近而发生的变化来感测指点器相对于触摸屏的接近。在这种情况下，触摸屏(触摸传感器)也可被归类为接近传感器。

本文中常常将提及术语“接近触摸”以表示指点器被设置为在没有接触触摸屏的情况下接近触摸屏的情景。本文中常常将提及术语“接触触摸”以表示指点器与触摸屏进行物理接触的情景。对于与指点器相对于触摸屏的接近触摸对应的位置，这种位置将对应于指点器垂直于触摸屏的位置。接近传感器141可感测接近触摸以及接近触摸模式(例如，距离、方向、速度、时间、位置、移动状态等)。

通常，控制器180对与接近传感器141所感测的接近触摸和接近触摸模式对应的数据进行处理，并使得在触摸屏上输出视觉信息。另外，控制器180可根据对触摸屏上的点的触摸是接近触摸还是接触触摸来控制移动终端100执行不同的操作或者处理不同的数据。

触摸传感器可利用各种触摸方法中的任何触摸方法来感测施加到触摸屏(例如，显示单元151)的触摸。这些触摸方法的示例包括电阻型、电容型、红外型和磁场型等。

作为一个示例，触摸传感器可被配置为将施加到显示单元151的特定部分的压力的变化或者在显示单元151的特定部分处发生的电容的变化转换为电输入信号。触摸传感器还可被配置为不仅感测触摸位置和触摸面积，而且感测触摸压力和/或触摸电容。通常使用触摸物体来对触摸传感器施加触摸输入。典型的触摸物体的示例包括手指、触摸笔、手写笔、指点器等。

当通过触摸传感器感测到触摸输入时，可将对应信号发送给触摸控制器。触摸控制器可对所接收到的信号进行处理，然后将对应数据发送给控制器180。因此，控制器180可感测显示单元151的哪一区域被触摸。这里，触摸控制器可以是独立于控制器180的组件、控制器180及其组合。

在一些实施方式中，控制器180可以根据对触摸屏或者除触摸屏以外设置的触摸键进行触摸的一种触摸物体来执行相同或不同的控制。例如，根据提供触摸输入的物体是执行相同的控制还是不同的控制可基于移动终端100的当前操作状态或者当前执行的应用程序来决定。

触摸传感器和接近传感器可单独实现或者组合实现，以感测各种类型的触摸。这些触摸包括短(或轻敲)触摸、长触摸、多触摸、拖曳触摸、轻拂触摸、缩小触摸、放大触摸、轻扫触摸、悬停触摸等。

如果需要，可实现超声传感器以利用超声波来识别与触摸物体有关的位置信息。例如，控制器180可基于由照度传感器和多个超声传感器感测的信息来计算波生成源的位置。由于光远比超声波快，所以光到达光学传感器的时间远比超声波到达超声传感器的时间短。可利用这一事实来计算波生成源的位置。例如，可以基于作为参考信号的光、利用相对于超声波到达传感器的时间的时间差来计算波生成源的位置。

相机121通常包括相机传感器(CCD、CMOS等)、光电传感器(或图像传感器)和激光传感器中的至少一个。

利用激光传感器实现相机121可允许检测物理对象相对于3D立体图像的触摸。光电传感器可被层压在显示设备上或者与显示设备交叠。光电传感器可被配置为对接近触摸屏的物理对象的移动进行扫描。更详细地讲，光电传感器可包括成行和列的光电二极管和晶体管，以利用根据施加的光的量而变化的电信号来对光电传感器处接收的内容进行扫描。即，光电传感器可根据光的变化来计算物理对象的坐标，从而获得物理对象的位置信息。

显示单元151通常被配置为输出在移动终端100中处理的信息。例如，显示单元151可显示在移动终端100处执行的应用程序的执行画面信息或者响应于执行画面信息的用户界面(UI)和图形用户界面(GUI)信息。

在一些实施方式中，显示单元151可被实现为用于显示立体图像的立体显示单元。典型的立体显示单元可采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等的立体显示方案。

通常，3D立体图像可包括左图像(例如，左眼图像)和右图像(例如，右眼图像)。根据左图像和右图像如何组合成3D立体图像，3D立体成像方法可分为左图像和右图像在帧中上下布置的上下方法、左图像和右图像在帧中左右布置的L至R(左至右或并排)方法、左图像和右图像的片段以拼块(tile)形式布置的棋盘格方法、左图像和右图像按照列或行交替布置的交织方法以及左图像和右图像基于时间交替显示的时间顺序(逐帧)方法。

另外，对于3D缩略图图像，可分别从原始图像帧的左图像和右图像生成左图像缩略图和右图像缩略图，然后将其组合以生成单个3D缩略图图像。通常，术语“缩略图”可用于表示缩小的图像或者缩小的静止图像。生成的左图像缩略图和右图像缩略图可按照与左图像和右图像之间的视差对应的深度利用二者间的水平距离差来显示在画面上，从而提供立体空间感。

可利用立体处理单元将实现3D立体图像所需的左图像和右图像显示在立体显示单元上。立体处理单元可接收3D图像并提取左图像和右图像，或者可接收2D图像并将其改变为左图像和右图像。

音频输出模块152通常被配置为输出音频数据。这些音频数据可从多种不同的源中的任何源获得，使得所述音频数据可从无线通信单元110接收或者可存储在存储器170中。所述音频数据可在诸如信号接收模式、呼叫模式、录制模式、语音识别模式、广播接收模式等的模式期间输出。音频输出模块152可提供与移动终端100所执行的特定功能有关的可听输出(例如，呼叫信号接收音、消息接收音等)。音频输出模块152还可被实现为受话器、扬声器、蜂鸣器等。

触觉模块153可被配置为产生用户感觉、感知或者体验的各种触觉效果。由触觉模块153产生的触觉效果的典型示例是振动。由触觉模块153产生的振动的强度、模式等可通过用户选择或控制器的设定来控制。例如，触觉模块153可按照组合方式或顺序方式输出不同的振动。

除了振动以外，触觉模块153可产生各种其它触觉效果，包括诸如插针排列向接触皮肤垂直移动、通过喷射孔或抽吸开口的空气的喷射力或抽吸力、对皮肤的触摸、电极的接触、静电力等的刺激效果、利用能够吸热或发热的元件再现冷和热的感觉的效果等。

除了通过直接接触传递触觉效果以外，触觉模块153还可被实现为使得用户能够通过诸如用户的手指或手臂的肌肉觉来感觉到触觉效果。可根据移动终端100的特定配置设置两个或更多个触觉模块153。

光学输出模块154可输出用于利用光源的光指示事件的发生的信号。移动终端100中发生的事件的示例可包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程提醒、电子邮件接收、通过应用的信息接收等。

由光学输出模块154输出的信号可被实现为使得移动终端发射单色光或多种颜色的光。例如，随着移动终端感测到用户已查看所发生的事件，信号输出可被终止。

接口单元160用作要与移动终端100连接的外部设备的接口。例如，接口单元160可接收从外部设备发送来的数据，接收电力以传送给移动终端100内的元件和组件，或者将移动终端100的内部数据发送给这种外部设备。接口单元160可包括有线或无线头戴式耳机端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。

所述标识模块可以是存储用于验证移动终端100的使用权限的各种信息的芯片，并且可包括用户标识模块(UIM)、订户标识模块(SIM)、全球订户标识模块(USIM)等。另外，具有标识模块的设备(本文中也称作“标识设备”)可采取智能卡的形式。因此，标识设备可经由接口单元160与移动终端100连接。

当移动终端100与外部托架连接时，接口单元160可用作使得能够将来自托架的电力供应给移动终端100的通道，或者可用作使得能够用来将由用户从托架输入的各种命令信号传送给移动终端的通道。从托架输入的各种命令信号或电力可用作用于识别出移动终端被正确安装在托架上的信号。

存储器170可存储用于支持控制器180的操作的程序，并存储输入/输出数据(例如，电话簿、消息、静止图像、视频等)。存储器170可存储与响应于触摸屏上的触摸输入而输出的各种模式的振动和音频有关的数据。

存储器170可包括一种或更多种类型的存储介质，包括闪存、硬盘、固态盘、硅磁盘、微型多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。移动终端100还可与在诸如互联网的网络上执行存储器170的存储功能的网络存储设备有关地操作。

控制器180通常可控制移动终端100的总体操作。例如，当移动终端的状态满足预设条件时，控制器180可设定或解除用于限制用户相对于应用输入控制命令的锁定状态。

控制器180还可执行与语音呼叫、数据通信、视频呼叫等关联的控制和处理，或者执行模式识别处理以将触摸屏上进行的手写输入或绘画输入分别识别为字符或图像。另外，控制器180可控制那些组件中的一个或其组合，以便实现本文公开的各种示例性实施方式。

电源单元190接收外部电力或提供内部电力，并且供应对包括在移动终端100中的各个元件和组件进行操作所需的适当电力。电源单元190可包括电池，该电池通常是可再充电的或者以可拆卸的方式连接到终端主体以便于充电。

电源单元190可包括连接端口。该连接端口可被配置为接口单元160的一个示例，用于供应电力以对电池进行再充电的外部充电器可电连接到该连接端口。

作为另一示例，电源单元190可被配置为以无线方式对电池进行再充电，而不使用连接端口。在此示例中，电源单元190可利用基于磁感应的电感耦合方法或基于电磁共振的磁共振耦合方法中的至少一种来接收从外部无线电力发送器传送的电力。

本文所述的各种实施方式可利用例如软件、硬件或其任何组合来在计算机可读介质、机器可读介质或类似介质中实现。

现在参照图1b和图1c，参照直板型终端主体描述移动终端100。然而，另选地，移动终端100可按照各种不同配置中的任何配置来实现。这些配置的示例包括手表型、夹子型、眼镜型或者折叠型、翻盖型、滑盖型、旋转型和摆动型(其中两个和更多个主体按照能够相对移动的方式彼此组合)或其组合。本文的讨论将常常涉及特定类型的移动终端(例如，直板型、手表型、眼镜型等)。然而，关于特定类型的移动终端的这些教导将通常也适用于其它类型的移动终端。

移动终端100将通常包括形成终端的外观的壳体(例如，框架、外壳、盖等)。在此实施方式中，壳体利用前壳体101和后壳体102形成。各种电子组件被包含在前壳体101与后壳体102之间所形成的空间中。另外，可在前壳体101与后壳体102之间设置至少一个中间壳体。

显示单元151被示出为设置在终端主体的前侧以输出信息。如图所示，显示单元151的窗口151a可被安装到前壳体101以与前壳体101一起形成终端主体的前表面。

在一些实施方式中，电子组件也可被安装到后壳体102。这些电子组件的示例包括可拆卸电池191、标识模块、存储卡等。后盖103被示出为盖住电子组件，该盖可以可拆卸地连接到后壳体102。因此，当将后盖103从后壳体102拆卸时，安装到后壳体102的电子组件暴露于外。

如图所示，当后盖103连接到后壳体102时，后壳体102的侧表面部分地暴露。在一些情况下，在连接时，后壳体102也可被后盖103完全遮蔽。在一些实施方式中，后盖103可包括开口以用于将相机121b或音频输出模块152b暴露于外。

壳体101、102、103可通过合成树脂的注塑成型来形成，或者可由例如不锈钢(STS)、铝(Al)、钛(Ti)等的金属形成。

不同于多个壳体形成用于容纳组件的内部空间的示例，移动终端100可被配置为使得一个壳体形成内部空间。在此示例中，具有单一体的移动终端100被形成为使得合成树脂或金属从侧表面延伸至后表面。

如果需要，移动终端100可包括用于防止水进入终端主体中的防水单元(未示出)。例如，防水单元可包括位于窗口151a与前壳体101之间、前壳体101与后壳体102之间、或者后壳体102与后盖103之间的防水构件，以在那些壳体连接时将内部空间气密地密封。

图1b和图1c描绘了布置在移动终端上的某些组件。然而，将理解，另选的布置方式也是可能的并且在本公开的教导内。一些组件可被省略或重新布置。例如，第一操纵单元123a可设置在终端主体的另一表面上，第二音频输出模块152b可设置在终端主体的侧表面上。

显示单元151输出在移动终端100中处理的信息。显示单元151可利用一个或更多个合适的显示设备来实现。这些合适的显示设备的示例包括液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、3维(3D)显示器、电子墨水显示器及其组合。

多个显示单元151可以使用能够实现相同或不同的显示技术的两个显示设备来实现。例如，多个显示单元151可被布置在一侧，彼此间隔开或者这些设备可被集成，或者这些设备可被布置在不同的表面上。

显示单元151还可包括触摸传感器，该触摸传感器感测在显示单元处接收的触摸输入。当触摸被输入到显示单元151时，触摸传感器可被配置为感测该触摸，并且控制器180例如可生成与该触摸对应的控制命令或其它信号。以触摸方式输入的内容可以是文本或数值或者是可按照各种模式指示或指定的菜单项。

触摸传感器可按照设置在窗口151a与窗口151a的后表面上的显示器之间的具有触摸图案的膜或者在窗口151a的后表面上直接构图的金属丝的形式来配置。另选地，触摸传感器可与显示器一体地形成。例如，触摸传感器可设置在显示器的基板上或者显示器内。

显示单元151还可与触摸传感器一起形成触摸屏。这里，触摸屏可用作用户输入单元123(参见图1a)。因此，触摸屏可代替第一操纵单元123a的至少一些功能。

第一音频输出模块152a可按照扬声器的形式来实现以输出语音音频、报警音、多媒体音频再现等。

显示单元151的窗口151a通常将包括孔径以允许由第一音频输出模块152a生成的音频通过。一个另选方式是允许音频沿着结构体之间的装配间隙(例如，窗口151a与前壳体101之间的间隙)来释放。在这种情况下，从外观上看，独立地形成以输出音频音的孔不可见或者被隐藏，从而进一步简化移动终端100的外观和制造。

光学输出模块154可被配置为输出用于指示事件发生的光。这些事件的示例包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程提醒、电子邮件接收、通过应用的信息接收等。当用户已查看发生的事件时，控制器可控制光学输出模块154停止光输出。

第一相机121a可处理由图像传感器在拍摄模式或视频呼叫模式下获得的图像帧(例如，静止图像或运动图像)。然后，经处理的图像帧可被显示在显示单元151上或者被存储在存储器170中。

第一操纵单元123a和第二操纵单元123b是用户输入单元123的示例，其可由用户操纵以提供对移动终端100的输入。第一操纵单元123a和第二操纵单元123b还可被共同称作操纵部分，并且可采用允许用户执行诸如触摸、推按、滚动等的操纵的任何触觉方法。第一操纵单元123a和第二操纵单元123b还可采用允许用户执行诸如接近触摸、悬停等的操纵的任何非触觉方法。

图1b将第一操纵单元123a示出为触摸键，但可能的另选方式包括机械键、按键、触摸键及其组合。

在第一操纵单元123a和第二操纵单元123b处接收的输入可按照各种方式来使用。例如，用户可使用第一操纵单元123a来将输入提供给菜单、主屏键、取消、搜索等，用户可使用第二操纵单元123b来提供输入以控制从第一音频输出模块152a或第二音频输出模块152b输出的音量、切换为显示单元151的触摸识别模式等。

作为用户输入单元123的另一示例，后输入单元(未示出)可被设置在终端主体的后表面上。用户可操纵后输入单元以提供对移动终端100的输入。所述输入可按照各种不同的方式来使用。例如，用户可使用后输入单元来提供输入以进行电源开/关、开始、结束、滚动、控制从第一音频输出模块152a或第二音频输出模块152b输出的音量、切换为显示单元151的触摸识别模式等。后输入单元可被配置为允许触摸输入、推按输入或其组合。

后输入单元可被设置为在终端主体的厚度方向上与前侧的显示单元151交叠。作为一个示例，后输入单元可被设置在终端主体的后侧的上端部，使得当用户用一只手抓握终端主体时用户可利用食指容易地操纵后输入单元。另选地，后输入单元可至多被设置在终端主体的后侧的任何位置。

包括后输入单元的实施方式可将第一操纵单元123a的一些或全部功能实现在后输入单元中。因此，在从前侧省略第一操纵单元123a的情况下，显示单元151可具有更大的画面。

作为另一另选方式，移动终端100可包括扫描用户的指纹的手指扫描传感器。然后控制器180可使用由手指扫描传感器感测到的指纹信息作为验证程序的一部分。手指扫描传感器也可被安装在显示单元151中或者被实现在用户输入单元123中。

麦克风122被示出为设置在移动终端100的端部，但其它位置也是可能的。如果需要，可实现多个麦克风，这种布置方式允许接收立体声。

接口单元160可用作允许移动终端100与外部设备进行接口的路径。例如，接口单元160可包括用于连接到另一设备(例如，耳机、外部扬声器等)的连接端子、用于近场通信的端口(例如，红外数据协会(IrDA)端口、蓝牙端口、无线LAN端口等)、或者用于向移动终端100供电的电源端子中的一个或更多个。接口单元160可按照用于容纳外部卡(例如，订户标识模块(SIM)、用户标识模块(UIM)、或者用于信息存储的存储卡)的插槽的形式来实现。

第二相机121b被示出为设置在终端主体的后表面处，并且其图像拍摄方向基本上与第一相机单元121a的图像拍摄方向相对。如果需要，可另选地将第二相机121b设置在其它位置或者使其能够移动，以便具有不同于所示的图像拍摄方向的图像拍摄方向。

第二相机121b可包括沿着至少一条线布置的多个透镜。所述多个透镜还可按照矩阵配置来布置。这些相机可被称作“阵列相机”。当第二相机121b被实现为阵列相机时，可利用多个透镜以各种方式拍摄图像，并且图像具有更好的质量。

如图1c所示，闪光灯124被示出为与第二相机121b相邻。当利用相机121b拍摄目标的图像时，闪光灯124可对目标进行照明。

如图1b所示，可在终端主体上设置第二音频输出模块152b。第二音频输出模块152b可结合第一音频输出模块152a实现立体声功能，并且还可用于实现呼叫通信的免提模式。

用于无线通信的至少一个天线可设置在终端主体上。所述天线可安装在终端主体中或者可由壳体形成。例如，构成广播接收模块111的一部分的天线可收缩到终端主体中。另选地，天线可利用附着到后盖103的内表面的膜或者包含导电材料的壳体来形成。

用于向移动终端100供电的电源单元190可包括电池191，该电池191被安装在终端主体中或者可拆卸地连接到终端主体的外部。电池191可经由连接到接口单元160的电源线来接收电力。另外，电池191可利用无线充电器以无线方式再充电。无线充电可通过磁感应或电磁共振来实现。

后盖103被示出为连接到后壳体102以用于遮蔽电池191，以防止电池191分离并保护电池191免受外部冲击或异物的影响。当电池191能够从终端主体拆卸时，后盖103可以可拆卸地联接到后壳体102。

在移动终端100上可另外设置用于保护外观或者辅助或扩展移动终端100的功能的附件。作为附件的一个示例，可设置用于覆盖或容纳移动终端100的至少一个表面的盖或袋。所述盖或袋可与显示单元151协作以扩展移动终端100的功能。附件的另一示例是用于辅助或扩展对触摸屏的触摸输入的触摸笔。

在下文中，将参照附图描述与可以在具有上述配置的移动终端中实现的控制方法有关的实施方式。对于本领域技术人员来说显而易见的是，本发明可以在不脱离本发明的精神或范围的情况下以特定的形式来实现。

在下文中，图2至图22示出了控制通过移动终端输出至少一个外部设备的内容的显示设备的画面输出形式的方法。显示设备可以使用镜像或投射方法来输出从外部设备接收到的内容。例如，显示设备可以包括含有诸如TV或监视器的显示单元的各种设备。另外，例如，外部设备可以包括各种数字设备，诸如PC、PDA、平板电脑、智能电话和软件狗(dongle)。例如，软件狗可以安装在显示设备中。另外，镜像是指将外部设备的画面传输到显示设备的方法，并且投射(casting)是指将上载到云或在线的内容的互联网地址和回放信息传输到显示设备的方法。在本发明中，假设外部设备的各种内容传输方法(例如镜像或者投射)是可应用的。

在下文中，在本发明中，假设通过镜像或投射将外部设备的内容输出到显示设备上。另外，在本发明中，在通过投射或镜像在显示设备上输出外部设备的画面的状态下，将描述控制输出画面的分割形式的方法。

图2是示出根据本发明实施方式的移动终端的框图。

根据本发明，移动终端可以包括显示单元210、感测单元220、无线通信单元230和控制器240。另外，移动终端中提供的模块不限于此，并且可以进一步包括各种模块。

显示单元210可以显示视觉信息。这里，视觉信息可以包括内容、应用、图像、视频、图标等。另外，显示单元210可以基于控制器240的控制命令在画面上输出视觉信息。在本发明中，显示单元210可以由图1a中的显示单元151来实现。根据本发明的实施方式，显示单元151可以包括第一显示区域和第二显示区域。

感测单元220可以感测用户对移动终端的各种输入以及移动终端的环境，并且传递感测结果，使得控制器240基于感测结果执行操作。在本发明中，感测单元220可以由图1a所示的感测单元140或输入单元120来实现。另外，根据本发明的一个实施方式，感测单元220可以与显示单元210一起实现为触摸屏。根据本发明的实施方式，感测单元220可以感测用户的各种触摸输入。

无线通信单元230可以使用各种协议在移动终端与外部设备之间执行通信，并且发送和接收数据。另外，无线通信单元230可以通过有线或无线方式来访问网络，并且发送和接收诸如内容的数字数据。在本发明中，无线通信单元230可以由图1a的无线通信单元110来实现。根据本发明的一个实施方式，无线通信单元230可以向显示设备200发送用于控制画面输出的控制信号，并且接收关于画面状态的信息。

另外，根据本发明的一个实施方式，无线通信单元可以通过与显示设备的蓝牙通信来发送和接收用于画面控制的数据，并且通过与外部设备的Wi-Fi Direct通信来发送和接收镜像数据。然而，通信方法不限于此，可以使用各种通信方法。

控制器240可以处理数据，控制移动终端的各个单元，并控制各个单元之间的数据发送和接收。在本发明中，控制器240可以由图1a的控制器180来实现。根据本发明的一个实施方式，控制器240可以执行以下控制：基于输入信号来发送用于控制正在显示设备上输出的外部设备的画面的输出的信号。

在本发明的一个实施方式中，由移动终端所执行的操作可以由控制器240来控制。然而，为了方便起见，在附图和以下描述中，这样的操作被描述为由移动终端执行。在下文中，将通过图3至图22来描述在移动终端处控制在显示设备上输出的外部设备的画面的输出的方法。

图3是示出根据本发明实施方式的在移动终端处控制的显示设备的画面的输出的示例的图。

传统上，为了控制显示设备200的画面的输出，用户可以通过设置在显示设备200中的遥控器或通过设置在显示设备200中的按键来执行控制。另外，当显示设备200的画面的输入被控制时，由于需要进行用户或设备的移动，因此需要通过用户主要使用的移动终端100来控制画面的方法。

如图3所示，在本发明中，具有移动终端100的用户通过显示设备200从两个或更多个外部设备接收内容。例如，两个或更多个外部设备可以是流传输设备(streamingdevice)，并且包括Amazon Fire TV、Google Chromecast、Apple TV等。另外，例如，两个或更多个外部设备是数字设备并且包括PC、PDA、软件狗等等。例如，在图3的实施方式中，假设第一外部设备310是Google Chromecast并且第二外部设备320是PC。例如，在图3的实施方式中，用户可以在观看在显示设备200上输出的视频的同时使用PC执行互联网搜索。同时，当软件狗被安装在显示设备中时，显示设备可以通过软件狗自主执行投射。

另外，在本发明中，假设通过在移动终端100上执行画面控制应用程序来执行对显示设备200的画面输出状态的控制。在下文中，将参照图4至图21来描述画面控制应用程序。

在移动终端上执行的画面控制应用程序可以对应于被提供来控制至少一个外部设备的输出形式的应用程序，同时在显示设备上对至少一个外部设备的内容进行镜像。此时，显示设备和移动终端可以使用各种通信方法来发送和接收数据。例如，可以通过Wi-FiDirect通信来执行通过在移动终端上执行的投射应用程序(casting application)的镜像内容。

另外，例如，为了降低功耗，可以通过蓝牙通信来执行通过在移动终端上执行的画面控制应用程序对显示设备的画面控制。

画面控制应用程序的主画面

图4是示出根据本发明实施方式的在移动终端的显示单元上输出的画面控制应用程序的代表性画面的示例的图。

当在移动终端100上执行画面控制应用程序时，图4的实施方式可以对应于作为主画面50输出的代表性画面。在这种情况下，“外部输入”画面被设置为默认画面，并且可以根据设置将另一画面作为代表性画面输出。

首先，“外部输入”画面可以被分成第一显示区域10和第二显示区域20。第一显示区域10对应于示出显示设备上的至少一个外部设备的当前画面输出状态的区域。另外，第二显示区域20对应于指示至少一个外部设备的分割画面选项的区域。

第一显示区域10示出了当前连接到显示设备的外部设备的状态。在图4的实施方式中，显示设备与两个外部设备连接，并且第一显示区域10可以输出第一外部设备区域10a和第二外部设备区域10b。例如，在图4的实施方式中，假设第一外部设备是PC，而第二外部设备是流传输设备。

另外，用户可以通过各个外部设备区域和外部设备的宽高比来控制从显示设备输出的声音。第一外部设备区域10a和第二外部设备区域10b可以分别包括声音图标11和画面控制图标12。另外，可以通过声音图标11的输出形式来显示当前在显示设备上输出的外部设备的声源。如图4所示，显示设备当前可以输出从第一外部设备输出的声音。另外，将参照图11和图12来描述声音输出的源设备的改变。另外，将参照图13和14来描述画面控制图标12。

同时，第一外部设备区域10a和第二外部设备区域10b可以使用各种方法来示出当前正在输出的外部设备。例如，如图所示，如图4所示，连接的外部设备的名称可以在第一外部设备区域10a和第二外部设备区域10b中输出。作为另一示例，连接的外部设备的实际输出画面可以在第一外部设备区域10a和第二外部设备区域10b中输出。也就是说，移动终端可以在第一外部设备区域10a和第二外部设备区域10b中对通过移动终端与显示设备之间的Wi-Fi Direct通信在显示设备上实际输出的画面进行镜像。另外，作为另一示例，可以在第一外部设备区域10a和第二外部设备区域10b中输出所连接的外部设备的输出画面的缩略图图像。第二显示区域20示出了连接到显示设备的至少一个外部设备的分割画面列表。更具体地说，第二显示区域20示出了由外部设备在显示设备上当前输出的画面的分割形式和可输出的分割画面形式的列表。在图4的实施方式中，第一外部设备和第二外部设备的分割画面形式包括总共4个分割画面形式21、22、23和24。另外，显示设备上当前输出的分割画面形式可以是通过图标25来指示。

在本发明中，描述了当连接到显示设备的外部设备的数量是2时可改变的宽高比选项。在第一宽高比选项21中，一个外部设备具有16：9的宽高比，而另一个外部设备具有5：9的宽高比。除了16：9和5：9的宽高比外，其它宽高比也是可以的。另外，在第二宽高比选项22中，两个外部设备以相同的比例输出。在第三宽高比选项23中，一个外部设备以全屏输出，而另一个外部设备作为画中画(PIP)画面输出。另外，在第四宽高比选项24中，只有一个外部设备以全屏输出。将参照图15至图18来描述分割画面形式的改变。

同时，可以在主画面50的上端输出菜单标签30和当前菜单40。将参照图5来描述菜单标签30。另外，当前菜单40对应于“外部输入”。

图5是示出根据本发明实施方式的在移动终端的显示单元上输出的画面控制应用程序的菜单标签的示例的图。

参照图5的(a)，移动终端可以在输出主画面50的状态下感测菜单标签30的触摸输入30。例如，触摸输入30可以对应于菜单标签30的单次触摸输入。另外，触摸输入30可以对应于在主画面50的一个区域中沿着向右方向的轻拂触摸或拖曳触摸输入。

在这种情况下，移动终端可以输出与触摸输入30相对应的菜单列表510。另外，当感测到选择菜单列表510中的一项的输入时，移动终端可以执行用于输出所选择的菜单画面同时菜单列表510消失在左边的控制。另外，如图5的(b)所示，当输出菜单列表510时，主画面可能不操作并因此变暗。

通过画面控制应用程序连接到显示设备

在下文中，图6至图10示出当在移动终端上首次执行画面控制应用程序时控制与显示设备的连接的方法。

图6和图7是示出根据本发明实施方式的在移动终端中执行画面控制应用程序以建立与显示设备的连接的方法的示例的图。

参照图6的(a)所示，在输出画面控制应用程序的第一执行画面的状态下，可以感测到第一输入信号651。这里，第一输入信号651对应于用于确定是否通过画面控制应用程序建立了与显示设备的连接的信号。另外，移动终端可以搜索与第一输入信号651对应的可连接显示设备。此时，移动终端与显示设备之间的无线通信可以通过蓝牙通信来执行，但是不限于此。如图所示。参照图6的(b)，移动终端可以输出示出搜索显示设备的状态的画面。同时，尽管在图6的(b)中未示出，但是如果移动终端的蓝牙通信处于关闭状态，则可以提供弹出消息。

接着，参照图6的(c)，移动终端可以输出可连接显示设备的列表。另外，当感测到用于从可连接显示设备的列表中选择一个设备的第二输入信号652时，移动终端可以尝试与所选择的显示设备建立连接。如图6的(d)所示，移动终端可以输出示出与显示设备建立连接的状态的画面。

参照图7的(a)所示，当移动终端和显示设备之间的连接完成时，移动终端可以输出连接完成画面。此时，当感测到第三输入信号653时，移动终端可以输出主画面50。此时，主画面50可以对应于与被设置为默认菜单的菜单相对应的画面，如上面参照图4所描述的那样。

同时，如图7的(c)所示，当移动终端和显示设备之间的连接完成时，可以显示指示显示设备200的连接完成的消息。

图8是示出根据本发明实施方式的当在移动终端中首次执行画面控制应用程序时发生的错误的示例的图。

更具体地说，图8示出了在搜索图6的(b)的实施方式中的可连接显示设备的同时确定在移动终端上没有安装流传输应用程序的情况。

参照图8的(a)，移动终端可以在搜索可连接显示设备的同时确定流传输应用程序是否安装在移动终端上，因为画面仅在显示设备上输出时通过画面控制应用程序被控制并且通过流传输应用程序来控制实际在显示设备上输出的内容。

另外，在确定安装了流传输应用程序时，移动终端可以执行如图6的(c)所示的用于输出可连接显示设备的列表的控制。同时，在确定没有安装流传输应用程序时，如图8的(b)所示，可以执行使得指示没有安装流传输应用程序的消息被输出并且用于安装流传输应用程序的应用程序安装图标810被输出的控制。

另外，根据用于应用程序安装图标810的输入信号(未示出)，移动终端可以下载并安装流传输应用程序。在这种情况下，移动终端可以返回到搜索图图8的(a)所示的可连接显示设备的步骤。

图9是示出根据本发明实施方式的当在移动终端中首次执行画面控制应用程序时发生的错误的另一示例的图。

更具体地说，图9示出了在图6的(d)的实施方式中建立可连接显示设备中的一个的连接时连接失败的情况。

参照图9的(a)，移动终端可以在一段预定的时间内尝试连接到可连接显示设备并识别连接失败。在这种情况下，如图9的(b)所示，移动终端可以输出指示与显示设备的连接失败的消息。另外，移动终端可以输出用于与显示设备重新连接的重新连接图标910和帮助图标920。

图10是示出根据本发明实施方式的在移动终端处的被连接的显示设备的图。

参照图10的(a)，移动终端可以输出被连接的监视器的列表。另外，当感测到位于右上端的“+”图标的输入信号时，除了被连接的显示设备之外，移动终端还可以连接另一设备。

同时，在图10的(b)中，没有显示设备连接到移动终端。当感测到“添加新设备”的输入信号时，移动终端可以尝试与新的显示设备连接。

通过第一显示区域的当前画面状态控制

在下文中，图11至图14示出了当感测到针对第一显示区域的输入信号时，控制当前正在显示设备上输出的至少一个外部设备的画面的方法。

图11是示出根据本发明实施方式的控制移动终端上的第一显示区域的示例的图。更具体地说，图11的实施方式示出了改变在显示设备上输出的两个外部设备的输出位置的方法。

参照图11的(a)，移动终端可以示出第一外部设备和第二外部设备上显示的内容当前显示在显示设备中的第一外部设备区域10a和第二外部设备区域10b上的状态。例如，在图11的实施方式中，在第一外部设备区域10a中输出PC，在第二外部设备区域10b中输出流传输设备。另外，移动终端可以示出通过扬声器图标11a在显示设备上输出由第一外部设备产生的声音的状态。

此时，移动终端可以感测针对第一外部设备区域10a的第一输入信号1111。这里，第一输入信号1111可以对应于长按触摸输入。如图11的(b)所示，移动终端可以执行用于与第一输入信号1111对应地在第一外部设备区域10a中输出区域指示符1120的控制。例如，区域指示符1120指示多个外部设备区域中的一个被选择并且可以在外部设备区域和与其靠近的区域中被输出。

另外，移动终端可以在第一外部设备区域10a中输出区域指示符1120的状态下感测第二输入信号1112。这里，第二输入信号1112可以对应于拖曳触摸输入。如图11的(c)所示，移动终端可以将区域指示符1120的位置移动到与第二输入信号1112相对应的第二外部设备区域10b。

也就是说，如图11的(d)所示，流传输设备的画面可以在第一外部设备区域10a中输出，并且PC的画面可以在第二外部设备区域10b中输出。另外，移动终端可以将用于改变第一外部设备和第二外部设备的输出位置的控制信号发送到显示设备。

另外，如图11的(d)所示，当在预定时间内没有感测到针对区域指示符1120的输入信号时，移动终端可以移除区域指示符1120。

因此，用户可以通过移动终端容易地改变正在显示设备上输出的外部设备的输出位置。

图12是示出根据本发明实施方式的控制移动终端上的第一显示区域的另一示例的图。更具体地说，图12的实施方式示出了改变从显示设备输出的声音的源设备的方法。

参考图12的(a)，移动终端示出了当前通过显示设备输出在第一外部设备区域中输出的外部设备的声音的状态。更具体地说，移动终端可以示出以包括在第一外部设备区域10a中的声音指示符11a的形式当前向用户输出的PC的声音的状态。

同时，移动终端可以感测包括在第二外部设备区域10b中的针对声音指示符11b的输入信号1210。例如，输入信号1210可以对应于单触摸输入。在这种情况下，如图12的(b)所示，移动终端可以执行用于通过显示设备输出与输入信号1210相对应的第二外部设备的声音的控制。另外，移动终端可以改变与输入信号1210相对应的声音指示符11a和11b的图标形状以指示第二外部设备的声音正被输出。

图13是示出根据本发明实施方式的控制移动终端上的第一显示区域的另一示例的图。更具体地说，图13的实施方式示出了改变正在显示设备上输出的外部设备的输入方法的方法。

参照图13的(a)，移动终端可以感测用于在第一外部设备区域10a中输出的针对画面控制图标12的第一输入信号1311。例如，第一输入信号1311对应于单触摸输入。在这种情况下，如图13的(b)所示，移动终端可以输出画面选项弹出框1320。在本发明中，画面选项弹出框1320包括输入改变菜单和宽高比改变菜单，但不限于此，并且可以包括各种菜单。

另外，参照图13的(b)，画面选项弹出框1320可以分别在输入改变菜单和宽高比菜单中输出当前输入和当前宽高比。例如，通过“HDMI 1”执行第一外部设备的当前输入，并且当前宽高比对应于“原始比例”。

另外，移动终端可以感测针对输入改变菜单的第二输入信号1312。例如，第二输入信号1312对应于单触摸输入。在这种情况下，如图13中的(c)所示，移动终端可以输出画面输入改变弹出框1330。在本发明中，画面输入改变弹出框1330包括HDMI(高清多媒体接口)1菜单、HDMI 2菜单、DVI(数字视觉接口)菜单和DP(显示端口)菜单，但是不限于此并且可以包括各种监视器电缆端子。

另外，虽然在图13中未示出，但是当生成用于画面输入改变弹出框1330中的一个菜单的输入信号时，移动终端可以执行用于改变针对显示设备的第一外部设备的输入方法的控制。另外，虽然在图13中未示出，但是当感测到第二外部设备区域10b的画面选项弹出框中的用于输入方法改变菜单的输入信号时，移动终端可以执行用于在显示设备上改变针对第二外部设备的输入方法的控制。

图14是示出根据本发明实施方式的控制移动终端上的第一显示区域的另一示例的图。更具体地说，图14的实施方式示出了改变在显示设备上输出的外部设备的宽高比的方法。在图14的实施方式中，图13的重复描述将被省略。

参照图14的(a)，移动终端可以感测在第一显示区域10a中输出的针对画面控制图标12的第一输入信号1411。另外，移动终端可以输出与第一输入信号1411相对应的画面选项弹出框1420。

另外，参照图14的(b)，移动终端可以感测用于宽高比改变菜单的第二输入信号1412。在这种情况下，如图14的(c)所示，移动终端可以输出宽高比改变弹出框1430。在本发明中，宽高比改变弹出框1430包括自动宽高比菜单、全屏(扩展)和全屏(剪切)，但是不限于此，并且可以包括各种宽高比菜单。

另外，虽然在图14中未示出，但是当感测到用于宽高比改变弹出框1430中的一个菜单的输入信号时，移动终端可以改变在显示设备上输出的第一外部设备的宽高比。另外，虽然在图14中未示出，但是当感测到用于第二外部设备区域10b的画面选项弹出框的宽高比改变菜单的输入信号时，移动终端可以执行用于改变显示设备上的第二外部设备的宽高比的控制。

通过分割画面列表的分割画面控制

在下文中，图15至图18示出了当感测到针对第二显示区域的输入信号时控制当前在显示设备上输出的至少一个外部设备的画面的输出的方法。

图15是示出根据本发明实施方式的控制移动终端上的第二显示区域的示例的图。更具体地说，图15的实施方式示出了改变在显示设备上输出的至少一个外部设备的分割画面比例的方法。

参照图15的(a)，移动终端可以在第二显示区域20中输出分割画面列表。另外，当前在分割画面列表的显示设备上输出的分割画面形式可以通过图标25来指示。参照图15，可以看出，当前连接到移动终端的显示设备被设置为第二分割画面选项22，其中PC的画面和流传输设备的画面以1：1的比例输出。

此时，移动终端可以感测针对第一宽高比选项21的第一输入信号1511。例如，第一输入信号1511对应于单触摸输入。在这种情况下，如图15的(b)所示，对应于第一输入信号1511，可以根据第一宽高比选项21来调整并输出第一显示区域中的第一外部设备区域10a和第二外部设备区域10b的宽高比。另外，移动终端可以将控制信号发送到显示设备以便以第二宽高比选项21输出显示设备。

同时，移动终端可以感测针对第四宽高比选项24的第二输入信号1512。例如，第二输入信号1512对应于单触摸输入。另外，第四宽高比选项24对应于全屏上的多个外部设备中的一个的输出。在这种情况下，参照图15的(c)，可以执行控制以使得与第二输入信号1512相对应地输出画面选择弹出框1520。画面选择弹出框1520可以包括连接到显示设备的多个外部设备的列表。用户可以从在画面选择弹出框1520中输出的外部设备的列表中选择要在全屏上使用的设备。

另外，在上述实施方式中，第一输入信号1511和第二输入信号1512的示例可以被独立地执行。

图16是示出根据本发明实施方式的控制移动终端上的第二显示区域的另一示例的图。更具体地说，图16的实施方式示出了当多个外部设备的画面在显示设备中没有以相同的比例分割时，判定具有小尺寸的外部设备的画面的位置或尺寸的方法。

参照图16的(a)，移动终端可以执行用于在显示设备上以相同的比例输出两个外部设备的画面的控制。此时，移动终端可以感测针对宽高比选项列表的第三宽高比选项23的第一输入信号1611。例如，第一输入信号1611可对应于长按触摸输入。

在这种情况下，如图16的(b)所示，编辑图标1620可以与第一输入信号1611相对应地在第三宽高比选项23中输出。另外，当感测到针对编辑图标1620的第二输入信号1612时，移动终端可以执行用于输出编辑画面1630的控制。此时，移动终端可以输出作为较低层或较低深度的编辑画面1630，而不是在主画面50上。另外，将参照图17和图18来描述在编辑画面1630上的PIP画面的尺寸和位置的改变。

图17是示出控制图16的实施方式中的第二显示区域中的宽高比选项输出的示例的图。更具体地说，图17的实施方式示出了在编辑画面1630上控制画面尺寸的方法。

参照图17的(a)，移动终端可以感测包括在针对编辑画面1630中的画面1710的拖放输入。更具体地说，移动终端可以感测开始于画面1710的编辑区域中的拖放输入。在这种情况下，对应于拖放输入的放开位置，移动终端可以执行用于增加画面1710的尺寸的控制。

同时，移动终端可以预先设置画面1710的可控尺寸。例如，如图17的(b)所示，移动终端可以将画面1710的尺寸设置为三种尺寸1711、1712和1713。另外，根据图17的(a)的用户输入，移动终端可以控制画面1710具有三种尺寸中的一种。然而，与图17的实施方式不同，移动终端可以设置各种尺寸。

图18是示出在图16的实施方式中控制第二显示区域中的宽高比选项输出的示例的图。更具体地说，图18的实施方式示出了控制编辑画面1630上的画面位置的方法。

参照图18的(a)，移动终端可以感测针对被包括在编辑画面1630中的画面1810的输入信号1820。例如，如果输入信号是拖曳触摸和放开输入1820a，则移动终端可以执行用于在指定的位置输出画面1810的预览1811的控制。另外，在输出预览1811之后，移动终端可以移动并与放开位置相对应地输出画面1810。作为另一示例，如果输入信号是轻拂输入1820b，则移动终端可以立即移动并输出画面1810而不提供预览。

同时，移动终端可以预先设置画面1810的可移动位置。例如，如图18的(b)所示，移动终端可以将画面1810的位置设置为六个位置。与图18的实施方式不同。如图18所示，移动终端可以设置各种位置。

画面控制应用程序的其它菜单

图19是示出根据本发明实施方式的移动终端的画面控制应用程序的帮助菜单的图。

当在图5中感测到用于帮助画面控制应用程序的菜单标签的输入信号时，移动终端可以输出帮助画面。另外，如图19的(a)所示，当感测到针对帮助列表中的一项的输入信号1910时，移动终端可以输出详细的手册。

图20是示出根据本发明实施方式的移动终端的画面控制应用程序的相关程序菜单的图。

当感测到参照图5描述的画面控制应用程序的菜单标签的相关程序的输入信号时，移动终端可以输出相关的节目画面。另外，如图20所示，当通过分割画面在显示设备上输出多个画面时，移动终端可以输出用于控制的程序作为相关程序。

图21是示出根据本发明实施方式的移动终端的画面控制应用程序的设置菜单的图。

当感测到参照图5描述的画面控制应用程序的菜单标签的输入信号时，移动终端可以输出设置画面。另外，如图21所示，当感测到用于设置列表中的一项的输入信号2110时，移动终端可以输出详细的设置菜单。

图22是示出根据本发明实施方式的控制移动终端的方法的图。图22中的步骤可以由图2中的移动终端的控制器240来控制。

首先，移动终端可以执行以下控制：在第一显示区域中输出连接到显示设备的至少一个外部设备的当前分割画面状态并且在第二显示区域中输出至少一个外部设备的分割画面选项(S2210)。如以上参照图4所述的那样，分割画面状态可以包括外部设备区域、声音区域和画面选项区域。另外，画面选项区域可以包括输入改变菜单和宽高比菜单。

接下来，移动终端可以感测针对第一显示区域或第二显示区域的输入信号(S2220)。例如，输入信号可以包括单标签触摸、双触摸、拖放触摸、轻拂触摸、长按触摸等等。

在步骤S2220中，当在第一显示区域中感测到输入信号时，移动终端可以控制在显示设备上输出的至少一个外部设备的输出位置、声源、输入源和宽高比中的至少一个(S2230)。如以上参照图11所述的那样，当感测到针对外部设备区域的拖曳触摸输入时，移动终端可改变并输出第一外部设备区域和第二外部设备区域的位置。另外，如上参考图12所述的那样，当感测到针对第二外部设备的声音区域的输入信号时，移动终端可以将声音源设备改变为第二外部设备。

同时，当在步骤S2220中在第二显示区域中感测到输入信号时，移动终端可以控制在显示设备上输出的至少一个外部设备的分割画面形式(S2240)。如以上参照图15所述的那样，当感测到选择分割画面选项中的一个的输入时，移动终端可根据所选择的分割画面选项改变并输出在第一显示区域中输出的第一外部设备区域和第二外部设备区域的分割画面。另外，移动终端可以根据所选择的分割画面选项向显示设备发送用于控制外部设备的画面的输出的信号。

本发明可以被实现为可以被写入到计算机可读记录介质的代码并且因此可以被计算机读取。计算机可读记录介质可以是其中可以以计算机可读方式存储数据的任何类型的记录设备。计算机可读记录介质的示例包括硬盘驱动器(HDD)、固态驱动器(SSD)、硅磁盘驱动器(SDD)、ROM、RAM、CD-ROM、磁带、软盘、光学数据存储器和载波(例如，通过互联网的数据传输)。另外，计算机可以包括终端的控制器180。因此，上述示例性实施方式在所有方面均被解释为例示性而非限制性的。本发明的范围应该由所附权利要求书及其合法等同物来确定，而不是由以上描述来确定，并且落入所附权利要求的含义和等同范围内的所有变化都旨在被包含在其中。

工业适用性

本发明在工业上可应用于移动终端并且可反复应用。

Claims (10)

1.一种移动终端，所述移动终端包括：

显示单元，所述显示单元包括第一显示区域和第二显示区域；

无线通信单元，所述无线通信单元被配置为向显示设备发送信号和从所述显示设备接收信号；以及

控制器，所述控制器被配置为执行以下控制：在所述第一显示区域中输出在所述显示设备上输出的至少一个外部设备的当前分割画面状态，并且在所述第二显示区域中输出针对所述至少一个外部设备的至少一个分割画面选项。

2.根据权利要求1所述的移动终端，其中，所述第一显示区域的当前分割画面状态包括以下区域中的至少一个：指示所述至少一个外部设备在所述显示设备上的输出状态的外部设备区域、指示所述显示设备的声源的声音区域以及所述至少一个外部设备的画面选项区域。

3.根据权利要求2所述的移动终端，其中，当感测到针对所述外部设备区域的输入信号时，所述控制器执行以下控制：通过所述无线通信单元向所述显示设备发送用于改变所述至少一个外部设备的输入位置的控制信号。

4.根据权利要求2所述的移动终端，其中，当感测到针对所述声音区域的输入信号时，所述控制器执行以下控制：通过所述无线通信单元发送用于改变所述显示设备中的声源设备的控制信号。

5.根据权利要求2所述的移动终端，其中，当感测到针对所述画面选项区域的输入信号时，所述控制器执行以下控制：输出与所述输入信号被感测到的外部设备区域对应的外部设备的输入改变菜单和宽高比菜单。

6.根据权利要求5所述的移动终端，其中，当感测到针对所述宽高比菜单的输入信号时，所述控制器执行以下控制：通过所述无线通信单元向所述显示设备发送用于改变所述至少一个外部设备的宽高比的控制信号。

7.根据权利要求2所述的移动终端，其中，当感测到用于选择所述至少一个分割画面选项中的一个的输入信号时，所述控制器执行以下控制：通过所述无线通信单元向所述显示设备发送用于改变所述至少一个外部设备的分割画面的控制信号。

8.根据权利要求1所述的移动终端，其中，所述控制器执行以下控制：在对所述至少一个外部设备在所述显示设备上的内容进行镜像的同时输出用于控制所述至少一个外部设备的输出形式的所述第一显示区域和所述第二显示区域。

9.根据权利要求1所述的移动终端，其中，所述无线通信单元使用蓝牙方法向所述显示设备发送画面控制信号及从所述显示设备接收所述画面控制信号。

10.一种控制移动终端的方法，所述方法包括以下步骤：

在第一显示区域中输出连接到显示设备的至少一个外部设备的当前分割画面状态，并且在第二显示区域中输出所述至少一个外部设备的分割画面选项；

当感测到针对所述第一显示区域的输入信号时，向所述显示设备发送在所述显示设备上输出的所述至少一个外部设备的输出位置、声源、输入源和宽高比中的至少一个的控制信号；以及

当感测到针对所述第二显示区域的输入信号时，向所述显示设备发送用于控制在所述显示设备上输出的所述至少一个外部设备的分割画面形式的信号。