CN108845782B - 连接移动终端和外部显示器的方法和实现该方法的装置 - Google Patents

连接移动终端和外部显示器的方法和实现该方法的装置 Download PDF

Info

Publication number
CN108845782B
CN108845782B CN201810688583.XA CN201810688583A CN108845782B CN 108845782 B CN108845782 B CN 108845782B CN 201810688583 A CN201810688583 A CN 201810688583A CN 108845782 B CN108845782 B CN 108845782B
Authority
CN
China
Prior art keywords
screen
display device
mobile terminal
window
external display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810688583.XA
Other languages
English (en)
Other versions
CN108845782A (zh
Inventor
姜到演
朴成振
李光林
李相珍
B.朴
林洙赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130003465A external-priority patent/KR20140034025A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108845782A publication Critical patent/CN108845782A/zh
Application granted granted Critical
Publication of CN108845782B publication Critical patent/CN108845782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities
    • H04W8/24—Transfer of terminal data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/22—Detection of presence or absence of input display information or of connection or disconnection of a corresponding information source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/16—Details of telephonic subscriber devices including more than one display unit

Abstract

本发明提供了一种方法和装置，用于控制桌面可视化功能，每个显示设备窗口布局提供功能，以及基于用户输入的外部显示设备利用功能。

Description

连接移动终端和外部显示器的方法和实现该方法的装置
本申请是申请日为2013年9月10日、申请号为201310638141.1、发明名称为“连接移动终端和外部显示器的方法和实现该方法的装置”的发明专利申请的分案申请。
技术领域
本公开涉及移动终端的功能运行方法和装置。更具体地，本公开涉及管理移动终端和外部显示装置之间的连接的方法和装置。
背景技术
本公开适用于正交频分多址(OFDMA)系统，例如第三代合作计划长期演进(3GPPLTE)和其他类似系统。
随着数字技术的进步，涌现出能够通信和处理数据的各种类型的移动终端(例如，蜂窝通信终端，个人数字助理(PDA)，电子记事本，智能电话，平板个人电脑，等等)。近来，移动终端演变成为集成了符合移动融合趋势的各种功能的多功能设备。例如，最新的移动终端集成了各种功能，包括语音和视频电话功能，包括短消息服务(SMS)多媒体消息服务(MMS)的消息功能，以及电子邮件，导航功能，文档编辑(例如，备忘录和文字处理器)功能，图片捕捉功能，广播回放功能，多媒体(例如，视频和音频)回放功能，因特网接入功能，信使功能，社交网络服务(SNS)功能，和/或之类等等。
最新的移动终端支持外部输出功能，能够连接到用于在其上显示移动终端的数据的外部显示设备(例如，液晶显示(LCD)器)。如果外部显示设备连接到移动终端，则移动终端将终端的屏幕传送到外部显示设备(例如，当移动终端运行在克隆模式时)。此外，移动终端可以仅传送当前运行在移动终端上的特定功能(或应用)的运行屏幕(例如，根据运动图片回放的视频数据)(例如，当移动终端运行在仅视频模式时)。
然而，上述方法具有这样的缺陷：当外部显示设备连接到移动终端时，难以有效利用不同大小的屏幕。例如，根据相关技术的方法功能上限于克隆模式和仅视频模式。
此外，根据相关技术的方法仅支持关于由移动终端显示的屏幕的一个布局，以使得外部显示设备以和移动终端相同的布局来显示屏幕。由此，根据相关技术的方法仅仅放大了相同的布局以适合外部显示设备的屏幕大小。如上所述，根据相关技术的方法具有这样的缺陷：当移动终端连接到外部显示设备时，难以有效使用不同大小的显示。
此外，根据相关技术的双显示系统由于需要额外的外部输入设备而具有成本的缺陷。当然，可以用移动终端的输入单元来取代外部输入设备。然而，在移动终端的输入单元是触摸屏的情况下，难以使用触摸屏来控制外部显示设备。
给出上述信息作为背景信息，仅用于帮助理解本公开。没有做出确定，也没有做出认定任何上述可用作关于本公开的现有技术。
发明内容
本公开的方面是为了解决至少上述问题和/或缺点以及提供至少下述的优点。由此，本公开的一个方面提供了能在桌面环境中通过移动终端和外部显示设备的协作而操作的移动终端的桌面可视化方法和装置。
本公开的一个方面提供了在移动终端的单系统中能够通过外部显示设备实现桌面窗口环境的移动终端的桌面可视化方法和装置。
本公开的另一个方面提供了能够支持大量信息和用户的各种用户体验的移动终端的桌面可视化方法和装置。
本公开的另一个方面提供了能够通过实现在移动终端中支持桌面窗口环境的优化环境来改善用户舒适度和移动终端可用性的智能服务提供方法和装置。
本公开的另一个方面提供了能够显示具有不同窗口布局的区别屏幕的移动终端的每个显示设备的窗口布局提供方法和装置。
本公开的另一个方面提供了对区别的显示设备能够支持不同窗口布局屏幕的移动终端的每个显示设备的窗口布局提供方法和装置。
本公开的另一个方面提供了移动终端的每个显示设备的窗口布局提供方法和装置，其能根据显示设备输出运行在移动终端上的应用的运行屏幕，为区别的显示设备支持具有不同窗口布局的屏幕显示。
本公开的另一个方面提供了移动终端的每个显示设备的窗口布局提供方法和装置，其能够为用户提供相应于不同显示设备的各种窗口布局以及根据显示设备的屏幕大小支持各种信息的显示。
本公开的另一个方面提供了移动终端的每个显示设备的窗口布局提供方法和装置，其能够通过实现支持最适合于各个显示器的屏幕显示的优化环境来实现改善用户舒适度以及移动终端可用性，特别是当应用运行在移动终端上时。
本公开的另一个方面提供了使用外部显示设备而不用额外的外部输入设备为移动终端用户提供双显示模式的方法。
本公开的另一个方面提供了使用移动终端的触摸屏和外部显示设备为移动终端用户提供双显示模式的方法。
根据本公开的一个方面，提供了使用移动终端和外部显示设备的功能控制方法。所述功能控制方法包括检测外部显示设备的连接，向外部显示设备输出默认桌面窗口屏幕，接收控制输入，当控制输入是用于控制外部显示设备的桌面区域的外部输入时，控制所述桌面区域的屏幕显示，以及当控制输入是用于控制移动终端的默认区域的内部输入时，控制该默认区域的屏幕显示。
根据本公开的另一个方面，提供了使用移动终端和外部显示设备的功能控制方法。所述功能控制方法包括检测移动终端和外部显示设备之间的连接，运行桌面模式，通过外部显示设备显示用于桌面模式的默认桌面窗口屏幕，以及通过外部显示设备在桌面窗口环境中控制桌面可视化功能。
根据本公开的另一个方面，提供了一种移动终端。所述移动终端包括接口单元，被配置为提供用于连接外部显示设备和外部输入设备的有线接口和无线接口中的至少一个；触摸屏，被配置为显示窗口屏幕，该窗口屏幕具有用于移动终端的默认区域的布局以及用于外部显示设备的桌面区域的桌面环境控制的虚拟输入设备，并且该触摸屏被配置为使用该虚拟输入设备接收控制输入；以及控制器，被配置为，当与外部显示设备互操作时，控制桌面可视化以显示相应于桌面环境通过外部显示装置和处理操作在移动终端中生成的数据和应用。
根据本公开的另一个方面，提供了一种非暂时性计算机可读存储介质。所述非暂时性计算机可读存储介质记录了程序，当运行该程序时，造成至少一个处理器执行方法，包括：当移动终端连接到外部显示设备时，运行桌面模式；通过外部显示设备显示用于桌面模式的默认桌面窗口屏幕；以及通过外部显示设备在桌面窗口环境中控制桌面可视化功能。
根据本公开的另一个方面，提供了一种使用移动终端和外部显示设备的屏幕显示方法。所述屏幕显示方法包括：检测随应用的运行发生的窗口创建事件；响应于窗口创建事件确定用于显示窗口的显示设备；获得用于显示所述窗口的显示设备的资源；确定与所获得的资源相应的显示设备的窗口布局策略；以根据确定的窗口布局策略的布局在显示设备上创建窗口；以及通过窗口显示应用的运行屏幕。
根据本公开的另一个方面，提供了一种使用移动终端和外部显示设备的屏幕显示方法。所述屏幕显示方法包括：当连接到外部设备时，在移动终端中获得外部显示设备的资源；确定相应于所获得的资源的窗口布局策略；向外部显示设备输出根据所述窗口布局策略确定的桌面窗口屏幕；根据所述窗口布局策略在外部显示设备处显示所述桌面窗口屏幕；当检测到用于运行应用的用户输入时，在移动终端中确定用于应用的窗口创建区域；当窗口创建区域是外部显示设备时，确定用于外部显示设备的窗口布局策略；根据所确定的窗口布局策略向外部显示设备输出应用运行屏幕；以及在外部显示设备中，以根据所述窗口布局策略的布局显示应用运行屏幕。
根据本公开的另一个方面，提供了一种为每个显示设备提供窗口布局的方法。所述方法包括：为显示设备配置窗口布局策略；当响应于应用运行请求创建了窗口时，确定将应用于所述窗口的窗口布局策略；以及以根据所确定的窗口布局策略的布局创建窗口。
根据本公开的另一个方面，提供了一种根据每个显示设备布局策略显示屏幕的系统。所述系统包括：移动终端，其支持与外部显示设备有关的多屏幕功能，并且移动终端输出根据窗口布局策略格式化的窗口，所述窗口布局策略相应于所连接的外部显示设备的资源；以及外部显示设备，其以根据所述窗口布局策略的布局显示移动终端输出的窗口。
根据本公开的另一个方面，提供了一种移动终端。所述移动终端包括：接口单元，被配置为提供用于连接外部显示设备的有线接口和无线接口中的至少一个；显示单元，被配置为根据预配置的窗口布局策略显示屏幕；以及控制器，被配置为配置显示设备的窗口布局策略，以在响应于应用运行请求创建窗口时，根据预配置窗口布局策略确定将应用于所述窗口的窗口布局策略，根据所述窗口布局策略在布局中创建窗口，以及控制外部显示设备显示所述窗口。
根据本公开的另一个方面，提供了一种非暂时性计算机可读存储介质。所述非暂时性计算机可读存储介质记录了程序，当运行该程序时，造成至少一个处理器执行方法，包括：当运行应用时检测窗口创建事件；响应于所述窗口创建事件确定用于显示窗口的显示设备；获得用于显示窗口的显示设备的资源；确定相应于所获得资源的显示设备的窗口布局策略；以根据确定的窗口布局策略的布局在显示设备中创建窗口；以及通过窗口显示应用的运行屏幕。
根据本公开的另一个方面，提供了处理移动终端上做出的用户输入的方法，所述移动终端配备了触摸屏，并连接到外部显示设备。所述方法包括：在触摸屏上检测用户输入；确定用户输入是否和外部显示设备的第一屏幕相关；以及当用户输入和第一屏幕相关时，响应于用户输入执行和第一屏幕相关的功能，并且当用户输入和第一屏幕不相关时，响应于用户输入执行关于触摸屏的第二屏幕的功能。
根据本公开的另一个方面，提供了一种移动终端。所述移动终端包括：接口单元，被配置为通过有线链路连接到外部显示设备；无线通信单元，被配置为通过无线链路连接到外部显示设备；触摸屏，包括触摸面板和显示面板；以及控制器，被配置为控制接口单元、无线通信单元和触摸屏，其中所述控制器检测用户输入，确定用户输入是否和外部显示设备的第一屏幕相关，以及当用户输入和第一屏幕相关时，响应于用户输入执行和第一屏幕相关的功能，并且当用户输入和第一屏幕不相关时，响应于用户输入执行和触摸屏的第二屏幕相关的功能。
由下面结合所附附图公开了本发明各种实施例的详细描述，对本领域技术人员而言，本公开的其他方面，优点和显著特点将变得显而易见。
附图说明
由下述结合附图的描述，本公开的特定实施例的上述和其他方面，特征，和优点将更为明显，其中：
图1是示出根据本公开的一个实施例的移动终端的配置的示意图；
图2是示出根据本公开的一个实施例的外部设备到移动终端的连接的示意图；
图3是示出根据本公开的一个实施例的、在显示系统中的移动终端和外部显示设备之间互操作的信号流图；
图4和5是示出根据本公开的一个实施例的移动终端和外部显示设备的显示的图；
图6和7是示出根据本公开的一个实施例的用于解释输入操作的、移动终端和外部显示设备的显示的图；
图8,9,10,11,和12是示出根据本公开的一个实施例的用于解释桌面可视化操作的、移动终端和外部显示设备的屏幕显示的图；
图13是示出根据本公开的一个实施例的移动终端的桌面可视化方法的流程图；
图14是示出根据本公开的一个实施例的移动终端的桌面可视化方法的流程图；
图15是示出根据本公开的一个实施例的移动终端的桌面可视化方法的流程图；
图16是示出根据本公开的一个实施例的移动终端的每个显示设备窗口布局提供方法的流程图；
图17是示出根据本公开的一个实施例的移动终端的每个显示设备窗口布局管理方法的流程图；
图18是示出在根据本公开的一个实施例的方法中互操作的移动终端和外部显示设备之间的信号流的信号流图；
图19A,19B,19C,和19D是示出根据本公开的一个实施例的、用于解释移动终端和外部显示设备之间的互操作的、移动终端和外部显示设备的屏幕显示的图；以及
图20是示出根据本公开的一个实施例的、用于处理用户输入的方法的流程图；
图21是示出根据本公开的一个实施例的、用于解释在外部显示设备上移动指针的过程的软件架构的图；
图22是示出根据本公开的一个实施例的、用于解释在外部显示设备上移动指针的过程的移动终端和外部显示设备的屏幕显示的图；
图23是示出根据本公开的一个实施例的、用于解释改变显示在外部显示设备上的图像大小的过程的软件架构的图；
图24是示出根据本公开的一个实施例的、用于解释改变显示在外部显示设备上的图像大小的过程的、移动终端和外部显示设备的屏幕显示的图。
遍及附图，使用相同的参考符号来表示相同的元件。
具体实施方式
提供参考附图的下面的描述，以帮助全面理解权利要求及其等同物定义的本公开的各个实施例。包括各个具体的细节以帮助理解，但这些细节应仅仅理解为示例性的。由此，本领域普通技术人员应该认识到不脱离本公开的范围和精神，可以对此处描述的各个实施例做出各种变化和改变。此外，为了清楚和简明起见，可能省略了对公知的功能和结构的描述。
在下面的描述中使用的术语和词语不仅仅限于其字面含义，而仅仅是发明人用于使得能够清楚和一致的理解本公开。由此，对本领域技术人员显而易见的是，仅仅为了阐释的目的而提供了本公开的各个实施例的下面的描述，而不是为了限制所附权利要求和其等同物所定义的本公开。
应该理解，单数形式的“一”，“一个”和“所述”包括复数形式，除非上下文另有清楚规定。因此，例如，所指的“一个元件表面”包括表示一个或多个这样的表面。
本公开涉及用于实现移动终端的桌面可视化的方法和装置。根据本公开的各个实施例，桌面可视化能够允许移动终端和外部显示设备互操作，以渲染(render)处理的数据和应用，因此适合相应于外部显示设备的桌面窗口环境。
在下面的描述中，移动终端可以是任何类型的信息通信设备、多媒体设备、及其使用应用进程(AP)的等同体，图形处理单元(GPU)，以及中央处理单元(CPU)。例如，移动终端可以是利用与通信系统相应的各种通信协议操作的任一蜂窝通信终端，平板个人电脑(PC)，智能电话，数字照相机，便携式多媒体播放器(PMP)，媒体播放器(例如，MP3播放器)，手持电子书，便携式游戏机，个人数字助理(PDA)等等。此外，根据本公开的各个实施例，可以将基于手势的控制方法应用于各个显示设备，诸如数字电视(TV)，数字标牌(DS)，大型显示器(LFD)，笔记本电脑，以及桌面电脑，和/或之类等等。
可以利用支持到外部显示设备的连接的移动终端以及显示桌面窗口环境的外部设备来实现本公开的各个实施例。本公开的各个实施例可进一步包括能够操纵在连接到移动终端的外部显示设备上呈现的窗口的输入设备(例如，有线/无线键盘，外部鼠标，等等)。
本公开的各个实施例涉及能够显示对于各个显示设备具有不同布局的屏幕的、移动终端的每个显示设备窗口布局提供方法和装置。特别地，根据本公开的各个实施例，当至少一个外部显示设备连接到移动终端时，以用于移动终端的显示单元和外部显示设备的窗口不同布局来显示同一个应用的运行屏幕。
根据本公开的各个实施例，可以基于其各自的资源(例如，设备类型和屏幕大小)来区分显示设备，并且可以为每个显示设备配置窗口布局策略。根据本公开的各个实施例，所述窗口布局策略可以是用于取决于显示设备的资源(特别地，屏幕大小)来确定运行屏幕的窗口布局的信息。
可以利用支持多屏幕功能和到外部显示设备的连接的移动终端，以及根据移动终端所确定的窗口布局策略显示运行在移动终端上的应用的运行屏幕的外部显示设备来实现根据本公开的各实施例的显示方法。本公开的各个实施例可以包括为每个显示设备配置窗口布局策略，确定每个显示设备的窗口布局，以及根据所述窗口布局策略为每个显示设备应用窗口布局。
例如，根据本公开的各个实施例，显示方法可以根据显示设备的资源来辨别显示设备，并为每个显示设备配置窗口布局策略，而不考虑外部显示设备到移动终端的连接。可以由运营商默认提供或根据用户配置多元化地定义窗口布局策略。当根据应用的运行而生成窗口时，可以确定生成窗口的显示设备的区域并确定显示设备的窗口布局策略，按照预配置的每个显示设备窗口布局策略在该显示设备上生成窗口。如果存在显示设备的窗口显示策略，则应用相应的窗口布局策略，以及反之若不存在用于显示设备的窗口布局策略，则应用默认的窗口布局策略。
在下文中，根据本公开的各个实施例，对移动终端的配置及其控制方法做出描述。根据本公开各个实施例的移动终端的配置及其控制方法不限于如下的描述，而可以用各种改变具体实现。
图1是示出根据本公开的一个实施例的移动终端的配置的示意图。
参考图1，移动终端100包括无线通信单元110、用户输入单元120、显示单元130、音频处理单元140、存储单元150、接口单元160、控制器170以及电源180。根据本公开的各个实施例，可以用或者不用图1中所示的任何部件来实现移动终端100。如果移动终端100支持图像捕捉功能，则移动终端100可以进一步包括相机模块。如果移动终端100不支持移动通信功能，则可以省略无线通信单元110的一部分(例如，蜂窝通信模块)。
无线通信单元110可以包括至少一个通信模块，能够允许移动终端100和无线通信系统或另一个设备连接到的网络通信。例如，无线通信单元110可以包括蜂窝通信模块111、无线局域网(WLAN)模块113、短程通信模块115、位置定位模块117、以及广播接收模块119中的至少一个。
移动通信模块111与基站、外部终端、以及各种服务器(例如，集成服务器，运营商服务器，内容服务器和/或等等)中的至少一个传输无线信号。无线信号可以包括用于语音电话，视频会议，或文本/多媒体消息服务的各种类型的数据。蜂窝通信模块111连接到各种服务器中的至少一个，以在控制器170的控制下，接收支持移动窗口环境和桌面窗口环境中的至少一个的应用。
根据本公开的多个实施例，移动窗口环境是这样的环境，在该环境中渲染功能(或应用)运行屏幕使其适合于和移动终端100的显示单元130的屏幕大小相应的窗口。桌面窗口环境是这样的环境，在该环境中根据用于桌面环境操作的外部显示设备的屏幕大小而大小不同的渲染移动终端100的功能(或应用)运行屏幕。
同时，蜂窝通信模块111和各种服务器中的至少一个连接，以在控制器170的控制下接收用于各种显示设备的窗口布局策略。
WLAN模块113是用于连接无线互联网并与另一个移动终端建立WLAN链路的模块。根据本公开的各个实施例，WLAN模块113可以嵌入在移动终端100中或附接为外部设备。WLAN模块113可以支持Wi-Fi，无线宽带(WiBro)，全球互通微波接入(WiMAX)，高速下行分组接入(HSDPD)等等当中的至少一种无线互联网技术。WLAN模块113可以连接到各种服务器中的至少一个，以根据用户的选择接收支持移动窗口环境和桌面窗口环境中的至少一个的应用。当建立与其他移动终端的WLAN链路时，WLAN模块113可以向其他移动终端发送由用户选择的应用或从其他移动终端接收由用户选择的应用。
WLAN模块连接到各种服务器中的至少一个，以在控制器170的控制下接收用于各种显示设备的窗口布局策略。如果与其他移动终端建立了WLAN链路，则WLAN模块113可以根据用户的选择向其他移动终端发送每个显示设备的窗口布局策略或从其他移动终端接收每个显示设备的窗口布局策略。
短程通信模块115是用于短程通信的模块。短程通信技术的示例包括蓝牙，低耗蓝牙(BLE)，射频识别(RFID)，红外数据组织(IrDA)，超宽带(UWB)，ZigBee，近场通信(NFC)等等。短程通信模块115可以与另一个移动终端建立短程通信链路，以向其他移动终端发送数据或从其他移动终端数据。根据本公开的各个实施例，短程通信模块115可以支持外部输入设备的连接(例如，蓝牙，键盘，鼠标和/或等等)。当与另一个移动终端建立短程通信链路时，短程通信模块115向其他移动终端发送每个显示设备的窗口布局或从其他移动终端接收每个显示设备的窗口布局。
位置定位模块117负责定位用户设备的位置，并且全球定位系统(GPS)模块是代表性的位置定位模块之一。位置定位模块115从至少三个基站收集精确的距离和时间信息，并基于获得的信息执行三角测量以获得具有经度、纬度和高度(altitude)的三维(3D)位置信息。位置定位模块115还能够基于来自三个或更多卫星的信号实时计算位置信息。可以使用各种方法获得用户设备的位置信息。
广播接收模块119通过广播信道(例如，卫星广播信道以及地面广播信道)从外部广播管理服务器接收广播信号(例如，TV广播信号、无线广播信号、以及数据广播信号)和/或关于广播的信息(例如，广播信道信息、广播节目信息、以及广播服务运营商信息)。
输入单元120响应于用户输入生成用于控制用户设备的操作的输入信号。输入单元120可以包括键盘、弹片开关、(电容型/电阻型)触摸板、滚轮、拨动(jog)开关、和/或等等。输入单元120可以利用外部按钮和/或触摸板上的可视化按钮实现。
根据本公开的各个实施例，输入单元120可以包括用于接收字母数字信息并配置各种功能的多个键。多个键可以包括菜单键、屏幕开/关键、电源开/关键、音量控制键、和/或等等。输入单元120生成相应于用户配置和输入到控制器170的功能控制键的键信号。键信号可以包括电源开/关信号、音量控制信号、以及屏幕开/关信号。控制器170响应于键信号而控制部件。输入单元120的键称作硬键，而显示单元130上呈现的虚拟键称作软键。
显示单元130显示(输出)由用户设备处理的信息。例如，在用户设备以电话模式操作的情况下，显示单元130显示电话用户界面(UI)或图形UI(GUI)。在用户设备以视频电话模式或图片拍摄模式操作的情况下，显示单元130显示的是显示由照相机拍摄的或通过通信信道接收的图片的UI或GUI。特别地，显示单元130显示运行在移动终端100上的各种功能(或应用)的运行屏幕。显示单元130呈现虚拟输入设备(例如，虚拟触摸板)并生成相应于以虚拟输入设备的方式作出的输入到控制器170的信号。例如，显示单元130显示移动终端100的各种运行屏幕并可以根据用户选择在显示运行屏幕的状态下呈现虚拟输入设备屏幕。
显示单元130根据窗口布局策略显示运行在移动终端100上的各个功能(或应用)的运行屏幕。显示单元130还能够支持根据用户设备的旋转方向(或朝向)在肖像模式和景观模式之间切换的显示模式切换功能。之后将参考屏幕描述显示板131的操作。
可以利用液晶显示器(LCD)、薄膜晶体管LCD(TFT LCD)、发光二极管(LED)、有机发光二极管(OLED)、有源矩阵有机发光二极管(AMOLED)、柔性显示器、弯曲显示器、三维(3D)显示器、和/或之类的中的任何一种来实现显示单元130。显示单元130可以实现为光能穿透的透明显示面板。
在检测触摸手势的显示单元130和触摸板分层的情况下(此后，称作触摸屏)，显示单元130可以担任输入设备以及输出设备。触摸板可以被配置为将显示单元130特定区域处的压力或电容方面的变化转换为电信号。触摸板可以被配置为检测触摸的压力以及触摸的位置和大小。如果在触摸板上做出了触摸手势，则向触摸控制器(未示出)生成相应的(多个)信号。触摸控制器(未示出)处理所述(多个)信号并向控制器170生成相应数据。控制器170感知触摸区域。
如上所述，显示单元130包括触摸板和显示板。触摸板可以放置在显示单元的显示板上。详细而言，触摸板可以实现为附加(add-on)型，其中触摸板放置在显示板上，或实现为内嵌(on-cell/in-cell)型，其中触摸板嵌入在显示板中。
触摸板响应于显示单元130上做出的用户的触摸手势生成模拟信号(例如，触摸事件)并转换模拟信号以向控制器170生成数字信号。触摸事件包括触摸坐标(x，y)。例如，触摸板确定触摸区域(例如，用户的手指或笔触摸的区域)之内的某些坐标作为触摸坐标并将触摸坐标发送给控制器170。可以通过像素指示触摸坐标。例如，如果显示单元130的屏幕分辨率是640*480，则X轴坐标在0到640范围内，且Y轴坐标在0到480范围内。触摸板可以向控制器170生成包括触摸区域的坐标的触摸信号。在这种情况下，控制器170将某些接收到的坐标确定为触摸坐标。
如果从触摸板接收到触摸坐标，则控制器170确定触摸工具(例如，手指或笔)与触摸板接触，以及如果没有接收到触摸坐标，则确定已经释放了触摸。此外，如果改变了坐标，(例如，从(x1，y1)到(x2，y2))，则控制器170确定触摸已经移动。响应于触摸移动，控制器计算触摸的位移(dx，dy)和移动速度。控制器170基于触摸坐标将用户手势确定为触摸，双触摸，轻击，双击，长击(long tap)，敲击&触摸(tap&touch)，拖曳，轻弹，按压，缩进，以及放大和/或等等，确定触摸被施加还是释放、触摸是否移动、触摸位移、触摸移动速度、和/或等等。“触摸”是在触摸屏上某个位置处接触触摸工具的用户手势，“多触摸”是在触摸屏上至少两个位置(例如，用拇指和食指)接触触摸工具的手势，“轻击”是利用触摸工具接触屏幕上一位置并释放所述接触(触摸离开)而不移动触摸工具的手势，“双击”是做出两次轻击的手势，“长击”是和轻击相比长时间保持接触然后释放该接触的手势，“敲击和触摸”是在某个位置做出轻击然后在预定时间内(例如，0.5秒)在同一位置做出触摸的手势，“拖曳”是接触一位置并且沿特定方向移动屏幕上的该接触的手势，“轻弹”是和拖曳手势相比在屏幕上快速运动(snap)的用户手势，“按压”是在屏幕上特定位置接触并施加压力的用户手势，“缩进”是用两个触摸工具做出两个接触点并缩小两个接触点之间距离的手势，而“放大”是扩大两个接触点间距离的手势。例如，“触摸”意味着接触触摸板的状态，而其他的手势是触摸状态的变化。可以为触摸屏提供压力传感器以检测触摸位置的压力。将检测到的压力信息发送到控制器170，以使得控制器170基于压力信息来辨别触摸和压力。
触摸板可实现为组合触摸板，包括用于检测人体做出的手势的手指触摸板，以及用于检测笔做出的笔手势的笔触摸板。手指触摸板可以实现为电容类型板。手指触摸板能够检测特定对象(例如，能够改变静电电容的导体材料)以及人体做出的触摸手势。可以利用电磁感应型的板实现笔触摸板。在这种情况下，笔触摸板响应于制成为生成磁场的触摸手写笔做出的手势来生成触摸事件。
显示板在控制器170的控制下显示图像。控制器170将数据渲染成为图像并在缓存中存储该图像。显示板可以显示与移动终端100的操作(例如，锁屏，主屏幕，应用(或app)运行屏幕，键盘，和/或等等)关联的各种图像。如果移动终端电源开启，则显示单元130显示锁屏。如果检测到用于解锁的触摸输入或按键输入，则控制器将锁屏改变为主屏幕或应用运行屏幕。主屏幕可以包括背景图像和排列其上的多个图标。所述图标相应于各个应用。如果由用户选择了一个图标(例如，轻击一个图标)，则控制器运行相应的应用(例如，浏览器)并通过显示单元130的方式显示运行屏幕。显示单元130可以将应用运行屏幕显示为背景并且在前景上显示另一图像(例如，键盘)以覆盖在背景上。显示单元130在第一区域上显示第一图像以及在第二区域上显示第二图像。
音频处理单元140向扬声器(SPK)141发送从控制器170接收的音频信号并通过麦克风(MIC)143向控制器170发送音频信号，诸如音频输入。音频处理单元140能够处理语音/声音数据以通过扬声器141输出可听声波，以及处理包括语音的音频信号以向控制器170生成数字信号。
扬声器141能够在电话模式、音频(视频)记录模式、媒体内容回放模式、广播接收模式、相片捕捉模式、和/或等等中输出由无线通信单元110接收或存储在存储单元150中的输出音频。扬声器141还能够输出与移动终端中运行的功能关联的音效(例如，呼入接收、呼出发出、音频和视频回放、照片拍摄、以及外部输入)。
麦克风143在电话模式、音频(视频)记录模式，语言识别模式、相片捕捉模式、和/或等等中能够处理输入声学信号以生成语音数据。处理过的语音数据可以在电话模式中处理成为信号以用蜂窝通信模块111向基站发送。麦克风143可以利用各种噪声消除算法实现以消除在语音信号输入过程中发生的噪声。
存储单元150可以存储与控制器170的处理和控制关联的程序以及临时存储输入/输出数据(例如，电话号码、消息、包括音频和视频文件的多媒体文本、以及应用)。存储单元150可以存储移动终端的功能使用频率(例如，应用使用频率、多媒体回放的频率、以及电话号码使用频率、发消息的频率、以及多媒体使用频率、权重、优先级和偏好)。存储单元150还可以存储与各种振动模式关联的数据以及相应于在触摸屏上做出的触摸手势的声音。根据本公开的各个实施例，存储单元150可以为桌面可视化功能存储各种类型的应用，并且可以将应用分类为支持移动窗口环境的和支持桌面窗口环境的。例如，执行相同操作的特定应用可以包括用于输出移动窗口环境屏幕的默认模式应用和用于输出桌面窗口环境屏幕的桌面模式应用。
存储单元150还存储用于各种类型的显示设备的窗口布局策略，以向每个显示设备提供窗口布局。根据本公开的各个实施例，窗口布局策略可以通过资源映射到显示设备并以映射表的形式存储。
存储单元150存储引导程序、操作系统(OS)、中间件、以及虚拟控制器。根据本公开的各个实施例，虚拟控制器请求OS创建虚拟触摸屏并且控制显示单元130显示相应于虚拟触摸屏的运行屏幕。OS的内核包括U输入模块。根据本公开的各个实施例，U输入模块响应于虚拟控制器的请求生成虚拟触摸屏，从虚拟控制器接收触摸事件，并且向虚拟触摸屏发送触摸事件。中间件在OS和应用之间或在不同类型的应用之间中继数据。根据本公开的各个实施例，X服务器是基于Windows OS的中间件，用于接收用户输入(例如，触摸位置位移(dx，dy))并将接收到的用户输入传送到与外部显示设备关联的应用。此后，所述应用执行与用户输入相应的功能(例如，在外部显示设备上和位置位移成比例地移动指针)。
存储单元130还能够存储嵌入式应用以及第三方应用。嵌入式应用是基本地安装在装置中的应用。嵌入式应用可以包括浏览器、电子邮件、即时通信器等等。第三方应用是可以从在线市场下载并安装在终端中的多种多样的应用。可以自由地安装和卸载第三方应用。如果移动终端开机，则在控制器170的主存储设备上(例如，RAM)上装载引导程序。引导程序将移动终端的OS和中间件装载到主存储设备上。OS在主存储设备上装载应用以运行。
可以用闪存类型、硬盘类型、微类型、卡类型(例如，安全数字(SD)类型、极限数字(XD)卡类型)存储器、随机存取存储器(RAM)、动态RAM(DRAM)、静态RAM(SRAM)、只读存储器(ROM)、可编程ROM(PROM)、电子可擦除PROM(EEPROM)、磁性RAM(MRAM)、磁盘、光盘类存储器等等中的至少一个的存储介质来实现存储单元150。用户设备可以和担任互联网上的存储单元150的网页存储器互操作。
接口单元160提供用于可连接到用户设备的外部设备的接口。接口单元160能够从外部设备向用户设备的内部部件传送数据或电力以及向外部设备传送内部数据。例如，可以为接口单元160提供有线/无线耳机端口、外部充电端口、有线/无线数据端口、存储卡槽、身份模块槽(identity module slot)、音频输入/输出端口、视频输入/输出端口、耳机插孔、和/或等等。根据本公开的各个实施例，接口单元160包括用于通过有线或无线链路与至少一个外部显示设备连接的数据端口。例如，用户接口160可以包括高清多媒体接口(HDMI)(包括标准、迷你和微HDMI)和/或通用串行总线(USB)接口。当移动终端100和外部显示设备通过WLAN(Wi-Fi)链路连接时，WLAN可以包括在接口单元160中。当移动终端100和外部输入设备通过蓝牙链路连接时，蓝牙可以包括在接口单元160中。
控制器170控制移动终端100的整体操作。例如，控制器170控制与语音电话、数据通信、视频会议、桌面可视化、以及外部输出关联的操作。控制器170可以包括用于桌面可视化和外部输出的多媒体模块(未示出)。根据本公开的各个实施例，多媒体模块(未示出)可以嵌入在控制器170中或者实现为从控制器170分离。
根据本公开的各个实施例，控制器170控制用于支持桌面可视化的操作。例如，控制器170控制桌面可视化，其中处理在和外部显示设备200互操作的状态下在移动终端100中生成的数据以及应用以使其适合于外部显示设备200的桌面环境。例如，当移动终端100和外部显示设备200连接时，控制器170运行桌面模式并进行控制以使得默认桌面窗口屏幕用于外部显示设备200上的桌面模式。控制器170在桌面可视化控制下利用不同的布局控制用于移动终端的窗口屏幕以及用于外部显示设备的窗口屏幕。
当外部显示设备200被连接时，控制器170向外部显示设备200输出默认桌面窗口屏幕，并在桌面模式下监控以检测控制信号的输入。如果用于控制外部显示设备的桌面区域的控制信号从外部输入，则控制器170控制以使得在屏幕上显示桌面区域。如果控制信号是用于控制移动终端的默认区域的内部信号，则控制器170控制默认区域屏幕显示。
当外部显示设备200被连接时，控制器170可以获得关于外部显示设备200的屏幕大小的信息。可以以移动终端100的轮询或外部设备200的推送的形式获得关于外部显示设备的屏幕大小的信息。
控制器170通过外部显示设备200控制具有桌面环境布局的窗口屏幕的显示，以及在外部显示设备200的桌面区域上显示的窗口顶部框架处提供(多个)窗口大小调整按钮。
根据本公开的各个实施例，控制器170控制用于支持功能的操作。例如，控制器170控制以使得通过连接的外部显示设备200以相应于窗口布局策略的布局显示移动终端100的数据和应用，通过外部显示设备200配置该窗口布局策略。控制器170控制显示在外部显示设备200上的窗口屏幕从显示在移动终端100上的窗口屏幕分离。
根据本公开的各个实施例，控制器170控制与显示设备的窗口布局策略的配置关联的操作。当根据应用运行请求生成窗口时，控制器170根据预定的窗口布局策略确定要应用于窗口的布局。控制器170以根据窗口布局策略确定的布局向外部显示设备200生成窗口。
当确定窗口时，控制器170可以获得用于显示设备的资源并搜索每个显示设备的资源和映射到所述资源的窗口布局策略。特别地，控制器170可以以移动终端100的轮询或外部显示设备的推送的方式获得用于外部显示设备200的资源。
根据本公开的各个实施例，控制器170可以包括：主存储设备，用于存储应用程序和OS；缓存存储器，用于存储要写入存储单元150或从存储单元150读取的数据；CPU以及GPU。OS负责硬件和程序之间的接口连接，并且管理计算资源，诸如CPU、GPU、主存储设备和辅助设备。例如，OS操作移动终端100、调度任务、并控制CPU和GPU的操作。OS还负责控制应用程序的运行以及管理数据和文件存储。正如本领域技术人员所熟知的，CPU可以是计算机系统的主控制单元，其负责数据操作和比较，以及命令分析和运行。GPU是用于取代CPU执行与图形关联的数据操作和比较，以及命令分析和运行的图形控制单元。CPU和GPU可以作为由两个或更多独立内核(例如，四核)组成的单个集成电路而集成为一个封装。CPU和GPU可以以多层的方式封装。集成的CPU和GPU可以称作应用处理器(AP)。
随后参考附图详细描述控制器170的控制操作。
电源180在控制器170的控制下向部件供应内部或外部电源的电力。
可以以硬件、固件、软件、或其任一组合来实现本公开的各个实施例，以便存储在计算机或类似的设备可读存储介质中。在通过硬件实现本公开的情况下，可以利用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器，微处理器、和/或等等来实现本公开。在任何情况下，可以在控制单元180上实现本公开所公开的各个实施例。在通过软件实现本公开的各个实施例的情况下，可以利用分离的软件模块实现说明书中公开的程序功能。软件模块能执行说明书中描述的至少一个功能和操作。
存储介质可以是记录了程序的非暂时性计算机可读存储介质，所述程序能够运行用于连接到移动终端100的外部显示设备200的桌面模式，在桌面模式下在外部显示设备200上显示默认桌面窗口屏幕，以及通过外部显示设备200基于桌面窗口环境运行桌面可视化功能。
存储介质可以是记录了程序的非暂时性计算机可读介质，所述程序能够根据应用的运行检测窗口创建事件，响应于窗口创建事件而确定用于显示窗口的显示设备，获得用于显示设备的资源，确定显示设备的窗口布局策略，以根据确定的窗口布局策略的布局在显示设备上生成窗口，以及通过窗口显示应用的运行屏幕。
根据本公开的各个实施例，移动终端100可以是利用和通信系统相应的各种通信协议操作的蜂窝通信终端，平板个人电脑(PC)，智能电话，数字相机，便携式多媒体播放器(PMP)，媒体播放器(例如，MP3播放器)，手持电子书，便携式游戏机，个人数字助理(PDA)等等中任何一种。此外，可以将根据本公开的各个实施例中的一个的基于手势的控制方法应用于各种显示设备，诸如数字电视(TV)，数字标牌(DS)，大型显示器(LFD)。
虽然难以枚举根据数字融合趋势用各种方式融合的所有功能部件，移动终端100可以进一步包括加速度传感器，陀螺仪传感器，GPS模块，近场通信(NFC)模块，振动模块，照相机，配件等等。配件可以是移动终端的可拆卸部分，诸如在显示单元130上做出触摸手势的笔。根据其实现，可以省略移动终端100的特定部件或替换为另一个部件。
参照图2到图15，根据本公开的各个实施例做出了对桌面可视化的描述。
图2是示出根据本公开的一个实施例的、外部设备到移动终端的连接的示意图。
参考图2，本公开的系统包括支持与外部显示设备连接的多屏幕功能的移动终端100，以及用于在桌面窗口环境中显示移动终端100的屏幕的外部设备200。根据本公开的各个实施例，系统可以包括连接到移动终端100的外部输入设备300，并且该外部输入设备300能够操作显示在移动终端100和/或外部显示设备200上的窗口。在图2中，外部显示设备200可以包括显示器，并且外部输入设备300可以包括键盘和鼠标。
如图2所示，移动终端100和外部显示设备200可以通过有线接口或无线接口连接。例如，移动终端100和外部显示设备200可以通过HDMI或Wi-Fi彼此连接。移动终端100可以通过有线接口(例如，HDMI)或无线接口(例如，Wi-Fi)向外部显示设备200输出各种屏幕数据。
移动终端100和外部输入设备300可以通过有线接口或无线接口连接。例如，移动终端100和外部输入设备300可以通过诸如USB的有线接口或诸如蓝牙的无线接口连接。移动终端100可以接收用外部输入设备300通过有线接口(例如，USB)或者无线接口(例如，蓝牙)输入的控制信号。控制信号可以是用于控制移动终端上显示的窗口屏幕的信号或用于控制外部显示设备200上显示的窗口屏幕的信号。根据本公开的各个实施例，如图2所示移动终端100连接到外部显示设备200和外部输入设备300，以在和外部显示设备200关联激活的桌面可视化功能的状态下，用外部输入设备300控制外部显示设备200上显示的窗口屏幕。
如果从外部输入设备300接收到控制信号，则移动终端100控制外部显示设备200上显示的窗口屏幕，并在保持移动终端100的窗口屏幕的状态下处理用于在外部显示设备200上显示结果的操作。
图3是示出根据本公开的一个实施例的、在显示系统中移动终端和外部显示设备之间互操作的信号流图，并且图4和图5是示出根据本公开的一个实施例的、移动终端和外部显示设备的显示的图。
参考图3、图4和图5，在操作301中移动终端100连接到显示设备200。
如果在操作301中，移动终端100和显示设备200之间建立了连接，则在操作303，自动运行桌面模式，以使得移动终端向外部显示设备发送默认桌面窗口屏幕。如果运行了桌面模式，则在维持移动终端100的当前显示的状态下，移动终端100内部地运行桌面模式，并向外部显示设备200发送默认桌面窗口屏幕，如图4所示。当连接外部显示设备200时，移动终端100获得关于外部显示设备200的屏幕大小的信息，并确定和屏幕大小相应的默认桌面窗口屏幕的大小。在外部设备200被连接时可以用轮询或推送的形式获得关于外部显示设备200的屏幕大小的信息。
如果在操作301中外部显示设备200连接到移动终端100，并且如果在操作303中从移动终端100接收到默认桌面窗口屏幕，则在操作305中，外部显示设备200显示默认桌面窗口屏幕。默认桌面窗口屏幕可以包括特定应用的桌面快捷方式图标250(或图标列表)，其能够通过预定背景屏幕230和外部显示设备200来运行相应于桌面窗口环境的操作。
如果发生用于桌面窗口环境任务的控制事件，则在操作307中，移动终端100向外部显示设备200发送和控制事件相应的屏幕。例如，如果用户用移动终端100或外部输入设备300做出用于选择外部显示设备200上显示的桌面快捷方式图标250之一的输入，则移动终端100确定通过选择的图标250表示的应用。移动终端100在桌面模式中运行所确定的应用并向外部显示设备200发送为桌面窗口环境创建的屏幕(应用桌面窗口屏幕)。例如，当检测到通过在桌面区域上选择的图标表示的应用的运行时，移动终端100运行具有适合于桌面环境的布局的应用。
如果在操作307中外部显示设备200接收到由移动终端100发送的应用桌面窗口屏幕，则在操作309中，外部显示设备200显示应用桌面窗口屏幕。如图5所示，以应用运行屏幕的形式提供应用桌面窗口屏幕，所述应用运行屏幕对桌面窗口环境具有不同于移动终端100的窗口屏幕的布局。此时，可以在当前状态下维持移动终端100的屏幕。应用运行屏幕包括在窗口框架顶部的、和桌面窗口环境相应的状态栏，不同于移动终端100上显示的移动应用运行屏幕。状态栏550可以在运行屏幕上(或相应窗口)上显示状态信息(应用名称等等)。特别的，状态栏550可以包括窗口大小调整按钮555，诸如最小化，最大化，和关闭按钮。
图6和7是示出根据本公开的一个实施例的、用于解释输入操作的、移动终端和外部显示设备的显示的图。
图6示出了根据本公开的一个实施例，在使用移动终端100作为外部显示设备200的输入装置的情况下的屏幕显示，并且图7示出了根据本公开的一个实施例的、使用连接到移动终端100的外部输入设备300作为外部显示设备200的输入装置的情况下的屏幕显示。
参考图6，移动终端100可以根据用户的选择显示虚拟输入设备(例如，虚拟触摸板)。用户可以使用移动终端100上显示的虚拟输入设备输入控制信号以做出操纵，诸如移动外部显示设备200上显示的指针650，运行应用，移动运行窗口屏幕，放大/缩小窗口大小，最小化大小，最大化大小，关闭窗口，运行桌面快捷方式图标250等等。
根据本公开的各个实施例，虚拟输入设备可以提供：窗口大小调整区域630，其能够运行相应于外部显示设备200上显示的窗口的顶部框架中的状态栏的最小化按钮，最大化按钮，以及关闭按钮的按钮的功能；触摸板区域650，用于检测移动外部显示设备200上的指针750的手势，图标选择手势，单次触摸手势，以及多次触摸手势；以及指示器区域610，用于实时提供移动终端100的各种操作状态信息。虚拟输入设备还可以提供键盘运行按键670，用于运行虚拟触摸键盘。
参考图7，移动终端100可以与外部输入设备300(例如，键盘和鼠标)通过诸如蓝牙链路的无线连接或诸如USB电缆的有线链路相连。用户可以使用连接到移动终端100的外部输入设备300输入控制信号，以执行诸如在外部显示设备200上显示的桌面区域中移动指针750，应用运行，运行窗口移动，窗口大小放大/缩小，大小最小化，大小最大化，窗口关闭，运行桌面快捷方式图标250等等的操纵。
图8,9,10,11和12是示出根据本公开的一个实施例的、用于解释桌面可视化操作的、移动终端和外部显示设备的屏幕显示的图。
参考图8，示出了在移动终端100的控制之下，在外部显示设备200的桌面窗口环境中运行应用的状态下的屏幕显示。如图8所示，应用运行窗口提供了状态栏550，状态栏550在窗口框架顶侧具有窗口大小调整按钮555。图8是针对这样的情况：其中外部输入设备300连接到移动终端100，用于操纵在外部显示设备200上显示的窗口，以使得根据外部输入设备300的输入模式在桌面区域上移动指针750。
当通过选择外部显示设备200的桌面区域中的按钮来输入应用运行命令时，移动终端100运行具有用于桌面环境的布局的应用并且处理相应的屏幕输出。如果从移动终端100接收到应用桌面窗口屏幕，则外部显示设备200显示应用桌面窗口屏幕。应用桌面窗口屏幕是以适合桌面环境的布局形成的应用运行屏幕，不同于如图8所示的移动终端100的窗口屏幕。此时，移动终端100的屏幕可以保持在当前状态。
参考图9，示出了在外部显示设备200的桌面窗口环境中运行的多个应用的状态下的屏幕显示。特别地，此时分别为多个应用运行窗口提供在其框架的顶侧具有窗口大小调整按键555的状态栏550。每个窗口的状态栏550可以提供相应应用的状态信息。图9针对的是这样的情况，其中用连接到移动终端100的外部输入设备300来调整在外部显示设备200上显示的窗口，并且根据外部输入设备300的输入模式在桌面区域提供指针750。
参考图10，示出了在通过外部显示设备200在桌面窗口环境中运行应用的状态下，在根据用户操纵而扩大应用的运行窗口的情况下的屏幕显示。可以为应用运行窗口提供状态栏550。状态栏550可以进一步包括窗口大小调整按键555。如图10所示，用户可以用外部输入设备300将指针750移动到窗口框架的最右位置。当指针750放置在边缘时，指针形状上变化为指示器，用于指示窗口的大小可以被扩大或缩小。用户可以通过操纵外部输入设备300而做出用于右方向移动的控制信号。然后如图10所示，扩大窗口。例如，如果窗口在这样的状态下扩大：其中根据相簿应用的运行而在窗口中显示相簿列表，则以包括在相簿列表的相片上呈现详细信息(放大的图片)的区域的方式提供窗口屏幕。
参考图11，示出了在移动终端100的控制下通过外部显示设备200在桌面窗口中运行应用的状态下，在根据用户操纵而移动应用运行屏幕的情况下的屏幕显示。如图11所示，用户可以使用外部输入设备300在窗口框架的顶侧(例如，状态栏550)移动指针750。当把指针750放置在状态栏550上的位置时，指针750可以形状上变化为指示窗口可以移动。在这种状态下，用户可以通过操纵外部输入设备300，在外部显示装置200的显示区域中做出用于沿一方向移动的输入(例如，向右)。然后响应于用户输入，窗口移动，如图11所示。
参考图12，示出了在移动终端100控制下通过外部显示设备200在桌面窗口环境中运行特定应用的状态下的窗口显示。如图12所示，可以为应用运行窗口提供具有窗口大小调整按键555的状态栏550。特别地，图12示出的情况是在图8的状态下在移动终端100的区域中运行应用。如图12所示，如果诸如在移动终端100连接到外部显示设备200的情况下的呼入呼叫接收的应用运行事件，则在维持当前状态的状态下，根据移动终端中的运行事件，外部显示设备200的屏幕显示在移动终端100上的窗口屏幕(例如，呼入呼叫接收状态屏幕)。如图12所示，由于在移动终端100中运行应用，所以在外部显示设备200的当前屏幕上，指针750可以消失。这直观的指示当前操纵在移动终端上执行。
如果检测到通过在外部显示设备200的桌面区域上的图标的选择而输入的应用运行命令，则移动终端100运行具有桌面环境友好布局的应用并处理屏幕显示。如果从移动终端100接收到应用桌面窗口屏幕，则外部设备200显示具有桌面环境友好布局的应用桌面窗口屏幕。如果在移动桌面区域中运行应用，则如图12所示，显示移动环境友好的应用屏幕。
虽然图8至12针对的情况是外部输入设备300连接到移动终端100，但是也可以如上所述，省略外部输入设备300，通过移动终端100上提供的虚拟输入设备来操纵外部显示设备200的桌面窗口环境。
图13是示出根据本公开的一个实施例的、移动终端的桌面可视化方法的流程图。
参考图13，在操作1301中，控制器170确定当前操作模式(例如，待机模式以及应用运行模式)。
在操作1303中，控制器170检测外部设备200的连接。例如，控制器170可以检测外部显示设备200通过有线(HDMI)链路或无线(Wi-Fi)链路的连接。如果外部显示设备200被连接，则控制器170运行用于桌面可视化的桌面模式，并向外部显示设备200发送默认桌面窗口屏幕。如果外部显示设备200被连接，则控制器170可以确定移动终端100和外部显示设备200之间的连接的类型。
当在操作1303中外部显示设备200连接到移动终端100时，控制器170进行到操作1305，其中控制器170获得关于外部显示设备200的屏幕大小的信息。在移动终端和外部显示设备200彼此连接的时间，以轮询或推送的方式获得关于外部显示设备200的屏幕大小的信息。
在操作1307中，控制器170基于关于外部显示设备200的屏幕大小的信息确定默认桌面窗口屏幕的大小。
在操作1309中，控制器170输出相应于外部显示设备200的确定的屏幕大小的默认桌面窗口屏幕。控制器170可以取决于外部显示设备200的连接类型，处理通过有线(HDMI)或无线(Wi-Fi)链路的默认桌面窗口屏幕的输出。
在操作1311处，控制器170检测控制输入。
如果在操作1311中，在外部显示设备200上显示用于桌面模式操作的默认桌面窗口屏幕的情况下检测到控制输入，则控制器170进行到操作1313，其中控制器170确定控制输入是用于控制移动终端100的默认区域的内部控制输入还是用于控制外部显示设备200的桌面区域的外部控制输入。
如果在操作1313中，控制器170确定所述控制输入不是外部控制输入(例如，如果控制输入是内部控制输入)，则控制器170进行到操作1315，其中控制器170控制以使得在保持外部显示设备200的当前屏幕时，在移动终端的默认区域中以移动终端友好的布局显示运行屏幕。例如，控制器170控制显示移动终端100的默认区域的窗口屏幕。
相反，如果在操作1313中控制器170确定控制输入是外部控制输入，则控制器170进行到操作1317，其中控制器170控制以使得在外部显示设备200的桌面区域上以桌面环境友好的布局显示桌面窗口屏幕。
图14是示出根据本公开的一个实施例的、移动终端的桌面可视化方法的流程图。
参考图14，示出在这种情况下的流程图：没有外部输入设备连接到移动终端100。然而，移动终端100提供用于操纵外部输入设备的数据区域的虚拟输入设备。
参考图14，在操作1401中，控制器170确定运行桌面模式。例如，控制器170确定移动终端100是否在桌面模式下操作。
在操作1403中，控制器170确定是否检测到对于虚拟输入设备运行的请求。
如果在操作1403中桌面模式下检测到虚拟输入设备运行请求，则控制器170进行到操作1405，其中控制器170运行虚拟输入设备应用。例如，在外部显示设备200上显示默认桌面窗口屏幕的状态下，控制器170可以通过移动终端的操纵(例如，菜单操纵和快捷方式键输入)而接收对于虚拟输入设备的运行的输入。然后在保持外部显示设备200的默认桌面窗口屏幕的状态下，控制器170控制移动终端100以使得在移动终端100的默认区域中运行虚拟输入设备应用。
在操作1407处，控制器170在移动终端100上显示虚拟输入设备以及在外部显示设备200上显示指针。例如，控制器170利用虚拟输入设备应用的运行输出匹配移动终端100的默认区域的布局的虚拟输入设备，并控制以在外部显示设备200的桌面区域中呈现指针750。
在操作1409处，在显示虚拟输入设备的状态下，控制器170根据通过虚拟输入设备做出的用户输入来控制桌面区域。例如，控制器170可以参考图8,9,10,11和12所述来控制操作。例如，控制器170可以控制桌面环境的任务，例如桌面区域的指针移动，应用运行，运行窗口屏幕移动，窗口大小的扩大/缩小，大小最小化，大小最大化，窗口关闭，和/或等等。
图15是示出根据本公开的一个实施例的、移动终端的桌面可视化方法的流程图。
参考图15，示出了在外部设备300连接到移动终端100的状态下处理来自外部输入设备300的输入的操作。
在操作1501处，控制器170确定运行桌面模式。
在操作1503处，控制器170接收通过外部输入设备300做出的控制输入。
如果在操作1503中在桌面模式下从外部输入设备300接收到控制输入，则控制器170进行到操作1505，其中控制器170保持移动终端100默认区域的屏幕的当前状态。
此后，在操作1507中，控制器170确定外部输入设备300的控制事件。例如，控制器170能够确定是否通过键盘或鼠标做出了控制输入以及根据所述控制输入运行哪一个任务。
在操作1509处，控制器170根据识别的控制输入来控制桌面区域的输出。例如，在保持移动终端100的屏幕的当前状态时，控制器170可以控制外部显示设备200的桌面区域中的指针的移动，应用运行，运行窗口屏幕移动，窗口大小放大/缩小，大小最小化，大小最大化，窗口关闭，或等等。
此后参考图16,17,18，以及19A，19B，19C和19D做出关于每个显示设备窗口布局提供功能的各个实施例的描述。
图16是示出根据本公开的一个实施例的、移动终端的每个显示设备窗口布局提供方法的流程图。
参考图16，在操作1601中，控制器170检测请求运行应用的输入。
如果在操作1601中控制器170检测到由用户输入的对于应用运行的请求，则控制器170进行到操作1603，其中控制器170获得在其上运行应用的显示设备的资源。例如，如果检测到应用运行请求，则控制器170识别在其上显示应用运行屏幕的显示设备，并获得所述显示设备的资源。显示设备的资源是当前连接到移动终端100的显示设备(例如，移动终端100的显示单元130和连接到移动终端100的外部显示设备)的资源，并从存储单元150或外部显示设备获得。
如果在步骤1603中控制器170获得了在其上显示应用运行屏幕的显示设备的资源，则控制器170进行到步骤1605，其中控制器170确定为所获得的资源配置的窗口布局策略。例如，控制器170可以从存储单元150的映射表取回和显示设备的资源相应的预定窗口布局策略。
在操作1607中，控制器170根据预定的窗口布局策略来布置(例如，配置)应用的窗口布局。例如，控制器170根据窗口布局策略来配置呈现应用运行屏幕的窗口的布局。
在操作1609中，控制器170生成根据显示设备上的窗口布局布置(例如，配置)的窗口，并显示应用运行屏幕。
如参考图16所述，当用户运行应用时，控制器170获得当前连接到移动终端100的至少一个显示设备的资源并选择基于显示设备的资源配置的窗口布局策略中的一个。控制器170根据确定的窗口布局策略来布置(例如，配置)运行的应用的窗口布局。
图17是示出根据本公开的一个实施例的、移动终端100的每个显示设备窗口布局管理方法的流程图。
参考图17，在操作1701中，控制器170检测用户的窗口生成请求。
在操作1703中，控制器170获得当前连接的显示设备的资源。例如，如果检测到用户的应用运行请求，则控制器170可以确定应用运行请求相应于用于生成新窗口的窗口生成事件。控制器170确定根据应用运行为其生成窗口的显示设备(例如，移动终端100的显示单元130和连接到移动终端100的外部显示设备)，并获得确定的显示设备的资源。显示设备的资源可以包括移动终端的显示单元130和连接到移动终端100的外部显示设备中至少一个的资源。
在操作1705中，控制器170搜索用于显示设备的资源的窗口布局策略。
在操作1707中，控制器170确定是否取回了窗口布局策略。例如，控制器170扫描与从存储在存储单元150中的映射表获得的资源相一致的显示设备的资源，并取回映射到获得的资源的显示设备的窗口布局策略。
如果在操作1707中控制器170取回用于显示设备的窗口布局策略，则控制器170进行到操作1709，其中控制器170确定找到的窗口布局策略相应于将在显示设备上显示的窗口的窗口布局策略。
在操作1711中，控制器170将确定的窗口布局策略应用于窗口以显示在显示设备上。
在操作1713中，控制器170在显示设备上显示应用了窗口布局策略的窗口。例如，控制器170根据可应用的窗口布局策略生成窗口。
相反的，如果在操作1707中控制器170没有取回用于显示设备的窗口布局策略，则控制器170进行到操作1715，其中控制器170确定默认窗口布局相应于将在显示设备上显示的窗口的窗口布局策略。
在操作1717中，控制器170将默认窗口布局策略应用到窗口以显示在显示设备上。此后，控制器170进行到步骤1713，其中控制器170在显示设备上显示应用了窗口布局策略的窗口。
参考图17，控制器170可以确定当响应于用户请求生成应用运行窗口时，是否存在在其上显示窗口的显示设备的任何窗口布局策略。如果取回了显示设备的窗口显示策略，则控制器170将取回的窗口布局策略应用为显示设备的窗口布局策略。否则，如果没有取回窗口布局策略，则控制器170将默认的窗口布局策略应用为显示设备的窗口布局策略。控制器170生成应用了窗口布局策略的窗口并根据窗口的布局提供应用运行屏幕。
图18是示出在根据本公开的一个实施例的方法中互操作的移动终端和外部显示设备之间的信号流的信号流图。图19A，19B，19C和19D是示出用于解释移动终端和外部显示设备之间的互操作的、移动终端和外部显示设备的屏幕显示图。
参考图18，19A，19B，19C和19D，在操作1801中，移动终端100连接到外部显示设备200。例如，移动终端100可以在某个操作模式下(例如，待机模式和应用运行模式)检测外部设备200通过有线(例如，HDMI)链路或无线(例如，Wi-Fi)链路的连接。
如果在操作1801中外部显示设备200连接到移动终端100，则在操作1803中，移动终端100获得外部显示设备200的资源。例如，如果外部显示设备200被连接，则移动终端100获得诸如外部设备200的屏幕大小的资源。可以用这样的方式获得外部显示设备200的资源：移动终端200请求连接的外部显示设备200发送资源，并且外部显示设备200响应于所述资源传输请求为移动终端100提供其资源。当外部显示设备200连接到移动终端100时，外部显示设备200可以自动向移动终端发送其资源。根据本公开的各个实施例，在移动终端100连接到外部显示设备200时以轮询或推送的方式获得外部显示设备的资源，所述资源包括外部显示设备200的屏幕大小。移动终端100可以在移动终端100的存储单元150中缓冲或存储获得的资源。
此时，提供资源的主机可以是不执行任何控制功能但在主控制器(master)的控制下提供屏幕数据的从机。所述主控制器可以是负责控制的终端100(特别地，控制器170)，并且从机是显示移动终端100提供的屏幕数据的外部显示设备200和移动终端100的显示单元130。
在操作1805中，移动终端100确定相应于从外部显示设备200获得的资源的窗口布局策略。例如，移动终端100可以通过参照每个显示设备的窗口布局策略的预定映射表来确定相应于所获得的资源的窗口布局策略。
在操作1807中，移动终端100根据确定的窗口布局策略向外部显示设备200输出桌面窗口屏幕(例如，背景屏幕)。当显示桌面窗口屏幕时，在移动终端100的当前显示的状态下(例如，当前操作模式屏幕显示)，移动终端100向外部显示设备200传送根据窗口布局策略内部生成的桌面窗口屏幕。
在连接到移动终端100后，如果从移动终端100接收到桌面窗口屏幕，则在操作1809中，外部显示设备200显示桌面窗口屏幕。如图19A所示，桌面窗口屏幕可以包括表示预注册应用的桌面快捷方式图标250，以便利用相应于预定背景屏幕230和外部显示设备200的资源的窗口来运行操作。
在外部显示设备200连接到移动终端100的状态下，在操作1811中，移动终端可以接收用于运行应用的用户输入。例如，用户可以通过操纵移动终端100选择表示当前在移动终端100的显示设备(例如，显示单元130)上显示的屏幕(例如，图19A中的移动终端100的当前屏幕)上的具体应用的图标。用户还可以操纵移动终端100以在外部显示设备200当前显示的屏幕上(例如，图19A中在外部显示设备200上当前显示的桌面窗口屏幕)选择具体应用的图标(例如，用于桌面的快捷方式图标250)。
在操作1813中，移动终端100响应于应用运行请求确定用于应用的窗口创建区域。例如，如果检测到应用运行请求，则移动终端100可以确定在其上显示应用运行屏幕的显示设备。例如，如果在移动终端100的当前显示屏幕上检测到应用运行请求，则移动终端100可以确定窗口创建区域是移动终端100的显示设备(例如，显示单元130)，以及如果在外部显示设备200当前显示的屏幕上检测到应用运行请求，则移动终端可以确定窗口创建区域是外部显示设备200。在至少一个外部显示设备200被连接的状态下，虽然在移动终端100的屏幕上检测到应用运行请求，也可以将外部显示设备200确定为窗口创建区域。确定窗口创建区域相应于外部显示设备200可以取决于用户配置。
如果确定了窗口创建区域，则在操作1815中，移动终端100将相应于显示设备的窗口布局策略确定为窗口创建区域。例如，移动终端100可以参考每个显示设备窗口布局策略的映射表来选择相应于显示设备的资源的窗口布局策略作为窗口创建区域(例如，移动终端100的显示单元130和外部显示设备200)。图18针对的情况是其中用于运行的应用的窗口创建区域是外部显示设备200。
在操作1817中，移动终端100向外部显示设备200输出相应于确定的窗口布局策略的应用运行屏幕。例如，移动终端100根据确定的窗口布局策略配置运行的应用的窗口布局，并输出相应于已经应用了窗口布局策略的窗口布局的应用运行屏幕。例如，移动终端100确定由用户在外部显示设备200上显示的图标250当中被选择的图标250表示的应用。移动终端100根据确定的窗口布局策略利用所述布局配置应用运行窗口，并向外部显示设备200传送应用运行屏幕。例如，移动终端100可以在将外部显示设备200确定为应用窗口创建区域时，利用和显示设备(例如，外部显示设备200)的资源相应的布局来运行应用并处理屏幕显示。
如果在操作1817中从移动终端100接收到应用运行屏幕，则在操作1819中，外部显示设备200显示应用运行屏幕。如图19B所示，以具有适合于外部显示设备200的资源的窗口屏幕的形式提供应用运行屏幕，不同于移动终端100的显示设备(例如，显示单元130)上显示的窗口屏幕。例如，可以根据外部显示设备200的资源以桌面窗口布局的形式实现应用运行屏幕。参考图19B，桌面窗口可以具有大于移动终端100上所显示的、连同详细信息一起的桌面窗口的大小。可以在窗口框架的顶侧提供进一步的辅助信息。状态栏550可以在相应窗口(例如，运行屏幕)上呈现状态信息(例如，应用名)。特别地，状态栏550可以包括窗口大小调整按钮555，诸如，运行窗口最小化和最大化，以及窗口关闭按钮。此时，移动终端100可以在其当前状态中保持屏幕。进一步的，桌面窗口屏幕可以包括表示预注册应用的桌面快捷方式图标250，以使得利用对应于预定背景屏幕230和外部显示设备200的资源的窗口来运行操作。
图19C是示出根据本公开的一个实施例的、具有不同的窗口布局的移动终端和外部显示设备的屏幕显示的图。
如图19C所示，系统被配置为具有与外部显示设备200连接的移动终端100，该移动终端100支持多屏幕功能，该外部显示设备200以根据每个显示设备的窗口布局策略确定的窗口布局显示由移动终端100输出的屏幕。
在图19C中，移动终端100和外部显示设备200通过有线接口(例如，HDMI)或无线接口(例如，Wi-Fi)彼此连接。移动终端100通过有线接口(例如，HDMI)或无线接口(例如Wi-Fi)向外部显示设备200传输各种屏幕数据。
在图19C中，利用运行屏幕来运行某个应用，该运行屏幕由外部显示设备200根据外部显示设备特定窗口布局策略显示，并且在移动终端100的控制下由移动终端100的内部显示设备(例如，显示单元130)根据移动终端特定窗口布局策略显示。
参考图19C，在连接到外部显示设备200的状态下移动终端可以向外部显示设备200提供应用了相应于外部显示设备的资源的窗口布局策略的应用运行屏幕，以及为移动终端100的显示单元130提供应用了相应于移动终端的显示单元130的资源的窗口布局策略(例如，默认窗口布局策略)的应用运行屏幕。例如，可以以根据显示设备特定窗口布局策略确定的不同窗口布局提供应用运行屏幕。
如果在外部显示设备200的区域上检测到应用运行请求，则移动终端基于和外部显示设备200匹配的窗口布局策略以窗口格式运行应用，并处理相应窗口的输出。如果在移动终端100的显示单元130的区域上检测到应用运行请求，则移动终端100基于和显示单元130的资源匹配的窗口布局策略以窗口格式运行应用，并处理相应窗口的输出。在根据外部显示设备200的应用运行生成窗口的情况下，移动终端100将应用运行屏幕格式化为与外部显示设备200的资源匹配。在根据移动终端100的应用运行生成窗口的情况下，移动终端100将应用运行屏幕格式化为与显示单元130的资源匹配。
图19D是示出根据本公开的一个实施例的、具有不同的窗口布局的移动终端和外部显示设备的屏幕显示的图。
图19D示出了在这样一种状态下的屏幕显示，其中移动终端100和外部显示设备200通过有线链路(例如，HDMI)或无线链路(例如，Wi-Fi)连接，且跨越移动终端100的区域和外部显示设备200的区域来显示某个应用的运行屏幕。例如，在利用显示在外部显示设备200的区域上的运行窗口来运行应用的状态下，响应于用户的窗口移动操纵将应用运行窗口移动到移动终端100的区域，以使得应用运行窗口在移动终端100的区域上部分地出现。
如图19D中所示，可以在移动终端100的区域上以根据移动终端的显示单元130的窗口布局策略的布局的格式显示应用的运行屏幕的一部分，而在外部显示设备200的区域上以根据外部显示设备200的窗口布局策略的布局的格式显示运行屏幕的其他部分。例如，取决于显示设备特定的窗口布局，同一个应用的运行窗口可以以不同的布局显示。在相片相簿应用的情况下，可以以具有相片列表和所选相片的详细描述(例如，放大的相片)的布局来显示用于外部显示设备200的应用运行窗口，并且可以以仅具有相片列表的布局显示用于移动终端100的应用运行窗口。
虽然未在图19D中示出，但是用户可以操纵以使得应用运行窗口从一个显示设备的区域完全移动到其他显示设备的区域。在这种情况下，应用运行窗口可以将布局从旧的显示设备的窗口布局策略变化到新的显示设备的窗口布局策略。例如，如果应用运行窗口根据用户的操纵从外部显示设备200的区域完全移动到移动终端100的区域，则可以以根据移动终端特定的窗口布局策略的窗口布局来格式化应用运行窗口。相反的，如果应用运行窗口从移动终端100的区域完全移动到外部显示设备200的区域，则可以以根据外部显示设备特定的窗口布局策略的窗口布局来格式化应用运行窗口。
参考图20至图24，此后将详细的对涉及响应于用户输入的外部显示设备的显示功能的各个实施例做出描述。
图20是示出根据本公开的一个实施例的、用于处理用户输入的方法的流程图。
参考图20，在操作2010中，控制器170确定移动终端100在单显示模式下操作。
在操作2015中，控制器170确定是否有任何外部显示设备连接到移动终端100。例如，外部显示设备可以通过无线通信单元或接口单元160连接到移动终端100。
如果控制器170确定外部显示设备连接到移动终端100，则控制器170进行到操作2020，其中控制器170控制移动终端100在双显示模式下操作。在操作2020中，如果外部显示设备连接到移动终端100，则控制器170向外部显示设备发送请求屏幕大小信息(例如，分辨率信息)的消息。响应于所述请求，外部设备向移动终端100发送包括屏幕大小信息的响应消息。显示单元130在控制器170的控制下显示包括虚拟控制器的图标的第一主屏幕。外部显示设备在控制器170的控制下显示第二主屏幕。此时，基于从外部显示设备接收到的屏幕大小信息确定第二主屏幕的分辨率。例如，格式化第二主屏幕以匹配外部显示设备的屏幕大小。如果用户在第一主屏幕上对虚拟控制器的图标做出轻击的手势，则显示单元130向控制器170生成相应于轻击手势的输入信号。控制器170接收输入信号并响应于输入信号运行虚拟控制器。虚拟控制器请求内核生成虚拟触摸屏。所述内核，特别是U输入模块，为将显示单元130仿真为外部显示设备的输入设备而生成虚拟触摸屏。同时，显示单元130可以在控制器170的控制下，显示虚拟控制器的运行屏幕(例如，仿真屏幕)。此时，仿真屏幕包括触摸区域。仿真屏幕还可以包括至少一个软键(例如，左鼠标按钮，右鼠标按钮，最小化按钮，最大化按钮，以及关闭按钮)。可以以重叠窗口的形式显示仿真屏幕。此外，当在第一屏幕区域中显示另一个屏幕的同时在第二屏幕区域上显示仿真屏幕。仿真屏幕响应于用户的请求关闭。如果用户选择第一主屏幕上的相应图标，则仿真屏幕再次出现。当外部显示设备连接到移动终端100时，虚拟控制器可以自动运行。用户可以打开/关闭自动运行功能。在显示仿真屏幕的情况下，控制器170控制外部显示设备在另一个屏幕(例如，第二主屏幕)上以重叠的形式显示指针。如果仿真屏幕功能终止，则指针消失。
在操作2030中，控制器170监控以检测用户输入。
在操作2035中，控制器170确定是否在显示单元130上检测到用户输入。用户输入可以是触摸，多触摸，轻击，双击，长击，拖曳，轻弹，按压，缩进，以及放大和/或等等中的任意一个。
如果在步骤2035中控制器确定没有在显示单元130上检测到用户输入，则控制器170进行到操作2030。
如果在步骤2035中控制器170确定在显示单元130上检测到用户输入，则控制器170进行到操作2040，其中控制器170确定用户输入是否和外部显示设备相关。例如，如果没有显示仿真屏幕，则控制器170确定用户输入和外部显示设备不相关。否则，如果显示了仿真屏幕，则控制器170确定用户输入和外部显示设备相关。如果在仿真屏幕显示在第一屏幕区域上并且另一屏幕显示在第二屏幕区域的状态下，在第一屏幕区域检测到用户输入，则控制器170确定用户输入和外部显示设备相关。如果在第二屏幕区域中检测到用户输入，则控制器170确定用户输入和外部显示设备不相关。
如果在操作2040中控制器170确定用户输入和外部显示设备相关，则控制器进行到操作2050，其中控制器170响应于用户输入执行和外部显示设备的屏幕相关的功能。例如，如果在仿真屏幕的触摸区域上检测到拖曳手势，则控制器170沿拖曳方向移动指针。例如，在控制器170的控制下，外部显示设备示出指针在运动。如果在仿真屏幕的触摸区域检测到轻击手势或在指针放置在触摸区域中的状态下点击左鼠标按钮，则控制器170运行由其上放置指针的图标表示的应用并控制外部显示设备显示运行屏幕。如果用户输入是“轻击&触摸后接着拖曳”，则控制器170沿着其上放置指针的运行窗口移动指针。如上参考操作2050所述，显示单元130用作外部显示设备的输入设备。
如果在操作2040中控制器170确定用户输入和外部显示设备的屏幕不相关(例如，如果用户和显示单元130的屏幕相关)，则控制器170进行到操作2060，其中控制器170响应于用户输入执行和显示单元130的屏幕相关的功能。例如，如果用户输入是拖曳，则控制器170根据拖曳方向改变屏幕。例如，第一主屏幕的第一页可以替换为第二页。如果用户输入是轻击，则控制器170运行通过轻击的图标表示的应用并控制显示单元130显示运行屏幕。
在操作2070中，控制器170确定是否输入了双显示模式终止请求。例如，当外部显示设备和移动终端100之间的连接释放时，终止双显示模式。否则，控制器170返回到操作2030。
图21是示出根据本公开的一个实施例的、用于解释在外部显示设备上移动指针的过程的软件架构的图。图22是示出根据本公开的一个实施例的、用于解释在外部显示设备上移动指针的过程的、移动终端和外部显示设备的屏幕显示的图。
参考图21，控制器170包括虚拟控制器310、U输入模块320、虚拟触摸屏330、虚拟多触摸屏340、X服务器350、以及应用360。
在操作1中，运行虚拟控制器310。
在操作2中，虚拟控制器310控制显示单元130显示仿真屏幕，包括仿真区域410、左鼠标按钮420、右鼠标按钮430、最小化按钮440、最大化按钮450、以及结束按钮460。
在操作3中，虚拟控制器310向U输入模块320传输对于虚拟触摸屏创建的请求。
在操作4中，U输入模块320创建虚拟触摸屏和虚拟多触摸触摸屏。
在操作5中，向X服务器350传送触摸坐标(xn，yn)。
在操作6中，X服务器350向虚拟控制器310转发触摸坐标(xn，yn)。
在操作7中，虚拟控制器310确定(xn，yn)是否是仿真区域410的坐标。
如果触摸坐标(xn，yn)是仿真区域410的坐标，则在操作8中，虚拟控制器310计算触摸位移(dx(xn-xn-1)，dy(yn-yn-1))。(xn-1，yn-1)是之前检测到的触摸坐标。
在操作9中，虚拟控制器310向U输入模块320发送位置位移(dx，dy)。
在操作10中，U输入模块320向虚拟触摸屏330发送位置位移(dx，dy)。
在操作11中，虚拟触摸屏330向X服务器350发送位置位移(dx，dy)。
在操作12中，X服务器350向与外部显示设备关联的应用360发送位置位移(dx，dy)。应用响应于位置位移(dx，dy)将指针470从第一位置480移动到第二位置490，如图22所示。
图23是示出根据本公开的一个实施例的、用于解释改变显示在外部显示设备上的图像大小的过程的软件架构的图。图24是示出根据本公开的一个实施例的、用于解释改变在外部显示设备上显示的图像大小的过程的、移动终端和外部显示设备屏幕显示的图。
参考图23，控制器170包括虚拟控制器510、U输入模块520、虚拟触摸屏530、虚拟多触摸屏540、X服务器550、以及应用560。
图23的操作1至4和图21中的那些操作相同。
在操作5中，向X服务器550发送第一触摸坐标(x1，y1)和第二触摸坐标(x2，xy)。
在操作6中，X服务器550将第一触摸坐标(x1，y1)和第二触摸坐标(x2，y2)发送到虚拟控制器510。
在操作7中，虚拟控制器510确定第一触摸坐标(x1，y1)和第二触摸坐标(x2，y2)是否是仿真区域610中的坐标。
如果第一触摸坐标(x1，y1)和第二触摸坐标(x2，y2)是仿真区域610中的坐标，则在操作8中，虚拟控制器510确定仿真区域610的大小(A)和运行窗口620的大小(B)(参见图6)，并分别将第一触摸坐标(x1，y1)和第二触摸坐标(x2，y2)转换为第三触摸坐标(x3，y3)和第四触摸坐标(x4，y4)。
在操作9中，虚拟控制器510将第三触摸坐标(x3，y3)和第四触摸坐标(x4，y4)发送到U输入模块520。
在操作10中，U输入模块520向虚拟多触摸屏540发送第三触摸坐标(x3，y3)和第四触摸坐标(x4，y4)。
在操作11中，虚拟多触摸屏540向X服务器550发送第三触摸坐标(x3，y3)和第四触摸坐标(x4，y4)。
在操作12中，X服务器550向和外部显示设备相关的应用发送第三触摸坐标(x3，y3)和第四触摸坐标(x4，y4)。应用560基于第三触摸坐标(x3，y3)和第四触摸坐标(x4，y4)改变(例如，放大)运行窗口620的大小。
如上所述，根据本公开的各个实施例，移动终端的桌面可视化方法和装置提供了能够允许移动终端与外部显示设备互操作以执行桌面环境操作的桌面可视化功能。由此，根据本公开各个实施例的桌面可视化方法和装置能够为用户提供用于呈现更多信息并且满足更多用户需求的桌面窗口环境。根据本公开的各个实施例，桌面可视化方法和装置能够解决由移动设备的大小受限的屏幕造成的不便，并允许用户在桌面环境中、在连接的外部显示设备的大屏幕上使用移动终端。
根据本公开的各个实施例，桌面可视化方法和装置能够为移动终端用户提供优化的桌面窗口环境，以使得改善用户体验和可用性以及用户终端的竞争力。根据本公开的各个实施例，桌面可视化方法和装置可应用于所有类型的移动终端和支持多屏幕功能的等同设备。
根据本公开的各个实施例，移动终端的每个显示设备窗口布局提供方法和装置能够为用户提供适合各种显示设备的各种窗口布局的屏幕显示。根据本公开的各个实施例，所述方法和装置能够提供显示设备特定的屏幕布局以使得改善用户体验。
根据本公开的各个实施例，本公开的每个显示设备的窗口布局提供方法和装置能够配置相应于至少两个显示设备的不同的窗口布局策略，以使得运行应用，根据和显示设备匹配的窗口布局策略以显示设备特定窗口布局形成所述应用的运行屏幕。根据本公开的各个实施例，所述方法和装置能够解决由移动设备的大小受限的屏幕造成的不便，并允许用户在桌面环境中、在连接的外部显示设备的大屏幕上使用移动终端。
根据本公开的各个实施例，所述方法和装置能够以和显示设备匹配的格式提供用于显示屏幕的优化环境，以使得改善用户体验和可用性以及用户终端的竞争力。根据本公开的各个实施例，所述方法和装置可应用于所有类型的移动终端和支持多屏幕功能的等同设备。
根据本公开的各个实施例，和外部显示设备互操作的移动终端的用户输入处理方法和装置能够为用户提供多显示模式环境，而不需要额外的外部输入设备。根据本公开的各个实施例，所述方法和装置能够使用移动终端和外部显示设备的触摸屏为用户提供双屏幕模式环境。
可以以计算机可运行程序命令的形式实现上述本公开的各个实施例，并存储在非暂时性计算机可读存储介质中。非暂时性计算机可读存储介质可以以单独或组合的形式存储程序命令、数据文件、以及数据结构。可以为本公开的各个实施例设计和实现或由计算机软件领域的技术人员使用记录在存储介质中的程序命令。
非暂时性计算机可读存储介质包括磁性介质，诸如软盘和磁带，包括光盘(CD)ROM和数字视频盘(DVD)ROM的光介质，诸如光磁盘的光磁介质，以及为存储和运行程序命令设计的硬件设备，诸如ROM，RAM，闪存等等。所述程序命令包括通过使用翻译器的计算机可运行的语言编码和编译器创建的机器语言编码。前述的硬件设备可以利用用于运行本公开的各个实施例的操作的一个或多个软件模块实现。
虽然参考各个实施例示出和描述了本公开，但是本领域技术人员应该理解可以从中做出各种形式和细节的改变，而不离开由所附权利要求和其等同物定义的本公开的精神和范围。

Claims (15)

1.一种用于处理在配备有触摸屏并且连接到外部显示设备的移动终端上进行的用户输入的方法，所述方法包括：
由移动终端向外部显示设备输出窗口屏幕，以在外部显示设备的第一屏幕上显示该窗口屏幕；
检测触摸屏上的用户输入；
确定所述用户输入是否与所述外部显示设备的第一屏幕有关；以及
当所述用户输入与第一屏幕有关时，响应于所述用户输入执行与第一屏幕有关的功能，并且当所述用户输入与第一屏幕无关时，响应于所述用户输入执行与触摸屏的第二屏幕有关的功能。
2.如权利要求1所述的方法，其中确定所述用户输入是否与所述外部显示设备的第一屏幕有关包括：
当在触摸屏上显示的触摸屏仿真屏幕上检测到所述用户输入时，确定所述用户输入与所述外部显示设备的第一屏幕有关，并且当在触摸屏上没有显示仿真屏幕时或者当在仿真屏幕之外检测到所述用户输入时，确定所述用户输入与第一屏幕无关。
3.如权利要求2所述的方法，其中所述仿真屏幕包括触摸区域和至少一个软键。
4.如权利要求3所述的方法，其中执行所述功能包括：
当在所述触摸区域中检测到拖拽时，显示在所述拖拽的方向上移动的点。
5.如权利要求3所述的方法，其中执行所述功能包括：
当在所述触摸区域中检测到第一触摸坐标和第二触摸坐标时，将第一和第二触摸坐标分别转换为第三和第四触摸坐标；以及
基于第三和第四坐标改变第一屏幕的尺寸。
6.如权利要求5所述的方法，其中执行所述功能包括：
基于所述触摸区域的大小和第一屏幕的大小将第一和第二触摸坐标分别转换为第三和第四触摸坐标。
7.如权利要求1所述的方法，还包括：
当外部显示设备连接到所述移动终端时，将第一屏幕发送到所述外部显示设备。
8.一种移动终端，包括：
接口单元，被配置为通过有线链路连接到外部显示设备；
无线电通信单元，被配置为通过无线链路连接到外部显示设备；
触摸屏，包括触摸面板和显示面板；以及
控制器，被配置为控制接口单元，无线电通信单元和触摸屏，
其中，所述控制器向外部显示设备输出窗口屏幕，以在外部显示设备的第一屏幕上显示该窗口屏幕，检测用户输入，确定所述用户输入是否与所述外部显示设备的第一屏幕有关，当所述用户输入与第一屏幕有关时，响应于所述用户输入执行与第一屏幕有关的功能，并且当所述用户输入与第一屏幕无关时，响应于所述用户输入执行与触摸屏的第二屏幕有关的功能。
9.如权利要求8所述的移动终端，其中，当在触摸屏上显示的触摸屏仿真屏幕上检测到用户输入时，控制器确定所述用户输入与所述外部显示设备的第一屏幕有关，并且当在触摸屏上没有显示仿真屏幕时或者当在仿真屏幕之外检测到所述用户输入时，确定所述用户输入与第一屏幕无关。
10.如权利要求9所述的移动终端，其中所述仿真屏幕包括触摸区域和至少一个软键。
11.如权利要求10所述的移动终端，其中，当在所述触摸区域中检测到拖拽时，控制器控制所述外部显示设备显示在所述拖拽的方向上移动的点。
12.如权利要求10所述的移动终端，其中，当在所述触摸区域中检测到第一触摸坐标和第二触摸坐标时，控制器将第一和第二触摸坐标分别转换为第三和第四触摸坐标，并且基于第三和第四坐标改变第一屏幕的尺寸。
13.如权利要求12所述的移动终端，其中，所述控制器基于所述触摸区域的大小和第一屏幕的大小，将第一和第二触摸坐标分别转换为第三和第四触摸坐标。
14.如权利要求8所述的移动终端，其中当外部显示设备连接到接口单元或无线电通信单元时，控制器控制接口单元或无线电通信单元将第一屏幕发送到所述外部显示设备。
15.如权利要求8所述的移动终端，其中，接口单元包括用于将第一屏幕传输到外部显示设备的高清多媒体接口(HDMI)。
CN201810688583.XA 2012-09-10 2013-09-10 连接移动终端和外部显示器的方法和实现该方法的装置 Active CN108845782B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201261698985P 2012-09-10 2012-09-10
US201261698909P 2012-09-10 2012-09-10
US61/698,985 2012-09-10
US61/698,909 2012-09-10
KR10-2012-0104823 2012-09-20
KR20120104823 2012-09-20
KR10-2012-0104794 2012-09-20
KR20120104794 2012-09-20
KR1020130003465A KR20140034025A (ko) 2012-09-10 2013-01-11 휴대단말에서 표시장치별 윈도우 레이아웃 제공 방법 및 장치
KR10-2013-0003465 2013-01-11
CN201310638141.1A CN103677711B (zh) 2012-09-10 2013-09-10 连接移动终端和外部显示器的方法和实现该方法的装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201310638141.1A Division CN103677711B (zh) 2012-09-10 2013-09-10 连接移动终端和外部显示器的方法和实现该方法的装置

Publications (2)

Publication Number Publication Date
CN108845782A CN108845782A (zh) 2018-11-20
CN108845782B true CN108845782B (zh) 2021-11-30

Family

ID=49182079

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201810688583.XA Active CN108845782B (zh) 2012-09-10 2013-09-10 连接移动终端和外部显示器的方法和实现该方法的装置
CN201810689853.9A Active CN108958685B (zh) 2012-09-10 2013-09-10 连接移动终端和外部显示器的方法和实现该方法的装置
CN201310638141.1A Active CN103677711B (zh) 2012-09-10 2013-09-10 连接移动终端和外部显示器的方法和实现该方法的装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201810689853.9A Active CN108958685B (zh) 2012-09-10 2013-09-10 连接移动终端和外部显示器的方法和实现该方法的装置
CN201310638141.1A Active CN103677711B (zh) 2012-09-10 2013-09-10 连接移动终端和外部显示器的方法和实现该方法的装置

Country Status (5)

Country Link
US (1) US20220164091A1 (zh)
EP (4) EP3355561B1 (zh)
JP (1) JP6478181B2 (zh)
CN (3) CN108845782B (zh)
WO (1) WO2014038918A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10025684B2 (en) 2014-09-24 2018-07-17 Microsoft Technology Licensing, Llc Lending target device resources to host device computing environment
US9769227B2 (en) 2014-09-24 2017-09-19 Microsoft Technology Licensing, Llc Presentation of computing environment on multiple devices
US10448111B2 (en) 2014-09-24 2019-10-15 Microsoft Technology Licensing, Llc Content projection
US9678640B2 (en) 2014-09-24 2017-06-13 Microsoft Technology Licensing, Llc View management architecture
US9860306B2 (en) 2014-09-24 2018-01-02 Microsoft Technology Licensing, Llc Component-specific application presentation histories
US10635296B2 (en) 2014-09-24 2020-04-28 Microsoft Technology Licensing, Llc Partitioned application presentation across devices
KR101594105B1 (ko) * 2015-03-06 2016-02-16 주식회사 와이젯 사용자 장치 간에 여러 화면을 분배하고 입력 인터페이스를 공유하는 멀티 스크린 구현 방법 및 장치
CN108292194A (zh) * 2015-10-02 2018-07-17 皇家飞利浦有限公司 用于显示数据的装置
CN105516781A (zh) * 2015-12-09 2016-04-20 小米科技有限责任公司 应用程序排布方法及装置
EP3751405A1 (en) * 2016-06-12 2020-12-16 Apple Inc. User interface for managing controllable external devices
DK179593B1 (en) 2016-06-12 2019-02-25 Apple Inc. USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES
KR102365678B1 (ko) * 2017-03-29 2022-02-21 삼성전자주식회사 외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치
CN114185474A (zh) 2017-06-09 2022-03-15 华为技术有限公司 一种显示方法及装置
US11073983B2 (en) 2017-06-13 2021-07-27 Huawei Technologies Co., Ltd. Display method and apparatus
CN107493375B (zh) * 2017-06-30 2020-06-16 北京超卓科技有限公司 移动终端扩展式投屏方法及投屏系统
CN107846466B (zh) * 2017-11-15 2020-04-07 中国联合网络通信集团有限公司 云终端外部设备的映射方法、服务器、云终端及系统
CN109753256A (zh) 2018-03-29 2019-05-14 北京字节跳动网络技术有限公司 一种窗口控制栏的布局方法、装置及设备
CN109753215B (zh) 2018-04-02 2020-03-27 北京字节跳动网络技术有限公司 一种窗口分屏显示方法、装置及设备
EP4113989A1 (en) 2018-05-07 2023-01-04 Apple Inc. User interfaces for viewing live video feeds and recorded video
KR102527824B1 (ko) * 2018-07-31 2023-05-02 삼성전자주식회사 복수의 출력 화면 환경에서 가상 입력 인터페이스의 표시를 제어하기 위한 전자 장치 및 그의 동작 방법
CN109358937A (zh) * 2018-09-30 2019-02-19 上海达龙信息科技有限公司 一种基于虚拟输入装置远程操控pc的方法及系统
CN109814825B (zh) * 2018-12-29 2021-01-08 维沃移动通信有限公司 显示屏操控方法和移动终端
CN109874129B (zh) * 2019-03-31 2021-11-16 联想(北京)有限公司 一种数据处理方法及电子设备
CN112019893B (zh) * 2019-05-30 2023-09-12 北京小米移动软件有限公司 终端的投屏方法和终端的投屏装置
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
JP7214165B2 (ja) 2019-12-24 2023-01-30 株式会社ユピテル 電子情報システム及びそのプログラム
CN113050841A (zh) * 2019-12-26 2021-06-29 华为技术有限公司 显示多窗口的方法、电子设备和系统
CN111258668B (zh) * 2020-02-20 2023-05-23 湖南麒麟信安科技股份有限公司 一种gpu虚拟桌面动态切换显示的方法及装置
CN113395563A (zh) * 2020-03-13 2021-09-14 西安诺瓦星云科技股份有限公司 节目信息展示方法、装置及系统和计算机可读存储介质
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
CN112698764A (zh) * 2020-12-31 2021-04-23 联想(北京)有限公司 一种处理方法及装置
CN112733366B (zh) * 2021-01-12 2022-09-16 中国人民解放军陆军军事交通学院军事交通运输研究所 一种实时高爆弹破片毁伤仿真方法
CN115705229A (zh) * 2021-08-06 2023-02-17 北京小米移动软件有限公司 显示控制方法和系统、移动终端、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222710A (zh) * 2008-01-31 2008-07-16 中兴通讯股份有限公司 一种移动终端上实现菜单动态配置的系统及方法
WO2011135352A1 (en) * 2010-04-26 2011-11-03 Hu-Do Limited A computing device operable to work in conjunction with a companion electronic device

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252607B1 (en) * 1998-07-27 2001-06-26 Attachmate Corporation Method and system for character spacing in graphics terminal emulation
JP4300703B2 (ja) * 2000-11-15 2009-07-22 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム格納媒体
US7895522B2 (en) * 2001-09-28 2011-02-22 Ntt Docomo, Inc. Layout of platform specific graphical user interface widgets migrated between heterogeneous device platforms
KR20050022406A (ko) * 2003-08-30 2005-03-08 삼성전자주식회사 멀티스크린 디스플레이 시스템 및 그 제어방법
US20070273648A1 (en) * 2003-12-23 2007-11-29 Thomas Fussinger Method and Apparatus for Entering Data with a Four Way Input Device
KR100744380B1 (ko) * 2006-04-17 2007-07-30 삼성전자주식회사 외부 디스플레이 장치로 영상을 출력할 수 있는 기능을구비한 이동 단말기에서의 디스플레이 제어 장치 및 방법
JP2009140471A (ja) * 2007-11-12 2009-06-25 Canon Inc 映像機器、その制御方法及びプログラム
WO2009143294A2 (en) * 2008-05-20 2009-11-26 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device
KR101111566B1 (ko) * 2008-05-23 2012-02-24 삼성전자주식회사 휴대 단말기의 인터페이스 전환 장치 및 방법
JP5292948B2 (ja) * 2008-06-30 2013-09-18 富士通株式会社 表示及び入力機能を備えた装置
US20100064228A1 (en) * 2008-09-11 2010-03-11 Ely Tsern Expandable system architecture comprising a handheld computer device that dynamically generates different user environments with secondary devices with displays of various form factors
US20100259464A1 (en) * 2009-04-14 2010-10-14 Jae Young Chang Terminal and controlling method thereof
JP4676011B2 (ja) * 2009-05-15 2011-04-27 株式会社東芝 情報処理装置、表示制御方法およびプログラム
US9241062B2 (en) * 2009-05-20 2016-01-19 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device
WO2011029394A1 (zh) * 2009-09-11 2011-03-17 联想(北京)有限公司 便携终端的显示控制方法及便携终端
US9285799B2 (en) * 2009-11-23 2016-03-15 Fisher-Rosemount Systems, Inc. Methods and apparatus to dynamically display data associated with a process control system
KR101642722B1 (ko) * 2010-02-04 2016-07-27 삼성전자 주식회사 듀얼 표시부를 가지는 휴대단말 및 그 표시부의 표시 제어 방법
US11068149B2 (en) * 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
CN101916186A (zh) * 2010-07-30 2010-12-15 深圳创维－Rgb电子有限公司 一种移动终端视图的扩展显示方法、装置及终端
WO2012020865A1 (ko) * 2010-08-13 2012-02-16 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
US20120050183A1 (en) * 2010-08-27 2012-03-01 Google Inc. Switching display modes based on connection state
US9159298B2 (en) * 2010-09-08 2015-10-13 Lg Electronics Inc. Terminal and contents sharing method for terminal
US9207859B2 (en) * 2010-09-14 2015-12-08 Lg Electronics Inc. Method and mobile terminal for displaying fixed objects independent of shifting background images on a touchscreen
EP2625591A4 (en) * 2010-10-05 2014-04-30 Citrix Systems Inc TOUCH SUPPORT FOR REMOTE APPLICATIONS
WO2012046890A1 (ko) * 2010-10-06 2012-04-12 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
EP2625646B1 (en) * 2010-10-06 2022-06-22 Citrix Systems Inc. Mediating resource access based on a physical location of a mobile device
FR2966261A1 (fr) * 2010-10-15 2012-04-20 Sagem Wireless Procede de navigation au sein d'un terminal mobile, et terminal incluant le procede
JP2012108719A (ja) * 2010-11-17 2012-06-07 Ntt Docomo Inc 電子機器及び入出力方法
CN102541768B (zh) * 2010-12-21 2015-11-25 联想(北京)有限公司 一种移动终端、状态切换方法及显示方法
US8369893B2 (en) * 2010-12-31 2013-02-05 Motorola Mobility Llc Method and system for adapting mobile device to accommodate external display
US20120198386A1 (en) * 2011-01-31 2012-08-02 Nokia Corporation Causing display of thumbnail images
JP5259772B2 (ja) * 2011-05-27 2013-08-07 株式会社東芝 電子機器、操作支援方法及びプログラム
CN102291477B (zh) * 2011-08-19 2016-09-28 中兴通讯股份有限公司 移动终端及其屏幕布局方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222710A (zh) * 2008-01-31 2008-07-16 中兴通讯股份有限公司 一种移动终端上实现菜单动态配置的系统及方法
WO2011135352A1 (en) * 2010-04-26 2011-11-03 Hu-Do Limited A computing device operable to work in conjunction with a companion electronic device

Also Published As

Publication number Publication date
CN103677711B (zh) 2018-07-20
EP3355561B1 (en) 2021-04-28
CN108958685A (zh) 2018-12-07
JP2014053014A (ja) 2014-03-20
CN103677711A (zh) 2014-03-26
JP6478181B2 (ja) 2019-03-06
CN108845782A (zh) 2018-11-20
US20220164091A1 (en) 2022-05-26
CN108958685B (zh) 2021-11-02
EP2706740A1 (en) 2014-03-12
EP2706740B1 (en) 2018-05-16
EP3873073A1 (en) 2021-09-01
EP3355561A1 (en) 2018-08-01
EP4164203A1 (en) 2023-04-12
WO2014038918A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
US11698720B2 (en) Method for connecting mobile terminal and external display and apparatus implementing the same
CN108845782B (zh) 连接移动终端和外部显示器的方法和实现该方法的装置
US11494244B2 (en) Multi-window control method and electronic device supporting the same
US10452333B2 (en) User terminal device providing user interaction and method therefor
EP2752840B1 (en) Method and mobile device for displaying moving images
JP2022023849A (ja) 表示制御方法及び装置
KR102080146B1 (ko) 휴대단말과 외부 표시장치 연결 운용 방법 및 이를 지원하는 장치
KR102015347B1 (ko) 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치
EP2753053B1 (en) Method and apparatus for dynamic display box management
KR20150004713A (ko) 사용자 디바이스에서 어플리케이션 연동 방법 및 장치
EP2746924A2 (en) Touch input method and mobile terminal
KR20130116976A (ko) 이동 단말기 및 그 제어방법
KR101667721B1 (ko) 다중 디스플레이 방법 및 이를 이용하는 이동 단말기
KR102157078B1 (ko) 휴대 단말기에서 전자문서 작성 방법 및 장치
KR102375216B1 (ko) 어플리케이션의 표시 비율 변경 방법 및 이를 구현한 전자 장치
KR102382074B1 (ko) 멀티윈도우 운용 방법 및 이를 지원하는 전자 장치
CN111580706A (zh) 提供用户交互的电子设备及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant