CN107077353A - 终端设备及其控制方法 - Google Patents

终端设备及其控制方法 Download PDF

Info

Publication number
CN107077353A
CN107077353A CN201580060028.7A CN201580060028A CN107077353A CN 107077353 A CN107077353 A CN 107077353A CN 201580060028 A CN201580060028 A CN 201580060028A CN 107077353 A CN107077353 A CN 107077353A
Authority
CN
China
Prior art keywords
application
terminal device
metadata
display
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201580060028.7A
Other languages
English (en)
Inventor
孙廷周
金伦秀
潘尚熙
李锦九
李惠珍
陈英奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107077353A publication Critical patent/CN107077353A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Hardware Design (AREA)

Abstract

本公开描述了用于互链应用/设备的方法、设备和系统。在本文的一种方法中，终端设备显示存储在所述终端设备上的应用当中的可操作/运行应用的用户界面(UI)屏幕。当元数据被输入至与所述显示的UI屏幕相对应的所述可操作/运行应用中时，为与所述可操作/运行应用互链的应用提供被输入至第一应用中的所述元数据中的全部或部分元数据。

Description

终端设备及其控制方法
技术领域
本公开大体上涉及一种终端设备及其控制方法，并且更具体地涉及一种在其中有多个被安装的应用互链(interlink)并且彼此协同操作的终端设备、以及其控制方法。
背景技术
终端设备是指一种可通过通信网络连接至互联网或其它网络并且从其中接收各种内容的设备。各种各样的应用可被安装在终端设备(诸如智能电话)中，且因此用户能够发现、安装和使用各种应用。
然而，被安装在终端设备中的一些应用不能彼此协同操作。因此，难以与一个应用和/或在该一个应用中共享和/或使用在另一个应用中再现或执行的信息和/或内容。
例如，当正使用音乐再现应用听歌的用户希望观看歌曲的音乐视频时，用户需要核对关于歌曲的信息(例如，歌曲的标题或演唱者)、操作用于观看音乐视频的单独应用，并且基于从音乐再现应用检索的关于歌曲的信息来搜索音乐视频。如此实例中所示，用户可能必须采取若干步骤来获得与目前被再现和/或访问的内容直接有关的所需信息。
当用户无需或不能获得关于目前在应用中被再现的内容的信息时，前述搜索过程变得更加困难。
发明内容
技术方案
本公开至少解决了上文所讨论的问题并且至少提供了下文描述的优点。根据本公开的一个方面，提供了一种在其中多个被安装的应用可互链并且彼此协同操作的方法和终端设备。
根据本公开的方面，提供了一种终端设备，所述终端设备包括：存储装置，所述存储器装置能够存储多个应用，所述应用中的一些应用可互链；显示器，所述显示器能够显示所述多个存储的应用当中的第一应用的用户界面(UI)屏幕；以及控制器，当元数据被输入至与所述显示的UI屏幕相对应的所述第一应用中时，所述控制器向与所述第一应用互链的第二应用提供被输入至所述第一应用中的所述元数据中的至少一些元数据。
根据本公开的另一方面，提供了一种终端设备，所述终端设备包括：存储装置，所述存储器装置能够存储多个应用；显示器，所述显示器能够用户界面(UI)对象，所述UI对象中的每一个UI对象对应于所述多个存储的应用中的一个应用；以及控制器，响应于至少一个第一显示的UI对象被放置在第二显示的UI对象上，所述控制器将对应于所述第一UI对象和第二UI对象的两个应用互链。
根据本公开的另一方面，提供了一种用于控制终端设备的方法，所述方法包括：显示存储在所述终端设备上的多个应用当中的第一应用的用户界面(UI)屏幕；以及当元数据被输入至与所述显示的UI屏幕相对应的第一应用中时向与所述第一应用互链的第二应用提供被输入至所述第一应用中的所述元数据中的至少一些元数据。
根据本公开的另一方面，提供了一种用于控制终端设备的方法，所述方法包括：显示用户界面(UI)对象，所述UI对象中的每一个UI对象对应于存储在所述终端设备上的多个应用中的一个应用；以及当接收到用于将至少一个第一显示的UI对象放置在第二显示的UI对象上的控制命令时将对应于所述第一UI对象和第二UI对象的两个应用互链。
根据本公开的另一方面，提供了一种计算机可读介质，所述计算机可读介质具有用于执行用于控制终端设备的方法的程序。所述方法包括：显示存储在所述终端设备上的多个应用当中的第一应用的用户界面(UI)屏幕；以及当元数据被输入至与所述显示的UI屏幕相对应的第一应用中时向与所述第一应用互链的第二应用提供被输入至所述第一应用中的所述元数据中的至少一些元数据。
附图说明
以上和其它特征、优点和/或方面在结合附图取得的以下详述中将是显而易见的并且更加容易明白，在附图中：
图1是说明根据本公开的实施例的终端设备的结构的框图；
图2是说明根据本公开的实施例的软件的配置的框图；
图3A和3B是说明根据本公开的实施例的多个应用的互链操作的视图；
图4是说明根据本公开的实施例的两个应用之间的互链操作的视图；
图5是可根据本公开的实施例来执行的四种类型的互链操作的视觉表示；
图6至10是示出根据本公开的实施例的互链操作的各个实例的屏幕显示的视图；
图11A至11C是根据本公开的第一实施例的当执行用于设置互链的方法时的连续屏幕显示的视图；
图12是根据本公开的实施例的显示在TV(即，另一终端设备)上的用户界面(UI)窗口的实例，所述另一终端设备与第二应用(图11C中的执行窗口1152)互链；
图13A至13D是根据本公开的第二实施例的执行用于设置互链的方法时的连续屏幕显示的视图；
图14A至14D是根据本公开的第三实施例的执行用于设置互链的方法时的连续屏幕显示的视图；
图15A和15B是根据本公开的第四实施例的执行用于设置互链的方法时的连续屏幕显示的视图；
图16A和16B也是根据本公开的第四实施例的执行用于设置互链的方法时的连续屏幕显示的视图；
图17A和17B是根据本公开的实施例的预览操作的视觉表示；以及
图18是用于控制根据本公开的实施例的终端设备的方法的流程图。
发明模式
下文将参考附图详细地描述本公开的实施例。相同或类似部件可被相同或类似附图标号指定，但是它们是在不同附图中进行说明。本领域中已知的构造或处理程序的详细描述可被省略以避免混淆本公开的和/或已经为本领域一般技术人员所已知的主旨。
术语“第一”、“第二”、……在本文可以用来标记/指定各个部件、部分、步骤等，但是这些术语仅用来区分一个部件、部分、步骤等于其它部件、部分、步骤等。
在本公开中使用的术语仅用于描述/说明目的，并且无意限制本公开的范围。除非上下文另有指示，否则单数表达还包括复数含义。在本申请中，“模块”或“单元”可执行至少一个功能或操作，并且可以硬件、软件或硬件与软件的组合实施。
图1是说明根据本公开的实施例的终端设备的结构的框图。
在图1中，根据本公开的实施例的终端设备100包括通信接口110、显示器120、操控输入单元130、存储装置140和控制器150。终端设备100可以是智能电话、膝上型计算机、便携式多媒体播放器(PMP)、MP3播放器、智能TV、可穿戴式装置(例如，智能手表)等。
通信接口110将终端设备100连接至外部设备(诸如(更具体地)其它终端设备和/或互联网或其它网络)。通信接口110可由局域网(LAN)、互联网和/或无线通信方法连接至外部设备，所述无线通信方法诸如(例如)Z波、4LoWPAN(IEEE 802.15.4低功率个人局域网)、射频识别(RFID)、长期演进(LTE)、装置间(D2D)通信、低功耗蓝牙(BLE)、通用分组无线服务(GPRS)、失重(Weightless)、边缘无线个域网(Edge Zigbee)、来自于ANT+联盟的ANT+协议、近场通信(NFC)、红外线数据联盟(IrDA)、欧洲数字无绳电话(DECT)、无线局域网(WLAN)、蓝牙、无线保真(Wi-Fi)、Wi-Fi直连、通用移动通信系统/标准(GSM)、通用移动通信系统(UMTS)、LTE、无线宽带互联网(WiBro)等。
通信接口110可将各种数据传输至其它终端设备/从其它终端设备接收各种数据。更具体地，通信接口110可从其它终端设备接收元数据和/或内容。例如，当目前在终端设备100上操作的应用与其它终端设备互链并且协同操作时，通信接口110可从其它终端设备接收用于操作应用的元数据和内容。
在本文中，另一终端设备可以是能够执行如本文所述的功能的任何设备。根据本公开的实施例的终端设备100或其连接的其它终端设备可以是(例如)智能电话、膝上型计算机、台式个人计算机(PC)、个人数字助手(PDA)、电子书(E-book)阅读器、用于数字广播的终端、一体机、电子相框、导航、数字TV、可穿戴式装置(诸如，例如，腕表或头戴式显示器(HMD))和其它移动/非移动计算装置。
如本文所使用的元数据可以是与内容有关的属性(例如，音乐内容的歌曲标题或演唱者、图像内容的拍摄时间信息或拍摄位置信息等)、用户账号信息、位置信息、统一资源定位符(URL)地址或针对其它终端设备的控制命令。元数据可包括如上所述的一个或多个信息片段等。
通信接口110可将控制命令和/或内容传输至其它终端设备。例如，当目前在终端设备100上操作的应用与其它终端设备互链并且协同操作时，通信接口110可将在目前操作的应用中生成的控制命令和/或内容传输至其它终端设备中的一个或多个终端设备。
显示器120可显示终端设备100所支持的任何事物。显示器120可以是诸如液晶显示器(LCD)、阴极射线管(CRT)等的监视器。另外，显示器120可被实现为触摸屏，所述触摸屏还执行下文所述的操控输入单元130的功能。
被安装在终端设备100中的应用列表可显示在显示器120上。例如，显示器120可将应用显示为图标、微件(widget)或图块(tile)(可能仅包括其名称/标题的部分)或显示为执行窗口，所述执行窗口在应用的操作屏幕内部或形成所述操作屏幕。在下文中，表示应用(诸如，例如，前述图标、微件、图块、执行窗口等)和/或与所述应用有关的任何图形对象均被称为“用户界面(UI)对象”。
针对目前操作的互链应用，显示器120可显示通知用户应用已被互链的指示符/图标/符号/标志。此指示或标志可显示在各个位置中，诸如互链应用/对象的图标之间、微件与图标之间、微件窗口与微件窗口之间、执行窗口与图标之间、执行窗口与执行窗口之间、微件窗口与执行窗口之间等。所述指示或标志本身可为特定图标，或可为边缘、布局、框和/或其它指示，所述其它指示示出了成块或者在一起的两个微件或执行窗口。例如，当目前操作的应用与在另一终端设备上操作的另一应用互链时，显示器120可显示已互链的它们的执行窗口。响应于具有互链标志的图标(或微件)被用户选择，显示器120可同时显示对应于图标的执行窗口。在此情况中，显示器120可显示不同的指示符/图标/符号/标志，所述指示符/图标/符号/标志指示两个执行窗口诸如例如通过使用一个边缘而被互链。
可显示与目前操作的和/或选择的应用互链的其它应用。例如，响应于特定应用的选择或目前操作的应用中发生的事件(例如，应用连接至另一终端设备)，显示器120可显示其它应用，所述其它应用与目前操作的应用互链。用户可轻易地将其它应用设置为与目前显示的应用互链。取决于实施方式，应用可通过用户的选择、通过终端设备或其它装置等的选择而互链，或可直接自动地互链而无需来自于用户的任何输入。
取决于实施方式，用户可将应用设置为手动地互链。作为更具体实例，显示器120可对被安装在终端设备100中的多个应用中的每一个应用显示UI对象。响应于用户通过操控输入单元130做出的触摸手势或控制命令(诸如将一个UI对象叠加在屏幕上的另一UI对象上)，显示器130可将对应于两个叠加的UI对象的两个应用互链。响应于两个UI对象被叠加(在用于放置对象的触摸事件(诸如释放)之前)，显示器120可显示对应于两个互链的UI对象的两个应用的预览。下文参考图17描述显示UI对象的预览的一个实例。
当对应于这两个UI对象的应用不能互链时，显示器120可显示向用户通知所述情况的信息而非预览屏幕的信息。
响应于与第一应用互链的第二应用是可提供特定内容的应用，显示器120可同时显示第一应用的执行结果作为第一屏幕并且显示第二应用的执行结果(即，第二应用针对被输入至第一应用中的元数据的执行结果)。
当第二应用具有子UI屏幕时，显示器120可显示第二应用的子UI屏幕，并同时显示第一应用的第一屏幕。子UI屏幕是不同于主UI屏幕的屏幕，当单独执行第二应用时显示所述主UI屏幕。在此情况中，仅当第二应用取决于第一应用时才能显示子UI屏幕。
例如，当以流方式接收显示在另一终端设备中的屏幕的TV再现应用单独执行时，TV再现应用可显示以流方式接收的屏幕。当TV再现应用与另一终端设备的视频再现应用互链时，显示器120可显示视频再现应用的子UI屏幕而非主UI屏幕，所述子UI屏幕用于接收视频被再现的用户控制命令，所述主UI屏幕显示视频流本身。
当仅仅控制智能手表的相机的操作的远程控制应用被操作时，可显示操控UI对象，所述操控UI对象用于控制智能手表的相机操作。然而，当远程控制应用与将数据存储在云服务器中的服务器存储应用互链时，远程控制应用可将存储在智能手表中的图片内容传输至云服务器。在此情况中，当远程控制应用与服务器存储应用互链时，显示器120可显示UI对象而非操控UI对象，所述UI对象用于接收存储在智能手表中的图片的选择，所述操控UI对象用于控制相机操作。
取决于实施例，互链操作可显示一个或多个UI屏幕/对象和/或执行一个或多个功能。当具有多个子UI的应用被互链时，显示器120可显示屏幕来使用户选择要互链的功能/子UI。
例如，TV应用可提供流再现功能、流提供功能、服务器功能、远程控制器功能等，所述流再现功能接收和显示以流方式在TV中再现的内容，所述流提供功能将存储在终端设备中的内容传输至TV以进行流再现，所述服务器功能从外部接收内容并将其存储，所述远程控制器功能控制TV的基本功能。响应于TV应用与远程控制应用互链，TV应用可执行上述功能当中的流提供功能和服务器功能这二者。在此情况中，响应于接收到要互链的功能的选择，显示器120可显示对应于选择的功能的子UI。同时，在实施方式中，显示器120可显示对应于这两个功能的子UI中的所有子UI。
操控输入单元130可包括多个功能键，所述功能键使得用户能够设置或选择终端设备100所支持的各种功能。操控输入单元130可被实现为(例如)鼠标、键盘、触摸屏等，所述触摸屏可执行显示和输入这二者。操控输入单元130可接收针对被安装的应用中的任一个应用或针对多个被安装的应用的操作命令。例如，响应于互链操作的一个或多个图标被用户选择，可同时操作被互链的应用。
操控输入单元130可从用户接收针对目前操作的应用的控制命令。当元数据被控制命令改变时，改变的元数据可被提供至与目前操作的应用互链的其它应用。
操控输入单元130可接收针对被安装的应用的互链命令。例如，操控输入单元130可接收触摸手势，所述触摸手势用于将对应于第一应用的第一UI对象放置在对应于第二应用的第二UI对象上。替代性地，操控输入单元130可通过用户选择位于第一应用的第一UI对象的一侧上的图标来接收互链命令。
存储装置140可存储终端设备100的操作所必需的各种程序和数据。存储装置140可被实现为非易失性存储器、易失性存储器、闪存、硬盘(HDD)、固态硬盘(SSD)等。存储装置140可被控制器150访问，且存储装置140中的数据可被控制器150读取/记录/修改/更新。在本公开中，术语‘存储装置’包括(但不限于)控制器150中的只读存储器(ROM)或随机访问存储器(RAM)，或被安装在终端设备100中或终端设备100上的存储卡(例如，微观安全数字(SD)卡或存储棒)。
存储装置140可存储用于配置要显示在显示器120中的各种屏幕的程序和数据。例如，存储装置140可存储操作终端设备100所必需的一组不同命令的程序。在本文中，“程序”包括(但不限于)用于提供某种服务的应用(或应用(application program))和/或用于操作应用的操作程序。下文参考图2提供存储在根据本公开的实施例的存储装置140中的程序的配置的详细描述。存储装置140可存储通过通信接口110接收的内容或元数据。
控制器150控制终端设备100的部件。例如，控制器150使用存储在存储装置140中的各种程序来控制终端设备100的整体操作。控制器150可包括中央处理单元(CPU)、RAM、ROM和系统总线。在一个实施例中，ROM存储用于系统启动的一组命令。CPU根据存储在ROM中的命令将存储在存储装置140中的操作系统(OS)复制至RAM中，并且通过执行OS来启动系统。当启动操作完成时，CPU将存储在存储装置140中的各种应用复制至RAM中，并且执行被复制至RAM中的应用以执行各种操作。取决于实施方式，控制器150可包括多个CPU、一个或多个数字信号处理器(DSP)，和/或可包括片上系统(SoC)等。
响应于终端设备100被启动，控制器150可控制显示器120以显示对应于被安装在终端设备100中的各种应用的UI对象。例如，控制器150可控制显示器120以显示对应于应用的图标以便接收操作命令或某个应用。应用中的全部或部分应用可显示为微件或图块的形式。另外，针对互链操作，控制器150可控制显示器120以显示指示应用已互链的指示符/图标/符号/标志。
控制器150操作被用户选择的应用。当被用户选择的应用不与另一应用互链时，控制器150可控制显示器120以仅显示选择的应用的执行窗口。当被用户选择的应用是与另一终端设备互链并且协同操作的应用时，控制器150可控制通信接口110以根据已互链的另一终端设备的对应功能来传输/接收内容或控制命令。
当接收到针对正操作的应用的互链命令时，控制器150可搜索可与目前操作的应用互链的另一应用。在一些实施例中，控制器150可搜索可使用类似于在目前操作的应用中使用的元数据的元数据的应用。例如，响应于目前操作的应用能够输出位置信息(诸如全球定位系统(GPS)地址)作为元数据，控制器150可搜索可使用位置信息的应用(诸如地图应用)作为可互链的应用。控制器150可将已发现的应用与目前操作的应用链接。
另外，迄今为止，已经描述了在一个应用被选择之后从用户接收到互链命令，但是在实施方式中，针对应用的选择命令和互链命令可被同时输入。例如，响应于至少一个第一UI对象被放置在第二UI对象上，控制器150可将对应于第一UI对象和第二UI对象的两个应用互链。在此情况中，在第一UI对象被叠加在第二UI对象上并且被放置在第二UI对象上之前，控制器150可在第一对象和/或第二对象中显示如下情况的预览屏幕，在所述情况中，对应于这些UI对象的应用已互链。
响应于元数据被输入至被互链的应用中的任一个应用中，控制器150可向其它互链应用提供被输入的元数据。例如，控制器150可向与第一应用互链的第二应用提供被输入至第一应用中的元数据。响应于第一应用的元数据根据用户控制命令而被改变，控制器150还可向第二应用提供已改变的元数据。
取决于实施方式，控制器150可将被输入至第一应用中的元数据不改变地输入至第二应用。替代性地，控制器150可仅提取被输入至第一应用中的元数据当中可在第二应用中使用的元数据，并且向第二应用提供被提取的元数据。另外，控制器150可仅提供从外部提供的元数据当中可在第一应用中使用的元数据作为被输入至第一应用中的元数据。下文将参考图3A和3B讨论传输元数据。
响应于被互链的应用能够共享内容以及元数据，控制器150可将通过第一应用输入的内容传输至(与第一应用互链的)第二应用。
在图1中，仅说明并描述了与本公开直接有关的基本部件，但是本领域一般技术人员将理解的是，终端设备可具有执行多种功能的多个部件。例如，终端设备可进一步包括拍摄装置、音频处理器等。
根据本公开的实施例，任何数量的应用可被互链。例如，如图15B中所说明，四个应用可彼此互链。另外，根据本公开的实施例，被安装在终端设备中的应用可与一个或多个其它终端设备互链。
在本文中，两个应用之间的连接可被称为‘互链’，但是可等同地使用诸如‘链接(link)’、‘混搭(mashup)’等其它术语。另外，当两个应用互链并且彼此协同操作时，它们在本文中可被称为‘被组合为一个应用的两个应用’。
根据本公开的实施例，被互链的应用可双向(互相共享)或仅单向提供元数据。例如，一个应用可提供元数据，且另一应用可仅接收元数据但不传输任何元数据。
在本文中，术语‘触摸输入’是指针对触摸显示器执行的触摸手势。另外，‘触摸输入’可包括非接触式或无接触式触摸，所述非接触式或无接触式触摸不与显示器接触并且与显示器间隔开某个距离(例如，浮动或悬停)。触摸输入可包含触摸&保持手势、触摸且接着释放触摸的轻敲手势、双击手势、平移手势、轻弹手势、触摸且接着以某个方向移动的触摸-拖曳手势、收聚手势等，但不限于此。
图2是说明根据本公开的实施例的软件的配置的框图。更具体地，图2示出了软件，所述软件包括操作系统(OS)240、内核230、中间件220、应用210等。
OS 240控制并且管理硬件的整体操作。即，OS 240是执行基本功能的例程的层级，所述基本功能包括硬件管理、存储器、安全等。
内核230用作用于向中间件220传输各种信号(诸如检测到的触摸信号)的路径。
中间件220包括用于控制终端设备的操作的各种软件模块。在图2中，中间件220包括X11模块220-1、APP管理器220-2、连接管理器220-3、安全模块220-4、系统管理器220-5、多媒体框架220-6、主UI框架220-7、窗口管理器220-8以及子UI框架220-9。
X11模块220-1从在终端设备中提供的多种硬件接收各种事件信号。在本文中，事件可从感测到用户手势的事件到发生系统警报的事件或执行或终止具体程序的事件等的范围中改变。
APP管理器220-2管理各种应用210的执行状态。例如，响应于从X11模块220-1中检测到应用执行事件，APP管理器220-2调用并且执行对应于事件的应用。
连接管理器220-3支持有线或无线网络连接。连接管理器220-3可包括各种具体模块，诸如用于专属软件套件(诸如DNET)的模块、通用即插即用(UPnP)模块等。
安全模块220-4支持针对硬件的认证、许可、安全存储等。
系统管理器220-5监视终端设备100的每个部件的状态并且向其它模块提供监视结果。例如，当没有足够多的电池电量剩余时或当发生错误、或通信连接被切断时，系统管理器220-5可向主UI框架220-7或子UI框架220-9提供监视结果以输出警报消息或警报声。
多媒体框架220-6重现存储在终端设备100中或从外部源提供的多媒体内容。多媒体框架220-6可包括播放器模块、摄录像机模块、声音处理模块等。因此，多媒体框架220-6可重现各种多媒体内容以执行生成和重现视频和音频的操作。
主UI框架220-7提供要显示在显示器的主区域中的各种UI，且子UI框架220-9提供要显示在显示器的子区域中的各种UI。主UI框架220-7和子UI框架220-9可包括图像合成模块、坐标合成模块、渲染模块、二维(2D)/三维(3D)UI工具组等，所述图像合成模块配置各种UI对象(或UI元素)，所述坐标合成模块计算显示UI对象之处的坐标，所述渲染模块将被配置的UI元件渲染在被计算的坐标上，所述2D/3D UI工具组提供用于配置2D UI或3D UI的工具。
窗口管理器220-8可检测输入事件，诸如使用用户的身体或笔的触摸事件。响应于检测到此事件，窗口管理器220-8将事件信号传输至主UI框架220-7或子UI框架220-9以执行对应于事件的操作。
除上文以外，中间件220可进一步包括书写模块和多种程序模块，所述书写模块用于响应于屏幕上的用户触摸/拖曳而根据拖曳轨迹画线，所述程序模块诸如角计算模块，所述角计算模块用于基于被一个或多个传感器感测的传感器值计算俯仰角(pitch angle)、旋转角(roll angle)和横摆角(yaw angle)等。
应用模块210包括支持各种功能的应用210-1至210-n。例如，应用模块210可包括用于提供多种服务的程序模块，诸如导航程序模块、游戏模块、电子书模块、日历模块、警报管理模块等。应用可被默认地安装或可被用户安装。响应于UI对象被选择，主CPU 194可通过使用应用模块210执行对应于被选择的对象的应用。
图2中所说明的软件结构仅仅是实例，且因此本公开不限于此。因此，图2中所示的结构的部分可被省略或修改，或可根据终端设备的类型和/或目的增加新元件。
图3A和3B是示出根据本公开的实施例的多个应用的互链操作的视图。
当元数据305被输入至第一应用310A-1中时，彼此互链并且与第一应用310A-1互链的第二应用310A-2和第三应用310A-3也被提供了元数据305。当第一应用310A-1正在操作中或可从其它终端设备提供时，元数据最初可基于从用户接收的控制命令而输入。
例如，如果第一应用310A-1是音乐再现应用、第二应用310A-2是社交网络服务(SNS)应用、第三应用310A-3是视频流再现应用且用户输入针对音乐再现应用310A-1中的特定声源的再现命令，则声源中对应于再现命令的标签信息(例如，歌曲标题、演唱者、专辑标题等)可被用作元数据。在此情况中，接收了元数据的SNS应用310A-2可检索并且显示对应于声源的演唱者的SNS信息。另外，视频流再现应用310A-3可检索并且显示对应于声源的标题的音乐视频。
根据本公开的实施例的互链操作可被实时地执行。例如，响应于在上述第一声源被重现之后第二声源在音乐重现应用310A-1中自动地再现，针对第二声源的元数据可被提供至SNS应用310A-2和视频流再现应用310A-3。应用310A-2和310A-3可进一步基于元数据更新显示屏幕。
在图3A中所示的实施例中，第一应用310A-1将元数据传输至第二应用310A-2，且第二应用310A-2将已接收的元数据传输至第三应用310A-3。然而，取决于实施方式，第一应用310A-1可将元数据传输至第二应用310A-2和第三应用310A-3这二者。另外，迄今为止，元数据已经被描述为直接在应用之间传输，但是取决于实施方式，元数据可通过一个或多个中间部件/介质(例如，中间件)而中继。另外，取决于实施例，上述互链操作可被OS或OS平台(诸如，例如，安卓(Android)、苹果(iOS)、微软(windows)OS或泰泽(Tizen))或由在每个操作系统中操作的特定应用执行。下文参考图4进一步详细地描述被OS或OS平台执行的这种操作。
在图3B中，终端设备<移动(Mobile)>从另一终端设备(在此情况中，<电视(TV)>321)接收图像内容311和与图像内容311有关的元数据<元数据(Metadata)>。在本文中，图像内容311是广播内容，且关于广播图像的元数据包括标题312、导演313、角色314、位置315、赞助产权316等。
在终端设备<Mobile>中，第一应用310B-1是TV再现应用，所述TV再现应用与<TV>321互链并且协同操作。因此，第一应用310B-1执行显示已接收的广播图像的操作。另外，第一应用310B-1可对其它互链应用310B-2、310B-3、310B-4、310B-5、310B-6、310B-7提供元数据<Metadata>。
应用310B-2、310B-3、310B-4、310B-5、310B-6、310B-7中接收/检索元数据的每一个应用执行各自的功能并且可将结果显示在屏幕上。
例如，第二应用互联网电影数据库(IMDB)310B-2从已接收的元数据中检索标题312、导演313和角色313，并且接着显示关于标题312、导演313和角色313的信息。第三应用Map 310B-3使用已接收的元数据中的位置315，并且因此提供关于位置315的信息。第四应用310B-4检索标题312和角色314，并且接着基于被检索的标题312和角色314推荐与被再现的内容有关的其它图像或推荐与角色有关的其它作品或图像。
第五应用310B-5检索标题312并且基于被检索的标题312显示与目前被再现的内容有关的SNS条目(“推特”)。第六应用亚马逊(Amazon)310B-6检索涉及与目前流内容有关的赞助产权316的元数据，并且显示涉及赞助产权的购买信息(所述购买信息可以是例如内容的DVD)。第七应用四方网(Foursquare)310B-7检索位置315并且提供与目前被再现的内容的位置有关的内容。
在图3B中，七个应用通过同时接收元数据的各个部分来操作，但是取决于实施方式，根据本公开的实施例，可同时操作更少或更多应用。另外，图3B中的元数据包括五个信息片段312、313、314、315和316，但是取决于实施方式，元数据可仅包括一个信息片段或任何数量的信息片段。更进一步地，图3B的元数据适用于共享内容，在此情况中，所述内容为电影或TV秀；然而，在其它实施方式中，元数据可包括非常不同的信息片段，诸如(例如)用户账号信息、控制命令(诸如开启设备或改变特定频道)，或URL地址、用户简档、用户标识(ID)和密码(PW)、用户地址信息等。
图4是说明根据本公开的实施例的两个应用之间的互链操作的视图。
在图4的步骤401和403中，第一应用发送器应用(A)410-1和第二应用接收器应用(B)410-2分别向中继服务(即，混搭服务430)注册多种类型的可接收和可传输元数据。在本文中，“中继服务”是指确定两个或两个以上应用如何互链和至少部分控制应用的服务。在根据本公开的实施例中，中继服务可以是图2中所说明的中间件中的元素。元数据可以多种格式(诸如(例如)文件(媒体文件、文档文件等)、哈希标签、流数据、动作链接(命令程序(commander))、MIME类型等)传输。
随后，在步骤405中响应于将第一应用发送器App(A)410-1与第二应用接收器App(B)410-2链接的用户的触摸手势，在步骤407中，第一应用410-1向中继服务430请求与第二应用410-2链接。
当接收到请求时，中继服务430尤其基于预注册信息确定第一应用410-10与第二应用410-2是否可互链，并且在步骤409中向第一应用发送器App(A)410-1提供确定结果。如果这两个应用不可以共享此元数据，则中继服务430向第一应用发送器App(A)通知互链操作不可用。
如果在步骤409中第一应用发送器应用(A)410-1被通知互链操作可用，则第一应用发送器应用(A)410-1在步骤411中(经由连接请求())通知第二应用接收器应用(B)410-2：这两个应用互链，且第二应用接收器应用(B)410-2在步骤413中(经由已连接响应()(ConnectedResponse()))将对通知的响应传输至第一应用发送器应用(A)410-1。
随后，响应于(例如)从用户或从外部设备接收到元数据，第一应用发送器应用(A)410-1在步骤415中向第二应用接收器应用(B)410-2提供已接收的元数据。第一应用发送器应用(A)410-1可向第二应用接收器应用(B)410-2仅提供可在第二应用接收器APP(B)410-2中使用的类型的元数据或提供所有类型的元数据。在此实施例中，接收了元数据的第二应用接收器应用(B)410-2可在步骤417中使用该元数据来执行搜索并且接着显示搜索结果。
当应用不能将元数据传输至另一应用时，如图4中的第一应用发送器应用(A)410-1和第二应用接收器应用(B)410-2中的每一个应用所说明的，插件(Plugin或Plug-in)可执行将元数据传输至其它终端设备和/或应用/从其它终端设备和/或应用接收元数据的操作。在本文中，插件是指桥接模块，在所述桥接模块中，被定义的协议(诸如传输器、接收器、数据类型、动作等)被实现用于一个应用(或频段)与另一应用之间的通信。
图5是四种类型的互链操作的表示，所述互链操作可根据本公开的实施例来执行。图6至10是示出根据本公开的实施例的互链操作的各个实例的屏幕显示的视图。
图5示出了四种类型的互链操作，所述互链操作可根据本公开的实施例来执行：(a)应用之间的互链(应用+应用)、(b)应用与另一终端设备之间的互链(应用+装置)、(c)终端设备与应用之间的互链(装置+应用)、和(d)两个其它终端设备之间的互链(装置+装置)。
图6说明应用之间的互链(应用+应用)的实例。
在图6中，应用610是音乐再现应用，且应用620是视频流再现应用。在此实例中，当第一应用610正顺序地再现被存储的声道时，第一应用610和第二应用620互链。第二应用620检索并且显示对应于被再现的声道中的每一个声道的歌曲标题的音乐视频。
如果用户输入针对被第二应用620检索的音乐视频输入再现命令，则第二应用620将音乐再现停止命令作为元数据传输至第一应用610。因此，第一应用610停止音乐再现。如果在第一音乐视频被再现之后在第二应用620中再现第二音乐视频，则第二应用620可向第一应用610提供关于第二音乐视频的元数据。
最近的终端设备与多种外围装置协同操作。例如，用户可通过使用智能电话控制TV，并且可使用智能手表来对智能电话提供关于电话或消息传输的信息。
图7说明应用与另一终端设备之间的互链(应用+装置)的实例。
在图7中，第一应用710是视频应用，且第二应用720是镜像(mirroring)应用。更具体地，第二应用720控制TV(即，另一终端设备)的操作，或以镜像方法对所述另一终端设备提供存储在所述终端设备中的内容使得内容显示在所述另一终端设备中。
当第一应用710和第二应用720互链时，第一应用710可将内容和关于内容的再现命令元数据传输至第二应用720。第二应用720可以串流方法将已接收的内容传输至另一终端设备、诸如TV。另外，第二应用720可基于已接收的元数据显示用于接收内容的控制命令、诸如再现控制命令的UI。
例如，如果第二应用720接收到再现停止命令，则第二应用720根据已接收的控制命令停止将屏幕串流(stream)至TV(更具体地，维持串流操作并停止将屏幕改为新屏幕)，并且将已接收的再现停止命令作为元数据传输至第一应用710。
在图7中，一个终端设备中的应用向另一终端设备提供元数据；在图8和9中，来自于另一终端设备的元数据被提供至终端设备中的应用。
图8和9是说明另一终端设备与应用之间的互链操作的实例。
在图8中，第一应用(“NX 300相机”)810和第二应用(“Dropbox”)820互链并且彼此协同操作。在本文中，第一应用810是相机应用，所述相机应用与相机互链并且操作相机、即另一终端设备。第一应用810控制相机的拍摄操作和/或存储在相机中的内容的再现。第二应用820将内容存储在对应于用户账号的云服务器中/从对应于用户账号的云服务器接收内容。
当相机连接至具有第一应用810的终端设备时，所述终端设备可通过第一应用810自动地操作相机，且与第一应用810互链的第二应用820也可自动地操作。
例如，第一应用810可从相机中读取用户信息作为元数据，并且向第二应用820提供对应于用户信息的账号信息。第二应用820使用已接收的账号信息来根据被提供的账号信息访问云服务器，并且显示存储在云服务器账号中的信息。
作为另一实例，当在相机中执行的拍摄操作生成图片数据时，第一应用810可从相机中获取已生成的图片数据，并且将已获取的图片数据传输至第二应用820，所述第二应用820将已接收的图片数据上传至云服务器账号。在一些实施例中，没有被用户上传至云服务器账号的图片数据可通过第一应用810和第二应用820自动地存储在云服务器中，而无需任何用户输入。例如，第二应用820可从云服务器账号中获取图片更新信息，并且向第一应用810提供已获取的图片更新信息。类似地，第一应用810可将预定时间点之后拍摄的任何图片数据传输至第二应用820，所述第二应用820将已接收的图片日期上传至云服务器。这两个操作可包括相机与云服务器之间的同步。
在图9中，第一应用(“早间新闻”)910是TV广播应用，所述TV广播应用从TV(即，另一终端设备)中获取图像数据和其元数据，且第二应用(“推特”)920是SNS应用。响应于从另一终端设备(TV)中接收到图像数据，第一应用910显示已接收的图像数据并且向第二应用920提供与图像数据有关的元数据。接收了元数据的第二应用920可寻找并且显示关于广播节目的SNS文章。
在图8和9中，仅一个应用与另一终端设备互链，但是在图10中，两个应用与两个其它终端设备互链。
图10是说明两个其它终端设备之间的互链的实例。
在图10中，第一应用(“NX 300相机”)1010是与相机(即，第一其它终端设备)互链并且操作所述相机的相机应用，并且可控制相机的拍摄操作和/或存储在相机中的内容的再现。第二应用(“TV”)1020是控制TV(即，第二其它终端设备)的操作的应用，或以镜像方法向所述第二其它终端设备提供存储在其终端设备中的内容使得内容被再现在所述第二其它终端设备的屏幕上。当相机生成图片数据时，第一应用1010从相机中获取已生成的图片数据并且将已获取的图片数据传输至第二应用1020，所述第二应用1020将图片数据传输至TV(即，第二其它终端设备)使得图片数据显示在TV的屏幕上。
图11A至11C是根据本公开的第一实施例的执行用于设置互链的方法时的连续屏幕显示的视图。
在图11A中，UI窗口1100包括执行窗口1110和1120、应用显示区域1130和固定应用显示区域1140。
执行窗口1110和1120对应于被用户选择的第一应用和第二应用。第一应用和第二应用也可分别被本文的附图标号1110和1120指代。在其它实施例中，执行窗口可以是微件。
应用显示区域1130显示被安装在终端设备中的应用中的一些应用的图标。因为终端设备具有大小有限的屏幕，所以应用显示区域1130不能同时显示被安装在终端设备中的一些应用中的所有应用的图标。因此，在一些实施例中，用户可将应用显示区域1130滚动至左侧或右侧以显示其它应用的图标。
与显示在应用显示区域1130中可被例如滚屏操作改变的图标相比，固定应用显示区域1140显示保持在视图中并且不会改变的应用的图标。在一些实施例中，当用户在固定应用显示区域1140中执行滚屏操作时，固定应用显示区域1140中的图标可滚动，而应用显示区域1130的屏幕保持固定。
在图11A中，用户希望将第一应用(“NX 300相机”)1110与第二应用(“TV”)1120互链。因此，用户手上的手指被示为选择图11A的UI窗口1100中的第二应用的执行窗口1120以将执行窗口1120拖放在第一应用的执行窗口1110上，如图11B和11C中所例示的。
因此，图11B中的UI窗口1100'示出了用户的手指将第二应用窗口1120移动/拖曳在第一应用窗口1110的顶部上方。
图11C示出了图11A和11B中所示的拖放操作的结果。具体地，图11C中的UI窗口1110”包括两个互链应用的新屏幕区域1150、应用显示区域1130和固定应用显示区域1140。互链应用显示区域1150包括第一和第二应用的执行窗口1151和1152，所述执行窗口1151和1152分别在视觉上被互链指示符/图标/符号/标志1153链接在一起。在此实施例中，互链指示符/图标/符号/标志1153是类似于链环的图形符号。除互链指示符/图标/符号/标志1153外，第一应用执行窗口1151与图11A和11B的第一应用执行窗口1110相同。
第二应用执行窗口1152显示第二应用的子UI，而非显示例如图11A和11B中所示的主UI 1120。具体地，图11C的第二应用执行窗口1152显示对应于存储在相机(即，第一其它终端设备)中的图片内容的选择的多个图标。第二其它终端设备(即，TV)显示对应于第二应用执行窗口1152的屏幕，所述屏幕的实例在图12中说明。
图12是根据本公开的实施例的显示在TV(即，另一终端设备)上的用户界面(UI)窗口的实例，所述另一终端设备与第二应用(图11C中的执行窗口1152)互链。
在图12中，UI窗口1200显示在第二其它终端设备(在此情况中，TV)的屏幕上。UI窗口1200被终端设备利用图11A至11C中显示的屏幕而提供。UI窗口1200显示存储在相机(即，第一其它终端设备)中的一个内容片段、相片，以及在一侧(在此情况中，底侧)上显示存储在相机中的其它内容的缩略图1210。在被图11A至11C和12说明的实例中，图11C中的互链第二应用执行窗口1152和图12中的UI窗口1200没有相同屏幕，但是在其它实施方式中，可在第二其它终端设备和运行第二应用的终端设备这二者中显示(或“镜像”)相同屏幕。
图13A至13D是根据本公开的第二实施例的执行用于设置互链的方法时的连续屏幕显示的视图。
在图13A中，UI窗口1300包括应用显示区域1330和固定应用显示区域1340。应用显示区域1330在功能上基本上类似于图11A至11C中的应用显示区域1130，且固定应用区域1340基本上类似于图11A至11C中的固定应用显示区域1140，且因此其详细描述在本文中被省略了。
在图13A中，用户希望将对应于图标1331的第一应用与对应于图标1332的第二应用互链。在此实施例中，用户选择第一应用的图标1331并且保持所述图标持续预定时间段。在此实施例中，当图标被选择并且被保持持续预定时间段时，终端设备进入某种模式或环境，在所述模式或环境中，用户可设置应用之间的互链。在此模式/环境中，对应于应用的图标可被用户触摸操控移动/拖曳，并且接着投放在另一应用上以将这两个应用互链。因此，用户的手指在图13A中被示为选择对应于第一应用的图标1331作为设置互链的处理程序的起点。
在图13B中，终端设备切换至用于设置互链的移动/环境，且用户的手指将图标1331'拖曳至UI窗口1300'上的图标1332'上方。在图13C中，图标1331'和图标1332'合并以形成新图标1335，如UI窗口1300”中所示。
图13D是说明UI窗口的实例的视图，所述UI窗口响应于图13C的合并图标1335被选择而显示在屏幕上。
在图13D中，UI窗口1300D包括第一应用执行窗口1360和第二应用执行窗口1370。在此实施例中，第一应用是用于再现存储在终端设备中的声音文件或声道的应用(“音乐播放器”)，且第二应用是用于再现存储在服务器上的声音文件或声道的应用(“Melon”)，即，音乐流再现应用。
如图13D中所示，第一应用执行窗口1360显示关于目前被再现的声音文件、声道或声源以及控制命令(诸如音乐再现控制命令)的信息。第二应用执行窗口1370接收诸如目前被再现在第一应用中的声源的标题的元数据并且显示关于标题的信息。在所说明的实例中，要再现的声道的顺序显示在第二应用执行窗口1370中，但是在其它实施方式中，可显示其它信息，诸如关于包括目前播放的声源的专辑的信息、关于目前播放的声源(目前正被再现)的演唱者的信息等。
图14A至14D是根据本公开的第三实施例的执行用于设置互链的方法时的连续屏幕显示的视图。
在图14A中，UI窗口1400包括第一应用执行窗口1410、应用显示区域1430和固定应用显示区域1440。在其它实施例中，执行窗口可采取各种形式，包括(但不限于)一个或多个微件窗口。应用显示区域1430和固定应用显示区域1440与图11A至11C中的应用显示区域1130和固定应用显示区域1140基本上相同，且因此它们的详细描述在本文中被省略了。
在图14A中，用户希望将第一应用执行窗口1410与图标1431互链，所述图标1431对应于UI窗口1400中的第二应用UI。在此实施例中，用户选择如图14A中所说明的图标1431，并且将图标1431拖放在第一应用执行窗口1410上，如图14B中所说明。
在图14C中，UI窗口1400”包括互链应用区域1450、应用显示区域1430'和固定应用显示区域1440。互链应用区域1450包括第一应用执行窗口1451、显示第二应用的图标1452的区域、和互链指示符/图标/符号/标志1453(在此情况中，是链环图形)。第一应用执行窗口1451较小，否则与图14A和14B的第一应用执行窗口1410基本上相同，且因此其详细描述在本文中被省略了。
如上文所指示，图14D中的第一应用执行窗口1451小于图14A至14B中的第一应用执行窗口1410，且被窗口1410的缩放创建的开放区用于显示第二应用的图标1452，用户将所述图标1452从应用显示区域1430移动。因此，应用显示区域1430'不再示出所述图标。互链被互链指示符/图标/符号/标志1453指示。
在图14D中，第二应用的UI对象已经被用户选择，并且因此从如图14C中所示的图标1452变为与其互链应用(如图14D中所说明)并发显示的执行窗口(或微件窗口)。作为当可发生切换时的另一实例，当元数据的输出结果需要显示在第二应用的UI屏幕中时，图14D中所说明的UI窗口1400”可显示。相反地，当元数据的输出结果不需要显示在第二应用的UI屏幕中时(例如，当第二应用存储第一应用的元数据时)，可显示图14C中所说明的UI窗口1400'。
在图14D中，互链应用区域1450”包括第一应用执行窗口1451”、第二应用执行窗口1452”(取代图14C中的图标1452)、和互链指示符/图标/符号/标志1453”(又是链环图形)。
图15A和15B是根据本公开的第四实施例的执行用于设置互链的方法时的连续屏幕显示的视图。
在图15A中，UI对象1500包括UI对象区域1503和互链区域1505。
UI对象区域1503显示执行窗口或例如选择的应用的微件窗口。在图15A中所说明的实例中，与TV互链并且协同操作的应用的微件(或图块)显示在UI对象区域1503中。互链区域1505是用于接收用户命令的区域，所述用户命令执行与显示在UI对象区域1503中的应用和显示在UI对象区域1500中的应用互链的任何应用之间的互链。响应于此用户命令被接收，对应于互链应用的UI窗口连同UI窗口1500一起显示，如图15B中所说明。
在图15A中，UI对象/窗口1500连同对应于互链的应用的多个UI窗口一起显示。在此情况中，图15A的UI窗口1500显示在顶部上，所述UI窗口1500下方是其它应用的UI窗口1510、1520和1530，所述其它应用与显示在UI窗口1500中的应用互链并且协同操作。为了这样做，终端设备可例如搜索其它应用，当从如图15A中所说明的互链区域1505接收到互链用户命令时，所述其它应用与对应于UI窗口1500的应用互链。
在图15B中所说明的实例中，互联网搜索应用1510、SNS应用1520和图像流再现应用1530是搜索的结果，并且因此显示为可与UI窗口1500中的应用(即，操作TV终端的应用)协同操作的应用，但是在其它实施方式中，不用说，所述搜索可得到其它应用。
在本公开的其它实施例中，也可显示用于管理互链应用的链接取消命令和/或UI对象/窗口。如果屏幕上要示出太多互链应用，则可显示互链应用中的一些应用，且屏幕的底部处可示出“查看更多”按钮。在其它实施例中，可显示用于互链的应用的推荐列表。
图16A和16B也是根据本公开的第四实施例的执行用于设置互链的方法时的连续屏幕显示的视图。具体地，仅图16A至16B的第一应用的类型不同于图15A至15B，除此之外，操作是相同的。
在图16A中，UI窗口1600包括用于显示存储在终端设备中的图片内容的应用(“图库”)的执行窗口。响应于互链命令被输入，与图片应用互链的应用显示在图16B中。更具体地，图16B示出对应于互链的TV应用的UI窗口/对象1610、对应于地图应用的UI窗口/对象1620和对应于电话/联系人应用的UI窗口/对象1630等，所述TV应用用于显示TV中的图片内容，所述地图应用用于基于图片的全球定位系统(GPS)信息显示位置信息，所述电话/联系人应用用于使得用户能够打电话。
在本公开的各个实施例中，图片内容可连同元数据存储在一起，所述元数据诸如针对图片内容的主题/主旨的信息、摄影者信息、主旨信息等。因此，图片应用可将诸如针对主旨的信息的元数据提供至电话/联系人应用，电话/联系人应用可基于已接收的元数据搜索任何相关内容，且接着如果发现了一个或多个联系人，则电话/联系人应用可显示用于给所述一个或多个已发现的联系人中的每一个联系人打电话的图标。
多个互链应用可通过用户设置恢复至其原始状态。例如，在图11C、14C和14D的屏幕中，应用之间的互链可被用户输入手势取消，所述用户输入手势诸如分别触摸互链指示符/图标/符号/标志1153、1453和1453”。另外，在图13C的屏幕中，应用之间的互链可被用户输入手势取消，所述用户输入手势诸如按压互链/组合图标1335持续预定时间，从而造成图标1335重新划分为两个图标1331和1332。
图17A和17B是根据本公开的实施例的预览操作的视觉表示的实例。
在图17A中，用户选择第二UI对象(“B：接收”)1720，并且接着在触摸和拖曳操作中将第二UI对象1720移动并且放置在第一UI对象(“A：传输”)1710上使得第二UI对象1720与第一UI对象1710链接。在此实施例中，当两个UI对象被叠加直至这两个UI对象响应于用户触摸被释放而被分离或一个UI对象被放置在另一UI对象上时，对用户显示第二UI对象1720的预览屏幕。例如，响应于第二UI对象2720归因于互链而改变而第一UI对象2720保持不变，显示器120可改变第二UI对象并且将其显示至预览屏幕，所述预览屏幕包括对应于这两个互链的UI对象的两个应用的预览。
在图17B中，用户选择第四UI对象(“B：传输”)1740，并且接着通过拖放方法将第四UI对象1740移动并且放置在第三UI对象(“A：接收”)1730上使得第四UI对象1740与第三UI对象1730链接。在此实施例中，当两个UI对象被叠加直至这两个UI对象被分离或一个UI对象被放置在另一UI对象上时，显示第三UI对象1730的预览屏幕。例如，响应于第三UI对象归因于互链而改变而第四UI对象2740保持不变，显示器120可改变第三UI对象并且将其显示至预览屏幕。
图18是用于控制根据本公开的实施例的终端设备的方法的流程图。
在步骤S1810中，显示多个被存储的应用中的每一个应用的UI对象。在本文中，UI对象可以是(例如)图标、微件或应用的执行窗口。在步骤S1820中，接收用户互链命令连同多个显示的应用当中要互链的应用的用户的选择，且将选择的应用互链。在步骤S1830中，显示指示符/图标/符号/标志，所述指示符/图标/符号/标志指示对应于UI对象的应用已互链。
在应用已在步骤S1810至S1830中互链之后，当针对一个应用的元数据被输入和/或另外被接收/检索时，在步骤S1840中，将所述元数据提供至与所述一个应用互链的另一应用。虽然图18的方法可在具有图1中所示的结构的终端设备中执行，但是本公开不限于此，且在其它实施例中可使用多种其它结构、配置、架构等。
在用于控制根据本公开的实施例的终端设备的方法中，被输入至一个互链应用中和/或另外被一个互链应用接收的元数据被提供至另一互链应用而无需任何用户操控，且因此用户能够例如轻易且不费力地访问多种信息。另外，根据本公开的实施例的终端设备允许用户通过简单的触摸操控轻易地且直观地将多个应用、一个或多个应用与另一终端设备或两个其它终端设备互链。
本文所述的任何方法可被实现为程序、指令集等，所述程序、指令集可在计算机中执行。所述程序可被存储在非暂时性计算机可读介质中并且检索自所述非暂时性计算机可读介质。
非暂时性计算机可读介质可为永久地、半永久地或以任何其它非暂时性方式存储数据的任何介质，并且可被任何外观/大小的计算设备读取。例如，上述方法、处理程序、应用和/或程序可被存储在非暂时性计算机可读介质中并且可从所述非暂时性计算机可读介质中读取，所述非暂时性计算机可读介质诸如光盘(CD)、数字通用光盘(DVD)、硬盘、蓝光光盘、同样串行总线(USB)存储器、存储卡、只读存储器(ROM)等，
因此，任何此类程序可被安装在任何类型的装置中，所述装置诸如终端设备，多个应用可被安装在所述终端设备中并且可彼此互链和协同操作。
虽然上文已经特别示出并且描述了具体实施例，但是本领域一般技术人员将理解的是，在不脱离如以下权利要求书限定的本公开的精神和范围的情况下，可做出各种改变、修改、增加、减除和/或其它变更。前述实施例提供的目的仅是为了描述/说明，并且不应被解释为以任何方式限制本公开。

Claims (15)

1.一种终端设备，包括：
存储装置，所述存储器装置能够存储多个应用，所述应用中的一些应用可互链；
显示器，所述显示器能够显示所述多个存储的应用当中的第一应用的用户界面(UI)屏幕；以及
控制器，如果元数据被输入至与所述显示的UI屏幕相对应的所述第一应用中，则所述控制器向与所述第一应用互链的第二应用提供被输入至所述第一应用中的所述元数据中的至少一些元数据。
2.如权利要求1所述的终端设备，其中，所述显示器进一步能够同时显示第一屏幕和第二屏幕，所述第一屏幕用于显示所述第一应用针对所述输入的元数据的执行结果，所述第二屏幕用于显示所述第二应用针对所述输入的元数据的执行结果。
3.如权利要求1所述的终端设备，其中，所述显示器进一步能够同时显示所述第一应用的第一UI对象和所述互链的第二应用的第二UI对象。
4.如权利要求3所述的终端设备，其中，所述显示器进一步能够显示指示所述第一UI对象和所述第二UI对象互链的标志。
5.如权利要求3所述的终端设备，其中，所述UI对象是以下各项中的至少一项：其相应的应用的图标、微件以及执行窗口。
6.如权利要求1所述的终端设备，其中，所述控制器向所述第二应用提供显示在所述第一应用中的内容。
7.如权利要求1所述的终端设备，其中，所述第二应用是与另一终端设备互链的应用，并且其中，所述终端设备进一步包括：
通信接口，所述通信接口能够向所述另一终端设备提供元数据以及由所述第一应用提供的内容中的至少一项。
8.如权利要求1所述的终端设备，其中，所述第一应用是与另一终端设备互链的应用，并且其中，所述终端设备进一步包括：
通信接口，所述通信接口能够接收来自于所述另一终端设备的元数据以及内容中的至少一项。
9.如权利要求1所述的终端设备，进一步包括：
操控输入单元，所述操控输入单元能够从用户处接收控制命令，所述控制命令包括针对所述第一应用的控制命令，
其中，所述控制器能够根据输入控制命令更新所述第一应用的元数据并且向所述第二应用提供更新的元数据。
10.如权利要求1所述的终端设备，进一步包括：
操控输入单元，所述操控输入单元能够从用户处接收控制命令，所述控制命令包括针对所述第二应用的控制命令，
其中，所述控制器能够根据输入控制命令生成用于所述第二应用的元数据并且向所述第一应用提供所述更新的元数据。
11.如权利要求1所述的终端设备，其中，所述元数据包括以下各项中的至少一项：内容属性、账号信息、位置信息、统一资源定位符(URL)信息和控制命令。
12.如权利要求1所述的终端设备，其中，所述控制器搜索使用与被输入至所述第一应用中的元数据相对应的元数据的应用，并且所述控制器能够将所述搜索中发现的任何应用与所述第一应用链接。
13.如权利要求12所述的终端设备，其中，所述显示器显示所发现的应用，并且其中，所述终端设备进一步包括：
操控输入单元，所述操控输入单元能够接收对所述显示的应用中的至少一个应用的用户选择，
其中，所述控制器将所述选择的应用与所述第一应用链接。
14.如权利要求12所述的终端设备，其中，响应于显示在所述第一应用的所述UI屏幕的一侧上的图标被选择，所述控制器搜索使用与被输入至所述第一应用中的元数据相对应的元数据的应用。
15.如权利要求1所述的终端设备，其中，所述显示器能够显示UI对象，所述UI对象中的每一个UI对象对应于所述多个应用中的一个应用，并且
其中，响应于至少一个第一显示的UI对象被放置在第二显示的UI对象上，所述控制器将对应于所述第一UI对象和第二UI对象的所述应用互链。
CN201580060028.7A 2014-11-04 2015-11-04 终端设备及其控制方法 Withdrawn CN107077353A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140152369A KR20160053462A (ko) 2014-11-04 2014-11-04 단말장치 및 그 제어 방법
KR10-2014-0152369 2014-11-04
PCT/KR2015/011775 WO2016072735A1 (en) 2014-11-04 2015-11-04 Terminal apparatus and method for controlling the same

Publications (1)

Publication Number Publication Date
CN107077353A true CN107077353A (zh) 2017-08-18

Family

ID=55852646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580060028.7A Withdrawn CN107077353A (zh) 2014-11-04 2015-11-04 终端设备及其控制方法

Country Status (5)

Country Link
US (1) US20160124582A1 (zh)
EP (1) EP3215923A4 (zh)
KR (1) KR20160053462A (zh)
CN (1) CN107077353A (zh)
WO (1) WO2016072735A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020052449A1 (zh) * 2018-09-13 2020-03-19 中兴通讯股份有限公司 一种终端应用的交互方法及装置、终端

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014204252B2 (en) * 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US20160132205A1 (en) * 2014-11-07 2016-05-12 Ebay Inc. System and method for linking applications
CN108089859B (zh) * 2017-12-27 2020-11-20 复旦大学 一种基于录制回放的安卓应用间混搭方法
US10901577B2 (en) * 2018-07-17 2021-01-26 Google Llc Methods and systems for input suggestion
CN114125546B (zh) * 2020-08-27 2023-02-28 荣耀终端有限公司 信息分享的方法、装置、终端设备和存储介质
WO2023106512A1 (ko) * 2021-12-06 2023-06-15 엘지전자 주식회사 복수의 디스플레이 장치간 콘텐츠를 공유하도록 하는 인공 지능 장치 및 콘텐츠 공유 방법
KR20240073555A (ko) * 2022-11-18 2024-05-27 삼성전자주식회사 멀티 뷰 화면에서 외부 디바이스를 제어하는 전자 장치 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070101291A1 (en) * 2005-10-27 2007-05-03 Scott Forstall Linked widgets
US20120005577A1 (en) * 2010-06-30 2012-01-05 International Business Machines Corporation Building Mashups on Touch Screen Mobile Devices
CN103458102A (zh) * 2012-05-31 2013-12-18 Lg电子株式会社 移动终端及其控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620901B2 (en) * 2006-03-21 2009-11-17 Microsoft Corporation Simultaneous input across multiple applications
KR101611601B1 (ko) * 2008-09-12 2016-04-12 코닌클리케 필립스 엔.브이. 핸드헬드 디바이스들 상의 그래픽 이용자 인터페이스에서의 네비게이팅
US9641884B2 (en) * 2008-11-15 2017-05-02 Adobe Systems Incorporated Method and device for establishing a content mirroring session
KR101862351B1 (ko) * 2009-01-21 2018-05-29 삼성전자주식회사 콘텐트 정보 제공 및 재생 방법 및 장치
US20130347018A1 (en) * 2012-06-21 2013-12-26 Amazon Technologies, Inc. Providing supplemental content with active media
KR102071576B1 (ko) * 2012-12-21 2020-03-02 삼성전자주식회사 콘텐트 재생 방법 및 이를 위한 단말
US20150074735A1 (en) * 2013-09-06 2015-03-12 Seespace Ltd. Method and Apparatus for Rendering Video Content Including Secondary Digital Content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070101291A1 (en) * 2005-10-27 2007-05-03 Scott Forstall Linked widgets
US20120005577A1 (en) * 2010-06-30 2012-01-05 International Business Machines Corporation Building Mashups on Touch Screen Mobile Devices
CN103458102A (zh) * 2012-05-31 2013-12-18 Lg电子株式会社 移动终端及其控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020052449A1 (zh) * 2018-09-13 2020-03-19 中兴通讯股份有限公司 一种终端应用的交互方法及装置、终端

Also Published As

Publication number Publication date
EP3215923A4 (en) 2017-11-22
EP3215923A1 (en) 2017-09-13
US20160124582A1 (en) 2016-05-05
WO2016072735A1 (en) 2016-05-12
KR20160053462A (ko) 2016-05-13

Similar Documents

Publication Publication Date Title
US10635379B2 (en) Method for sharing screen between devices and device using the same
CN107077353A (zh) 终端设备及其控制方法
KR101276846B1 (ko) 미디어 데이터의 스트리밍 제어방법 및 제어장치
US9652193B2 (en) Method and apparatus for providing service by using screen mirroring
US9423924B2 (en) Method and system for controlling display device and computer-readable recording medium
CN103634632B (zh) 图片信息的处理方法、装置及系统
US9535595B2 (en) Accessed location of user interface
KR102037465B1 (ko) 사용자 단말 장치 및 이의 디스플레이 방법
CN106462372A (zh) 在图形用户界面之间传输内容
KR102462516B1 (ko) 디스플레이 장치 및 이의 컨텐츠 제공 방법
KR20150116894A (ko) 디스플레이 디바이스상에 정보를 조직하고 디스플레이하기 위한 시스템
KR20150032066A (ko) 화면 미러링 방법 및 그에 따른 소스 기기
RU2647683C2 (ru) Способ и система передачи контента, устройство и машиночитаемый носитель записи, которые используют их
CN104685460A (zh) 透明显示装置及其显示方法
KR102124191B1 (ko) 메시지 처리 방법 및 그 전자 장치
US10270819B2 (en) System and method providing collaborative interaction
JP2014120176A (ja) ディスプレイ装置及びそのｕｉ提供方法
KR20160003400A (ko) 디스플레이 장치 및 그 제어 방법
KR20150009061A (ko) 휴대 단말 및 이의 정보 제공 방법
CN106796487A (zh) 与表示文件的用户界面元素进行交互
AU2013309655B2 (en) Device and content searching method using the same
US20160359932A1 (en) Display device and method of controlling the same
US20170142484A1 (en) Display device, user terminal device, server, and method for controlling same
US10976895B2 (en) Electronic apparatus and controlling method thereof
CN107016013A (zh) 信息分享方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170818