CN104509127A - 发送查询消息的方法和用于该方法的显示装置、共享信息的方法和移动终端 - Google Patents

发送查询消息的方法和用于该方法的显示装置、共享信息的方法和移动终端 Download PDF

Info

Publication number
CN104509127A
CN104509127A CN201380039703.9A CN201380039703A CN104509127A CN 104509127 A CN104509127 A CN 104509127A CN 201380039703 A CN201380039703 A CN 201380039703A CN 104509127 A CN104509127 A CN 104509127A
Authority
CN
China
Prior art keywords
user
input
information
display unit
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380039703.9A
Other languages
English (en)
Other versions
CN104509127B (zh
Inventor
申仁映
崔源宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104509127A publication Critical patent/CN104509127A/zh
Application granted granted Critical
Publication of CN104509127B publication Critical patent/CN104509127B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种由显示装置执行的发送查询消息的方法，包括以下操作：在显示装置中再现内容；接收来自用户的输入，其中，来自用户的输入与内容相关；基于来自用户的输入，产生关于内容的查询消息；从内容提取与来自用户的输入相关的信息；将提取的信息和查询消息发送到与显示装置连接的外部装置。

Description

发送查询消息的方法和用于该方法的显示装置、共享信息的方法和移动终端
技术领域
本发明涉及显示装置发送查询消息的方法和移动终端共享信息的方法，从而在外部装置之间共享信息。
背景技术
智能电视(智能TV)是具有互联网接入功能的多功能TV，从而用户可在智能TV中安装各种应用，并且然后可使用诸如网络冲浪、视频点播(VOD)观看、社交网络服务(SNS)、游戏等的各种功能。
智能TV的最特殊特征是用户和智能TV可交换信息。该特征是与仅单向传递信息的传统TV的最大区别。由于此特征，智能TV也被称为“交互式TV”。
然而，对于用户来说使用智能TV的各种功能可能实际上很不方便。特别是，对于在智能TV中再现的内容，当用户需要与外部的另一用户实时地共享信息时，难以通过使用智能TV来与另一外部装置交互。
发明内容
解决方案
一个或更多个实施例涉及一种在内容的再现期间检测到用户输入时与外部装置共享信息的方法，其中，所述信息可包括关于检测到的用户输入的输入信息以及与在基于用户输入被检测到的时间点选择的至少一个帧相应的相关信息。
有益效果
根据本发明的实施例，当用户的输入信息与再现的内容相关时，显示装置将与选择的帧相应的信息和输入信息(例如，查询消息)发送到外部装置。
附图说明
通过以下结合附图对实施例的描述，这些和/或其它方面将变得清楚和更容易理解，其中：
图1是示出根据一个或更多个实施例的信息共享系统的示图；
图2是根据一个或更多个实施例的由显示装置执行的发送查询消息的方法的流程图；
图3示出根据一个或更多个实施例的帧选择屏幕；
图4示出根据一个或更多个实施例的共享与帧相应的相关信息的屏幕；
图5示出根据一个或更多个实施例的在视频通话期间共享信息的示例的屏幕；
图6是根据一个或更多个实施例的由显示装置执行的共享信息的方法的流程图；
图7示出根据一个或更多个实施例的认证屏幕；
图8示出根据一个或更多个实施例的认证屏幕。
图9示出根据一个或更多个实施例的显示装置在内容再现屏幕上显示和重叠用户的输入信息的示例；
图10示出根据一个或更多个实施例的在共享窗口上显示用户的输入信息的示例；
图11示出根据一个或更多个实施例的在与显示装置连接的另一装置的屏幕(即，第二屏幕)上显示用户的输入信息的示例；
图12示出根据一个或更多个实施例的显示了包括用户的输入信息的弹窗的屏幕；
图13是根据一个或更多个实施例的由移动装置执行的共享信息的方法的流程图；
图14示出根据一个或更多个实施例的移动装置再现与在显示装置中再现的内容相同的内容的示例；
图15示出根据一个或更多个实施例的显示用户的输入信息的移动装置的屏幕；
图16示出根据一个或更多个实施例的在内容再现屏幕上显示和重叠用户的输入信息的移动装置的示例；
图17示出根据一个或更多个实施例的在与移动装置连接的另一装置的屏幕(即，第二屏幕)上显示用户的输入信息的示例；
图18示出根据一个或更多个实施例的由移动装置获得的与多个帧分别相应的多条第二用户的输入信息的示例；
图19示出根据一个或更多个实施例的共享白板会话；
图20A和图20B示出根据一个或更多个实施例的共享备忘录便签会话；
图21是根据一个或更多个实施例的经由服务器共享信息的方法的流程图；
图22是示出根据一个或更多个实施例的显示装置的结构的框图；
图23是示出根据一个或更多个实施例的移动装置的结构的框图。
最佳实施方式
现在将在下面的说明中部分地阐述一个或更多个实施例的附加方面和/或优点，部分地通过说明将是清楚的，或者可通过本公开的一个或更多个实施例的实践而得知。一个或更多个实施例包括这样的附加方面。
一个或更多个实施例涉及一种当在内容的再现期间检测到用户输入时与外部装置共享信息的方法，其中，所述信息可包括关于检测到的用户输入的输入信息以及与基于用户输入被检测到的时间点选择的至少一个帧相应的相关信息。
可通过一种由显示装置执行的发送查询消息的方法的一个或更多个实施例来克服上述问题和/或实现其它方面，其中，所述方法可包括以下操作：在显示装置中再现内容；接收来自用户的输入，其中，来自用户的输入可与内容相关；基于来自用户的输入，产生关于内容的查询消息；从内容提取可与来自用户的输入相关的信息；将提取的信息和查询消息发送到可与显示装置连接的外部装置。
提取的信息可包括与在接收到来自用户的输入时被再现的内容的帧有关的信息以及关于所述帧的附加信息中的至少一个。
接收输入的操作还可包括以下操作：分析来自用户的输入，然后确定来自用户的输入是否与内容相关。
确定的操作可包括以下操作：通过解析来自用户的输入提取至少一个意义单元；基于内容的元数据确定所述至少一个意义单元和内容之间的关系。
确定关系的操作可包括以下操作：通过例如使用本体论从内容的元数据获得与内容相关的意义单元；将与内容相关的意义单元与所述至少一个意义单元进行比较。
接收来自用户的输入的操作还可包括以下操作：确定来自用户的输入是否与预定的语句结构相应。
接收来自用户的输入的操作还可包括以下操作：接收例如用户的触摸输入、语音输入、键输入、运动输入和弯曲输入等中的至少一个。
接收来自用户的输入的操作可包括以下操作：获得例如响应于来自用户的输入发生的文字消息、语音消息和图像等中的至少一个。
提取的操作可包括以下操作：基于用户的输入发生时间、用户的输入已经过时间和用户的输入结束时间中的至少一个，从内容提取至少一个帧和关于所述至少一个帧的附加信息。
提取的操作可包括以下操作：提取与在用户的输入已经过时间期间内容的再现屏幕被改变的时间点相应的帧。
关于帧的附加信息可包括例如帧的再现位置信息、帧的顺序信息和关于包括在帧中的对象的对象信息等中的至少一个。
发送的操作还可包括以下操作：调整帧的压缩率、帧的分辨率和将被发送的帧的总数中的至少一个。
所述方法还可包括以下操作：从外部装置接收外部装置的用户的输入信息。
所述方法还可包括以下操作：在用于与外部装置共享信息的共享窗口中显示查询消息和外部装置的用户的输入信息。
共享窗口可包括例如共享的备忘录便签、共享白板和消息窗口等中的至少一个。
所述方法还可包括以下操作：在显示内容的区域中显示和重叠共享窗口。
所述方法还可包括以下操作：在与显示装置连接的另一装置的屏幕上显示共享窗口。
所述内容可包括例如广播内容、教育内容、音乐内容、电影内容、图片内容和电子书内容等中的至少一个。
发送的操作可包括以下操作：通过使用例如语音呼叫信号、视频通话信号和消息传输信号等中的至少一个来发送查询消息。
所述方法还可包括以下操作：从外部装置接收连接请求；响应于连接请求，对与外部装置的连接进行认证。
认证的操作可包括以下操作：基于例如外部装置的标识(ID)信息、外部装置的用户的ID信息和一次性使用认证信息等中的至少一个，对与外部装置的连接进行认证。
所述方法还可包括以下操作：将连接请求发送到外部装置；响应于连接请求从外部装置接收连接接受消息。
可通过一种由移动装置与外部显示装置共享信息的方法的一个或更多个实施例来克服上述问题和/或实现其它方面，其中，所述方法可包括以下操作：从外部显示装置接收第一用户的输入信息和相关信息，其中，可在外部显示装置中再现内容时获得第一用户的输入信息，相关信息可与在外部显示装置中再现的内容的至少一个帧相应；显示第一用户的输入信息和所述至少一个帧；获得可与第一用户的输入信息相应的第二用户的输入信息；将第二用户的输入信息发送到外部显示装置。
可与所述至少一个帧相应的相关信息可包括可基于以下项被选择的帧：第一用户的输入信息被接收到的时间点选择的帧、选择的帧的再现位置信息、选择的帧的顺序信息或关于可包括在选择的帧中的对象的对象信息。
所述方法还可包括以下操作：在移动装置的屏幕上再现和显示内容，其中，所述内容可与在外部显示装置中可被再现的内容匹配。
所述方法还可包括以下操作：在用于与外部显示装置共享信息的共享窗口中显示第一用户的输入信息和第二用户的输入信息。
所述方法还可包括以下操作：在显示内容的区域上显示和重叠第一用户的输入信息和第二用户的输入信息。
所述方法还可包括以下操作：在除外部显示装置之外的可与移动装置连接的装置的屏幕上显示可包括第一用户的输入信息和第二用户的输入信息的共享窗口。
所述方法还可包括以下操作：将连接请求发送到外部显示装置；从外部显示装置接收响应于连接请求的连接接受消息。
所述方法还可包括以下操作：向外部显示装置请求针对外部显示装置的远程控制的认证；从外部显示装置接收响应于请求的远程控制接受消息。
所述方法还可包括以下操作：控制以下项中的至少一项：在外部显示装置中再现的内容的再现位置的改变、再现停止、再现速度的调整、音量调整和再现目标内容的改变。
可通过一个或更多个实施例来克服上述问题和/或实现其它方面，包括：显示器，在显示装置的屏幕上再现和显示内容；用户输入装置，接收来自用户的输入，基于来自用户的输入产生关于内容的查询消息，其中，来自用户的输入与内容相关；提取器，从内容提取与来自用户的输入相关的信息；通信器，将提取的信息和查询消息发送到与显示装置连接的外部装置；控制器，控制显示器、用户输入装置、提取器和通信器。
提取器可提取与在来自用户的输入被接收时被再现的内容的帧有关的信息以及关于所述帧的附加信息。
控制器可分析来自用户的输入并随后可确定来自用户的输入是否与内容相关。
控制器可通过解析来自用户的输入来提取至少一个意义单元，并可基于内容的元数据确定所述至少一个意义单元和内容之间的关系。
控制器可通过使用本体论从内容的元数据获得与内容相关的意义单元，并可对与内容相关的意义单元和所述至少一个意义单元进行比较。
控制器可确定来自用户的输入是否与确定的语句结构相应。
用户输入装置可接收用户的触摸输入、语音输入、键收入、运动输入和弯曲输入中的至少一个。
提取器可基于用户的输入发生时间、用户的输入已经过时间和用户的输入结束时间中的至少一个来从内容提取至少一个帧和关于所述至少一个帧的附加信息。
提取器可提取与用户的输入已经过时间期间内容的再现屏幕被改变的时间点相应的帧。
控制器可调整帧的压缩率、帧的分辨率和将被发送的帧的总数中的至少一个。
通信器可从外部装置接收外部装置的用户的输入信息。
显示器可在用于与外部装置共享信息的共享窗口中显示查询消息和来自外部装置的用户的输入。
显示器可在显示内容的区域中显示和重叠共享窗口。
显示器可在与显示装置连接的另一装置的屏幕上显示共享窗口。
通信器可通过使用语音呼叫信号、视频通话信号和消息传输信号中的至少一个来发送查询消息。
通信器可接收来自外部装置的连接请求，控制器可响应于连接请求对与外部装置的连接进行认证。
控制器可基于外部装置的标识(ID)信息、外部装置的用户的ID信息和一次性使用认证信息中的至少一个对与外部装置的连接进行认证。
通信器可将连接请求发送到外部装置，并可从外部装置接收响应于连接请求的连接接受消息。
可通过一种用于与外部显示装置共享信息的移动装置的一个或更多个实施例来克服上述问题和/或实现其它方面，其中，所述移动装置可包括：通信器，从外部显示装置接收第一用户的输入信息和相关信息，并将可与第一用户的输入信息相应的第二用户的输入信息发送到外部显示装置，其中，第一用户的输入信息可在内容在外部显示装置中被再现的同时被获得，相关信息可与在外部显示装置中可被再现的内容的至少一个帧相应；显示器，显示第一用户的输入信息和所述至少一个帧；用户输入装置，获得可与第一用户的输入信息相应的第二用户的输入信息；控制器，控制通信器、显示器和用户输入装置。
显示器可在移动装置的屏幕上再现和显示内容，其中，所述内容可与在外部显示装置中再现的内容匹配。
显示器可在用于与外部显示装置共享信息的共享窗口中显示第一用户的输入信息和第二用户的输入信息。
显示器可在显示内容的区域中显示和重叠第一用户的输入信息和第二用户的输入信息。
显示器可在除外部显示装置之外的与移动装置连接的装置的屏幕上显示包括第一用户的输入信息和第二用户的输入信息的共享窗口。
通信器可将连接请求发送到外部显示装置，并可从外部显示装置接收响应于连接请求的连接接受消息。
通信器可向外部显示装置请求针对远程控制进行认证，并可从外部显示装置接收响应于请求的远程控制接受消息。
控制器可控制以下项中的至少一项：在外部显示装置中再现的内容的再现位置的改变、再现停止、再现速度的调整、音量调整和再现目标内容的改变。
具体实施方式
本申请要求于2012年7月26日在韩国知识产权局提交的第10-2012-0081966号韩国专利申请的权益，该申请的公开全部合并于此以资参考。
以下，将简要地描述在本发明中使用的术语，然后将详细描述本发明。
在本文中使用的包括描述性或技术性术语的所有术语应被理解为具有对于本领域的普通技术人员来说很清楚的含义。然而，根据本领域的普通技术人员的意图、在先情况或者新技术的出现，术语可具有不同的含义。另外，某些术语可被申请人任意地选择，在这种情况下，将在本发明的详细说明中具体地描述选择的术语的含义。因此，本文中使用的术语应基于术语的含义和整个说明书的描述一起被定义。
另外，当一部分“包括”或“包含”一元件时，除非有与其相反的特定描述，否则该部分还可包括其它元件，而不排除所述其它元件。在以下描述中，诸如“单元”和“模块”的术语指的是用于处理至少一个功能或操作的单元，其中，单元和块可被实现为硬件或软件，或通过组合硬件和软件而被实现。
现在将具体地参照在附图中示出的一个或更多个实施例，其中，相同的标号始终表示相同的元件。在这方面，本发明的实施例可按照多种不同方式被实现，并且不应被理解为限制于在此阐述的实施例，这是因为，在本文中被讨论的实施例被理解之后，在此描述的系统、设备和/或方法的各种改变、修改和等同应由本领域的普通技术人员理解为包括在本发明中。因此，以下通过参照附图仅描述了实施例，以解释本发明的各个方面。
如在本文中使用的，术语“和/或”包括相关列出项中的一个或更多个项的任意和全部组合。当诸如“…中的至少一个”的术语出现在列出的元件之后时，修饰全部列出的元件而不是修饰列出元件中的单个元件。
图1是示出根据一个或更多个实施例的信息共享系统的示图。如图1中所示，信息共享系统可包括第一装置100、第二装置200和服务器300。然而，不是所有示出的元件都是必要元件。也就是说，可用比示出的元件更多或更少的元件来实现信息共享系统。例如，可由第一装置100和第二装置200来形成信息共享系统，或者可由第一装置100、第二装置200和服务器300来形成信息共享系统。
第一装置100泛指各种类型的包括显示面板的显示装置。例如，一个或更多个实施例中的显示装置可包括但不限于智能电视(智能TV)、互联网协议TV(IPTV)、数字TV(DTV)、计算机、笔记本电脑、电子书终端、平板个人计算机(PC)、用于数字广播的终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置和消费电子(CE)装置(例如，具有显示面板的电冰箱、空调等)。
第一装置100可再现各种类型的内容。例如，显示装置100可再现运动画面内容(例如，TV节目图像、视频点播(VOD)、个人图像，诸如用户创建内容(UCC)、音乐视频、YouTube视频等)、静止图像内容(例如，相片、图片等)、文字内容(例如，电子书(诗集、小说等))、信件、工作文件、网页等)、音乐内容(例如，音乐、无线电广播等)、应用(微件、游戏、视频通话等)等。
第一装置100可经由网络与第二装置200或服务器300通信。在一个或更多个实施例中，可通过使用诸如Wi-Fi、家用射频(RF)、蓝牙、高速率无线个域网(HR-WPAN)、超宽带(UWB)、低速率无线个域网(LR-WPAN)、电气电子工程师协会(IEEE)1394标准等的无线通信技术来实现网络。
第一装置100可通过发送与被再现的内容相关的信息以及用户输入的信息来与第二装置200共享信息。以下，为了便于描述，用户输入的信息被称为用户输入信息或来自用户的输入信息。
第一装置100可包括能够从用户接收输入的用户输入装置120。在一个或更多个实施例中，用户输入装置120可被安装在第一装置100上，或者可作为远程控制设备存在于外部。远程控制设备可被实现为多种形式之一。例如，远程控制设备可以是专用于显示装置的远程控制器、智能电话、移动电话、平板PC等。
第二装置200可以是能够从外部源获得内容并且显示、再现或存储获得的内容的装置。第二装置200可包括移动电话、智能电话、膝上计算机、平板PC、电子书终端、PDA、PMP、导航装置、智能TV、CE装置(例如，具有显示面板的电冰箱、空调等)等。
第二装置200可在认证之后与第一装置100通信。例如，第二装置200可与第一装置100形成视频通话会话、语音呼叫会话、消息交换会话等。
在一个或更多个实施例中，第二装置200可从远处控制第一装置100的内容的再现/停止、音量调整、频道改变等。
在一个或更多个实施例中，服务器300可在第一装置100和第二装置200之间中继信息的共享。因此，服务器300可经由网络与第一装置100和第二装置200通信。
例如，服务器300可从第一装置100接收第一用户的输入信息以及与至少一个帧相应的相关信息，并且可将输入信息和相关信息发送到第二装置200。另外，服务器300可从第二装置200接收与第一用户的输入信息相应的第二用户的输入信息，并可将第二用户的输入信息发送到第一装置100。第一用户可以是在距第一装置100的相邻距离内直接控制第一装置100的用户，第二用户可以是在距第二装置200的相邻距离内直接控制第二装置200的用户。另外，第一用户的输入信息可包括第一用户的查询，该查询与在第一装置100中再现的内容有关。
服务器300可认证第一装置100或第二装置200以允许第一装置100和第二装置200建立交互会话。
以下，为了便于解释，假设第一装置100是显示装置。另外，假设第二装置200是移动装置。在其它的实施例中，第一装置100可被描述为外部显示装置，第二装置200可被描述为外部装置。
参照图2，现在将详细描述由显示装置100与外部装置200共享信息的方法。
图2是根据一个或更多个实施例的由显示装置100执行的发送查询消息的方法的流程图。
如图2中所示，显示装置100可在屏幕上再现和显示内容(操作S210)。在一个或更多个实施例中，内容可包括静止图像和运动画面两者。例如，内容可包括广播内容、教育内容、音乐内容、电影内容、图片内容、电子书内容等。
显示装置100可在屏幕的全部区域或部分区域上显示再现的内容。
在显示装置100在屏幕上再现和显示内容时，显示装置100可从第一用户接收与再现的内容相关的输入(操作S220)。这里，第一用户的输入信息可以是由显示装置100的用户输入并且与再现的内容有关的信息，并且可以是用于与外部装置200交互的输入信息。
在一个或更多个实施例中，显示装置100可分析第一用户的输入信息，并因此可确定第一用户的输入信息是否与再现的内容有关。也就是说，根据一个或更多个实施例，显示装置100可通过使用本体论来比较第一用户的输入信息和内容之间的关系。
本体论的意思是关于共享的概念化的正式和明确的说明。本体论可被认为是由词语和关联形成的一种类型的词典，其中，该词典包括与特定领域相关的分层表达的词语以及可另外扩展词语的推导规则。
更具体地，显示装置100可通过使用本体论来从被再现的内容的元数据获得与内容相关的意义单元(meaning unit)。内容的元数据可包括内容的标题、内容的类型、内容的概要、关于内容中包括的代表性对象的信息等。这里，意义单元可以是最小的有意义的词语的单元，诸如韩语的词素或英语的单词。
当发生第一用户的输入时，显示装置100可解析第一用户的输入信息，并因此可提取至少一个意义单元。然后，显示装置100可将通过使用本体论获得的与内容相关的意义单元与从第一用户的输入信息提取的意义单元进行比较，并可确定第一用户的输入信息和内容之间的关系。
例如，当内容的标题是“儿童们的动物世界探险”时，显示装置100可通过使用本体论获得诸如孩子、婴儿、儿童、儿童们、动物、野兽、狮子、大象、老虎、长颈鹿、豹子、世界、地球、探险、旅行等与内容相关的意义单元。这里，当第一用户输入了“妈妈，什么是动物？”的输入信息时，显示装置100可分析来自第一用户的输入信息，并随后可提取出“动物”的意义单元。由于提取的意义单元“动物”被包括在通过使用本体论而获得的与内容相关的意义单元中，因此显示装置100可确定第一用户的输入信息与内容相关。
在一个或更多个实施例中，显示装置100可解析第一用户的输入信息，并且因此可确定第一用户的输入信息是否与预定的句子结构相应。例如，显示装置100可通过检测包括在第一用户的输入信息中的动词的类型、助动词的存在、疑问词的存在等，确定第一用户的输入信息是否具有疑问句的结构。
在一个或更多个实施例中，显示装置100可识别第一用户的与被再现的内容相关的触摸输入、语音输入、键输入、运动输入和弯曲输入中的至少一个。因此，第一用户可通过使用包括触摸输入、语音输入、键输入、运动输入和弯曲输入的各种方法来将关于再现的内容的消息输入到显示装置100。
例如，当显示装置100包括触摸板时，第一用户可通过触摸显示装置100的屏幕来输入关于再现的内容的消息，并且当显示装置100不包括触摸板时，第一用户可经由能够进行触摸输入的远程控制设备120来执行触摸输入。
可选择地，第一用户可通过在三维(3D)空间中移动或旋转远程控制设备120，经由运动输入来输入关于再现的内容的消息。当显示装置100包括柔性显示器或者远程控制设备120包括柔性显示器时，第一用户可执行在显示装置100或远程控制设备120中预设的弯曲操作，从而使第一用户可将关于再现的内容的消息输入到显示装置100中。
在一个或更多个实施例中，第一用户的输入信息可包括响应于第一用户的输入而发生的文字消息、语音消息和图像中的至少一个。当显示装置100检测到第一用户的输入时，显示装置100可分析输入，并且因此可获得包括第一用户的输入消息、第一用户的输入发生时间、第一用户的输入耗时、第一用户的输入结束时间、第一用户的输入发生位置等的与再现的内容相关的信息。
例如，当第一用户通过使用键或按钮输入文字时，显示装置100可识别文字输入的开始时间和结束时间。另外，当第一用户经由触摸输入来输入文字或图片时，显示装置100可识别触摸开始时间和触摸结束时间，或者可识别屏幕上的触摸位置(即，触摸地点)。在一个或更多个实施例中，第一用户的输入发生位置可以是绝对位置或相对位置。
当第一用户输入语音作为关于再现的内容的消息时，显示装置100可识别语音发生的开始时间和结束时间。在一个或更多个实施例中，显示装置100可识别与再现的内容有关的停止/暂停/时间段重复/快进再现/慢速再现等的输入。
显示装置100可基于第一用户的输入获得第一用户的输入信息。第一用户的输入信息是由第一用户输入从而让第一用户可以与外部装置200交互的信息。在一个或更多个实施例中，第一用户的输入信息可包括关于再现的内容的查询。
也就是说，显示装置100可基于第一用户的输入产生关于内容的查询消息(S230)。
显示装置100可基于用户的输入的接收时间，从再现的内容提取与第一用户的输入有关的信息。从内容提取的信息可以是帧或者是帧的附加信息。帧的附加信息可包括帧的再现位置信息、帧的顺序信息、关于包括在帧中的对象的对象信息等。
也就是说，显示装置100可基于第一用户的输入信息的接收时间，提取再现的内容的至少一个帧或关于至少一个帧的附加信息。
显示装置100可基于第一用户的输入发生时间、第一用户的输入已经过时间和第一用户的输入结束时间中的至少一个来选择再现的内容的至少一个帧。
例如，显示装置100可选择与第一用户的输入发生时间相应的帧，或者可选择与第一用户的输入结束时间相应的帧。也就是说，显示装置100可选择在第一用户的输入发生时显示在屏幕上的帧，或者可选择在第一用户的输入结束时显示在屏幕上的帧。
可选择地，显示装置100可选择与第一用户的输入发生时间相应的帧以及与第一用户的输入结束时间相应的帧两者。在一个或更多个实施例中，显示装置100可以按照预定间隔，选择第一用户的输入发生时间到第一用户的输入结束时间之间的所有帧，或者可选择第一用户的输入发生时间到第一用户的输入结束时间之间的所有帧。
当第一用户暂停内容时，显示装置100可选择与暂停的时间相应的帧。例如，当发生第一用户的输入时，显示装置100可自动地暂停内容的再现，并且可选择在自动暂停发生时显示在屏幕上的帧。
显示装置100可在第一用户的输入被保持的同时选择与内容的再现屏幕的改变相应的帧。也就是说，显示装置100可选择在第一用户的输入已经过时间期间改变的帧。
显示装置100可将从内容提取的信息和查询消息发送到外部装置200(操作S250)。
从内容提取的信息可以是与当显示装置100接收到来自第一用户的输入时在显示装置100中再现的内容的帧相应的相关信息。例如，相关信息可包括帧、帧的再现位置信息、帧的顺序信息、关于包括在帧中的对象的对象信息等。
也就是说，显示装置100可将选择的帧发送到外部装置200，或者显示装置100可将选择的帧的再现位置信息或选择的帧的顺序信息(而不是选择的帧)发送到外部装置200。
具体地，当外部装置200再现与在显示装置100中再现的内容相同的内容时，尽管显示装置100仅将选择的帧的再现位置信息(例如，时间戳)或选择的帧的顺序信息发送到外部装置200，外部装置200可提取选择的帧。因此，为了减少将被发送的数据量，显示装置100可将选择的帧的再现位置信息或选择的帧的顺序信息(而不是选择的帧)发送到外部装置200。
在一个或更多个实施例中，显示装置100可调整选择的帧的压缩率、选择的帧的分辨率和将被发送的帧的总数中的至少一个。例如，当外部装置200的分辨率低于显示装置100的分辨率时，显示装置100可降低选择的帧的分辨率并发送该帧。此外，为了减少将被发送的数据量，显示装置100可增加选择的帧的压缩率，或者可减少将被发送的帧的总数。
当选择的帧仅包括一个帧时，显示装置100可将一个图像文件发送到外部装置200，当选择的帧包括两个或更多个帧时，显示装置100可将多个图像文件发送到外部装置200。当选择的帧包括两个或更多个帧时，显示装置100可将选择的两个或更多个帧转换为动画gif文件或转换为flash文件，并随后可发送这些文件，或者可按照运动图片格式来发送选择的两个或更多个帧。在一个或更多个实施例中，显示装置100可提取包括在选择的帧中的对象(例如，代表性对象、主要对象等)，并可将关于提取的对象的对象信息发送到外部装置200。
这里，在一个或更多个实施例中，显示装置100可将与选择的帧相应的相关信息和第一用户的输入信息(例如，查询消息)发送到外部装置200。也就是说，显示装置100可将第一用户的输入消息、关于第一用户的输入发生位置的信息等发送到外部装置200，从而使显示装置100可与外部装置200共享信息(即，交互信息)。
显示装置100可经由例如语音呼叫信号、视频通话信号和消息传输信号等中的至少一个将第一用户的输入信息(例如，查询消息)发送到外部装置200。例如，当在显示装置100和外部装置200之间形成语音呼叫会话时，显示装置100可经由语音呼叫会话来发送第一用户的输入信息。
在一个或更多个实施例中，仅当第一用户的输入信息与再现的内容相关时，显示装置100可将与选择的帧相应的信息和第一用户的输入信息(例如，查询消息)发送到外部装置200。也就是说，如上所述，仅当从第一用户的输入信息提取的意义单元被包括在与内容相关并且通过使用本体论获得的意义单元中时，显示装置100可将第一用户的输入信息和与选择的帧相应的信息发送到外部装置200。
当第一用户的输入信息的长度等于或小于预定长度时，显示装置100可不将第一用户的输入信息和与选择的帧相应的信息发送到外部装置200。例如，当诸如“嗯…”、“啊”或咳嗽声的短音被输入时，显示装置100可将短音确定为无意义输入，并且因此可不将第一用户的输入信息和与选择的帧相应的信息发送到外部装置200。
在一个或更多个实施例中，显示装置100可存储第一用户的针对文字语句的音调信息，并且仅当接收到具有音调信息的用户输入时，显示装置100可提取帧或帧的附加信息，并可将帧或帧的附加信息发送到外部装置200。
在一个或更多个实施例中，当第一用户的输入信息与预定语句结构相应时，显示装置100可将第一用户的输入信息以及与选择的帧相应的信息发送到外部装置200。例如，当第一用户的输入信息具有疑问句的结构时，显示装置100可将第一用户的输入信息以及与选择的帧相应的信息发送到外部装置200。
因此，根据一个或更多个实施例，可以在用户不想发送时减少第一用户的输入信息以及与选择的帧相应的信息被错误地发送到外部装置200的错误。
现在讲参照图3到图5详细地描述显示装置100与外部装置200共享信息的方法。
图3示出根据一个或更多个实施例的帧选择屏幕。
如图3所示，显示装置100可再现和显示电子书内容。当在第一用户查看显示在显示装置100上的电子书内容的同时第一用户想要查询时，第一用户可输入与电子书内容相关的查询消息，并可将查询消息发送到外部装置200。例如，第一用户可经由键盘输入“我怎么画出食物链？”的消息，或者可通过触摸触摸板上的虚拟键盘来输入“我怎么画出食物链？”的消息。此外，第一用户可通过使用他的/她的语音来输入“我怎么画出食物链？”的消息。
在这种情况下，显示装置100可识别第一用户的输入。然后，显示装置100可获得第一用户的输入发生时间(12(时)：40(分)：10(秒))、第一用户的输入结束时间(12(时)：40(分)：30(秒))、第一用户的输入发生位置(X,Y＝0.6，0.4)、第一用户的输入消息(“我怎么画出食物链？”)、第一用户的输入已经过时间(20秒)等的信息。
在一个或更多个实施例中，显示装置100可选择在第一用户的输入发生时间(12(时)：40(分)：10(秒))显示在显示装置100的屏幕上的电子书内容的帧310。在这种情况下，显示装置100可将在第一用户的输入发生时间(12(时)：40(分)：10(秒))显示在屏幕上的帧310以及第一用户的输入消息(“我怎么画出食物链？”)发送到外部装置200，从而使显示装置100可与外部装置200共享信息。
图4示出根据一个或更多个实施例的共享与帧相应的相关信息的屏幕。
如图4中所示，显示装置100可选择在第一用户的输入发生时间(12(时)：40(分)：10(秒))显示在显示装置100的屏幕上的电子书内容的帧310。显示装置100可提取作为帧310的代表性对象410的位于右侧的图片，并可将关于代表性对象410的信息发送到作为移动装置的外部装置200。
在一个或更多个实施例中，显示装置100可解析第一用户的输入信息，并随后可提取包括在选择的帧中的特定对象。例如，当第一用户将“我怎么画出食物链”的消息输入到显示装置100时，显示装置100可解析第一用户的消息，并随后可仅提取与食物链相应的对象。
在一个或更多个实施例中，当第一用户通过使用他的/她的语音来输入关于再现的内容的消息时，显示装置100可将语音输入改变为文字，并可将文字发送到外部装置200，或者可将语音输入以语音消息的形式发送到外部装置200。
图5示出了根据一个或更多个实施例的在视频通话期间共享信息的示例的屏幕。
如图5(a)中所示，当第一用户和外部装置200的第二用户在进行视频通话时，显示装置100可经由视频通话信号将第一用户的输入信息发送到外部装置200。这里，显示装置100可选择与第一用户的语音发生的开始时间相应的帧，并可经由与视频通话信号不同的信号将选择的帧发生到外部装置200。也就是说，显示装置100可识别出视频通话中的第一用户的语音，并可将在语音被识别时再现的内容的帧发送到外部装置200。
如图5(b)中所示，由于第一用户的输入信息经由视频通话信号被发送，因此外部装置200可仅显示与选择的帧相应的两条相关信息510和520。
以下，参照图6，现在将更详细地描述由显示装置100与外部装置200共享信息的方法。
图6是根据一个或更多个实施例中的由显示装置100执行的共享信息的方法的流程图。
在操作S605，显示装置100可设置与外部装置200的交互会话。交互会话可以是允许显示装置100和外部装置200共享信息的会话。例如，交互会话可包括视频通话会话、语音呼叫会话、聊天会话、共享白板会话、共享备忘便签会话等。
在一个或更多个实施例中，显示装置100可接收来自外部装置200的连接请求。这里，显示装置100可响应于来自外部装置200的连接请求，对与外部装置200的连接进行认证。显示装置100可通过使用各种方法来对与外部装置200的连接进行认证。
在一个或更多个实施例中，显示装置100可通过使用外部装置200的标识(ID)信息、第二用户的ID信息和一次性使用认证信息中的至少一个来对与外部装置200的连接进行认证。将参照图7和图8进行描述。
图7示出根据一个或更多个实施例的认证屏幕。
如图7中所示，当外部装置200请求连接到显示装置100时，显示装置100可从外部装置200接收第二用户的ID信息(例如，第二用户的图像、ID、联系人明细等)，并可在其自己的屏幕上显示ID信息。
外部装置200可按照这样的方式来请求连接：外部装置200通过使用相机捕捉第二用户的脸部图像并随后将第二用户的脸部图像发送到显示装置100。这里，第二用户的脸部图像可以是静止图像或者是实时发送的运动画面图像。
在一个或更多个实施例中，连接请求可包括视频通话连接请求、语音呼叫连接请求、聊天请求等。
第一用户可检查显示在显示装置100的屏幕上的来自第二用户的连接请求，并随后可接受或拒绝来自第二用户的连接请求。当第一用户接受了来自第二用户的连接请求时，显示装置100可将针对连接请求的接受消息发送到第二装置200，并随后显示装置100和第二装置200可建立交互会话。
图8示出根据本发明的一个或更多个实施例的认证屏幕。
如图8中所示，显示装置100可基于第二用户输入的ID和密码对来自外部装置200的连接请求进行认证。也就是说，当关于第二用户的ID和密码的信息被存储在显示装置100中时，显示装置100可将从第二装置200接收的第二用户的ID和密码与先前存储在显示装置100的存储器中的第二用户的ID和密码进行比较，从而显示装置100可对与外部装置200的连接进行认证。
在一个或更多个实施例中，显示装置100可通过使用由显示装置100产生的一次性使用认证信息来对与外部装置200的连接进行认证。也就是说，当显示装置100产生一次性使用认证信息并将一次性认证信息发送到外部装置200时，第二用户可检查一次性使用认证信息，并可将一次性使用认证信息输入到外部装置200。这里，外部装置200可将第二用户输入的一次性使用认证信息发送到显示装置100，然后显示装置100可将先前产生的一次性使用认证信息与从外部装置200接收到的一次性使用认证信息进行比较，从而显示装置100可对与外部装置200的连接进行认证。一次性使用认证信息的示例可包括一次性密码(OTP)。
在一个或更多个实施例中，显示装置100可基于外部装置200的ID信息对与外部装置200的连接进行认证。外部装置200的ID信息可包括装置ID、装置名称、MAC地址、装置序列号等。也就是说，当显示装置100存储外部装置200的ID信息时，显示装置100可将从外部装置200接收的外部装置200的ID信息与先前存储在显示装置100的存储器中的外部装置200的ID信息进行比较，从而显示装置100可对与外部装置200的连接进行认证。
然而，显示装置100可首先请求连接到外部装置200。在这种情况下，显示装置100可从外部装置200接收响应于其自己的连接请求的连接接受消息。
在一个或更多个实施例中，显示装置100可从外部装置200接收用于信息的共享的预定应用的输出。在这种情况下，显示装置100可将预定应用的输出与虚拟广播信道映射。由于第一用户将显示装置100的信道设置为虚拟广播信道，因此第一用户可与外部装置200的第二用户执行交互。
参照回到图6，在操作S610，显示装置100可获得第一用户的输入信息。在操作S615，显示装置100可基于第一用户的输入信息选择包括在再现的内容中的至少一个帧。图6的流程图的操作S610和S615与图2的流程图的操作S220和S230相应，因此这里将省略其详细描述。
在操作S620，显示装置100可将帧发送开始消息发送到外部装置200。这里，在操作S625，显示装置100可从外部装置200接收外部装置信息(例如，关于装置状态和装置性能的外部装置信息)。外部装置信息可包括外部装置200的网络信息(例如，关于带宽和可用通信方法的信息)、外部装置200的分辨率等。
在操作S630，显示装置100可基于外部装置200的网络信息来确定发送方法。发送方法可包括有线通信方法、无线通信方法(无线局域网(LAN)和近场通信(NFC))、移动通信方法(2G/3G/4G/Wibro)等。
在操作S635，显示装置100可调整选择的帧的压缩率和将被发送的帧的总数。另外，显示装置100可考虑外部装置200的分辨率调整选择的帧的分辨率。也就是说，根据一个或更多个实施例，显示装置100可通过增加选择的帧的压缩率、通过减少将被发送的帧的总数、或者通过减少选择的帧的分辨率来减少将被发送的数据量。
在操作S640，显示装置100可将与选择的帧相应的相关信息以及第一用户的输入信息发送到外部装置200。在这种情况下，在操作S645，第二装置200可接收第一用户的输入信息并在屏幕上显示第一用户的输入信息。另外，外部装置200可基于与选择的帧相应的相关信息，显示位于显示装置100的屏幕上的选择的帧。也就是说，根据一个或更多个实施例，外部装置200可再现正由显示装置100再现的内容，并可显示位于显示装置100的屏幕上的内容。
在操作S650，显示装置100可接收来自外部装置200的接收完成通知消息。
在操作S655，外部装置200可接收与第一用户的输入信息相应的第二用户的输入信息。第二用户的输入信息可包括响应于第一用户的输入消息的第二用户的响应消息，并且可以是由第二用户输入从而使第二用户可与显示装置100的第一用户交互的信息。将参照图13进行详细描述。
在操作S660，显示装置100可接收第二用户的输入信息。这里，显示装置100可经由有线或无线通信网络或移动通信网络来接收第二用户的输入信息。
在操作S665，显示装置100可在屏幕上显示第一用户的输入信息和第二用户的输入信息。在一个或更多个实施例中，显示装置100可在用于与外部装置200共享信息的共享窗口中显示第一用户的输入信息和第二用户的输入信息。
在一个或更多个实施例中，共享窗口可包括但不限于共享备忘录便签、共享白板、消息窗口等。共享窗口可以以各种方式被显示在显示装置100的屏幕上，并且将参照图9到图12进行详细描述。在其它实施例中，操作S605到S665的顺序可被改变，或者操作S605到S665中的某些操作可被跳过。
图9示出根据一个或更多个实施例的显示装置100在内容再现屏幕上显示和重叠用户的输入信息的示例。
如图9中所示，在一个或更多个实施例中，显示装置100可在其屏幕上再现和显示教育内容。这里，当查看教育内容的第一用户在下午12:40输入“我不会计算面积”的消息时，显示装置100可在内容再现屏幕上显示和重叠第一用户的输入消息。
此外，当从外部装置200接收到第二用户的“计算面积的公式是什么？”的输入消息时，显示装置100也可在内容再现屏幕上显示和重叠第二用户的输入消息。也就是说，显示装置100可根据第一用户的输入消息和第二用户的输入消息的发生的先后顺序在内容再现屏幕上显示和重叠第一用户的输入消息和第二用户的输入消息。
图10示出根据一个或更多个实施例的用户的输入信息被显示在共享窗口中的示例。
如图10中所示，显示装置100可在屏幕的第一区域1010再现和显示教育内容，并可在屏幕的第二区域1020显示包括第一用户的输入信息和第二用户的输入信息的共享窗口。也就是说，显示装置100可被划分为用于显示内容的区域和用于显示第一用户的输入信息和第二用户的输入信息的区域。
图11示出根据一个或更多个实施例的用户的输入信息被显示在与显示装置100连接的另一装置的屏幕(即，第二屏幕)上的示例。
如图11所示，在一个或更多个实施例中，显示装置100可仅在显示装置100的屏幕上再现和显示内容，与显示装置100连接的另一装置100-2可显示包括第一用户的输入信息和第二用户的输入信息的共享窗口。
与显示装置100连接的另一装置100-2可以是控制显示装置100的远程控制设备120。例如，假设第一用户通过使用平板PC作为远程控制设备120来控制显示装置100。这里，当显示装置100获得第一用户的输入信息和第二用户的输入信息时，显示装置100可在平板PC上显示包括第一用户的输入信息和第二用户的输入信息的共享窗口。也就是说，第一用户可通过使用平板PC控制显示装置100，并且可通过使用平板PC来检查第一用户的输入信息和第二用户的输入信息。
图12示出根据一个或更多个实施例的显示包括用户的输入信息的弹窗1210的屏幕。
如图12中所示，在一个或更多个实施例中，当接收到第二用户的输入信息时，显示装置100可在内容再现屏幕上显示包括第二用户的输入信息的弹窗1210。
以下，现在将参照图13详细描述由移动装置200与显示装置100共享信息的方法。
图13是根据一个或更多个实施例的由移动装置200执行的共享信息的方法的流程图。
在移动装置200的外部的显示装置100再现内容的同时，移动装置200可从显示装置100接收第一用户的输入信息和相关信息，其中，相关信息与包括在再现的内容中的至少一个帧相应(操作S1310)。
在一个或更多个实施例中，第一用户的输入信息可包括例如响应于第一用户的输入而发生的文字消息、语音消息和图像等中的至少一个。第一用户的输入消息还可包括第一用户的输入发生时间、第一用户的输入已经过时间、第一用户的输入结束时间、第一用户的输入发生位置等。第一用户的输入发生位置可表示第一用户的输入在显示装置100的屏幕上发生的位置，并且可由相对坐标值形成。例如，如果假设显示装置100的水平长度和垂直长度均为100％，则当第一用户的输入发生在从屏幕的左端开始的60％的水平长度和从屏幕的顶部开始的垂直长度的40％的位置处时，第一用户的输入发生位置可以是(0.6，0.4)。
在一个或更多个实施例中，显示装置100可基于第一用户的输入信息的接收时间来选择至少一个帧。例如，所述至少一个帧可包括与第一用户的输入发生时间相应的帧、与第一用户的输入结束时间相应的帧、在第一用户的输入已经过时间期间以有规律的间隔选择帧、在第一用户的输入已经过时间期间改变的帧等。
与至少一个帧相应的相关信息可包括在接收第一用户的输入信息时选择的帧、选择的帧的再现位置信息、选择的帧的顺序信息、关于包括在选择的帧中的对象的对象信息等。
也就是说，如果移动装置200不再现正被显示装置100再现的内容，则移动装置200可从显示装置100直接接收帧或包括在帧中的对象。然而，当移动装置200再现正被显示装置100再现的内容时，移动装置200可从显示装置100接收帧的再现位置信息或帧的顺序信息而不是接收帧。这是因为移动装置200可基于接收的帧的再现位置信息或接收的帧的顺序信息来从再现的内容选择帧。
移动装置200可显示从显示装置100接收的第一用户的输入信息和至少一个帧(操作S1320)。也就是说，移动装置200可在其屏幕上显示接收的帧(或对象)和第一用户的输入信息，或者可基于帧的再现位置信息或帧的顺序信息提取相应帧，并且可在其屏幕上显示帧和第一用户的输入信息。
在一个或更多个实施例中，移动装置200可获得可与第一用户的输入信息相应的第二用户的输入信息(操作S1330)。例如，移动装置200可识别可与第一用户的输入信息相应的、第二用户的例如触摸输入、语音输入、键输入、运动输入和弯曲输入等中的至少一个。也就是说，第二用户可通过使用包括触摸输入、语音输入、键输入、运动输入和弯曲输入等的各种方法之一，将针对第一用户的输入消息的响应消息输入到移动装置200。
第二用户的输入信息不仅可包括文字，还可包括例如图片、图表、搜索结果、包括在再现的内容中的至少一个帧等。例如，当第一用户询问与在显示装置100中再现的内容相关的查询时，第二用户可回答第一用户的查询，可经由搜索网站搜索与第一用户的查询相关的内容，或者可将与显示装置100中再现的内容相关的新的查询输入到移动装置200。
移动装置200可将第二用户的输入信息发送到位于移动装置200的外部的显示装置100(操作S1340)。移动装置200可将第二用户的输入信息和基于第二用户的输入信息而选择的至少一个帧发送到显示装置100。这里，移动装置200可调整选择的帧的压缩率或将被发送的帧的总数。
以下，参照图14到图17，现在将更详细地描述由移动装置200与显示装置100共享信息的方法。
图14示出根据一个或更多个实施例的移动装置200再现与在显示装置200中再现的内容相同的内容的示例。
如图14中所示，显示装置100和移动装置200可再现相同的教育内容。这里，如图14(a)中所示，当第一用户将“我不会计算面积”的消息输入到显示装置100时，显示装置100可识别第一用户的输入，并可选择与第一用户的输入发生时间相应的帧。然后，显示装置100可将第一用户的输入信息(“输入消息：我不会计算面积”，“输入发生时间：12:40p.m.”等)和选择的帧的再现位置信息或顺序信息发送到移动装置200。
如图14(b)中所示，移动装置200可基于再现位置信息或顺序信息提取相应的帧，可在第一区域1430显示提取的帧，并可在第二区域1440显示第一用户的输入信息(“输入消息：我不会计算面积”，“输入发生时间：12:40p.m.”等)。
这里，显示装置100中用于显示内容的区域1410和用于显示第一用户的输入信息的区域1420的比率可与移动装置200中用于显示内容的第一区域1430和用于显示第一用户的输入信息的第二区域1440的比率不同。
图15示出根据一个或更多个实施例的可显示用户的输入信息的移动装置200的屏幕。
移动装置200可在共享窗口中显示第一用户的输入信息和第二用户的输入信息，其中，移动装置200通过共享窗口与显示装置100共享信息。在一个或更多个实施例中，共享窗口可包括例如共享的备忘录便签、共享白板和消息窗口等中的至少一个。
例如，如图15中所示，移动装置200可在其屏幕上显示从显示装置100接收的第一用户的输入信息(“输入消息：我不会计算面积”，“输入发生时间：12:40p.m.”等)以及与第一用户的输入信息相应的第二用户的输入信息(“输入消息：计算面积的公式是什么？”，“输入发生时间：12:41p.m.”)。
这里，当移动装置200不再现与在显示装置100中再现的内容相同的内容时，移动装置200可在其屏幕上显示从显示装置100接收的帧(或对象)1510以及第一用户的输入信息。
图16示出根据一个或更多个实施例的移动装置200在内容再现屏幕上显示和重叠用户的输入信息的示例。
在一个或更多个实施例中，移动装置200可在用于显示内容的区域上显示和重叠第一用户的输入信息和第二用户的输入信息。例如，如图16中所示，第一用户的输入信息(例如，“底为10cm”)和第二用户的输入信息(例如，“底有多长？”)被重叠在再现教育内容的屏幕上。
图17示出根据一个或更多个实施例的在与移动装置200连接的另一装置200-2的屏幕(即，第二屏幕)上显示用户的输入信息的示例。
在一个或更多个实施例中，移动装置200可在与移动装置200连接的另一装置200-2的第二屏幕上显示包括第一用户的输入信息和第二用户的输入信息的共享窗口。所述另一装置200-2可按照有线的方式或经由NFC与移动装置200连接。NFC的示例可包括但不限于Wi-Fi、蓝牙、ZigBee、Wi-Fi直连(WFD)、UWB和红外数据协会(IrDA)。
如图17中所示，移动装置200可在移动装置200的屏幕上再现和显示内容，与移动装置200连接的另一装置200-2可显示包括第一用户的输入信息和第二用户的输入信息的共享窗口。
图18示出根据一个或更多个实施例的由移动装置200获得与多个帧分别相应的多条第二用户的输入信息的示例。
如图18(a)和图18(b)中所示，移动装置200可顺序地从显示装置100接收帧1810和1820，并可在其屏幕上显示帧1810和1820。在这种情况下，当第二用户选择将被应答的帧1810时，移动装置200可显示虚拟键盘以用于针对选择的帧1810的响应消息的输入。当第二用户通过使用虚拟键盘输入消息时，显示装置100可将关于选择的帧1810的信息和第二用户的输入信息发送到显示装置100。例如，移动装置200可在选择的帧1810上重叠第二用户的输入信息，并随后可将具有重叠的信息的选择的帧发送到显示装置100。
因此，第一用户可识别由第二用户应答的第一用户的查询。
图19示出根据一个或更多个实施例的共享白板会话。
如图19中所示，在一个或更多个实施例中，显示装置100和移动装置200可经由共享白板会话来共享信息。在共享白板会话中，第一用户和第二用户可同时输入信息。
例如，如图19(a)中所示，第一用户可将文字“猜这是什么？你认为这是什么？是兔子还是鸭子？”输入显示装置100。这里，如图19(b)中所示，第二用户可将文字和图片“嗯…是兔子”输入到移动装置200。也就是说，在共享白板会话中，第一用户和第二用户均可输入每个用户想要的文字或图片，而不用考虑另一方的输入。
根据一个或更多个实施例，在共享白板会话中，显示装置100可将第一用户的输入信息1910发送到移动装置200，移动装置200可将第二用户的输入信息1920发送到显示装置100。这里，第一用户的输入信息1910和第二用户的输入信息1920可包括关于第一用户和第二用户的各自的输入发生位置的信息。因此，显示装置100和移动装置200可针对它们各自的输入发生位置显示第一用户的输入信息1910和第二用户的输入信息1920。
图20A和图20B示出根据一个或更多个实施例的共享备忘录便签会话。
在共享备忘录便签会话中，一次仅可激活显示装置100的输入功能和移动装置200的输入功能中的一个。也就是说，当第一用户将文字输入到显示装置100的共享备忘录便签时，第二用户不能将文字输入到移动装置200的共享备忘录便签，当第二用户将文字输入到移动装置200的共享备忘录便签时，第一用户不能将文字输入到显示装置100的共享备忘录便签。
例如，如图20A中所示，当第一用户在显示装置100中输入文字“这幅图是什么？是鸭子还是兔子？”时，第二用户可经由移动装置200的共享备忘录便签检查第一用户输入的文字的内容，但是第二用户不能将文字输入到共享备忘录便签。
相反，如图20B中所示，当第二用户经由移动装置200输入文字“这幅图是Wittgenstein和Gombrich的模糊图！”时，第一用户可经由显示装置100的共享备忘录便签检查第二用户输入的文字的内容，但是第一用户不能将文字输入到共享备忘录便签。
也就是说，当显示装置100将第一用户的输入信息和指示第一用户当前正在将文字输入到共享备忘录便签的信息发送到移动装置200时，移动装置200可限制移动装置200的共享备忘录便签的输入功能。另外，当显示装置100从移动装置200接收到第二用户的输入信息和指示第二用户当前正在将文字输入到共享备忘录便签的信息时，显示装置100可限制显示装置100的共享备忘录便签的输入功能。
在一个或更多个实施例中，移动装置200可请求连接到显示装置100。然后，移动装置200可从显示装置100接收作为对于请求的响应的连接接受消息。
另外，移动装置200可请求针对对于显示装置100的远程控制进行认证。当移动装置200从显示装置100接收作为对于请求的响应的远程控制接受消息时，移动装置200可从远处控制显示装置100。显示装置100可通过参照第二用户的ID信息、移动装置200的ID信息、一次性使用认证信息等来对移动装置200的控制权进行认证。
对控制权进行过认证的移动装置200可控制以下项中的至少一个：在显示装置100中再现的内容的再现位置的改变、再现停止、再现速度的调整、音量调整和再现目标内容的改变。例如，当第二用户调整在移动装置200中显示的内容的再现位置时，移动装置200可改变显示装置100中的再现位置，从而使在显示装置100中再现的内容的再现位置与在移动装置200中再现的内容的再现位置同步。
针对控制权进行过认证的移动装置200可控制在显示装置100中安装、删除或执行应用。
图21是根据一个或更多个实施例的经由服务器300共享信息的方法的流程图。
在操作S2105，显示装置100和移动装置200可经由服务器300设置交互会话。例如，在一个或更多个实施例中，当移动装置200向服务器300提交与显示装置100连接的请求时，服务器300可对移动装置200进行认证，并可在移动装置200和显示装置100之间建立交互会话。
服务器300可通过使用各种方法来对移动装置200进行认证。在一个或更多个实施例中，服务器300可例如基于移动装置200的ID信息、第二用户的ID信息或一次性使用认证信息等来对移动装置200进行认证。
在一个或更多个实施例中，服务器300可将来自移动装置200的连接请求和移动装置200的ID信息(或第二用户的ID信息或一次性使用认证信息)发送到显示装置100。在这种情况下，显示装置100可基于移动装置200的ID信息(或第二用户的ID信息或一次性使用认证信息)对来自移动装置200的连接请求进行认证。
在操作S2110，服务器300可从显示装置100接收帧发送开始消息，在操作S2115，服务器300可将帧发送开始消息发送到移动装置200。在操作S2120，服务器300可接收来自移动装置200的移动装置信息(与装置状态和装置性能有关)，在操作S2125，服务器300可将移动装置信息发送到显示装置100。移动装置信息可包括移动装置200的网络信息(例如，关于带宽和可用通信方法的信息)、移动装置200的分辨率等。
在操作S2130，显示装置100可基于移动装置200的网络信息确定发送方法，在操作S2135，显示装置100可调整将被发送的帧的压缩率、将被发送的帧的总数、将被发送的帧的分辨率等。
在操作S2140，服务器300可从显示装置100接收第一用户的输入信息以及与选择的帧相应的相关信息，在操作S2145，服务器可将第一用户的输入信息和相关信息发送到移动装置200。在操作S2150，移动装置200可在其屏幕上显示第一用户的输入信息和选择的帧，并可再现与在显示装置100中再现的内容相同的内容。
在操作S2155，服务器300可接收来自移动装置200的接收完成通知消息，在操作S2160，服务器300可将接收完成通知消息发送到显示装置100。
也就是说，在一个或更多个实施例中，服务器300可在显示装置100和移动装置200之间对信息的共享进行中继。
图22是示出根据一个或更多个实施例的显示装置100的结构的框图。
如图22中所示，显示装置100可包括显示器110、用户输入装置120、提取器130、通信器140和控制器150。然而，不是所有示出的元件都是必要元件。也就是说，可用比示出的元件更多或更少的元件来实现显示装置100。
在下文中，示出的元件被描述为如下。
显示器110显示并输出由显示装置100处理的信息。例如，显示器110可再现内容并可在显示装置100的屏幕上显示内容。在一个或更多个实施例中，内容可包括广播内容、教育内容、音乐内容、电影内容、图片内容、电子书内容等。
显示器110可在用于与外部装置200共享信息的共享窗口中显示第一用户的输入信息和第二用户的输入信息。共享窗口可包括共享备忘录便签、共享白板、消息窗口等。
显示器110可在显示内容的屏幕区域上显示和重叠包括第一用户的输入信息和第二用户的输入信息的共享窗口。另外，显示器110可在与显示装置100连接的另一装置的屏幕上显示和重叠包括第一用户的输入信息和第二用户的输入信息的共享窗口。
在一个或更多个实施例中，当显示器110和触摸板形成分层结构并因此被形成为触摸屏时，显示器110可被用作输出装置和输入装置两者。显示器110可包括例如液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光显示装置、柔性显示器、三维(3D)显示器和电泳显示器等中的至少一个。
用户输入装置120可以是用户通过其输入数据以控制显示装置100的装置。例如，用户可经由用户输入装置120控制打开或关闭电源、改变频道、音量调整、文字输入等。
用户输入装置120可由键盘、弹性开关、触摸板(触摸电容型触摸板、压力电阻型触摸板、红外波束感测型触摸板、表面声波型触摸板、集成应变型触摸板、Pieze效应型触摸板等)、滚轮、轻摇开关等。
在一个或更多个实施例中，用户输入装置120可包括用于从远处控制显示装置100的远程控制设备。远程控制设备可包括TV远程控制器、集成式远程控制器、具有远程控制功能的移动终端(例如，移动电话、智能电话、平板PC、MP3播放器等)等。
另外，用户输入装置120可包括用于从用户接收数据的一个或更多个模块。例如，用户输入装置120可包括运动识别模块、触摸识别模块、语音识别模块、弯曲运动识别模块等。
运动识别模块可识别远程控制装置或用户的运动，并可将关于识别的运动的信息发送到控制器150。在一个或更多个实施例中，运动识别模块可通过使用相机来识别远程控制装置或用户的运动。在一个或更多个实施例中，相机可包括深度相机、多视点相机等。深度相机可通过使用例如飞行时间(TOF)技术来实时地测量在场景内的对象的距离信息，测量值可被输出为深度图像以在生成高质量的场景深度映射中被使用。
触摸识别模块可识别在触摸屏上的触摸手势，并可将关于触摸手势的信息发送到控制器150。为了识别触摸屏上的触摸或接近触摸，触摸屏可在内部或外部具有各种传感器。用于检测触摸屏上的触摸的传感器的示例可包括触觉传感器。触觉传感器可至少像人能够检测到的程度一样检测特定物体的接触。触觉传感器可检测各种类型的信息，诸如触摸表面的粗糙度、接触物体的硬度、接触点的温度等。
另外，用于检测触摸屏上的触摸的传感器的另一示例可包括接近度传感器。
接近度传感器可通过使用电磁场力或红外线来检测靠近预定检测面或出现在附近的物体的存在，而不用利用机械接触。接近度传感器的示例包括发射型电泳传感器、方向反射型电泳传感器、镜面反射型电泳传感器、高频振荡型接近度传感器、电容型接近度传感器、磁性型接近度传感器、红外型接近度传感器等。用户的触摸手势可包括敲击手势、触摸并保持手势、双击手势、拖拽手势、平移手势、轻弹手势、拖拽并放下手势等。
语音识别模块可通过使用语音识别引擎来识别用户的语音，并可将识别的语音发送到控制器150。
在一个或更多个实施例中，弯曲运动识别模块可包括用于检测弯曲运动的弯曲传感器。弯曲运动识别模块可从多个弯曲传感器收集关于弯曲运动的多条信息，并分析所述多条信息。关于弯曲运动，弯曲运动识别模块可获得关于弯曲位置(即，坐标值)、弯曲方向、弯曲角度、弯曲强度、弯曲速度、弯曲运动的总次数、弯曲运动的开始时间和弯曲运动的已经过时间的多条信息。
例如，弯曲运动识别模块可通过使用这样的因素来获得关于弯曲位置的信息和关于弯曲方向的信息，即，在弯曲部分处的压力与非弯曲部分处的压力不同。另外，弯曲运动识别模块可基于弯曲部分处的力的变化来获得关于弯曲角度、弯曲半径、弯曲运动的总次数、弯曲速度等的信息。可选择地，弯曲运动识别模块可通过使用加速度传感器来测量每个部分的变形速度，并可连接具有大速度变化的位置，从而弯曲运动识别模块可获得关于弯曲位置和弯曲角度的信息。
用户输入装置120可在内容在显示装置100的屏幕上被再现和显示的同时获得第一用户的输入信息。用户输入装置120可接收第一用户的与再现的内容相关的触摸输入、语音输入、键输入、运动输入和弯曲输入中的至少一个。在一个或更多个实施例中，第一用户的输入信息可包括响应于第一用户的输入发生的文字消息、语音消息和图像中的至少一个。
用户输入装置120可识别第一用户的输入消息、第一用户的输入发生时间、第一用户的输入已经过时间、第一用户的输入结束时间和第一用户的输入发生位置中的至少一个。
另外，用户输入装置120可基于第一用户的输入产生关于内容的查询消息。
提取器130可从再现的内容提取关于第一用户的输入的信息。也就是说，提取器130可基于第一用户的输入信息的接收时间(即，第一用户的输入的接收时间)来选择在显示装置100中再现的内容的至少一个帧。在一个或更多个实施例中，提取器130可基于第一用户的输入发生时间、第一用户的输入已经过时间和第一用户的输入结束时间中的至少一个来选择包括在内容中的至少一个帧。另外，提取器130可在第一用户的输入被保持的同时选择与内容的再现屏幕的改变相应的帧。
也就是说，显示装置100可选择与第一用户的输入发生时间相应的帧、与第一用户的输入结束时间相应的帧、在第一用户的输入已经过时间期间以预定间隔选择的帧、或者在第一用户的输入已经过时间期间改变的帧。
通信器140可包括能够在显示装置100和外部装置200之间进行通信或者在显示装置100和服务器300之间进行通信的一个或更多个元件。例如，通信器140可包括广播接收模块、无线互联网模块、有线互联网模块、NFC模块等。
广播接收模块可经由广播信道从外部广播控制服务器(未示出)接收广播信号和/或广播相关信息。广播信道可包括例如卫星信道和地面信道等。
无线互联网模块用于接入无线互联网连接。无线互联网模块可嵌入显示装置100或者可布置在显示装置100的外部。有线互联网模块用于接入有线互联网连接。
NFC模块用于NFC。NFC的示例可包括但不限于Wi-Fi、蓝牙、ZigBee、WFD、UWB和IrDA。
通信器140可将与选择的帧相应的相关信息和第一用户的输入信息发送到外部装置200。这里，根据一个或更多个实施例，通信器140可将选择的帧发送到外部装置200。可选择地，代替选择的帧，通信器140可将选择的帧的再现位置信息、选择的帧的顺序信息、关于可包括在选择的帧中的对象的对象信息等发送到外部装置200。另外，通信器140可经由例如语音呼叫信号、视频通话信号和消息传输信号等中的至少一个将第一用户的输入信息发送到外部装置200。
通信器140可接收来自外部装置200的连接请求，并随后可将连接接受消息发送到外部装置200。另外，响应于第一用户的输入信息，通信器140可接收来自外部装置200的第二用户的输入信息。
可选择地，通信器140可请求连接到外部装置200，并且可从外部装置200接收连接接受消息。
控制器150可控制显示装置100的所有操作。也就是说，控制器150可总体地控制显示器110、用户输入装置120、提取器130和通信器140。
控制器150可调整选择的帧的压缩率、选择的帧的分辨率和将被发送的帧的总数中的至少一个。另外，控制器150可响应于来自外部装置200的连接请求，对与外部装置200的连接进行认证。这里，控制器150可通过使用外部装置200的ID信息、第二用户的ID信息和一次性使用认证信息中的至少一个来对与外部装置200的连接进行认证。
控制器150可用虚拟广播信道来映射外部装置200的预定应用的输出信号。所述预定应用可被外部装置200用于与显示装置100分享信息。
图23是示出根据一个或更多个实施例的移动装置200的结构的框图。
如图23中所示，移动装置200可包括通信器210、显示器220、用户输入装置230和控制器240。然而，不是所有示出的元件都是必要元件。也就是说，可用比示出的元件更多或更少的元件来实现移动装置200。
在下文中，示出的元件被描述为如下。
通信器210可包括能够在移动装置200和显示装置100之间进行通信或者在移动装置200和服务器300之间进行通信的一个或更多个元件。例如，通信器210可包括移动通信模块、无线互联网模块、NFC模块、位置信息模块等。
移动通信模块与移动通信网络中的基站、显示装置100和服务器300中的至少一个收发无线信号。这里，无线信号可包括根据语音呼叫信号、视频通话呼叫信号或文字/多媒体消息等的接收的各种类型的数据。
无线互联网模块用于接入无线互联网。无线互联网模块可嵌入移动装置200或可被布置在移动装置200的外部。
NFC模块用于NFC。NFC的示例可包括但不限于Wi-Fi、蓝牙、ZigBee、WFD、UWB和IrDA。
通信器210可从显示装置100接收第一用户的输入信息以及与至少一个帧相应的相关信息，其中，第一用户的输入信息可与在显示装置100中再现的内容有关，可在内容的再现期间获得至少一个帧。另外，通信器210可将可与第一用户的输入信息相应的第二用户的输入信息发送到显示装置100。
通信器210可请求连接到显示装置100，并可接收来自显示装置100的连接接受消息。另外，通信器210可向显示装置100请求关于远程控制的控制权，并可接收来自显示装置100的远程控制接受消息。
显示器220可显示和输出可由移动装置200处理的信息。例如，显示器220可在移动装置200的屏幕上显示第一用户的输入信息和至少一个帧。这里，显示器220可在屏幕的共享窗口中显示第一用户的输入信息和第二用户的输入信息，其中，共享窗口用于与显示装置100共享信息。另外，显示器220可在显示内容的屏幕的区域上显示和重叠第一用户的输入信息和第二用户的输入信息。
另外，显示器220可在可与移动装置200连接的另一装置的屏幕上显示和重叠包括第一用户的输入信息和第二用户的输入信息的共享窗口。
显示器220可再现与在显示装置100中再现的内容相同的内容。
用户输入装置230可以是用户通过其输入数据以控制移动装置200的装置。例如，用户输入装置230可由键盘、弹性开关、触摸板(触摸电容型触摸板、压力电阻型触摸板、红外波束感测型触摸板、表面声波型触摸板、集成应变型触摸板、Piezo效应型触摸板等)、滚轮、轻摇开关等。特别地，当触摸板和显示器220形成多层结构式时，该结构可被称为触摸屏。
用户输入装置230可识别第二用户的触摸输入、语音输入、键输入、运动输入和弯曲输入中的至少一个。也就是说，用户输入装置230可包括用于从用户接收数据的至少一个模块。例如，用户输入装置230可包括运动识别模块、触摸识别模块、语音识别模块、弯曲运动识别模块等。运动识别模块可识别移动装置200的运动，并可将关于移动装置200的运动的信息发送到控制器240。
运动识别模块可包括用于识别移动装置200的运动的各种类型的传感器。例如，传感器的示例可包括加速度传感器、倾斜传感器、陀螺仪传感器、3轴磁性传感器等。
触摸识别模块可识别触摸屏上的触摸手势，并可将关于触摸手势的信息发送到控制器240。语音识别模块可通过使用语音识别引擎来识别用户的语音，并可将识别的语音发送到控制器240。在一个或更多个实施例中，弯曲运动识别模块可从多个弯曲传感器收集关于弯曲运动的多条信息，并可分析所述多条信息。
用户输入装置230可获得与第一用户的输入信息相应的第二用户的输入信息。第二用户的输入信息可包括针对第一用户的输入信息的第二用户的响应消息，并且可由第二用户输入，从而第二用户可与显示装置100的第一用户交互。第二用户的输入信息可包括在内容的接收期间获得的第二用户的输入消息、第二用户的输入发生时间、第二用户的输入已经过时间、第二用户的输入结束时间、第二用户的输入发生位置等。
控制器240可控制移动装置200的所有操作。也就是说，控制器240可总体地控制通信器210、显示器220和用户输入装置230。
当显示装置100对移动装置200的远程控制权进行认证时，控制器240可从远处控制显示装置100。例如，控制器240可改变在显示装置100中再现的内容的再现位置，可停止再现，可调整再现速度，可调整音量，或者可改变再现目标内容等。
在一个或更多个实施例中，本文描述中的任何设备、系统、元件或可说明的单元包括一个或更多个硬件装置或硬件处理元件。例如，在一个或更多个实施例中，任何描述的设备、系统、元件、搜索器、预处理元件或后处理元件、追踪器、检测器、编码器、解码器等还可包括一个或更多个存储器和/或处理元件以及任何硬件输入/输出传输装置，或者表示一个或更多个处理元件或装置的操作部分/方面。此外，术语设备应被认为是与实体系统的元件同义，不限于单个装置或外壳或者在所有实施例中的单个外壳中实现的所有描述元件，相反，根据实施例，设备是开放式的，通过不同的硬件元件在不同的外壳和/或位置中一起实现或分开实现。
除了上述实施例，实施例还可通过非暂时性介质(例如，计算机可读介质)中/上的计算机可读计算机代码/指令实现，以控制至少一个处理装置(诸如处理器或计算机)来实现任何上述的实施例。介质可与允许计算机可读代码的存储和/或传输的任何定义的、可测量的有形结构相应。
介质还可包括例如与计算机可读代码结合的数据文件、数据结构等。计算机可读介质的一个或更多个实施例包括：磁性介质，诸如硬盘、软盘和磁带；光学介质，诸如CD ROM盘和DVD；磁光介质，诸如光盘；硬件装置，被特殊配置为存储和执行程序指令，诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等。计算机可读代码例如可包括诸如由编译器生成的机器码和包含可由计算机使用解释器执行的更高级代码的文件两者。介质还可以是任何定义的、可测量的有形分布式网络，从而以分布式存储和执行计算机可读代码。另外，仅作为示例，处理元件可包括处理器或计算机处理器，处理元件可分布和/或包括在单个装置中。
仅作为示例，计算机可读介质还可在执行程序指令(例如像处理器一样进行处理)的至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)中实现。
虽然已经参照本发明的不同实施例具体地示出和描述了本发明的各个方面，但是应理解，这些实施例应被认为仅是说明性的而不是出于限制的目的。在每个实施例内的特征或方面的说明应通常被认为是可用于其余实施例的其它相似特征或方面。如果描述的技术按照不同的顺序执行，并且/或者如果描述的系统、架构、装置或电路中的组件按照不同的方式组合和/或被其它组件或它们的等同物替代或补充，则可同样实现合适的结果。
因此，虽然已经示出和描述了若干实施例，但是附加的实施例同样是可用的，本领域的技术人员应理解，在不脱离本发明的原理和精神的情况下，可在这些实施例中进行各种改变，本发明的范围由权利要求及其等同物限定。

Claims (15)

1.一种由显示装置执行的发送查询消息的方法，所述方法包括：
在显示装置中再现内容；
接收来自用户的输入，其中，来自用户的输入与内容相关；
基于来自用户的输入，产生关于内容的查询消息；
从内容提取与来自用户的输入相关的信息；
将提取的信息和查询消息发送到与显示装置无线地或有线地连接的外部装置。
2.如权利要求1所述的方法，其中，提取的信息包括与在来自用户的输入被接收时被再现的内容的帧有关的信息和关于所述帧的附加信息中的至少一个。
3.如权利要求1所述的方法，其中，接收来自用户的输入的步骤还包括：分析来自用户的输入，并确定来自用户的输入是否与内容相关。
4.如权利要求3所述的方法，其中，确定步骤包括：
通过解析来自用户的输入提取至少一个意义单元；
基于内容的元数据，确定所述至少一个意义单元和内容之间的关系。
5.如权利要求4所述的方法，其中，确定关系的步骤包括：
通过使用本体论从内容的元数据获得与内容相关的意义单元；
对与内容相关的意义单元和所述至少一个意义单元进行比较。
6.如权利要求1所述的方法，其中，接收来自用户的输入的步骤还包括：确定来自用户的输入是否与预定的语句结构相应。
7.如权利要求1所述的方法，其中，提取步骤包括：基于来自用户的输入的发生时间、来自用户的输入的已经过时间和来自用户的输入的结束时间中的至少一个，从内容提取至少一个帧以及关于所述至少一个帧的附加信息。
8.如权利要求1所述的方法，其中，提取步骤包括：提取与在来自用户的输入的已经过时间期间内容的再现屏幕被改变的时间点相应的帧。
9.如权利要求2所述的方法，其中，关于所述帧的附加信息包括以下项中的至少一项：所述帧的再现位置信息、所述帧的顺序信息和关于包括在所述帧中的对象的对象信息。
10.如权利要求1所述的方法，其中，发送步骤还包括：调整帧的压缩率、帧的分辨率和将被发送的帧的总数中的至少一个。
11.如权利要求1所述的方法，还包括：从外部装置接收外部装置的用户的输入信息。
12.如权利要求11所述的方法，还包括：在用于与外部装置共享信息的共享窗口中显示查询消息和外部装置的用户的输入信息。
13.如权利要求1所述的方法，还包括：
接收来自外部装置的连接请求；
响应于连接请求，对与外部装置的连接进行认证。
14.如权利要求13所述的方法，其中，认证步骤包括：基于外部装置的标识(ID)信息、外部装置的用户的ID信息和一次性使用认证信息中的至少一个，对与外部装置的连接进行认证。
15.一种显示装置，包括：
显示器，用于在显示装置的屏幕上再现和显示内容；
用户输入装置，用于接收来自用户的输入，并基于来自用户的输入产生关于内容的查询消息，其中，来自用户的输入与内容相关；
提取器，用于从内容提取与来自用户的输入相关的信息；
通信器，用于将提取的信息和查询消息发送到外部装置；
控制器，用于控制显示器、用户输入装置、提取器和通信器。
CN201380039703.9A 2012-07-26 2013-07-05 发送查询消息的方法和用于该方法的显示装置、共享信息的方法和移动终端 Expired - Fee Related CN104509127B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020120081966A KR102084630B1 (ko) 2012-07-26 2012-07-26 질문 메시지 전송 방법 및 이를 위한 디스플레이 장치, 정보 공유 방법 및 모바일 기기
KR10-2012-0081966 2012-07-26
PCT/KR2013/006006 WO2014017757A1 (en) 2012-07-26 2013-07-05 Method of transmitting inquiry message, display device for the method, method of sharing information, and mobile terminal

Publications (2)

Publication Number Publication Date
CN104509127A true CN104509127A (zh) 2015-04-08
CN104509127B CN104509127B (zh) 2018-10-19

Family

ID=48792975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380039703.9A Expired - Fee Related CN104509127B (zh) 2012-07-26 2013-07-05 发送查询消息的方法和用于该方法的显示装置、共享信息的方法和移动终端

Country Status (6)

Country Link
US (1) US10228810B2 (zh)
EP (1) EP2690849B1 (zh)
KR (1) KR102084630B1 (zh)
CN (1) CN104509127B (zh)
IN (1) IN2015DN01452A (zh)
WO (1) WO2014017757A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338399A (zh) * 2015-10-29 2016-02-17 小米科技有限责任公司 图像获取方法及装置
CN106342717A (zh) * 2015-07-18 2017-01-25 吉林农业大学 基于物联网的家兔标准化养殖智能监控系统
CN109716779A (zh) * 2016-09-15 2019-05-03 麦克赛尔株式会社 影像显示装置和影像显示装置的协作控制方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9444518B2 (en) 2014-01-31 2016-09-13 Sony Corporation One touch product information on mobile communication device using near field communication
CN105278843B (zh) * 2014-06-24 2020-11-06 鸿合科技股份有限公司 一种基于远程控制的手势快捷操作方法及系统
US10429968B2 (en) * 2014-11-06 2019-10-01 Visteon Global Technologies, Inc. Reconfigurable messaging assembly
US10848482B1 (en) * 2016-02-18 2020-11-24 Trusona, Inc. Image-based authentication systems and methods
KR102582543B1 (ko) * 2016-03-10 2023-09-25 삼성전자주식회사 무선 전력 전송 장치 및 무선 전력 전송 장치의 동작 방법
JP6733393B2 (ja) 2016-07-25 2020-07-29 株式会社リコー 共有端末、通信システム、画像送信方法、及びプログラム
CN108459833B (zh) * 2017-02-17 2021-10-01 北京京东尚科信息技术有限公司 用于显示文本的方法、系统和装置
KR102551550B1 (ko) 2018-04-20 2023-07-06 삼성전자주식회사 오브젝트에 대한 정보를 검색하기 위한 전자 장치 및 이의 제어 방법
US11871082B2 (en) * 2019-12-30 2024-01-09 MyFitnessPal, Inc. Methods and apparatus for media playback based on cue points
US11106335B1 (en) * 2020-11-30 2021-08-31 Kpn Innovations, Llc. Methods and systems for providing alimentary elements
US20230393799A1 (en) * 2022-06-06 2023-12-07 T-Mobile Usa, Inc. Enabling bidirectional visual communication between two devices associated with a wireless telecommunication network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060206915A1 (en) * 2003-06-26 2006-09-14 Satoru Maeda Information processing system, information processing apparatus and method, recording medium, and program
US20090193463A1 (en) * 2008-01-29 2009-07-30 Samsung Electronics Co., Ltd. Method and system for sharing information between users in media reproducing system
CN101931427A (zh) * 2009-06-08 2010-12-29 Lg电子株式会社 传送与广播内容相关的数据的方法和使用该方法的移动终端

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5524110A (en) * 1993-11-24 1996-06-04 Intel Corporation Conferencing over multiple transports
US5822525A (en) * 1996-05-22 1998-10-13 Microsoft Corporation Method and system for presentation conferencing
US6637032B1 (en) * 1997-01-06 2003-10-21 Microsoft Corporation System and method for synchronizing enhancing content with a video program using closed captioning
US6314569B1 (en) * 1998-11-25 2001-11-06 International Business Machines Corporation System for video, audio, and graphic presentation in tandem with video/audio play
US20020056123A1 (en) * 2000-03-09 2002-05-09 Gad Liwerant Sharing a streaming video
US6549751B1 (en) * 2000-07-25 2003-04-15 Giuseppe Li Mandri Multimedia educational system
KR100893119B1 (ko) * 2000-09-08 2009-04-14 에이씨케이 벤쳐스 홀딩스, 엘엘씨 대화형 요소의 전달 방법
US7010761B2 (en) 2001-10-18 2006-03-07 Sony Computer Entertainment America Inc. Controller selectable hyperlinks
US7269633B2 (en) * 2002-12-06 2007-09-11 International Business Machines Corporation Method and system for playback of dynamic HTTP transactions
US7398470B2 (en) * 2003-08-22 2008-07-08 Vistaprint Technologies Limited System and method for remote assistance
EP1538536A1 (en) * 2003-12-05 2005-06-08 Sony International (Europe) GmbH Visualization and control techniques for multimedia digital content
US20080017787A1 (en) * 2004-04-30 2008-01-24 J. Morita Manufacturing Corporation Living Body Observing Apparatus, Intraoral Imaging Apparatus and Medical Treatment Appliance
US7995064B2 (en) * 2004-10-12 2011-08-09 Imvu, Inc. Computer-implemented chat system having dual channel communications and self-defining product structures
JP4543261B2 (ja) * 2005-09-28 2010-09-15 国立大学法人電気通信大学 再生装置
US8464164B2 (en) * 2006-01-24 2013-06-11 Simulat, Inc. System and method to create a collaborative web-based multimedia contextual dialogue
WO2008023531A1 (fr) * 2006-08-21 2008-02-28 Brother Kogyo Kabushiki Kaisha système de sauvegarde à dispersion de contenus, procédé d'acquisition d'image de trame, dispositif de nœud, et support de mémoire comprenant un programme de traitement de nœud stocké dans celui-ci
US8196045B2 (en) * 2006-10-05 2012-06-05 Blinkx Uk Limited Various methods and apparatus for moving thumbnails with metadata
WO2008043852A1 (de) * 2006-10-13 2008-04-17 Continental Teves Ag & Co. Ohg System zur bestimmung von objekten
US8583030B2 (en) * 2006-11-22 2013-11-12 Bindu Rama Rao Mobile based learning and testing system for automated test assignment, automated class registration and customized material delivery
US7957510B2 (en) * 2007-01-23 2011-06-07 Microsoft Corporation Notifying network contacts of inquiries
WO2009024831A1 (en) * 2007-08-17 2009-02-26 Nokia Corporation A method of and a mobile communication device for producing personalised maps
JP2009117974A (ja) * 2007-11-02 2009-05-28 Fujifilm Corp 興味情報作成方法、装置およびシステム
KR101163526B1 (ko) 2007-12-21 2012-07-11 남기원 아이 피 티브이를 이용한 외부 데이터 인터페이스 시스템및 그 방법
KR101458030B1 (ko) * 2008-02-13 2014-11-04 삼성전자 주식회사 디지털 방송 수신기의 채널 정보 표시 방법 및 장치
US8881040B2 (en) * 2008-08-28 2014-11-04 Georgetown University System and method for detecting, collecting, analyzing, and communicating event-related information
KR101437446B1 (ko) * 2008-03-31 2014-09-05 삼성전자주식회사 디스플레이장치 및 그 제어 방법과 외부 디바이스의 제어방법
US8352873B2 (en) * 2008-06-06 2013-01-08 Apple Inc. Media content and chat integration
US8156442B2 (en) * 2008-06-30 2012-04-10 Nokia Corporation Life recorder and sharing
US20100042682A1 (en) * 2008-08-15 2010-02-18 Evan John Kaye Digital Rights Management for Music Video Soundtracks
US20100077289A1 (en) * 2008-09-08 2010-03-25 Eastman Kodak Company Method and Interface for Indexing Related Media From Multiple Sources
KR101027412B1 (ko) 2009-03-18 2011-04-11 (주)다인시스 디지털티비와 네트워크 사용의 감시가 가능한 원격제어시스템
US20110047388A1 (en) * 2009-08-24 2011-02-24 Samsung Electronics Co., Ltd. Method and apparatus for remotely controlling access to pornographic content of an image
CN102053903A (zh) * 2009-10-30 2011-05-11 国际商业机器公司 用于为在线运行程序保存和查询场景数据的方法和系统
KR20120004650A (ko) * 2010-07-07 2012-01-13 에스케이 텔레콤주식회사 학습 관련 질문/답변 서비스 시스템 및 방법
EP2472452A1 (en) * 2010-12-28 2012-07-04 Amadeus S.A.S. Method of providing assistance to the end-user of a software application
WO2012142508A1 (en) * 2011-04-15 2012-10-18 Skyfire Labs, Inc. Real-time video optimizer
US9867025B2 (en) * 2011-04-28 2018-01-09 Lg Electronics Inc. Mobile terminal and method for controlling same
US20120278736A1 (en) * 2011-04-30 2012-11-01 Samsung Electronics Co., Ltd. Collaborative decision-making for deriving micro-recommendations for offsite users
US9948988B2 (en) * 2011-10-04 2018-04-17 Ricoh Company, Ltd. Meeting system that interconnects group and personal devices across a network
US8881028B2 (en) * 2011-12-01 2014-11-04 International Business Machines Corporation Reverse metadata viewing by multiple parties
KR20130100813A (ko) * 2012-01-31 2013-09-12 한국전자통신연구원 ｅ-Ｂｏｏｋ 기반 온라인 방송 학습 시스템 및 방법
US9571342B2 (en) * 2012-02-14 2017-02-14 Inetco Systems Limited Method and system for generating transaction data from network traffic data for an application system
US20130254071A1 (en) * 2012-03-25 2013-09-26 Michael Oley Method and system for providing anonymity to a consumer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060206915A1 (en) * 2003-06-26 2006-09-14 Satoru Maeda Information processing system, information processing apparatus and method, recording medium, and program
US20090193463A1 (en) * 2008-01-29 2009-07-30 Samsung Electronics Co., Ltd. Method and system for sharing information between users in media reproducing system
CN101931427A (zh) * 2009-06-08 2010-12-29 Lg电子株式会社 传送与广播内容相关的数据的方法和使用该方法的移动终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106342717A (zh) * 2015-07-18 2017-01-25 吉林农业大学 基于物联网的家兔标准化养殖智能监控系统
CN105338399A (zh) * 2015-10-29 2016-02-17 小米科技有限责任公司 图像获取方法及装置
CN109716779A (zh) * 2016-09-15 2019-05-03 麦克赛尔株式会社 影像显示装置和影像显示装置的协作控制方法
CN109716779B (zh) * 2016-09-15 2022-08-23 麦克赛尔株式会社 影像显示装置和影像显示装置的协作控制方法

Also Published As

Publication number Publication date
EP2690849A3 (en) 2016-11-16
IN2015DN01452A (zh) 2015-07-03
CN104509127B (zh) 2018-10-19
KR20140019083A (ko) 2014-02-14
US10228810B2 (en) 2019-03-12
EP2690849B1 (en) 2019-09-04
WO2014017757A1 (en) 2014-01-30
US20140033050A1 (en) 2014-01-30
KR102084630B1 (ko) 2020-03-05
EP2690849A2 (en) 2014-01-29

Similar Documents

Publication Publication Date Title
CN104509127A (zh) 发送查询消息的方法和用于该方法的显示装置、共享信息的方法和移动终端
US10819807B2 (en) Method and system for displaying object, and method and system for providing the object
US11361550B2 (en) Automatic digital content captioning using spatial relationships method and apparatus
US11409817B2 (en) Display apparatus and method of controlling the same
KR102567285B1 (ko) 모바일 비디오 서치 기법
US9549143B2 (en) Method and mobile terminal for displaying information, method and display device for providing information, and method and mobile terminal for generating control signal
RU2576247C1 (ru) Способ захвата контента и мобильный терминал для него
US9529520B2 (en) Method of providing information and mobile terminal thereof
JP2021528771A (ja) 検索ページインタラクション方法、装置、端末機及び記憶媒体
WO2018141144A1 (zh) 一种文本和语音信息的处理方法以及终端
KR20150026367A (ko) 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
EP2840466A1 (en) Instruction triggering method and device, user information acquisition method and system, terminal, and server
JP2023554519A (ja) 電子文書の編集方法と装置及びコンピュータ機器とプログラム
CN103888531A (zh) 阅读位置同步方法、阅读位置获取方法和装置
WO2021169954A1 (zh) 搜索方法及电子设备
CN111159338A (zh) 一种恶意文本的检测方法、装置、电子设备及存储介质
KR102208361B1 (ko) 키워드 검색 방법 및 장치
CN108595107B (zh) 一种界面内容处理方法及移动终端
AU2014213221A1 (en) Method and system for displaying object, and method and system for providing the object
CN112309387A (zh) 用于处理信息的方法和装置
US20150236991A1 (en) Electronic device and method for extracting and using sematic entity in text message of electronic device
EP3082015A1 (en) Method and apparatus for displaying image information
CN116257159A (zh) 多媒体内容的分享方法、装置、设备、介质及程序产品
CN114296627A (zh) 内容显示方法、装置、设备及存储介质
US20200409521A1 (en) Method for obtaining vr resource and terminal

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181019