CN103947221A - 用户界面显示方法以及使用该方法的装置 - Google Patents

用户界面显示方法以及使用该方法的装置 Download PDF

Info

Publication number
CN103947221A
CN103947221A CN201280057621.2A CN201280057621A CN103947221A CN 103947221 A CN103947221 A CN 103947221A CN 201280057621 A CN201280057621 A CN 201280057621A CN 103947221 A CN103947221 A CN 103947221A
Authority
CN
China
Prior art keywords
server unit
client apparatus
screen
user
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280057621.2A
Other languages
English (en)
Inventor
辛容桓
高玄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN103947221A publication Critical patent/CN103947221A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G08C2201/41—Remote control of gateways

Abstract

本发明涉及一种在从服务器装置接收AV数据并再现AV数据的客户机装置中根据用户输入显示用户界面(UI)的方法。该方法包括以下步骤：从服务器装置接收正被再现的AV数据；接收用于控制服务器装置的操作的用户输入；根据接收到的用户输入产生UI，并在屏幕上显示产生的UI以及从服务器装置接收到的AV数据的图像；以及将与用户输入相对应的控制信号发送至服务器装置。

Description

用户界面显示方法以及使用该方法的装置
技术领域
本发明涉及一种内容共享方法，该方法将正在服务器装置中播放的AV数据发送至客户机装置，以在其中播放发送的AV数据。
背景技术
随着具有比通常的模拟TV更优秀的信号处理和存储能力的数字TV和有线/无线网络技术的发展和商业化，诸如实时广播、内容点播(COD)、游戏、新闻和视频通信的各种内容服务通过除通常的电子波介质之外的连接至各个家庭的互联网网络被提供给用户。
通过互联网网络提供的内容服务的一个示例可包括互联网协议TV(IPTV)。IPTV涉及通过高速互联网网络发送各种信息服务、视频内容和广播，以将它们提供给TV用户。
另外，诸如数字TV的图像显示装置经有线/无线网络连接至诸如另一TV、智能电话、PC或平板的外部图像显示装置，从而可与外部图像显示装置共享在所述图像显示装置中正播放的或存储的内容。
发明内容
技术问题
实施方式提供了一种用于当在服务器装置和客户机装置之间共享内容时根据用户输入有效地显示用户界面(UI)的方法，以及使用该方法的装置。
技术方案
在一个实施方式中，一种在从服务器装置接收AV数据并播放接收到的AV数据的客户机装置中根据用户输入显示用户界面(UI)的方法包括以下步骤：接收正在所述服务器装置中播放的AV数据；接收用于控制所述服务器装置的操作的用户输入；根据接收到的用户输入产生UI，以在屏幕上显示从所述服务器装置接收的AV数据的图像以及产生的UI；以及将与所述用户输入相对应的控制信号发送至所述服务器装置
在另一实施方式中，一种在将AV数据发送至客户机装置的服务器装置中根据用户输入显示UI的方法包括以下步骤：从所述客户机装置接收与用于控制所述服务器装置的操作的用户输入相对应的控制信号；根据接收到的用户输入产生UI，以在屏幕上显示所述AV数据的图像以及产生的UI；以及在预定时间或每当特定事件发生时将关于显示在所述屏幕上的UI的信息发送至所述客户机装置。
在又一实施方式中，提供了一种计算机可读记录介质，其记录用于在计算机中执行所述方法的程序。
在又一实施方式中，一种用于从服务器装置接收AV数据并且播放接收到的AV数据的客户机装置包括：网络接口单元，其用于接收正在所述服务器装置中播放的AV数据；用户接口单元，其用于接收用于控制所述服务器装置的操作的用户输入；GUI产生单元，其用于根据接收到的用户输入产生UI；以及显示单元，其用于在屏幕上显示从所述服务器装置接收的AV数据的图像以及产生的UI，其中，所述网络接口单元将与用户输入相对应的控制信号发送至所述服务器装置，并在预定时间或每当特定事件发生时接收关于显示在所述服务器装置的屏幕上的UI的信息。
一个或更多个实施方式的细节在附图和以下描述中阐述。从所述描述和附图以及从权利要求中，其它特征将变得清楚。
有益效果
根据实施方式，由于客户机装置自主地产生用户界面并在屏幕上显示该用户界面，因此可减小服务器装置与客户机装置之间的时间延迟，并且因此可提高用户的便利。
附图说明
图1是示出根据实施方式的内容共享系统的配置的框图。
图2是示出图1的服务器装置的配置的框图。
图3是示出图1的客户机装置的配置的框图。
图4是示出用于根据服务器装置和客户机装置中的用户输入来显示用户界面的方法的示图。
图5是示出根据实施方式的UI显示方法的流程图。
图6是示出根据实施方式的在服务器装置和客户机装置的屏幕上根据用户的鼠标输入显示指针的方法的示图。
图7是示出根据实施方式的在服务器装置和客户机装置的屏幕上根据用户的键盘输入显示字符串的方法的示图。
具体实施方式
下文中，将参照附图详细描述根据实施方式的用于显示UI的方法以及使用该方法的装置。
将参照附图及其中的内容描述本发明的实施方式，但是本发明不限于此。
本说明书中使用的术语选自顾及本发明的功能的当前广泛使用的通用术语，但是可根据本领域技术人员的意图或实践或者根据新技术的出现而变化。另外，在某些情况下，可存在申请人任意选择的术语，并且在这种情况下，它们的含义在下面描述。因此，本说明书中使用的术语应该基于所述术语所具有的实质含义和本说明书全文的内容进行解释，而非简单地基于术语的名称进行解释。
图1是示出根据实施方式的内容共享系统的配置的框图。示出的系统可包括服务器装置100和客户机装置200。
参照图1，服务器装置100和客户机装置200结合有线/无线网络发送/接收AV数据，从而它们共享特定内容。
例如，因为正在服务器装置100中播放的AV数据被实时地发送至客户机装置200，所以用户通过利用客户机装置200播放服务器装置100接收或存储的AV数据，并且通过利用连接至客户机装置200的用户输入装置300控制服务器装置100的操作。
此外，用于执行诸如AV数据的发送/接收、重放和控制的功能的应用可安装在服务器装置100和客户机装置200的每一个中。
另外，服务器装置100和客户机装置200彼此连接，以通过各种通信标准发送/接收AV数据，所述各种通信标准诸如数字生活网络联盟(DLNA)、无线局域网(WiFi)、无线HD(WiHD)、无线家庭数字接口(WHDi)、蓝牙、ZigBee、二进制码分多址(CDMA)和数字互动视音接口(DiiVA)。
此外，服务器装置100和客户机装置200经诸如互联网的有线/无线网络连接至媒体服务器(未示出)，并通过媒体服务器(未示出)发送/接收内容数据。结果，它们可共享内容。
此外，服务器装置100和客户机装置200可为数字TV(例如，网络TV、HBBTV或智能TV)或各种装置(例如，PC、笔记本计算机、诸如智能电话的移动通信终端和平板PC)。
提供了一种‘N屏幕’服务，其允许诸如TV、PC、平板PC和智能电话的各种装置通过参照图1描述的内容共享系统连续地使用一个内容。
例如，用户可通过利用另一智能电话或台式PC继续连续地观看利用TV观看过的广播或电影，此外，用户可在TV上观看节目剧的同时，观看关于节目剧的附加信息。
在服务器装置100和客户机装置200之间通过以上‘N画面’服务可共享内容文件(即，文件共享)或者可共享图像显示装置的画面(即，画面共享)。
为此，通过上述通信方法，在用户的请求下，诸如PC的服务器装置100可将从外部接收的或存储在其中的内容发送至诸如TV的客户机装置200。
另外，用户购买的内容存储在媒体服务器(未示出)中，并且通过互联网从媒体服务器下载，从而用户可根据需要在服务器装置100和客户机装置200中的期望的图像显示装置中播放所述内容。
图1的服务器装置100和客户机装置200以有线方式/无线方式连接至至少一个内容源，并共享从内容源提供的内容。
例如，内容源可为装备在图像显示装置、网络附接存储器(NAS)、数字生活网络联盟(DLNA)服务器或媒体服务器的装置，或连接至图像显示装置、NAS、DLNA服务器或媒体服务器的装置，但是本发明不限于此。
图2是示出图1的服务器装置的配置的框图。服务器装置100可包括显示单元110、拍摄模块120、编码模块130、网络接口单元140和控制单元150。
参照图2，显示单元110根据控制单元150的控制播放从外部输入或存储在其中的AV数据的图像，并且AV数据的声音也可另外通过声音输出单元(未示出)播放。
拍摄模块120拍摄通过显示单元110和声音输出单元正在服务器装置100中播放的图像和声音，以产生将被发送至客户机装置200的AV数据。
此外，编码模块130可对拍摄的图像和声音编码，以输出压缩的AV数据，然后，可将从编码模块130输出的压缩的AV数据通过网络接口单元140发送至客户机装置200。
网络接口单元140可提供用于将服务器装置100与包括互联网网络的有线/无线网络连接的接口。例如，网络接口单元140可包括用于接入有线网络的以太网端子，并且可接入无线网络，以通过WiFi、WiHD、WHDi、蓝牙、ZigBee、二进制CDMA、DiiVA、Wibro、Wimax和HSDPA通信标准与客户机装置200通信。
此外，网络接口单元140可接收从客户机装置200发送的控制信号，并且控制信号可为通过连接至客户机装置200的用户输入装置300输入以控制服务器装置100的操作的用户输入，所述用户输入装置300诸如键盘、鼠标、操纵杆或运动遥控器。
因此，网络接口单元140可包括：接入形成模块(未示出)，其用于形成网络接入，以与客户机装置200通信；传输分包模块(未示出)，其根据接入的网络用于将从编码模块130输出的AV数据分包组；以及输入装置信号接收模块(未示出)，其用于接收从客户机装置200发送的控制信号。
控制单元150可将网络接口单元140、附加的调谐器(未示出)、解调器或外部装置接口单元(未示出)输入的流解复用，然后可处理经解复用的信号，以产生并输出用于图像或声音输出的信号。
在控制单元150中处理的图像信号被输入至显示单元110，然后被显示为与对应的图像信号相对应的图像，并且在控制单元150中处理的声音信号被输出至声音输出单元(未示出)。
为此，虽然在图2中未示出，但是控制单元150可包括解复用器和图像处理单元。
另外，控制单元150还可包括输入信号反映模块(未示出)，其根据从直接连接至服务器装置100的用户输入装置(未示出)或客户机装置接收的控制信号执行操作。例如，GUI产生单元151可根据接收到的控制信号产生图形用户界面，以在显示单元110的屏幕上显示与用户输入相对应的用户界面(UI)。
例如，通过用户输入装置300输入的用户输入可为用于移动显示在屏幕上的指针的鼠标输入，或用于在屏幕上显示文字的键盘输入。
根据实施方式，如图2所示的服务器装置100从客户机装置200接收与用于控制服务器装置100的操作的用户输入相对应的控制信号，根据接收到的用户输入产生除AV数据的图像之外将要显示在屏幕上的UI；并且在预定时间或每当特定事件发生时将关于显示在屏幕上的UI的信息以及UI发送至客户机装置200。
图3是示出图1的客户机装置的配置的框图。客户机装置200可包括网络接口单元210、解码模块220、显示单元230、用户接口240和控制单元250。
参照图3，网络接口单元210可提供用于将客户机装置200连接至包括互联网网络的有线/无线网络的接口，并且可通过有线/无线网络从服务器装置100接收AV数据。
解码模块220对通过网络接口单元210从服务器装置100接收的AV数据解码，并且通过显示单元210和声音输出单元(未示出)播放经解码的AV数据。
为此，网络接口单元210可包括：接入形成模块(未示出)，其用于形成网络接入，以与服务器装置100通信；和传输包分析模块(未示出)，其用于分析从服务器装置100接收的经分包的AV数据。
此外，用户接口单元240接收从用户输入装置300接收的用户输入，并且控制单元250通过网络接口单元210将与接收到的用户输入相对应的控制信号发送至服务器装置100，以根据来自用户输入装置300的用户输入控制服务器装置100的操作。
控制单元250可将通过网络接口单元210从服务器装置100输入的流解复用，并且可处理经解复用的信号，以产生并输出经处理的信号，从而输出视频和声音。
在控制单元210中处理的图像信号被输入至显示单元230，然后被显示为与对应的图像信号相对应的图像，并且在控制单元250中处理的声音信号被输出至声音输出单元(未示出)。
为此，虽然在图3中未示出，但是控制单元250可包括解复用器和图像处理单元。
另外，如上所述，客户机装置200将与从用户输入装置300接收的用户输入相对应的控制信号传送至服务器装置100，并且服务器装置100根据传送的控制信号操作。然后，在服务器装置100的操作结果反映在显示单元110的屏幕上之后，在正在服务器装置100中播放的图像被发送至客户机装置200并且被反映在其屏幕上之前，可发生预定的时间延迟。
例如，因为出现网络传输延迟Δt1(对于将AV数据从服务器装置100发送至客户机装置200所消耗的)、内部流处理例程(routine)延迟Δt2(对于在客户机装置200的网络接口单元210中处理发送的AV数据所消耗的)和内部解码程序延迟Δt3(对于在客户机装置200的解码模块220中对接收到的AV数据解码所消耗的)，所以在通过用户输入装置300的实际用户输入反映在客户机装置200的屏幕上的控制操作之前，可出现延迟。
参照图4的(a)，可在服务器装置100的屏幕111和客户机装置200的屏幕231的相同位置上显示指针301和302。
此外，当用户移动连接至客户机装置200的鼠标(未示出)以使指针在屏幕上移动时，如图4的(b)所示，服务器装置100的屏幕111上的指针301立即根据从客户机装置200接收的控制信号移动，但是由于上述延迟时间导致客户机装置200的屏幕231上的指针302可在预定时间内不移动。
然后，在例如0.26秒(即，延迟时间之和(Δt1+Δt2+Δt3))的预定时间之后，如图4的(c)所示，客户机装置200的屏幕231上的指针302可与服务器装置100的屏幕111上的指针301的位置同步地移动。
根据用户输入显示UI的延迟可使得用户的控制困难。
根据实施方式，如图3所示的客户机装置100接收正在服务器装置100中播放的AV数据，接收用于控制服务器装置100的操作的用户输入，根据接收到的用户输入产生UI，以在客户机服务器的屏幕上显示所述UI以及从服务器装置100接收的AV数据的图像，并且将与用户输入相对应的控制信号以及显示的画面发送至服务器装置100。
为此，控制单元250还可包括用于根据从用户输入装置300接收的用户输入执行操作的输入信号反映模块(未示出)。例如，GUI产生单元251可根据接收到的控制信号产生图形用户界面，以通过显示单元230在客户机装置200的屏幕上显示与用户输入相对应的UI。
下文中，将参照图5至图7更加详细地描述根据本发明的显示UI的方法的实施方式。
图5是示出根据实施方式的UI显示方法的流程图。将结合图1至图3所示的框图描述图5所示的UI显示方法。
参照图5，在操作S400中，客户机装置200的网络接口单元210接收正在服务器装置100中播放的AV数据。
如果在客户机装置200播放接收到的AV数据的同时存在通过用户输入装置300的用于控制服务器装置100的操作的用户输入，则在操作S410中，用户接口单元240从用户输入装置300接收用户输入信号。
在这种情况下，在操作S420中，客户机装置200的GUI产生单元251根据接收到的用户输入产生UI，并且在操作S430中在屏幕上显示所述UI以及从服务器装置100接收的AV数据的图像。
例如，如果用户输入装置300是鼠标，则鼠标接收用于移动显示在服务器装置100和客户机装置200的屏幕的每一个上显示的指针的用户的运动，并将与所述运动相对应的用户输入信号发送至客户机装置200
此时，客户机装置200的GUI产生单元251产生根据接收到的用户输入信号移动的指针，并且控制单元250控制显示单元230以允许在客户机装置200的屏幕上立即显示屏幕上移动的指针以及从服务器装置100接收的AV数据的图像。
因此，通过用户输入装置300的控制操作可立即反映在客户机装置200的屏幕上，因此可识别不出参照图4描述的延迟。
除此之外，在操作S440中，客户机装置200的网络接口单元210将与通过用户接口单元240接收的用户输入相对应的控制信号发送至服务器装置100。
另外，服务器装置100可通过利用从客户机装置200发送的控制信号在屏幕上根据用户输入显示UI。
然而，客户机装置200不在服务器装置100接收的数据中显示关于UI的信息，而是在屏幕上根据用户输入显示通过利用其中的GUI产生单元251自主地产生的UI，如操作S420和操作S430中的描述。
根据实施方式，客户机装置200可通过利用在预定时间或每当特定事件发生时从服务器装置100接收的UI信息调整显示在屏幕上的UI。
也就是说，如上所述，由于显示在客户机装置200的屏幕上的UI是在客户机装置200中自主地产生的，因此就显示位置、形式或大小而言，其可与显示在服务器装置100的屏幕上的UI不同。
因此，服务器装置100可在预定时间(例如，以5秒的周期)或每当特定事件发生(例如，在鼠标点击结束，或输入字符)时将关于显示在服务器装置100的屏幕上的UI的信息发送至客户机装置200，并且客户机装置200通过网络接口单元210接收UI信息，以调整显示在屏幕上的UI的显示位置、形式或大小。
也就是说，客户机装置200根据从用户输入装置300接收的用户输入自主地产生UI并显示所述UI，并且随后在预定时间或每当特定事件发生时接收关于显示在服务器装置100的屏幕上的UI的信息，以通过利用接收到的信息使显示在客户机装置200的屏幕上的UI与显示在服务器装置100的屏幕上的UI同步。
例如，从服务器装置100接收的UI信息可为关于显示UI的位置的坐标信息，并且在这种情况下，客户机装置200的控制单元250可通过利用从服务器装置100接收的坐标信息改变UI的显示位置。
图6是示出根据实施方式的在服务器装置100和客户机装置200的屏幕上根据用户的鼠标输入显示指针的方法的示图。
参照图6的(a)，可在服务器装置100的屏幕111和客户机装置200的屏幕231的相同位置上显示指针301和302。
另外，当用户移动连接至客户机装置200的鼠标(未示出)以使显示在屏幕上的指针移动时，客户机装置200的控制单元250可根据鼠标输入自主地改变指针(即显示在屏幕231上的UI)。
在这种情况下，如图6的(a)所示，显示在客户机装置200的屏幕231上的指针302的位置立即与用户的鼠标输入相对应地移动，并且除此之外，从服务器装置100发送的AV数据的图像中的另一指针301’可短时间内暂时显示在客户机装置200的屏幕231上。
然后，在预定时间之后，如图6的(c)所示，显示在客户机装置200的屏幕231上的指针302可与显示在服务器装置100的屏幕111上的指针301的位置同步。
虽然参照用户输入装置300是鼠标的情况描述了根据实施方式的UI显示方法，但是本发明不限于此，并且可应用各种用户输入。
图7是示出根据实施方式的在服务器装置和客户机装置的屏幕上根据用户的键盘输入显示字符串的方法的示图。
参照图7的(a)，用户利用键盘输入字符和数字的字符输入窗口305、306和307可显示在服务器装置100的屏幕111和客户机装置200的屏幕231上。
另外，当用户使用连接至客户机装置200的键盘(未示出)以输入字符串“ABCD”时，客户机装置200的控制单元250可控制显示单元130，以根据键盘输入在屏幕231的字符输入窗口306和307上显示输入的字符串。
在这种情况下，如图7的(b)所示，字符串“ABCD”可立即显示于在客户机装置200的屏幕231上显示的字符输入窗口306和307上，以对应于用户的键盘输入，并且与此不同的是，在服务器装置100的屏幕111的字符输入窗口305上可显示输入的字符串的一部分(仅“ABC”)。
这是因为客户机装置200在屏幕231上按原样立即显示通过键盘输入的字符串，而服务器装置100在从客户机装置200接收关于输入的字符串的信息之后将其显示在屏幕111上。
然后，在预定时间之后，如图7的(c)所示，“ABCD”(即，整个输入的字符串)可显示在服务器装置100的屏幕111和客户机装置200的屏幕231上。
根据另一实施方式，可通过用户设置是否根据用户输入显示UI、形式或大小。
此外，根据另一实施方式，在执行当在诸如PC的服务器装置100中拍摄到图像时使用的应用时指针可消失。
例如，在游戏的情况下，根据实现在图像拍摄期间光标可消失。在这种情况下，服务器装置100产生隐没的(disappeared)光标，以将其与将要发送至客户机装置200的图像组合，或者，客户机装置200通过从服务器装置100接收坐标信息产生并显示光标。
根据本发明的实施方式的显示UI的方法可被编程，以在计算机中执行，并且可存储在计算机可读记录介质上。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。
计算机可读记录介质也可分布在联网的计算机系统上，从而以分布方式存储和执行计算机可读代码。另外，本发明所属领域的熟练程序员可容易地解释用于实现本发明的功能程序、代码和代码段。
此外，虽然上面描述了本发明的优选实施方式，但是本发明不限于上述具体的实施方式。本领域技术人员应该理解，在不脱离本发明的精神和范围的情况下，可在形式和细节上做出各种修改。另外，应该理解，这些修改的实施方式未脱离本发明的技术范围或预期。

Claims (20)

1.一种在从服务器装置接收AV数据并播放接收到的AV数据的客户机装置中根据用户输入显示用户界面(UI)的方法，该方法包括以下步骤：
接收正在所述服务器装置中播放的AV数据；
接收用于控制所述服务器装置的操作的用户输入；
根据接收到的用户输入产生UI，以在屏幕上显示从所述服务器装置接收的AV数据的图像以及产生的UI；以及
将与所述用户输入相对应的控制信号发送至所述服务器装置。
2.根据权利要求1所述的方法，其中，所述服务器装置通过利用从所述客户机装置发送的控制信号根据所述用户输入在屏幕上显示所述UI。
3.根据权利要求2所述的方法，所述方法还包括：
在预定时间或每当特定事件发生时接收关于显示在所述服务器装置的屏幕上的UI的信息；以及
利用从所述服务器装置接收的UI信息调整显示在所述屏幕上的所述UI。
4.根据权利要求3所述的方法，其中，调整UI的步骤包括使显示在所述客户机装置的屏幕上的UI与显示在所述服务器装置的屏幕上的UI同步。
5.根据权利要求3所述的方法，其中，从所述服务器装置接收的UI信息是关于显示的UI的位置的坐标信息。
6.根据权利要求5所述的方法，其中，调整UI的步骤包括利用从所述服务器装置接收的坐标信息改变显示的UI的位置。
7.根据权利要求1所述的方法，其中，所述用户输入是用于移动显示在所述屏幕上的指针的鼠标输入或用于在所述屏幕上显示字符的键盘输入。
8.根据权利要求7所述的方法，其中，在所述鼠标输入之后的预定时间内，根据显示在所述服务器装置的屏幕上的UI的第一指针和根据在所述客户机装置中产生的UI的第二指针被同时显示在所述屏幕上。
9.根据权利要求7所述的方法，其中，在所述键盘输入之后的预定时间内，仅在所述服务器装置和所述客户机装置中的所述客户机装置的屏幕上显示输入的字符的一部分。
10.根据权利要求1所述的方法，其中，由用户设置是否根据用户输入显示UI、形式和大小中的至少一个。
11.一种在将AV数据发送至客户机装置的服务器装置中根据用户输入显示UI的方法，该方法包括以下步骤：
从所述客户机装置接收与用于控制所述服务器装置的操作的用户输入相对应的控制信号；
根据接收到的用户输入产生UI，以在屏幕上显示所述AV数据的图像以及产生的UI；以及
在预定时间或每当特定事件发生时将关于显示在所述屏幕上的UI的信息发送至所述客户机装置。
12.根据权利要求11所述的方法，其中，发送至所述客户机装置的UI信息是关于显示的UI的位置的坐标信息。
13.一种计算机可读记录介质，其记录用于在计算机中执行根据权利要求1至12的任一项所述的方法的程序。
14.一种用于从服务器装置接收AV数据并且播放接收到的AV数据的客户机装置，该客户机装置包括：
网络接口单元，其用于接收正在所述服务器装置中播放的AV数据；
用户接口单元，其用于接收用于控制所述服务器装置的操作的用户输入；
GUI产生单元，其用于根据接收到的用户输入产生UI；以及
显示单元，其用于在屏幕上显示从所述服务器装置接收的AV数据的图像以及产生的UI，
其中，所述网络接口单元将与用户输入相对应的控制信号发送至所述服务器装置，并在预定时间或每当特定事件发生时接收关于显示在所述服务器装置的屏幕上的UI的信息。
15.根据权利要求14所述的客户机装置，所述客户机装置还包括：控制单元，其利用从所述服务器装置接收的UI信息使显示在所述显示单元上的UI与显示在所述服务器装置的屏幕上的UI同步。
16.根据权利要求14所述的客户机装置，其中，从所述服务器装置接收的UI信息是关于显示的UI的位置的坐标信息。
17.根据权利要求14所述的客户机装置，其中，所述用户输入是用于移动显示在所述屏幕上的指针的鼠标输入或用于在所述屏幕上显示字符的键盘输入。
18.根据权利要求17所述的客户机装置，其中，在鼠标输入之后的预定时间内，根据显示在所述服务器装置的屏幕上的UI的第一指针和根据在所述客户机装置中产生的UI的第二指针同时显示在所述屏幕上。
19.根据权利要求17所述的客户机装置，其中，在键盘输入之后的预定时间内，仅在所述服务器装置和所述客户机装置中的所述客户机装置的屏幕上显示输入的字符的一部分。
20.一种用于将AV数据发送至客户机装置的服务器装置，该服务器装置包括：
网络接口单元，其用于从所述客户机装置接收与用于控制所述服务器装置的操作的用户输入相对应的控制信号；
GUI产生单元，其用于根据接收到的用户输入产生UI；以及
显示单元，其用于在屏幕上显示所述AV数据的图像以及产生的UI，
其中，所述网络接口单元在预定时间或每当特定事件发生时将关于显示在所述屏幕上的UI的信息发送至所述客户机装置。
CN201280057621.2A 2011-11-24 2012-07-10 用户界面显示方法以及使用该方法的装置 Pending CN103947221A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161563602P 2011-11-24 2011-11-24
US61/563,602 2011-11-24
US201161563607P 2011-11-25 2011-11-25
US61/563,607 2011-11-25
PCT/KR2012/005452 WO2013077524A1 (ko) 2011-11-24 2012-07-10 사용자 인터페이스 표시 방법 및 그를 이용한 장치

Publications (1)

Publication Number Publication Date
CN103947221A true CN103947221A (zh) 2014-07-23

Family

ID=48467795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280057621.2A Pending CN103947221A (zh) 2011-11-24 2012-07-10 用户界面显示方法以及使用该方法的装置

Country Status (4)

Country Link
US (1) US9634880B2 (zh)
EP (1) EP2784641B1 (zh)
CN (1) CN103947221A (zh)
WO (1) WO2013077524A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454448A (zh) * 2016-05-30 2017-12-08 南宁富桂精密工业有限公司 通信方法、移动终端及机顶盒

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9952684B2 (en) * 2013-05-09 2018-04-24 Samsung Electronics Co., Ltd. Input apparatus, pointing apparatus, method for displaying pointer, and recordable medium
CN103648014A (zh) * 2013-11-15 2014-03-19 乐视致新电子科技（天津）有限公司 智能电视向移动通信终端推送资源的方法和装置
KR20150117018A (ko) * 2014-04-09 2015-10-19 삼성전자주식회사 컴퓨팅 장치, 컴퓨팅 장치 제어 방법 및 다중 디스플레이 시스템
TWI610221B (zh) * 2014-06-18 2018-01-01 緯創資通股份有限公司 螢幕播送方法以及使用該方法的系統與裝置
US10628186B2 (en) * 2014-09-08 2020-04-21 Wirepath Home Systems, Llc Method for electronic device virtualization and management
KR20160097520A (ko) * 2015-02-09 2016-08-18 삼성전자주식회사 디스플레이 장치 및 그의 ui 디스플레이 방법
CN112152906B (zh) 2015-02-16 2023-04-07 钉钉控股（开曼）有限公司 通讯方法及服务器
CN106034068A (zh) 2015-03-20 2016-10-19 阿里巴巴集团控股有限公司 群聊中进行私聊的方法、装置、客户端、服务器及系统
CN105610695B (zh) 2015-12-21 2021-01-12 阿里巴巴集团控股有限公司 对象分配方法及装置
CN105681056B (zh) 2016-01-13 2019-03-19 阿里巴巴集团控股有限公司 对象分配方法及装置
CN105812237B (zh) 2016-03-07 2020-12-04 钉钉控股（开曼）有限公司 快速添加提醒对象的方法及装置
CN107306286B (zh) 2016-04-21 2020-12-04 钉钉控股（开曼）有限公司 离线考勤的处理方法及装置
CN107305459A (zh) 2016-04-25 2017-10-31 阿里巴巴集团控股有限公司 语音和多媒体消息的发送方法及装置
CN107368995A (zh) 2016-05-13 2017-11-21 阿里巴巴集团控股有限公司 任务处理方法及装置
CN107846345A (zh) 2016-09-18 2018-03-27 阿里巴巴集团控股有限公司 通讯方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101203842A (zh) * 2005-06-21 2008-06-18 微软公司 使图形窗口修改命令能够被应用到远程生成的图形窗口

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020149617A1 (en) * 2001-03-30 2002-10-17 Becker David F. Remote collaboration technology design and methodology
US8881023B2 (en) * 2003-07-07 2014-11-04 Avocent Utah Methods and apparatus for synchronizing virtual and physical mouse pointers on remote KVM systems
US8762540B2 (en) * 2004-09-01 2014-06-24 Hewlett-Packard Development Company, L.P. Managing multiple remote computing sessions displayed on a client device
US20070288640A1 (en) * 2006-06-07 2007-12-13 Microsoft Corporation Remote rendering of multiple mouse cursors
KR101367606B1 (ko) 2006-06-15 2014-03-12 소니 주식회사 정보처리장치 및 정보처리방법과 컴퓨터·프로그램
KR100801004B1 (ko) 2006-08-25 2008-02-05 삼성전자주식회사 임베디드 ａⅴ 컨텐츠의 프로토콜 매칭 장치 및 방법
KR100864723B1 (ko) * 2007-02-08 2008-10-23 삼성전자주식회사 방송채널 선택용 ｇｕｉ 제공방법 및 이를 적용한방송수신장치
KR101446939B1 (ko) * 2007-03-30 2014-10-06 삼성전자주식회사 원격 제어 장치 및 그 제어 방법
US8627211B2 (en) * 2007-03-30 2014-01-07 Uranus International Limited Method, apparatus, system, medium, and signals for supporting pointer display in a multiple-party communication
US8136042B2 (en) * 2007-05-11 2012-03-13 Raritan Americas, Inc. Local port browser interface
KR101539461B1 (ko) 2008-07-16 2015-07-30 삼성전자주식회사 멀티미디어 시스템에서 사용자 인터페이스 서비스를 제공하는 방법 및 장치
KR20110032596A (ko) 2009-09-23 2011-03-30 삼성전자주식회사 중력장 맵을 생성하여 포인터 이동에 이용하는 ｇｕｉ 제공방법 및 이를 적용한 디스플레이 장치
US20110242268A1 (en) * 2010-03-31 2011-10-06 Jin Kim Television Appliance
EP2564598A4 (en) * 2010-04-28 2017-04-26 LG Electronics Inc. Image display apparatus and method for operating the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101203842A (zh) * 2005-06-21 2008-06-18 微软公司 使图形窗口修改命令能够被应用到远程生成的图形窗口

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454448A (zh) * 2016-05-30 2017-12-08 南宁富桂精密工业有限公司 通信方法、移动终端及机顶盒
CN107454448B (zh) * 2016-05-30 2020-05-08 南宁富桂精密工业有限公司 通信方法、移动终端及机顶盒

Also Published As

Publication number Publication date
WO2013077524A1 (ko) 2013-05-30
EP2784641B1 (en) 2018-11-28
US9634880B2 (en) 2017-04-25
EP2784641A4 (en) 2015-07-29
US20130138726A1 (en) 2013-05-30
EP2784641A1 (en) 2014-10-01

Similar Documents

Publication Publication Date Title
CN103947221A (zh) 用户界面显示方法以及使用该方法的装置
US10423320B2 (en) Graphical user interface for navigating a video
US10930318B2 (en) Gapless video looping
CN104065979A (zh) 一种动态显示和视频内容相关联信息方法及系统
WO2020098504A1 (zh) 一种视频切换的控制方法及显示设备
KR20140091021A (ko) 제어 방법 및 그를 이용한 장치
CN102937860A (zh) 分布式半同步事件驱动的多媒体回放
CN104202677A (zh) 支持多窗口应用的多屏显示和控制的方法与装置
CN104837051A (zh) 视频播放方法及客户端
WO2023104102A1 (zh) 一种直播评论展示方法、装置、设备、程序产品及介质
CN204013943U (zh) 一种在ott盒子上进行视频截取并处理的装置
CN112153406A (zh) 一种直播数据生成方法、显示设备及服务器
TW202110200A (zh) 具有廣播調度利用特徵的內容修改系統
US20200099987A1 (en) Systems and methods for displaying a live video stream in a graphical user interface
CN112565847B (zh) 大屏显示控制方法及装置
US20230283813A1 (en) Centralized streaming video composition
CN113965779A (zh) 云游戏数据的传输方法、装置、系统及电子设备
CN113965785A (zh) 一种资源同步播放方法及显示设备
CN107852523B (zh) 用于在终端之间同步媒体渲染的方法、终端和设备
CN114071170A (zh) 一种网络直播互动方法及设备
CN117041628B (zh) 直播画面的渲染方法、系统、装置、设备及介质
US11500925B2 (en) Playback of audio content along with associated non-static media content
US20230103596A1 (en) Systems and methods for customizing media player playback speed
TWI776165B (zh) 用於從內容呈現設備接收對補充內容的請求的方法、非暫時性電腦可讀儲存介質及計算系統
CN102547382A (zh) 向有格式限制的视频播放终端提供视频文件的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140723

RJ01 Rejection of invention patent application after publication