CN106162271A - 处理服务的设备及其方法 - Google Patents

处理服务的设备及其方法 Download PDF

Info

Publication number
CN106162271A
CN106162271A CN201610621426.8A CN201610621426A CN106162271A CN 106162271 A CN106162271 A CN 106162271A CN 201610621426 A CN201610621426 A CN 201610621426A CN 106162271 A CN106162271 A CN 106162271A
Authority
CN
China
Prior art keywords
pattern
mobile terminal
user
content
mini
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610621426.8A
Other languages
English (en)
Other versions
CN106162271B (zh
Inventor
金自然
罗大烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN106162271A publication Critical patent/CN106162271A/zh
Application granted granted Critical
Publication of CN106162271B publication Critical patent/CN106162271B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Abstract

处理服务的设备及其方法。一种显示装置包括:显示器,其被配置为显示多媒体内容;无线通信单元,其被配置为与至少一个外部显示装置进行无线通信;相机单元,其被配置为感测持握所述移动终端的用户的眼睛运动;以及控制器,其被配置为从所述移动终端接收指示持握所述移动终端的所述用户的抓握模式和眼睛运动中的至少一个的指示信号,并控制将显示在所述显示器上的多媒体内容流传输到所述移动终端的流操作。

Description

处理服务的设备及其方法
本申请是原案申请号为201310003762.2的发明专利申请(申请日:2013年1月6日,发明名称:处理服务的设备及其方法)的分案申请。
技术领域
本发明涉及用于处理服务的设备及其方法。尽管本发明适用于宽范围的应用,但是其尤其适用于处理多个装置之间的服务。
背景技术
智能电视(TV)如今变得越来越普及。使用传统的遥控器来操作智能TV。还未充分解决用户的移动终端与由智能TV提供的功能的整合。另外,移动装置和TV遵循其各自专属的领域,而无法顺利地一起工作。
发明内容
因此,本发明的一个目的在于提供一种用于处理服务的设备和对应的方法,其基本上避免了由现有技术的局限和缺点引起的一个或更多个问题。
本发明的另一目的在于提供一种接口方法和环境,通过该接口方法和环境,能够更容易且有效地执行移动装置与其它数字装置之间的通信、数据发送和接收等。
本发明的另一目的在于通过提供进一步增强的接口和通信环境和处理来提供一种新的服务模型,通过该服务模型,克服了对具有简单地输出从另一数字装置接收到的视频、音频、图像等的功能或者充当遥控器的替代物的功能的一个装置的限制。
为了实现这些目的和其它优点,并且根据本发明的目的,如本文具体实现和广义描述的,本发明提供了一种显示装置,该显示装置包括:显示器,其被配置为显示多媒体内容;无线通信单元,其被配置为与至少一个外部显示装置进行无线通信;相机单元,其被配置为感测持握所述移动终端的用户的眼睛运动;以及控制器,其被配置为从所述移动终端接收指示持握所述移动终端的用户的抓握模式和眼睛运动中的至少一个的指示信号,并控制将显示在所述显示器上的所述多媒体内容流传输到所述移动终端的流操作。本发明还涉及与所述显示装置接口的移动终端。
本发明的进一步的适用范围将从下文给出的具体实施方式而变得明显。然而,应该理解,仅示意性地给出指示本发明的优选实施方式的详细描述和具体示例,因为对于本领域技术人员而言,本发明的精神和范围内的各种改变和修改将变得明显。
附图说明
包括附图以提供对本发明的进一步理解,并且并入本申请并构成本申请的一部分,附图示出本发明的实施方式,并与说明书一起用于说明本发明的原理。附图中:
图1是示出包括根据本发明的实施方式的服务处理设备的总体系统的一个示例的概念图;
图2是示出根据本发明的实施方式的服务处理设备的一个示例的详细框图;
图3是示出根据本发明的实施方式的控制单元的一个示例的框图;
图4和图5是示出根据本发明的实施方式的移动装置和主装置之间的配对处理的示图;
图6是示出当在主装置中观看正常画面时提供迷你TV的移动装置的场景的一个示例的示图;
图7是示出当在主装置中观看广播画面的过程中改变输入时提供迷你TV的移动装置的场景的一个示例的示图;
图8是示出在移动装置提供从主装置接收的频道上的广播节目的同时改变输入时的操作的一个示例的示图;
图9是示出在主装置提供分量(component)输入而非广播频道的同时移动装置的操作的一个示例的示图;
图10是示出在提供初始广播频道的同时当主装置切换为PC输入时移动装置的操作的一个示例的示图;
图11和图12是示出当在主TV中实现网络浏览器时迷你TV的操作的示例的示图;
图13是示出通过激活从移动装置的主画面选择的频道来激活迷你TV功能的一个示例的示图;
图14(a)至图14(c)是描述迷你TV功能激活的示图;
图15(a)至图15(c)是示出根据本发明的实施方式的用于迷你TV功能激活的访问方法的一个示例的示图;
图16(a)至图16(d)是示出根据本发明的实施方式的用于迷你TV功能激活或访问的访问方法的另一示例的示图;
图17是示出根据本发明的实施方式的在移动装置中激活迷你TV功能的同时尝试改变或切换输入的示图;
图18和图19是示出描述根据本发明的实施方式的迷你TV功能的示图;
图20是示出根据本发明的实施方式的迷你TV功能的另一示例的示图;
图21是示出根据本发明的实施方式的迷你TV的另一功能的示图;
图22是示出当用户尝试利用SNS编写内容,而非类似于图21检查相关SNS内容时的示图;
图23是示出除了文本数据之外将图像信息附加到SNS的示图;
图24是示出根据本发明的实施方式的迷你TV访问的另一示例的示图;
图25至图27是示出根据本发明的实施方式的迷你TV访问的其它示例的示图;
图28和图29是示出根据本发明的实施方式的迷你TV提供方法的示图;
图30是UI的示图;
图31是移动装置的示图;
图32和图33是示出根据本发明的实施方式的迷你TV提供方法的流程图;
图34和图35是示出在移动装置中提供时间机器功能的方法的流程图;
图36(a)、图36(b)和图36(c)示出根据本发明的实施方式的与显示装置接口的移动终端的概况;
图37是示出根据本发明的实施方式的控制显示装置和移动终端的方法的流程图;
图38是包括传感器的移动终端的概况,所述传感器用于检测移动终端的不同抓握模式;以及
图39至图46是示出根据本发明的实施方式的移动终端的不同抓握模式的概览图。
具体实施方式
现在将详细说明本发明的优选实施方式,其示例示出在附图中。只要可能,贯穿附图,将使用相同的标号来指代相同或相似的部件。
在说明书中,服务处理设备包括计算装置,诸如能够处理和输出内容的数字装置,例如,固定广播接收器、移动广播接收器、PC(或笔记本计算机)、智能电话、移动装置(如,平板PC等)等。另外,广播接收器可包括数字TV,例如网络TV、智能TV、IP(互联网协议)TV、互联网TV等。
服务处理设备还包括能够经由连接网络相互通信的至少两个数字装置。为了下面的描述清晰起见,服务处理设备被描述为主装置和移动装置。主装置和移动装置还可按照n-m对应关系设置(其中,“n”和“m”分别是正整数)。例如,主装置可包括主TV或与主TV配对的外部输入。又如,移动装置可包括智能电话、平板PC等。
迷你TV可以是与移动装置链接的硬件和/或诸如应用、功能等的软件。迷你TV对应于移动装置,该移动装置通过经由接口或通信或者移动装置的多个功能中的一个与主装置交换各种类型的数据来执行控制主装置等的功能。迷你TV可通过规定的应用来实现。在此说明书中,所述规定应用称为远程应用,其可与包括迷你TV的多个功能关联。然而,本发明不限于上面列举的名称。迷你TV可具有与第二TV类型的外部TV 140(稍后参照图1描述)以及主装置类似或者完全不同的功能或角色。
例如,迷你TV包括第二TV的功能,并还可包括将稍后说明的功能,即,在访问类型或功能方面与第二TV相区分的特征,而第二TV类型的外部TV 140从主装置接收广播图像,然后仅显示接收的广播图像,或者主装置执行作为输入机构的TV遥控器的一般功能。这将参照附图详细描述。此外,迷你TV不限于移动装置,或者可包括单独的迷你TV专用移动装置或其它服务处理设备之一。
图1是示出包括根据本发明的实施方式的服务处理设备的总体系统的一个示例的概念图。在图1中,服务处理设备可对应于服务处理系统。如图1所示,服务处理系统包括主装置或计算装置100、广播台110、服务器(包括内部、外部或IP服务器)120、外部装置130、外部(或第二)TV 140、移动装置150等。
广播台110包括内容、服务和/或网络提供商。广播台100提供内容,并可与主装置100和/或移动装置150交互地收发数据。另外,主装置100经由诸如地面波、线缆、卫星、互联网等的介质与广播台110连接,然后可交互地接收内容或交换数据。另外,主装置100可经由有线/无线网络与服务器120、外部装置130、外部TV 140、移动装置150等连接。另外,服务器120、外部装置130、外部TV 140、移动装置150等可经由有线/无线网络彼此连接。另选地,服务器120、外部装置130、外部TV 140、移动装置150等可无需主装置100直接与广播台110连接。另外,外部装置130包括USB存储器、HDD(硬盘驱动器)、PC、经由家庭网络连接的各种数字装置等中的至少一个。
接下来,图2是示出根据本发明的实施方式的主装置100或移动装置150的一个示例的详细框图。为了下面的描述清晰起见,图示的配置可包括主装置100的部件或移动装置150的部件。
根据本发明一个实施方式的服务处理设备可包括:网络处理单元,其响应于第一请求与至少一个外部装置配对;控制单元,其响应于第一请求控制规定应用的激活,所述控制单元控制响应于第二请求将控制信号发送给配对的外部装置;以及显示模块,其从外部装置接收与响应于第二请求的所述控制信号对应的图像数据,所述显示模块输出所接收到的图像数据。
具体地讲,控制单元从第二装置接收用于输出改变的信号,基于所接收到的用于输出改变的信号确定是否切换输出图像,创建用于输出图像改变的信号,然后通过将创建的信号发送给第二装置来控制第二装置的输出。另外,在上面的描述中,第一装置可包括移动装置,第二装置可包括数字广播接收器,所述规定应用可包括远程应用。
控制单元可从通过各个步骤或者第二装置的急速(quick rapid)移动或摇动(如,抓取)提供的用户界面中的与第二请求有关的图标的选择、通过各个步骤提供的用户界面的规定项沿规定方向的拖放操作、对画面内的规定区域的触摸以及沿规定方向的拖曳或轻拂、外部装置的画面捕获以及将通过各个步骤提供的用户界面内的图像数据拖放到规定区域中的操作中的至少一个识别第二请求。
参照图2,主装置100包括广播接收单元210、解调制单元240、网络接口单元220、外部装置接口单元230、控制单元250、视频输出单元260、音频输出单元270、电源单元280、用户接口单元290等。另外,主装置200可通过与诸如遥控器300的输入机构、移动装置150等的通信来接收规定数据的输入或执行规定功能。
广播接收单元210可包括从RF(射频)调谐器、机顶盒(STB)等接收广播数据的接口。广播接收单元210可通过ATSC(高级电视系统委员会)接收单载波的RF广播信号,或通过DVB(数字视频广播)接收多载波的RF广播信号。
另外,解调制单元240接收由广播接收单元210转换的数字IF信号(DIF),然后将所接收到的信号解调制。当从广播接收单元210输出的数字IF信号遵循ATSC时,解调制单元240执行8-VSB(8-残留边带)解调制。
外部装置接口单元230被配置为经由有线/无线网络在外部装置和主装置100之间收发数据。在这种情况下,外部装置可包括DVD(数字多功能光盘)播放器、蓝光播放器、游戏装置、相机、摄像机、计算机(如,膝上型计算机等)、机顶盒(STB)、移动装置150等中的至少一种。另外,外部装置接口单元230可包括USB端子、CVBS(复合视频消隐同步)端子、分量端子、S视频端子(如,模拟)、DVI(数字视觉接口)端子、HDMI(高清多媒体接口)端子、RGB端子、D-SUB端子等中的至少一种。
网络接口单元220被配置为将主装置100与包括互联网网络的有线/无线网络连接。在这种情况下,网络接口220可使用用于与有线网络连接的以太网端子或者用于与无线网络连接的通信协议,例如WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波接入互操作性)、HSDPA(高速下行链路分组接入)等。
用户接口单元290将用户输入的信号传送给控制单元250,或者可将从控制单元250传送来的信号发送给外部装置(如,遥控器300、移动装置150等)。用户接口单元290从遥控器300接收用于通电/断电、频道选择、画面设置等的控制信号,然后根据包括RF通信系统、红外(IR)通信系统等的各种通信系统来处理所接收到的控制信号。另选地,用户接口单元290可将从控制单元250传送来的控制信号发送给遥控器300或移动装置150。
另外,视频输出单元260通过将由控制单元250处理的视频信号、数据信号和OSD(屏幕显示)信号、或者从外部接口单元230接收的视频信号、数据信号等转换为R、G和B信号来生成驱动信号。音频输出单元270接收由控制单元250处理的音频信号的输入(如,立体声信号、3.1声道信号、5.1声道信号等),然后输出所接收到的信号。
另外,电源单元280可向构成主装置100的各个部件供应对应的电力。电源单元280可向实现为SOC(系统级芯片)的控制单元250、用于视频显示的视频输出单元260、用于音频输出的音频输出单元270等供电。另外,如下参照图3和图4详细描述控制单元250。具体地讲,图3所示的控制单元可包括单独的部件,或者可实现为单个模块。
接下来,图3是示出根据本发明的实施方式的主装置100或移动装置150的控制单元350的一个示例的框图。具体地讲,如上面参照图2的描述中所提及的,图3中的控制单元350可对应于图1所示的主装置100或移动装置150的部件。
参照图3,控制单元350包括解复用器351、视频解码器352、缩放器353、OSD发生器357、混合器354、帧频转换器(FRC)355和格式化器356。另外,控制单元350还可包括音频处理器、数据处理器等。
另外,解复用器351对输入传输流进行解复用,视频解码器352将解复用的视频信号解码。另外,缩放器353执行缩放以使得经解码的视频信号的分辨率能够从视频输出单元输出。
OSD发生器357响应于用户输入或独立地生成OSD数据。另外,混合器354将由OSD发生器357生成的OSD数据与由视频处理器(包括视频解码器352和缩放器353)处理的视频信号混合。帧频转换器(FRC)355可转换输入视频的帧频。在这种情况下,视频帧频转换可归因于显示模块的输出频率。例如,帧频转换器355将输入视频的帧频60Hz转换为视频输出的帧频120Hz或240Hz,以对应于显示模块的输出频率。
格式化器356接收FRC 355的输出信号的输入,将接收的信号的格式改变为适合于视频输出单元,然后输出格式改变了的信号。例如,格式化器356可以输出R、G和B数据信号。另外,R、G和B数据信号可作为低压差分信令(LVDS)或迷你LVDS输出。
参照图2和图3描述的部件可一起合并成模块,或者可实现为单独的部件。另外,可省略或添加规定部件。此外,输入信号或数据可响应于各种类型的输入绕过规定部件。
本发明提供了一种更有效地方便移动装置和主装置之间的数据发送和接收(包括控制数据或信号)的环境,并且还提供了一种用于该环境的接口。在此说明书中,描述了包括移动装置、主装置、外部装置等的各种数字装置对象。具体地讲,关于迷你TV,可以采用移动装置为例。然而,本发明与迷你TV关联的精神或范围不仅限于移动装置。
另外,为了帮助理解本发明并便于描述,移动装置可经由各种路径和深度访问迷你TV。例如,迷你TV可响应于远程应用的激活而激活。另外,本发明提供了一种用于提供具有进一步增强的功能的通信环境或接口的服务处理设备,以克服移动装置充当能够简单地输出从主装置接收的数据或信号(如,提供与主装置相同的画面)的显示装置的有限功能,或者移动装置用作主装置的输入装置(类似遥控器)的替代物的有限功能。本发明还通过提供用户友好的接口环境和/或服务来鼓励用户的购买愿望。
接下来,图4和图5是示出根据本发明的实施方式将移动装置和主装置彼此配对的处理的示图。参照图4和图5,与配对等相关地提供的用户界面(UI)可根据移动装置的类型(如,图4所示的智能电话或图5所示的平板PC)而略微不同。
首先,移动装置激活远程应用(S102,S202)。因此,当移动装置激活远程应用时,配对处理开始。可对预先同意或默认的装置(例如,主装置)或者能够经由有线/无线网络与移动装置链接或互操作的每一装置执行配对。因此,例如,移动装置向移动终端提供所有配对装置的列表,然后可与具有用于配对的最佳网络条件或最佳通信状态的装置、根据预设优先级的装置等配对。
另外,例如,如果激活远程应用,则确定配对状态或开始配对。然而,如果根据激活的应用(而非远程应用)的属性来确定配对,则可执行配对处理。此外,不考虑应用的激活,响应于用户设置或在规定条件下启动配对。然而,假设响应于远程应用的激活执行配对处理。
一旦激活远程应用,移动装置就确定用于配对的通信网络状态,即,是否存在网络连接或网络连接的状态(S104,S204)。为此,移动装置可提供指示正在检查网络连接状态的UI 410/510。在图4或图5中,例如,用于配对的通信网络包括Wi-Fi,但本发明不限于此。另选地,通信网络可包括用于与有线网络连接的以太网端子或者诸如WLAN(Wi-Fi)、Wibro、Wimax、HSDPA等用于与无线网络连接的通信协议。
在步骤S104或S204,作为是否存在用于配对的网络连接或连接状态的确定结果,如果没有建立连接,则在移动装置的画面上显示弹出指示(S106,S206)。当未连接网络时,可能是因为用户随意阻断了网络连接或者网络连接状态由于移动装置等的位置而较差。因此,如果移动装置的用户检查步骤S106或S206中的弹出指示,则用户可通过建立网络连接、移动位置等来解决该问题。因此,移动装置可向画面提供UI410/510以指示正在检查连接状态。具体地讲,如果用户未阻断移动装置中的网络连接,则可提供UI 410/510。
随后,所述方法检查多少装置通过步骤S104/S204或步骤S106/S206与网络连接(S108,S208)。通过该检查步骤,例如,如果连接装置的数量为0,则提供UI 420/520以指示没有连接的装置。用户可通过重置网络或设置另一网络来重新尝试上述处理。
另一方面,如果在步骤S108或S208中检查连接到网络的装置的数量为1或更多个,则移动装置提供包括关于各个连接装置(如,此示例中仅显示1个装置)的信息的UI 430/530,并确定是否存在与对应装置的先前连接历史(S110,S210)。如果存在先前连接的历史,则移动装置获得对应装置的状态,然后检查对应装置是否可连接(S112,S212)。如果对应装置目前未处于可连接状态,则移动装置提供解决方案的向导UI440/540(S114,S214)。
另外,如果在步骤S108或S208中检查出的连接至网络的装置的数量等于或大于2,则移动终端提供包括关于各个连接装置的信息的UI 430/530,然后等待用户作出选择。如果用户通过UI 430/530选择了规定装置,则移动装置检查所选择的装置的状态,然后确定可连接状态(S116,S216)。因此,UI 430/530可提供各种类型的信息,包括各个装置的标识符、名称、通电/断电状态、可连接状态和网络连接状态(如,信号强度等)等。
作为步骤S116或S216的确定结果,如果对应装置不处于可连接状态,则移动装置可提供UI 440/550以指示解决方案的向导。如果经由该向导实现了对应装置的可连接状态或者在步骤S116或S216中确定了对应装置的可连接状态,则移动装置确定是否存在与对应装置的先前连接历史(S118,S218)。
如果通过步骤S112/212或步骤S114/214实现了与对应装置的可连接状态,则移动装置可完成配对处理。另外,移动装置针对将与配对装置一起执行的下一操作提供UI 450/550。另外,如果存在与对应装置的先前连接历史(S118,S218中的“是”),则移动装置结束配对处理,然后提供UI 450/550以使得能够执行下一处理。相反,如果不存在与对应装置的先前连接历史(S118、S218中的“否”),则移动装置经历访问对应装置以完成与对应装置的配对处理的步骤。
在该步骤中,移动装置提供相关UI 460/560。在图4和图5中,示例性地示出诸如用户验证窗口的安全相关UI,但本发明不限于此。另外,还可提供对应步骤的其它UI。另外,如果在步骤S110或S210中没有连接历史,则可提供UI 430/530或UI 460/560。
参照图4和图5对本发明的上述描述描述了移动装置与另一装置之间的配对处理的一个实施方式,其假设通过将移动装置与主装置(如,主TV)彼此配对来执行配对。可对其它外部装置执行配对。例如,以上描述和以下描述均可以按照类似方式适用于配对。
例如,在下面根据本发明的实施方式的彼此配对的移动装置(如,迷你TV)和主装置(如,主TV)之间的迷你TV功能激活的描述中,说明了与主TV交换数据的各种方法。
具体地讲,图6至图12是示出根据本发明的实施方式在配对之后在移动装置中提供迷你TV功能的方法的示图。即,图6至图12示出根据移动装置和/或主装置的状态或模式的移动装置的迷你TV可提供场景的示例。
图6是示出当在主装置中观看正常画面时提供迷你TV的移动装置的场景的一个示例的示图。参照图6,主TV 610初始显示DTV频道6。如果主TV 610通过上述配对处理与移动装置620配对,则移动装置620与主装置(主TV 610)交换数据,从而提供迷你TV功能。
例如,如果通过激活远程应用启动配对和迷你TV功能,则移动装置620将主装置610当前提供的频道(或内容)提供给用于迷你TV功能的画面。该处理可继续,直到例如通过配对的主装置610执行频道切换操作,或者迷你TV功能关闭为止。
如果在主装置610中频道切换或改变(如,频道6改变为频道7),则迷你TV 620的频道切换或改变为相同的频道。然而,尽管移动装置可响应于主装置直接切换频道,但是移动装置还可利用指示在主装置610中频道是否切换为另一频道(如,频道7)、是否改变频道等的弹出UI来通知用户,然后可使得能够响应于用户做出的选择执行频道切换操作。
随后,如果在主装置610中频道再次切换为另一频道(如,从频道7切换为频道8),则移动装置620可执行自动频道切换操作,或者在提供UI之后响应于用户选择执行频道切换操作。因此,例如,参照图6描述迷你TV 620响应于主TV 610的频道改变或切换的操作。
接下来,图7是示出当在主装置610中观看广播画面的同时改变输入时提供迷你TV的移动装置的场景的一个示例的示图。参照图7,主TV 610初始提供DTV频道6。如果移动装置620通过参照图4或图5所述的配对处理与主TV 610配对,则移动装置620通过与主装置610链接来与主装置610交换数据,然后提供迷你TV功能。
移动装置620提供主TV 610当前提供的DTV频道6。该处理可继续,直到例如主TV610中发生频道改变或切换为止。如果到主TV 610的输入改变(如,输入改变为分量输入,而非用于观看广播节目的DTV频道),则移动装置的迷你TV 620可执行如下两种类型的操作。首先,迷你TV 620执行响应于主TV 610的输入改变而改变迷你TV 620的画面的操作。其次,迷你TV 620可执行不管主TV 610的输入如何改变,而维持迷你TV 620的当前画面的操作。
在前一种情况下,如果迷你TV 620具有例如对应于分量输入的配置,则迷你TV620可回放该分量输入。如果迷你TV 620不具有对应配置,则可将从主TV 610接收到的数据的格式转换为可从迷你TV 620输出的格式(如,文件转换、分辨率转换、尺寸调节、画面比例调节)。
接下来,图7示出后一种情况。具体地讲,迷你TV 620通过自己针对当前画面调谐频道来提供画面。另选地,迷你TV 620从主TV 610接收信号,然后播放接收的信号。参照图7,当到迷你TV 620的输入改变为诸如分量的外部输入时,迷你TV620可继续提供先前的频道而不管输入改变,除非主TV 610中的广播节目的频道切换。具体地讲,在图7中,在将主TV610的输入改变为分量输入的时刻迷你TV 620继续提供DTV频道6。
因此,迷你TV 620可独立于主TV 610的外部输入切换频道(如,从频道6切换至频道7)。然而,由于主TV 610仍根据分量输入提供数据,所以主TV 610不提供频道7。另一方面,如果主TV 610的输入从分量输入切换为用于广播节目的广播频道,则主TV 610可执行下列操作。首先,主TV 610在外部输入切换之前将先前提供的频道改变为迷你TV 620当前提供的相同频道,然后提供由迷你TV 620当前提供的相同频道。其次,主TV 610在外部输入切换之前继续提供先前提供的频道。
例如,图7示出前一种情况:在外部输入切换之前通过先前提供的频道提供当前提供的频道。如果迷你TV 620利用主TV 610的调谐器接收并播放广播信号,则由于主TV 610已经调谐至迷你TV 620的频道切换操作的对应频道,可能只要执行输入切换就在提供画面方面没有困难。然而,如果主TV 610具有多个调谐器,或者主TV 610的调谐器用于迷你TV620的频道切换操作,则主TV 610可类似于后一种情况来进行操作。此外,即使主TV 610具有单个调谐器,也可通过迫使主TV 610调谐至先前的频道来使其再次提供频道6。
在上面的描述中,参照图7说明了迷你TV响应于主TV的输入改变或切换的操作的示例。
接下来,图8是示出在移动装置620提供从主装置610接收的频道上的广播节目的同时改变输入时的操作的一个示例的示图。具体地讲,图8示出与图7所示的情况相反的情况的操作。例如,图8涉及当不管主TV 610继续显示广播节目,迷你TV620的输入切换为分量输入时移动装置和主装置的操作,而图7示出主TV 610将当前观看的广播节目改变为分量输入。
如果主TV 610提供DTV频道6,则迷你TV 620通过处理经由主TV 610接收到的信号也提供相同的DTV频道6。随后,不管主TV 610中没有改变,迷你TV 620的输入切换为分量输入。主TV 610的输入通过与迷你TV 620链接而切换为分量输入,或者主TV 610中可不发生改变。图8示出后一种情况的一个示例。具体地讲,在迷你TV 620的分量输入切换之后,主TV610继续提供相同的频道。
随后,主TV 610可不考虑迷你TV 620而改变广播频道。在这种情况下,迷你TV 620继续维持当前提供的外部输入,或者可响应于主TV 610的广播频道改变提供改变的频道。另外,作为迷你TV功能激活或配对的结果,主TV 610和/或迷你TV 620提供针对各个装置的改变项的弹出警报,然后可执行对应操作。另外,尽管提供配对以执行迷你TV功能,但是可执行配对而不管迷你TV 620。
在图8中,迷你TV 620继续提供分量输入而不管主TV 610的频道切换操作。随后,在分量输入结束之后,如果迷你TV 620的输入再次改变为广播频道,则迷你TV 620提供先前提供的频道6或主TV 610当前提供的频道(如,频道7)。
在上面的描述中,参照图8说明了移动装置和主装置响应于迷你TV 620的输入切换的操作的示例。
接下来,图9是示出在主装置610提供分量输入而非广播频道的同时移动装置620的操作的一个示例的示图。例如,在参照图7的描述中,当主TV 610的输入从广播频道切换为分量输入时,迷你TV 620继续提供广播频道而非切换为提供分量输入。然而,图9涉及当激活迷你TV功能时主TV 610在提供分量输入而非广播频道时的操作。
参照图9,如果主TV 610提供分量输入而非广播频道,则迷你TV 620接收分量输入,然后提供接收的分量输入。然而,由于迷你TV 620在操作、属性、能力等方面不同于主TV610,所以迷你TV 620将分量输入转换为适合于迷你TV 620,然后提供经转换的分量输入。如果输入广播频道而非分量输入,则可类似地对其进行适当转换。
图10是示出在提供初始广播频道的同时当主装置610将初始提供的广播频道切换为PC输入时移动装置620的操作的一个示例的示图。尽管在图7至图9中采用分量输入作为外部输入的示例,但是在图10中采用PC输入作为外部输入的示例。
参照图10,主TV 610初始提供DTV频道6。因此,迷你TV 620也经由画面提供DTV频道6。如果主TV 610的输入从广播频道切换为外部输入,即,切换为PC输入,则迷你TV 620可继续维持先前的频道,或者可提供PC输入。然而,在后一种情况下,可向PC输入提供对应配置以便由迷你TV 620提供,或者可能需要配置来转换输入。因此,图10示出当迷你TV 620继续提供广播频道(如,频道6)而不管主TV 610的PC输入切换时的一个示例。
接下来,图11和图12是示出当在主TV 610中实现网络浏览器时迷你TV 620的操作的示例的示图。首先,为了与远程应用的激活和配对处理一起提供迷你TV功能,迷你TV 620可接收各种类型的附加信息,包括主TV 610当前提供的画面、属性、频道编号、频道名称、信令信息等。由于主TV 610和迷你TV 620在功能、属性等方面彼此不同,所以接收所述附加信息以提供适当画面。因此,可在主TV 610和迷你TV 620之间发送和接收各种类型的信息。
接下来,图11示出当迷你TV 620无法提供与主TV 610的网络浏览器画面相同的画面时的一个示例。参照图11,迷你TV 620可显示弹出警报以指示网络浏览器在主TV 610中当前有效,而无法在迷你TV 620中激活。
参照图12,如果主TV 610在激活网络浏览器之前正在提供初始DTV频道6的广播频道时激活网络浏览器,则主TV 610的调谐器继续提供当前调谐的广播频道,并可提供弹出警报以指示无法激活网络浏览器。图12可同样适用于迷你TV激活时网络浏览器在主TV 610中有效时,除了主TV 610在激活迷你TV 620的功能时在提供广播频道的中间激活网络浏览器时。
与上面参照图11和图12提及的描述不同,如果主TV 610接收到迷你TV功能请求,则主TV 610可向迷你TV 620提供当前提供的网络浏览器的地址信息。在这种情况下,迷你TV 620指示网络浏览器在主TV 610中当前有效并且迷你TV功能不可运行,并响应于用户做出的迷你TV功能请求提供UI,以基于经由主TV 610提供的地址信息确定迷你TV 620是否将针对对应地址访问激活网络浏览器。如果用户选择激活网络浏览器,则迷你TV 620可经由激活的网络浏览器提供针对迷你TV 620优化的网页。
在上面的描述中,参照图11和图12说明了当网络浏览器在主TV 610中当前有效时迷你TV 620的操作。在上面参照图6至图12的描述中,说明了根据迷你TV功能的激活,迷你TV 620和主TV 610之间的操作的各种情景。
在下面的描述中,将参照附图详细说明用于迷你TV访问的各种使用和操作情景,例如迷你TV功能的激活等。具体地讲,图13至图15是示出根据本发明的实施方式的迷你TV功能访问方法的示例的示图。具体地讲,图13是示出通过激活从移动装置的主画面选择的频道来激活迷你TV功能的一个示例的示图。
例如,图13(a)示出移动装置的主画面的一个示例。参照图13(a),在画面的顶端1310提供移动装置的模式、网络状态、剩余电量、信号强度、时间信息等。另外,可直接在画面的顶端1310下方提供菜单图标。
可在画面的中部提供频道列表1320。在这种情况下,显示频道列表1320,并且可为其提供另一菜单画面。另外,在频道列表1320的顶端提供指示对应菜单为频道列表的文本信息(如,“频道”),并在该文本信息下方提供关于多个频道的信息。在这种情况下,例如,关于频道的信息可包括广播台信息、频道信息、缩略图、关于广播时间的信息、其它文本信息等。
另外,图13所示的频道列表菜单画面配置仅是示例性的。另外,可根据各种参照(包括广播系统提供商、频道、观看限制等)提供各种类型的频道列表菜单画面配置。
在频道列表下方的区域1330提供包括用于激活本发明的迷你TV功能的文本信息、图像信息等的图标。另外,可在画面的最底端1340提供用于音量调节的菜单项、用于频道调节的菜单项等。如果用户在迷你TV图标上执行点击、双击、指点等,则移动装置直接激活迷你TV功能,接收主装置当前提供的画面,然后将其画面切换为图13(b)所示的画面。
参照图13(b),移动装置放大并输出当从主装置接收视频数据时接收的频道或主装置当前提供的频道的缩略图1360。另外,移动装置可输出加载滚轮动画1365以指示用于迷你TV功能激活的加载正在进行。另外,如果主装置中当前正在进行外部输入,则移动装置可显示外部输入控制面板370。
另外,在迷你TV功能加载处理中,参照图13(b),规定功能项,包括退出项(“退出”)、TV AV打开/关闭项(“TV AV ON/OFF”)、仅声音项(“仅声音”)、捕获项(“捕获”)、SNS(社交网络服务)项(“SNS”)等输出至画面的第一区域1350。还在画面的第二区域1355提供包括当前对应内容的时间信息的回放条(如,再现条、重播条等)。具体地讲,回放条提供关于当前播放时间的信息。
另外,在移动装置的画面的第三区域提供包括频道信息、广播台信息、内容信息、输入信息(如,外部输入、TV输入、PC输入等)1372、音量和/或频道调节项1374和频道列表图标1376的控制面板1370。
上面的描述中提及的退出项(“退出”)被提供用来结束迷你TV并进入图13(a)所示的主画面。TV AV打开/关闭项被提供用来打开/关闭与迷你TV配对的主TV的显示,即,电源,并允许/禁止静音。如果允许仅声音项,则通过继续提供当前提供的内容的声音(即,继续提供声音而不管切换至主画面)而不管迷你TV功能结束来实现多任务。相反,如果禁止仅声音项,则通过与迷你TV功能一起关闭内容的声音来不提供内容的声音。捕获项被提供用来捕获当前视频画面,并将捕获的视频画面保存在规定位置。SNS项被提供用来允许当前画面提供与SNS服务有关的画面面板。这样,当前提供的画面暂停,或者可无关地继续提供。
控制面板1370内的外部输入控制项提供各个迷你TV和主TV的可输入的外部输入的列表,并且还提供用于切换或改变为从提供的列表选择的项的UI。另外,在图13(a)中,可响应于规定动作直接进入并提供迷你TV功能。然而,配置并提供UI以确定将激活什么功能。另外,可利用配置的UI做出选择。例如,移动装置提供包括用于迷你TV的图标、用于TV账号登录的图标、用于搜索的图标、用于配置设置的图标等的UI。如果用户选择迷你TV图标,则移动装置可如图13(b)所示进行操作。
在主画面(或频道列表)中激活迷你TV功能的方法的另一示例是在指示迷你TV功能的项1330的方向上拖放频道列表中的所需频道的缩略图。在这种情况下,与上面的描述不同,选择(即,拖放)与缩略图对应的频道的内容,而不管主TV当前提供的频道。另外,如果移动装置具有能够调谐并接收广播信号的配置(如,调谐器),则主TV的画面不切换或改变。
然而,如果移动装置接收经由主TV的调谐器调谐的频道上的广播信号,则移动装置将用于频道信息等的控制信号发送给主装置,然后可以按照这样的方式从主装置接收广播信号:主装置通过经由调谐器基于对应频道信息调谐频道来接收广播信号。此外,如果主装置包括多调谐器,则没有问题。然而,如果主装置包括单个调谐器,则可通过基于移动装置的控制信号切换主TV的画面来提供主TV的画面。
接下来,图14(a)至图14(c)是示出上面的描述中提及的迷你TV功能激活的示图。参照图14(a),在画面上提供频道列表(图13(a)所示的主画面之一)。在画面上一次提供总共9个频道的缩略图。如果用户意图通过访问与9个缩略图中心处的缩略图对应的频道来观看迷你TV,则用户触摸并拖曳图14(a)/图14(b)所示的对应缩略图项1410/1420,然后朝着底部方向放下对应缩略图项。如果是这样,则画面自动收集关于拖放的缩略图的信息。基于收集的信息创建控制信号,然后将其发送给主TV。在接收到控制信号时,主TV基于接收的控制信号执行操作。随后,移动装置从主装置接收信号,然后提供如图14(c)所示的画面。如果与拖放的缩略图(即,选择的缩略图)对应的频道不是主TV已经提供的进行中的频道,则可能花费略微多一些的加载时间。另外,可切换并提供主TV的画面。
接下来,图15(a)至图15(c)是示出根据本发明的实施方式用于迷你TV功能激活的访问方法的一个示例的示图。参照图15(a),在移动装置的主画面1510上显示“任何画面”。如果用户对主画面1510的规定区域或在主画面的底端提供的选项图标执行触摸动作(如,点击、双击、按压规定的持续时间等),则提供图15(b)所示的选项菜单功能项1520。
在选项菜单功能项1520中,可包括用于迷你TV功能的图标、用于TV账号登陆的图标、用于搜索的图标、用于配置设置的图标等。另外,可响应于规定动作(如,左右摇动移动装置、上下摇动移动装置等)以及上述触摸动作激活图15(b)所示的选项菜单功能项1520。移动装置还可包括陀螺仪传感器等。
参照图15(b),如果用户从提供给移动装置的选项菜单功能项1520的图标列表中选择迷你TV图标,则可提供图15(c)所示的画面。在智能共享回放过程中可播放最近的TV频道。
如果在图15(b)中选择迷你TV图标,则移动装置提供关于主装置的当前提供的频道的信息、关于对应频道的信息、关于记录/记录预留的信息、关于时移的信息、关于时间机器的信息等。在提供了与提供的信息有关的信息时,移动装置可响应于对应选择切换为图15(c)所示的画面。在这种情况下,有关的信息可包括连续剧信息、重播信息、转播频道信息以及当前提供的频道和内容的详细信息等。有关的信息可由图15(c)所示的切换画面直接提供。
图16(a)至图16(d)是示出根据本发明的实施方式用于迷你TV功能激活的访问方法的另一示例的示图。
参照图16(a),在主TV上显示视频,在移动装置上显示任何画面。如果用户以急速移动或将移动装置远离TV视频快速摇动(如,钓出)的类似方式执行接收动作,则移动装置可输出主TV当前输出的视频(图16(b))。响应于该接收动作,移动装置可仅获得对应时间的缩略图,或者可立即提供迷你TV功能。在前一种情况和后一种情况下,均向用户提供用于询问是否保存、是否激活迷你TV功能等的UI,并可执行与用户根据询问UI做出的选择对应的操作。
参照图16(c),假设主TV和移动装置分别正在输出视频1和视频2。如果用户执行投掷动作(与图16(a)所示的接收动作相反),即,快速投掷(如,钓鱼时的投线动作),则可由主TV提供移动装置当前提供的视频2(图16(d))。
另外,如果主TV的视频经由相机拍摄或者记录长达规定时间的片段,可提供UI以用于询问是否保存拍摄或记录的视频以及是否激活迷你TV功能。另外,图16所示的情况可在完成参照图4或图5描述的配对处理之后执行。尽管图4或图5中响应于远程应用的激活执行配对,但是如果用户执行图16所示的动作或轻轻地水平或垂直摇动移动装置,则可执行配对。
现在将在下面描述的对应部分中说明在移动装置中激活或访问迷你TV功能的方法。具体地讲,图17是示出根据本发明的实施方式在移动装置中激活迷你TV功能的同时尝试改变或切换输入的情况的示图。
图17(a)示出在移动装置中激活迷你TV功能(在上面的描述中提及)。例如,如果用户选择控制面板的外部输入项1710,则移动装置提供图17(b)所示的UI 1720。如参照图13提及的,UI 1720分为迷你TV和主TV,并作为针对迷你TV和主TV中的每一个当前设置或可用的输入类型的列表或者连接至迷你TV和主TV中的每一个的外部输入的列表提供。如果用户选择HDMI作为主TV的输入,而非选择图17(a)所示的TV,则移动装置经由主TV从与主TV连接的HDMI接收视频,然后提供接收的视频(图17(d))。
参照图17(c),用户可以按照这样的方式识别画面切换处理:将选择的输入的指示1740与加载滚轮图标1730一起显示在控制面板上。如果图17(c)所示的画面由于网络故障等而持续规定持续时间,并且未实现向图17(d)所示的画面的切换,则移动装置可自动检查和/或刷新网络连接状态。移动装置还可按照规定计数或规定时间提供图17(c)所示的画面,或者可在外部输入选择之前继续提供显示的画面,如图17(a)所示。此外,移动装置向用户提供关于此情形的UI,然后响应于用户稍后做出的选择执行操作。
接下来,图18和图19是示出根据本发明的实施方式的迷你TV功能的示图。具体地讲,图18和图19涉及作为根据本发明的实施方式的迷你TV功能之一的视频同步功能。具体地讲,图18示出移动装置的迷你TV画面与主装置的画面视频同步,而图19示出主装置的画面与移动装置的迷你TV画面的画面视频同步。在图18和图19中,操作对象是移动装置。迷你TV和主TV分别显示不同的画面。
参照图18(a),假设移动装置正向迷你TV提供HDMI输入,主TV正提供广播频道。用户可通过经由控制面板切换外部输入来执行向主TV的广播频道画面的切换动作。另外,在图18(a)中,通过在画面上执行规定动作而不使用控制面板,可执行与主TV当前提供的画面的同步(如,获得主TV输入状态)。在这种情况下,例如,所述规定动作包括通过触摸两个点,然后拖曳两个触摸的点以挤捏来执行的触摸并拖曳1810(图18(a))。
这样,通过与指示正在进行画面切换的UI一起包括加载滚轮图标1820来提供迷你TV的画面,如图18(b)所示。然后,可由迷你TV提供与主TV同步的画面1830,如图18(c)所示。
相反,参照图19(a),如果在迷你TV上通过触摸两个点,然后拖曳触摸的两个点以扩大来执行规定动作(如,触摸并拖曳1910),则移动装置1900创建控制信号(包括关于与移动装置1900当前提供的视频的同步的信息),然后将创建的控制信号提供给主TV 1950。这样,参照图19(b),主TV 1950将先前提供的画面与图19(a)所示的迷你TV当前提供的画面同步。
在上面的描述中,参照图18和图19描述了响应于规定动作的视频同步。在此说明书中,通过在画面上触摸两个点,然后将触摸的两个点朝着彼此或远离彼此拖曳来实现视频同步(图18或图19),但本发明不限于此。例如,用于视频同步的动作可包括水平或垂直摇动移动装置、在规定方向上单触摸并拖曳、在规定方向上多触摸并拖曳、使用控制面板、单触摸或多触摸并圆形拖曳等中的一种。如果执行上面列举的各个动作,则提供用于视频同步的UI,然后可执行与经由UI的选择对应的视频同步。
接下来,图20是示出根据本发明的实施方式的迷你TV功能的另一示例的示图。具体地讲,图20示出作为迷你TV功能之一的画面捕获功能。
参照图20(a),在已激活迷你TV功能之后,如果触摸规定区域,则显示控制项。如果用户想要捕获当前广播的画面,则用户选择捕获项2010。参照图20(b),如果用户选择捕获项2010,则捕获当前输出的画面作为画面2020,该画面略微模糊,这类似于移动装置中的一种相机功能。如果捕获完成,则参照图20(c),可提供UI 2030以指示捕获画面被存储。存储位置可被确定为默认。
另选地,可通过向用户提供用于选择存储位置的UI并获得用户选择的存储位置来确定存储位置。另外,为了检查是否充分捕获图像或捕获的图像是否清晰,在画面的规定区域提供捕获的图像作为缩略图。如果选择提供的缩略图,则将对应的缩略图通过放大显示在画面上。如果用户选择放大的缩略图,则可一起提供用于编辑的UI和/或工具。用于编辑的UI和/或工具可与放大的缩略图同时提供。此外,如果用户选择图20(a)中的捕获项,或者在图20(c)所示的处理之后提供针对当前或先前频道捕获的画面的缩略图的列表,则画面可被配置为允许编辑缩略图。
另外,按照与图20所示的处理类似的方式,迷你TV可提供时移功能。当显示时移项作为控制项之一时,如果用户选择时移项,则开始保存操作,使得当前画面将保存在存储单元中。如果存储单元的容量不足,则可能能够通过删除最旧的项等来确保存储空间。另选地,提供有关的UI,然后用户可选择要删除的项。此外,可以按照类似方式处理记录/记录预留。
接下来,图21是示出根据本发明的实施方式的迷你TV的另一功能的示图。具体地讲,图21涉及在观看迷你TV功能的同时尝试使用SNS服务时的功能提供方法。参照图21,如果用户选择SNS项2110(图21(a)),则关于当前频道或频道内容的SNS内容2120显示在规定区域上(图21(b))。SNS可提供与频道或频道内容以及单个服务的内容关联的、移动装置可链接或可访问的社交网络服务(SNS)的内容。如果用户做出选择2130以检查图21(b)中列出的具体内容,则移动装置可叠加并显示图21(c)所示的画面。另外,如果对应内容过大,而无法显示在整个画面上,则在画面的规定区域提供滚动条UI 2140。用户在所需方向触摸并拖曳滚动条UI 2140,以检查对应内容(图21(d))。
图22是示出当用户尝试利用SNS编写内容,而非以图21所示的方式检查相关SNS内容时的示图。具体地讲,图22(a)示出在如图21(b)所示选择右顶端提供的撰写项的情况下,为用户提供的用于编写SNS内容的界面UI。
另外,在画面的顶端2210提供取消按钮、语音按钮、包括Twitter按钮2212和Facebook按钮2214的SNS类型按钮以及相机按钮2216。在这种情况下,选择取消按钮,当前画面切换为图21(b)所示的画面。提供语音按钮以附加语音记录文件。如果选择语音按钮,则可立即执行记录,或者可经由先前记录的内容的列表附加所需语音内容。
用户可选择用户优选或者用户尝试用来编写内容的SNS的类型,例如Twitter、Facebook等。在这种情况下,为编写内容而提供的界面可根据选择的SNS类型而在画面上不同。
另一方面,如果没有选择SNS,则选择默认SNS或所有SNS与对应服务链接。另外,提供相机按钮以捕获图像或拍摄并保存照片。如果选择相机按钮,则可提供先前保存的图像项(如,视频、运动图片等)。另外,提供的未登陆的SNS项可与登陆的项相区分。
文本窗口2220和键区窗口2230可占据大部分画面。另外,在画面的规定区域提供用于上载编写的内容的上载按钮2240。具体地讲,键区窗口2230可根据移动装置的类型设置有QWERTY键盘等。如果移动装置与单独的输入机构连接,则画面上可不提供键区窗口2230。
因此,如果通过图22(b)和图22(c)所示的步骤输入并上载与当前观看的内容有关的哈希(hash)标签,则显示指示正在进行上载的指示2250(图22(d))。另外,类似于前面图21(b)所示的画面另外将用户编写的内容与指示SNS发送完成的UI 2260一起提供给图22所示的画面。此外,可与其它内容相区分地提供用户编写的内容。
接下来,图23是示出除了文本数据之外将图像信息附到SNS的情况的示图。参照图23,如果用户从图23(a)所示的画面选择相机项2310,则提供图像信息的列表(图23(b))。如果用户选择一个或更多个图像信息,则在图23(b)中选择的多个图像信息显示在原始画面的相机项2310-1上(图23(c))。另外,可如图23(d)所示输出添加的图像信息。例如,图23(d)所示的画面对应于图23(c)中添加需要修改(如,添加、删除等)的图像信息。如果再次选择相机按钮2310-1,则可配置该画面。
参照图23(d),显示图23(b)中选择的图像信息2342和2344以及待添加的项2346。另外,可在各个图像信息2342和2344的规定部分上输出删除图标。例如,如果在图23(d)中选择第二图像信息2344的删除图标,则可提供图23(e)所示的画面。例如,如果选择添加图标2346,则当前画面切换为图23(b)所示的画面,以方便用户添加图像信息。如果在图23(e)中触摸除图标之外的规定区域2350,则可提供用于最终SNS图像上载的画面,如图23(f)所示。
另外,当在使用SNS时附加图像时,由于图像的尺寸过大或过小,如果用户想要编辑图像,则可通过点击图像、双击图像、在规定方向上单触摸或多触摸并拖曳图像等来直接执行编辑。另选地,可提供包括用于编辑工具的图标的UI。另外,在观看迷你TV的同时,如果需要SNS验证或登陆程序以便激活SNS功能,则可提供用于对应程序的控制窗口。
接下来,图24是示出根据本发明的实施方式的迷你TV访问的另一示例的示图。参照图24,按照与参照图17所述的类似的方式,在移动装置中激活远程应用之后,如果在任何画面状态2410下主TV被抓取,则移动装置捕获主TV的当前画面。
在该急速移动或摇动(抓取)之后,如果主TV的画面再次被抓取,则移动装置自动地或响应于用户做出的选择提供例如图24(b)所示的现场(spot)菜单2420。可选地,只有当通过急速移动或摇动捕获的画面的数量等于或大于规定数量时,移动装置才可提供现场菜单。
参照图24(b),根据本发明的实施方式的移动装置与捕获的图像一起提供现场菜单UI,该现场菜单UI包括用于迷你TV的菜单、用于SNS的菜单、用于详细视图的菜单、用于优选图像或频道的菜单、用于图像保存的菜单等。根据本发明的实施方式,如果选择迷你TV图标,则激活迷你TV功能。如果激活迷你TV功能,则将控制信号发送给主装置。随后,从主装置接收当前输出画面的视频数据,然后将其提供给移动装置的画面。
接下来,图25至图27是示出根据本发明的实施方式的迷你TV访问的其它示例的示图。参照图25(a),移动装置可提供精选(premium)菜单2510,其包括媒体文件2520、我的应用2530、频道列表(频道)2540等。在这种情况下,可以按照包括层类型、列表类型等在内的各种格式之一提供配置精选菜单2510的各个项。
移动装置在设置有精选菜单的画面的第一区域提供第一功能图标2552和第二功能图标2556,并可在画面的第二区域提供单独的可选功能图标2554。具体地讲,第一功能图标2552被提供用于例如音频功能控制,并可设置有与音频水平(即,音量调节)等有关的键。另外,第二功能图标2556涉及视频功能控制或频道功能控制,并可包括与频道编号、前一频道等有关的键。可选功能图标2554可设置有电源键和用于控制频道、媒体、方向、触摸、游戏等的键。例如,如果选择触摸键,则整个屏幕变成触摸板以充当输入装置,以用于向主TV等输入控制命令等。
图25(a)所示的精选菜单中的频道列表可包括例如用于标识频道列表的标识符(ID)(或名称),并可设置有预览项、详细节目信息项2544和频道列表项。此外,在画面的规定区域提供用于改变频道列表项的配置或排列体系的功能图标2560。
具体地讲,预览项可设置有迷你TV功能图标2542以及静止图像(例如,缩略图)或视频。因此,可在根据本发明的实施方式的频道列表访问过程中从预览项直接激活迷你TV功能。如果用户从预览项选择迷你TV激活图标2542,则移动装置从对应装置接收与预览项对应的频道或内容,然后提供所接收到的频道或内容(图25(b))。在这种情况下,所述装置不限于主TV。另选地,所述装置可包括包括外部输入等在内的各种装置中的一种。然而,可显示用于对应输入的指示。另外,所述装置可包括独立的或单独的内容提供商(CP)或IP服务器。
如果选择功能图标2560,则其弹出以提供关于各种配置或排列体系的类型信息。如果选择了一种类型信息,则图25(a)所示的画面配置可总体改变。
例如,参照图26(a)和图26(b),当在水平方向上提供多个内容时,与画面中心处的内容有关的画面具有最大尺寸,画面的尺寸比例可朝着画面的边缘相对减小。参照图26(a),在内容下方提供用于音量调节的功能图标和用于允许频道列表弹出的功能图标。具体地讲,可在内容下方的中心处提供弹出功能图标。参照图26(b),在水平方向上列出频道列表,以提供简略频道编号和名称。
另外,参照图26(a)和图26(b),各个频道或内容列表可与频道或内容信息一起提供预览图像2610。另外,可显示诸如当前播放时间、剩余播放时间等的时间信息作为预览图像下方的播放条。另外,预览图像2610可包括静止图像(例如,缩略图)或运动图片。另外,预览图像2610内还可包括迷你TV切换图标2620。此外,图26(a)或图26(b)可示出优选频道列表(我的频道)或优选内容列表。
根据本发明的实施方式,如果在图26(a)或图26(b)所示的服务过程中选择预览图像内的迷你TV切换图标2620,则可直接提供图25(b)所示的迷你TV切换画面。另外,如果预览图像内未提供迷你TV切换图标2620,则选择预览图像然后在规定方向上拖放,由此可进入迷你TV功能。
接下来,图27(a)示出同时设置有频道浏览器和EPG信息的画面的一个示例。图27(b)和图27(c)示出设置有列表和详细信息的频道浏览器的画面的一个示例。图27的总体内容类似于图25和图26,但与图25和图26的内容不同的是为频道浏览器和EPG提供的格式。在这种情况下,用户仅执行轻拂操作以在垂直方向上搜索或左右移动频道和对应频道的EPG信息。利用EPG信息,可执行诸如记录/记录预留等的功能。另外,可通过在内部在规定方向上拖放迷你TV切换图标或图像来将频道浏览器内的中心处提供的频道切换为迷你TV,如上面参照图26(a)和图26(b)的描述中所提及的。另外,功能项“实时使用”可用于提供优选功能。
图27(b)和图27(c)总体具有彼此类似的内容,但显示格式彼此略微不同。参照图27(b),仅画面的中心区域处提供的频道设置有详细内容,而剩余区域提供简略信息。参照图27(c),仅画面顶端提供的频道设置有详细内容,而下面剩余区域中的频道仅提供简略信息。另外,在图27(b)或图27(c)中,在规定方向上拖放预览图像内的迷你TV切换图标或预览图像,从而直接进入迷你TV。
另外,在此说明书中,采用内容(如,视频、运动图片文件)为例说明时间机器功能。此外,时间机器功能可以按照类似方式应用于静止图像文件(例如,图像)、音频文件(例如,音乐)、文本文件等。另外,可考虑内容属性、用户界面的步骤等来按照类似方式配置UI。
图28是示出在移动装置中提供时间机器功能的方法的一个示例的示图。参照图28,移动装置向画面提供内容。提供的内容可包括输出从主TV接收到的视频的迷你TV功能之一。
考虑移动装置的特征或属性,可在下列情况之一自动或手动激活时间机器功能。用户可随机停止移动装置中当前播放的内容。移动装置可如下操作。首先,移动装置响应于用户做出的请求停止播放内容,并且不执行其它操作。
其次,移动装置在请求停止时间机器功能的时刻之后停止播放内容,并提供时间机器UI。只有当根据设置做出单独的时间机器功能请求时才可执行后一种情况。另选地,可在做出播放停止请求的情况下执行后一种情况。
另外,移动装置中的内容回放可能异常停止或结束。在这种情况下,移动装置可自动或手动激活时间机器功能。在这种情况下,“异常”是指在观看的过程中画面异常切换或结束。例如,可在下列情形之一中激活时间机器功能:当在播放内容的同时由于电量不足等断电时,当在未使用单独的内容播放停止按钮或被迫断电的情况下播放结束时,由于移动装置的其它错误而重置的情况,或者内容接收由于网络错误或环境(如,偏离服务区域等)而无法进行或延迟时。
可基于与A/V回放有关的信令信息提供时间机器功能,例如经由主装置或另一数字装置接收的内容的PID信息、时间信息、帧信息和GOP信息等。另外,移动装置可在根据时间机器功能激活而存储内容的同时,在画面的规定区域提供包括存储介质中剩余的存储空间大小、根据存储空间大小的时间机器功能可用时间的数据等的UI。
与时间机器功能的运行关联,移动装置可接收并存储关于仅时间机器请求之后的那部分内容的信令信息。在这种情况下,移动装置基于各个信令信息向用户提供信息,基于所提供的信息创建用于选择的内容的控制信号,将所创建的控制信号发送给主装置,按照先前的方式从主装置接收对应内容,然后将所接收到的内容提供给用户。
由于有限的存储容量、存储/播放时间/速度等,移动装置将控制信号发送给主装置。移动装置仅在UI上执行时间机器功能。当主装置的时间机器功能实际激活时,内容可保存在对应的存储介质中。在这种情况下,移动装置响应于用户做出的播放请求创建并发送控制信号,从主装置接收对应的视频,然后提供所接收到的视频。
在上面的描述中,如果移动装置或主装置的存储空间由于时间机器功能运行而变得不足,可使用外部存储空间(如,外部硬盘、IP服务器、USB装置、PMP、PSP、X-BOX、云服务器等)。另选地,可通过删除最旧的存储容量来确保存储空间。另选地,可以按照不保存较近的部分的方式确保存储空间。
另外,当存储空间不足时,如上面的描述中提及的,可通过随机或根据设置删除广告部分等来减少存储容量本身,而不管时间机器处理中保存的部分如何。另外,可提供各种类型的UI以方便存储空间的标识。
当针对时间机器功能分配的存储空间和针对记录/记录预留分配的存储空间在位置或地址方面彼此不同时,在执行时间机器功能的过程中进入记录/记录预留模式,然后可将内容保存在针对记录/记录预留分配的存储空间中。
移动装置可在激活迷你TV或时间机器时随机改变设置,而不管用户对有关功能的设置如何。例如,即使用户设置在第一时间内没有任何触摸时关闭移动装置的屏幕,但是在激活迷你TV或时间机器功能的过程中也可自动控制屏幕在第一时间期满之后保持打开。具体地讲,可根据相应功能的属性随机改变彼此有关的功能的属性并提供服务。
相反,如果激活时间机器功能,则移动装置可随机设置或提供服务,使得即使第一时间未期满屏幕也关闭以便节省电量等,而不管设置如何。在这种情况下,仅在剩余电量在规定范围内时才可提供上述服务。
考虑播放停止或结束请求时刻移动装置和/或主装置的剩余电量和存储容量中的至少一个,移动装置可不自动激活时间机器功能。在这种情况下,提供指示时间机器功能将不自动激活的UI以方便用户。这可同样应用于用户对时间机器功能做出单独的请求时。
因此,可解决由于移动装置的有限存储容量大小等引起的问题和/或不便。如果用户触摸或轻敲以选择提供当前播放的内容的画面的任何区域,则参照图28,移动装置可提供各种UI(或面板)2810和2820。
另外,面板2810和2820中的每一个可分别响应于对对应区域的触摸等来提供或消失。具体地讲,在播放内容的同时,根据内容的播放状态在画面的中心提供指示暂停和/或停止的图标2815。对于暂停状态,可提供指示播放和/或停止的图标。在这种情况下,可根据对图标的访问激活对应功能。
在画面的底端提供控制面板2820。具体地讲,与时间机器关联,可配置与图标访问对应的各种标识信息的UI并将其提供给播放条。例如,参照图28,移动装置可在控制面板内提供播放条,其中第一图标2824指示播放停止图标选择点处的播放停止点,第二图标2828指示当激活时间机器功能并选择播放停止图标时播放停止点之后的当前时间处的播放点。
另外,播放条利用水平杆形状提供内容的起始时间和结束时间。在播放条上,从起始时间至第一图标2824的杆2822被着色、高亮或聚焦,以指示内容已播放到对应部分。这可通过与从第一图标2824至播放结束时间的另一杆2826相区分来实现。
另外,当提供时间机器功能时,如果创建第二图标2828,则第一图标2824和第二图标2828之间的杆2826可以与从第二图标2828至结束时间的杆2826以及起始时间与第一图标2824之间的杆2822相区分地提供。例如,各个杆的颜色彼此不同以使得用户易于感觉到。又如,各个杆的聚焦/高亮等的类型、水平和大小不同。
假设杆根据时间流从左向右移动,上述第二图标指示根据时间机器功能激活正在规定水平执行回放。在这种情况下,第二图标不是终点,直至时间机器功能结束为止。
因此,第二图标的形状、大小等可不同于第一图标2824。即使时间机器功能结束,用户可选择当前时间点处的播放点,而非时间机器部分(即,时间机器开始和时间机器结束之间的区段)。
在这种情况下,移动装置在播放条内配置第三图标以覆盖第二图标2828与结束时间之间的区段。具体地讲,例如,第三图标可被配置为与第一图标2824相同。因此,上述配置使得用户能够识别时间机器功能应用于内容,尽管用户没有选择时间机器功能应用部分。另外,上述配置向用户提供随后回放等的便利。
另外,可针对单个内容激活时间机器功能多次或者一次。在这种情况下,图标被适当地配置为向用户提供选择的便利。当根据多次激活配置并提供多个时间机器图标时,多个时间机器图标彼此相区分地进行提供。另选地,为了时间机器功能标识,多个时间机器图标可通过被配置为彼此相同来进行提供。
移动装置可与上述时间机器图标一起提供各种相关功能,例如书签功能等。当在经由移动装置播放内容的同时有来电呼叫时,如图29(a)所示,移动装置立即停止播放内容,激活时间机器功能,并提供用于呼叫接收的UI。另选地,移动装置向内容播放画面提供指示存在来电呼叫的UI,然后响应于用户的选择切换画面,如图29(b)所示。
在后一种情况下,如果响应于用户的选择切换画面,如图29(b)所示,暂停播放的内容,并可激活时间机器功能。另选地,在后一种情况下,在内容提供画面的规定区域显示视频呼叫或呼叫连接状态,继续播放内容,仅去除音频。因此,可允许在用户欣赏视频的同时控制电话呼叫。
如果呼叫结束,则为时间机器功能之后的控制操作提供图28或图30所示的画面。另外,如果在移动装置中播放内容的过程中发生消息、邮件、信息更新等,则上面的描述可类似地应用于对应的服务。
在用户做出时间机器功能激活的请求之后,如果用户做出禁用时间机器功能的请求或者想要预览结束之前迄今为止的归因于时间机器功能激活的内容,则移动装置可提供图30所示的UI。图30是UI的示图。
参照图30,在除了上述控制面板2820之外的规定区域提供根据时间机器功能应用按照规定时间单位保存的视频画面的列表3010。例如,参照图30,作为来自当前视频的从初始时间机器功能开始点以2分钟为单位的列表提供视频画面。在这种情况下,各个列表可提供缩略图,并且还可包括相关信息。
参照图30,与图28不同,如果翻阅(page),可为控制面板提供记录按钮3020、当前广播按钮3030、时间机器列表按钮3040、记录预留按钮3050、频道列表等。具体地讲,例如,如果用户由于长的时间机器时间、大量的存储内容或时间不足而不想检查应用了时间机器的内容,则提供记录按钮3020以将时间机器功能切换至记录功能。如果选择记录按钮3020,则当前画面可切换为EPG画面。这还可通过记录预留按钮3050来完成。
提供当前广播按钮3030以切换至当前广播的画面,同时结束时间机器。时间机器列表按钮3040可翻阅对应内容或包括对应内容的整个时间机器列表。除了上述功能以外,记录预留按钮3050翻阅EPG,提供连续剧、对应内容的转播和重播频道、关于对应内容的信息和/或有关UI。
参照图30,参照设定的时间基准提取根据设定的时间基准以屏幕上当前播放的视频的缩略图开始的先前时间的缩略图,然后将其提供给画面。在这种情况下,移动装置可根据设置提供缩略图,或者可仅提供关于在时间机器功能激活之后当前保存的内容的详细信息。
与图30所示的UI不同,可以按照帧为单位配置UI以方便根据时间机器功能激活观看保存的内容或类似运动图片拍摄之后的编辑一样编辑保存的内容。在这种情况下,用户选择的帧可放大并提供给规定区域(如,UI内的对应帧正下方或正上方的区域、整个画面提供区域等)。
基于单独的编辑按钮或选择或者编辑请求动作,可删除、移动、复制或剪切所选择的帧。另外,在图28至图30中,如果通过触摸等选择未提供UI的区域,则可从画面中完全或部分地删除先前提供的UI。
如果由于画面的尺寸而难以向单个画面提供图30所示的UI,则移动装置可配置UI以使得用户能够通过经由轻拂等移动UI来检查所需内容。图28至图30中提供的UI是为了本发明的描述清晰起见而配置的实施方式,所附权利要求及其等同物的范围不限于此。
另外,关于时间机器功能,移动装置可配置并提供图31所示的UI,其与前面的图28或图30所示的UI不同。该UI配置使得用户能够更加可视地(即,更直观地)感觉到时间机器功能。根据上述UI配置,如果激活了时间机器功能,则由于内容的播放停止,所以可能无法向整个画面提供视频的图像。相反,如果在时间机器功能激活的过程中或者在时间机器功能的结束时刻提供便于用户控制的UI,则可提高用户的便利。
图31是移动装置的示图。参照图31,与时间机器功能关联,移动装置可提供用于标识画面的模式或类型的标识符、内容画面(当输出静止图像时)、播放条、播放控制图标、功能图标、音频控制图标等。具体地讲,播放条可实现为前面参照图28至图30描述的播放条。
另外,播放控制图标可包括用于停止的图标、用于播放的图标、用于暂停的图标、用于快退的图标、用于快进的图标、用于记录控制的图标等。具体地讲,功能图标可包括用于移至当前广播画面的图标、记录列表请求图标、记录预留画面翻阅图标、频道列表提供图标等。
另外,记录列表请求图标或频道列表提供图标可提供列表而不是播放的内容。如果选择记录预留画面翻阅图标,则可翻阅并提供EPG。然而,初始提供的EPG画面可通过参照例如对应内容或对应内容的频道进行配置来提供。
如果选择频道列表提供图标,则可翻阅频道视频列表。如果视频未曾看过,则可显示频道编号和节目标题。另外,可对当前广播的频道复制地执行时间机器功能。又如,根据本发明的实施方式的数字装置可利用感测信息执行迷你TV功能。在这种情况下,感测信息可接收自主装置和移动装置中的至少一个。具体地讲,可以从提供给各个装置的相机传感器、重量传感器、陀螺仪传感器、重力传感器、位置传感器、接触传感器等中的至少一个生成感测信息。因此,各个数字装置根据上述配置还包括传感器和感测电路。随后,控制单元处理感测信息,然后可将控制信号发送给对应配置或另一装置。
例如,假设相机传感器被提供给移动装置,并且移动装置正通过与主装置配对来激活迷你TV功能。相机传感器可在迷你TV功能激活的过程中连续地或按照规定周期获得关于对象的感测信息。在用户经由移动装置激活迷你TV功能的同时,如果发生规定中断,则可控制有效的迷你TV功能。在这种情况下,所述中断可包括激活诸如电话呼叫功能等的移动专用功能的情况、用户暂时在做其它事而非观看迷你TV的情况等。
当所述中断包括诸如电话呼叫功能的移动专用功能时,移动装置可控制有效的迷你TV立即停止或时移。如果所述中断包括用户在做其它事的情况,则需要引起相当的注意来将迷你TV停止或时移。由于移动装置难以精确地获得用户的意图,如果执行与用户意图不同的控制,则可能引起用户的不方便。为此,本发明旨在使用感测信息。
如果按照3秒周期从相机传感器获得感测信息,则控制单元可利用感测信息确定用户的意图。例如,如果从获得的感测信息识别出的对象保持被识别,则控制单元控制迷你TV功能保持被激活。然而,如果识别出与先前识别的对象不同的对象,则控制单元可通过进一步参照连续接收的至少一个感测信息来创建控制信号,而不是停止激活迷你TV功能。
如果从随后接收的至少两个感测信息识别出不同的对象,则控制单元可控制从对应时刻开始停止激活迷你TV功能。在这种情况下,先前识别出的对象是指至少不是未用空间的一个对象。与先前识别出的对象不同的对象包括一个对象或其中不存在对象的未用空间。另一方面,如果控制单元难以从接收到的感测信息识别对象,则控制单元可调节相机角度或将对象处理为不存在的对象。
当控制单元按照规定周期接收感测信息时,如果从感测信息识别出与先前识别的对象不同的对象以用于更快且更精确的控制,控制单元可将相机感测周期设置为不同于先前设置的相机感测周期,获得连续的感测信息,并使用所获得的感测信息进行控制。控制单元可与感测周期一起或独立于感测周期调节相机传感器的感测角度,以不同的角度获得感测信息,并使用所获得的感测信息进行控制。
另外,控制单元可控制根据实况广播、先前保存的广播或不同的内容(即,内容类型)来激活暂停或时移功能。在激活暂停或时移功能之前,控制单元可配置对应的UI,向用户提供所配置的UI,并根据用户做出的选择激活对应功能。
例如,如下描述使用接触传感器作为相机传感器的替代物的情况。这种情况总体上类似于上述使用相机传感器的情况,但确定基准略有不同。因此,以下描述中省略上述重复的描述,在以下描述中主要描述不同之处。
首先,控制单元从接触传感器或热传感器连续地或按规定周期获得感测信息。在这种情况下,提供接触传感器以确定用户是否直接持握移动装置。另外,接触传感器可设置在移动装置的侧面和/或背面。当经由移动装置激活迷你TV功能时,使用接触传感器,因为用户通常将移动装置持握在手中以方便操纵移动装置,而不是将移动装置固定在规定位置。可以这么说,由于使用移动装置的经验,如果移动装置未被持握在用户手中,则很可能用户没有使用迷你TV功能。
因此,控制单元从自接触传感器和/或热传感器获得的连续接收的感测信息提取用户的接触信息和/或热信息,然后确定用户是否正在观看迷你TV功能。在这种情况下,关于热信息,可通过考虑从移动装置生成的温度以及与手的温度(至少参照人的体温)相加的规定温度范围来设置基准值。当使用热信息时,只有当热信息给出的温度低于基准值时,控制单元才确定用户没有观看迷你TV功能,然后根据内容类型控制激活暂停或时移功能。
控制单元可考虑相机传感器的感测信息和接触传感器和/或热传感器的感测信息这两者。控制单元通过给予相机感测信息更高优先级来确定相机传感器的感测信息和接触传感器和/或热传感器的感测信息的优先顺序。如果基于相机感测信息感测到与先前感测的对象不同的对象,则控制单元获得接触传感器和/或热传感器的感测信息,然后使用所获得的感测信息进行控制。另选地,可以按照这样的方式获得感测信息:各个传感器的感测周期被设置为彼此相等,或者被设置为彼此不交叠。这可同样适用于陀螺仪传感器。如果用户经由移动装置使用迷你TV,则用户通常可在运动过程中观看迷你TV。因此,如果经由陀螺仪传感器的感测信息输入误差等于或小于基准值,则控制单元可确定用户正在做其它事,而未将移动装置持握在手中。
对于时移,控制单元仅考虑移动装置的内置存储单元的容量来在剩余空间内执行时移功能。如果没有剩余空间,则控制单元向主TV请求时移或者停止时移功能以不再播放对应内容。在后一种情况下,如果先前保存的空间中的数据具有低优先级或不重要,则删除所述数据以确保存储空间。继续以上描述,控制单元可使用类似云服务器的网络服务器来确保空间,或者可从一开始就利用云服务器确保足够的存储空间。
另外,当控制连续回放规定频道或广播连续剧的内容时,控制单元仅以上述方式控制对应频道的对应内容或对应部分,并可停止播放剩余内容或部分。
此外,控制单元进一步利用经由除了上述传感器之外的提供给移动装置的多个传感器接收的感测信息来确定用户的意图,然后可使用确定结果进行对应控制。
另外,除了移动装置之外,感测信息还可提供给主装置。在这种情况下,主装置可按照与移动装置中的上述利用感测信息的方法几乎相同的方式执行控制功能。另外,即使经由移动装置使用迷你TV功能,移动装置的控制单元也可参照主装置的感测信息。例如,由于主装置通常包括功能上优于移动装置的部件(如,图像处理器等),所以移动装置接收由主装置获得的感测信息,然后使用所接收到的感测信息进行控制。
此外,如果各个感测信息被设置为在迷你TV功能激活的情况下在画面的规定区域上激活/禁用,则可防止诸如偏离用户意图的控制之类的不便。另外,可提供UI信息以使得用户能够针对影响控制单元的控制操作的感测信息的因素随机设置基准值。
图32和图33是根据本发明的实施方式的迷你TV提供方法的流程图。参照图32,在根据本发明的一个实施方式的处理迷你TV服务的方法中,如果移动装置激活规定应用(S310),则通过有效的应用将移动装置与主装置配对(S320)。
移动装置响应于用户做出的规定选择或用户执行的规定动作将用于迷你TV的控制信号发送给主装置(S330),然后将从主装置接收的数据输出到画面(S340)。另外,根据本发明的实施方式的迷你TV服务处理方法还可包括下列步骤中的至少一个:从主装置接收用于输出改变的信号,基于从主装置接收到的输出改变信号确定是否切换输出视频,以及通过创建用于移动装置的输出视频改变的信号然后将所创建的信号发送给主装置来控制主装置的输出。
参照图33,在根据本发明的另一实施方式的处理迷你TV服务的方法中,将移动装置与主装置配对(S410)。在配对步骤S410之后,移动装置接收用户的选择或动作的输入(S420)。基于所接收到的用户的选择或动作的输入,移动装置从主装置接收视频数据,然后将所接收到的视频数据输出到画面(S430)。移动装置还将包括视频数据的信号发送给主装置,然后控制主装置输出发送来的包括视频数据的信号(S430)。
另外,根据本发明的实施方式的迷你TV服务处理方法还可包括下列步骤中的至少一个:在移动装置中激活规定应用,从主装置接收用于输出改变的信号,基于从主装置接收到的输出改变信号确定是否切换输出视频,通过创建用于移动装置的输出视频改变的信号然后将所创建的信号发送给主装置来控制主装置的输出。
在这种情况下,所述规定应用可包括远程应用。迷你TV可包括提供给移动装置的硬件、移动装置中激活的应用、移动装置中激活的功能以及移动装置中激活的软件中的一种。迷你TV接收主装置的输出视频数据和/或与主装置配对的不同装置的输出视频数据,然后将所接收到的输出视频数据输出给移动装置。另选地,迷你TV控制调节、改变或调整主装置的输出或与主装置配对的不同装置的输出。
上述规定选择可经由用于激活迷你TV的图标(由移动装置提供的UI中的各个深度或步骤提供)来做出。上述规定动作可包括下列动作中的至少一种:朝着主装置急速移动或摇动,移动装置提供的UI中的规定项在规定方向上的拖放操作,以及通过触摸移动装置的画面内的规定区域在规定方向上拖曳或轻拂。另外,规定动作可包括下列动作中的至少一种:通过移动装置捕获主装置的画面,以及将输出给移动装置的图像数据拖放到规定区域上的操作。
另外,上述迷你TV可根据画面配置的属性提供作为横排或竖排画面。具体地讲,可基于移动装置的当前倾斜信息提供横排或竖排画面。另选地,可通过根据移动装置的当前倾斜信息彼此切换来提供横排画面和竖排画面。另选地,横排或竖排画面可作为默认提供。为了清晰起见,上面的描述涉及由于广播画面的性质默认提供横排画面的示例。
图34和图35是在移动装置中提供时间机器功能的方法的流程图。参照图34,在根据本发明的一个实施方式的处理迷你TV服务的方法中,在第一装置中激活规定应用(S510)。
响应于规定应用的激活将第一装置与第二装置配对(S520)。第一装置响应于针对迷你TV激活的第一请求将用于迷你TV激活的控制信号发送给第二装置(S530)。
第一装置将从第二装置接收到的内容输出到画面(S540),第一装置基于针对时间机器功能的第二请求停止回放内容输出,并在画面的规定区域提供第一UI,该第一UI包括关于在第二请求的情况下的播放点的第一时间机器信息和关于当前点的第二时间机器信息(S550)。
随后,第一装置响应于针对内容回放的第三请求将内容输出到画面(S560)。具体地讲,第一UI可包括播放条。第一时间机器信息和第二时间机器信息彼此相区分地显示在第一UI中。例如,第一时间机器信息和第二时间机器信息被配置为颜色和/或尺寸彼此不同。又如,第一时间机器信息和第二时间机器信息可以按照这样的方式区别地显示:第二时间机器信息包括高亮、聚焦、缩略图和视觉指示器中的至少一种,而第一时间机器信息不包括这些。
具体地讲,第一请求经由用于激活迷你TV的图标(由第一装置提供的UI中的各个步骤提供)来做出。另选地,第一请求可经由下列动作中的至少一个来做出:朝着第二服务急速移动或摇动,第一装置提供的UI中的规定项在规定方向上的拖放操作,通过触摸第一装置的画面中的规定区域在规定方向上拖曳或轻拂,通过第一装置捕获第二装置的画面以及将输出给第一装置的图像数据拖放到规定区域上的操作。
具体地讲,第二请求经由对第一装置的电话呼叫或用于时间机器激活的图标(由第一装置提供的UI中的各个步骤提供)来做出。另选地,第二请求可经由下列动作中的至少一个来做出:在规定方向上摇动第一装置,在规定方向上触摸并拖曳第一装置的画面的规定区域,轻拂规定区域以及向规定区域拖放的操作。
可选地,上述服务处理方法还可包括下列步骤中的至少一个:输出用于响应于第三请求输出到画面的内容的回放控制的第二UI,从第二装置接收用于输出改变的信号,基于所接收到的用于第二装置的输出改变的信号确定是否切换输出视频以及通过创建用于第一装置的输出改变的信号然后将所创建的信号发送给第二装置来控制第二装置的输出。
此外,第一装置可包括移动装置,第二装置可包括数字广播接收器,所述规定应用可包括远程应用。参照图35,在根据本发明的另一实施方式的处理迷你TV服务的方法中,第一装置与第二装置配对。第一装置基于针对迷你TV激活的第一请求从第二装置接收视频数据,然后将所接收到的视频数据输出到画面。另选地,第一装置将包括视频数据的控制信号发送给第二装置(S610)。
第一装置基于针对时间机器功能的第二请求停止播放内容输出,并在画面的规定区域提供第一UI,该第一UI包括关于第二请求的情况下的播放点的第一信息和关于当前点的第二信息(S620)。随后,第一装置响应于针对内容回放的第三请求将内容输出到画面(S630)。
另外,图36至图46示出本发明的另选实施方式。在此实施方式中,显示装置与移动终端接口,并且基于用户的眼睛运动和/或抓握模式控制显示装置和移动终端。
更详细地讲,图36(a)至图36(c)示出与移动终端3610接口的显示装置3600。具体地讲,图36(a)示出包括相机单元3620的显示装置3600,所述相机单元3620能够利用移动终端3610捕获和观看用户的眼睛运动。图36(a),用户的眼睛正在观看移动终端3610。
图36(b)示出用户的眼睛面向显示装置3600。图36(c)示出用户的眼睛不再注视移动终端3610以及显示装置3600。
根据本发明的实施方式,显示装置3600基于用户的眼睛运动执行不同的功能。将参照图37更详细地描述这些特征。另外,需要注意的是,图36(a)中的显示装置3600包括两个相机单元3620。这仅是示例,可围绕显示器3600设置任何数量的相机单元,以便充分捕获持握移动终端3610的用户的眼睛运动。更详细地讲,相机单元3620可包括用于识别用户的面部表情的面部识别处理,然后显示装置3600的控制器可通过分析用户的面部表情来确定用户的眼睛运动。在另选的实施方式中,移动终端3610可使用移动终端3610上包括的相机来捕获用户的面部表情,然后将该信息发送给显示器3600。即,移动终端3610已包括相机,因此可使用该相机来利用移动终端3610确定用户的眼睛运动。例如,移动终端3610的相机单元或显示装置3600的相机单元3620可判断用户的眼睛是注视移动终端3610,注视显示装置3600还是不再注视移动终端3610和显示装置3600这两者(如图36(a)至图36(c)所示)。
基于用户的不同的眼睛运动,控制显示装置3600的流操作以向用户提供增强的服务并节省电力和能量。
下面转向图37,图37是示出根据本发明的实施方式的控制显示装置3600和移动终端3610的方法的流程图。图37中执行的操作可由显示装置3600的控制单元执行,或者在另选的实施方式中,由移动单元3610的控制单元控制。因此,显示装置3600和移动终端3610的控制单元可彼此协作以便在各个装置之间提供命令。
如图37所示,显示装置3600的控制单元确定控制操作是基于用户的眼睛运动、用户在移动终端3610上的抓握模式还是这二者(S900)。这一特征可由显示装置、移动终端的制造商设置,或者可由用户设置。例如,用户可设置显示装置3600或移动终端3610以仅利用用户的眼睛运动、仅利用用户的抓握模式或者利用用户的眼睛运动和抓握模式这两者来执行控制方法。
如果用户的眼睛运动被设置为控制方法,则控制器确定用户的眼睛是否注视显示装置3600(S910)(示出在图36(b)中)。如果用户的眼睛正在注视显示装置3600(S910为“是“),则控制单元关闭显示装置3600上显示的视频内容向移动终端3610的流传输。即,如上所述,用户可在其移动终端3610上观看显示装置3600上显示的内容。因此,例如,如果用户本来正在观看显示装置3600上的节目,却不得不离开房间去厨房或浴室,则用户可使显示装置3600上当前正显示的内容显示在移动终端3610上。因此,用户可在其离开容纳显示装置3600的房间时在其移动终端3610上观看流传输的内容。
在步骤S910中,控制单元确定用户的眼睛是否正在注视TV。如果其正在注视TV(S910为“是”),则显示装置3600的控制单元自动停止本来流传输到移动终端3610的数据的流传输,因为用户没有注视移动终端,而是已移动其眼睛模式以注视显示装置。因此,节省了移动终端3610的电池电力,避免任何额外的流传输收费。
相反,如果用户的眼睛没有注视TV(S910为“否”),则控制单元确定用户的眼睛是在注视移动终端3610(S930)(如图36(a)中一样)还是不再注视移动终端3610和显示装置3600这二者(如图36(c)所示)。如果用户的眼睛正在注视移动终端(S930为“是”),则控制单元维持显示装置3600和移动终端3610之间的流操作,或者如果流操作还未启动,则启动流操作(S940)。更详细地讲,如果控制单元确定用户的眼睛正在注视移动终端3610,则控制单元可有利地确定应该继续流操作或应该启动流操作,因为用户的眼睛正在注视移动终端3610而未注视显示装置3600。
另选地,如果用户的眼睛没有注视移动终端,也没有注视TV(S910为“否”,且S930为“否”),则显示装置3600的控制单元自动启动记录显示装置3600上显示的内容的时移记录处理(S950)。因此,如果用户在观看显示装置3600时被打断,而不得不转身去欢迎到其家中的客人(或者出于其它原因),则显示装置3600自动记录显示装置3600上正显示的数据。因此,用户可容易地回头再观看其注意力从观看节目分散时错过的内容。因此,根据本实施方式,用户可容易地在显示装置3600上、在移动终端3610上观看视频节目,或者观看记录的内容,而无需任何特定输入操作,因为显示装置分析并确定了其眼睛运动,然后有利地控制了显示装置3600和移动终端3610。
图37的右侧示出用户在其移动终端上的抓握模式,这些抓握模式用于执行不同的功能。具体地讲,用户往往会针对各个不同的功能利用相同的抓握模式抓握其移动终端。例如,用户在进行电话呼叫时具有第一抓握模式,在观看视频文件时具有第二抓握模式,在发短信时具有第三抓握模式,在搜索互联网时具有第四抓握模式,在拍摄照片时具有第五抓握模式,等等。因此,基于不同的抓握模式,移动终端3610或显示装置3600的控制单元可执行特定操作。图39至图46示出与移动终端上执行的不同功能对应的不同抓握模式(稍后将更详细地描述这些图)。因此,返回图37,控制单元确定抓握模式是否对应于用户观看内容(S960)。如果用户正在观看内容(S960为“是”),则控制单元维持显示装置3600和移动终端3610之间的流操作或启动流操作(S970)。然后,控制单元可确定用户的抓握是否改变(S990)。如果用户的抓握没有改变(S990为“否”),则继续步骤S970中的操作。然而,如果用户的抓握改变(S990为“是”),则控制单元可基于新的抓握模式执行功能(S1000)。
另选地,如果用户的抓握模式不对应于用户观看内容(S960为“否”),则控制单元基于该抓握模式执行功能。下表1示出针对不同的抓握模式执行的不同功能(S980)。
图37还示出使用用户的眼睛运动和抓握模式这二者来确定如何操作移动终端3610和显示装置3600之间的功能(S1010)。
更详细地讲,下表1示出按照不同的眼睛模式和抓握模式执行的功能。用户也可定义其自己的抓握模式以及基于该抓握模式应该执行什么功能。
表1
眼睛模式 功能
注视TV 关闭移动终端流操作
注视移动终端 维持或启动流传输
不再注视TV和移动终端 关闭移动终端流传输/时移记录
抓握模式 功能
电话呼叫抓握 停止向移动终端的流传输;时移TV
观看视频抓握 启动/维持向移动终端的流传输
短信抓握 显示/运行(叠加)文本窗口
互联网搜索抓握 显示/运行互联网浏览器
相机抓握 运行/打开相机
未定义抓握 通知用户
用户定义的抓握 参照功能表
用户定义的抓握 功能
抓握模式#1 发短信
抓握模式#2 视频观看
抓握模式#3 电话呼叫
抓握模式#4 互联网搜索/观看
抓握模式#5 相机
抓握模式#N 用户定义的功能
因此,参照表1,控制单元可确定眼睛模式、抓握模式或这二者,以便确定执行什么功能。如上所述,如果用户正在注视显示装置,则控制单元可关闭移动终端流操作。如果用户正在注视移动终端,则控制单元可维持或启动流操作。如果用户不再注视移动终端和显示装置,则控制单元可关闭流操作和/或执行时移记录操作。上文参照图37讨论了这些特征。
关于抓握模式,如果抓握模式对应于电话呼叫抓握模式,则控制单元可停止显示装置3600和移动终端3610之间的流操作和/或可启动时移记录操作。图43示出用于电话呼叫操作的抓握模式。因此,如果用户正在其移动终端3610上观看来自显示装置3600的流操作,并接收到来电呼叫,则显示装置3600或移动终端3610的控制单元自动停止将内容流传输到移动终端和/或启动记录操作。因此,用户可接听电话呼叫,然后返回观看内容。
另外,如果抓握模式是在移动终端3610上观看视频或内容,则控制单元可维持向移动终端的流操作,或者如果流操作还未启动,则启动流操作。因此,用户可仅利用视频观看抓握抓住其移动终端,并且控制单元自动启动流操作或维持当前的流操作。
另外,如表1所示,用户在发短信时也具有特定抓握。因此,当抓握模式指示用户正在发短信或开始发短信时,控制单元可在移动终端3610上显示或运行文本窗口。更详细地讲,如果用户正在其移动终端3610上观看流传输的视频,并且想要使另一用户知道该视频,则该用户可能想要与所述另一用户开始文本消息会话。在本发明中,用户仅需要利用其标准文本抓握模式抓握电话,并且控制单元在移动终端3610上自动显示文本窗口。另外,为了使得用户能够继续观看流操作,控制单元可以按照叠加方式在移动终端3610上正显示的内容上显示文本消息窗口。另选地,控制单元可在显示装置3600上显示文本消息窗口。
另外,利用用户的眼睛运动和抓握模式这两者的一个示例如下。如果用户正在其移动终端3610上观看视频流操作,并且想要向另一用户发短信,则该用户可利用其常用文本抓握模式抓住电话。然后,控制单元开始或运行文本消息处理。如果用户然后停止注视移动终端3610并且注视显示装置3600,则控制单元可在显示装置3600上(而非移动终端3610上)自动显示文本消息窗口。因此,在此示例中,使用抓握模式和用户的眼睛运动这两者来确定要控制的操作。对于表1以及上述描述中讨论的各个抓握模式和眼睛模式均是如此。
类似表述适用于互联网搜索抓握。即,图45示出当搜索互联网时使用的抓握模式的一个示例。因此,当控制单元确定图45中的持握移动终端的抓握模式时,控制单元可在移动终端3610上显示或运行互联网浏览器。同样,如果用户的眼睛运动从移动终端3610移向显示装置3600,则控制单元可在显示装置3600上(而非移动终端3610上)运行或显示互联网浏览器。这是在确定要执行的操作时使用用户的眼睛运动和抓握模式的组合的另一示例。
另一抓握模式是当用户拍摄照片时。图46示出用户拍摄自己与朋友的照片。因此,在此示例中,用户具有图46所示的特定抓握模式,其指示用户正在拍摄照片。然后,控制单元可基于相机抓握模式运行或启动相机功能。如果用户在利用相机抓握模式抓握移动终端3610之前正在观看流操作,则控制单元可停止显示装置3600和移动终端3610之间的流操作,因为用户正将电话3610用作相机。
表1还示出未定义的抓握模式。具体地讲,如果控制单元无法确定抓握模式以及执行什么功能,则控制单元可通知用户,抓握模式未定义。表1还示出用户定义的抓握模式。具体地讲,用户可设置特定抓握模式和特定功能。例如,用户可设置第一抓握模式为短信抓握模式,第二抓握模式为视频观看抓握模式,第三抓握模式为电话呼叫抓握模式,等等。这些特征示出在表1的底部。
因此,根据本发明,可单独地或组合地使用抓握模式和用户的眼睛运动,以确定显示装置上、移动终端上或者显示装置与移动终端之间应执行什么功能。
现在转向图38至图46,其示出关于不同抓握模式的特征。具体地讲,图38是包括多个传感器3620的移动终端3610的概览图。具体地讲,传感器3620可设置在移动终端3610周围,以便确定用户的不同抓握模式。所述传感器可以是例如压力传感器,其可确定用户的手指施加的压力。图38中的传感器3620仅为示例,所述传感器可按照不同的模式设置。例如,传感器3620可设置在移动终端3610的从用户接收抓握模式的特定区域上。所述位置包括移动终端3610的顶面、侧面和底面。因此,利用传感器3620,控制单元可确定移动终端3610的抓握模式。另外,移动终端3610的控制单元可确定用户抓握移动终端3610的抓握模式,然后如上所述将该信息发送给显示装置3600的控制单元。
接下来,图39(a)示出用户抓握移动终端3610。如图39(a)所示,此特定抓握模式可对应于视频观看抓握模式。因此,当用户利用图39(a)所示的抓握模式来抓握移动终端3610时,控制单元可确定该抓握模式对应于观看视频抓握模式。图39(b)示出图39(a)中触摸的不同区域。因此,当移动终端3610确定抓握模式对应于图39所示的抓握模式时,可基于该特定抓握模式执行功能。
图40示出观看视频抓握模式的另一示例。如图40(a)所示,用户当前正在观看视频。需要注意的是,图40(a)中的抓握模式略微不同于图39(a)所示的抓握模式,但是二者均为用于观看内容的抓握模式。因此,这两个抓握模式均可指定为观看视频内容抓握模式。用户也可将这些抓握模式中的一个设置用于视频观看,另一个用于例如照片拍摄。存储器中可存储诸如表1所示的表,其包括不同的抓握模式以及基于特定抓握模式执行的功能。如上所述,用户也可定义什么抓握模式对应于什么功能,该信息可存储在存储器中。
图40(b)示出由移动终端的用户触摸或抓握的不同位置。具体地讲,图40(b)示出用户抓握移动终端时触摸的三个位置。另外,在图40(a)中,用户选择Home按钮或按Home按钮。此附加信息也可用于确定抓握模式。具体地讲,由于图40(a)和图40(b)中的抓握模式看起来指示视频观看抓握模式,所以控制单元可利用Home按钮的附加输入操作来确定该特定抓握模式实际上是视频抓握模式还是照片拍摄抓握模式(或其它抓握模式)。因此,移动终端上的用户动作可用于区分正使用什么抓握模式。
图41(a)示出用于观看视频内容的抓握模式的另一示例。如图41(b)所示,抓握模式包括由用户的除拇指之外的四个手指触摸的四个位置。因此,控制单元可从传感器3620确定正使用什么抓握模式。在图41(b)中,传感器可确定抓握了四个位置,因此确定这是观看视频抓握模式。
接下来,图42示出移动终端3610搁置在机座3650中。在此示例中,移动终端3610的控制单元确定抓握模式实际上是机座3650。因此,控制单元可确定机座3650在移动终端3610的底部和侧面下部触摸并固定移动终端3610,如图42(b)所示。因此,在此示例中,控制单元可确定用户正在观看视频内容,尤其是当用户的眼睛运动指向移动终端3610时。因此,在此示例中,控制单元可开始从显示装置3600至移动终端3610的流传输处理,或者继续流传输服务。这是利用用户的抓握模式和眼睛模式的组合来确定执行什么功能的另一示例。
另外,如上所述,图43示出用户执行呼叫功能。如图43(a)所示,用户用左手抓握电话。图43(b)示出基于该特定抓握模式发生的不同触摸模式。另外,图43示出用户用左手抓握电话。然而,用户也可用右手抓握电话(尤其当他们是右手用户时),并将具有与图43(b)所示类似的抓握模式,不同的是抓握模式将被切换。
图44示出用于发短信的抓握模式。具体地讲,图44(a)示出用户抓握移动终端3610的下部,其中如图44(b)所示,触摸电话的四个区域。因此,控制单元可基于该特定抓握模式确定用户正在执行短信操作。另外,如图44(a)所示,用户的拇指实际上在触摸键区。因此,此附加信息可用于确定抓握模式具体地用于发短信。另外,如果用户当前正在观看流操作,则文本消息窗口可叠加在当前流传输的内容上,并且也可在用户的眼睛移向显示装置3600时显示在显示装置3600上(如上所述)。
图45示出用户执行互联网搜索或阅读操作的示例。如图45所示,用户用左手抓握移动终端3610,并使用指点装置3660来访问所显示的页面上的信息。因此,控制器可确定移动终端具有如图45(b)所示的抓握模式,其对应于互联网搜索或类似功能。因此,控制单元可基于该特定抓握模式自动运行互联网浏览器或执行其它类似功能。
另外,图46示出用户正在拍摄自己和朋友的照片。因此,当用户使用该特定抓握模式时,控制单元可确定该抓握模式如图46(b)所示包括三个触摸,然后自动执行相机功能。
因此,如上所述,本发明提供了一种基于用户的抓握模式、用户的眼睛运动或用户的抓握模式和眼睛运动这二者来控制移动终端和显示装置的方法。
因此,本发明提供下列优点。
首先,本发明提供了一种用于多个装置之间的通信的接口方法和环境,从而使得限于特定装置的服务能够更加用户友好地被各种装置使用。
其次,本发明提供了一种多个装置之间的接口方法和环境,从而提供各种类型的服务。
第三,本发明提高了针对装置的产品满意度,从而激励消费者的购买热情。
对于本领域技术人员而言明显的是,在不脱离本发明的精神或范围的情况下,可对本发明进行各种修改和变化。因此,本发明旨在覆盖对本发明的修改和变化,只要这些修改和变化落在所附权利要求及其等同物的范围内。
本申请要求在2012年1月6日提交的临时申请No.61/583,609以及在2012年3月6日提交的韩国专利申请No.10-2012-0022696、在2012年3月6日提交的韩国专利申请No.10-2012-0022697和在2012年3月6日提交的韩国专利申请No.10-2012-0022698的权益,因此通过引用将其全部内容并入本文。

Claims (13)

1.一种移动终端,该移动终端包括:
显示器,其被配置为显示多媒体内容;
无线通信单元,其被配置为与至少一个外部显示装置进行无线通信;
传感器单元,其被配置为感测持握所述移动终端的用户的抓握模式;
相机单元,其被配置为感测所述用户的眼睛运动;以及
控制器,其被配置为接收指示所述用户的抓握模式或眼睛模式中的至少一个的指示信号,
其中,所述抓握模式包括多个子抓握模式,
其中,所述多个子抓握模式中的第一子抓握模式与由所述移动终端的制造商预先设置的功能相对应,
其中,所述多个子抓握模式中的第二子抓握模式与由所述用户设置的功能相对应,
其中,所述眼睛模式包括一个或多个子眼睛模式,每个子眼睛模式与针对流操作的功能对应,
其中,如果所述抓握模式由接收的所述指示信号指示,所述控制器确定感测的抓握模式是否与第一或第二子抓握模式相对应,并且基于所述确定在所述显示器上通过用户界面来通知感测的抓握模式是未定义的抓握模式,以及
其中,所述控制器基于确定由接收的所述指示信号指示的子眼睛模式、以及所述抓握模式的第一子抓握模式或第二子抓握模式中的至少一个来控制所述流操作。
2.根据权利要求1所述的移动终端,其中,当所述指示信号指示所述用户的所述眼睛模式的所述子眼睛模式正在注视所述外部显示装置,而没有注视所述移动终端时,所述控制器还被配置为指示所述外部显示装置停止将内容流传输到所述移动终端的所述流操作。
3.根据权利要求1所述的移动终端,其中,当所述指示信号指示所述用户的所述眼睛模式的所述子眼睛模式正在注视所述移动终端,而没有注视所述外部显示装置时,所述控制器还被配置为指示所述外部显示装置开始将内容流传输到所述移动终端的所述流操作或维持所述流操作。
4.根据权利要求1所述的移动终端,其中,当所述指示信号指示所述用户的所述眼睛模式的所述子眼睛模式不再注视所述外部显示装置和所述移动终端时,所述控制器还被配置为指示所述外部显示装置开始用于记录多媒体内容的时移记录操作。
5.根据权利要求4所述的移动终端,其中,所述控制器还被配置为,在所述时移记录操作开始时,停止在所述显示器上显示所述多媒体内容,并指示所述外部显示装置停止将所述多媒体内容流传输到所述移动终端的所述流操作。
6.根据权利要求1所述的移动终端,其中,所述相机单元包括用于识别所述用户的面部表情的面部识别处理,
其中,所述控制器还被配置为通过分析所述用户的所述面部表情来确定所述用户的所述眼睛运动。
7.根据权利要求1所述的移动终端,其中,所述第一子抓握模式包括:电话呼叫抓握模式,其指示所述用户正在呼叫另一终端;观看视频内容抓握模式,其指示所述用户正在所述移动终端上观看视频内容;短信抓握模式,其指示所述用户正在向另一终端发短信;以及互联网观看抓握模式,其指示所述用户正在所述移动终端上观看互联网内容。
8.根据权利要求7所述的移动终端,其中,当所述指示信号中包括的所述第一子抓握模式指示所述电话呼叫抓握模式时,所述控制器还被配置为指示所述外部显示装置停止将所述多媒体内容流传输到所述移动终端的所述流操作,并开始用于记录所述多媒体内容的时移记录操作。
9.根据权利要求7所述的移动终端,其中,当所述指示信号中包括的所述第一子抓握模式指示所述观看视频内容抓握模式时,所述控制器还被配置为指示所述外部显示装置开始将所述多媒体内容流传输到所述移动终端的所述流操作或维持所述流操作。
10.根据权利要求7所述的移动终端,其中,当所述指示信号中包括的所述第一子抓握模式指示所述短信抓握模式时,所述控制器还被配置为确定所述流操作是否当前正在将所述多媒体内容流传输到所述移动终端,并确定所述多媒体内容当前是否正被流传输,以将文本消息窗口与流内容叠加在所述移动终端上。
11.根据权利要求10所述的移动终端,其中,当所述指示信号中包括的所述眼睛模式的所述子眼睛模式指示所述用户在以所述短信抓握模式抓握所述移动终端的同时正在注视所述显示装置时,所述控制器还被配置为在所述外部显示装置上而不是在所述移动终端上显示所述文本消息窗口。
12.根据权利要求7所述的移动终端,其中,当所述指示信号中包括的所述第一子抓握模式指示所述互联网观看抓握模式时,所述控制器还被配置为确定所述流操作是否当前正在将所述多媒体内容流传输到所述移动终端,并确定所述多媒体内容当前是否正被流传输,以将互联网窗口与流内容叠加在所述移动终端上。
13.根据权利要求12所述的移动终端,其中,当所述指示信号中包括的所述眼睛模式的所述子眼睛模式指示所述用户在以所述互联网观看抓握模式抓握所述移动终端的同时正在注视所述显示装置时,所述控制器还被配置为在所述外部显示装置上而不是在所述移动终端上显示所述互联网窗口。
CN201610621426.8A 2012-01-06 2013-01-06 处理服务的设备及其方法 Expired - Fee Related CN106162271B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201261583609P 2012-01-06 2012-01-06
US61/583,609 2012-01-06
KR10-2012-0022696 2012-03-06
KR1020120022696A KR101913254B1 (ko) 2012-01-06 2012-03-06 서비스 처리 장치 및 서비스 처리 방법
KR10-2012-0022698 2012-03-06
KR1020120022698A KR101913256B1 (ko) 2012-01-06 2012-03-06 서비스 처리 장치 및 서비스 처리 방법
KR1020120022697A KR101913255B1 (ko) 2012-01-06 2012-03-06 서비스 처리 장치 및 서비스 처리 방법
KR10-2012-0022697 2012-03-06
CN201310003762.2A CN103369387B (zh) 2012-01-06 2013-01-06 处理服务的设备及其方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201310003762.2A Division CN103369387B (zh) 2012-01-06 2013-01-06 处理服务的设备及其方法

Publications (2)

Publication Number Publication Date
CN106162271A true CN106162271A (zh) 2016-11-23
CN106162271B CN106162271B (zh) 2020-04-21

Family

ID=48993005

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610621426.8A Expired - Fee Related CN106162271B (zh) 2012-01-06 2013-01-06 处理服务的设备及其方法
CN201310003762.2A Expired - Fee Related CN103369387B (zh) 2012-01-06 2013-01-06 处理服务的设备及其方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201310003762.2A Expired - Fee Related CN103369387B (zh) 2012-01-06 2013-01-06 处理服务的设备及其方法

Country Status (2)

Country Link
KR (3) KR101913254B1 (zh)
CN (2) CN106162271B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101913254B1 (ko) * 2012-01-06 2018-10-30 엘지전자 주식회사 서비스 처리 장치 및 서비스 처리 방법
KR20150134674A (ko) * 2014-05-22 2015-12-02 삼성전자주식회사 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
KR20160014226A (ko) * 2014-07-29 2016-02-11 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102475927B1 (ko) * 2016-04-28 2022-12-08 엘지전자 주식회사 스크랩 기능을 제공하는 디스플레이 장치 및 그의 동작 방법
CN108205390A (zh) * 2017-08-23 2018-06-26 中兴通讯股份有限公司 一种终端操作的方法和终端
WO2023287207A1 (ko) * 2021-07-15 2023-01-19 삼성전자 주식회사 전자 장치 및 이를 이용한 외부 전자 장치 연결 방법
WO2023128613A1 (ko) * 2021-12-31 2023-07-06 삼성전자 주식회사 차량에 탑재된 전자 장치 및 그 동작 방법
KR102474839B1 (ko) * 2022-01-20 2022-12-07 (주)우리젠 타임머신 기능을 갖는 장비 모니터링 및 제어 시스템, 장비 모니터링 및 제어 방법, 및 기록매체에 저장된 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060188234A1 (en) * 2005-01-25 2006-08-24 Funai Electric Co., Ltd. Broadcasting signal receiving system
US20070002016A1 (en) * 2005-06-29 2007-01-04 Samsung Electronics Co., Ltd. Method and apparatus for inputting function of mobile terminal using user's grip posture while holding mobile terminal
CN101800816A (zh) * 2010-04-08 2010-08-11 华为终端有限公司 移动终端的触摸屏的横竖屏切换方法及移动终端
CN102118651A (zh) * 2010-01-06 2011-07-06 Lg电子株式会社 显示设备和在该显示设备上显示内容的方法
CN103369387B (zh) * 2012-01-06 2016-08-24 Lg电子株式会社 处理服务的设备及其方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110167447A1 (en) * 2010-01-05 2011-07-07 Rovi Technologies Corporation Systems and methods for providing a channel surfing application on a wireless communications device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060188234A1 (en) * 2005-01-25 2006-08-24 Funai Electric Co., Ltd. Broadcasting signal receiving system
US20070002016A1 (en) * 2005-06-29 2007-01-04 Samsung Electronics Co., Ltd. Method and apparatus for inputting function of mobile terminal using user's grip posture while holding mobile terminal
CN102118651A (zh) * 2010-01-06 2011-07-06 Lg电子株式会社 显示设备和在该显示设备上显示内容的方法
CN101800816A (zh) * 2010-04-08 2010-08-11 华为终端有限公司 移动终端的触摸屏的横竖屏切换方法及移动终端
CN103369387B (zh) * 2012-01-06 2016-08-24 Lg电子株式会社 处理服务的设备及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CONNOR DICKIE ET AL: "eyeLook: Using Attention to Facilitate Mobile Media Consumption", 《PROCEEDINGS OF THE 18TH ANNUAL ACM SYMPOSIUM ON USER INTERFACE SOFTWARE AND TECHNOLOGY》 *
HARVELL BEN ET AL: "The complete guide to AirPlay", 《HTTP://WWW.TECHRADAR.COM/NEWS/COMPUTING/APPLE/THE-COMPLETE-GUIDE-TO-AIRPLAY-947819》 *

Also Published As

Publication number Publication date
KR101913255B1 (ko) 2018-10-30
KR20130081182A (ko) 2013-07-16
KR101913254B1 (ko) 2018-10-30
KR20130081183A (ko) 2013-07-16
CN106162271B (zh) 2020-04-21
KR20130081181A (ko) 2013-07-16
KR101913256B1 (ko) 2018-12-28
CN103369387A (zh) 2013-10-23
CN103369387B (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN103369387B (zh) 处理服务的设备及其方法
JP6713571B2 (ja) 受信装置及び受信装置の制御方法
US9456130B2 (en) Apparatus for processing a service and method thereof
JP6231524B2 (ja) 無線通信デバイスを用いてメディアガイダンスアプリケーション機能性を提供するためのシステムおよび方法
US20220345785A1 (en) Method for playing image, electronic device and storage medium
EP2528339B1 (en) Display apparatus for processing multiple applications and method for controlling the same
JP5536252B2 (ja) 映像ストリームの再生方法およびシステム
JP5799512B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20100122177A1 (en) Content reproduction system, content reproduction/control apparatus, and computer program
JP6399748B2 (ja) コンテンツ再生装置、そのui提供方法、ネットワークサーバ及びその制御方法
US20100330979A1 (en) Portable Phone Remote
KR20140117387A (ko) 제2 스크린 상의 대체 뷰 비디오 재생
CN107005750A (zh) 信息处理装置、信息处理方法和程序
US20130347024A1 (en) Information processing system, information processing apparatus, and information processing method
KR101462055B1 (ko) 다중 홈 미디어 컨텐츠 공유를 수행하는 dlna 디바이스 및 그 방법
US20140068679A1 (en) Information processing apparatus, information processing method, digital television receiving apparatus, and storage medium
CN105933764A (zh) 广播接收装置及其控制方法
WO2015027690A1 (zh) 遥控系统、遥控器、显示设备及遥控方法
CN104010207B (zh) 一种数据处理方法、被控设备与控制设备
JP2014027635A (ja) 携帯端末装置および情報通信システム
US20130332961A1 (en) Information processing apparatus, information processing method, and information recording medium
JP6271693B2 (ja) 受信装置及び受信装置の制御方法及びデジタルテレビジョン受信装置
KR20090043976A (ko) 디스플레이 장치 및 그 제어방법
KR101990866B1 (ko) 방송 서비스 제공 방법 및 장치
JP6527930B2 (ja) 受信装置及び受信装置の制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200421

Termination date: 20210106