CN105230031A - 遥控设备、显示装置和用于控制遥控设备和显示装置的方法 - Google Patents

Abstract

提供了一种遥控设备、一种显示装置以及一种用于控制所述遥控设备和显示装置的方法。所述用于控制显示装置的遥控设备包括：用户接口，配置为接收用户交互；第一通信器，配置为与显示装置进行通信并接收图像；显示器；以及控制器，配置为响应于通过用户接口输入了第一交互，控制显示器显示从显示装置接收到的多个图像中的至少一个图像，响应于根据通过用户接口输入的第二交互选择了包括在所显示的至少一个图像中的对象并且通过用户接口选择了图形用户界面(GUI)元素，检索与所选对象相关的信息，并显示与所选对象相关的信息。

Description

遥控设备、显示装置和用于控制遥控设备和显示装置的方法

技术领域

根据示例实施例的装置和方法涉及一种遥控设备、一种显示装置和一种用于控制遥控设备和显示装置的方法，更具体地，涉及一种遥控设备、一种显示装置和一种用于控制遥控设备和显示装置的方法，其中可以提供与在显示装置中再现的图像相关的信息。

背景技术

显示设备可以提供多种图像内容。例如，显示设备可以提供个多种内容，诸如广播内容、VOD内容和照片内容。

在现有技术中，用户可能需要确认与显示在当前显示设备上的图像相关的信息。例如，用户可能需要确认关于当前显示在显示设备上的男演员/女演员的信息、相册、男演员/女演员所穿的衣服的购物信息等。

在现有技术中，在用户要想确认与正显示的图像相关的信息的情况下，用户必须改变显示设备的屏幕以便检索与图像相关的信息，或用户必须通过直接输入关键字来检索与该图像相关的信息。

在这种情况下，设置在显示屏幕上的图像的一部分或全部图像被与所述设置在显示屏幕上的图像相关的信息遮挡。因此，无法正常观看该图像。此外，如果用户想不到与该图像相关的关键字，则可能无法检索与该图像相关的信息。

发明内容

技术问题

一个或更多个示例实施例至少解决上述需要并至少提供下述优点。一个或更多个示例实施例提供一种遥控设备、一种显示装置和一种用于控制所述遥控设备和显示装置的方法，其中可以提供与显示装置上再现的图像相关的信息，使得用户可以在继续观看显示装置上的图像的同时，通过遥控设备确认与该图像相关的信息。

技术方案

根据示例实施例的一个方面，提供了一种用于控制显示装置的遥控设备，所述遥控设备包括：用户接口，配置为接收用户交互；第一通信器，配置为与显示装置进行通信并接收图像；显示器；以及控制器，配置为响应于通过用户接口输入了第一交互，控制显示器显示从显示装置接收到的多个图像中的至少一个图像，响应于根据通过用户接口输入的第二交互选择了包括在所显示的至少一个图像中的对象并且通过用户接口选择了图形用户界面(GUI)元素，检索与所选对象相关的信息，并显示与所选对象相关的信息。

响应于通过用户接口输入了第一交互，控制器还可以配置为控制第一通信器接收由显示装置显示的预定间隔内的多个图像帧，其中所述预定间隔从输入第一交互之前的预定先前时间点到输入了第一交互的时间点。

控制器还可以配置为控制显示器在显示器上显示接收到的预定间隔内的图像帧，响应于选择了所显示预定间隔内的图像帧之一，显示用于选择与包括在所选图像帧中的所选对象相关的信息的GUI。

GUI元素可以包括以下中的至少一个：用于提供与所选图像帧中包括的角色或人相关的信息的图标、用于提供所选图像帧中包括的角色或人的不同照片内容的图标、用于提供关于所选图像帧中包括的产品的信息的图标、以及用于提供关于包括所选图像帧的图像内容的详细信息的图标。

遥控设备还可以包括第二通信器，配置为与外部服务器进行通信，其中所述控制器还可以配置为响应于根据第二交互选择了包括在至少一个所显示的图像中的对象，控制第二通信器从外部服务器接收与所选对象相关的信息。

所述控制器还可以配置为控制第一通信器接收该图像的元数据以及该图像，控制第二通信器向外部服务器发送元数据并从外部服务器接收关于元数据的信息。

所述控制器还可以配置为控制第一通信器向显示装置发送与所选对象相关的信息，显示装置还可以配置为显示与所选对象相关的信息。

响应于从遥控设备接收到与该对象相关的信息，显示装置还可以配置为产生多个屏幕，在多个屏幕中的一个屏幕上显示该图像，并在多个屏幕中的另一屏幕上显示与所选对象相关的信息。

根据另一示例实施例的一个方面，提供了一种用于控制遥控设备的显示装置的方法，所述方法包括：响应于在用户接口中输入了第一交互，显示从显示装置接收到多个图像中的至少一个图像；以及响应于根据在用户接口中输入的第二交互选择了被显示的至少一个图像中包括的对象并通过用户接口选择了图形用户界面(GUI)元素，检索并显示与所选对象相关的信息。

响应于输入了第一交互，所述显示至少一个图像包括：接收由显示装置显示的预定间隔内的多个图像帧，其中预定间隔从输入第一交互之前的预定先前时间点到输入第一交互的时间点。

所述显示至少一个图像还可以包括：显示接收到的预定间隔内的图像帧，所述检索并显示与所选对象相关的信息包括：响应于选择了所显示的预定间隔内的图像帧之一，显示用于选择与包括在所选图像帧中的所选对象相关的信息的GUI。

GUI元素可以包括以下项中的至少一个：用于提供与所选图像帧中包括的角色或人相关的信息的图标、用于提供所选图像帧中包括的角色或人的不同照片内容的图标、以及用于提供关于包括所选图像帧的图像内容的详细信息的图标。

响应于检索并显示与所选对象相关的信息包括：响应于根据第二交互选择了在所显示的至少一个图像中包括的对象，从外部服务器接收与所选对象相关的信息。

所述接收与所选对象相关的信息可以包括：接收所述图像的元数据以及所述图像，所述检索并显示与所选对象相关的信息还可以包括：向外部服务器发送元数据并从外部服务器接收关于元数据的信息。

所述方法还可以包括：向显示装置发送与所选对象相关的信息，所述显示装置可以显示与所选对象相关的信息。

响应于从遥控设备接收到与所述对象相关的信息，所述显示装置可以产生多个屏幕，在多个屏幕中的一个屏幕上显示该图像，并在多个屏幕中的另一屏幕上显示与所选对象相关的信息。

根据示例实施例的再一方面，显示装置包括：通信器，配置为与遥控设备进行通信；显示器；存储设备；以及控制器，配置为将通过显示器显示的图像临时存储在存储设备中，并响应于从遥控设备接收到预定命令，控制通信器向遥控设备发送临时存储在存储设备中的图像。

所述控制器可以配置为：响应于从遥控设备接收到与所述图像相关的信息，控制显示器在显示器上显示多个屏幕，在多个屏幕中的一个屏幕上显示该图像，并在多个屏幕的另一屏幕上显示与该图像相关的信息。

根据另一示例实施例的方面，提供了一种用于控制显示装置的方法，所述方法包括：显示图像；将所显示的图像临时存储在存储设备中；以及响应于从遥控设备输入了预定命令，向遥控设备发送临时存储在存储设备中的图像。

所述方法还可以包括：响应于从遥控设备接收到与该图像相关的信息，在显示器上显示多个屏幕；在多个屏幕中的一个屏幕上显示该图像；以及在多个屏幕的另一屏幕上显示与该图像相关的信息。

根据另一示例实施例的一个方面，提供了一种用于控制配置为控制显示设备的遥控设备的方法，所述方法包括：确定是否输入了预定用户交互；响应于输入了预定用户交互，从显示装置接收图像；在显示装置的显示器上显示接收到的图像；确定是否输入了用户命令；以及响应于输入了用户命令，显示与接收到的图像相关的信息。

本发明的有利效果

如上所述，通过使用遥控设备检索与当前显示的图像相关的信息，用户可以在继续观看当前显示的图像的同时，使用遥控设备或显示屏幕的另一屏幕，来确认与该图像相关的信息。

附图说明

结合附图，根据对示例实施例的以下详细描述，将更清楚上述和/或其他方面，附图中：

图1示出了根据示例实施例的显示系统的图；

图2是示意示出了根据示例实施例的显示装置的配置的框图；

图3是示出了根据示例实施例的显示装置的详细配置的框图；

图4是示出了根据示例实施例的存储设备的详细配置的图；

图5是示出了根据示例实施例的遥控设备的配置的框图；

图6是示出了根据示例实施例的遥控设备的外观的视图；

图7到15是根据示例实施例的解释与OJ传感器相关的操作的视图；

图16到24是根据示例实施例的解释与书签按钮(bookmarkbuttons)相关的操作的视图；

图25是示出了根据示例实施例的用于控制遥控设备以便提供书签服务的方法的流程图；

图26是根据示例实施例的解释了用于控制显示系统以便提供书签服务的方法的顺序图；

图27是示出了在向OJ传感器输入用户命令时用于控制显示装置以便提供指示符的方法的流程图；以及

图28是根据另一示例实施例的指示遥控设备的移动的指示器的视图。

具体实施方式

下文中，参考附图详细描述本公开的实施例。

图1是示出了根据示例实施例的显示系统的视图。参考图1，根据示例实施例的显示系统10包括：显示装置100、遥控设备50和信息提供服务器300。

如图1所示，显示装置100可以实现为数字TV，且不限于此。显示装置100可以实现为具有显示功能的多种设备，诸如PC、移动电话、个人数字计算机(PC)、PMP、PDA和导航设备。另一方面，如果将显示装置100实现为便携式设备，则它具有嵌入式的触摸屏，可以使用手指或笔(例如，触控笔)来执行程序。下文中，为了便于描述，假定将显示装置100实现为数字TV。

显示装置100可以根据向遥控设备50输入的用户交互，在一个显示屏幕上显示用于再现多个内容的多个屏幕。多个内容可以包括广播内容、点播视频(VOD)内容和照片内容中的至少一个。然而，示例实施例不限于此，可以将其他多种类型的内容再现在显示装置100上。此外，显示装置100可以根据向遥控设备50输入的用户交互，提供多种UI。

如果将显示装置100实现为数字TV，则可以通过遥控设备50来控制显示装置100。在这种情况下，遥控设备50是用于远程控制显示装置100的设备，并可以接收用户命令并向显示装置100发送与输入的用户命令相对应的控制信号。例如，遥控设备50可以实现为多种形式，诸如，感测遥控设备50的动作并发送与该动作相对应的信号，识别语音并发送与所识别的语音相对应的信号，或发送与输入的按键相对应的信号。在这种情况下，遥控设备50可以实现为包括动作传感器、触摸传感器或应用光学技术的光学操控杆(OJ)传感器、物理按钮(例如，轻触开关)、显示屏幕和麦克风，以便接收多种类型的用户命令的输入。OJ传感器是通过OJ感测用户操作的图像传感器，并操作作为倒置光学鼠标。换言之，如果用户用手指轻微触摸OJ，则OJ传感器可以分析光学信号。另一方面，根据示例实施例的遥控设备50可以实现为遥控器。然而，这仅是示例性的，遥控设备50可以实现为多种了理性的便携式设备，诸如，可以控制显示装置100的智能电话或平板PC。

此外，如果从遥控设备50输入了预定用户交互，则显示装置100可以向遥控设备50发送当前显示的图像。此外，遥控设备50显示接收到的图像，根据用户命令从外部信息检索服务器300接收与该图像相关的信息，并显示与接收到的图像相关的信息。在使用遥控设备50检索信息的同时，显示装置100可以持续显示该图像。因此，用户可以在持续通过显示装置100观看该图像的同时，使用遥控设备50检索与该图像相关的信息。以下将描述使用遥控设备50来提供与当前显示的图像相关的内容的书签服务。

图2和3是示出了根据示例实施例的显示装置的配置的框图。

参见图2，显示装置100包括通信器110、显示器120、存储设备130和控制器140。

通信器110与外部设备执行通信。具体地，通信器110可以从遥控设备50接受用于控制显示装置100的用户交互的输入。具体地，通信器110可以接收用于接收来自遥控设备50的书签服务的用户交互(下文中，“书签交互”)的输入。

此外，通信器110可以响应于书签交互，向遥控设备50发送当前正显示的图像。具体地，通信器110可以向遥控设备50发送在所显示的图像帧中预定间隔内的图像帧(例如，“I帧”)，所述预定间隔从输入书签交互之前的预定先前时间点到输入书签交互的时间点。此时，通信器110可以发送该图像的元数据以及当前所显示的图像的图像帧。在这种情况下，元数据包括关于该图像帧的信息。关于该图像帧的信息可以包括在当前图像帧中包括的角色信息以及货物信息。然而，示例实施例不限于此。在另一示例实施例中，预定间隔可以包括从输入书签交互的时间点到输入书签交互之后的时间点。此外，预定间隔可以包括在输入书签交互之前的一段时间到输入书签交互之后的相同一段时间。

此外，通信器110可以从遥控设备50接收与当前显示的图像相关的信息以及用于显示与该图像相关的信息的用户命令。

显示器120在控制器130的控制下输出从外部源接收到的、预存储的图像数据或用户界面(U1)。具体地，显示器120可以根据用户预定命令在一个显示屏幕上显示用于再现多个内容的多个屏幕。在这种情况下，多个屏幕可以交叠为预定形状(即，矩形、梯形等)，或单独布置在一个显示屏幕上。具体地，多个屏幕可以布置为具有不同视角。例如，当用户视角改变时，可以根据改变后的视角来移动多个屏幕的位置。在这种情况下，可以将2D图像显示在多个屏幕中的每个屏幕上，但这仅是示例性的，可以将3D图像显示在多个屏幕中的每个屏幕上。

根据示例实施例，显示器120可以将主屏幕显示在显示屏幕的中心区域，并以梯形形式将第一子屏幕和第二子屏幕显示在主屏幕的左侧和右侧。如上所述，由于将第一子屏幕和第二子屏幕以梯形形式布置在主屏幕的左侧和右侧上，用户可以感到用户仿佛在3D空间内观看主屏幕、第一子屏幕和第二子屏幕的效果。然而，这仅是示例性的，可以将子屏幕显示在主屏幕的上下方向上，或对角方向上，可以显示三个或更多个子屏幕。下文中，为了便于描述，假设将子屏幕布置在主屏幕的左侧和右侧上。

主屏幕是用于显示用户主要观看的内容的屏幕，在显示屏幕上具有最高占用比。具体地，可以以显示装置100的最高等级输出主屏幕的音频。

子屏幕是除了主屏幕之外用于显示用户希望检索的内容的屏幕，其占用比值可以小于主屏幕在显示屏幕上的占用比值。具体地，子屏幕可以仅显示正进行再现的内容屏幕的一部分。此外，根据子屏幕在显示屏幕上的占用比值，可以不输出或以低于预定音量值的音量输出子屏幕的音频。

此外，主屏幕和子屏幕可以根据用于引起其位置、尺寸和形状中的至少一个改变的预定用户交互来进行移动，主屏幕和子屏幕可以相互改变。例如，如果预定用户交互是用户头部旋转交互，则控制器140感测用户头部的旋转，并可以控制显示器120根据感测到的用户头部的旋转方向来移动主屏幕、第一子屏幕和第二子屏幕。此外，如果感测到的用户头部的旋转角度的程度高于预定程度，则控制器140可以将子屏幕设置为新的主屏幕。在另一示例实施例中，控制器140可以感测用户的眼部运动，可以控制显示器120根据感测到的用户的眼部运动来移动主屏幕、第一子屏幕和第二子屏幕。

此外，如果显示来自遥控设备50的与当前显示图像相关的信息，则显示器120可以显示与当前显示的图像相关的信息。具体地，显示器120可以在多个屏幕中的主屏幕上显示该图像，并可以在多个屏幕中的第二子屏幕上显示与该图像相关的信息。

另一方面，显示器120可以实现为液晶显示器(LCD)面板或有机发光二极管(OLED)。然而，显示器120不限于此。此外，显示器120还可以实现为柔性显示器或透明显示器。

存储设备130存储用于驱动显示装置100的多种数据。具体地，存储设备130可以将当前显示的图像(例如，广播图像)临时存储预定时间。例如，存储设备130可以将在显示器120上显示的图像帧临时存储10秒。此外，存储设备130可以以先进先出(FIFO)方式临时存储该图像帧。

另一方面，存储设备130可以实现为多种存储介质，诸如，ROM、RAM和硬盘。

控制器140根据通过遥控设备50输入的用户命令，控制显示装置100的整体操作。具体地，如果在将显示在显示器120上的图像临时存储在存储设备130的同时从遥控设备50输入了书签交互，则控制器140可以控制通信器110向遥控设备50发送临时存储在存储设备130中的图像。此时，控制器140可以控制通信器110向遥控设备50发送临时存储在存储设备130的多个图像帧中预定间隔内的图像帧(例如，I帧)。

此外，如果从遥控设备50接收到与当前显示的图像相关的信息，则控制器140可以控制显示器120显示与当前显示的图像相关的信息(或与图像所包括的对象相关的信息)。具体地，控制器140可以控制显示器120在主屏幕上显示该图像并在多个屏幕中的第二子屏幕上显示与该图像相关的信息。在另一示例实施例中，控制器140可以控制显示器120在主屏幕上显示该图像和与该图像相关的信息二者。

图3是示出了根据示例实施例的显示装置的详细配置的框图。如图3所示，根据示例实施例的显示装置200包括图像接收机210、通信器220、显示器230、音频输出器240、存储设备250、音频处理器260、视频处理器270、用户接口280和控制器290。

图像接收器210接收经由各种源的图像数据。例如，图像接收器210可以从外部广播站接收广播数据，可以从外部设备(例如，DVD或BD播放器)接收图像数据，并可以接收存储在存储设备250中的图像数据。具体地，图像接收机210可以设置有多个图像接收模块，以便在一个显示屏幕上显示多个屏幕。例如，图像接收机210可以设置有多个调谐器，以便同时显示多个广播频道。

通信器220配置为根据多种类型的通信方法，与多种类型的外部设备或外部服务器执行通信。通信器220可以包括多种通信芯片，诸如，Wi-Fi芯片、蓝牙芯片、近场通信(NFC)芯片和无线通信芯片。在这种情况下，Wi-Fi芯片、蓝牙芯片和NFC芯片分别根据Wi-Fi方法、蓝牙方法和NFC方法执行通信。NFC芯片表示根据NFC方法操作的芯片，其中该方法在多种RF-ID频带(诸如，135kHz、13.56MHz、433MHz、860～960MHz和2.45GHz)中使用13.56MHz频带。在使用Wi-Fi芯片或蓝牙芯片的情况下，首先收发的是诸如SSID和会话密钥的多种连接信息，在使用这些信息进行连接通信之后接下来收发的是各种类型的信息。无线通信芯片表示根据多种通信标准(诸如，IEEE、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)和长期演进(LTE))执行通信的芯片。

具体地，通信器220可以与遥控设备50执行通信。具体地，通信器220可以接收来自遥控设备50的用于控制显示装置200的用户交互的输入。具体地，通信器220可以接收用于接收书签服务的书签交互的输入。此外，通信器220可以响应于书签交互，向遥控设备50发送临时存储在存储设备250中的图像帧。另一方面，通信器220可以使用蓝牙接口与遥控设备50执行通信。

具体地，显示器230显示通过经由视频处理器270来处理由图像接收机210接收的图像数据而获得的至少一个视频帧以及由图形处理器293产生的多种屏幕。显示器230可以根据用户预定命令，在一个显示屏幕上显示用于再现多个内容的多个屏幕。例如，如图20所示，显示器230可以将主屏幕显示在显示屏幕的中心区域，并以梯形形式将第一子屏幕和第二子屏幕显示在主屏幕的左侧和右侧上。

音频输出器240配置为除了由音频处理器260处理过的多种类型的音频数据之外，还输出多种类型的通知声音或语音消息。具体地，音频输出器240可以实现为扬声器。然而，这仅是示例性的，音频输出器240可以实现为另一音频输出器，诸如，音频输出端子。

存储设备250存储用于驱动显示装置的多种模块。具体地，将参考图4描述存储设备250的配置。

图4是示出了存储在存储设备250中的软件配置的图。

参见图4，在存储设备250中可以存储包括基本模块251、感测模块252、通信模块253、呈现模块254、网页浏览模块255和服务模块256的软件。

基本模块251表示处理从用户终端装置100所包括的硬件传送的信号并向上层模块传送经过处理的信号的基本模块。基本模块251包括存储模块251-1、安全模块251-2和网络模块251-3。存储模块251-1是管理数据库DB或注册表的程序模块。主CPU294可以通过使用存储模块251-1来访问存储设备250中的数据库，来读取各种类型的数据。安全模块251-2是支持硬件证书、请求许可和安全存储的程序模块。网络模块251-3包括用于支持网络连接的模DNET模块和UPnP模块。

感测模块252是从多种类型的传感器收集信息、分析并管理所收集的信息的模块。感测模块252可以包括面部识别模块、语音识别模块、动作识别模块和NFC识别模块。

通信模块253用于与外部源执行通信的模块。通信模块253可以包括消息收发模块253-1(诸如消息收发器程序、SMS(短消息服务)&MMS(多媒体消息服务)程序和电子邮件程序)以及电话模块252-2(包括呼叫信息聚集程序模块和VoIP模块)。

呈现模块254是用于配置显示屏幕的模块。呈现模块254包括用于再现并输出多媒体内容的多媒体模块254-1以及用于执行UI和图形处理的UI呈现模块254-2。多媒体模块254-1可以包括播放器模块、相机模块和声音处理模块。因此，多媒体模块再现多种类型的多媒体内容以便产生并再现屏幕和声音。UI呈现模块254-2可以包括用于组合图像的图像合成器模块、用于组合并产生屏幕上的坐标(显示图像)的坐标组合模块、用于从硬件接收多种类型的事件的X11模块、以及用于提供工具以便配置2D或3D式UI的2D/3DUI工具箱。

web浏览器模块255可以是通过执行web浏览来访问web服务器的模块。web浏览器模块255可以包括多种模块，诸如用于配置网页的web视图模块、用于执行下载的下载代理模块、书签模块和Web工具箱模块。

服务模块256是包括用于提供多种服务的多种类型的应用的模块。具体地，服务模块256可以包括各种程序模块，诸如社交网络服务(SNS)程序、内容再现程序、游戏程序、电子书程序、日历程序、提醒管理程序和其他窗口小部件。

尽管图4示出了多种程序模块，但还可以根据用户终端装置200的类型和特征，来部分地省略、修改或添加所示的程序模块。例如，还可以包括基于位置的模块，其中该模块结合硬件(诸如，全球定位系统(GPS)芯片)支持基于位置的服务。

此外，存储设备250可以包括临时存储当前显示的图像的缓冲器(未示出)。具体地，当从外部接收到广播图像并对其进行显示时，存储设备250可以将以FIFO形式接收到的广播图像帧临时存储预定时间(例如，10秒)。此时，存储设备250可以仅存储广播图像帧中的I帧。然而，这仅是示例性的，可以将所有图像帧临时存储预定时间。此外，存储设备250可以临时存储包括与该图像帧(例如，角色信息、购物信息、内容信息等)相关的信息的元数据以及所述图像帧。

再次参考图3，音频处理器260是处理音频数据的元件。音频处理器260可以对音频数据执行多种处理，诸如解码、放大和噪声过滤。另一方面，音频处理器260可以设置有多种音频处理模块，以便处理与多个内容相对应的音频。

视频处理器270是处理与从图像接收器210接收到的图像数据的元件。所述视频处理器280可以对图像数据执行各种图像处理，诸如，解码、缩放、噪声过滤、帧速率转换和分辨率转换。另一方面，视频处理器270可以设置有多个视频处理模块，以便处理与多个内容相对应的视频。

用户接口280是感测用户交互以便控制显示装置200的整体操作的配置。具体地，如图3所示，用户接口280可以包括多种交互感测设备，诸如，摄像机281和麦克风282。摄像机281是用于在用户控制下捕获静态图像或动态图像的配置。具体地，摄像机281可以捕获多种类型的用户动作的图像。麦克风282是用于接收用于语音或其他声音并将输入的语音或声音转换为音频数据的配置。控制器290可以在呼叫过程中使用通过麦克风282输入的用户语音，或可以将用户语音存储在存储设备250中。

如果设置了摄像机281和麦克风282，则控制器290可以根据通过麦克风282输入的用户语音或通过摄像机281识别到用户动作，来执行控制操作。换言之，显示装置200可以操作在动作控制模式下或语音控制模式下。如果显示装置200操作在动作控制模式下，则控制器290通过激活摄像机291来拍摄用户的图像，追踪用户动作的改变，并执行对应控制操作。如果显示装置200操作在语音控制模式下，则控制器290可以分析通过麦克风输入的用户语音，并操作在语音控制模式下，其中根据分析出的用户语音来执行控制操作。

控制器290通过使用在存储设备250上存储的多种类型的程序，来控制显示装置200的整体操作。

如图2所示，控制器290包括RAM291、ROM292、图形处理器293、主CPU294、第一到第n接口295-1～295-n、以及总线136。此时，RAM291、ROM292、图形处理器293、主CPU294、以及第一到第n接口295-1～295-n可以通过总线136彼此相连。

在ROM292中存储用于系统引导的指令集。如果输入接通命令和提供电力，则主CPU294根据在ROM292上存储的指令，将存储在存储设备250上的O/S拷贝到RAM291，并通过执行该O/S来引导系统。如果完成引导，则主CPU294将存储在存储设备140上的多种类型的应用程序拷贝到RAM292，并通过执行拷贝到RAM291的应用程序，来执行多种类型的操作。

图形处理器293通过使用运算设备(未示出)和呈现设备(未示出)，产生包括各种对象(诸如，图标、图像和文本)的屏幕。运算设备通过使用从输入设备280接收到的控制命令，根据屏幕的布局来运算属性值(诸如，坐标值、形状、尺寸和颜色)以便显示对应对象。呈现设备基于运算设备运算的属性值，产生包括多个对象的多种布局屏幕。将由呈现设备产生的屏幕显示在显示器230的显示区域。

主CPU294访问存储设备250，并使用在存储设备250中存储的O/S执行引导。此外，主CPU294使用在存储设备250中存储的多种类型的程序、内容和数据，来执行多种操作。

第一到第n接口295-1～295-n与上述多种类型的组成元件相连。所述接口之一可以是通过网络与外部设备相连的网络接口。

具体地，如果从遥控设备50输入了书签交互，则根据该书签交互，控制器290可以向遥控设备50发送临时存储在存储设备250中的图像。具体地，控制器290可以控制通信器210向遥控设备50发送显示器230上显示多个图像帧中预定间隔内的图像帧，所述预定间隔从输入书签交互之前的预定先前时间点到输入了该书签交互的时间点。例如，响应于书签交互，控制器290可以控制通信器210在显示于显示器230上的从输入该书签交互的时间点之前的10秒到输入该书签交互的时间点的多个图像帧中提取I帧的图像帧，并向遥控设备50发送10个图像帧。在这种情况下，控制器290可以控制通信器210通过遥控设备50显示预定间隔内的图像帧，并将其发送给遥控设备50。在另一示例实施例中，预定间隔可以包括从输入书签交互的时间点到输入书签交互之后的时间点。此外，预定间隔可以包括在输入书签交互之前的一段时间到输入书签交互之后的相同时间段。

具体地，在发送预定间隔内的图像帧的同时，控制器290可以控制通信器210向遥控设备50发送用于存储与该图像帧相关的信息的元数据。在这种情况下，与该图像帧相关的信息可以包括对应图像帧的再现信息、关于属于该图像帧的角色的信息、以及关于该图像帧所包括的货物的信息(例如，购物信息)。如上所述，遥控设备50可以使用所发送的图像帧和元数据，来检索与该图像相关的信息。

在上述示例实施例中，解释了通信器210发送元数据以及图像帧。然而，这仅是示例实施例。可以通过在发送图像帧之前或之后的用户命令来发送元数据。

此外，如果从遥控设备50输入了与该图像相关的信息以及用于显示与该图像相关的信息的用户命令，则控制器290可以在显示器230上显示与该图像相关的信息。此时，控制器290可以控制显示器230在保持当前显示的图像的同时显示与该图像相关的信息。例如，如果在显示图像的同时输入了与该图像相关的信息以及用于显示与该图像相关的信息的用户命令，则控制器290可以在当前显示屏幕上显示多个屏幕，在多个屏幕中的主屏幕上显示该图像，并在位于主屏幕右侧的第二子屏幕上检索与该图像相关的信息。在另一示例实施例中，可以将与该图像相关的信息连同该图像一同显示在主屏幕上。

如上所述，通过使用遥控设备50检索与当前显示图像相关的信息，用户可以在继续观看当前显示的图像的同时，使用遥控设备50或显示屏幕的另一屏幕来确认与该图像相关的信息。

此外，控制器290可以根据对在遥控设备50上设置的OJ传感器的用户输入，来控制显示装置200。

如果输入了用于摩擦设置在遥控设备50上的OJ传感器的摩擦交互，则控制器290可以根据摩擦交互的方向，将显示在多个图标之一上的加亮移动到另一图标。例如，如果在将加亮显示于多个图标之一上的同时输入了向左的摩擦交互，则控制器290可以将加亮移动到位于当前显示有加亮的图标的左侧的图标上。

此外，如果输入了用于推动OJ传感器的推动交互，则控制器290确定推动OJ传感器的时间。具体地，如果OJ传感器推动时间短于预定时间，则控制器290可以确定推动交互是键入命令，并可以选择在其上显示有加亮的图标。然而，如果OJ传感器推动时间长于预定时间，则控制器290可以确定推动交互是用于开始确定遥控设备50的移动的触发命令，并可以控制显示器230在显示屏幕上显示指示遥控设备50的移动的指示符。以下将参考附图描述根据向OJ传感器的用户输入来控制显示装置200的方法。

下文中，参考图5和6，将更详细地描述遥控设备50。

图5是示出了根据示例实施例的遥控设备50的配置的框图。如图5所示，遥控设备50包括用户接口510、通信器520、显示器530和控制器540。

图5示出了在遥控设备50是具有多种功能(诸如，通信功能和显示功能)的设备的情况下的多种类型的元件。因此，根据实施例，可以省略或改变图5所示的元件的一部分，或可以向其添加其他元件。

用户接口510接收用于控制显示装置200或遥控设备50的多种用户交互。具体地，如图5所示，用户接口510可以包括至少一个按钮511、OJ传感器512、9轴传感器513、麦克风514、摄像机515和触摸面板516。

如图6所示，至少一个按钮511包括电源按钮511-1、音量控制按钮511-2和511-3、频道改变按钮511-4和511-5，返回上一级按钮511-6、书签按钮511-7、菜单按钮511-8和屏幕指定按钮511-9、511-10和511-11。电源按钮511-1可以接收用于接通/关闭显示装置200的电力的用户命令。音量控制按钮511-2和511-3可以接收用于调整从显示装置200输出的音量的用户命令。频道改变按钮511-4和511-5可以接收用于改变从显示装置200输出的广播频道的用户命令。返回上一级按钮511-6可以接收用于将显示装置200移动到先前显示状态的用户命令。书签按钮511-7可以接收用于提供书签服务的用户命令。菜单按钮511-8可以接收用于产生菜单的用户命令。具体地，屏幕指定按钮511-9、511-10和511-11可以指定要在其上显示与当前加亮的图标相对应的内容的屏幕。屏幕指定按钮511-9、511-10和511-11的形状可以与主屏幕2320、子屏幕2310和第二子屏幕2330的形状相同，如图20所示。然而，用户接口510的示例实施例不限于至少一个按钮511。在另一示例实施例中，可以通过用户接口510上的触摸屏来输入用户命令。在这种示例实施例中，用户可以使用触摸屏上的至少一个按钮或至少一个虚拟按钮，来输入用户命令。

OJ(光学操控杆)传感器512感测摩擦交互或推动交互。具体地，如果用手指输入了用于摩擦OJ传感器512的摩擦交互，则OJ传感器512通过nano光学模块向具有DSP功能的图像传感器传送通过辐射IR-LED的红外光(IR)(其中IR-LED是无色光源)而获得的手指表面的图像数据，并感测从图像传感器输出的用户手指的移动方向。根据向OJ传感器输入的用户手指的移动方向，显示装置200可以将显示在该图标上的加亮移动到另一图标。

此外，如果输入了用于推动OJ传感器512的推动交互，则控制器540可以通过确定执行推动交互的时间来确定该推动交互是否是键入命令或用于确定遥控设备50的移动的触发命令。如果推动交互执行时间短于预定时间，则控制器540可以确定推动交互式键入命令，如果推动交互执行时间长于预定时间，则控制器可以确定该推动交互是开始确定遥控设备50的移动的触发命令。

9轴传感器513可以确定遥控设备50的3D运动。具体地，9轴传感器513可以使用陀螺传感器、加速度传感器和地刺传感器来在3D空间内确定遥控设备50的移动。

麦克风514是用于接收用户语音或其他声音的输入并将接收到的语音或声音转换为音频数据的配置。控制器540可以使用在呼叫过程中通过麦克风514输入的用户语音，或将用户语音转换为音频数据以便将音频数据用作控制命令。

摄像机515是根据用户控制捕获静态图像或运动图像的配置。具体地，摄像机515可以捕获用户动作的图像以便控制遥控设备50或显示装置200。

触摸面板516可以设置在显示器530上以便感测用户触摸输入。

通信器520可以与外部设备执行通信。具体地，通信器520可以包括第一通信器521，用于与显示装置200执行通信；以及第二通信器522，用于与外部信息检索服务器300执行通信。

第一通信器521可以发送用于控制显示装置200的用户交互。具体地，如果选择了书签按钮511-7，则第一通信器521可以向显示装置200发送书签交互，并可以响应于该书签交互，接收来自显示装置200的图像和元数据。

此外，如果在显示与该图像相关的信息的同时选择了屏幕指定按钮511-9、511-10和511-11之一，则第一通信器521可以向显示装置200发送与该图像相关的信息以及用于在与所选屏幕相对应的屏幕上显示与该图像相关的信息的命令。

第二通信器522可以与外部信息检索服务器300执行通信。具体地，如果通过用户输入选择了要检索的图像帧，则第二通信器522可以向信息检索服务器300发送所选图像帧的元数据，并可以从信息检索服务器300接收与该图像帧相关的信息。

第一通信器521和第二通信器522可以使用不同的通信接口执行通信。例如，第一通信器521可以通过蓝牙接口或Zigbee接口与显示装置执行通信；第二通信器522可以通过Wi-Fi接口与外部信息检索服务器300执行通信。

显示器530可以在控制器540的控制下显示图像数据或UI。具体地，显示器530可以显示从显示装置200接收到的图像帧。如果选择了正显示的图像帧之一，则显示器530可以显示用于选择与所选图像帧相关的信息的GUI。在这种情况下，该GUI可以包括以下项中的至少一个：用于提供关于所选图像帧中包括的角色的信息的图标、用于提供在所选图像帧中包括的角色的其他照片内容的图标、用于提供所选图像帧中包括的物品的购物信息的图标、以及用于提供关于包括中选图像帧的图像内容的详情信息的图标。

所述遥控器可以根据通过用户接口510输入的用户命令，来控制遥控设备50或显示装置200。

具体地，控制器540可以根据向OJ传感器512输入的用户命令，来控制显示装置200。下文中，参见图7到15，将描述根据向OJ传感器512输入的用户命令来控制显示装置200的方法。

如果通过OJ传感器512输入了摩擦交互，则控制器540可以控制第一通信器521向显示装置200发送用于根据该摩擦交互的方向来移动布置在该图标上的加亮的命令。

具体地，如图7所述，如果在以下状态下输入了向右测试OJ传感器512的摩擦交互：立方体形式的多个立体GUI710到790显示在显示装置200的显示屏幕上并且将加亮指示在多个立体GUI710到790中的第五个立体GUI750上，则控制器540可以控制第一通信器521向显示装置200发送用于将位于第五立体GUI750上的加亮移动到右侧并将该加亮显示在第七立体GUI770上的命令。此外，如果输入了向左摩擦OJ传感器的摩擦交互，则控制器540可以控制第一通信器521向显示装置200发送用于向左移动布置在第五立体GUI750上的加亮并将该加亮布置在第二立体GUI720上的命令。此外，如果输入了在左上端的对角方向上摩擦OJ传感器的摩擦交互，则控制器540可以控制第一通信器521向显示装置200发送用于连续向左并向上移动位于第五立体GUI750上的加亮并将该加亮布置在第一立体GUI710上的命令。

此外，如果将推动交互输入到OJ传感器512，控制器540可以通过感测OJ传感器512的按压时间，来确定推动交互是否是键入命令或用于开始确定遥控设备50的移动的触发命令。

具体地，如果OJ传感器512的按压时间短于预定时间，则控制器540可以感测到推动交互是键入命令，并可以选择布置有加亮的图标。例如，如图9所示，如果在立方体形式的多个立体GUI910到990显示在显示屏幕上并将加亮显示于多个立体GUI910到990中的第五立体GUI950上的状态下，输入了将OJ传感器512推动时间短于预定时间的推动交互，则控制器540可以控制第一通信器521向显示装置200发送用于选择第五立体GUI950并提供关于第五立体GUI950的详细信息或提供与第五立体GUI950相对应的广播图像的命令。

此外，如果OJ传感器512的按压时间长于预定时间，则控制器540可以感测推动交互是触发命令，并可以开始使用9轴传感器513来感测遥控设备50的移动。具体地，如图9所示，如果在将立方体形式的多个立体GUI910到990显示在显示屏幕上的状态下，对OJ传感器512的按压时间长于预定时间，则控制器540可以控制第一通信器521向显示装置200发送用于显示UI以便显示遥控设备50的运动程度的命令。(如图10所示)。在这种情况下，如图10所示的UI1000包括第一指示符1015、1025、1035和1045，用于指示遥控设备50在上下左右方向上的运动；以及第二指示符1010、1020、1030和1040，用于指示遥控设备50的运动阈值。

具体地，第一指示符1015、1025、1035和1045可以根据遥控设备50的运动改变长度L。例如，如图11所示，如果在输入了触发命令之后遥控设备50移动到左侧，则多个第一指示符1015、1025、1035和1045中的与遥控设备50的移动相对应的第一指示符1015可以根据向左移动的遥控设备50的运动，改变长度L。

具体地，如果第一指示符1015、1025、1035和1045根据遥控设备50的运动而进行移动并与第二指示符1010、1020、1030和1040发生接触，则控制器540可以控制第一通信器521向显示装置200发送用于根据遥控设备50的移动方向来改变显示装置200的屏幕的命令。

在示例实施例中，如果在显示装置200显示显示屏幕的同时输入了触发命令(如图9所示)，则控制器540可以控制第一通信器521向显示装置200发送用于显示如图10所示的UI1000的命令。此外，如果遥控设备50向左移动，则控制器540可以控制第一通信器521向显示装置200发送令第一指示符1015在向左的方向上增加长度的命令。此外，如果第一指示符1015根据遥控设备50的移动来增加其长度并与第二指示符1010发生接触，则控制器540可以控制第一通信器521向显示装置200发送用于在左侧方向上改变显示装置200的屏幕的命令。响应于用于在向左的方向上改变显示屏幕的命令，显示装置200可以将屏幕改变在左侧(如图12所示)，以便显示多个新的立体GUI1210至1290。

在另一示例实施例中，如果在显示装置200显示显示屏幕的同时输入了触发命令(如图9所示)，则控制器540可以控制第一通信器521向显示装置200发送用于显示如图10所示的UI1000的命令。此外，如果遥控设备50向上移动，则控制器540可以控制第一通信器521向显示装置200发送用于使第一指示符1025增加在向上方向上的长度的命令。此外，如果第一指示符1025根据遥控设备50的运动增加其长度并与第二指示符1020发生接触，则控制器540可以控制第一通信器521向显示装置200发送用于改变显示装置200在向上方向上的屏幕的命令。响应于用于改变在向上方向上的显示屏幕的命令，显示装置200可以将该屏幕改变为上侧(如图13所示)，以便显示用于提供天气信息的UI1310。然而，在屏幕上侧显示的天气信息仅是示例性的，可以显示其他丰富站点摘要(RSS)信息，诸如，库存信息或最近新闻信息。

在另一示例实施例中，如果在显示装置200显示显示屏幕的同时输入了触发命令(如图9所示)，则控制器540可以控制第一通信器521向显示装置200发送用于显示如图10所示的UI1000的命令。此外，如果遥控设备50向下移动，则控制器540可以控制第一通信器521向显示装置200发送用于使第一指示符1045增加在向下方向上的长度的命令。此外，如果第一指示符1045根据遥控设备50的运动增加其长度并与第二指示符1040发生接触，则控制器540可以控制第一通信器521向显示装置200发送用于改变显示装置200在向下方向上的屏幕的命令。响应于用于改变在向下方向上的显示屏幕的命令，显示装置200可以将该屏幕改变为下侧(如图14所示)，以便显示用于控制家庭网络设备的UI1400。

另一方面，在上述示例实施例中，将第一指示符1015、1025、1035和1045以及第二指示符1010、1020、1030和1040显示在UI的上下左右方向上。然而，这仅是示例性的，UI可以在有可能发生屏幕改变的方向上仅显示第一指示符和第二指示符。例如，如果仅有可能在上、下和左方向上改变屏幕，则显示装置200可以仅在上、下和左方向上显示第一指示符1515、1525和1535以及第二指示符1510、1520和1530(如图15所示)。

如上所述，通过经由一个配置(诸如，OJ传感器)同时执行键入命令和触发命令，可以减少遥控设备50的按钮数目。此外，通过显示与遥控设备50的运动相对应的指示符，用户可以更轻松方便地执行屏幕改变操作。

另一方面，在上述示例实施例中，描述了与遥控设备50的运动相对应的指示符是第一指示符1015、1025、1035和1045以及第二指示符1010、1020、1030和1040(如图10所示)。然而，这仅是示例性的，其他指示符可以指示遥控设备50的运动。例如，如图28所示，多个箭头形式的指示符2810、2820、2830和2840可以被显示在显示屏幕的上下左右方向上。在这种情况下，可以根据遥控设备50的运动，用多种颜色来填充指示符2810、2820、2830和2840的箭头。例如，如果遥控设备50移动到右侧，则可以沿向右的方向用颜色逐渐填充位于右侧上的箭头形式的指示符2840。如果根据遥控设备50的运动用颜色完全填充位于右侧上的箭头形式的指示符2840，则显示装置200可以将当前屏幕改变为位于右侧上的屏幕。

此外，如果输入了用于选择书签按钮511-7的书签交互，则控制器540可以提供用于提供与当前显示在显示装置200上的图像或对象相关的信息的书签服务。下文中，参考图16到24，描述提供书签功能的显示装置200。

首先，当显示装置200接收到广播图像时，它可以在显示接收到的广播图像的同时在缓冲器中将接收到的广播图像临时存储预定时间。例如，显示装置200可以将接收到的广播图像临时存储10秒。

如果在显示装置200显示接收到的广播图像的同时输入了用于选择书签按钮511-7的书签交互，则控制器540可以控制第一通信器521发送用于询问当前显示在显示装置200上的图像的信号。

如果显示装置200响应于用于询问当前所显示图像的信号而向遥控设备50发送图像，则控制器540可以控制显示器530显示从显示装置200接收到的图像。具体地，当遥控设备50发送用于询问显示在显示装置200上的图像的信号时，显示装置200可以向遥控设备50发送与当前显示图像相关的临时存储在存储设备250中的多个图像帧。此时，显示装置200可以向遥控设备50发送多个图像帧中预定间隔内的图像帧，其中所述预定间隔是从接收来自遥控设备50的用于请求图像的信号之前的预定先前时间点到接收到用于请求图像的信号的时间点。例如，显示装置200可以以1秒为间隔向遥控设备50发送从接收来自遥控设备50的用于请求图像的信号之前的9秒到接收到来自图像帧的用于请求图像的信号的时间点的10个图像帧。此时，显示装置200可以不仅发送预定间隔内的图像帧，而且还发送包括关于该图像帧的信息的元数据。元数据可以包括关于该图像帧中包括的角色或人的信息、关于该图像帧中包括的货物或产品的信息(例如，购物信息)、以及关于当前接收到的广播图像的信息。如果接收到10个图像帧，如图16所示，则控制器540可以显示10个图像帧1610到1695。在另一示例实施例中，预定间隔可以包括从输入了书签交互的时间点到输入了书签交互之后的时间点。此外，预定间隔可以包括在输入书签交互之前的一段时间到输入书签交互之后的相同时间段。

根据用户命令，控制器540可以提供关于当前显示在显示装置200上的图像的信息。在这种情况下，关于该图像的信息可以是通过将在显示器530中选择的对象与从用户接口510提供的GUI元素相结合得到的信息。

具体地，如图16所示，如果在显示10个图像帧1610到1695的同时输入了用于选择第二图像帧1620的用户命令，则如图17所示，控制器540可以控制显示器放大所选图像帧并显示关于所选图像帧的信息(例如，再现时间信息)。此外，如果指针1800根据用户命令(例如，触摸命令)位于要在所选图像帧中检索的对象上(如图18所示)，则控制器540可以控制显示器530显示用于检索多种信息的检索GUI。

在这种情况下，检索GUI可以包括用于提供所选图像帧中包括的物品的购物信息的“购物”图标1810、用于提供所选图像帧中包括的角色的信息的“谁”图标1820、用于提供所选帧中包括的角色的其他照片内容的“粉丝”图标1830、以及用于提供所选图像帧中包括的图像内容的详细信息的“IMDB”图标。

如果选择了检索GUI所包括的多个图标1810到1840之一，则控制器540可以控制第二通信器522向信息检索服务器300发送用于询问与所选图标相对应的信息的信号。此外，如果从信息检索服务器300接收到与当前显示图像相关的信息，则控制器540可以控制显示器530显示与接收到的图像相关的信息。具体地，如果选择了多个图标中的用于提供所选图像帧中包括的物品的购物信息的“购物”图标1810，则控制器540可以控制第二通信器522从元数据提取与所选物品相关的信息(例如，产品名称)，并向信息提供服务器300发送所提取的与该物品相关的信息，以便请求与从图像帧中选择的物品相关的购物信息。此外，如果从信息提供服务器300接收到与物品相关的购物信息(例如，最低价格信息)，则控制器540可以控制显示器530显示包括接收到的购物信息的UI1900(如图19所示)。另一方面，如果选择了用于提供与所选图像帧中包括的角色相关的信息的“谁”图标1820，则控制器540可以控制第二通信器522从元数据提取与所选角色相关的信息(例如，角色名称)并向信息提供服务器300发送所提取的关于该角色的信息。此外，如果从信息提供服务器300接收到关于该角色的信息(例如，该角色的简史或其他属性)，则控制器540可以控制显示器530显示包括接收到的角色信息的UI2000(如图20所示)。此外，如果选择了用于提供关于所选图像帧中包括的角色的信息的谁图标1820，则控制器540可以控制第二通信器522从元数据提取关于所选角色的信息(例如，角色名称)，并向信息提供服务器300发送所提取的关于该角色的信息。此外，如果选择了用于提供关于包括所选图像帧的图像内容的详细信息的IMDB图标1840，则控制器540可以控制第二通信器522从元数据提取关于该图像的信息(例如，图像标题)并向信息提供服务器300发送所提取的关于该图像的信息。此外，如果从信息提供服务器300接收到关于该图像的详细信息(例如，图像图表、再现信息和出现的男演员/女演员)，则控制器540可以控制显示器530显示包括接收到的关于该图像的详细信息的UI2100(如图21所示)。此外，如果选择了用于提供所选图像帧中包括的角色的其他照片内容的粉丝图标1830，则控制器540可以控制第二通信器522从元数据提取关于所选角色的信息(例如，角色名称)并向信息提供服务器300发送所提取的关于该角色的信息。此外，如果从信息提供服务器300接收到所选角色的另一照片，则控制器540可以控制显示器530显示包括另一接收到的照片的UI2200(如图22所示)。

此外，控制器240可以根据预定用户交互，控制第一通信器521在显示装置200的显示屏幕上显示与当前显示在显示器530上的图像相关的信息。具体地，如果在将图19所示的购物信息显示在显示器530上的同时选择了遥控设备50的屏幕指定按钮中的与第二子屏幕相对应的第三屏幕指定按钮511-11，则控制器540可以控制第一通信单元521向显示装置200发送用于在第二子屏幕上显示购物信息的命令。如果显示装置200接收到用于在第二子屏幕上显示购物信息的命令(如图23所示)，则显示装置200显示主屏幕2320以及多个子屏幕2310和2330。然后，显示装置200可以将主屏幕2320和多个子屏幕2310和2330移动到左侧。此外，如图24所示，显示装置200可以在显示屏幕的主屏幕232上显示该图像，可以将与该图像相关的购物信息显示在第二子屏幕2330上。在另一示例实施例中，可以将与该图像相关的购物信息和该图像显示在主屏幕232上。

如上所述，通过向遥控设备50或显示装置200的多个屏幕之一提供与图像相关的信息，用户可以更方便地确认与该图像相关的信息，而无需中断观看当前显示的图像。

下文中，参考图25到27描述了多种实施例。

图25是示出了根据示例实施例用于控制用于提供书签服务的遥控设备50的方法的流程图。

首先，遥控设备50确定是否输入了预定用户交互(S2510)。此时，预定用户交互可以是用于选择设置在遥控设备50上的多个按钮中的书签按钮511-7的书签交互。

如果输入了预定用户交互(S2510-Y)，则遥控设备50从显示装置接收图像(S2520)。具体地，如果输入了书签交互，则遥控设备50可以向显示装置100发送用于请求图像的信号。如果显示装置100响应于用于请求图像的信号而向遥控设备50发送当前显示图像，则遥控设备50可以从显示装置100接收当前显示在显示装置100上的图像。此时，遥控设备50可以从显示装置100接收由显示装置100显示多个图像帧中预定间隔内的图像帧，其中预定间隔是从输入书签交互之前的预定先前时间点到输入书签交互的时间点。在另一示例实施例中，预定间隔可以包括输入书签交互的时间点到输入书签交互之后的时间点。此外，预定间隔可以包括在输入书签交互之前的一段时间到输入书签交互之后的相同时间段。

此外，遥控设备50显示接收到的图像帧(S2530)。具体地，如图17所示，遥控设备50可以显示接收到的多个图像帧。

然后，遥控设备50确定是否输入了用于接收与该图像相关的信息的用户命令(S2540)。此时，用户命令可以是用于选择多个图像帧之一的用户命令或用于选择要检索的信息的用户命令。

如果输入了用户命令(S2540-Y)，则遥控设备50根据该用户命令提供与该图像相关的信息(S2550)。具体地，如果输入了用户命令，则遥控设备50可以提供与预存储的图像相关的信息或可以提供从外部信息提供服务器300接收到的与该图像相关的信息。在这种情况下，遥控设备50可以显示购物信息、角色信息和图像的详细信息，作为与该图像相关的信息。

图26是根据示例实施例的解释用于控制用于提供书签服务的显示系统10的方法的序列图。

首先，显示装置100临时存储接收到的图像(S2605)。具体地，显示装置可以用FIFO方法将当前接收到的广播图像临时存储预定时间(例如，10秒)。在这种情况下，显示装置100可以将所有图像帧临时存储预定时间。然而，这仅是示例性的，显示装置可以将多个图像帧中的预定间隔内的图像帧(例如，I帧)临时存储预定时间。

然后，遥控设备50接收来自用户的书签交互(S2610)。在这种情况下，书签交互可以是用于选择遥控设备50设置的多个书签按钮中的书签按钮的用户交互。

然后，遥控设备50向显示装置100请求图像(S2615)。

响应于图像请求，显示装置100向遥控设备50发送临时存储的图像(S2620)。具体地，显示装置100可以向遥控设备50发送预定间隔内的临时存储的图像帧。

然后，遥控设备50显示从显示装置100接收到的图像(S2625)。此时，遥控设备50可以显示预定间隔内的所有图像帧。

然后，遥控设备50接收用于接收与该图像相关的信息的用户命令(S2630)。在这种情况下，用于接收与该图像相关的信息的用户命令可以包括：用于选择预定间隔内的图像帧之一的用户命令、用于在所选图像帧中选择要检索的目标的用户命令、以及用于在与所选目标相关的信息中选择要检索的信息类型的用户命令。

然后，遥控设备50向信息提供服务器300请求信息(S2635)。具体地，遥控设备50可以请求关于由用户选择的目标的信息。在这种情况下，该类信息可以包括以下项中的至少一个：关于所选图像帧中包括的角色的信息、关于所选图像帧中包括的角色的其他照片内容的信息、关于所选图像帧中包括的物品的购物信息、以及关于包括所选图像帧的图像内容的详细信息。

然后，信息提供服务器300响应于信息提供请求，向遥控设备50提供信息(S2640)。

然后，遥控设备50显示从信息提供服务器300接收到的与该图像相关的信息(S2645)。此外，遥控设备50可以根据用户命令向显示装置100发送与该图像相关的信息，使得可以将与该图像相关的信息显示在显示装置100上。

如上所述，由于遥控设备50提供与该图像相关的信息，用户可以在通过显示装置100观看图像的同时通过遥控设备50确认与该图像相关的信息。

图27是示出了根据通过遥控设备50向OJ传感器输入的用户交互来控制显示装置100的方法的流程图。

首先，遥控设备50感测针对OJ传感器的用户输入(S2710)。

然后，遥控设备50确定对OJ传感器的用户交互是否是用于摩擦OJ传感器的摩擦交互(S2720)。

如果确定用户交互是摩擦交互(S2720-Y)，则遥控设备50向显示装置100发送加亮移动命令以便与摩擦交互的方向相对应(S2730)。因此，显示装置100可以将当前显示的加亮移动到另一图标，以便在对应图标上显示加亮。

如果确定用户交互不是摩擦交互(S2720-N)，则遥控设备50确定输入用户交互是推动交互(S2740)。

如果确定用户交互是推动交互，则遥控设备50确定用户对OJ传感器的按压时间是否长于预定时间(S2750)。

如果用户对OJ传感器的按压时间长于预定时间(S2750-Y)，则遥控设备50确定推动交互是触发命令，并向显示装置100发送用于显示指示符的命令(S2760)。此时，触发命令可以是用于开始对遥控设备50的运动感测的命令。如果接收到用于显示指示符的命令，则显示装置100可以显示用于引导遥控设备50的移动的指示符。

然而，如果OJ传感器的按压时间短于预定时间(S2750-N)，则遥控设备50确定推动交互是键入命令，并向显示装置100发送用于选择布置有加亮的图标的命令(S2770)。因此，显示装置100选择布置有加亮的图标，并可以在显示屏幕上显示与该图标相对应的图像的详细信息，或再现与该图标相对应的图像。

如上所述，通过使用一个OJ传感器来接收多种用户命令，可以减少在遥控设备50上设置的按钮的数目，可以改善用户实用性。

根据另一示例实施例，遥控设备50可以执行第二TV功能，其中显示装置100从显示装置100实时接收图像并显示接收到的图像。在这种情况下，如果在遥控设备50实时接收到在显示装置100上显示的图像的同时输入了书签交互，则遥控设备50可以在输入书签交互时存储关于该场景的书签信息。如果随后输入了预定用户命令，则遥控设备50可以当输入了书签交互时使用预存储的书签信息再次再现该图像，或可以当输入了书签交互时向外部显示装置100发送用于再次再现该图像的命令。

此外，遥控设备50可以检测包括预定对象(例如，播放器)的场景并提供用于存储关于检测到的场景的信息的自动书签功能。具体地，如果通过用户选择了特定男演员/女演员，则遥控设备50可以使用面部识别技术等，来检测用户所选的特定男演员/女演员是否存在于该图像中。如果检测到用户所选的特定男演员/女演员，则遥控设备50可以存储关于从中检测到用户所选的特定男演员/女演员的场景的书签信息。如果输入了预定用户命令，则遥控设备50可以使用预存储的书签信息，根据从中检测到特定男演员/女演员的场景，再次重现该图像，或可以向外部显示装置100发送用于根据从中检测到特定男演员/女演员的场景来再次再现图像的命令。

遥控设备50识别对象并自动存储书签信息的情况仅是示例性的。可以通过检测多种因素，来自动存储书签信息，诸如，特定场景、男演员/女演员的特定行为、屏幕基调、声音和音乐。

另一方面，如上所述的根据多种实施例的控制方法可以实现为程序，并可以存储在非暂时性计算机可读介质中。非暂时性计算机可读记录介质不是临时存储数据的介质，诸如，寄存器、缓存器或存储设备，而是表示半永久性地存储数据并可以由设备读取的介质。具体地，上述多种应用和程序可以存储并设置在非暂时性计算机可读记录介质中，诸如，CD、DVD、硬盘、蓝光盘、USB、存储卡和ROM。

尽管参考一些实施例示出并描述了本公开，然而本领域技术人员应认识到可以在其中进行形式和细节上的多种修改，而不脱离由所附权利要求限定的示例实施例的精神和范围。

Claims (15)

1.一种用于控制显示装置的遥控设备，所述遥控设备包括：

用户接口，配置为接收用户交互；

第一通信器，配置为与显示装置进行通信并接收图像；

显示器；以及

控制器，配置为响应于通过用户接口输入了第一交互，控制显示器显示从显示装置接收到的多个图像中的至少一个图像，响应于根据通过用户接口输入的第二交互选择了包括在所显示的所述至少一个图像中的对象并且通过用户接口选择了图形用户界面GUI元素，检索与所选对象相关的信息，并显示与所选对象相关的信息。

2.根据权利要求1所述的遥控设备，其中响应于通过用户接口输入了第一交互，所述控制器配置为控制第一通信器接收由显示装置显示的预定间隔内的多个图像帧，其中所述预定间隔从输入第一交互之前的预定先前时刻到输入了第一交互的时刻。

3.根据权利要求2所述的遥控设备，其中控制器配置为控制显示器在显示器上显示接收到的预定间隔内的图像帧，响应于选择了所显示的预定间隔内的图像帧之一，显示用于选择与包括在所选图像帧中的所选对象相关的信息的GUI。

4.根据权利要求3所述的遥控设备，其中所述GUI元素包括以下中的至少一个：用于提供与所选图像帧中包括的角色或人相关的信息的图标、用于提供所选图像帧中包括的角色或人的不同照片内容的图标、用于提供关于所选图像帧中包括的产品的信息的图标、以及用于提供关于包括所选图像帧的图像内容的信息的图标。

5.根据权利要求1所述的遥控设备，还包括：第二通信器，配置为与外部服务器进行通信，

其中所述控制器还配置为：响应于根据第二交互选择了包括在所显示的至少一个图像中的对象，控制第二通信器从外部服务器接收与所选对象相关的信息。

6.根据权利要求5所述的遥控设备，其中所述控制器配置为控制第一通信器接收所述图像的元数据以及所述图像，控制第二通信器向外部服务器发送元数据并从外部服务器接收关于元数据的信息。

7.根据权利要求1所述的遥控设备，其中所述控制器还配置为控制第一通信器向显示装置发送与所选对象相关的信息，其中所述显示装置配置为显示与所选对象相关的信息。

8.根据权利要求7所述的遥控设备，其中响应于从遥控设备接收到与所述对象相关的信息，所述显示装置配置为产生多个屏幕，在多个屏幕中的一个屏幕上显示所述图像，并在多个屏幕中的另一屏幕上显示与所选对象相关的信息。

9.一种用于控制遥控设备的显示装置的方法，所述方法包括：

响应于在用户接口中输入了第一交互，显示从显示装置接收的多个图像中的至少一个图像；以及

响应于根据在用户接口中输入的第二交互选择了所显示的至少一个图像中包括的对象并通过用户接口选择了图形用户界面GUI元素，检索并显示与所选对象相关的信息。

10.根据权利要求9所述的方法，其中响应于输入了第一交互，所述显示至少一个图像包括：接收由显示装置显示的预定间隔内的多个图像帧，其中所述预定间隔从输入第一交互之前的预定先前时刻到输入第一交互的时刻。

11.根据权利要求10所述的方法，其中所述显示至少一个图像还包括：显示接收到的预定间隔内的图像帧，并且

其中所述检索并显示与所选对象相关的信息包括：响应于选择了所显示的预定间隔内的图像帧之一，显示用于选择与包括在所选图像帧中的所选对象相关的信息的GUI。

12.根据权利要求11所述的方法，其中所述GUI元素包括以下项中的至少一个：用于提供与所选图像帧中包括的角色或人相关的信息的图标、用于提供所选图像帧中包括的角色或人的不同照片内容的图标、用于提供关于所选图像帧中包括的产品的信息的图标、以及用于提供关于包括所选图像帧的图像内容的信息的图标。

13.根据权利要求9所述的方法，其中所述检索并显示与所选对象相关的信息包括：响应于根据第二交互选择了在所显示的至少一个图像中包括的对象，从外部服务器接收与所选对象相关的信息。

14.根据权利要求13所述的方法，其中所述接收与所选对象相关的信息包括：接收所述图像的元数据以及所述图像，其中所述检索并显示与所选对象相关的信息还包括：向外部服务器发送元数据并从外部服务器接收关于元数据的信息。

15.根据权利要求9所述的方法，还包括：

向显示装置发送与所选对象相关的信息，

其中所述显示装置显示与所选对象相关的信息。