CN103037262B - 根据遥控器命令信号显示元数据的显示设备及其控制方法 - Google Patents

根据遥控器命令信号显示元数据的显示设备及其控制方法 Download PDF

Info

Publication number
CN103037262B
CN103037262B CN201210295803.5A CN201210295803A CN103037262B CN 103037262 B CN103037262 B CN 103037262B CN 201210295803 A CN201210295803 A CN 201210295803A CN 103037262 B CN103037262 B CN 103037262B
Authority
CN
China
Prior art keywords
metadata
remote control
video data
display device
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210295803.5A
Other languages
English (en)
Other versions
CN103037262A (zh
Inventor
尹任卿
申晸雅
C·C·萨达施宛
S·K·夫纳姆
V·拉查巴图尼
金炳秀
崔恩智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN103037262A publication Critical patent/CN103037262A/zh
Application granted granted Critical
Publication of CN103037262B publication Critical patent/CN103037262B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及根据遥控器命令信号显示元数据的显示设备及其控制方法。一种控制显示设备的方法包括以下步骤：经由接收设备从外部源设备接收视频数据和与视频数据相对应的元数据；在显示设备的显示器上显示接收到的视频数据；经由控制器从与显示设备关联的遥控器接收动作命令信号；以及根据通过动作命令信号识别出的遥控器的特定动作，在显示器上选择性地显示与被包含在所显示的视频数据中的至少一个对象相对应的元数据。

Description

根据遥控器命令信号显示元数据的显示设备及其控制方法
技术领域
本发明涉及根据遥控器命令信号显示元数据的显示设备及其控制方法，并且更具体地，涉及利用遥控器调整在显示设备上显示的视频数据中包含的元数据的显示顺序或透明度并显示元数据以由此提供方便的用户界面的显示设备及其控制方法。显示设备的示例包括网络电视机（TV）、智能TV、混合广播宽带电视机（HBBTV）、因特网TV、网络TV和因特网协议电视机（IPTV）。
背景技术
广播站现在提供视频点播（VOD）服务，该服务允许用户（即，观众）决定在何时观看他们想要观看的广播内容，而非是以提供商为中心的单向服务。VOD服务还被用于远程医疗、远程教育、因特网广播、在家工作和在家购物以及现有的电视（TV）和录影机。
还提供了实时传输类型的服务，如VOD流服务。更具体地说，流服务是用于在因特网上实时地再现音频、视频或动画的技术。在流服务之前，必须在将视频文件下载并存储在硬盘上后才可以在相应终端上再现视频文件。但是，流服务实时地再现这样的视频文件。此外，因为视频文件在被流式传输时没有被下载并存储，因此用户不能复制这样的视频文件。结果，降低了侵犯视频文件版权的风险。由于这个原因，近年来流服务已经广泛地在因特网广播站点使用。
与VOD流服务相关联地，基于因特网内容的复位提供站点在提供内容服务的同时向用户提供广告内容。这是因为内容服务提供商通常从广告收入中得到收益，而非从内容的提供得到收益。
另外，广告内容通常是在提供内容服务之前提供的。在该情况下，用户必须等待他们想观看的内容的再现并观看广告，尽管他们可能不想观看这些广告。另外，当用户在内容的再现期间想要获得关于他们感兴趣的货物或音乐的信息时，必须执行另外的检索处理。
另外，当用户在内容再现期间观看关于货物的广告时，用户常常受到不必要的广告的影响，这降低了广告效率。另外，用户无意中受到广告的影响。而且，当用户在内容再现期间观看广告时，内容被广告遮盖，这电压用户而言是不方便的。
发明内容
因此，本发明的一个目的是提供一种根据遥控器的命令信号来显示元数据的显示设备和方法，其基本上消除了由于相关技术的限制和缺点所导致的一个或更多个问题。
本发明的另一目的是提供一种用户接口，该用户接口允许用户使用遥控器通过简单的动作来确认在显示设备上显示的内容中是否包括包含广告的元数据。
本发明的又一目的是提供一种用户接口，该用户接口可以使用遥控器通过简单的动作来调整显示中包括的元数据的显示顺序、量和透明度。
本发明的另一目的是限定一种遥控器与显示设备之间的数据传输协议，该数据传输协议用于使用遥控器通过动作来调整内容中包含的元数据的显示顺序、量和透明度。
本发明的再一目的是提供一种用户接口，该用户接口可以使用遥控器通过动作来存储内容中包含的元数据并方便地观看存储的元数据。
为了实现这些目的和其他优点并根据本发明的目的，作为具体和广义的描述，本发明在一个方面中提供了一种控制显示设备的方法，并且该方法包括：经由接收设备从外部源设备接收视频数据和与所述视频数据相对应的元数据；在所述显示设备的显示器上显示接收到的视频数据；经由控制器从与所述显示设备关联的遥控器接收动作命令信号；以及根据使用所述动作命令信号识别的遥控器的特定动作，在所述显示器上选择性地显示与被包含在所显示的视频数据中的至少一个对象相对应的元数据。
在另一方面，本发明提供一种显示设备，该显示设备包括：接收设备，其被配置为从外部源设备接收视频数据和与所述视频数据相对应的元数据；显示器，其被配置为显示接收到的视频数据；以及控制器，其被配置为从与所述显示设备关联的遥控器接收动作命令信号，并根据使用所述动作命令信号识别的所述遥控器的特定动作在所述显示器上选择性地显示与被包含在所显示的视频数据中的至少一个对象相对应的元数据。
根据下面提供的详细描述，本发明的更大的应用范围将变得明显。但是，应该理解，详细的描述和特定的示例尽管指示了本发明的优选实施方式，但它们仅为了例示的目的而提供，根据该详细描述，本发明的精神和范围内的各种变化和修改对本领域技术人员将变得明显。
附图说明
附图被包括进来以提供对本发明的进一步的理解并结合到本申请中且构成本申请的一部分，附图示出了本发明的实施方式，且与说明书一起用于解释本发明的原理。在附图中：
图1是示出根据本发明的实施方式的显示设备的框图；
图2是示出根据本发明实施方式的在显示设备中显示对象之前和之后显示内容的概图；
图3是示出根据本发明实施方式的识别遥控器的动作并在显示设备中显示元数据的概图；
图4是示出根据本发明实施方式的识别遥控器的动作并在显示设备中调整元数据的透明度的概图；
图5是示出根据本发明实施方式的遥控器的动作以在显示设备中接收命令信号的概图；
图6是示出根据本发明实施方式的在显示设备中透明地显示的元数据的概图；
图7是示出根据本发明实施方式的在显示设备的单独区域中显示元数据的概图；
图8是示出根据本发明实施方式的用于在显示设备中提供元数据的元数据登记系统的概图；
图9是示出根据本发明实施方式的在显示设备中使用的元数据层级图的概图；
图10是示出根据本发明实施方式的在从遥控器接收到选择信号时在显示设备中显示对象的概图；
图11是示出根据本发明实施方式的响应于遥控器的动作而在显示设备中顺序地显示元数据的概图；
图12是示出根据本发明实施方式的显示在显示设备中存储的特定元数据的概图；
图13是示出根据图12的显示特定元数据的另一实施方式的概图；
图14是示出根据本发明实施方式的在在显示设备中显示存储的特定元数据的另一实施方式的概图；
图15是示出根据图14的显示特定元数据的另一实施方式的概图；
图16是示出根据本发明实施方式的用于控制显示设备的遥控器的外观的概图；
图17是在图16中示出的遥控器的框图；
图18是示出根据本发明实施方式的与从遥控器发送来的第一条件相对应的命令信号的概图；
图19是示出根据本发明实施方式的从遥控器发送与第三条件相对应的命令信号的概图；
图20是示出根据图19的与从遥控器发送来的第三条件相对应的命令信号的概图；
图21是示出根据本发明实施方式的显示设备的控制方法的流程图；
图22是示出根据本发明另一实施方式的显示设备的控制方法的流程图；
图23是示出根据本发明又一实施方式的显示设备的控制方法的流程图；以及
图24是示出根据本发明实施方式的显示设备与遥控器之间的数据传输协议的流程图。
具体实施方式
现在将详细阐述本发明的实施方式，在附图中示出了这些实施方式的示例。只要可能，在附图中始终使用相同的标号来表示相同或相似的部件。
在下面的描述中使用的组件的后置用语“模块”和“单元”仅仅是为了本说明书的方便而给出的。“模块”和“单元”可以彼此混合使用。
同时，在本说明书中描述的显示设备包括具有计算机支持功能以及广播接收功能的智能网络TV。由于除了广播接收功能外还向显示设备添加了因特网功能，因此显示设备可以包括可以比书写类型型的输入设备、触摸屏或空间遥控器更方便地使用的界面。另外，显示设备可以利用有线或无线因特网功能连接到因特网或计算机，使得可以执行电子邮件收发、网络浏览、银行和游戏功能。针对这样的多种功能，可以使用标准化的通用操作系统（OS）。
因此，在根据本发明的实施方式的显示界面中，例如在通用OS内核上可以自由地添加2或去除各种应用，因此可以执行各种用户友好的功能。
图1是示出根据本发明的实施方式的显示设备100的框图。按照本领域技术人员的需要，一些模块可从图1删除，或者新的模块可以添加到图1。如图1所示，显示设备100包括广播接收单元110、网络接口115、外部设备接口120、存储器130、控制器150、用户接口160、电源单元170、显示单元180和音频输出单元190。
广播接收单元110可以包括调谐器111、解调制单元113和网络接口115。如果需要，也可以对广播接收单元110进行设计，使得广播接收单元110包括调谐器111和解调制单元113，但不包括网络接口115。相反，也可以对广播接收单元110进行设计，使得广播接收单元110包括网络接口115，但不包括调谐器111和解调制单元113。
此外，在由天线接收到的射频（RF）广播信号中，调谐器111选择与用户选择的频道或全部存储的频道相对应的RF广播信号。解调制单元113接着接收并解调制由调谐器111转换的数字IF信号（DIF）。从解调制单元113输出的流信号可以输入到控制器150。在进行解复用和视频/音频信号处理后，控制器150向显示单元180输出视频并向音频输出单元190输出音频。
网络接口115可以包括例如用于连接有线网络的以太网端子。另外，网络接口115可以使用诸如无线LAN（WLAN）（Wi-Fi）、无线宽带（Wibro）、全球微波接入互操作性（Wimax）、高速下行分组接入（HSDPA）的通信标准以连接到无线网络。网络接口115还可以通过网络选择并接收对公众开放的多个应用中想得到的应用。
另外，外部设备接口120可以将外部设备连接到显示设备100。为此，外部设备接口120可以包括A/V输入和输出单元或无线通信单元。因而，外部设备接口120可以按照有线或无线的方式连接到诸如数字通用盘（DVD）播放器、蓝光盘（BD）播放器、游戏机、相机、可携式摄像机或计算机（膝上型计算机）。另外，外部设备接口120可以从邻近的外部设备接收应用或应用列表并向控制器150或存储器130发送接收到的应用或应用列表。
存储器130可以由电可擦除可编程只读存储器（EEPROM）实现。存储器130还可以存储用于在控制器150中处理和控制信号的程序或经信号处理的视频、音频或数据信号。另外，存储器130可以临时存储从外部设备接口120或网络接口150输入的视频、音频或数据信号。另外，存储器130可以存储从外部设备接口120或网络接口150输入的应用或应用列表。
此外，用户接口160将用户输入的信号发送到控制器150或将来自控制器150的信号发送给用户。例如，用户接口160可以接收并处理诸如电源开启/关闭、频道选择或画面设置的控制信号，或者根据诸如射频（RF）通信模式或红外（IR）通信模式的各种通信模式将来自控制器150的控制信号发送到遥控器1300。
显示单元180将控制器150处理过的视频信号、数据信号或屏显（OSD）信号或由外部设备接口120接收到的视频信号或数据信号转换为红（R）、绿（G）和蓝（B）信号以生成驱动信号。显示单元180可以由等离子体显示面板（PDP）、液晶显示器（LCD）、有机发光二极管（OLED）、柔性显示器或三维（3D）显示器实现。
音频输出单元190从控制器150接收诸如立体声信号、3.1通道信号或5.1通道信号的经过音频处理的信号，并将接收到的信号输出为音频。音频输出单元190可以由各种类型的扬声器实现。
电源单元170向显示设备100供电。例如，电源单元170可以向按照片上系统（SOC:System On Chip）的形式配置的控制器150、用于显示视频的显示单元180和用于输出音频的音频输出单元190供电。
另外，遥控器1300将用户输入发送到用户接口160。为此，遥控器1300可以使用蓝牙、射频（RF）通信、红外（IF）通信、超宽带（UWB）或ZigBee模式。另外，可以感测遥控器1300的动作，并且将感测到的动作作为命令信号发送到显示设备100。下面将参照图16和17详细地描述遥控器1300。
以下，将描述根据遥控器的命令信号显示元数据的显示设备100。更详细地说，外部设备接口120从外部源设备接收视频数据和元数据，并且显示单元180显示接收到的视频数据。这里，作为示例，外部源设备可以包括陆地或有线广播服务器、内容服务器和内容相关广告（advertisement）提供服务器。
视频数据是由广播服务器提供的内容相关数据。视频数据包括通过各种类型的有线和无线通信网络提供的数字数据以及电影、戏剧、音乐视频和游戏。视频数据还可以通过点播（VOD）服务来接收。
此外，作为示例，元数据包括广告数据、内容数据、指南（guidance）数据和关于针对视频数据的每一帧预定的对象的补充数据。因而，包含在用于向用户推广或向用户提供详细信息的视频数据中的诸如人物、地点或商品的包括元数据的事物被称为对象。元数据还存储在存储器130中以与视频数据中包含的各个对象匹配。结果，诸如地点、音乐、人物和商品的可以通过视频数据显示的全部事物可以是对象。诸如补充数据和指南数据的关于对象的元数据也可以存储在存储器130中。
例如，当对象是商品时，与对象相对应的元数据可以包括商品名称、价格和商店。另外，当对象是诸如书籍或音乐的作品时，元数据可以包括名称、作者、价格和商店。当对象是诸如旅馆或餐馆的地点时，元数据可以包括店铺名称、位置、电话号码和主页地址。此外，元数据可以包括用于显示其中所包含的数据的图形数据。除了对象相关信息外，元数据可以包括补充信息和视频数据的链接信息。
同时，广告市场随着内容市场的扩展而增长。具体地说，TV观众倾向于购买电影或戏剧中的男主角和女主角穿戴的衣服、包和鞋。实际上，这样的货物经常被售完。
在与内容的提供同时地而不是在内容的提供之前或之后提供关于特定的人物、地点和商品的元数据时，在显示内容的同时，用户可以立即看到他/她所喜欢的商品的信息。另外，用户甚至可以购买他/她喜欢的商品，这是很方便的。
另外，广告商或内容提供商可以更好地向公众做广告，由此提高广告效率。结果，存储器130可以将视频数据中包含的至少一个对象与关于该对象的元数据匹配起来，并且存储针对视频数据的每一帧的匹配数据。
此外，显示单元180显示接收到的视频数据，并且用户接口160接收来自遥控器1300的至少一个命令信号。此时，控制器150可以控制显示元数据的范围（元数据显示范围）根据接收到的命令信号改变。
控制改变元数据显示范围包括改变显示的元数据的量以改变在画面上显示的元数据的显示区域，以及改变元数据的显示顺序以改变显示的元数据的量。此外，从遥控器1300接收到的命令信号包括与遥控器1300的按照预定模式的移动相对应的动作信号和用于在显示的视频数据中选择特定区域的选择信号。
控制器150可以判断对象是否存在于选择信号所选择的区域中，在判断出该对象存在时，显示与该对象相对应的元数据，下面将参照图10对此进行描述。
下面，图2是示出根据本发明实施方式的在显示设备中显示对象之前和显示对象之后显示内容的概图。具体地说，图2中的（a）是示出在显示对象之前显示内容的概图。当内容被再现时，根本不显示对象。但是，当用户想知道关于内容中包含的特定商品或地点的信息时，可以显示这样的信息。
当用户接口160接收到的命令信号对应于第一条件时，控制器150显示具有元数据的对象，其中具有元数据的对象是被分开的，使得用户可以知道。即，控制器150控制单元180分离地显示具有元数据的第一区域和不具有元数据的第二区域。
接着，图2中的（b）是示出在显示对象之后显示内容的概图。在显示的视频数据中，包含元数据的对象210、220和230是第一区域，该第一区域具有粗的边界。视频数据的不包括元数据的其余区域是第二区域，该第二区域没有附加标记地显示。
所述第一条件是，由控制器150识别出的遥控器130的动作是第一动作。该第一动作可以是在能够通过遥控器1300执行的全部动作中选择的特定动作。结果，第一动作可以是在垂直方向上移动遥控器1300、在水平方向上移动遥控器1300、按顺时针方向旋转遥控器1300或按逆时针方向旋转遥控器1300。另外，第一动作可以是使用遥控器1300画出特定形状。下面将参照图18对此进行描述。
另外，被设置为第一动作的动作信息可以存储在存储器130中，并且控制器150可以判断从用户接口160接收到的动作信息是否对应于存储的动作信息。例如，当把摇动遥控器设置为第一动作并且用户摇动遥控器1300时，控制器150判断相应的动作是第一动作，并将包括元数据的对象分离地显示。
此外，第一条件可以是在遥控器1300的特定按钮被按下时生成的信号。第一条件还可以根据预设的信息而改变。
分离地显示包括元数据的对象作为第一区域的方法还包括以闪烁的方式显示包括元数据的对象和以粗边界显示包括元数据的对象。此外，可以使用黑白色显示第二区域，并且可以仅使用特定颜色来显示包括元数据的第一区域。
由于包括元数据的对象如上所述地分离显示，用户可以确认是否存在用户感兴趣的信息。当存在这样的信息时，过程前进到下一步骤。另一方面，当不存在信息时，用户可以继续使用内容。此外，为了继续使用内容，可以另外设置不区分第一区域和第二区域的情况下显示原始视频数据。当对应于设置的动作时，控制器150可以控制显示单元180显示原始的视频数据。
由于对象被分离地显示，用户不必须观看不必要的广告。此外，广告制作商可以仅向想看广告的用户做广告，由此进一步提高广告效率。
同时，在用户确定存在用户感兴趣的信息时，用户可能想要更详细的信息。因此，在本发明中，用户可以使用遥控器130通过简单的动作来观看元数据，由此提高用户便利。
图3是示出根据本发明实施方式的识别遥控器的动作并在显示设备中显示元数据的概图。当用户接口160接收到的命令信号对应于第二条件时，控制器150可以控制显示单元180同时显示与元数据相对应的图形数据和接收到的视频数据。
如图3中的（a）所示，当分离地显示视频数据中包含的对象310、320和330时，（即，分离地显示第一区域和第二区域时），并且当使用遥控器1300执行第二动作时，相应对象的元数据311、321和331同时显示，如图3中的（b）所示。
此外，第二条件是使用第二动作来移动遥控器1300。当识别出的动作是第二动作时，与对象的元数据相对应的图形数据与视频数据同时显示。此外，第二动作可以是能够通过遥控器1300执行的全部动作中选择的特定动作。如图3所示，第二动作可以是使遥控器1300围绕其中央旋转（翻转动作）。在该情况下，当用户旋转遥控器1300时，控制器150通过用户接口160识别出遥控器1300的旋转，即，第二动作。
结果，控制器150参照存储器130，同时显示视频数据和与图形数据中包含的与元数据相对应的图形数据。另外，第二动作不限于如上所述的旋转遥控器1300的动作。例如，第二动作可以是在垂直方向上移动遥控器1300、在水平方向上移动遥控器1300、以之字形移动遥控器1300或画出特定形状。
另外，被设置为第二动作的动作信息可以存储在存储器130中，并且控制器150可以判断从用户接口160接收到的动作信息是否对应于存储的动作信息，使得动作信息可以被识别为第二动作。另外，第二条件可以是在遥控器1300的特定按钮被按下时生成的信号。第二条件还可以根据预设的信息而改变。
此外，遥控器1300包括用于感测遥控器1300的诸如旋转的动作的传感器。结果，遥控器1300的动作可以使用由显示设备的用户接口1600接收到的信号来识别，下面将参照图17进行描述。另外，与元数据相对应的图形数据可以按照屏显（OSD）模式显示。
更具体地说，以OSD模式显示的画面通常以不透明的方式重叠在原始视频信息上，使得不能看到重叠部分的下层画面。因此，在本发明中，对显示元数据的部分的透明度做出调整以解决这样的问题。具体地说，可以通过用户的简单动作来解决这样的问题，由此提高用户的便利。
也就是说，元数据包括用于显示元数据的图形数据。当与内容（即视频数据）一起显示图形数据时，图形数据遮住视频数据的一部分，这样就干扰了内容的使用。由于该原因，控制器可以调整图形数据的透明度。
此外，控制器150使用用户接口160接收到的信号来识别遥控器1300的动作，并响应于该动作来控制显示单元180调整关于对象的元数据的透明度。
接下来，图4是示出根据本发明实施方式的识别遥控器的动作并在显示设备中调整元数据的透明度的概图。更详细地说，当用户接口160接收到的命令信号对应于第三条件时，控制器150可以响应于遥控器130的动作而改变所显示的元数据的透明度。
第三条件是由控制器150识别出的遥控器1300的动作是第三动作。第三动作可以是从能够通过遥控器1300执行的全部动作中选择的特定动作。另外，响应于遥控器1300而调整透明度。此外，优选能够逐步地调整透明度的动作。
图4中的（a）示出了在视频数据中分离地显示的包括元数据的第一区域410、420和430以及不包括元数据的第二区域。当把遥控器1300旋转预定角度（如，15度）被设置为第二动作时，通过第二动作显示了元数据411、421和431，如图4中的（b）所示。
当以逆时针方向旋转遥控器1300被设置为第三动作时，透明度与遥控器1300的旋转角度成比例地增加，如图4中的（c）所示。在图4中的（d）中，遥控器1300的旋转角度是70度。在该示例中，透明度高于在图4中的（c）中的透明度，在图4中的（c）中，遥控器1300的旋转角度是30度。
如上所述，在遥控器1300的旋转角度增加时，元数据的透明度增加。另选地，在遥控器1300的旋转角度增加时，元数据的透明度可以降低。此外，遥控器1300的旋转角度可以由遥控器1300中设置的陀螺仪传感器感测，并可以通过用户接口160接收，下面将参照图17进行描述。
同时，在图4中，作为实施方式，描述了使遥控器1300围绕其中央旋转的动作（翻转动作）。除了翻转动作外，旋转遥控器的一部分使得与遥控器1300对应的指针形成圆形图案（旋转动作）或移动遥控器1300使得整个遥控器画出圆形（画圆动作）可以是第三动作。
接下来，图5是示出根据本发明实施方式的在显示设备中输入命令信号的遥控器的动作的概图。更详细地说，显示设备可以接收响应于遥控器的动作而生成的信号作为命令信号。例如，图5中的（a）示出了使遥控器1300围绕其中央旋转的动作（翻转动作），图5中的（b）示出了以圆形旋转遥控器使得与遥控器相对应的指针在显示设备的屏幕上形成圆形图案（旋转动作），图5中的（c）示出了移动遥控器使得遥控器的整体画出圆形（画圆动作）。此外，在图5中的（c）中，与遥控器相对应的指针还可以在显示设备的屏幕上形成圆形图案。具体地说，当用户在移动他/她的手臂的同时抓住遥控器以画出圆形图案时，可以生成在图5中的（b）和5中的（c）中示出的动作。
另外，不同于在图4和5中示出的内容，可以把以顺时针方向旋转遥控器1300设置为第三动作。此外，除了如上所述的使遥控器1300围绕其中央旋转的动作（翻转动作）外，也可以把使用遥控器1300画圆的动作（旋转动作和画圆动作）设置为第三动作。另外，可以将第三动作的旋转范围自由地设置为180度到360度。
接下来，图6是示出根据本发明实施方式的与在显示设备中透明地显示的元数据相对应的图形数据的概图。当把旋转遥控器设置为第三动作时，可以最大范围地旋转遥控器以透明地显示与元数据相对应的图形数据500、510和520，使得也可以显示出与图形数据重叠的视频数据。
按照该方式，使用遥控器1300通过简单动作，可以增加与元数据相对应的图形数据的透明度，由此使用户便利最大化。另外，例如当用户在时尚剧期间想要连续观看视频数据中包含的元数据时，用户可以看到两种数据。
另外，在图6中，按照即使当透明度最大时也可以观看到图形数据的方式显示了与元数据相对应的图形数据。另外，透明地显示图形数据，使得当透明度最大时仅可以观看到视频数据。
图7是示出根据本发明实施方式的在显示设备的单独区域显示元数据的概图。在显示的元数据中，可以针对用户希望的特定对象而在单独区域处显示一些元数据。
更具体地说，图7是示出在戏剧内容被显示的同时用户执行第二动作的概图，结果，关于戏剧内容中包含的葡萄酒对象的元数据与视频数据分开地显示。如图7所示，关于葡萄酒对象的元数据包括产品名称、生产年份、产地、商店、价格和产品特性。因此，用户可以在显示的内容的同时立即看到关于他们感兴趣的产品的信息，由此提高用户便利。
此外，葡萄酒是商品并且可以在商品标签610处显示，而所显示的戏剧内容中包含的其他元数据可以在地点标签620、音乐标签630、人物标签640以及其他标签650处显示。另外，当两个或更多个商品出现在商品标签610处时，可以在标签610中提供单独或新的标记660，使得用户可以在翻页时看到包括的商品的元数据。
按照该方式，用户可以确认内容中包括的对象和关于对象的元数据，并且看到详细的信息并甚至购买该对象。例如，用户可以通过访问适当显示的页来购买该对象。购买页可以显示为单独的页，或者画面可以分割以详细地显示元数据的详情。
接下来，图8是示出根据本发明实施方式的用于在显示设备中提供元数据的元数据登记系统的概图。时间码提取单元和关键帧提取单元从模拟和数字输入视频单元接收编码的视频源（S700）。该视频源还被输入到编码单元（S710），编码单元将视频源编码为数字视频。编码的数字视频存储在视频流服务器中（S720）。
此外，时间码提取单元和关键帧提取单元提取时间码和关键帧作为制作视频元数据所用的视频大纲信息（S730）。作为提取关键帧的示例，可以计算两个连续帧的相应像素之间的色差，可以检测出具有超过临界值的色差的帧。
提取出的时间码和关键帧还在每一内容的基础上进行组合以执行视频剪辑（S740）。在视频剪辑后，视频元数据存储在视频元数据单元中（S750）。此外，视频剪辑单元可以根据关键帧的内容来执行视频剪辑，并且视频的补充信息可以插入到视频剪辑单元中。视频元数据单元还可以将视频剪辑单元的数据存储在视频元数据中。关键帧信息也可以存储，使得可以基于一般的商业XML数据而将关键帧信息用作视频元数据。
另外，视频剪辑单元中包括的对象和关于该对象的元数据可以存储在视频元数据中。可以参照用于存储对象信息和关于对象的元数据的附加数据库（DB）。此外，可以创建并管理对象ID以存储并管理对象信息和关于对象的元数据。
另外，在元数据数据库（DB）中登记存储的元数据（S760）。用户也可以使用显示设备通过因特网（S770）访问视频元数据的数据库管理系统（DBMS）以检索登记的视频（S780）。检索的结果接着在显示设备上显示（S800）。
另外，当针对搜索结果做出视频再现请求时，请求被发送到视频流服务器（S810）。结果，通过流服务提供相应的视频剪辑（S820），然后执行视频再现服务（S800）。
如上所述，通过根据本发明实施方式的视频元数据登记处理，用户可以使用显示设备按照VOD的形式接收视频和视频中包含的对象的元数据。按照该方式，元数据自动与内容再现时间同步，合成的信息包括用户在内容再现期间感兴趣的对象的元数据。另外，元数据可以通过元数据DBMS得到系统地管理，并且内容和元数据可以通过数据库检索功能同时提供。
接下来，图9是示出根据本发明实施方式的在显示设备中使用的元数据层级图的概图。如图所示，元数据800可以包括关于内容作者的作者信息810和针对内容分类的内容标志信息820、代理信息（即关于对数字视频进行编码的比特率的信息、数字视频文件所在位置和流服务器所在位置的信息）、包括元数据的帧轨迹（frame track）信息840、包括与元数据相关的对象标识（ID）和对象的补充信息的对象信息850、诸如与对象相关的描述的文本信息860和其他信息870。
文本信息可以包括与对象相关的链接信息和广告信息。另外，文本信息可以具有针对各个类型的对象的单独结构。例如，当对象是商品时，文本信息可以包括商品名称、价格和商店。当对象是诸如书籍或音乐的作品时，文本信息可以包括标题、作者、价格和商店。另外，当对象是诸如旅馆或餐馆的地点时，文本信息可以包括店铺名称、位置、电话号码和主页地址。
另外，在从遥控器1300接收到用于选择所显示的视频数据中的特定区域的选择信号时，控制器150判断对象是否存在于选择信号所选择的区域中。在判断了对象存在于选择信号选择的区域中时，控制器150可以在显示单元上显示与对象相对应的元数据。
接下来，图10是示出根据本发明实施方式的在显示设备中接收到来自遥控器1300的选择信号时显示对象的概图。在从遥控器1300接收到选择信号时，控制器150判断对象是否存在于选择信号所选择的区域中。在判断对象存在于由选择信号选择的区域中时，控制器150可以区别地显示对象1000，使得用户可以识别对象1000的存在，如图10中的（a）所示。具体地说，对象1000显示有粗的边界，如图10中的（a）所示。另选地，对象1000可以按照闪烁方式显示，或使得显示对象1000的区域具有不同的颜色。另外，如图10中的（b）所示，对象1000的元数据可以与对象1000一起显示。
另外，当用户接口接收到的命令信号对应于第四条件时，控制器150可以控制所显示的元数据的颜色、尺寸和量响应于遥控器的动作而改变。第四条件是由控制器150识别的遥控器1300的动作是第四动作。第四动作可以是从能够通过遥控器1300执行的全部动作中选择的特定动作。结果，第四动作可以垂直方向上移动遥控器1300、在水平方向上移动遥控器1300、在顺时针方向上或逆时针方上向旋转遥控器1300，或在顺时针方向或时针方向上与遥控器1300在移动相对应的指针。另外，第四动作可以是描画特定形状。下面将参照图18对此进行描述。
另外，被设置为第四动作的动作信息可以存储在存储器130中，并且控制器150可以判断从用户接口160接收到的动作信息是否对应于存储的动作信息。另外，第四条件可以是在遥控器1300的特定按钮被按下时生成的信号。第四条件还可以根据预设的信息而变化。
作为改变元数据的量的实施方式，可以依次地显示关于所显示的视频数据中包含的至少一个对象的元数据。即，响应于遥控器1300的动作信号，控制器150可以从根据选择信号显示的元数据开始控制尚未显示的元数据按照预定顺序依次显示。
图11是示出根据本发明实施方式的在显示设备中响应于遥控器1300的动作依次显示元数据的概图。具体地说，图11中的（a）是示出对象和根据用户选择信号而正在显示的该对象的元数据的概图。如图11中的（b）和11中的（c）所示，指针1301响应于遥控器1300的动作而被移动。可以将对象和该对象的元数据控制为根据指针1301的移动而从右侧到左侧地依次显示。另外，当遥控器在与图11中所示的方向相反的方向上移动时，元数据可以被控制为依次地消失。
在图11所示的实施方式中，对象和对象的元数据被控制为从右侧到左侧地依次显示。但是，根据本发明，改变显示顺序的方法也是可能的。
另外，在图11中，示出了与遥控器相对应的指针根据遥控器的动作而画出圆形图案的一部分作为实施方式。另选地，对象或元数据可以响应于按照预定模式移动遥控器的动作而显示。例如，预定的模式包括之前已参照图5描述过的由遥控器1300的旋转动作、画圆动作和翻转动作中的至少一个动作生成的模式。
同时，当显示与元数据相对应的图形数据时，用户可能想直接观看相应的商品或作品的详细信息或根据元数据直接购买商品或作品。但由于正在对内容进行再现，用户可能想在内容的再现完成后观看商品或作品的详细信息或直接购买商品或作品。在该情况下，用户可能想单独地存储关于对象的元数据并且之后在将商品或作品放入在线商店的购物车中时观看存储的元数据。
当用户接口160从遥控器1300接收到用于选择特定元数据的信号时，控制器150可以控制将包含特定对象的视频数据的帧存储在存储器130中。该帧对应于视频数据中正在显示的图像。此外，用于选择元数据的信号可以是在显示元数据的画面的区域上按下遥控器1300的预定按钮时生成的信号或者是通过预定动作的命令信号。
接下来，图12是示出根据本发明实施方式的显示在显示设备中存储的特定元数据的概图。如图12所示，显示单元180可以按照页的形式显示存储的至少一个视频数据帧。当用户在内容的再现完成后选择观看特定视频数据帧中的关于包的元数据时，与该元数据相对应的图形数据与显示的视频数据帧一起存储。在内容的再现完成后，参照存储器130，存储的视频数据帧和图形数据以画簿（sketchbook）的页的形式显示。
图13是示出显示根据图12的特定元数据的另一实施方式的概图。如图所示，当用户接口160接收到的命令信号对应于第五条件时，控制器150可以响应于接收到的命令信号以翻页的形式显示所显示的视频数据帧。
此外，第五条件是由控制器150识别出的遥控器1300的动作是第五动作。第五动作可以是从能够通过遥控器1300执行的全部动作中选择出的特定动作。例如，从右侧到左侧地移动遥控器1300可以被设置为第五动作。该动作类似于用户实际翻页时的用户的手臂的动作。结果，用户感觉好象实际在翻页，因此该动作提供对用户习惯的接口。
图14是示出根据本发明实施方式的显示在显示设备中存储的特定元数据的另一实施方式的概图。不同于图13，图14示出元数据按照开页（open page）形式存储，使得可以一次看到与至少两个元数据相对应的图形数据，并且不显示包括元数据的视频数据帧。当所存储的特定元数据的数量很大时，该方法是优选的。
图15是示出显示根据图14的特定元数据的另一实施方式的概图。当用户接口160接收到的命令信号对应于如前面描述的第五条件时，控制器150响应于接收到的命令信号而如图15所示以翻页的形式显示数据。第五条件也可以是当在遥控器1300的特定按钮被按下时生成的信号，并且可以根据预设的信息而变化。前面已参照图13描述了第五条件。
但是，与图13相比，对象和对象的元数据是在没有视频数据帧的情况下显示的，由此用户可以感觉好象他/她正在阅读杂志。另外，仅存储了用户感兴趣的对象的元数据，因此当元数据是关于商品的广告信息时，广告效率可以提高。此外，仅对该元数据感兴趣的特定用户接触到该元数据，由此提高了广告效率。
结果，显示了与特定元数据相对应的图形数据，在根据请求单独地存储该图像数据时，内容的再现可能被中断。这是因为在显示与特定元数据相对应的图形数据时，用户难以把注意力集中在内容上，因此用户想在元数据的显示和处理完成之后再现内容。
因此，针对VOD服务，保持内容的再现被中断的状态，直至元数据的处理完成之后。另外，对于卫星广播而言，时移功能被驱动，使得用户所观看的内容的再现被中断。此时，显示设备实时地记录卫星广播，直至元数据的显示和处理完成，之后可以从内容的再现被中断的那一帧的下一帧开始再现内容。
同时，根据本发明实施方式的显示设备可以判断从遥控器接收到的命令信号是否对应于预定的条件，并基于该判断来调整显示元数据的范围。更详细地说，遥控器和显示设备可以使用蓝牙、射频（RF）通信、红外（IF）通信、超宽带（UWB）或ZigBee模式，下面将参照图16和17进行描述。
具体地说，图16是示出根据本发明实施方式的用于控制显示设备100的遥控器1300的外观的概图。首先，如图16中的（a）所示，在显示设备100上显示了与遥控器1300相对应的指针1301。例如，图16中示出的显示单元180对应于图1中示出的显示设备的显示单元。
此外，用户可以向上下地（图16中的（a））、从一边到另一边地（图16中的（b））或前后地（图16中的（c））移动或旋转遥控器1300。在显示设备100的显示单元180上显示的指针1301对应于遥控器1300的动作。遥控器1300还被称为空间遥控器，其被配置为使得指针1301根据三维（3D）空间中的动作而移动和显示，如在图中示出的那样。例如，图16中的（b）示出了用户移动遥控器1300到左侧并且指针1301响应于遥控器1300的移动而移动到左侧。
关于由遥控器1300的传感器感测到的遥控器1300的动作还被发送到显示设备100。显示设备100于是可以根据关于遥控器1300的动作的信息来计算指针的坐标。显示设备100还能够按照使指针1301对应于计算出的坐标的方式来显示指针1301。
遥控器1300的动作也可以基于关于遥控器1300的动作的信息来识别，以判断遥控器1300的动作是否是预定动作，下面将参照图17对此进行描述。
此外，图16中的（c）示出了用户移动遥控器1300离开显示单元180并按下遥控器1300的特定按钮。结果，可以拉近并放大显示单元180中与指针1301相对应的选择区域。另一方面，当用户朝向显示单元180移动遥控器1300时，可以拉远并缩小显示单元180中与指针1301相对应的选择区域。因此在使用图16所示的遥控器1300时，可以快速并方便地在画面上选择对象并观看元数据，如图2中的（b）和图7所示。
接下来，图17是在图16中示出的遥控器1300的框图。如图17所示，遥控器1300可以包括无线通信单元1310、用户输入单元1320、传感器单元1330、输出单元1340、存储单元1350、电源单元1360和控制器1370。
如上所述，无线通信单元1310向根据本发明的实施方式的显示设备100发送信号并从显示设备100接收信号。无线通信单元1310可以包括RF模块1311和IR模块1313，RF模块1311用于根据RF通信标准向显示设备100发送信号并从显示设备100接收信号，IR模块1313用于根据IR通信标准向显示设备100发送信号并从显示设备100接收信号。
在该实施方式中，通过RF模块1311，遥控器1300可以向显示设备100发送包含关于遥控器1300的动作的信息的信号，并接收由显示设备100发送的信号。另外，如有需要，遥控器1300通过IR模块1313向显示设备100发送针对电源开启/关闭、频道改变或音量改变的命令。
当遥控器1300按照无线方式通过RF模块1311向显示设备100发送信号并从显示设备100接收信号时，遥控器1300和显示设备100使用预定的频带相互发送和接收信号。
此外，用户输入单元1329可以由键区、按钮、触摸板或触摸屏实现。用户可以操纵用户输入单元1320以将关于显示设备100的命令输入到遥控器1300。传感器单元1330被配置为捕捉或追踪遥控器1300的动作。传感器单元1330可以包括陀螺仪传感器1331和加速度传感器1333。陀螺仪传感器1331根据从遥控器1300的主体的动作生成的两轴或三轴位置变化而输出电信号。此外，加速度传感器1333根据从遥控器1300的主体的动作生成的两轴或三轴加速度而输出电信号。
例如，陀螺仪传感器1331可以在x、y和z轴的基础上感测关于遥控器1300的动作的信息，而加速度传感器1333可以感测遥控器1300的移动速度的信息。另外，传感器单元1330还可以包括用于感测遥控器1300与显示设备100之间的距离的距离测量传感器和用于对从相应的传感器输出的电信号进行运算的运算处理电路。
运算处理电路可以根据从陀螺仪传感器1331或加速度传感器1333连续输出的电信号而对遥控器1300的主体的位移和速度进行运算，并且将算出的遥控器1300的主体的位移和速度输出到控制器1370。此外，运算处理电路可以不安装在传感器单元中，而可以安装在控制器1370中。
另外，输出单元1340可以输出与用户输入单元1320的操纵或从显示设备100发送来的信号相对应的视频或音频信号。通过输出单元1340，用户可以识别出用户输入单元1320是否被操纵或显示设备100是否被控制。例如，输出单元1340可以包括被配置为在用户输入单元被操纵时或信号通过无线通信单元1310在遥控器1300与显示设备100之间发送和接收时点亮的发光二极管（LED）模块1341、用于生成振动振动模块1343、用于输出声音音频输出模块1345或用于输出视频显示模块1347。
存储单元1350可以存储用于遥控器1300的控制或动作必需的各种程序以及应用数据。另外，存储单元1350可以存储关于遥控器1300的诸如第一动作、第二动作和第三动作的特定动作的信息。
如上所述，当在遥控器1300单独存储动作信息时，显示设备100可以基于该动作信息直接接收命令信号，无需使用从遥控器1300发送的信号来识别遥控器1300的动作。即，显示设备100可以从遥控器1300直接接收关于第一、第二、第三、第四和第五动作中的特定一个动作的命令信号。
当存储单元1350存储关于特定动作的信息时，用户输入单元1320可以包括用于通过传感器单元1330发送关于动作的信号的动作开始按钮。动作开始按钮可以选择地设置在遥控器1300中。当分开地设置动作开始按钮时，动作开始按钮可以被配置为在用户按下动作开始按钮一次后执行通过遥控器1300的主体的动作而输入的命令。
即，显示设备100仅在接收到关于动作开始按钮的信号时才接收关于遥控器1300的动作的信号。另外，在另一实施方式中，遥控器1300可以被配置为仅在动作开始按钮被按下时才根据遥控器1300的动作发送动作信号。
此外，电源单元1360向遥控器1300供电。当遥控器1300未被移动达预定时间时，电源单元1360停止向遥控器1300供电以降低电力消耗。当遥控器1300设置的预定键被操纵时，电源单元1360可以恢复向遥控器1300供电。
另外，控制器1370控制遥控器1300的整体操作。控制器1370可以通过无线通信单元1310向显示设备100发送与对用户输入单元1320的预定键操纵相对应的信号或与传感器单元1330感测到的遥控器1300的动作相对应的信号。
具体地说，控制器1370被设计为控制RF模块1311或IR模块1313，使得用于选择在设备100的显示单元180上显示的其中一个对象或与元数据对应的其中一个图形数据的输入信号被发送到显示设备100。
鉴于可以如上所述地根据遥控器1300的动作发送命令信号，本发明因为可以准确地选择邻近的区域中的一个而具有优点。另外，用户可以使用遥控器1300的陀螺仪传感器1331或加速度传感器1333根据遥控器1300的动作容易并方便地调整元数据的透明度，下面将参照图18至图20对此进行描述。
具体地说，图18是示出根据本发明实施方式的与从遥控器发送来的第一条件相对应的命令信号的概图。作为实施方式，当第一条件是与摇动遥控器相对应的命令信号时，摇动动作可以被识别为命令信号，如图18所示。当摇动动作对应于第一条件时，具有元数据的第一区域和不具有元数据的第二区域分离地显示，如前面参照图2在描述的那样。
图19是示出根据本发明实施方式的从遥控器发送与第三条件对应的命令信号的概图。作为实施方式，当第三条件是与旋转遥控器相对应的命令信号时，发送与旋转遥控器的动作相对应的信号。图19中的（a）示出了在旋转遥控器前的旋转角度0度。当旋转角度如图19中的（b）所示开始增加并且遥控器如图19中的（c）所示被旋转了最大旋转角度（即180度）时，控制器可以确定对遥控器的旋转已经完成。此外，最大旋转角度可以设置为90度或360度，如前所述。
图20是示出与从根据图19的遥控器发送来的第三条件相对应的命令信号的概图。如图20所示，旋转动作可以被识别为命令信号。图20中的（a）示出了当在逆时针方向上旋转遥控器时生成的命令信号，而图20中的（b）示出了当在顺时针方向上旋转遥控器时生成的命令信号。
同时，遥控器可以是现有的电视机的遥控器或动作遥控器之一。另外，遥控器可以是具有用于实现安装在其中的运动遥控器功能的应用的移动设备。
接下来，图21是示出根据本发明实施方式的显示设备的控制方法的流程图。首先，从外部源设备接收视频数据和元数据（S2100）。外部源设备包括地面或有线广播服务器、内容服务器和内容相关的广告提供服务器。另外，视频数据是由外部源设备提供的内容相关数据。视频数据包括通过各种有线或无线通信网络提供的数字数据以及电影、戏剧、音乐视频和游戏。视频数据还可以通过视频点播（VOD）服务接收。
元数据包括关于针对视频数据的每一帧预定的对象的广告数据、内容数据、指南数据和补充数据。结果，包括为了向用户做广告或向用户提供详细信息的视频数据中包含的元数据的诸如人物、地点或商品的事物被称为对象。元数据与视频数据中包含的每个对象匹配并一起存储。结果，视频数据可以显示的诸如地点、音乐、人物和商品的全部事物可以是对象。诸如关于对象的补充数据和指南数据的元数据也可以被存储。
显示接收到的视频数据（S2110），并在显示视频数据期间接收来自遥控器的命令信号（S2120）。命令信号是在遥控器按照预定模式移动时生成的。预定模式包括由遥控器的旋转、画圆和翻转动作中的至少一个生成的模式，前面已经参照图4以及图18至图20进行了描述。
接着，元数据显示范围根据命令信号的变化而变化（S2130）。如上所述，命令信号是响应于遥控器的动作而生成的信号。作为控制元数据显示范围根据命令信号的变化而变化的第一实施方式，如图11所示，可以按照预定顺序依次地显示或取消显示与被包含在所显示的视频数据中的对象相对应的元数据。即，要显示的元数据的量被控制为根据遥控器的动作而增加或减少，并且在要显示的元数据的量被控制为增加或减少的同时，元数据被显示或取消显示的顺序可以改变。
前面参照图2和图3描述了控制元数据显示范围根据命令信号的变化而变化的第二实施方式。即，当命令信号对应于第一条件时，可以分离地显示包含在显示的视频数据中的对象。当命令信号对应于第二条件时，可以显示与对象相对应的元数据。
上面详细讨论了与第一动作和第二动作相对应的第一条件和第二条件。例如，第一条件或第二动作可以是在垂直方向上移动遥控器、在水平方向上移动遥控器、在顺时针方向上旋转遥控器或在逆时针方向上旋转遥控器。第一动作或第二动作还可以根据预设的信息而改变。
前面参照图4和图6描述了控制元数据显示范围根据命令信号的变化而变化的第三实施方式。即，当命令信号对应于第三条件时，显示的元数据的透明度可以控制为响应于遥控器的动作而改变。
另外，作为控制元数据显示范围根据命令信号的变化而变化的第四实施方式，当命令信号对应于第四条件时，元数据的颜色、尺寸和量变化可以被控制为响应于遥控器的动作而改变。
上面讨论了与第三动作和第四动作相对应的第三条件和第四条件。另外，如前面参照图10描述的那样，当从遥控器接收到选择所显示的视频数据中的特定区域用的信号时，控制器可以判断对象是否存在于该特定区域中，并在判断对象存在于该特定区域时显示与对象相对应的元数据。在该情况下，元数据仅提供给用户感兴趣的对象，由此防止用户接触不必要的信息。
接下来，图22是示出根据本发明另一实施方式的显示设备的控制方法的流程图。首先，从外部源设备接收视频数据和元数据（S1800）。外部源设备包括地面或有线广播服务器、内容服务器和内容相关广告提供服务器。视频数据是用于显示由外部源设备提供的内容的数据，并且元数据是关于与视频数据相关的补充信息和广告信息的数据。
显示接收到的视频数据（S1810），并接收来自遥控器的命令信号（S1820）。控制器判断接收到的命令信号是否是第一条件（S1830）。在判断命令信号是第一条件时（S1830：是），控制器分离地显示具有元数据的第一区域和不具有元数据的第二区域（S1840）。例如，元数据可以靠近对象显示、显示为单独的页或多个页等。
视频数据的每一帧还可以包括关于在该帧中显示的人、商品和地点的广告信息或补充信息。具有这样的广告信息或补充信息的对象因而可以使用粗边界或不同的颜色而分离地显示为第一区域，使得对象与其余的第二区域区分开。
由于对象被如上所述地分离地显示，用户可以判断是否存在关于用户感兴趣的商品的信息，由此容易地判断用户是否将继续观看内容还是观看元数据。
在判断出命令信号不是第一条件时（S1830：否），控制器判断接收到的命令信号是否是第二条件（S1850）。在判断命令信号不是第二条件时（S1850：否），在内容的连续再现期间接收遥控器的命令信号。另一方面，在判断命令信号是第二条件时（S1850：是），创建与元数据相对应的图形数据（S1860），并且同时显示创建的图形数据和接收到的视频数据（S1870）。
但是，当同时显示创建的图形数据和接收到的视频数据时，视频数据的一部分被图形数据遮住。因此，当接收到的命令信号是第三条件时，调整与元数据相对应的图形数据的透明度以解决上述问题。
第三条件可以是接收到的命令信号是在顺时针方向或逆时针方向上旋转遥控器时生成的动作信号。通过使遥控器的主体围绕其中央旋转，可以生成动作信号。
接下来，图23是示出根据本发明又一实施方式的显示设备的控制方法的流程图。在屏幕上显示从外部源设备接收到的内容（S1900）。该内容包括用于显示内容的视频数据和包含与视频数据相关的补充信息和广告信息的元数据。
在从遥控器接收到信号时（S1910），使用接收到的信号识别遥控器的动作（S1920）。如上所述，由于在遥控器的传感器单元中设置了陀螺仪传感器或加速度传感器，通过显示设备的用户接口，可以发送关于遥控器的动作的信号并接收这样的信号。
控制器判断识别出的动作是否是第一动作（S1930）。在判断识别出的动作是第一动作时（S1930：是），显示对象（S1940）。由于第一动作是显示对象，第一动作优选地设置为简单的动作，诸如摇动或旋转控制器或按下遥控器的特定按钮。
如上所述，对象包括内容（即，视频数据）中包含的为了向用户做广告或向用户提供详细的信息和链接信息的元数据。因此，正在显示的图片中的视频数据中包含的诸如地点、音乐、人和商品的全部事物可以成为对象。
在判断出识别的动作不是第一动作时（S1930：否），控制器判断识别的动作是否是第二动作（S1950）。在判断识别的动作是第二动作时（S1950：是），显示对象的元数据（S1960）。从动作中选出的特定动作可以设置为第二动作。
在判断出识别的动作不是第二动作时（S1950：否），控制器判断识别的动作是否是第三动作（S1970）。在判断出识别的动作不是第三动作时（S1970：否），接收来自遥控器的信号。另一方面，在判断出识别的动作是第三动作时（S1970：是），响应于第三动作来调整元数据的透明度（S1980）。
图24是示出根据本发明实施方式的在显示设备与遥控器之间的数据传输协议的流程图。在显示设备的屏幕上显示内容（S2400）。当从遥控器发送来第一动作信号时（S2410），显示设备判断第一动作是否对应于第一条件，并分离地显示内容中的对象（S2420）。前面已经描述了对象和分离地显示对象。
当从遥控器发送来第二动作信号时（S2430），显示设备判断第二动作是否对应于第二条件，并显示对象的元数据（S2440）。当从遥控器发送来第三动作信号时（S2450），显示设备判断第三动作是否对应于第三条件，并响应于第三动作而调整元数据的透明度（S2460）。随着元数据的透明度增加，元数据可以与内容（即，内容的视频数据）重叠。
当从遥控器发送来用于选择特定元数据的选择信号时（S2470），包括特定元数据的内容的帧存储在存储器中（S2480）。如上所述，由于关于用户感兴趣的人或商品的信息在内容的再现期间被存储，用户可以在使用内容期间不间断地观看内容。
当从遥控器发送来存储页显示请求信号以单独地观看存储的元数据时（S2490），参照存储器，以页的形式显示存储的内容的帧（S2500）。帧可以转换为页的形式并接着在存储帧的期间被存储。另选地，帧可以转换为页的形式并接着在显示帧之前显示。
当从遥控器发送来第四动作信号时（S2510），显示设备判断第四动作是否对应于第四条件，并按照翻页的形式显示所显示的内容的视频数据帧（S2520）。因而，至少一个元数据可以被选择并存储，并且存储的元数据可以根据用户请求以页的形式显示。结果，用户可以集中地观看用户感兴趣的事物。另外，尽管是在观看TV，但是用户可感觉似乎在观看杂志。因此，进一步提高用户参与的程度。
另外，操纵是容易且方便的，因此可以提供一种不管用户的年龄和学习能力如何都可以容易且方便地使用显示设备和遥控器的用户环境。
为了便于描述，参照相应的附图描述了实施方式。但是，在相应附图中示出的实施方式可以进行组合以实现新的实施方式。另外，如本领域技术人员所需要的，可以设计能够由具有安装的用于执行上述实施方式的程序的计算机读取的记录介质。这样的组合或设计落入本发明的权利范围内。
根据本发明实施方式的显示设备及其控制方法不是用于为限制如上所述的实施方式的构造和方法，相反，全部实施方式或一些实施方式可以选择性地组合，使得可以不同地修改实施方式。
同时，根据本发明实施方式的显示设备的控制方法可以由被写入记录介质中的代码实现，记录介质被配置为由网络设备中包含的处理器读取，使得代码可以由处理器读取。被配置为由处理器读取的记录介质包括用于存储可以由处理器读取的数据的所有类型的记录设备。被配置为由处理器读取的记录介质的示例可以包括只读存储器（ROM）、随机存取存储器（RAM）、光盘只读存储器（CD-ROM）、磁带、软盘和光学数据存储设备。另外，记录介质可以以载波的形式实现，如通过因特网的传输。另外，被配置为由处理器读取的记录介质可以分发到通过网络彼此连接的计算机系统，使得可以由处理器读取的代码按照分布模式存储或执行。
根据本发明的实施方式，可以使用遥控器通过简单动作确认元数据是否包括在在显示设备中显示的内容中，使得用户可以按需地观看广告，由此减少无克制地接触广告。
根据本发明的另一实施方式，可以使用遥控器通过简单动作来调整元数据的显示顺序、量和透明度，由此在使用内容时没有干扰地容易且方便地观看元数据。
根据本发明的另一实施方式，可以限定在遥控器与显示设备之间的数据传输协议，以使用遥控器通过动作来调整内容中包含的元数据的显示顺序、量和透明度。
根据本发明的又一实施方式，可以单独地存储内容中包含的元数据并以杂志的形式仅观看存储的元数据，由此提高用户便利和广告效率。
本领域的技术人员很清楚，在不偏离本发明的精神和范围的情况下，可以对本发明进行各种修改和变型。因而，如果本发明的修改和变型落入所附权利要求及其等同物的范围内，则本发明亦涵盖这些修改和变型。
本申请要求于2011年10月5日提交的韩国专利申请No.10-2011-0101014的优先权，以引用的方式将其并入本文，如同在此进行了完整阐述一样。

Claims (16)

1.一种控制显示设备的方法，该方法包括以下步骤：
经由接收设备从外部源设备接收视频数据和与所述视频数据相对应的元数据；
在所述显示设备的显示器上显示接收到的视频数据；
经由控制器从与所述显示设备关联的遥控器接收命令信号；以及
根据使用所述命令信号识别出的所述遥控器的特定动作，在所述显示器上选择性地显示与被包含在所显示的视频数据中的至少一个对象相对应的元数据，
其中，选择性地显示所述元数据的步骤包括以下步骤：
当接收到的所述命令信号对应于第一条件时，分离地显示被包含在所显示的视频数据中的所述至少一个对象；
当所述命令信号对应于第二条件时，显示与所述至少一个对象相对应的元数据；以及
当所述命令信号对应于第三条件时，根据所述遥控器的所述特定动作来改变所显示的与所述视频数据重叠的元数据的透明度，使得在显示视频的同时所述元数据和与所述元数据重叠的所述视频数据被用户连续地观看，
其中，所述第三条件包括逐步地调整所述透明度的所述遥控器的旋转，并且与所述遥控器的旋转角度成比例地调整所述透明度。
2.根据权利要求1所述的方法，其中所述遥控器的所述命令信号在所述遥控器按照预定模式移动时生成。
3.根据权利要求2所述的方法，其中所述预定模式包括所述遥控器的旋转动作、画圆动作和翻转动作。
4.根据权利要求1所述的方法，其中所述选择性地显示元数据的步骤包括以下步骤：
按照预定顺序来依次地显示或取消显示被包含在所显示的视频数据中的所述至少一个对象的元数据。
5.根据权利要求1所述的方法，其中所述选择性地显示元数据的步骤包括以下步骤：
当所述命令信号对应于第四条件时，根据所述遥控器的特定动作改变所显示的元数据的颜色、尺寸和量。
6.根据权利要求1所述的方法，该方法还包括以下步骤：
经由所述控制器从所述遥控器接收指示对所显示的视频数据中的特定区域的选择的信号；
经由所述控制器判断所述至少一个对象是否存在于所述特定区域中；以及
在判断所述至少一个对象存在于所述特定区域中时，显示与所述至少一个对象相对应的元数据。
7.根据权利要求1所述的方法，其中所述外部源设备包括地面或有线广播服务器、内容服务器和内容相关广告提供服务器中的至少一个。
8.根据权利要求1所述的方法，其中与所述至少一个对象相对应的元数据包括用于购买所述至少一个对象的购买信息。
9.一种显示设备，该显示设备包括：
接收设备，其被配置为从外部源设备接收视频数据和与所述视频数据相对应的元数据；
显示器，其被配置为显示接收到的视频数据；以及
控制器，其被配置为：
从与所述显示设备关联的遥控器接收命令信号，以及
根据使用所述命令信号识别的所述遥控器的特定动作，在所述显示器上选择性地显示与被包含在所显示的视频数据中的至少一个对象相对应的元数据，
其中，所述控制器还被配置为通过以下方式来选择性地显示所述元数据：
当所述命令信号对应于第一条件时，分离地显示被包含在所显示的视频数据中的所述至少一个对象；
当所述命令信号对应于第二条件时，显示与所述至少一个对象相对应的元数据；以及
当所述命令信号对应于第三条件时，根据所述遥控器的所述特定动作来改变所显示的与所述视频数据重叠的元数据的透明度，使得在显示视频的同时所述元数据和与所述元数据重叠的所述视频数据被用户连续地观看，
其中，所述第三条件包括逐步地调整所述透明度的所述遥控器的旋转，并且与所述遥控器的旋转角度成比例地调整所述透明度。
10.根据权利要求9所述的显示设备，其中所述遥控器的所述命令信号在所述遥控器按照预定模式移动时生成。
11.根据权利要求10所述的显示设备，其中所述预定模式包括所述遥控器的旋转动作、画圆动作和翻转动作。
12.根据权利要求9所述的显示设备，其中所述控制器还被配置为通过按照预定顺序依次地显示或取消显示被包含在所显示的视频数据中的所述至少一个对象的元数据来选择性地显示元数据。
13.根据权利要求9所述的显示设备，其中所述控制器还被配置为：当所述命令信号对应于第四条件时，通过根据所述遥控器的特定动作改变所显示的元数据的颜色、尺寸和量，选择性地显示所述元数据。
14.根据权利要求9所述的显示设备，其中所述控制器还配置为：
从所述遥控器接收指示对所显示的视频数据中的特定区域的选择的信号；
判断所述至少一个对象是否存在于所述特定区域中；以及
在判断所述至少一个对象存在于所述特定区域中时，显示与所述至少一个对象相对应的元数据。
15.根据权利要求9所述的显示设备，其中所述外部源设备包括地面或有线广播服务器、内容服务器和内容相关广告提供服务器中的至少一个。
16.根据权利要求9所述的显示设备，其中与所述至少一个对象相对应的元数据包括用于购买所述至少一个对象的购买信息。
CN201210295803.5A 2011-10-05 2012-08-17 根据遥控器命令信号显示元数据的显示设备及其控制方法 Expired - Fee Related CN103037262B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0101014 2011-10-05
KR1020110101014A KR101868623B1 (ko) 2011-10-05 2011-10-05 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
CN103037262A CN103037262A (zh) 2013-04-10
CN103037262B true CN103037262B (zh) 2017-10-03

Family

ID=46832166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210295803.5A Expired - Fee Related CN103037262B (zh) 2011-10-05 2012-08-17 根据遥控器命令信号显示元数据的显示设备及其控制方法

Country Status (4)

Country Link
US (1) US8885109B2 (zh)
EP (1) EP2579585A1 (zh)
KR (1) KR101868623B1 (zh)
CN (1) CN103037262B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101303939B1 (ko) * 2011-10-17 2013-09-05 한국과학기술연구원 디스플레이 장치 및 컨텐츠 디스플레이 방법
JP6061262B2 (ja) * 2012-02-16 2017-01-18 任天堂株式会社 ゲームシステム、ゲーム制御方法、ゲーム装置およびゲームプログラム
KR20150010872A (ko) * 2013-07-19 2015-01-29 삼성전자주식회사 디스플레이 장치 및 이의 ui 제공 방법
CN103546789B (zh) * 2013-08-23 2017-07-11 Tcl集团股份有限公司 一种电视节目推荐方法、系统及智能终端
CN104700750B (zh) * 2013-12-05 2018-07-10 王非 一种广告的播放方法、装置及系统
GB2525034A (en) * 2014-04-11 2015-10-14 David Michael Fenlon System for trading
JP6335733B2 (ja) * 2014-09-26 2018-05-30 京セラ株式会社 電子機器および電子機器システム
KR20160109304A (ko) * 2015-03-10 2016-09-21 삼성전자주식회사 원격 조정 장치 및 원격 조정 장치의 화면 제어방법
CN104661068A (zh) * 2015-03-12 2015-05-27 冠捷显示科技（厦门）有限公司 一种利用遥控器控制翻页的方法
US10368105B2 (en) 2015-06-09 2019-07-30 Microsoft Technology Licensing, Llc Metadata describing nominal lighting conditions of a reference viewing environment for video playback
KR20170110824A (ko) * 2016-03-24 2017-10-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN106202304A (zh) * 2016-07-01 2016-12-07 传线网络科技（上海）有限公司 基于视频的商品推荐方法及装置
CN106202317A (zh) * 2016-07-01 2016-12-07 传线网络科技（上海）有限公司 基于视频的商品推荐方法及装置
US11042262B2 (en) * 2017-02-01 2021-06-22 Opentv, Inc. Menu modification based on controller manipulation data
CN107613401A (zh) * 2017-09-25 2018-01-19 四川长虹电器股份有限公司 一键式操作的电视导购平台

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040143630A1 (en) * 2002-11-21 2004-07-22 Roy Kaufmann Method and system for sending questions, answers and files synchronously and asynchronously in a system for enhancing collaboration using computers and networking
US20050059378A1 (en) * 2003-09-12 2005-03-17 Kim Taek Sung Capturing multimedia signals
US20050132420A1 (en) * 2003-12-11 2005-06-16 Quadrock Communications, Inc System and method for interaction with television content
US8069466B2 (en) * 2005-08-04 2011-11-29 Nds Limited Advanced digital TV system
JP2008250654A (ja) * 2007-03-30 2008-10-16 Alpine Electronics Inc ビデオプレイヤ及びビデオ再生制御方法
KR101451271B1 (ko) * 2007-10-30 2014-10-16 삼성전자주식회사 방송수신장치 및 그 제어방법
JP2011521316A (ja) * 2008-04-10 2011-07-21 ハンセン，カール，クリストファー 使用が容易な光無線遠隔制御装置
KR20100077852A (ko) * 2008-12-29 2010-07-08 엘지전자 주식회사 Ｄｔｖ 및 이를 이용한 콘텐츠 표시 방법
KR101645474B1 (ko) * 2009-12-22 2016-08-04 엘지전자 주식회사 영상 처리 장치 및 방법
KR20110101014A (ko) 2010-03-05 2011-09-15 (주)지앤이 Ｐ형 화재수신기용 중계장치 및 이를 이용한 ｐ형 화재수신기의 신호 전달방법

Also Published As

Publication number Publication date
US8885109B2 (en) 2014-11-11
KR20130036842A (ko) 2013-04-15
CN103037262A (zh) 2013-04-10
US20130088648A1 (en) 2013-04-11
EP2579585A1 (en) 2013-04-10
KR101868623B1 (ko) 2018-06-18

Similar Documents

Publication Publication Date Title
CN103037262B (zh) 根据遥控器命令信号显示元数据的显示设备及其控制方法
US8391773B2 (en) System and methods for enhancing the experience of spectators attending a live sporting event, with content filtering function
US9462345B2 (en) System and method in a television system for providing for user-selection of an object in a television program
CN103988219B (zh) 个性化被动内容递送
CN104754388B (zh) 菜单画面的显示控制方法以及显示控制装置
CN103098049B (zh) 用于内容搜索的系统、方法和用户界面
US20160343345A1 (en) Display system, display apparatus, remote control apparatus and method for controlling the same
US20170272807A1 (en) Overlay device, system and method
CN107005740A (zh) 用于操作选择包括多个导航技术的可用内容的系统和方法
US9986283B2 (en) Display device, method of providing personalized object, and method of providing information
ES2666672T3 (es) Sistemas y procedimientos para proporcionar guiado de medios interactivo en un dispositivo de comunicaciones inalámbricas
CN102804120A (zh) 用于确定3d媒体环境中的媒体对象的接近度的系统和方法
CN102763061A (zh) 导航三维媒体指导应用的系统和方法
CN102769725A (zh) 图像显示设备、便携式终端以及操作其的方法
CN101221570A (zh) 移动多媒体内容配置与存取方法
KR102238330B1 (ko) 디스플레이 장치 및 그의 동작 방법
CN103354922A (zh) 在用户界面中定位感兴趣的区域的方法
JPWO2008133049A1 (ja) 商品購入システム、記録再生装置、及びコンピュータプログラム
US20140068679A1 (en) Information processing apparatus, information processing method, digital television receiving apparatus, and storage medium
JP2014216683A (ja) データ放送の二次元コードを用いたデジタルコンテンツ配信システム及びその情報配信方法
CN103200451A (zh) 电子设备和音频输出方法
CN101980530B (zh) 用于媒体节目相关商品的系统和方法
KR102220198B1 (ko) 디스플레이 장치 및 그의 동작 방법
JP5617247B2 (ja) データ記憶装置およびプログラム
CN107636747A (zh) 显示系统、显示装置、遥控装置及其控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171003