JP2016516321A - 映像表示装置及びその動作方法 - Google Patents

映像表示装置及びその動作方法 Download PDF

Info

Publication number
JP2016516321A
JP2016516321A JP2015559182A JP2015559182A JP2016516321A JP 2016516321 A JP2016516321 A JP 2016516321A JP 2015559182 A JP2015559182 A JP 2015559182A JP 2015559182 A JP2015559182 A JP 2015559182A JP 2016516321 A JP2016516321 A JP 2016516321A
Authority
JP
Japan
Prior art keywords
content
video display
feature information
information
acr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015559182A
Other languages
English (en)
Other versions
JP6290935B2 (ja
Inventor
スンチュ アン
スンチュ アン
セチン オ
セチン オ
キョンソ ムン
キョンソ ムン
チンウォン リ
チンウォン リ
チンピル キム
チンピル キム
トンヒョン カン
トンヒョン カン
チャン フン ペ
チャン フン ペ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2016516321A publication Critical patent/JP2016516321A/ja
Application granted granted Critical
Publication of JP6290935B2 publication Critical patent/JP6290935B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本発明の一実施例は映像表示装置を開示する。受信部は、非圧縮視聴覚コンテンツを獲得する。ディスプレー部は、前記非圧縮視聴覚コンテンツを表示する。付加サービス管理部は、前記非圧縮視聴覚コンテンツから第１特徴情報タイプに当たる第１特徴情報を抽出し、前記第１特徴情報を含む第１質疑に対する応答を受信し、前記第１質疑に対する応答に基づいて第２特徴情報タイプを決定し、前記非圧縮視聴覚コンテンツから前記第２特徴情報タイプに当たる第２特徴情報を抽出し、前記第２特徴情報を含む第２質疑に対する応答を受信する。【選択図】図４２

Description

本発明は、映像表示装置及びその動作方法に関するものである。
デジタル放送が活性化されるにつれ、放送局はメイン視聴覚コンテンツを送出しながら、このメイン視聴覚コンテンツと連携して利用するかこのメイン視聴覚コンテンツとは独立した付加サービスデータ（ｅｎｈａｎｃｅｄ ｓｅｒｖｉｃｅ ｄａｔａ）を一緒に送出する。
しかし、現在の放送環境では各過程の映像表示装置が放送信号を地上波を介して直接受信する場合が少ない。むしろ各家庭の映像表示装置はセットトップボックスのような放送受信装置に連結されているため、この放送受信装置が提供する非圧縮視聴覚コンテンツを再生することが多い。
一方、放送受信装置は多チャネルビデオ番組配布企業（ｍｕｌｔｉｃｈａｎｎｅｌ ｖｉｄｅｏ ｐｒｏｇｒａｍｍｉｎｇ ｄｉｓｔｒｉｂｕｔｏｒ，ＭＶＰＤ）と呼ばれるサーバからコンテンツを提供される。この多チャネルビデオ番組配布企業は放送局から放送信号を受信し、受信した放送信号からコンテンツを抽出した後、自らが送出するに適合した形態の信号に変換し、変換された信号を放送受信装置に提供する。この過程で、多チャネルビデオ番組配布企業は抽出した付加サービスデータを除去してもよく他の付加サービスデータを追加してもよいため、放送受信装置はＭＶＰＤに従属された付加サービスを提供されるしかない。
放送受信装置も多チャネルビデオ番組配布企業から受信した信号からメイン視聴覚データを抽出して非圧縮視聴覚データのみを映像表示装置に提供するため、放送受信装置の統制下の付加サービスのみ利用可能であって映像表示装置の統制下の付加サービスは行われない。
本発明は正確なコンテンツの識別を可能にする映像表示装置とその動作方法を提供するためのものである。
本発明の一実施例によるディスプレー部を含む映像表示装置の動作方法は、非圧縮視聴覚コンテンツを獲得するステップと、前記非圧縮視聴覚コンテンツから第１特徴情報タイプに当たる第１特徴情報を抽出するステップと、前記第１特徴情報を含む第１質疑（質問)に対する応答を受信するステップと、前記第１質疑に対する応答に基づいて第２特徴情報タイプを決定するステップと、前記非圧縮視聴覚コンテンツから前記第２特徴情報タイプに当たる第２特徴情報を抽出するステップと、前記第２特徴情報を含む第２質疑（質問）に対する応答を受信するステップと、を含む。
この際、前記第２特徴情報タイプは前記非圧縮視聴覚コンテンツのジャンルに基づいて決定される。
この際、前記第１質疑に対する応答は前記非圧縮視聴覚コンテンツのコンテンツ識別子を含み、前記非圧縮視聴覚コンテンツのジャンルは前記非圧縮視聴覚コンテンツのコンテンツ識別子に基づいて獲得される。
この際、前記第１質疑に対する応答に基づいて第２特徴情報タイプを決定するステップは、前記コンテンツ識別子を含む第３質疑（質問）を伝送するステップと、前記第３質疑に対する応答に基づいて第２特徴情報タイプを決定するステップと、を含む。
この際、前記第３質疑に対する応答は前記非圧縮視聴覚コンテンツのジャンルを含み、前記第３質疑に対する応答に基づいて前記第２特徴情報タイプを決定するステップは、前記非圧縮視聴覚コンテンツのジャンルに基づいて前記第２特徴情報タイプを決定するステップを含む。
本発明の一実施例による映像表示装置は、コンテンツのジャンルに基づいてＡＣＲ質疑（質問）に含まれる特徴情報タイプを変更して該当コンテンツを正確に識別することができる。
また、本発明の一実施例による映像表示装置は、コンテンツ認識の正確度に基づいてＡＣＲ質疑に含まれる特徴情報タイプを変更して該当コンテンツを正確に識別することができる。
また、本発明の一実施例による映像表示装置は、映像表示装置の制約に基づいてＡＣＲ質疑に含まれる特徴情報タイプを変更して該当コンテンツを正確に識別することができる。
本発明の一実施例によるネットワークトポロジーを示すブロック図である。 本発明の一実施例によるウォーターマーク(watermark)基盤のネットワークトポロジーを示すブロック図である。 本発明の一実施例によるウォーターマーク基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。 本発明の一実施例によるウォーターマーク基盤のコンテンツの認識タイミングを示す図である。 本発明の一実施例によるフィンガープリント基盤のネットワークトポロジーを示すブロック図である。 本発明の一実施例によるフィンガープリント基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。 本発明の一実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラム（ｓｃｈｅｍａ ｄｉａｇｒａｍ）である。 本発明の一実施例によるウォーターマークとフィンガープリント（ｆｉｎｇｅｒｐｒｉｎｔ）基盤のネットワークトポロジーを示すブロック図である。 本発明の一実施例によるウォーターマークとフィンガープリント基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。 本発明の一実施例による映像表示装置の構造を示すブロック図である。 本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示すフローチャートである。 本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示す概念図である。 本発明の実施例による自動再生アプリケーションの実行画面を示す図である。 本発明の実施例によるコンテンツ提供者アプリケーションの実行画面を示す図である。 本発明の実施例によるＡＣＲ機能を制御するためのユーザインタフェースを示す図である。 本発明の実施例による映像表示装置の動作方法示すフローチャートである。 本発明の実施例によるネットワークトポロジーを示す図である。 本発明の多様な実施例によるＬｉｖｅ＋アプリケーションを示す図である。 本発明の多様な実施例によるＬｉｖｅ＋アプリケーションを実行する方法を示す図である。 本発明の実施例によるＬｉｖｅ＋アプリケーションのタブの機能を示す図である。 本発明の一実施例による第三者サーバ９０のアーキテクチャを示す図である。 本発明の実施例による自動実行アプリケーションのための映像表示装置の動作を示すラダーダイアグラムである。 本発明の一実施例によるチャネル独立アプリケーションのための映像表示装置を示すラダーダイアグラムである。 本発明の他の実施例によるチャネル独立アプリケーションのための映像表示装置を示すラダーダイアグラムである。 本発明の実施例による映像表示装置の概念図を示す図である。 本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジーを示すラダーダイアグラムである。 本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジーを示すＸＭＬスキーマダイアグラムである。 本発明の他の実施例によるフィンガープリント基盤の映像表示装置の構造を示すラダーダイアグラム図である。 本発明の実施例によるフィンガープリント機能を制御するためのユーザインタフェースを示す図である。 本発明の一実施例によるフィンガープリントの周期変化を説明するための図である。 本発明の他の実施例によるフィンガープリントの周期変化を説明するための図である。 本発明の一実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。 本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。 本発明の一実施例によるフィンガープリント基盤のネットワークトポロジーに含まれた複数の映像表示装置それぞれのフィンガープリント周期を説明するための図である。 本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。 本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。 本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。 本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。 本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すブロック図である。 本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。 本発明の実施例によって映像表示装置が特徴情報タイプを決定することを示すためのネットワークトポロジーを示す図である。 本発明の実施例によって映像表示装置が特徴情報タイプを決定することを示すラダーダイアグラムである。 本発明の実施例によって映像表示装置がコンテンツ認識正確度に基づいて特徴情報タイプを変更することを示す順序図である。 本発明の他の実施例によって映像表示装置が特徴情報タイプを決定することを示すためのネットワークトポロジーを示す図である。 本発明の他の実施例によって映像表示装置が特徴情報タイプを決定することを示すラダーダイアグラムである。 本発明の実施例による映像表示装置の概念図である。 本発明の他の実施例によるフィンガープリント基盤の映像表示装置の構造を示すブロック図である。 本発明の他の実施例によるウォーターマーク基盤の映像表示装置の構造を示すブロック図である。
以下、本発明に関する移動端末機について図面を参照してより詳細に説明する。以下の説明で使用される構成要素に関する接尾辞「エンジン」、「モジュール」及び「部」は明細書を容易に作成するためにのみ考慮されて付与されるか混用されるものであって、それ自体で互いに区別される意味又は役割を有することはない。
以下、図１乃至図９を参照して本発明の一実施例によるネットワークトポロジーを説明する。
図１は、本発明の一実施例によるネットワークトポロジーを示すブロック図である。
図１に示したように、本発明の一実施例によるネットワークトポロジーはコンテンツ提供サーバ１０、コンテンツ認識サービス提供サーバ２０、多チャネルビデオ番組配布サーバ３０、付加サービス情報提供サーバ４０、複数の付加サービス提供サーバ５０、放送受信サーバ６０、ネットワーク７０、映像表示装置１００を含む。
コンテンツ提供サーバ１０は放送局などであり、メイン視聴覚コンテンツ（ｍａｉｎ ａｕｄｉｏ−ｖｉｓｕａｌ ｃｏｎｔｅｎｔ）を含む放送信号を放送する。放送信号は付加サービスを更に含む。付加サービスはメイン視聴覚コンテンツに関してもよく、関しなくてもよい。付加サービスはサービス情報（Ｓｅｒｖｉｃｅ ｉｎｆｏｒｍａｔｉｏｎ）、メタデータ（ｍｅｔａｄａｔａ）、付加データ、コンパイルされた実行ファイル、ウェブアプリケーション、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）文書、ＸＭＬ文書、ＣＳＳ（ｃａｓｃａｄｉｎｇ ｓｔｙｌｅ ｓｈｅｅｔ）文書、オーディオファイル、ビデオ不リアル、ＡＴＳＣ２．０コンテンツ、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）などのようなアドレスなどの形態を有する。一つ以上のコンテンツ提供サーバが存在する。
コンテンツ認識サービス提供サーバ２０は映像表示装置１００がメイン視聴覚コンテンツに基づいてコンテンツを認識するようにするコンテンツ認識サービスを提供する。コンテンツ認識サービス提供サーバ２０はメイン視聴覚コンテンツに修正を加えてもよく、加えなくてもよい。一つ以上のコンテンツ認識サービス提供サーバが存在する。
コンテンツ認識サービス提供サーバ２０はメイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような可視ウォーターマーク（ｖｉｓｉｂｌｅ ｗａｔｅｒｍａｒｋ）を挿入するウォーターマークサーバである。このウォーターマークサーバはメイン視聴覚コンテンツの各フレームの左上又は右上にコンテンツ提供者のロゴをウォーターマークで表示する。
また、コンテンツ認識サービス提供サーバ２０はメイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにコンテンツ情報を不可視ウォーターマーク（ｉｎｖｉｓｉｂｌｅ ｗａｔｅｒｍａｒｋ）として挿入するウォーターマークサーバである。
また、コンテンツ認識サービス提供サーバ２０はメイン視聴覚コンテンツの一部のフレーム又は一部のオーディオサンプルから特徴情報を抽出して記憶するフィンガープリントサーバである。この特徴情報はシグネチャとも呼ばれる。
多チャネルビデオ番組配布サーバ３０は複数の放送局から放送信号を受信し多重化して多重化された信号を放送受信装置６０に提供する。特に、多チャネルビデオ番組配布サーバ３０は受信した放送信号に対して復調とチャネル復号化を行ってメイン視聴覚コンテンツと付加サービスを抽出した後、抽出したメイン視聴覚コンテンツと付加サービスに対するチャネル復号化を行って配布のための多重化信号を生成する。この際、多チャネルビデオ番組配布サーバ３０は抽出した付加サービスを除外してもよく他の付加サービスを抽出してもよいため、放送局は放送局が主導するサービスを提供することができない。一つ以上の多チャネルビデオ番組配布サーバが存在する。
放送受信装置６０はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信した信号に対して復調とチャネル復号を行ってメイン視聴覚コンテンツを抽出する。そして、放送受信装置６０は抽出したメイン視聴覚コンテンツをＨ．２６５／ＭＰＥＧ−４ ＡＶＣ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ）、Ｄｏｌｂｙ ＡＣ−３、ＭＰＥＧ−２ ＡＡＣ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−２ ａｄｖａｎｃｅｄ ａｕｄｉｏ ｃｏｄｉｎｇ）アルゴリズムなどを利用し復号して非圧縮メイン視聴覚コンテンツ（ｕｎｃｏｍｐｒｅｓｓｅｄ ｍａｉｎ ＡＶ ｃｏｎｔｅｎｔ）を生成する。放送受信装置６０は生成した非圧縮メイン視聴覚コンテンツを映像表示装置１００の外部入力ポートなどを介して映像表示装置１００に提供する。
付加サービス情報提供サーバ４０は映像表示装置の要求に応答してメイン視聴覚コンテンツに関する一つ以上の利用可能な付加サービスのための付加サービス情報を提供する。一つ以上の負荷サービスアドレス提供サーバが存在する。付加サービス情報提供サーバ４０は複数の利用可能な付加サービスのうち最も優先順位が高い付加サービスのための付加サービス情報を提供してもよい。
付加サービス提供サーバ５０は映像表示装置の要求に応答してメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスを提供する。一つ以上の付加サービス提供サーバが存在する。
映像表示装置１００はテレビ、ノートブックＰＣ、携帯電話、スマートフォンなどのようにディスプレー装置である。映像表示装置１００は放送受信装置ｔ６０から非圧縮メイン視聴覚コンテンツを受信してもよく、コンテンツ提供サーバ１０又は多チャネルビデオ番組配布サーバ３０から符号化されたメイン視聴覚コンテンツを含む放送信号を含んでもよい。映像表示装置１００はネットワーク７０を介してコンテンツ認識サービス提供サーバ２０からコンテンツ認識サービスを提供され、ネットワーク７０を介して付加サービス情報提供サーバ４０からメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスのアドレスを受信し、付加サービス提供サーバ５０からメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスを提供される。
コンテンツ提供サーバ１０、コンテンツ認識サービス提供サーバ２０、多チャネルビデオ番組配布サーバ３０、付加サービス情報提供サーバ４０、複数の付加サービス提供サーバ５０のうち２つ以上は一つのサーバの形態で結合されもよく、一つの事業者によって運営されてもよい。
図２は、本発明の一実施例によるウォーターマーク基盤のネットワークトポロジーを示すブロック図である。
図２に示したように、本発明の一実施例によるネットワークトポロジーはウォーターマークサーバ２１を含む。
図２に示したようなウォーターマークサーバ２１はメイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにコンテンツ情報を挿入する。多チャネルビデオ番組配布サーバ３０は変形されたメイン視聴覚コンテンツを含む放送信号を受信して配布する。特に、ウォーターマークサーバは後述するようなデジタルウォーターマーキング技術を利用する。
デジタルウォーターマークは削除しにくい方法でデジタル信号に情報を挿入するプロセスである。例えば、デジタル信号はオーディオ、写真又はビデオである。このデジタル信号がコピーされると、挿入された情報も写本に保持される。一つのデジタル信号が同時に他の多くのウォーターマークを運搬する。
可視ウォーターマーキング（ｖｉｓｉｂｌｅ ｗａｔｅｒｍａｒｋｉｎｇ）において、挿入される情報は写真又はビデオで目で識別可能である。典型的に挿入された情報はメディアの所有者を識別するテキスト又はロゴである。テレビ局が自らのロゴを伝送されるビデオのコーナーに追加すると、これは目で識別可能なウォーターマークになる。
不可視ウォーターマーキング（ｉｎｖｉｓｉｂｌｅ ｗａｔｅｒｍａｒｋｉｎｇ）において、情報はデジタルデータとしてオーディオ、写真又はビデオに追加されるか、一定量の情報が隠されていることを感知することはできてもそのような情報を認知することはできない。このような目で識別不可能なウォータマーキングを介して秘密メッセージが伝達される。
ウォータマーキングのある応用は、デジタルメディアの不法コピーを防ぐための著作権保護システムである。例えば、コピー装置はデジタルメディアをコピーする前にデジタルメディアからウォーターマークを得て、ウォーターマークの内容に基づいてコピーするのか否かを決定する。
ウォータマーキングの他の応用はメディアの出処追跡にある。配布経路上の各地点でウォータマークがデジタルメディアにインべーディングされる。後にこのようなデジタルメディアが発見されたらこのデジタルメディアからウォーターマークが抽出され、ウォーターマークの内容から配布の出処を把握することができる。
デジタルメディアに関する説明が目で識別不可能なウォーターマーキングの他の応用である。
デジタルメディアのためのファイルフォーマットがメタデータと呼ばれる追加的な情報を含むが、デジタルウォーターマークはデジタルメディアの視聴覚信号自体で伝達されることからメタデータとは区別される。
ウォーターマーキング方法としてはスプレッドスペクトル、量子化、アンプリチュード（振幅）変調がある。
マーキングされる信号が追加的な修正によって得られるのであれば、ウォーターマーキング方法はスプレッドスペクトルに当たる。スプレッドスペクトルウォーターマークはかなり強いと知られているが、ウォーターマークがインべーディングされるホスト信号に干渉を与えるため多くの情報が含まれることはない。
マーキングされる信号が量子化によって得られるのであれば、ウォーターマーキング方法は量子化タイプに当たる。量子化ウォーターマークの強靭性は低いが多くの情報を含ませることができる。
マーキングされる信号が空間ドメインからスプレッドスペクトルと類似した追加の修正方法で得られるのであれば、ウォーターマーキング方法はアンプリチュード変調に当たる。
図３は、本発明の一実施例によるウォーターマーク基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
まず、コンテンツ提供サーバ１０はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送するＳ１０１。
ウォーターマークサーバ２１はコンテンツ提供サーバ１０が提供する放送信号を受信し、メイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような可視ウォータマークを挿入するか、メイン視聴覚コンテンツにウォーターマーク情報を不可視ウォーターマークとして挿入し、ウォーターマーキングとして表示されたメイン視聴覚コンテンツと付加サービスをＭＶＰＤ３０に提供するＳ１０３。
不可視ウォーターマークを介して挿入されるウォーターマーク情報はウォーターマークの用途、コンテンツの情報、付加サービスの情報、利用可能か付加サービスのうち一つ以上を含む。ウォーターマークの用途は無断コピーの防止、視聴率の調査、付加サービスの獲得のうち一つを示す。
コンテンツ情報はメイン視聴覚コンテンツを提供するコンテンツ提供者の識別情報、メイン視聴覚コンテンツの識別情報、メイン視聴覚コンテンツの等級情報、コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報、メイン視聴覚コンテンツが放送されるチャネル名、メイン視聴覚コンテンツが放送されるチャネルのロゴ、メイン視聴覚コンテンツが放送されるチャネルの説明、利用情報を報告するアドレス、利用情報の報告周期、利用情報を獲得する耐えの最小の利用時間、メイン視聴覚コンテンツに関して利用可能な付加サービス情報のうち一つ以上を含む。
映像表示装置１００がコンテンツ情報を獲得するためにウォーターマークを利用したのであれば、コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報は利用されたウォーターマークが内挿（ｅｍｂｅｄｄｉｎｇ）されたコンテンツ区間の時間情報である。映像表示装置１００がコンテンツ情報を獲得するためにフィンガープリントを利用したのであれば、コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報は特徴情報が抽出されたコンテンツ区間の時間情報である。コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報はコンテンツ情報の獲得に使用されたコンテンツ区間の開始時間、コンテンツ情報の獲得に使用されたコンテンツ区間の持続時間（ｄｕｒａｔｉｏｎ）、コンテンツ情報の獲得に使用されたコンテンツ区間の終了時間のうち一つ以上を含む。
利用情報の報告アドレスはメイン視聴覚コンテンツの視聴情報の報告アドレス、付加サービス利用情報の報告アドレスのうち一つ以上を含む。利用情報の報告周期はメイン視聴覚コンテンツの視聴情報の報告周期、付加サービス利用情報の報告周期のうち一つ以上を含む。利用情報を獲得するための最小の利用時間はメイン視聴覚コンテンツの視聴情報を獲得するための最小の視聴時間、付加サービス利用情報を抽出するための最小の使用時間のうち一つ以上を含む。
メイン視聴覚コンテンツが最小時長時間以上視聴された場合に基づいて映像表示装置１００はメイン視聴覚コンテンツの視聴情報を獲得し、メイン視聴覚コンテンツ視聴情報の報告周期からメイン視聴覚コンテンツ視聴情報の報告アドレスとして抽出した視聴情報を報告する。
付加サービスが最小使用時間以上使用された場合に基づいて映像表示装置１００は付加サービス利用情報を獲得し、付加サービス利用情報の報告周期から付加サービス利用情報の報告アドレスとして抽出した利用情報を報告する。
付加サービス情報は付加サービスが存在するのかに関する情報、付加サービスアドレス提供サーバーのアドレス、それぞれの利用可能な付加サービスの獲得経路、それぞれの利用可能な付加サービスのためのアドレス、それぞれの利用可能な付加サービスの開始時間、それぞれの利用可能な付加サービスのための終了時間、それぞれの利用可能な付加サービスの寿命（ｌｉｆｅｔｉｍｅ）、それぞれの利用可能な付加サービスの獲得モード、それぞれの利用可能な付加サービスのための要求周期、それぞれの利用可能な付加サービスの優先順位情報、それぞれの利用可能な付加サービスの説明、それぞれの利用可能な付加サービスの項目（ｃａｔｅｇｏｒｙ）、利用情報の報告アドレス、利用情報の報告周期、利用情報を獲得するための最小利用時間のうち一つ以上を含む。
利用可能な付加サービスの獲得経路はＩＰ又はＡＴＳＣ Ｍ／Ｈ（Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ−Ｍｏｂｉｌｅ／Ｈｎａｄｈｅｌｄ）を示す。利用可能な付加サービスの獲得経路がＡＴＳＣ Ｍ／Ｈであれば付加サービス情報は周波数情報、チャネル情報を更に含む。それぞれの利用可能な付加サービスの獲得モードはＰｕｓｈ又はＰｕｌｌを示す。
一方、ウォーターマークサーバ２１はメイン視聴覚コンテンツのロゴにウォーターマーク情報を不可視ウォーターマークとして挿入する。
例えば、ウォーターマークサーバ２１はロゴの一定位置にバーコードを挿入する。この際、ロゴの一定値はロゴがディスプレーされる区域の下端の１ラインに当たる。映像表示装置１００はこのようにバーコードが挿入されたロゴを含むメイン視聴覚コンテンツを受信する場合、バーコードをディスプレーしなくてもよい。
また、ウォーターマークサーバ２１はロゴのメタデータの形態にウォーターマーク情報を挿入する。この際、ロゴの形状は維持される。
また、ウォーターマーク２１はＭ個のフレームのロゴそれぞれにＮビットのウォーターマーク情報を挿入する。即ち、ウォーターマークサーバ２１はフレームを介してＭ＊Ｎ個のウォーターマーク情報を挿入する。
ＭＶＰＤ３０はウォーターマーキングで表示されたメイン視聴覚コンテンツと付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置６０に提供するＳ１０５。この際、多重化信号は受信した付加サービスを排除するか新しい付加サービスを含む。
放送受信装置６０はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を復調しチャネル復号化（ｃｈａｎｎｅｌ ｄｅｃｏｄｉｎｇ）して視聴覚復号（ＡＶ ｄｅｃｏｄｉｎｇ）を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置１００に提供するＳ１０６。
一方、コンテンツ提供サーバ１０もメイン視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送するＳ１０７。
また、ＭＶＰＤ３０は放送受信装置６０を介せずに直接映像表示装置１００にメイン視聴覚コンテンツを含む放送信号を伝送してもよいＳ１０８。
映像表示装置１００はセットトップボックスのような放送受信装置６０を介して非圧縮メイン視聴覚コンテンツを受信する。または、映像表示装置１００は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。または、映像表示装置１００はＭＶＰＤ３０から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信してもよい。映像表示装置１００は獲得したメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルからウォーターマーク情報を抽出する。ウォーターマーク情報がロゴに当たる場合、映像表示装置１００は複数のロゴと複数のウォーターマークサーバのアドレスの対応関係から抽出したロゴに当たるウォーターマークサーバのアドレスを確認する。ウォーターマーク情報がロゴに当たる場合、映像表示装置１００はロゴのみではメイン視聴覚コンテンツを識別することができない。また、ウォーターマーク情報がコンテンツ情報を含んでいない場合にも映像表示装置１００はメイン視聴覚コンテンツを識別することができないが、ウォーターマーク情報がコンテンツ提供者識別情報やウォーターマークサーバーのアドレスを含む。ウォーターマーク情報がコンテンツ提供者識別情報を含む場合、映像表示装置１００は複数のコンテンツ提供者識別情報と複数のウォーターマークサーバのアドレスの対応関係から抽出したコンテンツ提供者識別情報に当たるウォーターマークサーバのアドレスを確認する。このように、映像表示装置１００はウォーターマーク情報のみでメイン視聴覚コンテンツを識別することができない場合、獲得したウォーターマークサーバーアドレスに当たるウォーターマークサーバ２１にアクセスして第１質疑を伝送するＳ１０９。
ウォーターマークサーバ２１は第１質疑に対する第１応答を提供するＳ１１１。この第１応答はコンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。
ウォーターマーク情報と第１応答が付加サービスアドレスを含んでいなければ、映像表示装置１００は付加サービスを獲得することができない。しかし、ウォーターマーク情報と第１応答が付加サービスアドレス提供サーバのアドレスを含む。このように、映像表示装置１００はウォーターマーク情報と第１応答を介して付加サービスアドレスや付加サービスを獲得できず付加サービスアドレス提供サーバのアドレスを獲得したのであれば、映像表示装置１００は獲得した付加サービスアドレス提供サーバのアドレスに当たる付加サービス情報提供サーバ４０にアクセスしてコンテンツ情報を含む第２質疑を伝送するＳ１１９。
付加サービス情報提供サーバ４０は第２質疑のコンテンツ情報に関する一つ以上の利用可能な付加サービスを研削する。次に、付加サービス情報抵抗サーバ４０は第２質疑に対する第２応答として一つ以上の利用可能な付加サービスのための付加サービス情報を映像表示装置１００に提供するＳ１２１。
映像表示装置１００はウォーターマーク情報、第１応答又は第２応答を介して一つ以上の利用可能な付加サービスアドレスを獲得したのであれば、この一つ以上の利用可能な付加サービスアドレスにアクセスして付加サービスを要求しＳ１２３、付加サービスを獲得するＳ１２５。
図４は、本発明の一実施例によるウォーターマーク基盤のコンテンツの認識タイミングを示す図である。
図４に示したように、放送受信装置６０がターンオンされてチャネルをチューニングし、映像表示装置１００が外部入力ポート１１を介して放送受信装置６０からチューニングされたチャネルのメイン視聴覚コンテンツを受信すると、映像表示装置１００はメイン視聴覚コンテンツのウォーターマークからコンテンツ提供者識別子（または放送局識別子）を感知する。次に、映像表示装置１００は感知したコンテンツ提供者識別子に基づいてメイン視聴覚コンテンツのウォーターマークからコンテンツ情報を感知する。
この際、図４に示したように、コンテンツ識別子の感知可能周期とコンテンツ情報の感知可能周期は異なり得る。特に、コンテンツ提供者識別子の感知可能周期はコンテンツ情報の感知可能周期より短い。それを介し、映像表示装置１００は必要な情報のみを感知するための効率的な構成を有する。
図５は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジーを示すブロック図である。
図５に示したように、本発明の一実施例によるネットワークトポロジーはフィンガープリントサーバ２２を更に含む。
図５に示したようなフィンガープリントサーバ２２はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出して記憶する。次に、フィンガープリントサーバ２２は映像表示装置１００からの特徴情報を受信したら、受信した情報に当たる視聴覚コンテンツの識別子と時間情報を提供する。
図６は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
まず、コンテンツ提供サーバ１０はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送するＳ２０１。
フィンガープリントサーバ２２はコンテンツ提供サーバ１０が提供する放送信号を受信し、メイン視聴覚コンテンツの複数のフレーム区間または複数のオーディオ区間から複数の特徴情報を抽出し、複数の特徴情報にそれぞれ対応する複数の質疑結果のためのデータベースを構築するＳ２０３。質疑結果はコンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。
ＭＶＰＤ３０はメイン視聴覚コンテンツ付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置６０に提供するＳ２０５。この際、多重化信号は付加サービスを排除するか新しい付加サービスを含む。
放送受信装置６０はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を不調しチャネル復号化して視聴覚復号を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置１００に提供するＳ２０６。
一方、コンテンツ提供サーバ１０も視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送するＳ２０７。
また、ＭＶＰＤ３０は放送受信装置６０を介せずに直接映像表示装置１００にメイン視聴覚コンテンツを含む信号を伝送するＳ２０８。
映像表示装置１００はセットトップボックス６０を介して非圧縮メイン視聴覚コンテンツを受信する。または、映像表示装置１００は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。または、映像表示装置１００はＭＶＰＤ３０から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信する。映像表示装置１００は獲得したメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出するＳ２１３。
映像表示装置１００は予め設定されたフィンガープリントサーバのアドレスに当たるフィンガープリントサーバ２２にアクセスして抽出した情報を含む第１質疑を伝送するＳ２１５。
フィンガープリントサーバ２２は第１質疑に対する応答として質疑結果を提供するＳ２１７。もし第１応答が失敗に当たれば、映像表示装置１００は他のフィンガープリントサーバアドレスに当たるフィンガープリントサーバ２２にアクセスして抽出した特徴情報を含む第１質疑を伝送する。
フィンガープリントサーバ２２は質疑結果としてＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）文書を提供する。質疑結果を保持するＸＭＬ文書の例を図７と表１を参照して説明する。
図７は、本発明の一実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
図７に示したように、質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＩｎｆｏｒｍａｔｉｏｎ、ＳｅｒｖｉｃＩｎｆｏｒｍａｉｏｎエレメントを有する。
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有すると、これは質疑結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有すると、これは質疑（質問）結果が失敗であることを意味する。
ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＩｎｆｏｒｍａｔｉｏｎエレメントはＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬエレメントを有し、ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬエレメントはＵｐｄａｔｅＭｏｄｅ、ＰｏｌｌｉｎｇＣｙｃｌｅ属性を有する。属性はＰｕｌｌ値またはＰｕｓｈ値を有する。
ＳｅｒｖｉｃＩｎｆｏｒｍａｉｏｎエレメントはＳｅｒｖｉｃｅＮａｍｅ、ＳｅｒｖｉｃｅＬｏｇｏ、ＳｅｒｖｉｃｅＤｅｓｃｒｉｐｔｉｏｎエレメントを有する。
表１は、このような質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ Ｓｃｈｅｍａを示す。
Figure 2016516321
ＣｏｎｔｅｎｔＩＤエレメントとして、下記表２で示したようなＡＴＳＣコンテンツ識別子（ＡＴＳＣ ｃｏｎｔｅｎｔ ｉｄｅｎｔｉｆｉｅｒ）が利用される。
Figure 2016516321
表２に示したように、ＡＴＳＣ ｃｏｎｔｅｎｔ ｉｄｅｔｉｆｉｅｒはＴＳＩＤとハウス番号で構成された構造を有する。
１６ビットの符号のない整数ＴＳＩＤはトランスポートストリーム識別子（ｔｒａｎｓｐｏｒｔ ｓｔｒｅａｍ ｉｄｅｎｔｉｆｉｅｒ）を保持する（ｃａｒｒｙ）。
５ビットの符号のない整数ｅｎｄ＿ｏｆ＿ｄａｙは放送が終わってｃｏｎｔｅｎｔ＿ｉｄ値が再使用される日の時（ｈｏｕｒ）としてセッティングされる。
９ビットの符号のない整数ｕｎｉｑｕｅ＿ｆｏｒはｃｏｎｔｅｎｔ＿ｉｄ値が再使用できない日の数（ｎｕｍｂｅｒ ｏｆ ｄａｙ）に設定される。
ｃｏｎｔｅｎｔ＿ｉｄはコンテンツ識別子を示す。映像表示装置１００は毎日ｅｎｄ＿ｏｆ＿ｄａｙに当たる時間からｕｎｉｑｕｅ＿ｆｏｒを１ずつ減少し、ｕｎｉｑｕｅ＿ｆｏｒが０になっていなければｃｏｎｔｅｎｔ＿ｉｄが唯一であるとみなす。
一方、ＣｏｎｔｅｎｔＩＤエレメントとして、後述するようなＡＳＴＣ−Ｍ／Ｈ ｓｅｒｖｉｃｅのためのグローバルサービス識別子（Ｃｌｏｂａｌ Ｓｅｒｖｉｃｅ Ｉｄｅｎｔｉｆｉｅｒ）が利用される。
グローバルサービス識別子は以下のようなフォームを有する。
−ｕｒｎ：ｏｍａ：ｂｃａｓｔ：ｉａｕｔｈ：ａｔｓｃ：ｓｅｒｖｉｃｅ：＜ｒｅｇｉｏｎ＞：＜ｘｓｉｄ＞：＜ｓｅｒｖｉｃｅｉｄ＞
ここで、＜ｒｅｇｉｏｎ＞はＩＳＯ ６３９−２によって規定される２桁の文字の国際コードである。ローカルサービス（ｌｏｃａｌ ｓｅｒｖｉｃｅ）のための＜ｘｓｉｄ＞は＜ｒｅｇｉｏｎ＞で定義するようなＴＳＩＤの十進数であり、地域サービス（ｒｅｇｉｏｎａｌ ｓｅｒｖｉｃｅ）（ｍａｊｏｒ＞６９）のための＜ｘｓｉｄ＞は「０」である。＜ｓｅｒｖｉｃｅｉｄ＞は＜ｍａｊｏｒ＞や＜ｍｉｎｏｔ＞に定義される。＜ｍａｊｏｒ＞はメジャーチャネル番号（Ｍａｊｏｒ Ｃｈａｎｎｅｌ Ｎｕｍｂｅｒ）を示し、＜ｍｉｎｏｒ＞はマイナーチャネル番号（Ｍｉｎｏｒ Ｃｈａｎｎｅｌ Ｎｕｍｂｅｒ）を示す。
グローバル識別子の例は以下のようである。
−ｕｒｎ：ｏｍａ：ｂｃａｓｔ：ｉａｕｔｈ：ａｔｓｃ：ｓｅｒｖｉｃｅ：ｕｓ：１２３４：５．１
−ｕｒｎ：ｏｍａ：ｂｃａｓｔ：ｉａｕｔｈ：ａｔｓｃ：ｓｅｒｖｉｃｅ：ｕｓ：０：１００．２００
一方、ＣｏｎｔｅｎｔＩＤエレメントとして、後述するようなＡＴＳＣコンテンツ識別子が利用される。
ＡＴＳＣコンテンツ識別子は以下のようなフォームを有する。
ｕｒｎ：ｏｍａ：ｂｃａｓｔ：ｉａｕｔｈ：ａｔｓｃ：ｃｏｎｔｅｎｔ：＜ｒｅｇｉｏｎ＞：＜ｘｓｉｄｚ＞：＜ｃｏｎｔｅｎｔｉｄ＞：＜ｕｎｉｑｕｅ＿ｆｏｒ＞：＜ｅｎｄ＿ｏｆ＿ｄａｙ＞
ここで、＜ｒｅｇｉｏｎ＞はＩＳＯ ６３９−２によって規定される２桁の文字の国際コードである。ローカルサービスのための＜ｘｓｉｄ＞は＜ｒｅｇｉｏｎ＞で定義するようなＴＳＩＤの十進数であり、「．」＜ｓｅｒｖｉｃｅｉｄ＞が後に続く。地域サービス（ｍａｊｏｒ＞６９）のための＜ｘｓｉｄ＞は＜ｓｅｒｖｉｃｅｉｄ＞である。＜ｃｏｎｔｅｎｔ＿ｉｄ＞は表２に定義されているｃｏｎｔｅｎｔ＿ｉｄ ｆｉｅｌｄはｂａｓｅ６４符合であり、＜ｕｎｉｑｕｅ＿ｆｏｒ＞は表２に定義されているｕｎｉｑｕｅ＿ｆｏｒ ｆｉｅｌｄの十進数の符号であり、＜ｅｎｄ＿ｏｆ＿ｄａｙ＞は表２に定義されているｅｎｄ＿ｏｆ＿ｄａｙ ｆｉｅｌｄの十進数の符号である。
以下、更に図６を説明する。
質疑結果が付加サービスや付加サービスを含まず付加サービスアドレス提供サーバのアドレスを含めば、映像表示装置１００は獲得した付加サービスアドレス提供サーバのアドレスに当たる付加サービス情報提供サーバ４０にアクセスしてコンテンツ情報を含む第２質疑を伝送するＳ２１９。
付加サービス情報提供サーバ４０は第２質疑のコンテンツ情報に関する一つ以上の利用可能な付加サービスを検索する。次に、付加サービス情報提供サーバ４０は第２質疑に対する第２応答として一つ以上の利用可能な付加サービスのための付加サービス情報を映像表示装置１００に提供するＳ２２１。
映像表示装置１００は第１応答または第２応答に応じて一つ以上の利用可能な付加サービスのアドレスを獲得したのであれば、この一つ以上の利用可能な付加サービスのアドレスにアクセスして付加サービスを要求しＳ２２３、付加サービスを獲得するＳ２２５。
ＵｐｄａｔｅＭｏｄｅ属性がＰｕｌｌ値を有する場合、映像表示装置１００はＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬを介してＨＴＴＰ ｒｅｑｕｅｓｔを付加サービス提供サーバ５０に伝送し、それに対する応答としてＰＳＩＰバイナリストリームを含むＨＴＴＰ ｒｅｓｐｏｎｓｅを付加サービス提供サーバ５０から受信する。この場合、映像表示装置１００はＰｏｌｌｉｎｇＣｙｃｌｅ属性として指定されるＰｏｌｌｉｎｇ周期に応じてＨＴＴＰ ｒｅｑｕｅｓｔを伝送する。また、ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬエレメントはアップデート時間属性を有してもよい。この場合、映像表示装置１００はアップデート時間属性として指定されるアップデート時間からＨＴＴＰ ｒｅｑｕｅｓｔを伝送する。
ＵｐｄａｔｅＭｏｄｅ属性がＰｕｓｈ値を有する場合、映像表示装置１００はＸＮＬＨＴＴＰＲｅｑｕｅｓｔ ＡＰＩを活用して非同期的にサーバからアップデートを受信する。映像表示装置１００がサーバにＸＭＬＨＴＴＰＲｅｑｕｅｓｔ ｏｂｊｅｃｔを介して非同期的なｒｅｑｕｅｓｔをした後、シグナリング情報に変更があればこのチャネルを介してサーバがｒｅｓｐｏｎｓｅにシグナリング情報を提供する方案である。セッションの待機時間に制限があればｓｅｓｓｉｏｎ ｔｉｍｅｏｕｔ ｒｅｓｐｏｎｄを発生し、受信機は直ちにそれを認知し再要求して受信機とサーバ間のシグナリングチャネルを常に維持する。
図８は、本発明の一実施例によるウォーターマークとフィンガープリント基盤のネットワークトポロジーを示すブロック図である。
図８に示したように、本発明の一実施例によるネットワークトポロジーはウォーターマークサーバ２１とフィンガープリントサーバ２２を更に含む。
図８に示したようなウォーターマークサーバ２１はメイン視聴覚コンテンツにコンテンツ提供者識別情報を挿入する。ウォーターマークサーバ２１はロゴのように可視ウォーターマークとしてコンテンツ提供者識別情報をメイン視聴覚コンテンツに挿入してもよく、不可視ウォーターマークとしてコンテンツ提供者識別情報をメイン視聴覚コンテンツに挿入してもよい。
フィンガープリントサーバ２２はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出して記憶する。次に、フィンガープリントサーバ２２は映像表示装置１００からの特徴情報を受信すると、受信した情報に当たる視聴覚コンテンツの識別子と時間情報を提供する。
図９は、本発明の一実施例によるウォーターマークとフィンガープリント基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
まず、コンテンツ提供サーバ１０はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送するＳ３０１。
ウォーターマークサーバ２１はコンテンツ提供サーバ１０が提供する放送信号を受信し、メイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような可視ウォータマークを挿入するか、メイン視聴覚コンテンツにウォーターマーク情報を不可視ウォーターマークとして挿入し、ウォーターマーキングとして表示されたメイン視聴覚コンテンツと付加サービスをＭＶＰＤ３０に提供するＳ３０３。不可視ウォーターマークを介して挿入されるウォーターマーク情報はコンテンツの情報、付加サービスの情報、利用可能か付加サービスのうち一つ以上を含む。コンテンツ情報と付加サービス情報は上述したようである。
ＭＶＰＤ３０はウォーターマーキングで表示されたメイン視聴覚コンテンツと付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置６０に提供するＳ３０５。この際、多重化信号は受信した付加サービスを排除するか新しい付加サービスを含む。
放送受信装置６０はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を復調しチャネル復号化して視聴覚復号を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置１００に提供するＳ３０６。
一方、コンテンツ提供サーバ１０もメイン視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送するＳ３０７。
また、ＭＶＰＤ３０は放送受信装置６０を介せずに直接映像表示装置１００にメイン視聴覚コンテンツを含む信号を伝送してもよいＳ３０８。
映像表示装置１００はセットトップボックス６０を介して非圧縮メイン視聴覚コンテンツを受信する。または、映像表示装置１００は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。または、映像表示装置１００はＭＶＰＤ３０から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信してもよい。映像表示装置１００は獲得したメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルからウォーターマーク情報を抽出する。ウォーターマーク情報がロゴに当たる場合、映像表示装置１００は複数のロゴと複数のウォーターマークサーバのアドレスの対応関係から抽出したロゴに当たるウォーターマークサーバのアドレスを確認する。ウォーターマーク情報がロゴに当たる場合、映像表示装置１００はロゴのみではメイン視聴覚コンテンツを識別することができない。また、ウォーターマーク情報がコンテンツ情報を含んでいない場合にも映像表示装置１００はメイン視聴覚コンテンツを識別することができないが、ウォーターマーク情報がコンテンツ提供者識別情報やウォーターマークサーバーのアドレスを含む。ウォーターマーク情報がコンテンツ提供者識別情報を含む場合、映像表示装置１００は複数のコンテンツ提供者識別情報と複数のウォーターマークサーバのアドレスの対応関係から抽出したコンテンツ提供者識別情報に当たるウォーターマークサーバのアドレスを確認する。このように、映像表示装置１００はウォーターマーク情報のみでメイン視聴覚コンテンツを識別することができない場合、獲得したウォーターマークサーバーアドレスに当たるウォーターマークサーバ２１にアクセスして第１質疑を伝送するＳ３０９。
ウォーターマークサーバ２１は第１質疑に対する第１応答を提供するＳ３１１。この第１応答はフィンガープリントサーバのアドレス、コンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。コンテンツ情報と付加サービス情報は上述したようである。
ウォーターマーク情報と第１応答が付加サービスアドレスを含んでいれば、映像表示装置１００はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出するＳ３１３。
映像表示装置１００は第１応答内のフィンガープリントサーバのアドレスに当たるフィンガープリントサーバ２２にアクセスして抽出した情報を含む第２質疑を伝送するＳ３１５。
フィンガープリントサーバ２２は第２質疑に対する第２応答として質疑結果を提供するＳ３１７。
質疑結果が付加サービスアドレスや付加サービスを含まずに付加サービスアドレス提供サーバのアドレスのみを含めば、映像表示装置１００は獲得した付加サービスアドレス提供サーバのアドレスに当たる付加サービス情報提供サーバ４０にアクセスしてコンテンツ情報を含む第３質疑を伝送するＳ３１９。
付加サービス情報提供サーバ４０は第３質疑のコンテンツ情報に関する一つ以上の利用可能な付加サービスを検索する。次に、付加サービス情報提供サーｂ４０は第３質疑に対する第３応答として一つ以上の利用可能は付加サービスのための付加サービス情報を映像表示装置１００に提供するＳ３２１。
映像表示装置１００は第１応答、第２応答または第３応答を介して一つ以上の利用可能な付加サービスのアドレスを獲得したら、この一つ以上の利用可能な付加サービスのアドレスにアクセスして付加サービスを要求しＳ３２３、付加サービスを獲得するＳ３２５。
次に図１０を参照して、本発明の一実施例による映像表示装置１００を説明する。
図１０は、本発明の一実施例による映像表示装置の構造を示すブロック図である。
図１０に示したように、本発明の実施例による映像表示装置１００は放送信号受信部１０１、復調部１０３、チャネル復号部１０５、逆多重化部１０７、視聴覚復号部１０９、外部入力ポート１１１、再生制御部１１３、再生装置１２０、付加サービス管理部１３０、データ送受信部１４１、メモリ１５０を含む。
放送信号受信部１０１はコンテンツ提供サーバ１０またはＭＶＰＤ３０から放送信号を受信する。
復調部１０３は受信した放送信号を復調し、復調された信号を生成する。
チャネル復号部１０５は復調された信号をチャネル復号し、チャネル復号されたデータを生成する。
逆多重化部１０７はチャネル復号されたデータからメイン視聴覚コンテンツと付加サービスを分離する。分離された付加サービスは付加サービス記憶部１５２に記憶される。
視聴覚復号部１０９は分離されたメイン視聴覚コンテンツを視聴覚復号して日圧縮メイン視聴覚コンテンツを生成する。
一方、外部入力ポート１１１は放送受信装置６０、ＤＶＤ（ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）プレーヤー、ブルーレイディスク（Ｂｌｕ−ｒａｙ ｄｉｓｃ）プレーヤーなどから非圧縮メイン視聴覚コンテンツを受信する。外部入力ポート１１１はＤＳＵＢポート、ＨＤＭＩ（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）ポート、コンポジット（ｃｏｍｐｏｓｉｔｅ）ポート、コンポーネント（ｃｏｍｐｏｎｅｎｔ）ポート、Ｓ−Ｖｉｄｅｏポートのうち一つ以上を含む。
再生制御部１１３は視聴覚復号部１０９が生成する非圧縮メイン視聴覚コンテンツまたは外部入力ポート１１１から受信した非圧縮メイン視聴覚コンテンツのうち少なくとも一つをユーザの選択によって再生装置１２０に再生する。
再生装置１２０はディスプレー部１２１とスピーカ１２３を含む。ディスプレー部１２１は液晶ディスプレー（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ，ＬＣＤ）、薄膜トランジスタ液晶ディスプレー（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ，ＴＦＴ ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｓｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ，ＯＬＥＤ）、フレキシブルディスプレー（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレー（３Ｄ ｄｉｓｐｌａｙ）のうち少なくとも一つを含む。
付加サービス管理部１３０はメイン視聴覚コンテンツのコンテンツ情報を獲得し、獲得したコンテンツ情報に基づいて利用可能な付加サービスを獲得する。特に、上述したように付加サービス管理部１３０は非圧縮メイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルに基づいてメイン視聴覚コンテンツの識別情報を獲得するが、本明細書ではそれを自動コンテンツ認識（ａｕｔｏｍａｔｉｃ ｃｏｎｔｅｎｔｓ ｒｅｃｏｇｎｉｔｉｏｎ，ＡＣＲ）と称することもある。
データ送受信部１４１はＡＴＳＣ−Ｍ／Ｈ（Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ−Ｍｏｂｉｌｅ／Ｈａｎｄｈｅｌｄ）チャネル送受信部１４１ａとＩＰ送受信部１４１ｂを含む。
メモリ１５０はフラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（Hard ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（Ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えばＳＤまたはＸＤメモリなど）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの記憶媒体を含む。映像表示装置１００はインターネット（ｉｎｔｅｒｎｅｔ）上で前記メモリ１５０の記憶機能を行うウェブストレッジ（ｗｅｂ ｓｔｏｒａｇｅ）に関して動作してもよい。
メモリ１５０はコンテンツ情報記憶部１５１、付加サービス記憶部１５２、ロゴ記憶部１５３、設定情報記憶部１５４、ブックマーク記憶部１５５、ユーザ情報記憶部１５６、利用情報記憶部１５７を含む。
コンテンツ情報記憶部１５１は複数の特徴情報に対応する複数のコンテンツ情報を記憶する。
付加サービス記憶部１５２は複数の特徴情報に対応する複数の付加サービスを記憶してもよく、複数のコンテンツ情報に対応する複数の付加サービスを記憶してもよい。
ロゴ記憶部１５３は複数のロゴを記憶する。また、ロゴ記憶部はこの複数のロゴに対応するコンテンツ提供者識別子または複数のロゴに対応するウォーターマークサーバのアドレスを更に含む。
設定情報記憶部１５４はＡＣＲのための設定情報を記憶する。
ブックマーク記憶部１５５はブックマークを記憶する。
ユーザ情報記憶部１５６はユーザ情報を記憶する。ユーザ情報は一つ以上のサービスのための一つ以上のアカウント情報、地域情報、家族構成員の情報、好みのジャンルの情報、映像表示装置の情報、利用情報提供範囲のうち一つ以上を含む。一つ以上のアカウント情報は利用情報測定サーバのためのアカウント情報、ツイッター（ｔｗｉｔｔｅｒ）、フェースブック（ｆａｃｅｂｏｏｋ）のようなソーシャルネットワークサービス（ｓｏｃｉａｌ ｎｅｔｗｏｒｋ ｓｅｒｖｉｃｅ）のアカウント情報を含む。地域情報は住所情報、郵便番号を含む。家族構成員の情報は家族構成員の数、各構成員の年齢、各構成員の性別、各構成員の宗教、各構成員の職業などを含む。好みのジャンルの情報はスポーツ、映画、ドラマ、教育、ニュース、エンタテインメント、その他のジャンルのうち一つ以上に設定される。映像表示装置の情報は映像表示装置の種類、製造会社、ファームウェアのバージョン、解像度、モデル名、ＯＳ、ブラウザ、記憶装置の有無、記憶装置の容量、ネットワークの速度に関する情報を含む。利用情報提供範囲が設定されると、映像表示装置１００は設定された範囲内でメイン視聴覚コンテンツ視聴情報と付加サービス利用情報を収集し報告する。利用情報提供範囲は仮想チャネルそれぞれに対して設定される。また、利用情報測定許容範囲は物理チャネル全体に対して設定されてもよい。
利用情報記憶部１５７は映像表示装置１００によって収集されるメイン視聴覚コンテンツ視聴情報と付加サービス使用情報を記憶する。また、映像表示装置１００は収集したメイン視聴覚コンテンツの視聴情報と収集した付加サービス使用情報に基づいてサービス利用パターンを分析し、分析されたサービス利用パターンを利用情報記憶部１５７に記憶する。
付加サービス管理部１３０はフィンガープリントサーバ２２またはコンテンツ情報記憶部１５１からメイン視聴覚コンテンツのコンテンツ情報を獲得する。コンテンツ情報記憶部１５１に抽出した特徴情報に当たるコンテンツ情報がないか十分なコンテンツ情報がない場合、付加サービス管理部１３０はデータ送受信部１５１を介して追加にコンテンツ情報を受信する。また、付加サービス管理部１３０は持続的にコンテンツ情報をアップデートする。
付加サービス管理部１３０は付加サービス提供サーバ５０または付加サービス記憶部１５３から利用可能な付加サービスを獲得する。付加サービス記憶部１５３に付加サービスがないか十分な付加サービスがない場合、付加サービス管理部１３０はデータ送受信部１５１を介して付加サービスをアップデートする。また、付加サービス管理部１３０は持続的に付加サービスをアップデートする。
付加サービス管理部１３０はメイン視聴覚コンテンツからロゴを抽出し、ロゴ記憶部１５５に質疑して抽出したロゴに対応するコンテンツ提供者識別子またはウォーターマークサーバのアドレスを獲得する。ロゴ記憶部１５５に抽出したロゴと一致するロゴがないか十分なロゴがない場合、付加サービス管理部１３０はデータ送受信部１５１を介して追加のロゴを受信する。また、付加サービス管理部１３０は持続的にロゴをアップデートする。
付加サービス管理部１３０はメイン視聴覚コンテンツから抽出したロゴとロゴ記憶部１５５内の複数のロゴとの比較を行うが、演算の負担を減らすための多様な方法を行う。
例えば、付加サービス管理部１３０は色相特性に基づいて比較を行う。即ち、付加サービス管理部１３０は抽出したロゴの色相特性とロゴ記憶部１５５内のロゴの色相特性を比較してその一致可否を判断する。
また、付加サービス管理部１３０は文字認識に基づいて比較を行う。即ち、付加サービス管理部１３０は抽出したロゴから認識される文字とロゴ記憶部１５１内のロゴから認識される文字を比較してその一致可否を判断する。
それだけでなく、付加サービス管理部１３０はロゴの輪郭に関する形状に基づいて比較を行う。即ち、付加サービス管理部１３０は抽出したロゴの輪郭形状とロゴ記憶部１５５内のロゴの輪郭形状を比較してその一致可否を判断する。
次に、図１１及び図１２を参照し、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を説明する。
図１１は、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示すフローチャートである。
付加サービス情報は付加サービスの開始時間を含む。この際、映像表示装置１００はこの開始時間に付加サービスを開始する必要がある。しかし、映像表示装置１００はタイムスタンプを有しない非圧縮メイン視聴覚コンテンツを伝送する信号を受信するため、メイン視聴覚コンテンツの再生時間の基準と付加サービスの開始時間の基準は互いに異なる。 映像表示装置１００が時間情報を有するメイン視聴覚コンテンツを受信しても、再放送のようにメイン視聴覚コンテンツの再生時間の基準と付加サービスの再生時間の基準は異なり得る。よって、映像表示装置１００はメイン視聴覚コンテンツの基準時間と付加サービスの基準時間を同期化する必要がある。特に、映像表示装置１００はメイン視聴覚コンテンツの再生時間と付加サービスの開始時間を同期化する必要がある。
まず、付加サービス管理部１３０はメイン視聴覚コンテンツの一部区間を抽出するＳ８０１。メイン視聴覚コンテンツの一部区間はメイン視聴覚コンテンツの一部のビデオフレームと一部のオーディオフレームのうち一つ以上を含む。付加サービス管理部１３０がメイン視聴覚コンテンツの一部区間を抽出する時間をＴｎと称する。
付加サービス管理部１３０は抽出された区間に基づいてメイン視聴覚コンテンツのコンテンツ情報を獲得するＳ８０３。詳しくは、付加サービス管理部１３０は抽出された区間に不可視ウォーターマークとして符号化された情報を復号してコンテンツ情報を獲得する。また、付加サービス管理部１３０は抽出された区間の特徴情報を抽出し、抽出された特徴情報に基づいてフィンガープリントサーバ２２またはコンテンツ情報記憶部１５１からメイン視聴覚コンテンツのコンテンツ情報を獲得する。付加サービス管理部１３０がコンテンツ情報を獲得した時間をＴｍと称する。
一方、コンテンツ情報は抽出された区間の開始時間Ｔｓを含む。付加サービス管理部１３０はコンテンツ情報獲得時間Ｔｍの後からは時間Ｔｓ、時間Ｔｍ、時間Ｔｎに基づいてメイン視聴覚コンテンツの再生時間を付加サービスの開始時間と同期化するＳ８０５。詳しくは、付加サービス管理部１３０はコンテンツ情報獲得時間Ｔｍを下記数式１で計算される時間Ｔｐとみなす。
Figure 2016516321
そして、付加サービス管理部１３０はコンテンツ情報獲得時間から時間Ｔｘが経過した時間をＴｐ＋Ｔｘとみなす。
次に、付加サービス管理部１３０は獲得したコンテンツ情報に基づいて付加サービスと付加サービスの開始時間Ｔａを獲得するＳ８０７。
メイン視聴覚コンテンツの同期化された再生時間が付加サービスの開始時間Ｔａと一致すれば、付加サービス管理部１３０は獲得した付加サービスを開始するＳ８０９。詳しくは、付加サービス管理部１３０は下記数式２を満足する場合に付加サービスを開始する。
Figure 2016516321
図１２は、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示す概念図である。
図１２に示したように、映像表示装置１００はシステム時間Ｔｎで視聴覚サンプルを抽出する。
映像表示装置１００は抽出した視聴覚サンプルから特徴情報を抽出し、フィンガープリントサーバ２２に抽出した特徴情報を含む質疑を伝送して質疑結果を受信する。映像表示装置１００は質疑結果をパーシングし、抽出した視聴覚サンプルの開始時間Ｔｓが１１０００ｍｓに当たることを時間Ｔｍで確認する。
よって、映像表示装置は数式１によって抽出した視聴覚サンプルの開始時間を確認した時点をＴｓ＋（Ｔｍ−Ｔｎ）とみなし、その後からメイン視聴覚コンテンツの再生時間を付加サービスの開始時間と同期化する。
次に、図１３及び図１４を参照し、本発明の多様な実施例によるＡＣＲアプリケーションを説明する。
本発明の多様な実施例によるＡＣＲアプリケーションであって、自動再生アプリケーション、コンテンツ提供者アプリケーション、映像表示装置製造会社アプリケーションなどが挙げられる。
図１３は、本発明の実施例による自動再生アプリケーションの実行画面を示す図である。
自動再生アプリケーションはユーザがいかなるアクションを取らなくても付加サービスを自動的に再生する。このような意味で、本明細書で自動再生アプリケーションをリーンバックアプリケーション（ｌｅａｎ ｂａｃｋ ａｐｐｌｉｃａｔｉｏｎ）と称することもある。
自動再生アプリケーションはメイン視聴覚コンテンツの再生中にコンテンツ提供者または放送局が提供する場面連関情報のような付加サービスをメイン視聴覚コンテンツの再生時間に応じてユーザの入力がなくても自動的に再生する。即ち、コンテンツ提供者または放送局が全的に自動再生アプリケーションを統制する。例えば、自動再生アプリケーションが特定チャネルまたは特定コンテンツに関する場合、映像表示装置１００が自動再生アプリケーションに関するチャネルまたはコンテンツに進入すると、映像表示装置１００は該当自動再生アプリケーションをユーザが入力がなくても自動的に実行する。そして、映像表示装置１００が自動再生アプリケーションに関するチャネルまたはコンテンツから逸脱すると、映像表示装置１００は該当自動再生アプリケーションをユーザの入力がなくても自動的に終了する。このような意味で、本明細書で自動再生アプリケーションをチャネル従属アプリケーションまたはコンテンツ従属アプリケーションと称することもある。
図１３に示したように、自動再生アプリケーションが再生されると、画面２００は縮小されたメイン視聴覚コンテンツが再生されるサブ画面２１０と付加情報がディスプレーされるサブ画面２００を含む。付加情報がディスプレーされるサブ画面２２０はメイン視聴覚コンテンツが再生されるサブ画面２１０と空間的に分けられる。
一方、自動再生アプリケーションが実行される際、付加情報がディスプレーされる領域は半透明である。この場合、付加情報がディスプレーされる領域はメイン視聴覚コンテンツが再生される領域の上にオーバーレイ（ｏｖｅｒｌａｙ）される。
図１４は、本発明の実施例によるコンテンツ提供者アプリケーションの実行画面を示す図である。
本明細書において、コンテンツ提供者アプリケーションをフルインタラクティブアプリケーション（ｆｕｌｌ ｉｎｔｅｒａｃｔｉｖｅ ａｐｐｌｉｃａｉｔｏｎ）と称することもある。
図１４の（Ａ）に示したように、映像表示装置１００は複数のアプリケーションをダウンロードして記憶する。図１４の（Ａ）は複数のアプリケーションのアイコン２３０である。このようなアプリケーションのうちコンテンツ提供者アプリケーションはコンテンツ提供者によって製作され配布されるアプリケーションであって、コンテンツ提供者の統制下にある。
映像表示装置１００のユーザはコンテンツ提供者アプリケーションをアプリケーションストアからダウンロードし、ダウンロードされたコンテンツ提供者アプリケーションの実行を決定する。
図１４の（Ｂ）はコンテンツ提供者アプリケーションの実行画面を示す図である。図１４の（Ｂ）に示したように、画面２００は縮小されたメイン視聴覚コンテンツが再生されるサブ画面２１０と付加情報がディスプレーされるサブ画面２２０、メニュがディスプレーされるサブ画面を含む。
映像表示装置製造会社アプリケーションは映像表示装置の製造会社によって製作され、映像表示装置の製造会社によって制御され、映像表示装置１００の生産の際に予め記憶される。即ち、映像表示装置製造会社アプリケーションはコンテンツ提供者やコンテンツに関係なく同じサービスを提供し、コンテンツ提供者やコンテンツに関係なく同じユーザインタフェースを提供する。
映像表示装置製造会社アプリケーションはコンテンツ提供者が提供する付加サービスが表示される領域と映像表示装置製造会社が提供する付加サービスが表示される領域を分離して有する。映像表示装置製造会社アプリケーションは映像表示装置１００のユーザによって実行するか否かが決定される。
映像表示装置製造会社アプリケーションは２つのタイプを有する。
第１タイプの映像表示装置製造会社アプリケーションはサイズ調節ユーザインタフェース（ｒｅｓｉｚｉｎｇ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を有する。サイズ調節ユーザインタフェースを有する映像表示装置製造会社アプリケーションは、メイン視聴覚コンテンツがディスプレーされる領域のサイズを減らし、減らした領域内でメイン視聴覚コンテンツの内容全てがディスプレーされるようにする。また、サイズ調節ユーザインタフェースを有する映像表示装置製造会社アプリケーションは、アプリケーションがディスプレーされる領域をアルファベットのＬの字や逆のＬの字のような構造にする。
第２タイプの映像表示装置製造会社アプリケーションはオーバレイユーザインタフェース（ｏｖｅｒｌａｙ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を有する。オーバレイユーザインタフェースを有する映像表示装置製造会社アプリケーションはメイン視聴覚コンテンツがディスプレーされる領域のサイズはそのまま維持しながらアプリケーションがディスプレーされる領域をメイン視聴覚コンテンツの上に重ねる。アプリケーションがディスプレーされる領域がメイン視聴覚コンテンツを隠すため、アプリケーション領域は半透明である。
このように、映像表示装置製造会社アプリケーションはいかなる単一のコンテンツ提供者やいかなる単一のチャネルにも従属しない。このようなアプリケーションは映像表示装置製造会社によって製作されると説明したが、それに限る必要はない。このようないかなる単一のコンテンツ提供者やいかなる単一のチャネルに従属しないアプリケーションはチャネル変更によっては実行されず、チャネル変更によっては終了されない。本明細書では説明の便宜上、このようないかなる単一のコンテンツ提供者やいかなる単一のチャネルに従属しないアプリケーションをチャネル独立アプリケーション、映像表示装置製造会社アプリケーションまたはＬｉｖｅ＋ａｐｐと称する。
次に、図１５及び図１６を参照して本発明の実施例によるＡＣＲ機能のオンオフ制御を説明する。
図１５は、本発明の実施例によるＡＣＲ機能を制御するためのユーザインタフェースを示す図である。
図１５に示したように、再生制御部１１３はＡＣＲ機能設定ウィンドウをディスプレーする。ユーザはＡＣＲ機能設定ウィンドウを介してＡＣＥ機能を活性化するか非活性化する。
ＡＣＲ機能が活性化された場合、ユーザはＡＣＲモードを選択する。本発明の実施例によるＡＣＲモードは自動再生アプリケーションモード、コンテンツ提供者アプリケーションモード、製造表示装置製造会社アプリケーションモードのうち一つとして設定される。
このようにＡＣＲ機能のモードが設定されると、再生制御部１１３は設定情報を設定情報記憶部１５４に記憶する。
図１６は、本発明の実施例による映像表示装置の動作方法示すフローチャートである。
付加サービス管理部１３０はＡＣＲ機能がターンオンされているのかを確認するＳ１９０１。
ＡＣＲ機能が非活性化されていれば、付加サービス管理部１３０はそれ以上コンテンツ情報獲得の手続を行わない。
ＡＣＲ機能が活性化されていれば、付加サービス管理部１３０はメイン視聴覚コンテンツの一部区間を抽出するＳ１９０２。
付加サービス管理部１３０は抽出した区間に基づいてメイン視聴覚コンテンツのコンテンツ情報を獲得するＳ１０９３。
付加サービス管理部１３０はメイン視聴覚コンテンツの基準時間を代替広告の基準時間と同期化するＳ１９０５。
付加サービス管理部１３０は獲得したコンテンツ情報に基づいて付加サービスを獲得するＳ１９０７。付加サービス管理部１３０は獲得したコンテンツ情報に基づいて付加サービス情報を獲得し、獲得した付加サービス情報に基づいて付加サービスを獲得してもよい。
次に、付加サービス管理部１３０はＡＣＲモードを確認するＳ１９０９。
付加サービス管理部１３０はＡＣＲモードに応じて付加サービスを再生するＳ１９１１。
詳しくは、ＡＣＲモードが自動再生アプリケーションモードであれば付加サービス管理部１３０は自動再生アプリケーションを実行し、実行された自動再生アプリケーションは獲得した付加サービスを再生する。
ＡＣＲモードがコンテンツ提供者アプリケーションモードであれば、付加サービス管理部１３０は獲得したコンテンツ情報に対応するコンテンツ提供者アプリケーションをバックグラウンドで実行する。付加サービス管理部１３０は付加サービスの利用に当たるユーザ入力を受信すると、コンテンツ提供者アプリケーションをディスプレーする。このコンテンツ提供者アプリケーションが獲得した付加サービスを再生する。コンテンツ提供者アプリケーションが自動的にバックグラウンドで実行される代わりに、コンテンツ提供者アプリケーションはユーザ入力によって実行されてもよい。
ＡＣＲモードが映像表示装置製造会社アプリケーションモードであれば、付加サービス管理部１３０は映像表示装置製造会社アプリケーションをバックグラウンドで実行する。付加サービス管理部１３０は付加サービスの利用に当たるユーザ入力を受信すると、映像表示装置製造会社アプリケーションをディスプレーする。この映像表示装置製造会社アプリケーションが獲得した付加サービスを再生する。映像表示装置製造会社アプリケーションが自動的にバックグラウンドで実行される代わりに、映像表示装置製造会社アプリケーションはユーザ入力によって実行されてもよい。
次に、図１７乃至図２５を参照し、本発明の実施例による第三者付加サービスについて説明する。
次は、図１７〜図４２を参照して、本発明の実施形態に係る第３者の付加サービスについて説明する。
図１７は、本発明の実施例によるネットワークトポロジーを示す図である。
図１７に示したように、本発明の実施例によるネットワークトポロジーはＢｒｏａｄｃａｓｔｅｒ／ＣＰ Ｂａｃｋｅｎｄサーバのようなコンテンツ提供サーバ１０、付加サービス提供サーバ５０の一種である第三者サーバ９０、ＡＣＲサーバのようなコンテンツ認識サービス提供サーバ２０、ＡＣＲ Ｓｍａｒｔ ＴＶのような映像表示装置１００を含む。
映像表示装置１００はチャネル従属アプリケーションまたはコンテンツ従属アプリケーションであるＬｅａｎｂａｃｋアプリケーションを利用してコンテンツ提供サーバ１０から放送局付加サービスを得て、チャネル独立アプリケーションであるＬｉｖｅ＋アプリケーションを利用して第三者サーバ９０から第三者付加サービスを得る。
チャネル従属アプリケーションであるＬｅａｎｂａｃｋ ａｐｐは放送局やＣＰ（Ｃｏｎｔｅｎｔ Ｏｗｎｅｒ）が提供するアプリケーションであってプログラム単位またはｓｃｅｎｅ（場面）単位の同期化されたサービスを提供する。放送局はプログラムを製作する主体であり、プログラム内にいかなる場面があるのかをよく知っているため特定場面に最も適合した内容を示すことができる。映像表示装置１００がプログラムを認識すると、映像表示装置１００は該当プログラムのコンテンツ提供サーバ１０からＬｅａｎｂａｃｋ ａｐｐをダウンロードした後、ダウンロードされたＬｅａｎｂａｃｋ ａｐｐを自動的に実行する。しかし、映像表示装置１００が実行されたＬｅａｎｂａｃｋ ａｐｐとは関係のない他のチャネルに移動すると映像表示装置１００は該当Ｌｅａｎｂａｃｋ ａｐｐを自動的に終了し、移動されたチャネルのＬｅａｎｂａｃｋ ａｐｐがあれば該当Ｌｅａｎｂａｃｋ ａｐｐを実行する。
Ｌｉｖｅ＋ａｐｐは第三者（例えば製造会社）が提供するアプリケーションであってＴＶ内に事前に設置されており、Ｌｅａｎｂａｃｋ ａｐｐとは異なってユーザが視聴中のチャネルまたはプログラムに関係なく常に実行される。本特許で提示するＡＣＲ ａｒｃｈｉｔｅｃｔｕｒｅはＬｉｖｅ＋ ａｐｐがプログラムに関する付加情報及び場面単位の同期化された内容を示すようにする。Ｌｉｖｅ＋ａｐｐはい一貫したユーザインタフェースを有し、プログラムに関係なく常に実行され使用されるアプリケーションである。Ｌｉｖｅ＋ａｐｐは放送局がプログラムに関する付加情報を与えなくても、プログラムに関するメタデータを利用した多様なサービスを提供する。例えば、プログラムに関する基本情報及びプログラムの出演者が登場した映画のお勧めなどを提供する。Ｌｉｖｅ＋ａｐｐは放送局／ＣＰに割り当てられた領域を有しているため、放送局がプログラムに関する付加情報を提供する場合にＬｉｖｅ＋ａｐｐは該当プログラムに関するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａを該当領域に示す。例えば、放送局が提供するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａとしてはユーザが視聴中のプログラムの前回の再視聴、場面同期化された内容（例えば商品の購入、場所の予約、音源の購入及びダウンロード、商品の広告など）がある。
映像表示装置１００はＡＣＲ ｍｏｄｕｌｅを搭載して非圧縮視聴覚コンテンツからシグネチャを抽出し、抽出したシグネチャを介してコンテンツ認識サービス提供サーバ２０に質疑してプログラムを認識する。そして、映像表示装置１００は認識されたプログラムに基づいてプログラムに関するアプリケーションを駆動する。Ｌｅａｎａｃｋ ａｐｐはプログラムを認識してからダインロードされ実行される。Ｌｉｖｅ＋ａｐｐはＴＶの発売の際に製造会社によって事前に設置されてもよく、アップストアからダウンロードされて設置されてもよい。
コンテンツ認識サービス提供サーバ２０は放送されるプログラムのオーディオ及び／またはビデオのシグネチャを記憶する。コンテンツ認識サービス提供サーバ２０はシグネチャｃａｐｔｕｒｅシステムを利用してリアルタイプ放送のシグネチャを抽出して記憶し、特定プログラムに当たるシグネチャを含むＡＣＲ ＤＢを放送局から提供されて記憶する。コンテンツ認識サービス提供素あー場２０のＡＣＲ ＤＢにはプログラムｃｏｎｔｅｎｔ ＩＤ、シグネチャ、ｔｉｍｅｓｔａｍｐ、ＵＲＬなどが記憶されている。本明細書では２つのタイプのｃｏｎｔｅｎｔ ＩＤが利用される。
第１タイプのｃｏｎｔｅｎｔ ＩＤは放送局が直接与えるＩＤであって、放送局内でプログラムを一意的に認識するための識別子である。放送局は自らが望むフォーマットにプログラムにｃｏｎｔｅｎｔ ＩＤを与える。ｃｏｎｔｅｎｔ ＩＤはコンテンツ提供サーバ１０にプロウグラムに関するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａを要求する際に使用される。
第２タイプのｃｏｎｔｅｎｔ ＩＤはｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤであって、全国的にまたは全世界的にプログラムを一意的に認識するための識別子である。プログラムは全国放送チャネル、地域放送チャネル、ケーブル放送または衛星放送から送出されるため、この全てのプログラムのシグネチャを抽出するために複数の地域のために多数のシグネチャｃａｐｔｕｒｅ装備が設置される。そして、各プログラムを全国または全世界で一意的に認識し区分するためにプログラムにｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤが割り当てられる。各プログラムとｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤをマッピングするためにはメタデータデータベースが利用される。メタデータデータベースはプログラムに関する付加情報であるメタデータだけでなくプログラムスケジュール情報を含むため、望ましいデータデータベースを利用してｃａｐｔｕｒｅシステムから伝達されるシグネチャがいかなるプログラムであるのかマッピングされる。ｃａｐｔｕｒｅシステムは抽出したシグネチャがどの地域、どのチャネル、どの時間であるのかを知っているため、この情報を参照してメタデータデータベースを検索するとプログラムが検索される。メタデータデータベースはコンテンツ認識サービス提供サーバ２０と第三者サーバ９０に一緒に使用され、コンテンツ認識サービス提供サーバ２０と第三者サーバ９０はメタデータデータベースを利用してｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤを介してプログラムを認識する。ｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤのフォーマットはサーバを運営する第三者が指定するフォーマットであってもよく、メタデータデータベースが提供するフォーマットであってもよい。
Ｌｉｖｅ＋ａｐｐが提供する全てのサービスは第三者サーバ９０から提供される。第三者サーバ９０はコンテンツ認識サーバ提供サーバ２０が伝達したｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤを映像表示装置１００から受信する。第三者サーバ９０はｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤを介してメタデータデータベースからｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤに当たるプログラムに関するメタデータを抽出し、抽出したメタデータに基づいてプログラムと連携された多様なサービスを映像表示装置１００に提供する。また、認識されたプログラムに対して放送局が提供する付加情報があれば第三者サーバ９０は放送局サーバに接近してプログラムに関するＥｎｈａｎｃｅｄ Ｄａｔａを受信し、それを加工して映像表示装置１００に提供する。Ｌｉｖｅ＋ａｐｐを介して放送局が提供するプログラムに関するＥｎｈａｎｃｅｍｅｎｔ ＤａｔａはＬｅａｎｂａｃｋ ａｐｐが提供するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａと内容は同じであるが形態（ＵＩ）は異なり得る。しかし、他の実施例において、放送局によってＬｉｖｅ＋ａｐｐを介して放送局が提供するプログラムに関するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａの内容はＬｅａｎｂａｃｋ ａｐｐが提供するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａと内容が異なり得る。
複数の放送局または複数のＣＰのための複数のコンテンツ提供サーバ１０が存在する。コンテンツ提供サーバ１０はプログラムターゲッティングされたＬｅａｎｂａｃｋアプリケーションと、このＬｅａｎｂａｃｋ ａｐｐが出力するプログラムに関するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａを有する。
図１８は、本発明の多様な実施例によるＬｉｖｅ＋アプリケーションを示す図である。
Ｌｉｖｅ＋ａｐｐはメイン視聴覚メディアコンテンツをサイズ変更（ｒｅｓｉｚｅ）して画面の左側上端の領域で示し、画面の右側領域でプログラムに関する付加情報を示し、画面の下端領域でプログラムに関する広告を示す。Ｌｉｖｅ＋ａｐｐは右側領域であるコンテンツ領域の上端には複数のタブを示す。複数のタブはプログラム（Ｐｒｏｇｒａｍ）タブ、お勧め（Ｒｅｃｏｍｍｅｎｄｓ）タブ、チャット（Ｔａｌｋ）タブ、プラス（Ｐｌｕｓ）タブを含む。
図１９は、本発明の多様な実施例によるＬｉｖｅ＋アプリケーションを実行する方法を示す図である。
映像表示装置１００はホーム画面またはＭｙ Ａｐｐｓ画面をディスプレーする。Ｍｙ Ａｐｐｓ画面は映像表示装置１００内に設置されたアプリケーションのリストを示す画面である。
映像表示装置１００はホーム画面またはＭｙ Ａｐｐｓ画面で示す複数のアプリケーションのうちＬｉｖｅ＋ａｐｐアプリケーションを選択するユーザ入力を受信すると、Ｌｉｖｅ＋アプリケーションを実行する。
また、映像表示装置１００は放送を再生しながらＬｉｖｅ＋ａｐｐがあることを知らせるグラフィックをタイマーを介して一定時間間隔にディスプレーし、このグラフィックに関するユーザ入力を受けるとＬｉｖｅ＋ａｐｐを実行してもよい。
図２０は、本発明の多様な実施例によるＬｉｖｅ＋アプリケーションのタブの機能を示す図である。
プログラムタブは現在視聴者が見ているプログラムに対する基本情報と、プログラムの再視聴サービスを提供する。映像表示装置１００はプログラム基本情報を第三者サーバ９０のＭｅｔａ ＤＢからインポートする。映像表示装置１００はプログラムの再視聴サービスに関する情報を第三者サーバ９０を経て該当プログラムを製作するコンテンツ提供サーバ１０からファイルをインポートする。
Ｒｅｃｏｍｍｅｎｄｓ ｔａｂは現在のプログラムに関する他の視聴覚コンテンツである映画やビデオ（例えばＹｏｕｔｕｂｅ）を勧めるか、現在のプログラムに関するアプリケーションを勧める。第三者サーバ９０は現在のプログラムのタイトル、ジャンルや出演者に基づいて勧める映画やビデオを決定し、それに関する情報を加工して映像表示装置１００のＬｉｖｅ＋アプリケーションのお勧めタブに提供する。
Ｔａｌｋ ｔａｂは現在のプログラムに関するチャットの内容に当たるツイッター記事を提供する。第三者サーバ９０は現在のプログラムのタイトル、ジャンルや出演者に基づいて現在のプログラムに関する記事を検索した後、検索した記事を加工して映像表示装置１００のＬｉｖｅ＋アプリケーションのチャットタブに提供する。
Ｐｌｕｓ ｔａｂは放送局がプログラムに関するデータを示す領域であり、放送局サーバから受信した情報をそのまま提供するか、または第三者サーバ９０が放送局サーバーから受信した情報を加工した情報を提供する。Ｐｌｕｓ ｔａｂから提供されるデータの種類と個数には制限がない。プラスタブは商品の購入、場所の予約、音源の購入、商品の広告などの多様な付加サービスデータを提供する。但し、放送局サーバから受信した情報がそのままプラスタブに提供される場合、第三者サーバ９０は放送局サーバから受信した情報をＬｉｖｅ＋ａｐｐのコンテンツ領域（即ち、画面の右側領域）の位置及びサイズに合わせて情報を加工した後、映像表示装置１００に提供する。
図２１は、本発明に一実施例による第三者サーバ９０のアーキテクチャを示す図である。
図２１に示したように、本発明の一実施例による第三者サーバ９０はアプリケーション階層（Ａｐｐｌｉｃａｔｉｏｎ Ｌａｙｅｒ）、サービスコンポーネント階層（Ｓｅｒｖｉｃｅ Ｃｏｍｐｏｎｅｎｔ Ｌａｙｅｒ）、バックエンドシステム階層（Ｂａｃｋ−ｅｎｄ Ｓｙｓｔｅｍ Ｌａｙｅｒ）、データコンポーネント階層（Ｄａｔａ ｃｏｍｐｏｎｅｎｔ Ｌａｙｅｒ）を含む。
アプリケーション階層はＤｅｌｉｖｅｒｙ Ｉｎｔｅｒｆａｃｅを介して映像表示装置１００を含む多様なディバイスと通信する。アプリケーション階層はアップストアコンポーネント（ＡｐｐＳｔｏｒｅ ｃｏｍｐｏｎｅｎｔ）を含む。アップストアコンポーネントは開発者がＡｐｐを登録するインタフェースを支援するだけでなく、一般ユーザがＡｐｐを検索、ダウンロード及びインストールするインタフェースも支援する。また、Ｌｉｖｅ＋アプリケーションは第三者サーバ９０にある広告、検索、お勧めなどのサービスをアップストアコンポーネントを介して受信する。
サービスコンポーネント階層はアプリケーション階層とサービス統合インタフェース（Ｓｅｒｖｉｃｅ Ｉｎｔｅｇｒａｔｉｏｎ Ｉｎｔｅｒｆａｃｅ）を介して通信する。サービスコンポーネント階層は広告サービスコンポーネント、統合サービスコンポーネント、お勧めコンポーネント、ＡＣＲコンポーネントを含む。バックエンドシステム階層から加工されたデータを受けてそれをアプリケーション階層に伝達する。ＡＣＲコンポーネントは映像表示装置１００から受信したＣｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐ、放送局サーバＵＲＬでバックエンドシステム階層のメタデータコンポーネントを介してプログラムに関する基本付加情報を得る。また、ＡＣＲコンポーネントはメタデータから得たプログラムｔｉｔｌｅまたは俳優に関する情報を統合検索コンポーネントに伝達してプログラムに関する検索結果を得る。
バックエンドシステム階層は原本データをデータコンポーネント階層から読み込み、それを加工してサービスコンポーネント階層に伝達する。バックエンドシステム階層は検索エンジン、保安（Ｓｅｃｕｒｉｔｙ）コンポーネント、ＤＲＭコンポーネント、メタデータコンポーネント、広告プラットフォームコンポーネント、ＡＣＲコンポーネントを含む。
データコンポーネント階層は実際のデータを有する。そこにはデータコンポーネント階層はファイル記憶所（Ｆｉｌｅ Ｒｅｐｏｓｉｔｏｒｙ）、統合データベース（Ｉｎｔｅｇｒａｔｅｄ ＤＢ）、ユーザプロファイル（Ｕｓｅｒ Ｐｒｏｆｉｌｅ）記憶所、メタデータ記憶所、広告データ記憶所を含む。ユーザプロファイル記憶所には視聴者またはユーザの性別、年齢、地域、所得、家族構成、好みのジャンル、好みのチャネル、好みの番組などの情報が記憶されている。メタデータ記憶所にはコンテンツに対するｔｉｔｌｅ、ｅｐｉｓｏｄｅ、ｄｉｒｅｃｔｏｒ、ｓｙｎｏｐｓｉｓ、ｃａｓｔｓ、ｇｅｎｒｅ、ｃｈａｎｎｅｌ、ａｉｒ ｔｉｍｅなどの情報が記憶されている。第三者サーバ９０はｍｅｔａｄａｔａ ｐｒｏｖｉｄｅｒまたはリアルタイム放送のガイド情報（例えば、ＡＴＳＣ地上波の場合にはＰＳＩＰ）からコンテンツに関する情報を受信してメタデータ記憶所に記憶する。
図２２は、本発明の実施例による自動実行アプリケーションのための映像表示装置の動作を示すラダーダイアグラムである。
まず、映像表示装置１００はメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特長情報を含むＡＣＲ質疑要求メッセージ（ＡＣＲ ｑｕｅｒｙ ｒｅｑｕｅｓｔ ｍｅｓｓａｇｅ）をＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２１０５。
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内の特徴情報をＡＣＲ ＤＢから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに関するコンテンツ情報を含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２１０７。この際、ＡＣＲ質疑応答メッセージはプログラム認識成功可否に関する情報と、コンテンツ情報、リーンバックアプリケーションのＵＲＬを含む。上述したように、コンテンツ情報は認識されたプログラムのＣｏｎｔｅｎｔ ＩＤと認識されたプログラムのｔｉｍｅｓｔａｍｐを含む。ここでのＣｏｎｔｅｎｔ ＩＤのフォーマットは該当放送局のみ認識可能なフォーマットであり、特にこの場合には放送局が該当プログラムのＡＣＲ ＤＢをコンテンツ認識サービス提供サーバ２０に提供した場合に当たる。
映像表示装置１００がＡＣＲ質疑を介してプログラムの識別に成功し、ｌｅａｎｂａｃｋ ＵＲＬが有効であれば、映像表示装置１００は該当ｌｅａｎｂａｃｋ ａｐｐ ＵＲＬにｌｅａｎｂａｃｋアプリケーションを要求するＳ２１０９。
コンテンツ提供サーバ１０は映像表示装置１００が要求するｌｅａｎｂａｃｋアプリケーションを映像表示装置１００に提供しＳ２１１１、映像表示装置１００はリーンバックアプリケーションをダウンロードする。
映像表示装置１００がリーンバックアプリケーションのダウンロードに成功すると、映像表示装置１００は自動的に該当リーンバックアプリケーションを実行するＳ２１１３。
映像表示装置１００内で実行されたリーンバックアプリケーションは映像表示装置１００内のＡＣＲエンジンから周期的にＣｏｎｔｅｎｔ ＩＤとｔｉｍｅｓｔａｍｐを獲得し、獲得したＣｏｎｔｅｎｔ ＩＤとｔｉｍｅｓｔａｍｐを含む付加データ要求メッセージをコンテンツ提供サーバ１０に伝送してＳ２１１５、Ｃｏｎｔｅｎｔ ＩＤとｔｉｍｅｓｔａｍｐに当たる場面に関する付加データ（Ｅｎａｈｎｃｅｍｅｎｔ Ｄａｔａ）を要求する。
コンテンツ提供サーバ１０は要求された付加データをｌｅａｎｂａｃｋ ａｐｐに伝達するＳ２１１７。ｌｅａｎｂａｃｋ ａｐｐは放送局が提供するアプリケーションであるため、ある放送局のコンテンツ提供サーバ１０のインタフェースは他の放送局のコンテンツ提供サーバ１０のインタフェースと異なり得る。場面に関する付加情報があれば、ｌｅａｎｂａｃｋ ａｐｐはＳ２１１３とＳ２１１７を繰り返し行う。
図２３は、本発明の一実施例によるチャネル独立アプリケーションのための映像表示装置を示すラダーダイアグラムである。
映像表示装置１００が設置されているＬｉｖｅ＋ａｐｐを実行するためのユーザ入力を受信すると、映像表示装置１００は設置されているＬｉｖｅ＋ａｐｐを実行するＳ２２０１。
ＡＣＲ機能がターンオフされている場合、映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションはＡＣＥモジュールをターンオンするＳ２２０３。
映像表示装置１００はメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特徴情報を含むＡＣＲ質疑要求メッセージをフィンガープリントサーバ２２に当たるＡＣＲサーバに伝送するＳ２２０５。
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内の特徴情報をＡＣＲ ＤＢから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに関するコンテンツ情報を含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２２０７。この際、ＡＣＲ質疑応答メッセージはプログラム認識に成功したか否かに関する情報とコンテンツ情報を含む。上述したように、コンテンツ情報は認識されたプログラムのグローバルユニークＣｏｎｔｅｎｔ ＩＤと認識されたプログラムのｔｉｍｅｓｔａｍｐを含む。
映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションはサービスタイプを選択するためのユーザ入力を受信するＳ２２０９。この際、サービスタイプはプログラムタイプ、お勧めタイプ、チャットタイプ及びプラスタイプのうち少なくとも一つに当たる。例えば、選択されたサービスタイプに当たる付加データはプログラムの出演者に関するリアルタイムのニュース記事やプログラムの出演者が主演に登場する映画を勧めるサービスなどになり得る。
映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションは映像表示装置１００内のＡＣＲエンジンから現在認識されたプログラムのコンテンツ情報を獲得し、プログラムに関するコンテンツ要求メッセージを第三者サーバ９０に伝送してＳ２２１１、選択されたサービスタイプに当たる付加データを要求する。この際、プログラムに関するコンテンツ要求メッセージは現在認識されたプログラムのコンテンツ情報と選択されたサービスタイプに関する情報を含む。
Ｌｉｖｅ＋アプリケーションは第三者サーバ９０にａｊａｘ ｃａｌｌを使用してＨＴＴＰ基盤のＲｅｑｕｅｓｔを送る。この際、伝達するパラメータとしてはサービスタイプ、Ｃｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐ、放送局サーバＵＲＬなどがある。ＨＴＴＰ ｒｅｑｕｅｓｔはＨＴＴＰ ＧＥＴ基盤であって、表３のようなシンタックス（ｓｙｎｔａｘ）にパラメータを伝達する。
Figure 2016516321
表３において、＜ｓｅｒｖｉｃｅ ｎａｍｅ＞にはＬｉｖｅ＋ａｐｐが要求するサービス名が入力される。本実施例は以下のような、＜ｓｅｒｖｉｃｅ ｎａｍｅ＞を使用する。
−「ｇｅｔＰｒｏｇｒａｍ」：プログラムに関する基本情報と以前のｅｐｉｓｏｄｅを受信するためのｓｅｒｖｉｃｅ ｎａｍｅであって、Ｌｉｖｅ＋ａｐｐのｐｒｏｇｒａｍ ｔａｂに使用される。
−「ｇｅｔＲｅｃｏｍｍｅｎｄｓ」：プログラムに関するお勧め（ＶＯＤ、Ａｐｐのお勧め）データを受信するためのｓｅｒｖｉｃｅ ｎａｍｅであって、Ｌｉｖｅ＋ａｐｐのＲｅｃｏｍｍｅｎｄｓ ｔａｂに使用される。
−「ｇｅｔＴａｌｋ」：プログラムに関するリアルタイムの記事やツイットを受信するためのｓｅｒｖｉｃｅ ｎａｍｅであって、Ｌｉｖｅ＋ａｐｐのＴａｌｋ ｔａｂに使用される。
−「ｇｅｔＰｌｕｓ」：放送局が提供するプログラムに関する付加データを受信するためのｓｅｒｖｉｃｅ ｎａｍｅであって、Ｌｉｖｅ＋ａｐｐのＰｌｕｓ ｔａｂに使用される。
＜Ｃｏｎｔｅｎｔ ＩＤ＞は放送局がコンテンツ認識サービス提供サーバ２９に伝達した値であって、放送局内部でプログラムを唯一に識別するために使用するＣｏｎｔｅｎｔ ＩＤである。
＜Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ＞は放送局の区分なしにグローバルにプログラムを唯一に識別するために使用され、そのためにコンテンツ認識提供サーバ２０と第三者サーバ９０は同じＭｅｔａ ＤＢを使用する必要がある。Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤはＭｅｔａ ＤＢのＣｏｎｔｅｎｔ ＩＤフォーマットに従ってもよい。
＜ｔｉｍｅｓｔａｍｐ＞は認識されたプログラムの現在の視聴時間を知らせるが、これはコンテンツ認識サービス提供サーバ２０から伝達された値である。
＜放送局サーバＵＲＬ＞は放送局がプログラムに関する付加データを提供する場合に伝達されるが、この値で第三者サーバ９０は放送局サーバに接近することができる。
第三者サーバ９０は伝達されたＧｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤに当たるプログラムの付加データを見つけるためにメタデータ記憶所を検索するＳ２２１３。メタデータ記憶所はＧｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤに当たるプログラムの付加データに関する検索結果を第三者サーバ９０にリターンする。
第三者サーバ９０はメタデータ記憶所から受信したプログラム付加データを加工し、加工された付加データを映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションに提供するＳ２２２１。第三者サーバ９０はａｊａｘ ｃａｌｌを使用してＨＴＴＰ基盤のｒｅｓｐｏｎｓｅとして加工された付加データを伝達する。
図２４は、本発明の他の実施例によるチャネル独立アプリケーションのための映像表示装置を示すラダーダイアグラムである。
映像表示装置１００が設置されているＬｉｖｅ＋ａｐｐを実行するためのユーザ入力を受信すると、映像表示装置１００は設置されているＬｉｖｅ＋ａｐｐを実行するＳ２３０１。
ＡＣＲエンジンがターンオフされている場合、映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションはＡＣＲエンジンをターンオンするＳ２３０３。
映像表示装置１００のＡＣＲエンジンはメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特徴情報を含むＡＣＲ質疑要求メッセージをフィンガープリントサーバ２２に当たるＡＣＲサーバに伝送するＳ２３０５。
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内の特徴情報をＡＣＲ ＤＢから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに関するコンテンツ情報を含むＡＣＲ質疑応答メッセージを映像表示装置１００のＡＣＲエンジンに提供するＳ２３０７。この際、ＡＣＲ質疑応答メッセージはプログラム認識に成功したか否かに関する情報とコンテンツ情報及びコンテンツ提供サーバ１０のＵＲＬを含む。上述したように、コンテンツ情報は認識されたプログラムのグローバルユニークＣｏｎｔｅｎｔ ＩＤ、認識されたプログラムの放送局が識別し得るＣｏｎｔｅｎｔ ＩＤと認識されたプログラムのｔｉｍｅｓｔａｍｐを含む。他の実施例において、映像表示装置１００はコンテンツ提供サーバ１０のＵＲＬをＡＣＲ質疑応答メッセージから獲得するのではなく、予め有していてもよい。
映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションはサービスタイプを選択するためのユーザ入力を受信するＳ２３０９。この際、サービスタイプはプログラムタイプ、お勧めタイプ、チャットタイプ及びプラスタイプのうち少なくとも一つに当たる。例えば、選択されたサービスタイプに当たる付加データはプログラムの出演者に関するリアルタイムのニュース記事やプログラムの出演者が主演に登場する映画を勧めるサービスになり得る。
映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションは映像表示装置１００内のＡＣＲエンジンから現在認識されたプログラムのコンテンツ情報を獲得し、プログラムに関する関連コンテンツ要求メッセージを第三者サーバ９０に伝送してＳ２３１１、選択されたサービスタイプに当たる付加データを要求する。この際、プログラムに関するコンテンツ要求メッセージは現在認識されたプログラムのコンテンツ情報と選択されたサービスタイプに関する情報及び放送局コンテンツ提供サーバ１０のＵＲＬを含む。
第三者サーバ９０は伝達されたＧｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤに当たるプログラムの付加データを見つけるためにメタデータ記憶所を検索するＳ２３１３。メタデータ記憶所はＧｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤに当たるプログラムの付加データに関する検索結果を第三者サーバ９０にリターンする。
第三者サーバ９０は伝達された放送局コンテンツ提供サーバ１０のＵＲＬにアクセスし、伝達された放送局Ｃｏｎｔｅｎｔ ＩＤとｔｉｍｅｓｔａｍｐを含むメタデータ要求メッセージをコンテンツ提供サーバ１０に伝送してＳ２３１７、現在の場面に関する付加データをコンテンツ提供サーバ１０に要求する。
第三者サーバ９０はコンテンツ提供サーバ１０から現在の場面に関する付加データを受信するＳ２３１９。
第三者サーバ９０はメタデータ記憶所から受信したプログラム付加データ及びコンテンツ提供サーバ１０から受信したプログラム付加データのうち一つ又は両方の結合を加工し、加工された付加データを映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションに提供するＳ２３２１。
図２５は、本発明の実施例による映像表示装置の概念図を示す図である。
図２５に示したように、本発明の実施例による概念図の映像表示装置１００はオーディオ／ビデオドライバ（Ａｕｄｉｏ／Ｖｉｄｅｏ ｄｒｉｖｅｒ）６０１、ＡＣＲエンジン６０３、ＡＣＲミドルウェア６０５、ＡＣＲユーザインタフェース６０７、ＡＣＲプラグイン６０９を含む。
オーディオ／ビデオドライバ６０１はＴＶの外部入力に入っているオーディオ／ビデオ信号をキャプチャしＡＣＲエンジン６０３に伝達する。オーディオ／ビデオドライバ６０１はＡＣＲエンジンがオーディオ／ビデオバッファに接近するようにＡＰＩを提供してもよい。オーディオ／ビデオドライバ６０１はＨＤＭＩのような外部入力に入ってくるオーディオ／ビデオの特性情報を一緒に提供する。例えば、オーディオ／ビデオドライバ６０１は、オーディオの場合ｓａｍｐｌｅ ｄｅｐｔｈ、ｓａｍｐｌｅ ｒａｔｅ、ｃｈａｎｎｅｌの数（ｍｏｎｏ／ｓｔｅｒｅｏなの）、ｓａｍｐｌｅの数、ｓａｍｐｌｅの時間などの情報を提供する。ビデオの場合、オーディオ／ビデオドライバ６０１はｖｉｄｅｏ ｆｏｒｍａｔ、ｉｎｐｕｔ ｖｉｄｅｐのｖｉｄｔｈ、ｈｅｉｇｈｔ、ｓｔｒｉｄｅ、ｓｔｒｅａｍ時間、ｉｎｐｕｔ ｔｙｐｅ（ＨＤＭＩ１、ＨＤＭＩ２、ｃｏｍｐｏｓｉｔｅ、ｃｏｍｐｏｎｅｎｔなど）、秒当たりのｆｒａｍｅの数などの情報を提供する。
ＡＣＲエンジン６０３は別途のｐｒｏｃｅｓｓで実行されるが、上述した多様な方式を利用してプログラムを認識する。ＡＣＲエンジン６０３はＡｕｄｉｏ／Ｖｉｄｅｏサンプルからシグネチャを抽出し、抽出したシグネチャをＡＣＲサーバに伝達してコンテンツを認識する。上述したように、ＡＣＲエンジン６０３はプラットフォームの具現によってＡｕｄｉｏ／Ｖｉｄｅｏバッファに接近可能なＡＰＩを呼び出してもよく、オーディオ／ビデオドライバ６０１がキャプチャ（ｃａｐｔｕｒｅ）したオーディオ／ビデオストリームをｓｏｃｋｅｔのような方法を介してＡＣＲ ｐｒｏｃｅｓｓに伝達してもよい。ＡＣＲエンジン６０３はＡＣＲサーバにシグネチャと共にＡＣＲ質疑要求を送ってｃｏｎｔｅｎｔ認識に成功したか否か、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐ、ｌｅａｎｂａｃｋ ａｐｐ ＵＲＬ、放送局サーバＵＲＬなどを含むＡＣＲ ｑｕｅｒｙ ｒｅｓｐｏｎｓｅをＡＣＲサーバから受信する。ＡＣＲエンジン６０３はＡＣＲサーバから伝達された結果をＡＣＲミドルウェア６０５に伝達する。
ＡＣＲミドルウェア６０５はＤＴＶ ｐｒｏｃｅｓｓのミドルウェアに当たるモジュールであり、ＡＣＲ制御を処理しＡＣＲエンジン６０３からのＡＣＲ質疑応答を処理する。ＡＣＲミドルウェア６０５はＡＣＲプロセスを実行するか、終了するか、ＡＣＲエンジン６０３を始めるか中断することでＡＣＲを制御する。また、ＡＣＲミドルウェア６０５はＡＣＲ質疑応答をパーシングしてＣｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐなどの値も記憶している。ＡＣＲミドルウェア６０５はこの記憶された値をＡＣＲ ＵＩに送るようにＡＰＩを提供するか、ｍｅｓｓａｇｅ ｑｕｅｕｅ、ｇｌｏｂａｌ変数などの方法を介してＡＣＲユーザインタフェース６０７に伝達する。また、ＡＣＲミドルウェア６０５はＬｉｖｅ＋アプリケーションやリーンバックアプリケーションのようなＡＣＲアプリケーションにＣｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐなどのようなＩＰＣ（Ｉｎｔｅｒ−Ｐｒｏｃｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を介してＷｅｂブラウザに伝達する。
ＡＣＲユーザインタフェース（ＡＣＲ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ、ＡＣＲ ＵＩ）６０７はユーザにＡＣＲ Ｏｎ／ＯｆｆのようなＡＣＲ制御を行うＵＩを表出するか、認識されたプログラムの名称及び時間のような情報をＴＶの状態バーＵＩを介してユーザに示す。
ＡＣＲミドルウェア６０５がＡＣＲアプリケーションに伝達するためのＣｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐなどのようなデータをブラウザに伝達すると、ＡＣＲプラグインはこのような値を伝達される。ＡＣＲプラグイン６０９はＰｌｕｇｉｎ Ｏｂｊｅｃｔ Ｉｎｔｅｒｆａｃｅを介してＡＣＲアプリケーション該当値を伝達する。表４は、ＡＣＲプラグイン６０９のＩｎｔｅｒｆａｃｅのある実施例を示している。
Figure 2016516321
表４において、ｍａｔｄａｔａは認識されたプログラムに関する基本的なメタデータを提供する。
ｂａｃｋｅｎｄＵＲＬは放送局／ＣＰサーバのＵＲＬを示す。
ｇｅｔＡＣＲＭｅｔａｄａｔａ（）は認識されたプログラムに関する基本的なメタデータを獲得するための関数であり、ｍｅｔａｄａｔａ Ｐｒｏｐｅｒｔｙと同じ値をリターンする。
ｇｅｔＢａｃｋｅｎｄＵＲＬは放送局／ＣＰサーバのＵＲＬをリターンする関数である。
ＮｏｔｉｆｙＡＣＲＡｐｐＬａｕｎｃｈｅｄ（）は移動端末機のような２ｎｄ Ｓｃｒｅｅｎ及びＴＶがｐａｉｒｉｎｇされた際、ＴＶ上でのＡＣＲアプリケーションが特定ＵＲＬ又はＡｐｐを実行した場合にそれを２ｎｄ Ｓｃｒｅｅｎのアプリケーションに知らせるための関数である。
ＳｅｔＡｐｐＩｎｆｏ（）はＡＣＲアプリケーションの現在の状態と該当アプリケーションの２ｎｄ ＳｃｒｅｅｎバージョンのＡｐｐ ＵＲＬを示す関数である。
ｏｎＣｏｎｔｅｎｔＣｈａｎｇｅｄ（）は認識されるプログラムが変更される場合に呼び出される関数である。
ｏｎＭｅｄｉａＴｉｍｅＵｐｄａｔｅｄ（）はＡＣＲを介してｔｉｍｅｓｔａｍｐが変更されるたびに呼び出されるｃａｌｌｂａｃｋ関数である。
ｏｎＡｐｐＳｈｏｗ（）はＴＶと２ｎｄ Ｓｃｒｅｅｎとがｐａｉｒｉｎｇされた状態で２ｎｄ ＳｃｒｅｅｎにあるアプリケーションがＴＶに移動する際に呼び出されるｃａｌｌｂａｃｋ関数である。
ｏｎＡｐｐＨｉｄｅ（）はＴＶと２ｎｄ Ｓｃｒｅｅｎとがｐａｉｒｉｎｇされた状態でＴＶにあるアプリケーションが２ｎｄ Ｓｃｒｅｅｎに移動する際に呼び出されるｃａｌｌｂａｃｋ関数である。
図２６は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジーを示すブロック図である。
図２６に示したように、本発明の他の実施例によるネットワークトポロジーはビデオフィンガープリントサーバ２３及びオーディオフィンガープリントサーバ２４を更に含む。
図２６に示したようなビデオフィンガープリントサーバ２３はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツから視覚的なビデオ特徴情報を抽出して記憶する。次に、ビデオフィンガープリントサーバ２３は映像表示装置１００からのビデオ特徴情報を受信すると、受信したビデオ特徴情報に当たる視聴覚コンテンツ識別子と時間情報を提供する。
一方、図２６に示したようなオーディオフィンガープリントサーバ２４はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツから聴覚的なオーディオ特徴情報を抽出して記憶する。次に、オーディオフィンガープリントサーバ２４は映像表示装置１００からのオーディオ特徴情報を受信すると、受信したオーディオ特徴情報に当たる視聴覚コンテンツ識別子と時間情報を提供する。
この際、図２６に示したような映像表示装置１００はビデオ特徴情報とオーディオ特徴情報が同時に使用される場合、ビデオフィンガープリントサーバ２３又はオーディオフィンガープリントサーバ２４にそれぞれ別に接続すべきである。
図２７は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジーを示すブロック図である。
図２７に示したように、本発明の他の実施例によるネットワークトポロジーはビデオ特徴情報及びオーディオ特徴情報をそれぞれ記憶したフィンガープリントサーバ２２を更に含む。
図２７に示したようなフィンガープリントサーバ２２はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツから視覚的なビデオ特徴情報又は聴覚的なオーディオ特徴情報を抽出して記憶する。次に、フィンガープリントサーバ２２は映像表示装置２００からのビデオ特徴情報を受信すると受信したビデオ特徴情報に当たる視聴覚コンテンツ識別子と時間情報を提供し、映像表示装置２００からのオーディオ特徴情報を受信すると受信したオーディオ特徴情報に当たる視聴覚コンテンツ識別子と時間情報を提供する。
この際、図２７に示したような映像表示装置１００はビデオ特徴情報とオーディオ特徴情報が同時に使用される場合にも一つのフィンガープリントサーバ２２にアクセスすればよい。
図２８は、本発明の他の実施例によるフィンガープリント基盤の映像表示装置の構造を示すブロック図である。
図２８において、Ｔｕｎｅｒ／Ｄｅｍｏｄｕｌａｔｏｒ／Ｄｅｍｕｘ３０１は受信された地上波放送信号（ＲＦ、Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）をアナログオーディオビデオ信号に復元した後、復元されたアナログオーディオビデオ信号をＡＤＣ／ＡＶ Ｄｅｃｏｄｅｒ３０３に伝送する。
ＡＤＣ／ＡＶ Ｄｅｃｏｄｅｒ３０３はアナログオーディオビデオ信号、アナログビデオ信号またはアナログオーディオ信号をデジタルオーディオビデオ信号、デジタルビデオ信号またはデジタルオーディオ信号に転換した後、転換されたデジタル信号をデコーディングする。
アナログオーディオビデオ信号は、例えばＴｕｎｅｒ／Ｄｅｍｏｄｕｌａｔｏｒ／Ｄｅｍｕｘ３０１が復元したアナログオーディオビデオ信号であってもよく、アナログビデオ信号は、例えば外部入力装置から伝送されたアナログビデオ信号（Ｃｏｍｐｏｓｉｔｅ／Ｓ−ｖｉｄｅｏ／Ｃｏｍｐｏｎｅｎｔ／ＲＧＢ）であってもよく、アナログオーディオ信号は、例えば外部入力装置から伝送されたアナログオーディオ信号（Ａｕｄｉｏ）信号である。
Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ３０５はデジタルオーディオビデオ信号、デジタルビデオ信号またはデジタルオーディオ信号などを処理する。
Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ３０５はＡＤＣ／ＡＶ Ｄｅｃｏｄｅｒ３０３がデコーディングしたデジタルオーディオビデオ信号、デジタルビデオ信号またはデジタルオーディオ信号などを処理する。また、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ３０５はＨＤＭＩまたはＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｉｎｔｅｒａｃｔｉｖｅ）を介して外部入力装置から伝送されたデコーディングしたデジタルオーディオビデオ信号、デジタルビデオ信号またはデジタルオーディオ信号のうち少なくとも一つを処理してもよい。
Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ３０５はオーディオストリームをキャプチャしオーディオサンプル（Ａｕｄｉｏ ｓａｍｐｌｅ）を生成した後、生成されたオーディオサンプルをＡｕｄｉｏ ＦＰ ｍｏｄｕｌｅ３０７に伝送する。また、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ３０５はビデオストリームをキャプチャしオーディオサンプル（Ｖｉｄｅｏ ｓａｍｐｌｅ）を生成した後、生成されたビデオサンプルをＶｉｄｅｏ ＦＰ ｍｏｄｕｌｅ３０９に伝送する。また、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ３０５はＤｉｓｐｌａｙ３２１に画面情報を伝送する。
Ａｕｄｉｏ ＦＰ ｍｏｄｕｌｅ３０７は、オーディオサンプルを分析及び処理してオーディオ特徴情報（Ａｕｄｉｏ Ｓｉｇｎａｔｕｒｅ）を抽出する。
Ｖｉｄｅｏ ＦＰ ｍｏｄｕｌｅ３０９、ビデオサンプルを分析及び処理してオーディオ特徴情報（Ｖｉｄｅｏ Ｓｉｇｎａｔｕｒｅ）を抽出する。
Ｎｅｔｗｏｒｋ Ｉ／Ｆ３１１は上述したオーディオフィンガープリントサーバ２４またはオーディオフィンガープリントサービスが可能なフィンガープリントサーバ２２にオーディオ特徴情報を伝送しながら現在再生中のメイン視聴覚コンテンツのコンテンツ情報を質疑し、オーディオフィンガープリントサーバ２４またはオーディオフィンガープリントサービス可能なフィンガープリントサーバ２２から質疑結果を受信する（Ｑｕｅｒｙ／Ｒｅｓｐｏｎｓｅ）。
Ｎｅｔｗｏｒｋ Ｉ／Ｆ３１３は上述したビデオフィンガープリントサーバ２３またはビデオフィンガープリントサービスが可能なフィンガープリントサーバ２２にビデオ特徴情報を伝送しながら現在再生中のメイン視聴覚コンテンツのコンテンツ情報を質疑し、ビデオフィンガープリントサーバ２３またはビデオフィンガープリントサービス可能なフィンガープリントサーバ２２から質疑結果を受信する（Ｑｕｅｒｙ／Ｒｅｓｐｏｎｓｅ）。
Ａｕｄｉｏ ＱｕｅｒｙＲｅｓｕｌｔ Ｐａｒｓｅｒ３１５はオーディオフィンガープリントサーバ２４またはオーディオフィンガープリントサービスが可能なフィンガープリントサーバ２２から伝送された質疑結果（Ｑｕｅｒｅ Ｒｅｓｕｌｔ）分析し、映像表示装置１００が必要とするメタデータを抽出する。
Ｖｉｄｅｏ ＱｕｅｒｙＲｅｓｕｌｔ Ｐａｒｓｅｒ３１７はビデオフィンガープリントサーバ２３またはビデオフィンガープリントサービスが可能なフィンガープリントサーバ２２から伝送された質疑結果分析し、映像表示装置１００が必要とするメタデータを抽出する。
Ｍｅｔａｄａｔａ Ｓｔｏｒａｇｅ３１９は抽出されたメタデータを記憶する。
Ｄｉｓｐｌａｙ３２１は場面に関する情報を画面上に示す。
図２９は、本発明の実施例によるフィンガープリント機能を制御するためのユーザインタフェースを示す図である。
図２９に示したように、再生制御部１１３はフィンガープリント機能設定ウィンドウをディスプレーする。ユーザはフィンガープリント機能設定ウィンドウを介してフィンガープリント機能を活性化するか非活性化する。
フィンガープリント機能が活性化された場合、ユーザはフィンガープリント設定モードを選択してもよい。実施例によるフィンガープリント設定モードは不手動設定モード、自動設定モードのうち一つに設定される。
フィンガープリントの手動設定モードが活性化された場合、ユーザはシグネチャモードを選択してもよい。本発明の実施例によるシグネチャモードはオーディオシグネチャモード、ビデオシグネチャモード、オーディオ及びビデオシグネチャモードのうち一つに設定される。
また、フィンガープリントの手動設定モード活性化された場合、ユーザはシグネチャ伝送周期を選択してもよい。シグネチャ伝送周期は映像表示装置１００の機能に応じて異なるが、映像表示装置１００が自動的にシグネチャ伝送周期を設定してもよい。映像表示装置１００が自動的にシグネチャ伝送周期を設定する場合、映像表示装置１００は予め決められたデフォルト値をシグネチャ伝送周期に設定するか、シグネチャが伝送されるネットワーク環境の状態に応じてシグネチャ伝送周期を設定してもよい。
フィンガープリントの自動設定モードが活性化された場合、ユーザはシグネチャモードを選択してもよい。本発明の実施例によるシグネチャモードはオーディオ優先モード、ビデオ優先モード、オーディオビデオ同時モードのうち一つに設定される。
オーディオ優先モードはオーディオ特徴情報に関する質疑結果が失敗すると自動的にビデオ特徴情報が含まれた質疑を伝送するモードである（Ａｕｄｉｏ ｆｉｒｓｔ，ｔｈｅｎ Ｖｉｄｅｏ ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ）。ビデオ優先モードはビデオ特徴情報に関する質疑結果が失敗すると自動的にオーディオ特徴情報が含まれた質疑を伝送するモードである（Ｖｉｄｅｏ ｆｉｒｓｔ，ｔｈｅｎ Ａｕｄｉｏ ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ）。オーディオビデオ同時モードはオーディオ特徴情報が含まれた質疑及びビデオ特徴情報が含まれた質疑を同時に伝送するモードである（Ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ ｃｏｎｃｕｒｒｅｎｔｌｙ）。本発明の実施例によるシグネチャモードにおけるシグネチャ周期は、上述したように映像表示装置１００によって自動的に設定されるが、それに限ることはない。
このようにフィンガープリントモードが設定されると、再生制御部１１３は設定情報を設定情報記憶部１５４に記憶する。
一方、オーディオ特徴情報が含まれた質疑及びビデオ特徴情報が含まれた質疑が同時に伝送される場合、映像表示装置１００のリソース使用が増加して性能が阻害される恐れがある。映像表示装置１００の性能低下を防ぐために、シグネチャ伝送周期がネットワーク環境に応じて変更される必要がある。以下、図３０及び図３１を参照して本発明の実施例によるシグネチャ伝送周期の変化を説明する。
図３０は、本発明の一実施例によるフィンガープリントの周期変化を説明するための図である。
図３０において、映像表示装置１００はコンテンツが認識されなければＡフィンガープリント（Ａ ＦＰ）周期及びＢフィンガープリント（Ｂ ＦＰ）周期を全て速く設定し、コンテンツが認識されるとＢフィンガープリント（Ｂ ＦＰ）周期を下げて映像表示装置１００のリソースの使用を減少する。この際、Ａフィンガープリント（Ａ ＦＰ）またはＢフィンガープリント（Ｂ ＦＰ）はそれぞれオーディオ特徴情報またはビデオ特徴情報を意味し、Ａフィンガープリント（Ａ ＦＰ）周期、Ｂフィンガープリント（Ｂ ＦＰ）周期はシグネチャ伝送周期を意味する。
図３１は、本発明の他の実施例によるフィンガープリントの周期変化を説明するための図である。
図３１において、映像表示装置１００はコンテンツが認識された後にＡフィンガープリント（Ａ ＦＰ）周期及びＢフィンガープリント（Ｂ ＦＰ）周期を全て下げ、Ｂフィンガープリンティングが失敗するとＡフィンガープリント（Ａ ＦＰ）周期のみを更に速く設定する。この際、Ｂフィンガープリンティングはオーディオ特徴情報またはビデオ特徴情報が含まれた質疑の伝送を意味し、Ｂフィンガープリンティングの失敗はオーディオ特徴情報またはビデオ特徴情報に対する質疑結果が失敗したことを意味する。
結果的に、本発明の実施例によるフィンガープリントの周期変化によると、服すのフィンガープリンティングを適用した映像表示装置１００が失敗したフィンガープリンティングのためのリソースの使用を減らし成功したフィンガープリンティングのためのリソースの使用を増やすことで、コンテンツ認識の効率を増加する長所がある。
コンテンツ情報を獲得するためにフィンガープリントを利用する際には多様な要素が影響を及ぼし、状況によって多様な設定がそれぞれ適用される。そのためのフィンガープリント基板のＡＣＲのための設定情報も上述した設定情報記憶部１５４に記憶される。このようなＡＣＲのための設定情報に基づいてビデオ特徴情報とオーディオ特徴情報が同時に使用される場合、ビデオ特徴情報とオーディオ特徴情報を組み合わせる方式などが導出される。ＡＣＲのための設定情報はユーザ入力または映像表示装置１００の探知を介して獲得されるか、コンテンツ提供サーバ１０またはフィンガープリントサーバ２２のようなコンテンツ認識サービス提供サーバ２０から提供される。
再生制御部１１３は設定情報記憶部１５４に記憶されたＡＣＲのための設定情報に基づいて動作する。または、再生制御部１１３は外部から例えばコンテンツ提供サーバ１０またはフィンガープリントサーバ２２から提供されたＡＣＲ動作に影響を及ぼす情報に基づいて動作してもよい。
ＡＣＲのための設定情報は外部入力インタフェースの種類に応じた信号の入力に関する情報、シグネチャ伝送周期に関する情報、ビデオ特徴情報抽出領域であるサンプリングウィンドウ（ｓａｍｐｌｉｎｇ ｗｉｎｄｏｗ）に関する情報、オーディオ特徴情報に対応する質疑結果とビデオ特徴情報に関する質疑結果が互いに異なる場合には優先順位判断に関する情報などを含む。
外部入力インタフェースの種類に応じた信号入力に関する情報は、複数の外部入力インタフェースそれぞれを介して入力された信号がオーディオ信号及びビデオ信号を含むのか否かに関する情報、オーディオ信号及びビデオ信号それぞれのフォーマット情報を含む。
映像表示装置１００は複数の外部入力インタフェースそれぞれを介して入力された信号がオーディオ信号及びビデオ信号を含むのか否かに関する情報に基づいて動作する。例えば、映像表示装置１００は第１外部入力インタフェースを介して入力された信号がオーディオ信号を含んでいないという情報に基づいて、第１外部入力インタフェースから受信されるビデオ特徴情報のみを抽出し利用する。また、映像表示装置１００は設定情報記憶部１５４に記憶されたオーディオ信号及びビデオ信号それぞれのフォーマットを利用し、コンテンツ認識動作をより速く行う。
映像表示装置１０はこのような外部入力インタフェースの種類に応じた信号入力に関する情報を外部入力インタフェースの種類に応じてそれぞれ収集及び記憶し、最も最近に入力された信号に関する情報を記憶する。また、映像表示装置１００は外部入力インタフェースに連結された外部入力装置の識別が可能であれば、各外部入力装置の種類による信号入力に関する情報も記憶する。例えば、映像表示装置１００はＨＤＭＩを介して連結された外部入力装置の情報を獲得するため、各外部入力装置の種類に応じて該当外部入力装置の情報を記憶する。一方、映像表示装置１００はこのような外部入力装置の情報を知らなければ、最も最近に入力された信号に関する情報を記憶してもよい。
シグネチャ伝送周期に関する情報はどれだけよくシグネチャ伝送を行うのかに関する情報を意味し、例えば５秒のような時間周期に設定される。シグネチャ伝送周期は基本的なシグネチャ伝送周期だけでなく、ビデオ特徴情報とオーディオ特徴情報が同時に使用される場合にビデオ特徴情報とオーディオ特徴情報を組み合わせて利用する周期を含む。ビデオ特徴情報がシグネチャとして利用されれば映像表示装置１００のコンテンツ認識速度は速い一方、大容量データを処理するためにＣＰＵ使用量などのリソースの消耗量が大きくなる短所がある。よって、映像表示装置１００のコンテンツ認識速度とリソースの消耗量を適切に調節するためにシグネチャ伝送周期を動的に設定し、このようなシグネチャ伝送周期の設定に関する情報などがＡＣＲのための設定情報として記憶される。
シグネチャ伝送周期の設定に関する情報は、例えば初期コンテンツを認識するためにビデオ特徴情報またはオーディオ特徴情報が同時に利用されること、コンテンツが利用された後にはオーディオ特徴情報を介して同じサービスまたは同じコンテンツが視聴中であると確認される場合に限って、ビデオ特徴情報伝送周期が徐々に延長されること、オーディオ特徴情報などを介して視聴中のサービスまたはコンテンツの変更か探知されたとたんビデオ特徴情報またはオーディオ特徴情報を介して正確なコンテンツ認識が試みられることに関する情報などを含む。この際、ビデオ特徴情報伝送周期は、例えば同じコンテンツ視聴時点から５分以内には５秒、同じコンテンツ視聴時点から５分が経過してから１０分以内には１０秒、同じコンテンツ視聴時点から１０分が経過してから１５分以内には２０秒に増加され、同じコンテンツ視聴時点から１５分が経過した後には視聴時間が５分ずつ増加することによって２倍に増加される方式に延長されるが、これに限ることはない。
ビデオ特徴情報抽出領域であるサンプリングウィンドウに関する情報は、事業者によって互いに異なる放送受信装置のＧＵＩ特性情報に応じて指定される。即ち、フィンガープリントサーバ２２は映像表示装置１００から伝送されたビデオ特徴情報に対応する質疑結果が失敗に当たると、映像表示装置１００のパターンヒストリを分析して放送受信装置またはビデオ分配者の事業者を推定し、該当事業者の放送受信装置またはマルチチャネルビデオ分配者のＧＵＩ特性情報を考慮してサンプルウィンドウを指定する。よって、映像表示装置１００は映像表示装置１００自体の種類、放送受信装置またはマルチチャネルビデオ分配者の種類に応じてそれぞれ異なるサンプリングウィンドウを利用することができる。映像表示装置１００はこのようなサンプリングウィンドウに関する情報をＡＣＲのための設定情報として記憶した後、サンプリングウィンドウが含まれた質疑を最初から要求してもよい。
オーディオ特徴情報に対応する質疑結果とビデオ特徴情報に対応する質疑結果が互いに異なる場合、優先順位の判断に関する情報は優先順位と判断される情報を予め指定する方法または優先順位として判断される情報をアルゴリズムを介して計算する方法を含む。特に、一つの情報を予め指定する方法とアルゴリズムを介して優先順位情報を判断する方法が互いに異なる場合、映像表示装置１００はＡＣＲのための設定情報として記憶された優先順位の判断に関する情報に基づいていずれか一つの情報をシグネチャとして決定する。
図３２は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
まず、放送局／ＣＰのようなコンテンツ提供サーバ１０はコンテンツのフィンガープリントを抽出し、ＡＣＲ質疑周期を決定するＳ２４０１。
放送局／ＣＰは自らが保有した全てのプログラムに対してＡＣＲ ＤＢを構築してもよく、特定プログラムに対してＡＣＲ ＤＢを構築してもよい。特定プログラム、例えば放送局／ＣＰが保有したプログラムのうち人気のあるプログラムについてＡＣＲ ＤＢを構築する場合、サーバを維持するコストを減らしプログラムを識別するための紹介にかかる時間を減少することができる。
放送局／ＣＰはＡＣＲ事業者が提供するツール（ｔｏｏｌ）を使用してプログラムのフィンガープリントを抽出し、該当プログラムのＡＣＲ質疑周期を決定して抽出されたフィンガープリントと共に記憶する。
該当プログラムのＡＣＲ質疑周期はコンテンツの特性に応じて決定される。
例えば、ＡＣＲ質疑周期はコンテンツに関する付加サービスの有無に応じて決定される。コンテンツに関する付加サービスがない場合、ＡＣＲ質疑周期は該当プログラムが終了される時間に決定されるに対し、コンテンツに関する付加サービスがある場合、ＡＣＲ質疑周期はより短縮される。コンテンツに関する付加サービスがなければ不必要はＡＣＲ質疑が伝送されないように該当プログラムが終了される場合にのみＡＣＲ質疑が伝送され、コストが節減される。一方、コンテンツに関する付加サービスがあればＡＣＲ質疑周期が短く設定されて該当プログラムに対して同期化された付加サービスが提供される。
他の例をあげると、ＡＣＲ質疑誘起は放送局の視聴率調査のようなＡＣＲ質疑目的に応じて決定される。よって、放送局はコンテンツに関する付加サービスがなくても視聴率を調査するためにＡＣＲ質疑周期を３秒などに短く決定してもよい。
このように、コンテンツ提供サーバ１０はチャネル別またはコンテンツ別に放送局のＡＣＲ質疑活用目的、コンテンツの特徴などに適合するようにＡＣＲ質疑周期をそれぞれ異なるように決定する。
次に、コンテンツ提供サーバ１０はフィンガープリントサーバ２２に抽出されたフィンガープリント及び決定されたＡＣＲ質疑周期を伝送するＳ２４０３。この際、コンテンツ提供サーバ１０は該当プログラムに関するコンテンツＩＤフィンガープリントとマッピングして伝達する。
コンテンツ提供サーバ１０はプログラムが放送として送出される前またはフィンガープリントの抽出と同時にフィンガープリント及びＡＣＲ質疑周期を伝送する。例えば、放送局／ＣＰは事前に製作されたプログラムに関するフィンガープリント及びＡＣＲ質疑周期を該当プログラムが放送として放出される前にフィンガープリントサーバ２２に伝送する。または、放送局／ＣＰはライブプログラムが放送されている場合、リアルタイムで該当ライブプログラムに関するフィンガープリントを抽出し、抽出されたフィンガープリント及びＡＣＲ質疑周期をフィンガープリントサーバ２２に伝送する。
フィンガープリントサーバ２２は受信されたフィンガープリント及びＡＣＲ質疑周期を記憶するＳ２４０５。フィンガープリントサーバ２２はＡＣＲ ＤＢに該当プログラムのコンテンツＩＤ、タイムスタンプ、フィンガープリント、ＡＣＲ質疑周期を記憶する。
次に、映像表示装置１００はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２４０７。
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに関する第１ＡＣＲ質疑周期を含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２４０９。この際、ＡＣＲ質疑応答メッセージには第１ＡＣＲ質疑周期以外にも多様な種類のコンテンツ情報が含まれる。以下、ＡＣＲ質疑応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図３３と表５を参照して説明する。
図３３は、本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
図３３に示したように、質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＱｕｅｒｙＩｎｔｅｒｖａｌ、Ｃｏｎｆｉｄｅｎｃｅエレメントを有する。
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有すると、これは質疑結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有すると、これは質疑結果が失敗であることを意味する。
ＮＴＰＴｉｍｅｓｔａｍｐエレメントはフィンガープリントが抽出された区間の開始時間、終了時間のうち一つ以上を含む。
ＱｕｅｒｙＩｎｔｅｒｖａｌエレメントはＡＣＲ質疑周期を意味し、次のＡＣＲ質疑（Ｎｅｘｔ ＡＣＲ Ｑｕｅｒｙ）の伝送時間を示す。次のＡＣＲ質疑時間は絶対時間または相対時間を意味する。絶対的なＡＣＲ質疑時間は次のＡＣＲ質疑が伝送される時刻を示し、相対的なＡＣＲ質疑時間は次のＡＣＲ質疑が伝送されるまで待つべき時間（ｗａｉｔ ｔｉｍｅ）を示す。
Ｃｏｎｆｉｄｅｎｃｅエレメントはコンテンツ認識の正確度を示す。Ｃｏｎｆｉｄｅｎｃｅエレメントはマッピングの程度に応じて０乃至１００のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされたと確認される場合、Ｃｏｎｆｉｄｅｎｃｅエレメントは１００の値を有する。
表５は、このような質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ Ｓｃｈｅｍａを示す。
Figure 2016516321
更に図３２を説明する。
次に、第１ＡＣＲ質疑周期に当たる時間が経過した後、映像表示装置１００がメイン視聴覚コンテンツの他の一部のフレームまたは他の一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するとＳ２４１１、フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第２質疑応答メッセージを映像表示装置１００に提供するＳ２４１３。
また、第２ＡＣＲ質疑周期に当たる時間が経過した後、映像表示装置１００がメイン視聴覚コンテンツの他の一部のフレームまたは他の一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するとＳ２４１５、フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第３質疑応答メッセージを映像表示装置１００に提供するＳ２４１７。
この際、第１乃至第３ＡＣＲ質疑周期は同じであるかそれぞれ異なってもよい。
次に、図３４と表６乃至表７を参照して本発明の実施例によるＡＣＲ質疑周期決定方法を説明する。
図３４は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジーに含まれた複数の映像表示装置それぞれのフィンガープリント周期を説明するための図である。
図３４において、Ｐｒｏｇｒａｍ Ａは関連する付加サービスがない１時間分量のプログラムであり、Ｐｒｏｇｒａｍ Ｂは関連する付加サービスがある３０分分量のプログラムである。それによって放送局はＰｒｏｇｒａｍ Ａ及びＰｒｏｇｒａｍ Ｂに対してＡＣＲ ＤＢを構築したが、Ｐｒｏｇｒａｍ Ａに対するＡＣＲ質疑頻度が最低に設定されたことに対し、人気のあるプログラムであるＰｒｏｇｒａｍ Ｂに対するＡＣＲ質疑頻度はより高く設定されている状態である。
図３４を参照すると、第１映像表示装置（装置１）は第１時点（ｔ１）にチャネルを変更してＰｒｏｇｒａｍ Ａの再生を開始すると、フィンガープリントサーバ２２から表６のようなＡＣＲ質疑応答を受信する。
Figure 2016516321
表６において、ＱｕｅｒｙＩｎｔｅｒｖａｌは次のＡＣＲ質疑が伝送されるまで待つべき相対的なＡＣＲ質疑時間であって秒（ｓｅｃｏｎｄ）の単位を有する。また、ＮＴＰＴｉｍｅｓｔａｍｐはコンテンツの現在の再生時間を示し、コンテンツの開始時間から相対的な時間として表示され、ミリ秒（ｍｉｌｉｓｅｃｏｎｄ）の単位を有する。因みに、ＱｕｅｒｙＩｎｔｅｒｖａｌ及びＮＴＰＴｉｍｅｓｔａｍｐが示す内容及び単位は以下の表７乃至図９で同じである。
表６を参照すると、第１映像表示装置（装置１）はＡＣＲ質疑応答を受信してから２７００秒、即ち４５分が経過した時点である第３ａ時点（ｔ３ａ）に次のＡＣＲ質疑を要求する。また、第１映像表示装置（装置１）の現在の視聴時点はＰｒｏｇｒａｍ Ａの開始時点から９０００００ミリ秒、即ち１５分が経過した時点であることが分かる。
更に図３４を参照すると、第２映像表示装置（装置２）は第２時点（ｔ２）にチャネルを変更してＰｒｏｇｒａｍ Ａの再生を開始すると、フィンガープリントサーバ２２から表７のようなＡＣＲ質疑応答を受信する。
Figure 2016516321
表７を参照すると、第２映像表示装置（装置２）はＡＣＲ質疑応答を受信してから９０５秒、即ち１５分５秒が経過した時点である第３ｂ時点（ｔ３ｂ）に次のＡＣＲ質疑を要求する。また、第２映像表示装置（装置２）の現在の視聴時点はＰｒｏｇｒａｍ Ａの開始時点から２７０００００ミリ秒、即ち４５分が経過した時点であることが分かる。
この際、放送局は複数の映像表示装置から複数のＡＣＲ質疑が同時に伝送されることを防止するために、各映像装置ごとにＡＣＲ質疑周期をそれぞれ異なるように決定してもよい。例えば、表６及び表６に示したように第１映像表示装置（装置１）が次のＡＣＲ質疑を伝送する時間及び第２映像表示装置（装置２）が次のＡＣＲ質疑を伝送する時間の間に５秒の時間差が発生するようにＡＣＲ質疑周期が設定されてもよい。
更に図３４を参照すると、第１映像表示装置（装置１）が第３ａ時点（ｔ３ａ）に次のＡＣＲ質疑を要求すると、フィンガープリントサーバ２２から表８のようなＡＣＲ質疑応答を受信する。この際、第３ａ時点（ｔ３ａ）はＰｒｏｇｒａｍ Ｂの再生が開始される時点である。
Figure 2016516321
表８を参照すると、第１映像表示装置（装置１）はＡＣＲ質疑応答を受信してから３００秒、即ち５分が経過した時点である第４時点（ｔ４）に次のＡＣＲ質疑を要求する。また、第１映像表示装置（装置１）の現在の視聴時点はＰｒｏｇｒａｍ ｂの開始時点であることが分かる。
更に図３４を参照すると、第２映像表示装置（装置２）が第３ｂ時点（ｔ３ｂ）に次のＡＣＲ質疑を要求すると、フィンガープリントサーバ２２から表９のようなＡＣＲ質疑応答を受信する。この際、第３ｂ時点（ｔ３ｂ）はＰｒｏｇｒａｍ Ｂの再生が開始されてから５秒が経過した時点である。
Figure 2016516321
表９を参照すると、第２映像表示装置（装置２）はＡＣＲ質疑応答を受信してから３００秒、即ち５分が経過した時点（図示せず）に次のＡＣＲ質疑を要求する。また、第１映像表示装置（装置１）の現在の視聴時点はＰｒｏｇｒａｍ Ｂの開始時点から５０００ミリ秒、即ち５秒が経過した時点であることが分かる。
図３５は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
まず、放送局／ＣＰのようなコンテンツ提供サーバ１０はコンテンツのフィンガープリントを抽出し、フィンガープリントタイプを決定するＳ２５０１。
放送局／ＣＰはＡＣＲ事業者が提供するｔｏｏｌを使用してプログラムのフィンガープリントを抽出し、該当プログラムのフィンガープリントタイプを決定して抽出されたフィンガープリントと共に記憶する。
該当プログラムのフィンガープリントタイプはコンテンツの特性に応じてビデオフィンガープリント、オーディオフィンガープリントのうち一つ以上を含むタイプとして決定される。
次に、コンテンツ提供サーバ１０はフィンガープリントサーバ２２に抽出されたフィンガープリント及び決定されたフィンガープリントタイプを伝送するＳ２５０３。この際、コンテンツ提供サーバ１０は該当プログラムに関するコンテンツＩＤをフィンガープリントとマッピングして伝達する。
コンテンツ提供サーバ１０はプログラムが放送として送出される前にまたはフィンガープリントを抽出すると同時にフィンガープリント及びフィンガープリントタイプを伝送する。例えば、放送局／ＣＰは事前に製作されたプログラムに関するフィンガープリント及びフィンガープリントタイプを該当プログラムが放送として放出される前にフィンガープリントサーバ２２に伝送する。または、放送局／ＣＰはライブプログラムが放送されている場合、リアルタイムで該当ライブプログラムに関するフィンガープリントを抽出し、抽出されたフィンガープリント及びフィンガープリントタイプをフィンガープリントサーバ２２に伝送する。
フィンガープリントサーバ２２は受信されたフィンガープリント及びフィンガープリントタイプを記憶するＳ２５０５。フィンガープリントサーバ２２はＡＣＲ ＤＢに放送局から伝送された該当プログラムのコンテンツＩＤ、タイムスタンプ、フィンガープリント、フィンガープリントタイプを記憶する。
次に、映像表示装置１００はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２５０７。
この際、映像表示装置１００が抽出したフィンガープリントはデフォルト（ｄｅｆａｕｌｔ）タイプのフィンガープリントである。映像表示装置１００から抽出されたフィンガープリントのデフォルトタイプは該当コンテンツを保有した放送局によってそれぞれ異なり、ネットワークに含まれた複数の映像表示装置それぞれから抽出されたフィンガープリントのデフォルトタイプもそれぞれ異なり得る。
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに関する次のフィンガープリントを含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２５０９。
この際、ＡＣＲ質疑応答メッセージには次のフィンガープリントタイプ以外にも多様な種類のコンテンツ情報が含まれる。以下、ＡＣＲ質疑応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図３６と表１０を参照して説明する。
表３６は、本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
図３６に示したように、質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＮｅｘｔＦＰＴｙｐｅ、Ｃｏｎｆｉｄｅｎｃｅエレメントを有する。
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有すると、これは質疑結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有すると、これは質疑結果が失敗であることを意味する。
ＮＴＰＴｉｍｅｓｔａｍｐエレメントはフィンガープリントが抽出された区間の開始時間、終了時間のうち一つ以上を含む。
ＮｅｘｔＦＰＴｙｐｅエレメントは次のフィンガープリントタイプを意味し、映像表示装置１００から抽出されてフィンガープリントサーバ２２でマッピングの対象になるフィンガープリントの種類を示す。ＮｅｘｔＦＰＴｙｐｅエレメントは図面符号Ｓ２５０１で放送局がコンテンツの促成に応じて予め設定した該当プログラムのフィンガープリントタイプを意味する。この際、次のフィンガープリントのタイプはビデオフィンガープリント、オーディオフィンガープリントのうちいずれか一つ以上を含むタイプである。コンテンツの特性に応じて一つのコンテンツ当たり一つのフィンガープリントタイプが決定されてもよく、一つのコンテンツ当たりそれぞれ異なるタイプの複数のフィンガープリントタイプが決定されてもよい。
Ｃｏｎｆｉｄｅｎｃｅエレメントはコンテンツ認識の正確度を示す。Ｃｏｎｆｉｄｅｎｃｅエレメントはマッピングの程度に応じて０乃至１００のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされたと確認される場合、Ｃｏｎｆｉｄｅｎｃｅエレメントは１００の値を有する。
表１０は、このような質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ Ｓｃｈｅｍａを示す。
Figure 2016516321
更に、図３５を説明する。
次に、映像表示装置１００はメイン視聴覚コンテンツの他の一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２５１１。
この際、映像表示装置１００が抽出したフィンガープリントは図面符号Ｓ２５０９で受信されたＡＣＲ質疑応答メッセージに含まれた次のフィンガープリントタイプのフィンガープリントである。
フィンガープリントサーバ２２は図面符号Ｓ２５１１で受信されたＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する次のフィンガープリントタイプを含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２５１３。
次に、表１３乃至表１５を参照して本発明の実施例によるフィンガープリントタイプの決定基準とＡＣＲ質疑応答を説明する。
第一、スポーツ中継などのように類似した映像を多くのチャネルで放送するコンテンツはビデオ特性情報でプログラムを識別することが難しい特性がある。但し、類似した映像を多くのチャネルから放送するコンテンツは放送局ごとに中継解説によってオーディオ信号が異なるため、オーディオ特性情報で該当プログラムを識別することができ、各放送局はフィンガープリントタイプをオーディオフィンガープリントとして予め設定する。
このような第一の場合、プログラムが始まるかチャネルが変更されることで該当プログラムが視聴対象になると、ＴＶのような映像表示装置１００は該当プログラムから抽出されたフィンガープリントが含まれたＡＣＲ質疑要求メッセージをフィンガープリントサーバ２２に伝送する。この際、映像表示装置１００は予め決められたデフォルトタイプのフィンガープリントを抽出するかオーディオフィンガープリント及びビデオフィンガープリントを一緒に抽出するが、それに限ることはない。
ＡＣＲ質疑要求メッセージを受信したフィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムの予め定められた次のフィンガープリントタイプを含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供する。表１１は、第一の場合にフィンガープリントサーバ２２が映像表示装置１００に提供するＡＣＲ質疑応答を示す。
Figure 2016516321
表１１に示したように、第一の場合の次のフィンガープリントタイプはオーディオフィンガープリントタイプである。
第二、祝日の記念式や演説または一つの放送局が他の放送局から製作及び訪欧したコンテンツを購入して再放送するなどのシンジケーテッドプログラム（ｓｙｎｄｉｃａｔｅｄ ｐｒｏｇｒａｍ）はオーディオのみでコンテンツ自体を識別することができるが、放送主体である放送局を識別することができないため、放送局によるコンテンツを識別することができない。
このような第二の場合、ビデオフィンガープリントでコンテンツ及び放送局のロゴが識別される必要がある。または、オーディフィンガープリントでコンテンツ識別されながら追加にビデオフィンガープリントで放送局のロゴが識別されてもよいが、それに限ることはない。
表１２は、第二の場合にフィンガープリントサーバ２２が映像表示装置１００に提供するＡＣＲ質疑応答を示す。
Figure 2016516321
表１２に示したように、第二の場合の次のフィンガープリントタイプはオーディオ及びビデオ（ａｕｄｉｏａｎｄｖｉｄｅｏ）フィンガープリントタイプである。
第三、ドラマや映画でＢＧＭが流れる間には該当コンテンツを識別することができない瞬間がある。第三の場合、コンテンツのタイムラインに応じてフィンガープリントタイプを変更すると該当コンテンツをより明確に識別することができる。この際、映像表示装置１００が予め決められた周期によってＡＣＲ質疑要求を伝送すると、フィンガープリントサーバ２２は該当コンテンツの種類に応じて予め決められたフィンガープリントタイプが含まれたＡＣＲ質疑応答を伝送する。この際、映像表示装置１００は受信されたＡＣＲ質疑応答に含まれたフィンガープリントタイプのフィンガープリントを抽出して次のＡＣＲ質疑要求に含ませる。
表１３は、第３の場合にフィンガープリントサーバ２２が映像表示装置１００に提供するＡＣＲ質疑応答を示す。
Figure 2016516321
表１３に示したように、第三の場合の次のフィンガープリントタイプはコンテンツの再生時間（ＮＴＰＴｉｍｅｓｔａｍｐ）に応じて変更される。例えば、コンテンツの現在の再生時間が３０００００秒、即ち５分であれば次のフィンガープリントタイプはオーディオフィンガープリントタタイプであり、コンテンツの現在の再生時間が９０００００秒、即ち１５分であれば次のフィンガープリントタイプはビデオフィンガープリントタタイプである。
一方、キャプション（ｃａｐｔｉｏｎ）またはサブタイトル（ｓｕｂｔｉｔｌｅ）のような字幕情報が含まれたコンテンツの識別のためにビデオフィンガープリントが使用される場合、ビデオ映像の上に字幕情報がオーバーレイされるとビデオフィンガープリントアルゴリズムに従ってコンテンツの識別に失敗する可能性がある。
もしこのような場合にもコンテンツの識別に成功したらｎｏｉｓｅが含まれたコンテンツの識別を意味するため、ｆａｌｓｅ ｐｏｓｉｔｉｖｅが発生する。ｆａｌｓｅ ｐｏｓｉｔｉｖｅは互いに異なるコンテンツを同じコンテンツとして認識する場合を意味し、例えば互いに異なるプログラムの間に類似した場面が現れると同じプログラムとして識別されてもよい。
このようなビデオフィンガープリントによるエラーを防止するためのサンプリングウィンドウを利用したフィンガープリント技法を図３７乃至図４０を参照して説明する。
図３７は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
まず、放送局／ＣＰのようなコンテンツ提供サーバ１０はコンテンツのフィンガープリントを抽出し、サンプリングウィンドウ（ｓａｍｐｌｉｎｇ ｗｉｎｄｏｗ）を指定するＳ２６０１。
サンプリングウィドウはコンテンツの全体のビデオが面のうちからビデオフィンガープリントを抽出するための領域を意味する。この際、サンプリングウィンドウはプログラムで字幕情報が出力される空間を避けて指定されたビデオ領域である。放送局／ＣＰはコンテンツを生成するだけでなくビデオ映像で字幕情報が表示される位置も決定するため、ビデオフィンガープリントのためにサンプリングする領域が分かる。
放送局／ＣＰはＡＣＲ事業者が提供するｔｏｏｌを使用してプログラムのフィンガープリントを抽出し、該当プログラムの字幕情報出力位置によるサンプリングウィンドウを指定して抽出したフィンガープリントと共に記憶する。
この際、字幕情報がプログラムの全体区間にわたって同じ位置で出力される場合、サンプリングウィンドウは該当プログラムに対して常に同じように指定される。一方、字幕情報がプログラムの時間区間によって互いに異なる領域から出力される場合、サンプリングウィンドウはプログラムの区間に応じて互いに異なるように指定される。
次に、コンテンツ提供サーバ１０はフィンガープリントサーバ２２に抽出されたフィンガープリント及び指定されたサンプリングウィンドウを伝送するＳ２６０３。この際、コンテンツ提供サーバ１０は該当プログラムに関するコンテンツＩＤをフィンガープリントとマッピングして伝達する。
コンテンツ提供サーバ１０はプログラムが放送として送出される前またはフィンガープリントの抽出と同時にフィンガープリント及びサンプリングウィンドウを伝送する。例えば、放送局／ＣＰは事前に製作されたプログラムに関するフィンガープリント及び指定されたサンプリングウィンドウを該当プログラムが放送として放出される前にフィンガープリントサーバ２２に伝送する。または、放送局／ＣＰはライブプログラムが放送されている場合、リアルタイムで該当ライブプログラムに関するフィンガープリントを抽出し、抽出されたフィンガープリント及びサンプリングウィンドウをフィンガープリントサーバ２２に伝送してもよい。
フィンガープリントサーバ２２は受信されたフィンガープリント及び指定されたサンプリングウィンドウを記憶するＳ２６０５。フィンガープリントサーバ２２はＡＣＲ ＤＢに放送局から伝送された該当プログラムのコンテンツＩＤ、タイムスタンプ、フィンガープリント、ＡＣＲ質疑周期を記憶する。
次に、映像表示装置１００はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２６０７。
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに関する第１ＡＣＲ質疑周期を含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２６０９。
この際、ＡＣＲ質疑応答メッセージにはサンプリングウィンドウ意外にも多様な種類のコンテンツ情報が含まれる。以下、ＡＣＲ質疑応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図３８と表１４を参照して説明する。
図３８は、本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
図３８に示したように、質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＳａｍｐｌｉｎｇＷｉｎｄｏｗ、Ｃｏｎｆｉｄｅｎｃｅエレメントを有する。
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有すると、これは質疑結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有すると、これは質疑結果が失敗であることを意味する。
ＮＴＰＴｉｍｅｓｔａｍｐエレメントはフィンガープリントが抽出された区間の開始時間、終了時間のうち一つ以上を含む。
ＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはＡＣＲ質疑のために必要なサンプリングウィンドウの有効時間、位置及びサイズなどを示す。
ＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはＸ ｅｌｅｍｅｎｔ、Ｙ ｅｌｅｍｅｎｔ、ｗｉｄｔｈ ｅｌｅｍｅｎｔ、ｈｅｉｇｈｔ ｅｌｅｍｅｎｔを含み、各ｅｌｅｍｅｎｔの単位はピクセル（ｐｉｘｅｌ）である。Ｘ ｅｌｅｍｅｎｔはサンプリングウィンドウの左側上端のｘ座標である。Ｙ ｅｌｅｍｅｎｔはサンプリングウィンドウの左側上端のｙ座標である。ｗｉｄｔｈ ｅｌｅｍｅｎｔはサンプリングウィンドウの幅である。ｈｅｉｇｈｔ ｅｌｅｍｅｎｔはサンプリングウィンドウの高さである。
また、図３８のＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはＶａｌｉｄＦｒｏｍ ｅｌｅｍｅｎｔ、ＶａｌｉｄＴｏ ｅｌｅｍｅｎｔを含む。ＶａｌｉｄＦｒｏｍ ｅｌｅｍｅｎｔはサンプリングウィンドウの有効開始時点の時間である。ＶａｌｉｄＴｏ ｅｌｅｍｅｎｔはサンプリングウィンドウの有効終了時点の時間である。映像表示装置１００はサンプリングウィンドウの有効時間、即ちサンプリングウィンドウのサンプリング有効開始時間からサンプリングウィンドウの有効終了時点に至る時間に該当サンプリングウィンドウを利用する。
Ｃｏｎｆｉｄｅｎｃｅエレメントはコンテンツ認識の正確度を示す。Ｃｏｎｆｉｄｅｎｃｅエレメントはマッピングの程度に応じて０乃至１００のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされたと確認される場合、Ｃｏｎｆｉｄｅｎｃｅエレメントは１００の値を有する。
表１４は、このような質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ Ｓｃｈｅｍａを示す。
Figure 2016516321
更に、図３７を説明する。
次に、映像表示装置１００はメイン視聴覚コンテンツの他の一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２６１１。
この際、映像表示装置１００が抽出したフィンガープリントは図面符号Ｓ２６０９で受信されたＡＣＲ質疑応答メッセージに含まれたサンプリングウィンドウによるフィンガープリントである。
フィンガープリントサーバ２２は図面符号Ｓ２６１１で受信されたＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第２サンプリングウィンドウを含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２６１３。
この際、プログラムが同一であるか否か、プログラムの字幕情報有無、字幕情報位置が変更されたか否かなどに応じて第１サンプリングウィンドウと第２サンプリングウィンドウのＳａｍｐｌｉｎｇＷｉｎｄｏｗ ｅｌｅｍｅｎｔが同じであるかまたは互いに異なり得る。
一方、コンテンツを識別するためにフィンガープリントを利用する場合、映像表示装置１００に伝送されるプログラム映像に該当コンテンツには含まれていないオンスクリーンディスプレー（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ，ＯＳＤ）がオーバーレイされると、ビデオフィンガープリントアルゴリズムに従ってコンテンツの識別に失敗する可能性がある。オンスクリーンディスプレーはメニュ、電子プログラムガイド（ＥＰＧ，Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）、チャネルバー、ウィジェットなどを含む。オンスクリーンディスプレーはコンテンツ提供サーバ１０とフィンガープリントサーバ２２を除いた事業者から提供される情報を意味する。以下では事業者はＭＶＰＤ事業者３０または放送受信装置６０のようにコンテンツ提供サーバ１０とフィンガープリントサーバ２２の除いた事業者を意味する。このようなオンスクリーンディスプレーなどによって上述したｆａｌｓｅ ｐｏｓｉｔｉｖｅが発生する。
次に、ｆａｌｓｅ ｐｏｓｉｔｉｖｅなどの発生を防止するために映像表示装置１００と連結されたＭＶＰＤ３０事業者などを推定し、推定されたＭＶＰＤ３０事業者のＧＵＩ特性情報に応じてサンプリングウィンドウを指定する方法を図３９乃至図４０を参照して説明する。
図３９は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
まず、放送局／ＣＰのようなコンテンツ提供サーバ１０はコンテンツのフィンガープリントを抽出するＳ２７０１。
放送局／ＣＰはＡＣＲ事業者が提供するｔｏｏｌを使用してプログラムのフィンガープリントを抽出し、該当プログラムのコンテンツＩＤ、タイプスタンプなどを抽出したフィンガープリントと共に記憶する。
次に、コンテンツ提供サーバ１０はフィンガープリント２２に抽出されたフィンガープリントを伝送するＳ２７０３。この際、コンテンツ提供サーバ１０は該当プログラムに関するコンテンツＩＤをフィンガープリントとマッピングして伝達する。
コンテンツ提供サーバ１０はプログラムが放送として送出される前またはフィンガープリントの抽出と同時にフィンガープリント及びサンプリングウィンドウを伝送する。例えば、放送局／ＣＰは事前に製作されたプログラムに関するフィンガープリントを該当プログラムが放送として放出される前にフィンガープリントサーバ２２に伝送する。または、放送局／ＣＰはライブプログラムが放送されている場合、リアルタイムで該当ライブプログラムに関するフィンガープリントを抽出し、抽出されたフィンガープリントをフィンガープリントサーバ２２に伝送してもよい。
フィンガープリントサーバ２２は受信されたフィンガープリントを記憶するＳ２７０５。フィンガープリントサーバ２２はＡＣＲ ＤＢに放送局から伝送された該当プログラムのコンテンツＩＤ、タイムスタンプ、フィンガープリントを記憶する。
また、フィンガープリントサーバ２２はコンテンツ提供サーバ１０から事業者別ＧＵＩ特性情報を獲得するＳ２７０７。ＧＵＩ特性情報はオンスクリーンディスプレーに対する位置、サイズ、形態などに関する情報を意味する。ＧＵＩ特性情報は放送局から提供されてもよく、第三の事業者から伝達されてもよく、ＡＣＲ事業者が直接把握してもよい。
次に、映像表示装置１００はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２７０９。
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別するＳ２７１１。
フィンガープリントサーバ２２はフィンガープリントにマッチングされるプログラムがない場合、映像表示装置１００が伝送したフィンガープリントのうちから失敗したフィンガープリントリストを分析してオンスクリーンディスプレーを提供した事業者を推定するＳ２７１３。フィンガープリントサーバ２２は失敗したフィンガープリントリストを分析して事業者別ＧＵＩ特性情報を比較した結果、該当音スクリーンディスプレーを提供した事業者を推定する。
また、フィンガープリントサーバ２２は推定された事業者のＧＵＩ特性情報を検索し、検索されたＧＵＩ特性情報によるサンプリングウィンドウを生成するＳ２７１５。
次に、フィンガープリントサーバ２２は認識失敗及び生成されたサンプリングウィンドウが含まれたＡＣＲ質疑要求メッセージを映像表示装置１００に伝送するＳ２７１７。
この際、ＡＣＲ質疑応答メッセージには認識失敗及びサンプリングウィンドウ以外にも多様な種類のコンテンツ情報が含まれる。以下、ＡＣＲ質疑応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図４０と表１５を参照して説明する。
図４０は、本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
図４０に示したように、質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＳａｍｐｌｉｎｇＷｉｎｄｏｗ、Ｃｏｎｆｉｄｅｎｃｅエレメントを有する。
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有すると、これは質疑結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有すると、これは質疑結果が失敗であることを意味する。図３９の図面符号Ｓ２７１７で伝送されるＡＣＲ質疑応答メッセージに含まれたＲｅｓｕｌｔＣｏｄｅ属性は４０４の値を有する。
ＮＴＰＴｉｍｅｓｔａｍｐエレメントはフィンガープリントが抽出された区間の開始時間、終了時間のうち一つ以上を含む。
ＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはＡＣＲ質疑のために必要なサンプリングウィンドウの位置及びサイズなどを示す。
ＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはＸ ｅｌｅｍｅｎｔ、Ｙ ｅｌｅｍｅｎｔ、ｗｉｄｔｈ ｅｌｅｍｅｎｔ、ｈｅｉｇｈｔ ｅｌｅｍｅｎｔを含み、各ｅｌｅｍｅｎｔの単位はピクセルである。Ｘ ｅｌｅｍｅｎｔはサンプリングウィンドウの左側上端のｘ座標である。Ｙ ｅｌｅｍｅｎｔはサンプリングウィンドウの左側上端のｙ座標である。ｗｉｄｔｈ ｅｌｅｍｅｎｔはサンプリングウィンドウの幅である。ｈｅｉｇｈｔ ｅｌｅｍｅｎｔはサンプリングウィンドウの高さである。
また、図４０のＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはｇｕｉＴｙｐｅ ｅｌｅｍｅｎｔを含む。ｇｕｉＴｙｐｅ ｅｌｅｍｅｎｔはメニュ、電子プログラムガイドなどのオンスクリーンディスプレーのＧＵＩタイプを文字列に表示する。この際、該当コンテンツはｇｕｉＴｙｐｅ ｅｌｅｍｅｎｔに応じて互いに異なる複数のサンプリングウィンドウを有する。
Ｃｏｎｆｉｄｅｎｃｅエレメントはコンテンツ認識の正確度を示す。Ｃｏｎｆｉｄｅｎｃｅエレメントはマッピングの程度に応じて０乃至１００のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされたと確認される場合、Ｃｏｎｆｉｄｅｎｃｅエレメントは１００の値を有する。
表１５は、このような質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ Ｓｃｈｅｍａを示す。
Figure 2016516321
更に、図３９を説明する。
次に、映像表示装置１００はメイン視聴覚コンテンツの他の一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２７１９。
この際、映像表示装置１００が抽出したフィンガープリントは図面符号Ｓ２７１７で受信されたＡＣＲ質疑応答メッセージに含まれたサンプリングウィンドウによるフィンガープリントである。
フィンガープリントサーバ２２は図面符号Ｓ２７１９で受信されたＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、認識成功を含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２７２１。
各コンテンツごとにコンテンツの特性が異なり得る。それによってコンテンツごとにコンテンツを効率的に認識するための情報タイプが異なり得る。例えばニュースコンテンツの場合、各放送局は同じ資料映像に基づいて資料映像を説明するオーディオを異なるようにして放送する。また、スポーツコンテンツの場合、放送局は同じ映像に基づいてスポーツ解説のみを異なるようにして放送する。よって、ニュースコンテンツとスポーツコンテンツの場合、映像表示装置のオーディオ特徴情報に基づいてコンテンツを認識することが効率的である。また、映画コンテンツの場合複数のオーディオトラックを含み、同じ映画であってもオーディオトラックの選択に応じてオーディオ特徴情報が異なり得る。よって、映画コンテンツの場合、映像表示装置がビデオ特徴情報に基づいてコンテンツを認識することが効率的である。よって、各コンテンツ別にコンテンツを効率的に認識するための特徴情報を決定する映像表示装置が必要である。特に、このような問題点はコンテンツの種類が異なる場合に発生するためコンテンツのジャンルに基づいて特徴情報タイプを決定する必要がある。
図４１乃至図４６を介して、各コンテンツ別にコンテンツを効率的に認識するための特徴情報を決定する映像表示装置を説明する。
図４１は、本発明の実施例によって映像表示装置が特徴情報タイプを決定することを示すためのネットワークトポロジーを示す図である。
本発明の実施例によるネットワークトポロジーは映像表示装置１００、コンテンツ認識サービス提供サーバ２０及び第三者サーバ９０を含む。
映像表示装置１００は外部入力から獲得した非圧縮ビデオ及び非圧縮オーディオのうち少なくともいずれか一つを含む放送コンテンツから特定情報を抽出する。この際、映像表示装置１００は第１特定情報タイプ（ｔｙｐｅ）に基づいて非圧縮ビデオ及び非圧縮オーディを農地いずれか一つを含む放送コンテンツから特徴情報を抽出する。映像表示装置１００は特徴情報に基づいて第１ＡＣＲ質疑要求メッセージをコンテンツ認識サービス提供サーバ２０に伝送する。映像表示装置１００はコンテンツ認識提供サーバ２０から第１ＡＣＲ質疑要求メッセージに対する第１ＡＣＲ質疑応答メッセージを受信する。この際、第１ＡＣＲ質疑応答メッセージはコンテンツ情報を含む。コンテンツ情報はコンテンツのためのリーンバックアプリケーションのＵＲＬ、コンテンツ識別子、コンテンツのタイムスタンプ及びコンテンツ認識正確度のうち少なくともいずれか一つを含む。この際、コンテンツ情報は図３３または図３８の実施例のような形態である。映像表示装置１００は第１ＡＣＲ質疑応答メッセージに基づいて第２特徴情報タイプを決定する。詳しくは、映像表示装置１００は第１応答メッセージからコンテンツ識別子を抽出する。映像表示装置１００はコンテンツ識別子に基づいてコンテンツのジャンルを獲得する。詳しくは、映像表示装置１００はコンテンツ識別子に基づく質疑要求メッセージを第三者サーバ９０に伝送する。映像表示装置１００はお勧めの特徴情報タイプに基づく質疑応答メッセージを第三者サーバ９０から受信する。映像表示装置１００は第２特徴情報タイプに基づいて第２特徴情報タイプを決定する。映像表示装置１００は第２特徴情報タイプに基づいて非圧縮ビデオ及び非圧縮オーディオのうち少なくともいずれか一つを含む放送コンテンツから特徴情報を抽出する。映像表示装置１００は第２特徴情報タイプに基づいて第２ＡＣＲ質疑要求メッセージをコンテンツ認識サービス提供サーバ２０に伝送する。詳しくは、映像表示装置１００は第２特徴情報タイプに当たる特徴情報を含む第２ＡＣＲ質疑要求メッセージをコンテンツ認識サービス提供サーバ２０に伝送する。映像表示装置１００はコンテンツ認識サービス提供サーバ２０から第２ＡＣＲ質疑応答メッセージを受信する。
コンテンツ認識サービス提供サーバ２０はコンテンツの特徴情報を含む。コンテンツ認識サービス提供サーバ２０は映像表示装置１００にＡＣＲ質疑要求メッセージを受信する。コンテンツ認識サービス提供サーバ２０はコンテンツ特徴情報に基づいてＡＣＲ質疑応答メッセージを伝送する。詳しくは、コンテンツ認識提供サーバ２０は映像表示装置１００にコンテンツ情報を含むＡＣＲ質疑応答メッセージを伝送する。
第三者サーバ９０は映像表示装置１００からコンテンツ識別子に基づく質疑要求メッセージを受信する。詳しくは、第三者サーバはコンテンツ識別子を含む質疑要求メッセージを受信する。第三者サーバ９０は映像表示装置１００にお勧めの特徴情報タイプに基づいて質疑応答メッセージを伝送する。第三者サーバ９０は映像表示装置１００にお勧めの特徴情報タイプを含む質疑応答メッセージを伝送する。
映像表示装置１００、コンテンツ認識サービス提供サーバ２０及び第三者サーバ９０の具体的な動作は図４２を介して詳しく説明する。
図４２は、本発明の実施例によって映像表示装置が特徴情報タイプを決定することを示すラダーダイアグラムである。
映像表示装置１００は電源がオンされて動作を開始するＳ２８０１。映像表示装置１００は外部入力端子を介して非圧縮視聴覚コンテンツを獲得する。この際、非圧縮視聴覚コンテンツは非圧縮オーディオ及び非圧縮ビデオのうち少なくともいずれか一つを含む。映像表示装置１００は非圧縮視聴覚コンテンツをディスプレー部１２１を介して表示する。
映像表示装置１００は第１特徴情報タイプに基づいて第１ＡＣＲ質疑要求メッセージをコンテンツ認識サービス提供サーバ２０に伝送するＳ２８０３。詳しくは、映像表示装置１００は外部入力を介して入力された非圧縮視聴覚コンテンツから第１特徴情報のタイプに当たる特徴情報を抽出し、特徴情報を含むＡＣＲ質疑要求メッセージをコンテンツ認識サービス提供サーバ２０に伝送する。この際、第１特徴情報タイプはデフォルト特徴情報タイプである。
コンテンツ認識サービス提供サーバ２０は第１ＡＣＲ質疑応答メッセージを映像表示装置１００に伝送するＳ２８０５。詳しくは、コンテンツ認識サービス提供サーバ２０はコンテンツ情報を含む第１ＡＣＲ質疑応答メッセージを映像表示装置１００に伝送する。この際、コンテンツ情報はコンテンツのためのリーンバックアプリケーションのＵＲＬ、コンテンツ識別子、コンテンツのタイムスタンプ及びコンテンツ認識の正確度のうち少なくともいずれか一つを含む。この際、コンテンツ情報は図３３または図３８の実施例のような形態である。
映像表示装置１００はコンテンツ識別子に基づいて質疑要求メッセージを第三者サーバ９０に伝送するＳ２８０７。詳しくは、映像表示装置１００はコンテンツ識別子を含む質疑要求メッセージを第三者サーバ９０に伝送する。
映像表示装置１００はコンテンツ識別子に基づいてコンテンツのジャンル及び第２特徴情報タイプのうち少なくともいずれか一つを獲得する。
第三者サーバ９０はコンテンツのお勧めの特徴情報タイプに基づいて質疑応答メッセージを映像表示装置１００に伝送するＳ２８０９。詳しくは、第三者サーバ９０はお勧めの特徴情報タイプを含む質疑応答メッセージを映像表示装置１００に伝送する。具体的な実施例において、第三者サーバ９０はコンテンツ飲めたデータを含む。第三者サーバ９０はコンテンツ識別子に当たるコンテンツのメタデータからコンテンツのジャンルを抽出する。
この際、コンテンツ識別子はＴＭＳ ｉｄである。ＴＭＳはコンテンツに関するメタデータを提供するサービス提供会社である。多くの放送局と放送受信機会社はＴＭＳが提供する放送データを利用して付加サービスを提供する。特に、放送事業者と放送受信機会社はＴＭＳ ｉｄを利用してＥＰＧサービスを提供する。ＴＭＳ ｉｄはＴＭＳがコンテンツを識別するために使用する識別子である。複数のコンテンツのＴＭＳ ｉｄが同じであれば放送受信機または映像表示装置は複数のコンテンツが同じであると判断する。詳しくは、第三者サーバ９０はＴＭＳ ｉｄに基づいてＴＭＳが提供するＴＭＳデータからコンテンツのジャンルを獲得する。他の具体的な実施例において、コンテンツ識別子はＣＲＩＤ（Ｃｏｎｔｅｎｔｓ Ｒｅｆｅｒｅｎｃｅ Ｉｄｅｎｔｉｆｉｅｒ）である。ＣＲＩＤはＴＶ−Ａｎｙｔｉｍｅで定義したコンテンツ識別子であって、一部国家の放送局と放送受信機会社がＥＰＧサービス及び予約録画サービスとしてこれを使用している。詳しくは、第三者サーバ９０はＣＲＩＤに基づいてＥＰＧデータからコンテンツのジャンルを獲得する。この際、ＥＰＧデータはＥＩＴである。また、詳しくは、ＥＰＧデータはＡＴＳＣ標準で定義するジャンルディスクリプタ（ｄｅｓｃｒｉｐｔｏｒ）である。また、ＥＰＧデータはＤＶＢ標準で定義するコンテンツディスクリプタである。
具体的な実施例によっては、第三者サーバ９０はコンテンツジャンルに基づいて映像表示装置１００の第２特徴情報の決定の基礎となるお勧めの特徴情報タイプを決定する。詳しくは、第三者サーバ９０は以下のような表を参照してお勧めの特徴情報タイプを決定する。
Figure 2016516321
例えば、コンテンツジャンルがニュースまたはスポーツであれば、第三者サーバ９０はお勧めの特徴情報タイプをオーディオ特徴情報に決定する。例えば、コンテンツジャンルが音楽またはドキュメンタリであれば、第三者サーバ９０はお勧めの特徴情報タイプをビデオ特徴情報に決定する。例えば、コンテンツジャンルがドラマであれば、第三者サーバ９０はお勧めの特徴情報タイプをオーディオ特徴情報とビデオ特徴情報の両方を含むと決定する。第三者サーバ９０はお勧めの特徴情報タイプに基づいて質疑応答メッセージを伝送する。このように決定されたお勧めの特徴情報タイプを介して映像表示装置１００は各コンテンツ別にコンテンツを効率的に認識する。他の具体的な実施例において、第三者サーバ９０は特徴情報タイプを決定せずにコンテンツのジャンルに基づいて質疑応答メッセージを映像表示装置１００に伝送する。それについては図４４乃至図４５を介して説明する。
映像表示装置１００はお勧めの特徴情報、特徴情報に抽出に関する契約事項及びコンテンツ認識の正確度のうち少なくともいずれか一つに基づいて第２特徴情報タイプを決定するＳ２８１１。コンテンツ認識サービス提供サーバ２０及びｍａｔｃｈｉｎｇアルゴリズムなどは共通に使用されるが、映像表示装置１００の場合、製造会社ごとにハードウェアに差がある。よって、映像表示装置１００は製造段階でオーディ特徴情報及びビデオ特徴情報のためのハードウェア的制約事項を有する。また、映像表示装置１００が動作する途中、特徴情報の抽出ではなく他の機能がオーディオドライバまたはビデオドライバなどを使用する際、映像表示装置１００はオーディオ特徴情報またはビデオ特徴情報を一時的に抽出できない可能性がある。よって、このような場合に備えて映像表示装置１００は映像表示装置１００の特徴情報の抽出に関する制約事項に基づいて第２特徴情報タイプを決定する。具体的な実施例において、お勧めの特徴情報タイプに当たる特徴情報を抽出することができない場合、映像表示装置１００は特徴情報を抽出可能な特徴情報タイプとして第２特徴情報タイプを決定する。例えば、現在映像表示装置１００のビデオドライバが全て使用中であるためビデオ特徴情報を抽出することができず、お勧めの特徴情報タイプがビデオ特徴情報を示す場合、映像表示装置１００は第２特徴情報タイプをオーディオ特徴情報に決定する。
第２特徴情報タイプがオーディオ特徴情報であるが、コンテンツに無音があるかＢＧＭのように一般的な音声情報のみでは表現される区間が長い場合、映像表示装置１００はオーディオ特徴情報に基づいたコンテンツ認識に失敗する可能性がある。また、第２特徴情報タイプがビデオ特徴情報と指定されているが、静止画像のようにコンテンツのフレーム間の差が殆どない場合、映像表示装置１００はコンテンツの認識に失敗する可能性がある。それを防ぐために、他の具体的な実施例において、映像表示装置１００はコンテンツ認識の正確度に基づいて第２特徴情報タイプを決定する。それについては図４３を参照して説明する。図４３は、本発明の実施例によって映像表示装置がコンテンツ認識正確度に基づいて特徴情報タイプを変更することを示す順序図である。
映像表示装置１００は、第１ＡＣＲ質疑応答メッセージに基づいてコンテンツ認識の正確度を抽出するＳ２８５１。具体的な実施例において、第１ＡＣＲ質疑応答メッセージはコンテンツ認識の正確度を含む。具体的に上述したように、ｃｏｎｆｉｄｅｎｃｅエレメントの形態に含む。
映像表示装置１００はコンテンツ認識の正確度が予め設定された認識基準値より小さいか否かを判断するＳ２８５３。この際、予め設定された認識基準値はユーザ入力に基づいて変更される。
コンテンツ認識の正確度が予め設定された認識基準値より小さければ、映像表示装置１００は第２特徴情報タイプを第１特徴情報タイプとは異なるタイプと決定するＳ２８５５。例えば、第１特徴情報タイプがビデオ特徴情報タイプで、コンテンツ認識の正確度が６０％で、予め設定された認識基準値が７０%である場合、映像表示装置１００は第２特徴情報タイプをオーディオ特徴情報タイプと決定する。
特徴情報の抽出に関する制約事項及びコンテンツ認識の正確度のうち少なくともいずれか一つに基づいて特徴情報タイプを決定する動作は、第２ＡＣＲ質疑要求メッセージ伝送の後にＡＣＲ質疑要求メッセージを伝送しＡＣＲ質疑応答メッセージを受信する過程のうち繰り返し行われる。
映像表示装置１００は、第２特徴情報タイプに基づいて第２ＡＣＲ質疑要求メッセージを伝送するＳ２８１３。詳しくは、映像表示装置１００は外部入力を介して入力された非圧縮視聴覚コンテンツから第２特徴情報タイプに当たる特徴情報を抽出し、特徴情報を含むＡＣＲ質疑要求メッセージをコンテンツ認識サービス提供サーバ２０に伝送する。
コンテンツ認識サービス提供サーバ２０は第２ＡＣＲ質疑応答メッセージを伝送するＳ２８１５。詳しくは、コンテンツ認識サービス提供サーバ２０はコンテンツ情報を含む第２ＡＣＲ質疑応答メッセージを映像表示装置１００に伝送する。この際、コンテンツ情報はコンテンツのためのリーンバックアプリケーションのＵＲＬ、コンテンツ識別子、コンテンツのタイプスタンプ及びコンテンツ認識の正確度のうち少なくともいずれか一つを含む。
この際、コンテンツ認識サービス提供サーバ２０は第２特徴情報タイプとコンテンツ情報を一緒に伝送する。特に、第２特徴情報タイプをコンテンツ認識サービス提供サーバ２０が支援しない場合、コンテンツ認識サービス提供サーバ２０はコンテンツ認識サービス提供サーバ２０が支援する特徴情報としてお勧めの特徴情報タイプで伝送する。次に、コンテンツ認識サービス提供サーバ２０はお勧めの特徴情報タイプとコンテンツ情報を一緒に伝送する。例えば、第２特徴情報タイプがオーディオ特徴情報であるがコンテンツ認識サービス提供サーバ２０がオーディオ特徴情報を支援しない場合、コンテンツ認識サービス提供サーバ２０はビデオ特徴情報をお勧めの特徴情報として伝送する。
図４４乃至図４５を介し、第三者サーバ９０は特徴情報のタイプを決定せずにコンテンツのジャンルに基づいて質疑応答メッセージを映像表示装置１００に伝送することを説明する。
図４４は、本発明の他の実施例によって映像表示装置が特徴情報タイプを決定することを示すためのネットワークトポロジーを示す図である。図４４の実施例は図４１の実施例と他の構成は全て同じであるが、映像表示装置１００がお勧めの特徴情報を第三者サーバ９０から獲得せずにコンテンツのジャンルに基づいた質疑応答メッセージを第三者サーバ９０から受信することが異なる。よって、同じ構成と動作については説明を省略する。
映像表示装置１００は第三者サーバ９０からコンテンツジャンルを受信する。映像表示装置１００はコンテンツジャンル、コンテンツ認識の正確度及び映像表示装置の特徴情報抽出の制約のうち少なくともいずれか一つに基づいて第２特徴情報タイプを決定する。映像表示装置１００は図４１乃至図４２の実施例の第三者サーバ９０がお勧めの特徴情報タイプを決定するようにコンテンツジャンルに応じて第２特徴情報タイプを決定する。また、図４１乃至図４２の実施例のように映像表示装置１００はコンテンツ認識の正確度に基づいて第２特徴情報タイプを決定する。また、映像表示装置１００は映像表示装置の特徴情報抽出の制約に基づいて第２特徴情報タイプを決定する。
第三者サーバ９０はコンテンツのジャンルに基づいて第１ＡＣＲ質疑応答メッセージを伝送する。詳しくは、第三者サーバ９０はコンテンツのジャンルを含む第１ＡＣＲ質疑応答メッセージを伝送する。
図４５は、本発明の他の実施例によって映像表示装置が特徴情報タイプを決定することを示すラダーダイアグラムである。図４５の実施例は図４２の実施例と他のところは全て同じであるが、映像表示装置１００がお勧めの特徴情報を第三者サーバ９０から獲得せずにコンテンツのジャンルに基づいた質疑応答メッセージを第三者サーバ９０から受信することが異なる。よって、同じ構成と動作については説明を省略する。
第三者サーバ９０はコンテンツのジャンルに基づいて質疑応答メッセージを伝送するＳ２９０９。詳しくは、第三者サーバ９０はコンテンツのジャンルを含む質疑応答メッセージを伝送する。
映像表示装置１００はコンテンツのジャンル、コンテンツ認識の正確度及び映像表示装置の特徴情報抽出の制約のうち少なくともいずれか一つに基づいて第２特徴情報タイプを決定するＳ２９１１。映像表示装置１００は図４１乃至図４２の実施例の第三者サーバ９０がお勧めの特徴情報タイプを決定するようにコンテンツのジャンルに応じて第２特徴情報タイプを決定する。また、図４１乃至図４２の実施例のように映像表示装置１００はコンテンツ認識の正確度に基づいて第２特徴情報タイプを決定する。また、映像表示装置１００は映像表示装置の特徴情報抽出の制約に基づいて決定した第２特徴情報タイプを決定する。
図４６は、本発明の実施例による映像表示装置の概念図である。
図４６に示したように、本発明の実施例による概念図の映像表示装置１００はオーディオ／ビデオドライバ（Ａｕｄｉｏ／Ｖｉｄｅｏ ｄｒｉｖｅｒ）６０１、ＡＣＲエンジン６０３、ＡＣＲミドルウェア６０５、ＡＣＲユーザインタフェース６０７、ＡＣＲプラグイン（Ｐｌｕｇｉｎ）６０９を含む。
オーディオ／ビデオドライバ６０１やＴＶの外部入力に入力されるオーディオ／ビデオ信号をキャプチャしてＡＣＲエンジン６０３に伝達する。オーディオ／ビデオドライバ６０１はＡＣＲエンジン６０３がオーディオ／ビデオバッファに接近するようにＡＰＩを提供してもよい。オーディオ／ビデオドライバ６０１はＨＤＭＩのような外部入力に入力されるオーディオ／ビデオ特性情報を共に提供する。例えば、オーディオ／ビデオドライバ６０１はオーディオの場合にはｓａｍｐｌｅ ｄｅｐｔｈ、ｓａｍｐｌｉｎｇ ｒａｔｅ、ｃｈａｎｎｅｌの数（ｍｏｎｏ／ｓｔｅｒｅｏなど）、ｓａｍｐｌｅの数、ｓａｍｐｌｅ時間などの情報を提供する。ビデオの場合にはオーディオ／ビデオドライバ６０１はｖｉｄｅｏ ｆｏｒｍａｔ、ｉｎｐｕｔ ｖｉｄｅｏのｗｉｄｔｈ、ｈｅｉｇｈｔ、ｓｔｒｉｄｅ、ｓｔｒｅａｍ時間、ｉｎｐｕｔ ｔｙｐｅ（ＨＤＭＩ１、ＨＤＭＩ２、Ｃｏｍｐｏｓｉｔｅ、ｃｏｍｐｏｎｅｎｔなど）、秒当たりのｆｒａｍｅの数などの情報を提供する。
ＡＣＲエンジン６０３は別途のｐｒｏｃｅｓｓで実行されるが、上述した多用な方式を利用してプログラムを認識する。ＡＣＲエンジン６０３はＡｕｄｉｐ／Ｖｉｄｅｏサンプルからシグネチャを抽出し、抽出したシグネチャをＡＣＲサーバに伝達してコンテンツを認識する。上述したように、ＡＣＲエンジン６０３はフラットフォームの具現に応じてＡｕｄｉｏ／Ｖｉｄｅｏバッファに接近可能なＡＰＩを呼び出してもよく、オーディオ／ビデオドライバ６０１がキャプチャしたオーディオ／ビデオストリームをｓｏｃｋｅｔのような方法を介してＡＣＲ ｐｒｏｃｅｓｓに伝達してもよい。ＡＣＲエンジン６０３はＡＣＲサーバにシグネチャと共にＡＣＲ質疑要求を伝送してｃｏｎｔｅｎｔ認識に成功したか否か、Ｃｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐ、ｌｅａｎｂａｃｋ ａｐｐ ＵＲＬ、放送局サーバＵＲＬプロモーションアプリケーションＵＲＬ、コンテンツ通知アプリケーションＵＲＬなどを含むＡＣＲ ｑｕｅｒｙ ｒｅｓｐｏｎｓｅをＡＣＲサーバから受信する。ＡＣＲエンジン６０３はＡＣＲサーバから伝達された結果をＡＣＲミドルウェア６０５に伝達する。
ＡＣＲミドルウェア６０５はＤＴＶ ｐｒｏｃｅｓｓのミドルウェアに当たるモジュールであり、ＡＣＲ制御を処理してＡＣＲエンジン６０３からのＡＣＲ質疑応答を処理する。ＡＣＲミドルウェア６０５はＡＣＲプロセスを実行するか終了するかＡＣＲエンジン６０３を開始するか中断することでＡＣＥを制御する。また、ＡＣＲミドルウェア６０５はＡＣＥ質疑応答をパーシングしてＣｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐなどの値も記憶している。ＡＣＲミドルウェア６０５は記憶された値をＡＣＲ ＵＩに伝送するようにＡＰＩを提供するかｍｅｓｓａｇｅ ｑｕｅｕｅ、ｇｌｏｂａｌ変数などの方法を介してＡＣＲユーザインタフェース６０７に伝達する。また、ＡＣＲミドルウェア６０５はＬｉｖｅ＋アプリケーションやリーンバックアプリケーションのようなＡＣＲアプリケーションにＣｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐなどのようなデータを伝達するためにｓｈａｒｅｄ ｍｅｍｏｒｙ、ｓｏｃｋｅｔなどのＩＰＣ（Ｉｎｔｅｒ−Ｐｒｏｃｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を介してＷｅｂブラウザに伝達する。
ＡＣＲユーザインタフェース（ＡＣＲ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ，ＡＣＲ ＵＩ）６０７はユーザにＡＣＲ Ｏｎ／ＯｆｆのようなＡＣＲを制御するＵＩを表出するか、認識されたプログラム名及び時間のような情報をＴＶの状態バーＵＩからユーザに示す。
ＡＣＲミドルウェア６０５がＡＣＲアプリケーションに伝達するためのＣｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐなどのようなデータをブラウザに伝達すると、ＡＣＲプラグイン６０９はこのような値を伝達される。ＡＣＲプラグイン６０９はＰｌｕｇｉｎ Ｏｂｊｅｃｔ Ｉｎｔｅｒｆａｃｅを介してＡＣＲアプリケーションに該当値を伝達する。
実施例によって、第三者サーバ９０は上述したようにｃｏｎｔｅｎｔｓのメタデータを含む。また、第三者サーバ９０はＡＣＲ設定情報を含む。第三者サーバ９０はコンテンツのジャンル及びお勧めの特徴情報タイプのうち少なくともいずれか一つを映像表示装置１００に伝送する。詳しい動作方法は上述したため、それについては省略する。
次に、図４７乃至図４８を介して本発明の多様な実施例による映像表示装置の構造を説明する。
図４７は、本発明の他の実施例によるフィンガープリント基盤の映像表示装置の構造を示すブロック図である。
図４７において、Ｔｕｎｅｒ５０１はａｉｒチャネルを介して伝送される８−ＶＳＢ ＲＦシングからＳｙｍｂｏｌを抽出する。
８−ＶＳＤ Ｄｅｍｏｄｕｌａｔｏｒ５０３はＴｕｎｅｒ５０１が抽出した８−ＶＳＤ Ｓｙｍｂｏｌを復調し、意味のあるデジタルデータを復元する。
ＶＳＢ Ｄｅｃｏｄｅｒ５０５は８−ＶＳＤ Ｄｅｍｏｄｕｌａｔｏｒ５０３が復元したデジタルデータを復号し、ＡＴＳＣメインサービスとＡＴＳＣ Ｍ／Ｈサービスを復元する。
ＭＰＥＧ−２ ＴＰ Ｄｅｍｕｘ５０７は８−ＶＳＤ信号を介して伝送されるＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ ＰａｃｋｅｔまたはＰＶＲ Ｓｔｏｒａｇｅに記憶されたＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｐａｃｋｅｔのうちから映像表示装置１００が処理しようとするＴｒａｎｓｐｏｒｔ Ｐａｃｋｅｔをフィルタリングし、適切な処理モジュールに中継する。
ＰＥＳデコーダ５３９はＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍを介して伝送されたＰａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｔｒａｒｙ ＳｔｒｅａｍをＢｅｆｆｅｒｉｎｇし復元する。
ＰＳＩ／ＰＳＩＰデコーダ５４１はＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍを介して伝送されるＰＳＩ／ＰＳＩＰ Ｓｅｃｔｉｏｎ ＤａｔａをＢｅｆｆｕｒｉｎｇし分析する。分析されたＰＳＩ／ＰＳＩＰデータはＳｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）によって収集され、Ｓｅｒｖｉｃｅ Ｍａｐ及びＧｕｉｄｅ ｄａｔａの形態にＤＢに記憶される。
ＤＳＭＣＣ Ｓｅｃｔｉｏｎ Ｂｕｆｆｅｒ／Ｈａｎｄｌｅｒ５１１はＭＰＥＧ−２ ＴＰを介して伝送されるファイルの伝送及びＩＰ Ｄａｔａｇｒａｍ ｅｎｃａｐｓｕｌａｔｉｏｎなどのためのＤＳＭＣＣ Ｓｅｃｔｉｏｎ Ｄａｔａをバッファリング（Ｂｅｆｆｅｒｉｎｇ）し処理する。
ＩＰ／ＵＤＰ Ｄａｔａｇｒａｍ Ｂｕｆｆｅｒ／Ｈｅａｄｅｒ Ｐａｒｓｅｒ５３１はＤＳＭＣＣ Ａｄｄｒｅｓｓａｂｌｅ ｓｅｃｔｉｏｎを介してｅｎｃａｐｓｕｌａｔｅされてＭＰＥＧ−２ ＴＰを介して伝送されるＩＰ Ｄａｔａｇｒａｍをバッファリングし復元して各ＤａｔａｇｒａｍのＨｅａｄｅｒを分析する。また、ＩＰ／ＵＤＰ Ｄａｔａｇｒａｍ Ｂｕｆｆｅｒ／Ｈｅａｄｅｒ Ｐａｒｓｅｒ５３１はＩＰ Ｄａｔａｇｒａｍを介して伝送されるＵＤＰ ＤａｔａｇｒａｍをＢｕｆｆｅｒｉｎｇ及び復元し、復元されたＵＤＰ Ｈｅａｄｅｒを分析及び処理する。
Ｓｔｒｅａｍ ｃｏｍｐｏｎｅｎｔ ｈａｎｄｌｅｒ５７７はＥＳ Ｂｕｆｆｅｒ／ｈａｎｄｌｅｒ、ＰＣＲ Ｈａｎｄｌｅｒ、ＳＴＣモジュール、Ｄｅｓｃｒａｂｌｅｒ、ＣＡ Ｓｔｒｅａｍ Ｂｕｆｆｅｒ／Ｈａｎｄｌｅｒ、Ｓｅｒｖｉｃｅ Ｓｉｇｎａｌｉｎｇ Ｓｅｎｃｉｔｏｎ Ｂｕｆｆｅｒ／Ｈａｎｄｌｅｒを含む。
ＥＳ Ｂｕｆｆｅｒ／ＨａｎｄｌｅｒはＰＥＳ形態に伝送されたＶｉｄｅｏ、ＡｕｄｉｏデータなどのＥｌｅｍｅｎｔａｒｙ ＳｔｒｅａｍをＢｕｆｆｅｒｉｎｇ及び復元し、適切なＡ／Ｖ Ｄｅｃｏｄｅｒに伝達する。
ＰＣＲ ＨａｎｄｌｅｒはＡｕｄｉｏ及びＶｉｄｅｏ ＳｔｒｅａｍのＴｉｍｅ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎなどのために使用されるＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ） Ｄａｔａを処理する。
ＳＴＣモジュールはＰＣＲ Ｈａｎｄｌｅｒを介して伝達されたＲｅｆｅｒｅｎｃｅ Ｃｌｏｃｋ値を利用し、Ａ／Ｖ ＤｅｃｏｄｅｒのＣｌｏｃｋ値を補正してＴｉｍｅ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎを行う。
受信されたＩＰ ＤａｔａｇｒａｍのＰａｙｌｏａｄにＳｃｒａｍｂｌｉｎｇが適用された場合、ＤｅｓｃｒａｍｂｌｅｒはＣＡ Ｓｔｒｅａｍ Ｈａｎｄｌｅｒから伝達されたＥｎｃｒｙｐｔｉｏｎ ｋｅｙなどを利用してＰａｙｌｏａｄのデータを復元する。
ＣＡ Ｓｔｒｅａｍ Ｂｕｆｆｅｒ／ＨａｎｄｅｌｒはＭＰＥＧ−２ ＴＳまたはＩＰ Ｓｔｒｅａｍを介して伝送されるＣｏｎｄｉｔｉｏｎａｌ Ａｃｃｅｓｓ機能のために伝送されるＥＭＭ、ＥＣＭなどのＤｅｓｃｒａｍｂｌｉｎｇのためのｋｅｙ値などのＤａｔａをＢｕｆｆｅｒｉｎｇ及び処理する。ＣＡ Ｓｔｒｅａｍ Ｂｕｆｆｅｒ／ＨａｎｄｅｌｒのＯｕｔｐｕｔはＤｅｓｃｒａｍｂｌｅｒに伝達され、ＤｅｓｃｒａｍｂｌｅｒはＡ／Ｖ Ｄａｔａ及びＦｉｌｅ Ｄａｔａなどを伝送するＭＰＥＧ−２ ＴＰまたはＩＰ Ｄａｔａｇｒａｍの暗号化解除作業を行う。
Ｓｅｒｖｉｃｅ Ｓｉｇｎａｌｉｎｇ Ｂｕｆｆｅｒ／ＨａｎｄｌｅｒはＩＰ Ｄａｔａｇｒａｍの形態に伝送されるＮＲＴ Ｓｅｒｖｉｃｅ Ｓｉｇｎａｌｉｎｇ Ｃｈａｎｎｅｌ Ｓｅｃｔｉｏｎ ＤａｔａをＢｕｆｆｅｒｉｎｇし復元して分析する。Ｓｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）は分析されたＮＲＴ Ｓｅｒｖｉｃｅ Ｓｉｇｎａｌｉｎｇ Ｃｈａｎｎｅｌ Ｓｅｃｔｉｏｎデータを収集し、Ｓｅｒｖｉｃｅ Ｍａｐ及びＧｕｉｄｅ ｄａｔａの形態にＤＢに記憶する。
Ａ／Ｖ Ｄｅｃｏｄｅｒ５６１はＥＳ Ｈａｎｄｌｅｒを介して伝達されたＡｕｄｉｏ／Ｖｉｄｅｏデータの圧縮を復号化してユーザにＰｒｅｓｅｎｔａｔｉｏｎする。
ＭＰＥＧ−２ Ｓｅｒｖｉｃｅ Ｄｅｍｕｘ（図示せず）はＭＰＥＧ−２ ＴＰ Ｂｕｆｆｅｒ／Ｐａｒｓｅｒ、Ｄｅｓｃｒａｍｂｌｅｒ、ＰＶＲ Ｓｔｏｒａｇｅモジュールを含む。
ＭＰＥＧ−２ ＴＰ Ｂｕｆｆｅｒ／Ｐａｒｓｅｒ（図示せず）は８−ＶＳＢ信号を介して伝送されるＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ ＰａｃｋｅｔをＢｕｆｆｅｒｉｎｇ及び復元し、Ｔｒａｎｓｐｏｒｔ Ｐａｃｋｅｔ Ｈｅａｄｅｒを検出及び処理する。
ＤｅｓｃｒａｍｂｌｅｒはＭＰＥＧ−２ ＴＰのうちＳｃｒａｍｂｌｅが適用されたＰａｃｋｅｔ ｐａｙｌｏａｄに対し、ＣＡ Ｓｔｒｅａｍ Ｈａｎｄｌｅｒから伝達されたＥｎｃｒｙｐｔｉｏｎ ｋｅｙなどを利用してＰａｙｌｏａｄのデータを復元する。
ＰＶＲ Ｓｔｏｒａｇｅモジュールはユーザの要求などに応じて８−ＶＳＢ信号を利用して受信されたＭＰＥＧ−２ ＴＰを記憶し、またユーザの要求によってＭＰＥＧ−２ ＴＰを出力する。ＰＶＲ ＳｔｏｒａｇｅモジュールはＰＶＲ Ｍａｎａｇｅｒ（図示せず）によって制御される。
Ｆｉｌｅ Ｈａｎｄｌｅｒ５５１はＡＬＣ／ＬＣＴ Ｂｕｆｆｅｒ／Ｐａｒｓｅｒ、ＦＤＴ Ｈａｎｄｌｅｒ、ＸＭＬ Ｐａｒｓｅｒ、Ｆｉｌｅ Ｒｅｃｏｓｔｒｕｃｔｉｏｎ Ｂｕｆｆｅｒ、Ｄｅｃｏｍｐｒｅｓｓｏｒ、Ｆｉｌｅ Ｄｅｃｏｄｅｒ、Ｆｉｌｅ Ｓｔｏｒａｇｅを含む。
ＡＬＣ／ＬＣＴ Ｂｕｆｆｅｒ／ＰａｒｓｅｒはＵＤＰ／ＩＰ Ｓｔｒｅａｍに伝送されるＡＬＣ／ＬＣＴデータをＢｕｆｆｅｒｉｎｇ及び復元し、ＡＬＣ／ＬＣＴのＨｅａｄｅｒ及びＨｅａｄｅｒ ｅｘｔｅｎｓｉｏｎを分析する。ＡＬＣ／ＬＣＴ Ｂｕｆｆｅｒ／ＰａｒｓｅｒはＮＲＴ Ｓｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）によって制御される。
ＦＤＴ ＨａｎｄｌｅｒはＡＬＣ／ＬＣＴ ｓｅｓｓｉｏｎを介して伝送されるＦＬＵＴＥ ｐｒｏｔｏｃｏｌのＦｉｌｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｔａｂｌｅを分析及び処理する。ＦＤＴ ＨａｎｄｌｅｒはＮＲＴ Ｓｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）によって制御される。
ＸＭＬ ＰａｒｓｅｒはＡＬＣ／ＬＣＴ ｓｅｓｓｉｏｎを介して伝送されるＸＭＬ Ｄｏｃｕｍｅｎｔを分析し、ＦＤＴ Ｈａｎｄｌｅｒ、ＳＧ Ｈａｎｄｌｅｒなど適切なモジュールに分析されたデータを伝達する。
Ｆｉｌｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ＢｕｆｆｅｒはＡＬＣ／ＬＣＴ、ＦＬＵＴＥ ｓｅｓｓｉｏｎに伝送されるファイルを復元する。
ＤｅｃｏｍｐｒｅｓｓｏｒはＡＬＣ／ＬＣＴ、ＦＬＵＴＥ ｓｅｓｓｉｏｎに伝送されるファイルが圧縮されている場合、その圧縮を解除するプロセスを行う。
Ｆｉｌｅ ＤｅｃｏｄｅｒはＦｉｌｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｂｕｆｆｅｒで復元されたＦｉｌｅまたはＤｅｃｏｍｐｒｅｓｓｏｒで圧縮解除されたファイル、またはＦｉｌｅ Ｓｔｏｒａｇｅから抽出されたＦｉｌｅをＤｅｃｏｄｉｎｇする。
Ｆｉｌｅ Ｓｔｏｒａｇｅは復元されたファイルを必要に応じて記憶するか抽出する。
Ｍ／Ｗ Ｅｎｇｉｎｅ（図示せず）はＤＳＭＣＣ Ｓｅｃｔｉｏｎ、ＩＰ Ｄａｔａｇｒａｍなどを介して伝送されるＡ／Ｖ ＳｔｒｅａｍではないファイルなどのＤａｔａを処理する。Ｍ／Ｗ Ｅｎｇｉｎｅは処理されたデータをＰｒｅｓｅｎｔａｔｉｏｎ Ｍａｎａｇｅｒモジュールに伝達する。
ＳＧ Ｈａｎｄｌｅｒ（図示せず）はＸＭＬ Ｄｏｃｕｍｅｎｔの形態に伝送されるＳｅｒｖｉｃｅ Ｇｕｉｄｅデータを収集し分析してＥＰＧ Ｍａｎａｇｅｒに伝達するプロセスを行う。
Ｓｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）はＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍを介して伝送されるＰＳＩ／ＰＳＩＰ Ｄａｔａ、ＩＰ Ｓｔｒｅａｍに伝送されるＳｅｒｖｉｃｅ Ｓｉｇｎａｌｉｎｇ Ｓｅｃｔｉｏｎ Ｄａｔａを収集し分析してＳｅｒｖｉｃｅ Ｍａｐを製作する。Ｓｅｒｖｃｉｅ Ｍａｎａｇｅｒ（図示せず）は製作したＳｅｒｖｉｃｅ ｍａｐをＳｅｒｖｉｃｅ Ｍａｐ＆Ｇｕｉｄｅ Ｄａｔａｂａｓｅに記憶し、ユーザの望みのＳｅｒｖｉｃｅに対するａｃｃｅｓｓを制御する。Ｏｐｅｒａｔｉｏｎ Ｃｏｎｔｒａｏｌｌｅｒ（図示せず）によって制御され、Ｔｕｎｅｒ５０１、ＭＰＥＧ−２ ＴＰ Ｄｅｍｕｘ５０７、ＩＰ Ｄａｔａｇｒａｍ Ｂｕｆｆｅｒ／Ｈａｎｄｌｅｒ５１３などに関する制御を行う。
ＮＲＴ Ｓｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）はＩＰ ｌａｙｅｒ上でＦＬＵＴＥ ｓｅｓｓｉｏｎを介してｏｂｊｅｃｔ／ｆｉｌｅの形態に伝送されるＮＲＴサービスに関する全般的な管理を行う。ＮＲＴ Ｓｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）はＦＤＴ Ｈａｎｄｌｅｒ、Ｆｉｌｅ Ｓｔｏｒａｇｅなどを制御する。
Ａｐｐｌｉｃａｔｉｏｎ Ｍａｎａｇｅｒ（図示せず）はＯｂｊｃｅｔ、Ｆｉｌｅなどの形態で伝送されるＡｐｐｌｉｃａｔｉｏｎデータの処理に関する全般的な管理を行う。
ＵＩ Ｍａｎａｇｅｒ（図示せず）はＵｓｅｒ Ｉｎｔｅｒｆａｃｅを介してユーザのＩｎｐｕｔをＯｐｅｒｔｉｏｎ Ｃｏｎｔｒｏｌｌｅｒに伝達し、ユーザが要求するサービスのためのＰｒｏｃｅｓｓの動作を開始する。
Ｏｐｅｒｔｉｏｎ Ｃｏｎｔｒｏｌｌｅｒ（図示せず）はＵＩ Ｍａｎａｇｅｒを介して伝達されたユーザのＣｏｍｍａｎｄを処理し、必要なモジュールのＭａｎａｇｅｒが該当Ａｃｔｉｏｎを行うようにする。
Ｆｉｎｇｅｒｐｒｉｎｔ Ｅｘｔｒａｃｔｏｒ５６５はＡｕｄｉｏ／Ｖｉｄｅｏストリームからｆｉｎｇｅｒｐｒｉｎｔ特徴情報を抽出する。
Ｆｉｎｇｅｒｐｒｉｎｔ Ｃｏｍｐａｒａｔｏｒ５６７はＦｉｎｇｅｒｐｒｉｎｔ Ｅｘｔｒａｃｔｏｒが抽出した特徴情報とＲｅｆｅｒｅｎｃｅ ｆｉｎｇｅｒｐｒｉｎｔを比較して一致するコンテンツを見つける。Ｆｉｎｇｅｒｐｒｉｎｔ Ｃｏｍｐａｒａｔｏｒ５６７はＬｏｃａｌに記憶されたＲｅｆｅｒｅｎｃｅ ｆｉｎｇｅｒｐｒｉｎｔ ＤＢを利用してもよく、インターネット上のＦｉｎｇｅｒｐｒｉｎｔ質疑サーバに質疑して結果を受信してもよい。比較結果でマッチングされた結果データはＡｐｐｌｉｃａｔｉｏｎに伝達されて利用される。
Ａｐｐｌｉｃａｔｉｏｎ５６９はＡＣＲ機能を管掌するモジュールまたはＡＣＲに基づいてＥｎｈａｎｃｅｄサービスを提供するアプリケーションモジュールであって、視聴中の放送コンテンツを識別子それと連携された拡張されたサービスを提供する。
図４８は、本発明の他の実施例によるウォーターマーク基盤の映像表示装置の構造を示すブロック図である。
図４８に示したウォーターマーク基盤の映像表示装置は図４１に示したフィンガープリント基盤の映像常時装置と類似しているが、フィンガープリント基盤の映像表示装置のＦｉｎｇｅｒｐｒｉｎｔ Ｅｘｔｒａｃｔｏｒ５６５とＦｉｎｇｅｒｐｒｉｎｔ Ｃｏｍｐａｒａｔｏｒ５６７を含まず、代わりにＷａｔｅｒｍａｒｋ Ｅｘｔｒａｃｔｏｒ５６６を更に含む。
Ｗａｔｅｒｍａｒｋ Ｅｘｔｒａｃｔｏｒ５６６はＡｕｄｉｏ／Ｖｉｄｅｏストリームからｗａｔｅｒｍａｒｋの形態に挿入されたデータを抽出する。このように抽出されたデータはＡｐｐｌｉｃａｔｉｏｎに伝達されて利用される。
本発明の一実施例によれば、MVPDに依存せずに付加サービスを利用することができる。特に、放送局やコンテンツプロバイダーが付加サービスを提供していなくても、放送局やコンテンツプロバイダーに依存しない第３のサーバーが付加サービスを提供することができる。
さらに、一実施形態によれば、情報検索、チャット、ニュース検索、デジタルメディアのダウンロード、商品カタログダウンロード、および商品購入をリモートコントローラを用いた不快なテキスト入力せずに行うことができ利用できる。
さらに、一実施形態によれば、無線チャネルの帯域幅を超過する付加サービスも利用可能である。
本発明の一実施例によると、上述した方法はプログラムが記録された媒体にプロセッサが読み込めるコードとして具現することができる。プロセッサが読み込める媒体の例としては、ＲＯＭ，ＲＡＭ，ＣＤ−ＲＯＭ，磁気テープ、フロッピーディスク、光データ記憶装置などがあり、キャリアウェーブ（例えば、インターネットを介した伝送）の形態に具現されることも含む。
前記のように記載された実施例は説明した実施例の構成と方法が限定されて適用されるのではなく、前記実施例は多様な変形が行われるように各実施例の全部又は一部が選択的に組み合わせられて構成されてもよい。
実施形態は、その例示的な実施形態の数を参照して説明したが、それは多くの他の修正及び実施形態は、本開示の原理の精神および範囲内に入る第当業者によって考案され得ることが理解されるべきです。より具体的には、様々な変形及び変更は、構成部品、および/または開示、図面および添付の特許請求の範囲内の被写体の組み合わせの配置の配置が可能です。構成部品および/または構成において変形及び変更に加えて、代替的な用途は、当業者には明らかであろう。

Claims (20)

  1. ディスプレー部を含む映像表示装置の動作方法において、
    非圧縮視聴覚コンテンツを獲得するステップと、
    前記非圧縮視聴覚コンテンツから第１特徴情報タイプに当たる第１特徴情報を抽出するステップと、
    前記第１特徴情報を含む第１質疑に対する応答を受信するステップと、
    前記第１質疑に対する応答に基づいて第２特徴情報タイプを決定するステップと、
    前記非圧縮視聴覚コンテンツから前記第２特徴情報タイプに当たる第２特徴情報を抽出するステップと、
    前記第２特徴情報を含む第２質疑に対する応答を受信するステップと、を含む、映像表示装置の動作方法。
  2. 前記第２特徴情報タイプは前記非圧縮視聴覚コンテンツのジャンルに基づいて決定される、請求項１に記載の映像表示装置の動作方法。
  3. 前記第１質疑に対する応答は前記非圧縮視聴覚コンテンツのコンテンツ識別子を含み、
    前記非圧縮視聴覚コンテンツのジャンルは前記非圧縮視聴覚コンテンツのコンテンツ識別子に基づいて獲得される、請求項２に記載の映像表示装置の動作方法。
  4. 前記第１質疑に対する応答に基づいて第２特徴情報タイプを決定するステップは、
    前記コンテンツ識別子を含む第３質疑を伝送するステップと、
    前記第３質疑に対する応答に基づいて第２特徴情報タイプを決定するステップと、を含む、請求項３に記載の映像表示装置の動作方法。
  5. 前記第３質疑に対する応答は前記非圧縮視聴覚コンテンツのジャンルを含み、
    前記第３質疑に対する応答に基づいて前記第２特徴情報タイプを決定するステップは、
    前記非圧縮視聴覚コンテンツのジャンルに基づいて前記第２特徴情報タイプを決定するステップを含む、請求項４に記載の映像表示装置の動作方法。
  6. 前記第１質疑に対する応答はコンテンツ認識の正確度を含み、
    前記第１質疑に対する応答に基づいて第２特徴情報タイプを決定するステップは、
    前記コンテンツ認識の正確度に基づいて前記第２特徴情報タイプを決定するステップを含む、請求項１に記載の映像表示装置の動作方法。
  7. 前記コンテンツ認識の正確度に基づいて前記第２特徴情報タイプを決定するステップは、
    前記コンテンツ認識の正確度が予め設定された基準値より大きいか否かに基づいて前記第２特徴情報タイプを決定するステップを更に含む、請求項６に記載の映像表示装置の動作方法。
  8. 前記第１質疑に対する応答に基づいて第２特徴情報タイプを決定するステップは、
    前記映像表示装置の特徴情報抽出制約事項に基づいて前記第２特徴情報タイプを決定するステップを含む、請求項１に記載の映像表示装置の動作方法。
  9. 前記第２特徴情報タイプはビデオ、オーディオ及びビデオとオーディオの組み合わせのうちいずれか一つである、請求項１に記載の映像表示装置の動作方法。
  10. 前記第１質疑に対する応答はサンプリングウィンドウ情報を含み、
    前記サンプリングウィンドウ情報は前記非圧縮視聴覚コンテンツの字幕の位置を含まない領域に位置するビデオ特徴情報の抽出領域に当たり、
    前記第１質疑に対する応答に基づいて第２特徴情報タイプを決定するステップは、
    前記サンプリングウィンドウに応じて第２特徴情報を抽出するステップを含む、請求項１に記載の映像表示装置の動作方法。
  11. 映像表示装置において、
    非圧縮視聴覚コンテンツを獲得する受信部と、
    前記非圧縮視聴覚コンテンツを表示するディスプレー部と、
    前記非圧縮視聴覚コンテンツから第１特徴情報タイプに当たる第１特徴情報を抽出し、前記第１特徴情報を含む第１質疑に対する応答を受信し、前記第１質疑に対する応答に基づいて第２特徴情報タイプを決定し、前記非圧縮視聴覚コンテンツから前記第２特徴情報タイプに当たる第２特徴情報を抽出し、前記第２特徴情報を含む第２質疑に対する応答を受信する付加サービス管理部と、を含む、映像表示装置。
  12. 前記第２特徴情報タイプは前記非圧縮視聴覚コンテンツのジャンルに基づいて決定される、請求項１１に記載の映像表示装置。
  13. 前記第１質疑に対する応答は前記非圧縮視聴覚コンテンツのコンテンツ識別子を含み、
    前記非圧縮視聴覚コンテンツのジャンルは前記非圧縮視聴覚コンテンツのコンテンツ識別子に基づいて獲得される、請求項１２に記載の映像表示装置。
  14. 前記付加サービス管理部は、
    前記コンテンツ識別子を含む第３質疑を伝送し、前記第３質疑に対する応答に基づいて第２特徴情報タイプを決定する、請求項１３に記載の映像表示装置。
  15. 前記第３質疑に対する応答は前記非圧縮視聴覚コンテンツのジャンルを含み、
    前記付加サービス管理部は、
    前記非圧縮視聴覚コンテンツのジャンルに基づいて前記第２特徴情報タイプを決定する、
    請求項１４に記載の映像表示装置。
  16. 前記第１質疑に対する応答はコンテンツ認識の正確度を含み、
    前記付加サービス管理部は、
    前記コンテンツ認識の正確度に基づいて前記第２特徴情報タイプを決定する、請求項１１に記載の映像表示装置。
  17. 前記付加サービス管理部は、
    前記コンテンツ認識の正確度が予め設定された基準値より大きいか否かに基づいて前記第２特徴情報タイプを決定する、請求項１６に記載の映像表示装置。
  18. 前記付加サービス管理部は、
    前記映像表示装置の特徴情報抽出制約事項に基づいて前記第２特徴情報タイプを決定する、請求項１１に記載の映像表示装置。
  19. 前記第２特徴情報タイプはビデオ、オーディオ及びビデオとオーディオの組み合わせのうちいずれか一つである、請求項１１に記載の映像表示装置。
  20. 前記第１質疑に対する応答はサンプリングウィンドウ情報を含み、
    前記サンプリングウィンドウ情報は前記非圧縮視聴覚コンテンツの字幕の位置を含まない領域に位置するビデオ特徴情報の抽出領域に当たり、
    前記付加サービス管理部は、
    前記第１サンプリングウィンドウに基づいて第２特徴情報を抽出する、請求項１１に記載の映像表示装置。
JP2015559182A 2013-02-21 2014-02-19 映像表示装置及びその動作方法 Active JP6290935B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361767256P 2013-02-21 2013-02-21
US61/767,256 2013-02-21
PCT/KR2014/001354 WO2014129803A1 (en) 2013-02-21 2014-02-19 Video display apparatus and operating method thereof

Publications (2)

Publication Number Publication Date
JP2016516321A true JP2016516321A (ja) 2016-06-02
JP6290935B2 JP6290935B2 (ja) 2018-03-07

Family

ID=51391530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015559182A Active JP6290935B2 (ja) 2013-02-21 2014-02-19 映像表示装置及びその動作方法

Country Status (7)

Country Link
US (2) US9848230B2 (ja)
EP (1) EP2962473A4 (ja)
JP (1) JP6290935B2 (ja)
KR (1) KR20150120963A (ja)
CN (1) CN105009596B (ja)
CA (1) CA2899188C (ja)
WO (1) WO2014129803A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019507515A (ja) * 2016-02-29 2019-03-14 グレースノート インコーポレイテッド ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別
JP2019511137A (ja) * 2016-02-29 2019-04-18 グレースノート インコーポレイテッド メディアチャネルの変更を検出しそれに応答するための方法およびシステム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101847074B1 (ko) * 2013-08-26 2018-04-09 삼성전자주식회사 영상 표시 방법 및 장치
US9641870B1 (en) 2014-09-12 2017-05-02 Sorenson Media, Inc. Content management of a content feed
US9743153B2 (en) 2014-09-12 2017-08-22 Sorenson Media, Inc Content replacement with onscreen displays
WO2016208161A1 (en) * 2015-06-21 2016-12-29 Sharp Kabushiki Kaisha Extensible Watermark Associated Information Retrieval
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
US10616639B2 (en) * 2016-12-21 2020-04-07 Samsung Electronics Co., Ltd. Display apparatus, content recognizing method thereof, and non-transitory computer readable recording medium
KR102468258B1 (ko) * 2016-12-21 2022-11-18 삼성전자주식회사 디스플레이 장치, 그의 컨텐츠 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체
US10327046B1 (en) * 2017-12-19 2019-06-18 Oath Inc. Method and system for generating a time-lapse video
KR102128438B1 (ko) 2018-01-26 2020-06-30 (주)트루셀 멀티채널 방송신호의 동기화 시간정보를 포함한 분석 데이터별 저장 및 전송 장치
EP3758385A4 (en) * 2018-02-23 2021-10-27 Evixar Inc. CONTENT REPRODUCTION PROGRAM, CONTENT REPRODUCTION PROCESS, AND CONTENT REPRODUCTION SYSTEM
US10679626B2 (en) 2018-07-24 2020-06-09 Pegah AARABI Generating interactive audio-visual representations of individuals
CN111090836A (zh) * 2018-10-23 2020-05-01 阿里巴巴集团控股有限公司 数据处理、水印嵌入和水印提取方法、装置及设备
KR20210057354A (ko) 2019-11-12 2021-05-21 삼성전자주식회사 전자 장치 및 그 제어 방법
CN113141521B (zh) * 2020-01-17 2022-08-23 北京达佳互联信息技术有限公司 一种音视频数据编码方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010070901A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 光学的情報記録媒体及びその記録再生方式
WO2010137823A2 (en) * 2009-05-25 2010-12-02 Lg Electronics Inc. Method and apparatus for searching and downloading related contents by terminal through broadcast service
WO2012070901A2 (ko) * 2010-11-24 2012-05-31 엘지전자 주식회사 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치
WO2013021824A1 (ja) * 2011-08-05 2013-02-14 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4398242B2 (ja) 2001-07-31 2010-01-13 グレースノート インコーポレイテッド 録音の多段階識別方法
US20050108755A1 (en) 2003-11-17 2005-05-19 Sony Corporation, A Japanese Corporation Multi-source programming guide apparatus and method
US20060041926A1 (en) * 2004-04-30 2006-02-23 Vulcan Inc. Voice control of multimedia content
WO2006006714A1 (ja) * 2004-07-14 2006-01-19 Seiko Epson Corporation 映像再生同期信号生成方法、映像再生同期信号生成プログラム、タイミング制御装置、映像音声同期再生方法、映像音声同期再生プログラム及び映像音声同期再生装置
US8042140B2 (en) * 2005-07-22 2011-10-18 Kangaroo Media, Inc. Buffering content on a handheld electronic device
KR101081768B1 (ko) 2009-11-04 2011-11-09 주식회사 아론티 방송 서비스 장치 및 방법
US10116902B2 (en) * 2010-02-26 2018-10-30 Comcast Cable Communications, Llc Program segmentation of linear transmission
TWI494261B (zh) 2010-07-14 2015-08-01 Bobst Sa 用於轉換網狀基材，進料站及包裝生產機之保護轉換單元的方法
US8863165B2 (en) * 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
WO2012070903A2 (ko) 2010-11-24 2012-05-31 엘지전자 주식회사 영상 표시 장치 및 그 제어 방법
CN103229514B (zh) 2010-11-24 2017-03-08 Lg电子株式会社 视频显示装置及其控制方法
KR101141163B1 (ko) 2010-12-31 2012-05-02 주식회사 알티캐스트 Ａ／ｖ 컨텐츠와 관련된 어플리케이션의 실행 방법 및 그 장치
US20120315014A1 (en) * 2011-06-10 2012-12-13 Brian Shuster Audio fingerprinting to bookmark a location within a video
US8793274B2 (en) * 2011-08-08 2014-07-29 Lei Yu System and method for auto content recognition
US9015785B2 (en) 2011-11-29 2015-04-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and linking application supply system
US8917971B2 (en) * 2011-12-30 2014-12-23 United Video Properties, Inc. Methods and systems for providing relevant supplemental content to a user device
US9351037B2 (en) 2012-02-07 2016-05-24 Turner Broadcasting System, Inc. Method and system for contextual advertisement replacement utilizing automatic content recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010070901A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 光学的情報記録媒体及びその記録再生方式
WO2010137823A2 (en) * 2009-05-25 2010-12-02 Lg Electronics Inc. Method and apparatus for searching and downloading related contents by terminal through broadcast service
WO2012070901A2 (ko) * 2010-11-24 2012-05-31 엘지전자 주식회사 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치
WO2013021824A1 (ja) * 2011-08-05 2013-02-14 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019507515A (ja) * 2016-02-29 2019-03-14 グレースノート インコーポレイテッド ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別
JP2019511137A (ja) * 2016-02-29 2019-04-18 グレースノート インコーポレイテッド メディアチャネルの変更を検出しそれに応答するための方法およびシステム
JP2019146169A (ja) * 2016-02-29 2019-08-29 グレースノート インコーポレイテッド メディアチャネルの変更を検出しそれに応答するための方法およびシステム
JP2019220958A (ja) * 2016-02-29 2019-12-26 グレースノート インコーポレイテッド ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別

Also Published As

Publication number Publication date
CA2899188C (en) 2018-01-09
US20150163563A1 (en) 2015-06-11
WO2014129803A1 (en) 2014-08-28
CN105009596B (zh) 2018-08-17
EP2962473A1 (en) 2016-01-06
US20150222949A1 (en) 2015-08-06
JP6290935B2 (ja) 2018-03-07
CN105009596A (zh) 2015-10-28
KR20150120963A (ko) 2015-10-28
US9848230B2 (en) 2017-12-19
EP2962473A4 (en) 2016-07-20
CA2899188A1 (en) 2014-08-28
US9992527B2 (en) 2018-06-05

Similar Documents

Publication Publication Date Title
JP6290935B2 (ja) 映像表示装置及びその動作方法
JP6294238B2 (ja) 映像表示装置及びその動作方法
KR102116679B1 (ko) 영상 표시 장치 및 그 동작 방법
US9967626B2 (en) Video display apparatus and operating method thereof
JP6151804B2 (ja) 映像表示装置及びその動作方法
EP3288277A1 (en) Broadcast signal transmitting device, broadcast signal receiving device, broadcast signal transmitting method, and broadcast signal receiving method
US9913002B2 (en) Image display device and method for operating same
US20170347154A1 (en) Video display apparatus and operating method thereof
KR102263146B1 (ko) 영상 표시 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180208

R150 Certificate of patent or registration of utility model

Ref document number: 6290935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250