以下、本発明に関する移動端末機について図面を参照してより詳細に説明する。以下の説明で使用される構成要素に関する接尾辞「エンジン」、「モジュール」及び「部」は明細書を容易に作成するためにのみ考慮されて付与されるか混用されるものであって、それ自体で互いに区別される意味又は役割を有することはない。
以下、図1乃至図9を参照して本発明の一実施例によるネットワークトポロジーを説明する。
図1は、本発明の一実施例によるネットワークトポロジーを示すブロック図である。
図1に示したように、本発明の一実施例によるネットワークトポロジーはコンテンツ提供サーバ10、コンテンツ認識サービス提供サーバ20、多チャネルビデオ番組配布サーバ30、付加サービス情報提供サーバ40、複数の付加サービス提供サーバ50、放送受信サーバ60、ネットワーク70、映像表示装置100を含む。
コンテンツ提供サーバ10は放送局などであり、メイン視聴覚コンテンツ(main audio−visual content)を含む放送信号を放送する。放送信号は付加サービスを更に含む。付加サービスはメイン視聴覚コンテンツに関してもよく、関しなくてもよい。付加サービスはサービス情報(Service information)、メタデータ(metadata)、付加データ、コンパイルされた実行ファイル、ウェブアプリケーション、HTML(Hypertext Markup Language)文書、XML文書、CSS(cascading style sheet)文書、オーディオファイル、ビデオ不リアル、ATSC2.0コンテンツ、URL(Uniform Resource Locator)などのようなアドレスなどの形態を有する。一つ以上のコンテンツ提供サーバが存在する。
コンテンツ認識サービス提供サーバ20は映像表示装置100がメイン視聴覚コンテンツに基づいてコンテンツを認識するようにするコンテンツ認識サービスを提供する。コンテンツ認識サービス提供サーバ20はメイン視聴覚コンテンツに修正を加えてもよく、加えなくてもよい。一つ以上のコンテンツ認識サービス提供サーバが存在する。
コンテンツ認識サービス提供サーバ20はメイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような可視ウォーターマーク(visible watermark)を挿入するウォーターマークサーバである。このウォーターマークサーバはメイン視聴覚コンテンツの各フレームの左上又は右上にコンテンツ提供者のロゴをウォーターマークで表示する。
また、コンテンツ認識サービス提供サーバ20はメイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにコンテンツ情報を不可視ウォーターマーク(invisible watermark)として挿入するウォーターマークサーバである。
また、コンテンツ認識サービス提供サーバ20はメイン視聴覚コンテンツの一部のフレーム又は一部のオーディオサンプルから特徴情報を抽出して記憶するフィンガープリントサーバである。この特徴情報はシグネチャとも呼ばれる。
多チャネルビデオ番組配布サーバ30は複数の放送局から放送信号を受信し多重化して多重化された信号を放送受信装置60に提供する。特に、多チャネルビデオ番組配布サーバ30は受信した放送信号に対して復調とチャネル復号化を行ってメイン視聴覚コンテンツと付加サービスを抽出した後、抽出したメイン視聴覚コンテンツと付加サービスに対するチャネル復号化を行って配布のための多重化信号を生成する。この際、多チャネルビデオ番組配布サーバ30は抽出した付加サービスを除外してもよく他の付加サービスを抽出してもよいため、放送局は放送局が主導するサービスを提供することができない。一つ以上の多チャネルビデオ番組配布サーバが存在する。
放送受信装置60はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信した信号に対して復調とチャネル復号を行ってメイン視聴覚コンテンツを抽出する。そして、放送受信装置60は抽出したメイン視聴覚コンテンツをH.265/MPEG−4 AVC(Moving Picture Experts Group−4 advanced video coding)、Dolby AC−3、MPEG−2 AAC(Moving Picture Experts Group−2 advanced audio coding)アルゴリズムなどを利用し復号して非圧縮メイン視聴覚コンテンツ(uncompressed main AV content)を生成する。放送受信装置60は生成した非圧縮メイン視聴覚コンテンツを映像表示装置100の外部入力ポートなどを介して映像表示装置100に提供する。
付加サービス情報提供サーバ40は映像表示装置の要求に応答してメイン視聴覚コンテンツに関する一つ以上の利用可能な付加サービスのための付加サービス情報を提供する。一つ以上の負荷サービスアドレス提供サーバが存在する。付加サービス情報提供サーバ40は複数の利用可能な付加サービスのうち最も優先順位が高い付加サービスのための付加サービス情報を提供してもよい。
付加サービス提供サーバ50は映像表示装置の要求に応答してメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスを提供する。一つ以上の付加サービス提供サーバが存在する。
映像表示装置100はテレビ、ノートブックPC、携帯電話、スマートフォンなどのようにディスプレー装置である。映像表示装置100は放送受信装置t60から非圧縮メイン視聴覚コンテンツを受信してもよく、コンテンツ提供サーバ10又は多チャネルビデオ番組配布サーバ30から符号化されたメイン視聴覚コンテンツを含む放送信号を含んでもよい。映像表示装置100はネットワーク70を介してコンテンツ認識サービス提供サーバ20からコンテンツ認識サービスを提供され、ネットワーク70を介して付加サービス情報提供サーバ40からメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスのアドレスを受信し、付加サービス提供サーバ50からメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスを提供される。
コンテンツ提供サーバ10、コンテンツ認識サービス提供サーバ20、多チャネルビデオ番組配布サーバ30、付加サービス情報提供サーバ40、複数の付加サービス提供サーバ50のうち2つ以上は一つのサーバの形態で結合されもよく、一つの事業者によって運営されてもよい。
図2は、本発明の一実施例によるウォーターマーク基盤のネットワークトポロジーを示すブロック図である。
図2に示したように、本発明の一実施例によるネットワークトポロジーはウォーターマークサーバ21を含む。
図2に示したようなウォーターマークサーバ21はメイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにコンテンツ情報を挿入する。多チャネルビデオ番組配布サーバ30は変形されたメイン視聴覚コンテンツを含む放送信号を受信して配布する。特に、ウォーターマークサーバは後述するようなデジタルウォーターマーキング技術を利用する。
デジタルウォーターマークは削除しにくい方法でデジタル信号に情報を挿入するプロセスである。例えば、デジタル信号はオーディオ、写真又はビデオである。このデジタル信号がコピーされると、挿入された情報も写本に保持される。一つのデジタル信号が同時に他の多くのウォーターマークを運搬する。
可視ウォーターマーキング(visible watermarking)において、挿入される情報は写真又はビデオで目で識別可能である。典型的に挿入された情報はメディアの所有者を識別するテキスト又はロゴである。テレビ局が自らのロゴを伝送されるビデオのコーナーに追加すると、これは目で識別可能なウォーターマークになる。
不可視ウォーターマーキング(invisible watermarking)において、情報はデジタルデータとしてオーディオ、写真又はビデオに追加されるか、一定量の情報が隠されていることを感知することはできてもそのような情報を認知することはできない。このような目で識別不可能なウォータマーキングを介して秘密メッセージが伝達される。
ウォータマーキングのある応用は、デジタルメディアの不法コピーを防ぐための著作権保護システムである。例えば、コピー装置はデジタルメディアをコピーする前にデジタルメディアからウォーターマークを得て、ウォーターマークの内容に基づいてコピーするのか否かを決定する。
ウォータマーキングの他の応用はメディアの出処追跡にある。配布経路上の各地点でウォータマークがデジタルメディアにインべーディングされる。後にこのようなデジタルメディアが発見されたらこのデジタルメディアからウォーターマークが抽出され、ウォーターマークの内容から配布の出処を把握することができる。
デジタルメディアに関する説明が目で識別不可能なウォーターマーキングの他の応用である。
デジタルメディアのためのファイルフォーマットがメタデータと呼ばれる追加的な情報を含むが、デジタルウォーターマークはデジタルメディアの視聴覚信号自体で伝達されることからメタデータとは区別される。
ウォーターマーキング方法としてはスプレッドスペクトル、量子化、アンプリチュード(振幅)変調がある。
マーキングされる信号が追加的な修正によって得られるのであれば、ウォーターマーキング方法はスプレッドスペクトルに当たる。スプレッドスペクトルウォーターマークはかなり強いと知られているが、ウォーターマークがインべーディングされるホスト信号に干渉を与えるため多くの情報が含まれることはない。
マーキングされる信号が量子化によって得られるのであれば、ウォーターマーキング方法は量子化タイプに当たる。量子化ウォーターマークの強靭性は低いが多くの情報を含ませることができる。
マーキングされる信号が空間ドメインからスプレッドスペクトルと類似した追加の修正方法で得られるのであれば、ウォーターマーキング方法はアンプリチュード変調に当たる。
図3は、本発明の一実施例によるウォーターマーク基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
まず、コンテンツ提供サーバ10はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送するS101。
ウォーターマークサーバ21はコンテンツ提供サーバ10が提供する放送信号を受信し、メイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような可視ウォータマークを挿入するか、メイン視聴覚コンテンツにウォーターマーク情報を不可視ウォーターマークとして挿入し、ウォーターマーキングとして表示されたメイン視聴覚コンテンツと付加サービスをMVPD30に提供するS103。
不可視ウォーターマークを介して挿入されるウォーターマーク情報はウォーターマークの用途、コンテンツの情報、付加サービスの情報、利用可能か付加サービスのうち一つ以上を含む。ウォーターマークの用途は無断コピーの防止、視聴率の調査、付加サービスの獲得のうち一つを示す。
コンテンツ情報はメイン視聴覚コンテンツを提供するコンテンツ提供者の識別情報、メイン視聴覚コンテンツの識別情報、メイン視聴覚コンテンツの等級情報、コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報、メイン視聴覚コンテンツが放送されるチャネル名、メイン視聴覚コンテンツが放送されるチャネルのロゴ、メイン視聴覚コンテンツが放送されるチャネルの説明、利用情報を報告するアドレス、利用情報の報告周期、利用情報を獲得する耐えの最小の利用時間、メイン視聴覚コンテンツに関して利用可能な付加サービス情報のうち一つ以上を含む。
映像表示装置100がコンテンツ情報を獲得するためにウォーターマークを利用したのであれば、コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報は利用されたウォーターマークが内挿(embedding)されたコンテンツ区間の時間情報である。映像表示装置100がコンテンツ情報を獲得するためにフィンガープリントを利用したのであれば、コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報は特徴情報が抽出されたコンテンツ区間の時間情報である。コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報はコンテンツ情報の獲得に使用されたコンテンツ区間の開始時間、コンテンツ情報の獲得に使用されたコンテンツ区間の持続時間(duration)、コンテンツ情報の獲得に使用されたコンテンツ区間の終了時間のうち一つ以上を含む。
利用情報の報告アドレスはメイン視聴覚コンテンツの視聴情報の報告アドレス、付加サービス利用情報の報告アドレスのうち一つ以上を含む。利用情報の報告周期はメイン視聴覚コンテンツの視聴情報の報告周期、付加サービス利用情報の報告周期のうち一つ以上を含む。利用情報を獲得するための最小の利用時間はメイン視聴覚コンテンツの視聴情報を獲得するための最小の視聴時間、付加サービス利用情報を抽出するための最小の使用時間のうち一つ以上を含む。
メイン視聴覚コンテンツが最小時長時間以上視聴された場合に基づいて映像表示装置100はメイン視聴覚コンテンツの視聴情報を獲得し、メイン視聴覚コンテンツ視聴情報の報告周期からメイン視聴覚コンテンツ視聴情報の報告アドレスとして抽出した視聴情報を報告する。
付加サービスが最小使用時間以上使用された場合に基づいて映像表示装置100は付加サービス利用情報を獲得し、付加サービス利用情報の報告周期から付加サービス利用情報の報告アドレスとして抽出した利用情報を報告する。
付加サービス情報は付加サービスが存在するのかに関する情報、付加サービスアドレス提供サーバーのアドレス、それぞれの利用可能な付加サービスの獲得経路、それぞれの利用可能な付加サービスのためのアドレス、それぞれの利用可能な付加サービスの開始時間、それぞれの利用可能な付加サービスのための終了時間、それぞれの利用可能な付加サービスの寿命(lifetime)、それぞれの利用可能な付加サービスの獲得モード、それぞれの利用可能な付加サービスのための要求周期、それぞれの利用可能な付加サービスの優先順位情報、それぞれの利用可能な付加サービスの説明、それぞれの利用可能な付加サービスの項目(category)、利用情報の報告アドレス、利用情報の報告周期、利用情報を獲得するための最小利用時間のうち一つ以上を含む。
利用可能な付加サービスの獲得経路はIP又はATSC M/H(Advanced Television Systems Committee−Mobile/Hnadheld)を示す。利用可能な付加サービスの獲得経路がATSC M/Hであれば付加サービス情報は周波数情報、チャネル情報を更に含む。それぞれの利用可能な付加サービスの獲得モードはPush又はPullを示す。
一方、ウォーターマークサーバ21はメイン視聴覚コンテンツのロゴにウォーターマーク情報を不可視ウォーターマークとして挿入する。
例えば、ウォーターマークサーバ21はロゴの一定位置にバーコードを挿入する。この際、ロゴの一定値はロゴがディスプレーされる区域の下端の1ラインに当たる。映像表示装置100はこのようにバーコードが挿入されたロゴを含むメイン視聴覚コンテンツを受信する場合、バーコードをディスプレーしなくてもよい。
また、ウォーターマークサーバ21はロゴのメタデータの形態にウォーターマーク情報を挿入する。この際、ロゴの形状は維持される。
また、ウォーターマーク21はM個のフレームのロゴそれぞれにNビットのウォーターマーク情報を挿入する。即ち、ウォーターマークサーバ21はフレームを介してM*N個のウォーターマーク情報を挿入する。
MVPD30はウォーターマーキングで表示されたメイン視聴覚コンテンツと付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置60に提供するS105。この際、多重化信号は受信した付加サービスを排除するか新しい付加サービスを含む。
放送受信装置60はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を復調しチャネル復号化(channel decoding)して視聴覚復号(AV decoding)を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置100に提供するS106。
一方、コンテンツ提供サーバ10もメイン視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送するS107。
また、MVPD30は放送受信装置60を介せずに直接映像表示装置100にメイン視聴覚コンテンツを含む放送信号を伝送してもよいS108。
映像表示装置100はセットトップボックスのような放送受信装置60を介して非圧縮メイン視聴覚コンテンツを受信する。または、映像表示装置100は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。または、映像表示装置100はMVPD30から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信してもよい。映像表示装置100は獲得したメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルからウォーターマーク情報を抽出する。ウォーターマーク情報がロゴに当たる場合、映像表示装置100は複数のロゴと複数のウォーターマークサーバのアドレスの対応関係から抽出したロゴに当たるウォーターマークサーバのアドレスを確認する。ウォーターマーク情報がロゴに当たる場合、映像表示装置100はロゴのみではメイン視聴覚コンテンツを識別することができない。また、ウォーターマーク情報がコンテンツ情報を含んでいない場合にも映像表示装置100はメイン視聴覚コンテンツを識別することができないが、ウォーターマーク情報がコンテンツ提供者識別情報やウォーターマークサーバーのアドレスを含む。ウォーターマーク情報がコンテンツ提供者識別情報を含む場合、映像表示装置100は複数のコンテンツ提供者識別情報と複数のウォーターマークサーバのアドレスの対応関係から抽出したコンテンツ提供者識別情報に当たるウォーターマークサーバのアドレスを確認する。このように、映像表示装置100はウォーターマーク情報のみでメイン視聴覚コンテンツを識別することができない場合、獲得したウォーターマークサーバーアドレスに当たるウォーターマークサーバ21にアクセスして第1質疑を伝送するS109。
ウォーターマークサーバ21は第1質疑に対する第1応答を提供するS111。この第1応答はコンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。
ウォーターマーク情報と第1応答が付加サービスアドレスを含んでいなければ、映像表示装置100は付加サービスを獲得することができない。しかし、ウォーターマーク情報と第1応答が付加サービスアドレス提供サーバのアドレスを含む。このように、映像表示装置100はウォーターマーク情報と第1応答を介して付加サービスアドレスや付加サービスを獲得できず付加サービスアドレス提供サーバのアドレスを獲得したのであれば、映像表示装置100は獲得した付加サービスアドレス提供サーバのアドレスに当たる付加サービス情報提供サーバ40にアクセスしてコンテンツ情報を含む第2質疑を伝送するS119。
付加サービス情報提供サーバ40は第2質疑のコンテンツ情報に関する一つ以上の利用可能な付加サービスを研削する。次に、付加サービス情報抵抗サーバ40は第2質疑に対する第2応答として一つ以上の利用可能な付加サービスのための付加サービス情報を映像表示装置100に提供するS121。
映像表示装置100はウォーターマーク情報、第1応答又は第2応答を介して一つ以上の利用可能な付加サービスアドレスを獲得したのであれば、この一つ以上の利用可能な付加サービスアドレスにアクセスして付加サービスを要求しS123、付加サービスを獲得するS125。
図4は、本発明の一実施例によるウォーターマーク基盤のコンテンツの認識タイミングを示す図である。
図4に示したように、放送受信装置60がターンオンされてチャネルをチューニングし、映像表示装置100が外部入力ポート11を介して放送受信装置60からチューニングされたチャネルのメイン視聴覚コンテンツを受信すると、映像表示装置100はメイン視聴覚コンテンツのウォーターマークからコンテンツ提供者識別子(または放送局識別子)を感知する。次に、映像表示装置100は感知したコンテンツ提供者識別子に基づいてメイン視聴覚コンテンツのウォーターマークからコンテンツ情報を感知する。
この際、図4に示したように、コンテンツ識別子の感知可能周期とコンテンツ情報の感知可能周期は異なり得る。特に、コンテンツ提供者識別子の感知可能周期はコンテンツ情報の感知可能周期より短い。それを介し、映像表示装置100は必要な情報のみを感知するための効率的な構成を有する。
図5は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジーを示すブロック図である。
図5に示したように、本発明の一実施例によるネットワークトポロジーはフィンガープリントサーバ22を更に含む。
図5に示したようなフィンガープリントサーバ22はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出して記憶する。次に、フィンガープリントサーバ22は映像表示装置100からの特徴情報を受信したら、受信した情報に当たる視聴覚コンテンツの識別子と時間情報を提供する。
図6は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
まず、コンテンツ提供サーバ10はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送するS201。
フィンガープリントサーバ22はコンテンツ提供サーバ10が提供する放送信号を受信し、メイン視聴覚コンテンツの複数のフレーム区間または複数のオーディオ区間から複数の特徴情報を抽出し、複数の特徴情報にそれぞれ対応する複数の質疑結果のためのデータベースを構築するS203。質疑結果はコンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。
MVPD30はメイン視聴覚コンテンツ付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置60に提供するS205。この際、多重化信号は付加サービスを排除するか新しい付加サービスを含む。
放送受信装置60はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を不調しチャネル復号化して視聴覚復号を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置100に提供するS206。
一方、コンテンツ提供サーバ10も視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送するS207。
また、MVPD30は放送受信装置60を介せずに直接映像表示装置100にメイン視聴覚コンテンツを含む信号を伝送するS208。
映像表示装置100はセットトップボックス60を介して非圧縮メイン視聴覚コンテンツを受信する。または、映像表示装置100は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。または、映像表示装置100はMVPD30から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信する。映像表示装置100は獲得したメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出するS213。
映像表示装置100は予め設定されたフィンガープリントサーバのアドレスに当たるフィンガープリントサーバ22にアクセスして抽出した情報を含む第1質疑を伝送するS215。
フィンガープリントサーバ22は第1質疑に対する応答として質疑結果を提供するS217。もし第1応答が失敗に当たれば、映像表示装置100は他のフィンガープリントサーバアドレスに当たるフィンガープリントサーバ22にアクセスして抽出した特徴情報を含む第1質疑を伝送する。
フィンガープリントサーバ22は質疑結果としてXML(Extensible Markup Language)文書を提供する。質疑結果を保持するXML文書の例を図7と表1を参照して説明する。
図7は、本発明の一実施例による質疑結果を保持するACR−ResulttypeのXMLスキーマダイアグラムである。
図7に示したように、質疑結果を保持するACR−ResulttypeはResultCode属性とContentID、NTPTimestamp、SignalingChannelInformation、ServicInformaionエレメントを有する。
例えば、ResultCode属性が200の値を有すると、これは質疑結果が成功であることを意味する。ResultCode属性が404の値を有すると、これは質疑(質問)結果が失敗であることを意味する。
SignalingChannelInformationエレメントはSignalingChannelURLエレメントを有し、SignalingChannelURLエレメントはUpdateMode、PollingCycle属性を有する。属性はPull値またはPush値を有する。
ServicInformaionエレメントはServiceName、ServiceLogo、ServiceDescriptionエレメントを有する。
表1は、このような質疑結果を保持するACR−ResultTypeのXML Schemaを示す。
ContentIDエレメントとして、下記表2で示したようなATSCコンテンツ識別子(ATSC content identifier)が利用される。
表2に示したように、ATSC content idetifierはTSIDとハウス番号で構成された構造を有する。
16ビットの符号のない整数TSIDはトランスポートストリーム識別子(transport stream identifier)を保持する(carry)。
5ビットの符号のない整数end_of_dayは放送が終わってcontent_id値が再使用される日の時(hour)としてセッティングされる。
9ビットの符号のない整数unique_forはcontent_id値が再使用できない日の数(number of day)に設定される。
content_idはコンテンツ識別子を示す。映像表示装置100は毎日end_of_dayに当たる時間からunique_forを1ずつ減少し、unique_forが0になっていなければcontent_idが唯一であるとみなす。
一方、ContentIDエレメントとして、後述するようなASTC−M/H serviceのためのグローバルサービス識別子(Clobal Service Identifier)が利用される。
グローバルサービス識別子は以下のようなフォームを有する。
−urn:oma:bcast:iauth:atsc:service:<region>:<xsid>:<serviceid>
ここで、<region>はISO 639−2によって規定される2桁の文字の国際コードである。ローカルサービス(local service)のための<xsid>は<region>で定義するようなTSIDの十進数であり、地域サービス(regional service)(major>69)のための<xsid>は「0」である。<serviceid>は<major>や<minot>に定義される。<major>はメジャーチャネル番号(Major Channel Number)を示し、<minor>はマイナーチャネル番号(Minor Channel Number)を示す。
グローバル識別子の例は以下のようである。
−urn:oma:bcast:iauth:atsc:service:us:1234:5.1
−urn:oma:bcast:iauth:atsc:service:us:0:100.200
一方、ContentIDエレメントとして、後述するようなATSCコンテンツ識別子が利用される。
ATSCコンテンツ識別子は以下のようなフォームを有する。
urn:oma:bcast:iauth:atsc:content:<region>:<xsidz>:<contentid>:<unique_for>:<end_of_day>
ここで、<region>はISO 639−2によって規定される2桁の文字の国際コードである。ローカルサービスのための<xsid>は<region>で定義するようなTSIDの十進数であり、「.」<serviceid>が後に続く。地域サービス(major>69)のための<xsid>は<serviceid>である。<content_id>は表2に定義されているcontent_id fieldはbase64符合であり、<unique_for>は表2に定義されているunique_for fieldの十進数の符号であり、<end_of_day>は表2に定義されているend_of_day fieldの十進数の符号である。
以下、更に図6を説明する。
質疑結果が付加サービスや付加サービスを含まず付加サービスアドレス提供サーバのアドレスを含めば、映像表示装置100は獲得した付加サービスアドレス提供サーバのアドレスに当たる付加サービス情報提供サーバ40にアクセスしてコンテンツ情報を含む第2質疑を伝送するS219。
付加サービス情報提供サーバ40は第2質疑のコンテンツ情報に関する一つ以上の利用可能な付加サービスを検索する。次に、付加サービス情報提供サーバ40は第2質疑に対する第2応答として一つ以上の利用可能な付加サービスのための付加サービス情報を映像表示装置100に提供するS221。
映像表示装置100は第1応答または第2応答に応じて一つ以上の利用可能な付加サービスのアドレスを獲得したのであれば、この一つ以上の利用可能な付加サービスのアドレスにアクセスして付加サービスを要求しS223、付加サービスを獲得するS225。
UpdateMode属性がPull値を有する場合、映像表示装置100はSignalingChannelURLを介してHTTP requestを付加サービス提供サーバ50に伝送し、それに対する応答としてPSIPバイナリストリームを含むHTTP responseを付加サービス提供サーバ50から受信する。この場合、映像表示装置100はPollingCycle属性として指定されるPolling周期に応じてHTTP requestを伝送する。また、SignalingChannelURLエレメントはアップデート時間属性を有してもよい。この場合、映像表示装置100はアップデート時間属性として指定されるアップデート時間からHTTP requestを伝送する。
UpdateMode属性がPush値を有する場合、映像表示装置100はXNLHTTPRequest APIを活用して非同期的にサーバからアップデートを受信する。映像表示装置100がサーバにXMLHTTPRequest objectを介して非同期的なrequestをした後、シグナリング情報に変更があればこのチャネルを介してサーバがresponseにシグナリング情報を提供する方案である。セッションの待機時間に制限があればsession timeout respondを発生し、受信機は直ちにそれを認知し再要求して受信機とサーバ間のシグナリングチャネルを常に維持する。
図8は、本発明の一実施例によるウォーターマークとフィンガープリント基盤のネットワークトポロジーを示すブロック図である。
図8に示したように、本発明の一実施例によるネットワークトポロジーはウォーターマークサーバ21とフィンガープリントサーバ22を更に含む。
図8に示したようなウォーターマークサーバ21はメイン視聴覚コンテンツにコンテンツ提供者識別情報を挿入する。ウォーターマークサーバ21はロゴのように可視ウォーターマークとしてコンテンツ提供者識別情報をメイン視聴覚コンテンツに挿入してもよく、不可視ウォーターマークとしてコンテンツ提供者識別情報をメイン視聴覚コンテンツに挿入してもよい。
フィンガープリントサーバ22はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出して記憶する。次に、フィンガープリントサーバ22は映像表示装置100からの特徴情報を受信すると、受信した情報に当たる視聴覚コンテンツの識別子と時間情報を提供する。
図9は、本発明の一実施例によるウォーターマークとフィンガープリント基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
まず、コンテンツ提供サーバ10はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送するS301。
ウォーターマークサーバ21はコンテンツ提供サーバ10が提供する放送信号を受信し、メイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような可視ウォータマークを挿入するか、メイン視聴覚コンテンツにウォーターマーク情報を不可視ウォーターマークとして挿入し、ウォーターマーキングとして表示されたメイン視聴覚コンテンツと付加サービスをMVPD30に提供するS303。不可視ウォーターマークを介して挿入されるウォーターマーク情報はコンテンツの情報、付加サービスの情報、利用可能か付加サービスのうち一つ以上を含む。コンテンツ情報と付加サービス情報は上述したようである。
MVPD30はウォーターマーキングで表示されたメイン視聴覚コンテンツと付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置60に提供するS305。この際、多重化信号は受信した付加サービスを排除するか新しい付加サービスを含む。
放送受信装置60はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を復調しチャネル復号化して視聴覚復号を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置100に提供するS306。
一方、コンテンツ提供サーバ10もメイン視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送するS307。
また、MVPD30は放送受信装置60を介せずに直接映像表示装置100にメイン視聴覚コンテンツを含む信号を伝送してもよいS308。
映像表示装置100はセットトップボックス60を介して非圧縮メイン視聴覚コンテンツを受信する。または、映像表示装置100は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。または、映像表示装置100はMVPD30から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信してもよい。映像表示装置100は獲得したメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルからウォーターマーク情報を抽出する。ウォーターマーク情報がロゴに当たる場合、映像表示装置100は複数のロゴと複数のウォーターマークサーバのアドレスの対応関係から抽出したロゴに当たるウォーターマークサーバのアドレスを確認する。ウォーターマーク情報がロゴに当たる場合、映像表示装置100はロゴのみではメイン視聴覚コンテンツを識別することができない。また、ウォーターマーク情報がコンテンツ情報を含んでいない場合にも映像表示装置100はメイン視聴覚コンテンツを識別することができないが、ウォーターマーク情報がコンテンツ提供者識別情報やウォーターマークサーバーのアドレスを含む。ウォーターマーク情報がコンテンツ提供者識別情報を含む場合、映像表示装置100は複数のコンテンツ提供者識別情報と複数のウォーターマークサーバのアドレスの対応関係から抽出したコンテンツ提供者識別情報に当たるウォーターマークサーバのアドレスを確認する。このように、映像表示装置100はウォーターマーク情報のみでメイン視聴覚コンテンツを識別することができない場合、獲得したウォーターマークサーバーアドレスに当たるウォーターマークサーバ21にアクセスして第1質疑を伝送するS309。
ウォーターマークサーバ21は第1質疑に対する第1応答を提供するS311。この第1応答はフィンガープリントサーバのアドレス、コンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。コンテンツ情報と付加サービス情報は上述したようである。
ウォーターマーク情報と第1応答が付加サービスアドレスを含んでいれば、映像表示装置100はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出するS313。
映像表示装置100は第1応答内のフィンガープリントサーバのアドレスに当たるフィンガープリントサーバ22にアクセスして抽出した情報を含む第2質疑を伝送するS315。
フィンガープリントサーバ22は第2質疑に対する第2応答として質疑結果を提供するS317。
質疑結果が付加サービスアドレスや付加サービスを含まずに付加サービスアドレス提供サーバのアドレスのみを含めば、映像表示装置100は獲得した付加サービスアドレス提供サーバのアドレスに当たる付加サービス情報提供サーバ40にアクセスしてコンテンツ情報を含む第3質疑を伝送するS319。
付加サービス情報提供サーバ40は第3質疑のコンテンツ情報に関する一つ以上の利用可能な付加サービスを検索する。次に、付加サービス情報提供サーb40は第3質疑に対する第3応答として一つ以上の利用可能は付加サービスのための付加サービス情報を映像表示装置100に提供するS321。
映像表示装置100は第1応答、第2応答または第3応答を介して一つ以上の利用可能な付加サービスのアドレスを獲得したら、この一つ以上の利用可能な付加サービスのアドレスにアクセスして付加サービスを要求しS323、付加サービスを獲得するS325。
次に図10を参照して、本発明の一実施例による映像表示装置100を説明する。
図10は、本発明の一実施例による映像表示装置の構造を示すブロック図である。
図10に示したように、本発明の実施例による映像表示装置100は放送信号受信部101、復調部103、チャネル復号部105、逆多重化部107、視聴覚復号部109、外部入力ポート111、再生制御部113、再生装置120、付加サービス管理部130、データ送受信部141、メモリ150を含む。
放送信号受信部101はコンテンツ提供サーバ10またはMVPD30から放送信号を受信する。
復調部103は受信した放送信号を復調し、復調された信号を生成する。
チャネル復号部105は復調された信号をチャネル復号し、チャネル復号されたデータを生成する。
逆多重化部107はチャネル復号されたデータからメイン視聴覚コンテンツと付加サービスを分離する。分離された付加サービスは付加サービス記憶部152に記憶される。
視聴覚復号部109は分離されたメイン視聴覚コンテンツを視聴覚復号して日圧縮メイン視聴覚コンテンツを生成する。
一方、外部入力ポート111は放送受信装置60、DVD(versatile disk)プレーヤー、ブルーレイディスク(Blu−ray disc)プレーヤーなどから非圧縮メイン視聴覚コンテンツを受信する。外部入力ポート111はDSUBポート、HDMI(High Difinition Multimedia Interface)ポート、DVI(Digital Visual Interface)ポート、コンポジット(composite)ポート、コンポーネント(component)ポート、S−Videoポートのうち一つ以上を含む。
再生制御部113は視聴覚復号部109が生成する非圧縮メイン視聴覚コンテンツまたは外部入力ポート111から受信した非圧縮メイン視聴覚コンテンツのうち少なくとも一つをユーザの選択によって再生装置120に再生する。
再生装置120はディスプレー部121とスピーカ123を含む。ディスプレー部121は液晶ディスプレー(liquid crystal display,LCD)、薄膜トランジスタ液晶ディスプレー(thin film transistor−liquid crystal display,TFT LCD)、有機発光ダイオード(organic lisht−emitting diode,OLED)、フレキシブルディスプレー(flexible display)、3次元ディスプレー(3D display)のうち少なくとも一つを含む。
付加サービス管理部130はメイン視聴覚コンテンツのコンテンツ情報を獲得し、獲得したコンテンツ情報に基づいて利用可能な付加サービスを獲得する。特に、上述したように付加サービス管理部130は非圧縮メイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルに基づいてメイン視聴覚コンテンツの識別情報を獲得するが、本明細書ではそれを自動コンテンツ認識(automatic contents recognition,ACR)と称することもある。
データ送受信部141はATSC−M/H(Advanced Television Systems Committee−Mobile/Handheld)チャネル送受信部141aとIP送受信部141bを含む。
メモリ150はフラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(Hard disk type)、マルチメディアカードマイクロタイプ(Multimedia card micro type)、カードタイプのメモリ(例えばSDまたはXDメモリなど)、RAM(Random Access Memory)、SRAM(Static Random Access Memory)、ROM(Read−Only memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、PROM(Programmable Read−Only Memory)、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの記憶媒体を含む。映像表示装置100はインターネット(internet)上で前記メモリ150の記憶機能を行うウェブストレッジ(web storage)に関して動作してもよい。
メモリ150はコンテンツ情報記憶部151、付加サービス記憶部152、ロゴ記憶部153、設定情報記憶部154、ブックマーク記憶部155、ユーザ情報記憶部156、利用情報記憶部157を含む。
コンテンツ情報記憶部151は複数の特徴情報に対応する複数のコンテンツ情報を記憶する。
付加サービス記憶部152は複数の特徴情報に対応する複数の付加サービスを記憶してもよく、複数のコンテンツ情報に対応する複数の付加サービスを記憶してもよい。
ロゴ記憶部153は複数のロゴを記憶する。また、ロゴ記憶部はこの複数のロゴに対応するコンテンツ提供者識別子または複数のロゴに対応するウォーターマークサーバのアドレスを更に含む。
設定情報記憶部154はACRのための設定情報を記憶する。
ブックマーク記憶部155はブックマークを記憶する。
ユーザ情報記憶部156はユーザ情報を記憶する。ユーザ情報は一つ以上のサービスのための一つ以上のアカウント情報、地域情報、家族構成員の情報、好みのジャンルの情報、映像表示装置の情報、利用情報提供範囲のうち一つ以上を含む。一つ以上のアカウント情報は利用情報測定サーバのためのアカウント情報、ツイッター(twitter)、フェースブック(facebook)のようなソーシャルネットワークサービス(social network service)のアカウント情報を含む。地域情報は住所情報、郵便番号を含む。家族構成員の情報は家族構成員の数、各構成員の年齢、各構成員の性別、各構成員の宗教、各構成員の職業などを含む。好みのジャンルの情報はスポーツ、映画、ドラマ、教育、ニュース、エンタテインメント、その他のジャンルのうち一つ以上に設定される。映像表示装置の情報は映像表示装置の種類、製造会社、ファームウェアのバージョン、解像度、モデル名、OS、ブラウザ、記憶装置の有無、記憶装置の容量、ネットワークの速度に関する情報を含む。利用情報提供範囲が設定されると、映像表示装置100は設定された範囲内でメイン視聴覚コンテンツ視聴情報と付加サービス利用情報を収集し報告する。利用情報提供範囲は仮想チャネルそれぞれに対して設定される。また、利用情報測定許容範囲は物理チャネル全体に対して設定されてもよい。
利用情報記憶部157は映像表示装置100によって収集されるメイン視聴覚コンテンツ視聴情報と付加サービス使用情報を記憶する。また、映像表示装置100は収集したメイン視聴覚コンテンツの視聴情報と収集した付加サービス使用情報に基づいてサービス利用パターンを分析し、分析されたサービス利用パターンを利用情報記憶部157に記憶する。
付加サービス管理部130はフィンガープリントサーバ22またはコンテンツ情報記憶部151からメイン視聴覚コンテンツのコンテンツ情報を獲得する。コンテンツ情報記憶部151に抽出した特徴情報に当たるコンテンツ情報がないか十分なコンテンツ情報がない場合、付加サービス管理部130はデータ送受信部151を介して追加にコンテンツ情報を受信する。また、付加サービス管理部130は持続的にコンテンツ情報をアップデートする。
付加サービス管理部130は付加サービス提供サーバ50または付加サービス記憶部153から利用可能な付加サービスを獲得する。付加サービス記憶部153に付加サービスがないか十分な付加サービスがない場合、付加サービス管理部130はデータ送受信部151を介して付加サービスをアップデートする。また、付加サービス管理部130は持続的に付加サービスをアップデートする。
付加サービス管理部130はメイン視聴覚コンテンツからロゴを抽出し、ロゴ記憶部155に質疑して抽出したロゴに対応するコンテンツ提供者識別子またはウォーターマークサーバのアドレスを獲得する。ロゴ記憶部155に抽出したロゴと一致するロゴがないか十分なロゴがない場合、付加サービス管理部130はデータ送受信部151を介して追加のロゴを受信する。また、付加サービス管理部130は持続的にロゴをアップデートする。
付加サービス管理部130はメイン視聴覚コンテンツから抽出したロゴとロゴ記憶部155内の複数のロゴとの比較を行うが、演算の負担を減らすための多様な方法を行う。
例えば、付加サービス管理部130は色相特性に基づいて比較を行う。即ち、付加サービス管理部130は抽出したロゴの色相特性とロゴ記憶部155内のロゴの色相特性を比較してその一致可否を判断する。
また、付加サービス管理部130は文字認識に基づいて比較を行う。即ち、付加サービス管理部130は抽出したロゴから認識される文字とロゴ記憶部151内のロゴから認識される文字を比較してその一致可否を判断する。
それだけでなく、付加サービス管理部130はロゴの輪郭に関する形状に基づいて比較を行う。即ち、付加サービス管理部130は抽出したロゴの輪郭形状とロゴ記憶部155内のロゴの輪郭形状を比較してその一致可否を判断する。
次に、図11及び図12を参照し、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を説明する。
図11は、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示すフローチャートである。
付加サービス情報は付加サービスの開始時間を含む。この際、映像表示装置100はこの開始時間に付加サービスを開始する必要がある。しかし、映像表示装置100はタイムスタンプを有しない非圧縮メイン視聴覚コンテンツを伝送する信号を受信するため、メイン視聴覚コンテンツの再生時間の基準と付加サービスの開始時間の基準は互いに異なる。 映像表示装置100が時間情報を有するメイン視聴覚コンテンツを受信しても、再放送のようにメイン視聴覚コンテンツの再生時間の基準と付加サービスの再生時間の基準は異なり得る。よって、映像表示装置100はメイン視聴覚コンテンツの基準時間と付加サービスの基準時間を同期化する必要がある。特に、映像表示装置100はメイン視聴覚コンテンツの再生時間と付加サービスの開始時間を同期化する必要がある。
まず、付加サービス管理部130はメイン視聴覚コンテンツの一部区間を抽出するS801。メイン視聴覚コンテンツの一部区間はメイン視聴覚コンテンツの一部のビデオフレームと一部のオーディオフレームのうち一つ以上を含む。付加サービス管理部130がメイン視聴覚コンテンツの一部区間を抽出する時間をTnと称する。
付加サービス管理部130は抽出された区間に基づいてメイン視聴覚コンテンツのコンテンツ情報を獲得するS803。詳しくは、付加サービス管理部130は抽出された区間に不可視ウォーターマークとして符号化された情報を復号してコンテンツ情報を獲得する。また、付加サービス管理部130は抽出された区間の特徴情報を抽出し、抽出された特徴情報に基づいてフィンガープリントサーバ22またはコンテンツ情報記憶部151からメイン視聴覚コンテンツのコンテンツ情報を獲得する。付加サービス管理部130がコンテンツ情報を獲得した時間をTmと称する。
一方、コンテンツ情報は抽出された区間の開始時間Tsを含む。付加サービス管理部130はコンテンツ情報獲得時間Tmの後からは時間Ts、時間Tm、時間Tnに基づいてメイン視聴覚コンテンツの再生時間を付加サービスの開始時間と同期化するS805。詳しくは、付加サービス管理部130はコンテンツ情報獲得時間Tmを下記数式1で計算される時間Tpとみなす。
そして、付加サービス管理部130はコンテンツ情報獲得時間から時間Txが経過した時間をTp+Txとみなす。
次に、付加サービス管理部130は獲得したコンテンツ情報に基づいて付加サービスと付加サービスの開始時間Taを獲得するS807。
メイン視聴覚コンテンツの同期化された再生時間が付加サービスの開始時間Taと一致すれば、付加サービス管理部130は獲得した付加サービスを開始するS809。詳しくは、付加サービス管理部130は下記数式2を満足する場合に付加サービスを開始する。
図12は、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示す概念図である。
図12に示したように、映像表示装置100はシステム時間Tnで視聴覚サンプルを抽出する。
映像表示装置100は抽出した視聴覚サンプルから特徴情報を抽出し、フィンガープリントサーバ22に抽出した特徴情報を含む質疑を伝送して質疑結果を受信する。映像表示装置100は質疑結果をパーシングし、抽出した視聴覚サンプルの開始時間Tsが11000msに当たることを時間Tmで確認する。
よって、映像表示装置は数式1によって抽出した視聴覚サンプルの開始時間を確認した時点をTs+(Tm−Tn)とみなし、その後からメイン視聴覚コンテンツの再生時間を付加サービスの開始時間と同期化する。
次に、図13及び図14を参照し、本発明の多様な実施例によるACRアプリケーションを説明する。
本発明の多様な実施例によるACRアプリケーションであって、自動再生アプリケーション、コンテンツ提供者アプリケーション、映像表示装置製造会社アプリケーションなどが挙げられる。
図13は、本発明の実施例による自動再生アプリケーションの実行画面を示す図である。
自動再生アプリケーションはユーザがいかなるアクションを取らなくても付加サービスを自動的に再生する。このような意味で、本明細書で自動再生アプリケーションをリーンバックアプリケーション(lean back application)と称することもある。
自動再生アプリケーションはメイン視聴覚コンテンツの再生中にコンテンツ提供者または放送局が提供する場面連関情報のような付加サービスをメイン視聴覚コンテンツの再生時間に応じてユーザの入力がなくても自動的に再生する。即ち、コンテンツ提供者または放送局が全的に自動再生アプリケーションを統制する。例えば、自動再生アプリケーションが特定チャネルまたは特定コンテンツに関する場合、映像表示装置100が自動再生アプリケーションに関するチャネルまたはコンテンツに進入すると、映像表示装置100は該当自動再生アプリケーションをユーザが入力がなくても自動的に実行する。そして、映像表示装置100が自動再生アプリケーションに関するチャネルまたはコンテンツから逸脱すると、映像表示装置100は該当自動再生アプリケーションをユーザの入力がなくても自動的に終了する。このような意味で、本明細書で自動再生アプリケーションをチャネル従属アプリケーションまたはコンテンツ従属アプリケーションと称することもある。
図13に示したように、自動再生アプリケーションが再生されると、画面200は縮小されたメイン視聴覚コンテンツが再生されるサブ画面210と付加情報がディスプレーされるサブ画面200を含む。付加情報がディスプレーされるサブ画面220はメイン視聴覚コンテンツが再生されるサブ画面210と空間的に分けられる。
一方、自動再生アプリケーションが実行される際、付加情報がディスプレーされる領域は半透明である。この場合、付加情報がディスプレーされる領域はメイン視聴覚コンテンツが再生される領域の上にオーバーレイ(overlay)される。
図14は、本発明の実施例によるコンテンツ提供者アプリケーションの実行画面を示す図である。
本明細書において、コンテンツ提供者アプリケーションをフルインタラクティブアプリケーション(full interactive applicaiton)と称することもある。
図14の(A)に示したように、映像表示装置100は複数のアプリケーションをダウンロードして記憶する。図14の(A)は複数のアプリケーションのアイコン230である。このようなアプリケーションのうちコンテンツ提供者アプリケーションはコンテンツ提供者によって製作され配布されるアプリケーションであって、コンテンツ提供者の統制下にある。
映像表示装置100のユーザはコンテンツ提供者アプリケーションをアプリケーションストアからダウンロードし、ダウンロードされたコンテンツ提供者アプリケーションの実行を決定する。
図14の(B)はコンテンツ提供者アプリケーションの実行画面を示す図である。図14の(B)に示したように、画面200は縮小されたメイン視聴覚コンテンツが再生されるサブ画面210と付加情報がディスプレーされるサブ画面220、メニュがディスプレーされるサブ画面を含む。
映像表示装置製造会社アプリケーションは映像表示装置の製造会社によって製作され、映像表示装置の製造会社によって制御され、映像表示装置100の生産の際に予め記憶される。即ち、映像表示装置製造会社アプリケーションはコンテンツ提供者やコンテンツに関係なく同じサービスを提供し、コンテンツ提供者やコンテンツに関係なく同じユーザインタフェースを提供する。
映像表示装置製造会社アプリケーションはコンテンツ提供者が提供する付加サービスが表示される領域と映像表示装置製造会社が提供する付加サービスが表示される領域を分離して有する。映像表示装置製造会社アプリケーションは映像表示装置100のユーザによって実行するか否かが決定される。
映像表示装置製造会社アプリケーションは2つのタイプを有する。
第1タイプの映像表示装置製造会社アプリケーションはサイズ調節ユーザインタフェース(resizing user interface)を有する。サイズ調節ユーザインタフェースを有する映像表示装置製造会社アプリケーションは、メイン視聴覚コンテンツがディスプレーされる領域のサイズを減らし、減らした領域内でメイン視聴覚コンテンツの内容全てがディスプレーされるようにする。また、サイズ調節ユーザインタフェースを有する映像表示装置製造会社アプリケーションは、アプリケーションがディスプレーされる領域をアルファベットのLの字や逆のLの字のような構造にする。
第2タイプの映像表示装置製造会社アプリケーションはオーバレイユーザインタフェース(overlay user interface)を有する。オーバレイユーザインタフェースを有する映像表示装置製造会社アプリケーションはメイン視聴覚コンテンツがディスプレーされる領域のサイズはそのまま維持しながらアプリケーションがディスプレーされる領域をメイン視聴覚コンテンツの上に重ねる。アプリケーションがディスプレーされる領域がメイン視聴覚コンテンツを隠すため、アプリケーション領域は半透明である。
このように、映像表示装置製造会社アプリケーションはいかなる単一のコンテンツ提供者やいかなる単一のチャネルにも従属しない。このようなアプリケーションは映像表示装置製造会社によって製作されると説明したが、それに限る必要はない。このようないかなる単一のコンテンツ提供者やいかなる単一のチャネルに従属しないアプリケーションはチャネル変更によっては実行されず、チャネル変更によっては終了されない。本明細書では説明の便宜上、このようないかなる単一のコンテンツ提供者やいかなる単一のチャネルに従属しないアプリケーションをチャネル独立アプリケーション、映像表示装置製造会社アプリケーションまたはLive+appと称する。
次に、図15及び図16を参照して本発明の実施例によるACR機能のオンオフ制御を説明する。
図15は、本発明の実施例によるACR機能を制御するためのユーザインタフェースを示す図である。
図15に示したように、再生制御部113はACR機能設定ウィンドウをディスプレーする。ユーザはACR機能設定ウィンドウを介してACE機能を活性化するか非活性化する。
ACR機能が活性化された場合、ユーザはACRモードを選択する。本発明の実施例によるACRモードは自動再生アプリケーションモード、コンテンツ提供者アプリケーションモード、製造表示装置製造会社アプリケーションモードのうち一つとして設定される。
このようにACR機能のモードが設定されると、再生制御部113は設定情報を設定情報記憶部154に記憶する。
図16は、本発明の実施例による映像表示装置の動作方法示すフローチャートである。
付加サービス管理部130はACR機能がターンオンされているのかを確認するS1901。
ACR機能が非活性化されていれば、付加サービス管理部130はそれ以上コンテンツ情報獲得の手続を行わない。
ACR機能が活性化されていれば、付加サービス管理部130はメイン視聴覚コンテンツの一部区間を抽出するS1902。
付加サービス管理部130は抽出した区間に基づいてメイン視聴覚コンテンツのコンテンツ情報を獲得するS1093。
付加サービス管理部130はメイン視聴覚コンテンツの基準時間を代替広告の基準時間と同期化するS1905。
付加サービス管理部130は獲得したコンテンツ情報に基づいて付加サービスを獲得するS1907。付加サービス管理部130は獲得したコンテンツ情報に基づいて付加サービス情報を獲得し、獲得した付加サービス情報に基づいて付加サービスを獲得してもよい。
次に、付加サービス管理部130はACRモードを確認するS1909。
付加サービス管理部130はACRモードに応じて付加サービスを再生するS1911。
詳しくは、ACRモードが自動再生アプリケーションモードであれば付加サービス管理部130は自動再生アプリケーションを実行し、実行された自動再生アプリケーションは獲得した付加サービスを再生する。
ACRモードがコンテンツ提供者アプリケーションモードであれば、付加サービス管理部130は獲得したコンテンツ情報に対応するコンテンツ提供者アプリケーションをバックグラウンドで実行する。付加サービス管理部130は付加サービスの利用に当たるユーザ入力を受信すると、コンテンツ提供者アプリケーションをディスプレーする。このコンテンツ提供者アプリケーションが獲得した付加サービスを再生する。コンテンツ提供者アプリケーションが自動的にバックグラウンドで実行される代わりに、コンテンツ提供者アプリケーションはユーザ入力によって実行されてもよい。
ACRモードが映像表示装置製造会社アプリケーションモードであれば、付加サービス管理部130は映像表示装置製造会社アプリケーションをバックグラウンドで実行する。付加サービス管理部130は付加サービスの利用に当たるユーザ入力を受信すると、映像表示装置製造会社アプリケーションをディスプレーする。この映像表示装置製造会社アプリケーションが獲得した付加サービスを再生する。映像表示装置製造会社アプリケーションが自動的にバックグラウンドで実行される代わりに、映像表示装置製造会社アプリケーションはユーザ入力によって実行されてもよい。
次に、図17乃至図25を参照し、本発明の実施例による第三者付加サービスについて説明する。
次は、図17〜図42を参照して、本発明の実施形態に係る第3者の付加サービスについて説明する。
図17は、本発明の実施例によるネットワークトポロジーを示す図である。
図17に示したように、本発明の実施例によるネットワークトポロジーはBroadcaster/CP Backendサーバのようなコンテンツ提供サーバ10、付加サービス提供サーバ50の一種である第三者サーバ90、ACRサーバのようなコンテンツ認識サービス提供サーバ20、ACR Smart TVのような映像表示装置100を含む。
映像表示装置100はチャネル従属アプリケーションまたはコンテンツ従属アプリケーションであるLeanbackアプリケーションを利用してコンテンツ提供サーバ10から放送局付加サービスを得て、チャネル独立アプリケーションであるLive+アプリケーションを利用して第三者サーバ90から第三者付加サービスを得る。
チャネル従属アプリケーションであるLeanback appは放送局やCP(Content Owner)が提供するアプリケーションであってプログラム単位またはscene(場面)単位の同期化されたサービスを提供する。放送局はプログラムを製作する主体であり、プログラム内にいかなる場面があるのかをよく知っているため特定場面に最も適合した内容を示すことができる。映像表示装置100がプログラムを認識すると、映像表示装置100は該当プログラムのコンテンツ提供サーバ10からLeanback appをダウンロードした後、ダウンロードされたLeanback appを自動的に実行する。しかし、映像表示装置100が実行されたLeanback appとは関係のない他のチャネルに移動すると映像表示装置100は該当Leanback appを自動的に終了し、移動されたチャネルのLeanback appがあれば該当Leanback appを実行する。
Live+appは第三者(例えば製造会社)が提供するアプリケーションであってTV内に事前に設置されており、Leanback appとは異なってユーザが視聴中のチャネルまたはプログラムに関係なく常に実行される。本特許で提示するACR architectureはLive+ appがプログラムに関する付加情報及び場面単位の同期化された内容を示すようにする。Live+appはい一貫したユーザインタフェースを有し、プログラムに関係なく常に実行され使用されるアプリケーションである。Live+appは放送局がプログラムに関する付加情報を与えなくても、プログラムに関するメタデータを利用した多様なサービスを提供する。例えば、プログラムに関する基本情報及びプログラムの出演者が登場した映画のお勧めなどを提供する。Live+appは放送局/CPに割り当てられた領域を有しているため、放送局がプログラムに関する付加情報を提供する場合にLive+appは該当プログラムに関するEnhancement Dataを該当領域に示す。例えば、放送局が提供するEnhancement Dataとしてはユーザが視聴中のプログラムの前回の再視聴、場面同期化された内容(例えば商品の購入、場所の予約、音源の購入及びダウンロード、商品の広告など)がある。
映像表示装置100はACR moduleを搭載して非圧縮視聴覚コンテンツからシグネチャを抽出し、抽出したシグネチャを介してコンテンツ認識サービス提供サーバ20に質疑してプログラムを認識する。そして、映像表示装置100は認識されたプログラムに基づいてプログラムに関するアプリケーションを駆動する。Leanack appはプログラムを認識してからダインロードされ実行される。Live+appはTVの発売の際に製造会社によって事前に設置されてもよく、アップストアからダウンロードされて設置されてもよい。
コンテンツ認識サービス提供サーバ20は放送されるプログラムのオーディオ及び/またはビデオのシグネチャを記憶する。コンテンツ認識サービス提供サーバ20はシグネチャcaptureシステムを利用してリアルタイプ放送のシグネチャを抽出して記憶し、特定プログラムに当たるシグネチャを含むACR DBを放送局から提供されて記憶する。コンテンツ認識サービス提供素あー場20のACR DBにはプログラムcontent ID、シグネチャ、timestamp、URLなどが記憶されている。本明細書では2つのタイプのcontent IDが利用される。
第1タイプのcontent IDは放送局が直接与えるIDであって、放送局内でプログラムを一意的に認識するための識別子である。放送局は自らが望むフォーマットにプログラムにcontent IDを与える。content IDはコンテンツ提供サーバ10にプロウグラムに関するEnhancement Dataを要求する際に使用される。
第2タイプのcontent IDはglobal unique content IDであって、全国的にまたは全世界的にプログラムを一意的に認識するための識別子である。プログラムは全国放送チャネル、地域放送チャネル、ケーブル放送または衛星放送から送出されるため、この全てのプログラムのシグネチャを抽出するために複数の地域のために多数のシグネチャcapture装備が設置される。そして、各プログラムを全国または全世界で一意的に認識し区分するためにプログラムにglobal unique content IDが割り当てられる。各プログラムとglobal unique content IDをマッピングするためにはメタデータデータベースが利用される。メタデータデータベースはプログラムに関する付加情報であるメタデータだけでなくプログラムスケジュール情報を含むため、望ましいデータデータベースを利用してcaptureシステムから伝達されるシグネチャがいかなるプログラムであるのかマッピングされる。captureシステムは抽出したシグネチャがどの地域、どのチャネル、どの時間であるのかを知っているため、この情報を参照してメタデータデータベースを検索するとプログラムが検索される。メタデータデータベースはコンテンツ認識サービス提供サーバ20と第三者サーバ90に一緒に使用され、コンテンツ認識サービス提供サーバ20と第三者サーバ90はメタデータデータベースを利用してglobal unique content IDを介してプログラムを認識する。global unique content IDのフォーマットはサーバを運営する第三者が指定するフォーマットであってもよく、メタデータデータベースが提供するフォーマットであってもよい。
Live+appが提供する全てのサービスは第三者サーバ90から提供される。第三者サーバ90はコンテンツ認識サーバ提供サーバ20が伝達したglobal unique content IDを映像表示装置100から受信する。第三者サーバ90はglobal unique content IDを介してメタデータデータベースからglobal unique content IDに当たるプログラムに関するメタデータを抽出し、抽出したメタデータに基づいてプログラムと連携された多様なサービスを映像表示装置100に提供する。また、認識されたプログラムに対して放送局が提供する付加情報があれば第三者サーバ90は放送局サーバに接近してプログラムに関するEnhanced Dataを受信し、それを加工して映像表示装置100に提供する。Live+appを介して放送局が提供するプログラムに関するEnhancement DataはLeanback appが提供するEnhancement Dataと内容は同じであるが形態(UI)は異なり得る。しかし、他の実施例において、放送局によってLive+appを介して放送局が提供するプログラムに関するEnhancement Dataの内容はLeanback appが提供するEnhancement Dataと内容が異なり得る。
複数の放送局または複数のCPのための複数のコンテンツ提供サーバ10が存在する。コンテンツ提供サーバ10はプログラムターゲッティングされたLeanbackアプリケーションと、このLeanback appが出力するプログラムに関するEnhancement Dataを有する。
図18は、本発明の多様な実施例によるLive+アプリケーションを示す図である。
Live+appはメイン視聴覚メディアコンテンツをサイズ変更(resize)して画面の左側上端の領域で示し、画面の右側領域でプログラムに関する付加情報を示し、画面の下端領域でプログラムに関する広告を示す。Live+appは右側領域であるコンテンツ領域の上端には複数のタブを示す。複数のタブはプログラム(Program)タブ、お勧め(Recommends)タブ、チャット(Talk)タブ、プラス(Plus)タブを含む。
図19は、本発明の多様な実施例によるLive+アプリケーションを実行する方法を示す図である。
映像表示装置100はホーム画面またはMy Apps画面をディスプレーする。My Apps画面は映像表示装置100内に設置されたアプリケーションのリストを示す画面である。
映像表示装置100はホーム画面またはMy Apps画面で示す複数のアプリケーションのうちLive+appアプリケーションを選択するユーザ入力を受信すると、Live+アプリケーションを実行する。
また、映像表示装置100は放送を再生しながらLive+appがあることを知らせるグラフィックをタイマーを介して一定時間間隔にディスプレーし、このグラフィックに関するユーザ入力を受けるとLive+appを実行してもよい。
図20は、本発明の多様な実施例によるLive+アプリケーションのタブの機能を示す図である。
プログラムタブは現在視聴者が見ているプログラムに対する基本情報と、プログラムの再視聴サービスを提供する。映像表示装置100はプログラム基本情報を第三者サーバ90のMeta DBからインポートする。映像表示装置100はプログラムの再視聴サービスに関する情報を第三者サーバ90を経て該当プログラムを製作するコンテンツ提供サーバ10からファイルをインポートする。
Recommends tabは現在のプログラムに関する他の視聴覚コンテンツである映画やビデオ(例えばYoutube)を勧めるか、現在のプログラムに関するアプリケーションを勧める。第三者サーバ90は現在のプログラムのタイトル、ジャンルや出演者に基づいて勧める映画やビデオを決定し、それに関する情報を加工して映像表示装置100のLive+アプリケーションのお勧めタブに提供する。
Talk tabは現在のプログラムに関するチャットの内容に当たるツイッター記事を提供する。第三者サーバ90は現在のプログラムのタイトル、ジャンルや出演者に基づいて現在のプログラムに関する記事を検索した後、検索した記事を加工して映像表示装置100のLive+アプリケーションのチャットタブに提供する。
Plus tabは放送局がプログラムに関するデータを示す領域であり、放送局サーバから受信した情報をそのまま提供するか、または第三者サーバ90が放送局サーバーから受信した情報を加工した情報を提供する。Plus tabから提供されるデータの種類と個数には制限がない。プラスタブは商品の購入、場所の予約、音源の購入、商品の広告などの多様な付加サービスデータを提供する。但し、放送局サーバから受信した情報がそのままプラスタブに提供される場合、第三者サーバ90は放送局サーバから受信した情報をLive+appのコンテンツ領域(即ち、画面の右側領域)の位置及びサイズに合わせて情報を加工した後、映像表示装置100に提供する。
図21は、本発明に一実施例による第三者サーバ90のアーキテクチャを示す図である。
図21に示したように、本発明の一実施例による第三者サーバ90はアプリケーション階層(Application Layer)、サービスコンポーネント階層(Service Component Layer)、バックエンドシステム階層(Back−end System Layer)、データコンポーネント階層(Data component Layer)を含む。
アプリケーション階層はDelivery Interfaceを介して映像表示装置100を含む多様なディバイスと通信する。アプリケーション階層はアップストアコンポーネント(AppStore component)を含む。アップストアコンポーネントは開発者がAppを登録するインタフェースを支援するだけでなく、一般ユーザがAppを検索、ダウンロード及びインストールするインタフェースも支援する。また、Live+アプリケーションは第三者サーバ90にある広告、検索、お勧めなどのサービスをアップストアコンポーネントを介して受信する。
サービスコンポーネント階層はアプリケーション階層とサービス統合インタフェース(Service Integration Interface)を介して通信する。サービスコンポーネント階層は広告サービスコンポーネント、統合サービスコンポーネント、お勧めコンポーネント、ACRコンポーネントを含む。バックエンドシステム階層から加工されたデータを受けてそれをアプリケーション階層に伝達する。ACRコンポーネントは映像表示装置100から受信したContent ID、Global Content ID、timestamp、放送局サーバURLでバックエンドシステム階層のメタデータコンポーネントを介してプログラムに関する基本付加情報を得る。また、ACRコンポーネントはメタデータから得たプログラムtitleまたは俳優に関する情報を統合検索コンポーネントに伝達してプログラムに関する検索結果を得る。
バックエンドシステム階層は原本データをデータコンポーネント階層から読み込み、それを加工してサービスコンポーネント階層に伝達する。バックエンドシステム階層は検索エンジン、保安(Security)コンポーネント、DRMコンポーネント、メタデータコンポーネント、広告プラットフォームコンポーネント、ACRコンポーネントを含む。
データコンポーネント階層は実際のデータを有する。そこにはデータコンポーネント階層はファイル記憶所(File Repository)、統合データベース(Integrated DB)、ユーザプロファイル(User Profile)記憶所、メタデータ記憶所、広告データ記憶所を含む。ユーザプロファイル記憶所には視聴者またはユーザの性別、年齢、地域、所得、家族構成、好みのジャンル、好みのチャネル、好みの番組などの情報が記憶されている。メタデータ記憶所にはコンテンツに対するtitle、episode、director、synopsis、casts、genre、channel、air timeなどの情報が記憶されている。第三者サーバ90はmetadata providerまたはリアルタイム放送のガイド情報(例えば、ATSC地上波の場合にはPSIP)からコンテンツに関する情報を受信してメタデータ記憶所に記憶する。
図22は、本発明の実施例による自動実行アプリケーションのための映像表示装置の動作を示すラダーダイアグラムである。
まず、映像表示装置100はメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特長情報を含むACR質疑要求メッセージ(ACR query request message)をACRサーバに当たるフィンガープリントサーバ22に伝送するS2105。
フィンガープリントサーバ22はACR質疑要求メッセージ内の特徴情報をACR DBから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに関するコンテンツ情報を含むACR質疑応答メッセージを映像表示装置100に提供するS2107。この際、ACR質疑応答メッセージはプログラム認識成功可否に関する情報と、コンテンツ情報、リーンバックアプリケーションのURLを含む。上述したように、コンテンツ情報は認識されたプログラムのContent IDと認識されたプログラムのtimestampを含む。ここでのContent IDのフォーマットは該当放送局のみ認識可能なフォーマットであり、特にこの場合には放送局が該当プログラムのACR DBをコンテンツ認識サービス提供サーバ20に提供した場合に当たる。
映像表示装置100がACR質疑を介してプログラムの識別に成功し、leanback URLが有効であれば、映像表示装置100は該当leanback app URLにleanbackアプリケーションを要求するS2109。
コンテンツ提供サーバ10は映像表示装置100が要求するleanbackアプリケーションを映像表示装置100に提供しS2111、映像表示装置100はリーンバックアプリケーションをダウンロードする。
映像表示装置100がリーンバックアプリケーションのダウンロードに成功すると、映像表示装置100は自動的に該当リーンバックアプリケーションを実行するS2113。
映像表示装置100内で実行されたリーンバックアプリケーションは映像表示装置100内のACRエンジンから周期的にContent IDとtimestampを獲得し、獲得したContent IDとtimestampを含む付加データ要求メッセージをコンテンツ提供サーバ10に伝送してS2115、Content IDとtimestampに当たる場面に関する付加データ(Enahncement Data)を要求する。
コンテンツ提供サーバ10は要求された付加データをleanback appに伝達するS2117。leanback appは放送局が提供するアプリケーションであるため、ある放送局のコンテンツ提供サーバ10のインタフェースは他の放送局のコンテンツ提供サーバ10のインタフェースと異なり得る。場面に関する付加情報があれば、leanback appはS2113とS2117を繰り返し行う。
図23は、本発明の一実施例によるチャネル独立アプリケーションのための映像表示装置を示すラダーダイアグラムである。
映像表示装置100が設置されているLive+appを実行するためのユーザ入力を受信すると、映像表示装置100は設置されているLive+appを実行するS2201。
ACR機能がターンオフされている場合、映像表示装置100内で実行されたLive+アプリケーションはACEモジュールをターンオンするS2203。
映像表示装置100はメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特徴情報を含むACR質疑要求メッセージをフィンガープリントサーバ22に当たるACRサーバに伝送するS2205。
フィンガープリントサーバ22はACR質疑要求メッセージ内の特徴情報をACR DBから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに関するコンテンツ情報を含むACR質疑応答メッセージを映像表示装置100に提供するS2207。この際、ACR質疑応答メッセージはプログラム認識に成功したか否かに関する情報とコンテンツ情報を含む。上述したように、コンテンツ情報は認識されたプログラムのグローバルユニークContent IDと認識されたプログラムのtimestampを含む。
映像表示装置100内で実行されたLive+アプリケーションはサービスタイプを選択するためのユーザ入力を受信するS2209。この際、サービスタイプはプログラムタイプ、お勧めタイプ、チャットタイプ及びプラスタイプのうち少なくとも一つに当たる。例えば、選択されたサービスタイプに当たる付加データはプログラムの出演者に関するリアルタイムのニュース記事やプログラムの出演者が主演に登場する映画を勧めるサービスなどになり得る。
映像表示装置100内で実行されたLive+アプリケーションは映像表示装置100内のACRエンジンから現在認識されたプログラムのコンテンツ情報を獲得し、プログラムに関するコンテンツ要求メッセージを第三者サーバ90に伝送してS2211、選択されたサービスタイプに当たる付加データを要求する。この際、プログラムに関するコンテンツ要求メッセージは現在認識されたプログラムのコンテンツ情報と選択されたサービスタイプに関する情報を含む。
Live+アプリケーションは第三者サーバ90にajax callを使用してHTTP基盤のRequestを送る。この際、伝達するパラメータとしてはサービスタイプ、Content ID、Global Content ID、timestamp、放送局サーバURLなどがある。HTTP requestはHTTP GET基盤であって、表3のようなシンタックス(syntax)にパラメータを伝達する。
表3において、<service name>にはLive+appが要求するサービス名が入力される。本実施例は以下のような、<service name>を使用する。
−「getProgram」:プログラムに関する基本情報と以前のepisodeを受信するためのservice nameであって、Live+appのprogram tabに使用される。
−「getRecommends」:プログラムに関するお勧め(VOD、Appのお勧め)データを受信するためのservice nameであって、Live+appのRecommends tabに使用される。
−「getTalk」:プログラムに関するリアルタイムの記事やツイットを受信するためのservice nameであって、Live+appのTalk tabに使用される。
−「getPlus」:放送局が提供するプログラムに関する付加データを受信するためのservice nameであって、Live+appのPlus tabに使用される。
<Content ID>は放送局がコンテンツ認識サービス提供サーバ29に伝達した値であって、放送局内部でプログラムを唯一に識別するために使用するContent IDである。
<Global Content ID>は放送局の区分なしにグローバルにプログラムを唯一に識別するために使用され、そのためにコンテンツ認識提供サーバ20と第三者サーバ90は同じMeta DBを使用する必要がある。Global Content IDはMeta DBのContent IDフォーマットに従ってもよい。
<timestamp>は認識されたプログラムの現在の視聴時間を知らせるが、これはコンテンツ認識サービス提供サーバ20から伝達された値である。
<放送局サーバURL>は放送局がプログラムに関する付加データを提供する場合に伝達されるが、この値で第三者サーバ90は放送局サーバに接近することができる。
第三者サーバ90は伝達されたGlobal Content IDに当たるプログラムの付加データを見つけるためにメタデータ記憶所を検索するS2213。メタデータ記憶所はGlobal Content IDに当たるプログラムの付加データに関する検索結果を第三者サーバ90にリターンする。
第三者サーバ90はメタデータ記憶所から受信したプログラム付加データを加工し、加工された付加データを映像表示装置100内で実行されたLive+アプリケーションに提供するS2221。第三者サーバ90はajax callを使用してHTTP基盤のresponseとして加工された付加データを伝達する。
図24は、本発明の他の実施例によるチャネル独立アプリケーションのための映像表示装置を示すラダーダイアグラムである。
映像表示装置100が設置されているLive+appを実行するためのユーザ入力を受信すると、映像表示装置100は設置されているLive+appを実行するS2301。
ACRエンジンがターンオフされている場合、映像表示装置100内で実行されたLive+アプリケーションはACRエンジンをターンオンするS2303。
映像表示装置100のACRエンジンはメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特徴情報を含むACR質疑要求メッセージをフィンガープリントサーバ22に当たるACRサーバに伝送するS2305。
フィンガープリントサーバ22はACR質疑要求メッセージ内の特徴情報をACR DBから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに関するコンテンツ情報を含むACR質疑応答メッセージを映像表示装置100のACRエンジンに提供するS2307。この際、ACR質疑応答メッセージはプログラム認識に成功したか否かに関する情報とコンテンツ情報及びコンテンツ提供サーバ10のURLを含む。上述したように、コンテンツ情報は認識されたプログラムのグローバルユニークContent ID、認識されたプログラムの放送局が識別し得るContent IDと認識されたプログラムのtimestampを含む。他の実施例において、映像表示装置100はコンテンツ提供サーバ10のURLをACR質疑応答メッセージから獲得するのではなく、予め有していてもよい。
映像表示装置100内で実行されたLive+アプリケーションはサービスタイプを選択するためのユーザ入力を受信するS2309。この際、サービスタイプはプログラムタイプ、お勧めタイプ、チャットタイプ及びプラスタイプのうち少なくとも一つに当たる。例えば、選択されたサービスタイプに当たる付加データはプログラムの出演者に関するリアルタイムのニュース記事やプログラムの出演者が主演に登場する映画を勧めるサービスになり得る。
映像表示装置100内で実行されたLive+アプリケーションは映像表示装置100内のACRエンジンから現在認識されたプログラムのコンテンツ情報を獲得し、プログラムに関する関連コンテンツ要求メッセージを第三者サーバ90に伝送してS2311、選択されたサービスタイプに当たる付加データを要求する。この際、プログラムに関するコンテンツ要求メッセージは現在認識されたプログラムのコンテンツ情報と選択されたサービスタイプに関する情報及び放送局コンテンツ提供サーバ10のURLを含む。
第三者サーバ90は伝達されたGlobal Content IDに当たるプログラムの付加データを見つけるためにメタデータ記憶所を検索するS2313。メタデータ記憶所はGlobal Content IDに当たるプログラムの付加データに関する検索結果を第三者サーバ90にリターンする。
第三者サーバ90は伝達された放送局コンテンツ提供サーバ10のURLにアクセスし、伝達された放送局Content IDとtimestampを含むメタデータ要求メッセージをコンテンツ提供サーバ10に伝送してS2317、現在の場面に関する付加データをコンテンツ提供サーバ10に要求する。
第三者サーバ90はコンテンツ提供サーバ10から現在の場面に関する付加データを受信するS2319。
第三者サーバ90はメタデータ記憶所から受信したプログラム付加データ及びコンテンツ提供サーバ10から受信したプログラム付加データのうち一つ又は両方の結合を加工し、加工された付加データを映像表示装置100内で実行されたLive+アプリケーションに提供するS2321。
図25は、本発明の実施例による映像表示装置の概念図を示す図である。
図25に示したように、本発明の実施例による概念図の映像表示装置100はオーディオ/ビデオドライバ(Audio/Video driver)601、ACRエンジン603、ACRミドルウェア605、ACRユーザインタフェース607、ACRプラグイン609を含む。
オーディオ/ビデオドライバ601はTVの外部入力に入っているオーディオ/ビデオ信号をキャプチャしACRエンジン603に伝達する。オーディオ/ビデオドライバ601はACRエンジンがオーディオ/ビデオバッファに接近するようにAPIを提供してもよい。オーディオ/ビデオドライバ601はHDMIのような外部入力に入ってくるオーディオ/ビデオの特性情報を一緒に提供する。例えば、オーディオ/ビデオドライバ601は、オーディオの場合sample depth、sample rate、channelの数(mono/stereoなの)、sampleの数、sampleの時間などの情報を提供する。ビデオの場合、オーディオ/ビデオドライバ601はvideo format、input videpのvidth、height、stride、stream時間、input type(HDMI1、HDMI2、composite、componentなど)、秒当たりのframeの数などの情報を提供する。
ACRエンジン603は別途のprocessで実行されるが、上述した多様な方式を利用してプログラムを認識する。ACRエンジン603はAudio/Videoサンプルからシグネチャを抽出し、抽出したシグネチャをACRサーバに伝達してコンテンツを認識する。上述したように、ACRエンジン603はプラットフォームの具現によってAudio/Videoバッファに接近可能なAPIを呼び出してもよく、オーディオ/ビデオドライバ601がキャプチャ(capture)したオーディオ/ビデオストリームをsocketのような方法を介してACR processに伝達してもよい。ACRエンジン603はACRサーバにシグネチャと共にACR質疑要求を送ってcontent認識に成功したか否か、Global Content ID、timestamp、leanback app URL、放送局サーバURLなどを含むACR query responseをACRサーバから受信する。ACRエンジン603はACRサーバから伝達された結果をACRミドルウェア605に伝達する。
ACRミドルウェア605はDTV processのミドルウェアに当たるモジュールであり、ACR制御を処理しACRエンジン603からのACR質疑応答を処理する。ACRミドルウェア605はACRプロセスを実行するか、終了するか、ACRエンジン603を始めるか中断することでACRを制御する。また、ACRミドルウェア605はACR質疑応答をパーシングしてContent ID、Global Content ID、timestampなどの値も記憶している。ACRミドルウェア605はこの記憶された値をACR UIに送るようにAPIを提供するか、message queue、global変数などの方法を介してACRユーザインタフェース607に伝達する。また、ACRミドルウェア605はLive+アプリケーションやリーンバックアプリケーションのようなACRアプリケーションにContent ID、Global Content ID、timestampなどのようなIPC(Inter−Process Communication)を介してWebブラウザに伝達する。
ACRユーザインタフェース(ACR user interface、ACR UI)607はユーザにACR On/OffのようなACR制御を行うUIを表出するか、認識されたプログラムの名称及び時間のような情報をTVの状態バーUIを介してユーザに示す。
ACRミドルウェア605がACRアプリケーションに伝達するためのContent ID、Global Content ID、timestampなどのようなデータをブラウザに伝達すると、ACRプラグインはこのような値を伝達される。ACRプラグイン609はPlugin Object Interfaceを介してACRアプリケーション該当値を伝達する。表4は、ACRプラグイン609のInterfaceのある実施例を示している。
表4において、matdataは認識されたプログラムに関する基本的なメタデータを提供する。
backendURLは放送局/CPサーバのURLを示す。
getACRMetadata()は認識されたプログラムに関する基本的なメタデータを獲得するための関数であり、metadata Propertyと同じ値をリターンする。
getBackendURLは放送局/CPサーバのURLをリターンする関数である。
NotifyACRAppLaunched()は移動端末機のような2nd Screen及びTVがpairingされた際、TV上でのACRアプリケーションが特定URL又はAppを実行した場合にそれを2nd Screenのアプリケーションに知らせるための関数である。
SetAppInfo()はACRアプリケーションの現在の状態と該当アプリケーションの2nd ScreenバージョンのApp URLを示す関数である。
onContentChanged()は認識されるプログラムが変更される場合に呼び出される関数である。
onMediaTimeUpdated()はACRを介してtimestampが変更されるたびに呼び出されるcallback関数である。
onAppShow()はTVと2nd Screenとがpairingされた状態で2nd ScreenにあるアプリケーションがTVに移動する際に呼び出されるcallback関数である。
onAppHide()はTVと2nd Screenとがpairingされた状態でTVにあるアプリケーションが2nd Screenに移動する際に呼び出されるcallback関数である。
図26は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジーを示すブロック図である。
図26に示したように、本発明の他の実施例によるネットワークトポロジーはビデオフィンガープリントサーバ23及びオーディオフィンガープリントサーバ24を更に含む。
図26に示したようなビデオフィンガープリントサーバ23はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツから視覚的なビデオ特徴情報を抽出して記憶する。次に、ビデオフィンガープリントサーバ23は映像表示装置100からのビデオ特徴情報を受信すると、受信したビデオ特徴情報に当たる視聴覚コンテンツ識別子と時間情報を提供する。
一方、図26に示したようなオーディオフィンガープリントサーバ24はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツから聴覚的なオーディオ特徴情報を抽出して記憶する。次に、オーディオフィンガープリントサーバ24は映像表示装置100からのオーディオ特徴情報を受信すると、受信したオーディオ特徴情報に当たる視聴覚コンテンツ識別子と時間情報を提供する。
この際、図26に示したような映像表示装置100はビデオ特徴情報とオーディオ特徴情報が同時に使用される場合、ビデオフィンガープリントサーバ23又はオーディオフィンガープリントサーバ24にそれぞれ別に接続すべきである。
図27は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジーを示すブロック図である。
図27に示したように、本発明の他の実施例によるネットワークトポロジーはビデオ特徴情報及びオーディオ特徴情報をそれぞれ記憶したフィンガープリントサーバ22を更に含む。
図27に示したようなフィンガープリントサーバ22はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツから視覚的なビデオ特徴情報又は聴覚的なオーディオ特徴情報を抽出して記憶する。次に、フィンガープリントサーバ22は映像表示装置200からのビデオ特徴情報を受信すると受信したビデオ特徴情報に当たる視聴覚コンテンツ識別子と時間情報を提供し、映像表示装置200からのオーディオ特徴情報を受信すると受信したオーディオ特徴情報に当たる視聴覚コンテンツ識別子と時間情報を提供する。
この際、図27に示したような映像表示装置100はビデオ特徴情報とオーディオ特徴情報が同時に使用される場合にも一つのフィンガープリントサーバ22にアクセスすればよい。
図28は、本発明の他の実施例によるフィンガープリント基盤の映像表示装置の構造を示すブロック図である。
図28において、Tuner/Demodulator/Demux301は受信された地上波放送信号(RF、Radio Frequency)をアナログオーディオビデオ信号に復元した後、復元されたアナログオーディオビデオ信号をADC/AV Decoder303に伝送する。
ADC/AV Decoder303はアナログオーディオビデオ信号、アナログビデオ信号またはアナログオーディオ信号をデジタルオーディオビデオ信号、デジタルビデオ信号またはデジタルオーディオ信号に転換した後、転換されたデジタル信号をデコーディングする。
アナログオーディオビデオ信号は、例えばTuner/Demodulator/Demux301が復元したアナログオーディオビデオ信号であってもよく、アナログビデオ信号は、例えば外部入力装置から伝送されたアナログビデオ信号(Composite/S−video/Component/RGB)であってもよく、アナログオーディオ信号は、例えば外部入力装置から伝送されたアナログオーディオ信号(Audio)信号である。
Digital Signal Processor305はデジタルオーディオビデオ信号、デジタルビデオ信号またはデジタルオーディオ信号などを処理する。
Digital Signal Processor305はADC/AV Decoder303がデコーディングしたデジタルオーディオビデオ信号、デジタルビデオ信号またはデジタルオーディオ信号などを処理する。また、Digital Signal Processor305はHDMIまたはDVI(Digital Video Interactive)を介して外部入力装置から伝送されたデコーディングしたデジタルオーディオビデオ信号、デジタルビデオ信号またはデジタルオーディオ信号のうち少なくとも一つを処理してもよい。
Digital Signal Processor305はオーディオストリームをキャプチャしオーディオサンプル(Audio sample)を生成した後、生成されたオーディオサンプルをAudio FP module307に伝送する。また、Digital Signal Processor305はビデオストリームをキャプチャしオーディオサンプル(Video sample)を生成した後、生成されたビデオサンプルをVideo FP module309に伝送する。また、Digital Signal Processor305はDisplay321に画面情報を伝送する。
Audio FP module307は、オーディオサンプルを分析及び処理してオーディオ特徴情報(Audio Signature)を抽出する。
Video FP module309、ビデオサンプルを分析及び処理してオーディオ特徴情報(Video Signature)を抽出する。
Network I/F311は上述したオーディオフィンガープリントサーバ24またはオーディオフィンガープリントサービスが可能なフィンガープリントサーバ22にオーディオ特徴情報を伝送しながら現在再生中のメイン視聴覚コンテンツのコンテンツ情報を質疑し、オーディオフィンガープリントサーバ24またはオーディオフィンガープリントサービス可能なフィンガープリントサーバ22から質疑結果を受信する(Query/Response)。
Network I/F313は上述したビデオフィンガープリントサーバ23またはビデオフィンガープリントサービスが可能なフィンガープリントサーバ22にビデオ特徴情報を伝送しながら現在再生中のメイン視聴覚コンテンツのコンテンツ情報を質疑し、ビデオフィンガープリントサーバ23またはビデオフィンガープリントサービス可能なフィンガープリントサーバ22から質疑結果を受信する(Query/Response)。
Audio QueryResult Parser315はオーディオフィンガープリントサーバ24またはオーディオフィンガープリントサービスが可能なフィンガープリントサーバ22から伝送された質疑結果(Quere Result)分析し、映像表示装置100が必要とするメタデータを抽出する。
Video QueryResult Parser317はビデオフィンガープリントサーバ23またはビデオフィンガープリントサービスが可能なフィンガープリントサーバ22から伝送された質疑結果分析し、映像表示装置100が必要とするメタデータを抽出する。
Metadata Storage319は抽出されたメタデータを記憶する。
Display321は場面に関する情報を画面上に示す。
図29は、本発明の実施例によるフィンガープリント機能を制御するためのユーザインタフェースを示す図である。
図29に示したように、再生制御部113はフィンガープリント機能設定ウィンドウをディスプレーする。ユーザはフィンガープリント機能設定ウィンドウを介してフィンガープリント機能を活性化するか非活性化する。
フィンガープリント機能が活性化された場合、ユーザはフィンガープリント設定モードを選択してもよい。実施例によるフィンガープリント設定モードは不手動設定モード、自動設定モードのうち一つに設定される。
フィンガープリントの手動設定モードが活性化された場合、ユーザはシグネチャモードを選択してもよい。本発明の実施例によるシグネチャモードはオーディオシグネチャモード、ビデオシグネチャモード、オーディオ及びビデオシグネチャモードのうち一つに設定される。
また、フィンガープリントの手動設定モード活性化された場合、ユーザはシグネチャ伝送周期を選択してもよい。シグネチャ伝送周期は映像表示装置100の機能に応じて異なるが、映像表示装置100が自動的にシグネチャ伝送周期を設定してもよい。映像表示装置100が自動的にシグネチャ伝送周期を設定する場合、映像表示装置100は予め決められたデフォルト値をシグネチャ伝送周期に設定するか、シグネチャが伝送されるネットワーク環境の状態に応じてシグネチャ伝送周期を設定してもよい。
フィンガープリントの自動設定モードが活性化された場合、ユーザはシグネチャモードを選択してもよい。本発明の実施例によるシグネチャモードはオーディオ優先モード、ビデオ優先モード、オーディオビデオ同時モードのうち一つに設定される。
オーディオ優先モードはオーディオ特徴情報に関する質疑結果が失敗すると自動的にビデオ特徴情報が含まれた質疑を伝送するモードである(Audio first,then Video fingerprinting)。ビデオ優先モードはビデオ特徴情報に関する質疑結果が失敗すると自動的にオーディオ特徴情報が含まれた質疑を伝送するモードである(Video first,then Audio fingerprinting)。オーディオビデオ同時モードはオーディオ特徴情報が含まれた質疑及びビデオ特徴情報が含まれた質疑を同時に伝送するモードである(Fingerprinting concurrently)。本発明の実施例によるシグネチャモードにおけるシグネチャ周期は、上述したように映像表示装置100によって自動的に設定されるが、それに限ることはない。
このようにフィンガープリントモードが設定されると、再生制御部113は設定情報を設定情報記憶部154に記憶する。
一方、オーディオ特徴情報が含まれた質疑及びビデオ特徴情報が含まれた質疑が同時に伝送される場合、映像表示装置100のリソース使用が増加して性能が阻害される恐れがある。映像表示装置100の性能低下を防ぐために、シグネチャ伝送周期がネットワーク環境に応じて変更される必要がある。以下、図30及び図31を参照して本発明の実施例によるシグネチャ伝送周期の変化を説明する。
図30は、本発明の一実施例によるフィンガープリントの周期変化を説明するための図である。
図30において、映像表示装置100はコンテンツが認識されなければAフィンガープリント(A FP)周期及びBフィンガープリント(B FP)周期を全て速く設定し、コンテンツが認識されるとBフィンガープリント(B FP)周期を下げて映像表示装置100のリソースの使用を減少する。この際、Aフィンガープリント(A FP)またはBフィンガープリント(B FP)はそれぞれオーディオ特徴情報またはビデオ特徴情報を意味し、Aフィンガープリント(A FP)周期、Bフィンガープリント(B FP)周期はシグネチャ伝送周期を意味する。
図31は、本発明の他の実施例によるフィンガープリントの周期変化を説明するための図である。
図31において、映像表示装置100はコンテンツが認識された後にAフィンガープリント(A FP)周期及びBフィンガープリント(B FP)周期を全て下げ、Bフィンガープリンティングが失敗するとAフィンガープリント(A FP)周期のみを更に速く設定する。この際、Bフィンガープリンティングはオーディオ特徴情報またはビデオ特徴情報が含まれた質疑の伝送を意味し、Bフィンガープリンティングの失敗はオーディオ特徴情報またはビデオ特徴情報に対する質疑結果が失敗したことを意味する。
結果的に、本発明の実施例によるフィンガープリントの周期変化によると、服すのフィンガープリンティングを適用した映像表示装置100が失敗したフィンガープリンティングのためのリソースの使用を減らし成功したフィンガープリンティングのためのリソースの使用を増やすことで、コンテンツ認識の効率を増加する長所がある。
コンテンツ情報を獲得するためにフィンガープリントを利用する際には多様な要素が影響を及ぼし、状況によって多様な設定がそれぞれ適用される。そのためのフィンガープリント基板のACRのための設定情報も上述した設定情報記憶部154に記憶される。このようなACRのための設定情報に基づいてビデオ特徴情報とオーディオ特徴情報が同時に使用される場合、ビデオ特徴情報とオーディオ特徴情報を組み合わせる方式などが導出される。ACRのための設定情報はユーザ入力または映像表示装置100の探知を介して獲得されるか、コンテンツ提供サーバ10またはフィンガープリントサーバ22のようなコンテンツ認識サービス提供サーバ20から提供される。
再生制御部113は設定情報記憶部154に記憶されたACRのための設定情報に基づいて動作する。または、再生制御部113は外部から例えばコンテンツ提供サーバ10またはフィンガープリントサーバ22から提供されたACR動作に影響を及ぼす情報に基づいて動作してもよい。
ACRのための設定情報は外部入力インタフェースの種類に応じた信号の入力に関する情報、シグネチャ伝送周期に関する情報、ビデオ特徴情報抽出領域であるサンプリングウィンドウ(sampling window)に関する情報、オーディオ特徴情報に対応する質疑結果とビデオ特徴情報に関する質疑結果が互いに異なる場合には優先順位判断に関する情報などを含む。
外部入力インタフェースの種類に応じた信号入力に関する情報は、複数の外部入力インタフェースそれぞれを介して入力された信号がオーディオ信号及びビデオ信号を含むのか否かに関する情報、オーディオ信号及びビデオ信号それぞれのフォーマット情報を含む。
映像表示装置100は複数の外部入力インタフェースそれぞれを介して入力された信号がオーディオ信号及びビデオ信号を含むのか否かに関する情報に基づいて動作する。例えば、映像表示装置100は第1外部入力インタフェースを介して入力された信号がオーディオ信号を含んでいないという情報に基づいて、第1外部入力インタフェースから受信されるビデオ特徴情報のみを抽出し利用する。また、映像表示装置100は設定情報記憶部154に記憶されたオーディオ信号及びビデオ信号それぞれのフォーマットを利用し、コンテンツ認識動作をより速く行う。
映像表示装置10はこのような外部入力インタフェースの種類に応じた信号入力に関する情報を外部入力インタフェースの種類に応じてそれぞれ収集及び記憶し、最も最近に入力された信号に関する情報を記憶する。また、映像表示装置100は外部入力インタフェースに連結された外部入力装置の識別が可能であれば、各外部入力装置の種類による信号入力に関する情報も記憶する。例えば、映像表示装置100はHDMIを介して連結された外部入力装置の情報を獲得するため、各外部入力装置の種類に応じて該当外部入力装置の情報を記憶する。一方、映像表示装置100はこのような外部入力装置の情報を知らなければ、最も最近に入力された信号に関する情報を記憶してもよい。
シグネチャ伝送周期に関する情報はどれだけよくシグネチャ伝送を行うのかに関する情報を意味し、例えば5秒のような時間周期に設定される。シグネチャ伝送周期は基本的なシグネチャ伝送周期だけでなく、ビデオ特徴情報とオーディオ特徴情報が同時に使用される場合にビデオ特徴情報とオーディオ特徴情報を組み合わせて利用する周期を含む。ビデオ特徴情報がシグネチャとして利用されれば映像表示装置100のコンテンツ認識速度は速い一方、大容量データを処理するためにCPU使用量などのリソースの消耗量が大きくなる短所がある。よって、映像表示装置100のコンテンツ認識速度とリソースの消耗量を適切に調節するためにシグネチャ伝送周期を動的に設定し、このようなシグネチャ伝送周期の設定に関する情報などがACRのための設定情報として記憶される。
シグネチャ伝送周期の設定に関する情報は、例えば初期コンテンツを認識するためにビデオ特徴情報またはオーディオ特徴情報が同時に利用されること、コンテンツが利用された後にはオーディオ特徴情報を介して同じサービスまたは同じコンテンツが視聴中であると確認される場合に限って、ビデオ特徴情報伝送周期が徐々に延長されること、オーディオ特徴情報などを介して視聴中のサービスまたはコンテンツの変更か探知されたとたんビデオ特徴情報またはオーディオ特徴情報を介して正確なコンテンツ認識が試みられることに関する情報などを含む。この際、ビデオ特徴情報伝送周期は、例えば同じコンテンツ視聴時点から5分以内には5秒、同じコンテンツ視聴時点から5分が経過してから10分以内には10秒、同じコンテンツ視聴時点から10分が経過してから15分以内には20秒に増加され、同じコンテンツ視聴時点から15分が経過した後には視聴時間が5分ずつ増加することによって2倍に増加される方式に延長されるが、これに限ることはない。
ビデオ特徴情報抽出領域であるサンプリングウィンドウに関する情報は、事業者によって互いに異なる放送受信装置のGUI特性情報に応じて指定される。即ち、フィンガープリントサーバ22は映像表示装置100から伝送されたビデオ特徴情報に対応する質疑結果が失敗に当たると、映像表示装置100のパターンヒストリを分析して放送受信装置またはビデオ分配者の事業者を推定し、該当事業者の放送受信装置またはマルチチャネルビデオ分配者のGUI特性情報を考慮してサンプルウィンドウを指定する。よって、映像表示装置100は映像表示装置100自体の種類、放送受信装置またはマルチチャネルビデオ分配者の種類に応じてそれぞれ異なるサンプリングウィンドウを利用することができる。映像表示装置100はこのようなサンプリングウィンドウに関する情報をACRのための設定情報として記憶した後、サンプリングウィンドウが含まれた質疑を最初から要求してもよい。
オーディオ特徴情報に対応する質疑結果とビデオ特徴情報に対応する質疑結果が互いに異なる場合、優先順位の判断に関する情報は優先順位と判断される情報を予め指定する方法または優先順位として判断される情報をアルゴリズムを介して計算する方法を含む。特に、一つの情報を予め指定する方法とアルゴリズムを介して優先順位情報を判断する方法が互いに異なる場合、映像表示装置100はACRのための設定情報として記憶された優先順位の判断に関する情報に基づいていずれか一つの情報をシグネチャとして決定する。
図32は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
まず、放送局/CPのようなコンテンツ提供サーバ10はコンテンツのフィンガープリントを抽出し、ACR質疑周期を決定するS2401。
放送局/CPは自らが保有した全てのプログラムに対してACR DBを構築してもよく、特定プログラムに対してACR DBを構築してもよい。特定プログラム、例えば放送局/CPが保有したプログラムのうち人気のあるプログラムについてACR DBを構築する場合、サーバを維持するコストを減らしプログラムを識別するための紹介にかかる時間を減少することができる。
放送局/CPはACR事業者が提供するツール(tool)を使用してプログラムのフィンガープリントを抽出し、該当プログラムのACR質疑周期を決定して抽出されたフィンガープリントと共に記憶する。
該当プログラムのACR質疑周期はコンテンツの特性に応じて決定される。
例えば、ACR質疑周期はコンテンツに関する付加サービスの有無に応じて決定される。コンテンツに関する付加サービスがない場合、ACR質疑周期は該当プログラムが終了される時間に決定されるに対し、コンテンツに関する付加サービスがある場合、ACR質疑周期はより短縮される。コンテンツに関する付加サービスがなければ不必要はACR質疑が伝送されないように該当プログラムが終了される場合にのみACR質疑が伝送され、コストが節減される。一方、コンテンツに関する付加サービスがあればACR質疑周期が短く設定されて該当プログラムに対して同期化された付加サービスが提供される。
他の例をあげると、ACR質疑誘起は放送局の視聴率調査のようなACR質疑目的に応じて決定される。よって、放送局はコンテンツに関する付加サービスがなくても視聴率を調査するためにACR質疑周期を3秒などに短く決定してもよい。
このように、コンテンツ提供サーバ10はチャネル別またはコンテンツ別に放送局のACR質疑活用目的、コンテンツの特徴などに適合するようにACR質疑周期をそれぞれ異なるように決定する。
次に、コンテンツ提供サーバ10はフィンガープリントサーバ22に抽出されたフィンガープリント及び決定されたACR質疑周期を伝送するS2403。この際、コンテンツ提供サーバ10は該当プログラムに関するコンテンツIDフィンガープリントとマッピングして伝達する。
コンテンツ提供サーバ10はプログラムが放送として送出される前またはフィンガープリントの抽出と同時にフィンガープリント及びACR質疑周期を伝送する。例えば、放送局/CPは事前に製作されたプログラムに関するフィンガープリント及びACR質疑周期を該当プログラムが放送として放出される前にフィンガープリントサーバ22に伝送する。または、放送局/CPはライブプログラムが放送されている場合、リアルタイムで該当ライブプログラムに関するフィンガープリントを抽出し、抽出されたフィンガープリント及びACR質疑周期をフィンガープリントサーバ22に伝送する。
フィンガープリントサーバ22は受信されたフィンガープリント及びACR質疑周期を記憶するS2405。フィンガープリントサーバ22はACR DBに該当プログラムのコンテンツID、タイムスタンプ、フィンガープリント、ACR質疑周期を記憶する。
次に、映像表示装置100はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むACR質疑要求メッセージをACRサーバに当たるフィンガープリントサーバ22に伝送するS2407。
フィンガープリントサーバ22はACR質疑要求メッセージ内のフィンガープリントをACR DBから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに関する第1ACR質疑周期を含むACR質疑応答メッセージを映像表示装置100に提供するS2409。この際、ACR質疑応答メッセージには第1ACR質疑周期以外にも多様な種類のコンテンツ情報が含まれる。以下、ACR質疑応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図33と表5を参照して説明する。
図33は、本発明の他の実施例による質疑結果を保持するACR−ResulttypeのXMLスキーマダイアグラムである。
図33に示したように、質疑結果を保持するACR−ResulttypeはResultCode属性とContentID、NTPTimestamp、QueryInterval、Confidenceエレメントを有する。
例えば、ResultCode属性が200の値を有すると、これは質疑結果が成功であることを意味する。ResultCode属性が404の値を有すると、これは質疑結果が失敗であることを意味する。
NTPTimestampエレメントはフィンガープリントが抽出された区間の開始時間、終了時間のうち一つ以上を含む。
QueryIntervalエレメントはACR質疑周期を意味し、次のACR質疑(Next ACR Query)の伝送時間を示す。次のACR質疑時間は絶対時間または相対時間を意味する。絶対的なACR質疑時間は次のACR質疑が伝送される時刻を示し、相対的なACR質疑時間は次のACR質疑が伝送されるまで待つべき時間(wait time)を示す。
Confidenceエレメントはコンテンツ認識の正確度を示す。Confidenceエレメントはマッピングの程度に応じて0乃至100のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされたと確認される場合、Confidenceエレメントは100の値を有する。
表5は、このような質疑結果を保持するACR−ResultTypeのXML Schemaを示す。
更に図32を説明する。
次に、第1ACR質疑周期に当たる時間が経過した後、映像表示装置100がメイン視聴覚コンテンツの他の一部のフレームまたは他の一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むACR質疑要求メッセージをACRサーバに当たるフィンガープリントサーバ22に伝送するとS2411、フィンガープリントサーバ22はACR質疑要求メッセージ内のフィンガープリントをACR DBから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第2質疑応答メッセージを映像表示装置100に提供するS2413。
また、第2ACR質疑周期に当たる時間が経過した後、映像表示装置100がメイン視聴覚コンテンツの他の一部のフレームまたは他の一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むACR質疑要求メッセージをACRサーバに当たるフィンガープリントサーバ22に伝送するとS2415、フィンガープリントサーバ22はACR質疑要求メッセージ内のフィンガープリントをACR DBから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第3質疑応答メッセージを映像表示装置100に提供するS2417。
この際、第1乃至第3ACR質疑周期は同じであるかそれぞれ異なってもよい。
次に、図34と表6乃至表7を参照して本発明の実施例によるACR質疑周期決定方法を説明する。
図34は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジーに含まれた複数の映像表示装置それぞれのフィンガープリント周期を説明するための図である。
図34において、Program Aは関連する付加サービスがない1時間分量のプログラムであり、Program Bは関連する付加サービスがある30分分量のプログラムである。それによって放送局はProgram A及びProgram Bに対してACR DBを構築したが、Program Aに対するACR質疑頻度が最低に設定されたことに対し、人気のあるプログラムであるProgram Bに対するACR質疑頻度はより高く設定されている状態である。
図34を参照すると、第1映像表示装置(装置1)は第1時点(t1)にチャネルを変更してProgram Aの再生を開始すると、フィンガープリントサーバ22から表6のようなACR質疑応答を受信する。
表6において、QueryIntervalは次のACR質疑が伝送されるまで待つべき相対的なACR質疑時間であって秒(second)の単位を有する。また、NTPTimestampはコンテンツの現在の再生時間を示し、コンテンツの開始時間から相対的な時間として表示され、ミリ秒(milisecond)の単位を有する。因みに、QueryInterval及びNTPTimestampが示す内容及び単位は以下の表7乃至図9で同じである。
表6を参照すると、第1映像表示装置(装置1)はACR質疑応答を受信してから2700秒、即ち45分が経過した時点である第3a時点(t3a)に次のACR質疑を要求する。また、第1映像表示装置(装置1)の現在の視聴時点はProgram Aの開始時点から900000ミリ秒、即ち15分が経過した時点であることが分かる。
更に図34を参照すると、第2映像表示装置(装置2)は第2時点(t2)にチャネルを変更してProgram Aの再生を開始すると、フィンガープリントサーバ22から表7のようなACR質疑応答を受信する。
表7を参照すると、第2映像表示装置(装置2)はACR質疑応答を受信してから905秒、即ち15分5秒が経過した時点である第3b時点(t3b)に次のACR質疑を要求する。また、第2映像表示装置(装置2)の現在の視聴時点はProgram Aの開始時点から2700000ミリ秒、即ち45分が経過した時点であることが分かる。
この際、放送局は複数の映像表示装置から複数のACR質疑が同時に伝送されることを防止するために、各映像装置ごとにACR質疑周期をそれぞれ異なるように決定してもよい。例えば、表6及び表6に示したように第1映像表示装置(装置1)が次のACR質疑を伝送する時間及び第2映像表示装置(装置2)が次のACR質疑を伝送する時間の間に5秒の時間差が発生するようにACR質疑周期が設定されてもよい。
更に図34を参照すると、第1映像表示装置(装置1)が第3a時点(t3a)に次のACR質疑を要求すると、フィンガープリントサーバ22から表8のようなACR質疑応答を受信する。この際、第3a時点(t3a)はProgram Bの再生が開始される時点である。
表8を参照すると、第1映像表示装置(装置1)はACR質疑応答を受信してから300秒、即ち5分が経過した時点である第4時点(t4)に次のACR質疑を要求する。また、第1映像表示装置(装置1)の現在の視聴時点はProgram bの開始時点であることが分かる。
更に図34を参照すると、第2映像表示装置(装置2)が第3b時点(t3b)に次のACR質疑を要求すると、フィンガープリントサーバ22から表9のようなACR質疑応答を受信する。この際、第3b時点(t3b)はProgram Bの再生が開始されてから5秒が経過した時点である。
表9を参照すると、第2映像表示装置(装置2)はACR質疑応答を受信してから300秒、即ち5分が経過した時点(図示せず)に次のACR質疑を要求する。また、第1映像表示装置(装置1)の現在の視聴時点はProgram Bの開始時点から5000ミリ秒、即ち5秒が経過した時点であることが分かる。
図35は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
まず、放送局/CPのようなコンテンツ提供サーバ10はコンテンツのフィンガープリントを抽出し、フィンガープリントタイプを決定するS2501。
放送局/CPはACR事業者が提供するtoolを使用してプログラムのフィンガープリントを抽出し、該当プログラムのフィンガープリントタイプを決定して抽出されたフィンガープリントと共に記憶する。
該当プログラムのフィンガープリントタイプはコンテンツの特性に応じてビデオフィンガープリント、オーディオフィンガープリントのうち一つ以上を含むタイプとして決定される。
次に、コンテンツ提供サーバ10はフィンガープリントサーバ22に抽出されたフィンガープリント及び決定されたフィンガープリントタイプを伝送するS2503。この際、コンテンツ提供サーバ10は該当プログラムに関するコンテンツIDをフィンガープリントとマッピングして伝達する。
コンテンツ提供サーバ10はプログラムが放送として送出される前にまたはフィンガープリントを抽出すると同時にフィンガープリント及びフィンガープリントタイプを伝送する。例えば、放送局/CPは事前に製作されたプログラムに関するフィンガープリント及びフィンガープリントタイプを該当プログラムが放送として放出される前にフィンガープリントサーバ22に伝送する。または、放送局/CPはライブプログラムが放送されている場合、リアルタイムで該当ライブプログラムに関するフィンガープリントを抽出し、抽出されたフィンガープリント及びフィンガープリントタイプをフィンガープリントサーバ22に伝送する。
フィンガープリントサーバ22は受信されたフィンガープリント及びフィンガープリントタイプを記憶するS2505。フィンガープリントサーバ22はACR DBに放送局から伝送された該当プログラムのコンテンツID、タイムスタンプ、フィンガープリント、フィンガープリントタイプを記憶する。
次に、映像表示装置100はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むACR質疑要求メッセージをACRサーバに当たるフィンガープリントサーバ22に伝送するS2507。
この際、映像表示装置100が抽出したフィンガープリントはデフォルト(default)タイプのフィンガープリントである。映像表示装置100から抽出されたフィンガープリントのデフォルトタイプは該当コンテンツを保有した放送局によってそれぞれ異なり、ネットワークに含まれた複数の映像表示装置それぞれから抽出されたフィンガープリントのデフォルトタイプもそれぞれ異なり得る。
フィンガープリントサーバ22はACR質疑要求メッセージ内のフィンガープリントをACR DBから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに関する次のフィンガープリントを含むACR質疑応答メッセージを映像表示装置100に提供するS2509。
この際、ACR質疑応答メッセージには次のフィンガープリントタイプ以外にも多様な種類のコンテンツ情報が含まれる。以下、ACR質疑応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図36と表10を参照して説明する。
表36は、本発明の他の実施例による質疑結果を保持するACR−ResulttypeのXMLスキーマダイアグラムである。
図36に示したように、質疑結果を保持するACR−ResulttypeはResultCode属性とContentID、NTPTimestamp、NextFPType、Confidenceエレメントを有する。
例えば、ResultCode属性が200の値を有すると、これは質疑結果が成功であることを意味する。ResultCode属性が404の値を有すると、これは質疑結果が失敗であることを意味する。
NTPTimestampエレメントはフィンガープリントが抽出された区間の開始時間、終了時間のうち一つ以上を含む。
NextFPTypeエレメントは次のフィンガープリントタイプを意味し、映像表示装置100から抽出されてフィンガープリントサーバ22でマッピングの対象になるフィンガープリントの種類を示す。NextFPTypeエレメントは図面符号S2501で放送局がコンテンツの促成に応じて予め設定した該当プログラムのフィンガープリントタイプを意味する。この際、次のフィンガープリントのタイプはビデオフィンガープリント、オーディオフィンガープリントのうちいずれか一つ以上を含むタイプである。コンテンツの特性に応じて一つのコンテンツ当たり一つのフィンガープリントタイプが決定されてもよく、一つのコンテンツ当たりそれぞれ異なるタイプの複数のフィンガープリントタイプが決定されてもよい。
Confidenceエレメントはコンテンツ認識の正確度を示す。Confidenceエレメントはマッピングの程度に応じて0乃至100のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされたと確認される場合、Confidenceエレメントは100の値を有する。
表10は、このような質疑結果を保持するACR−ResultTypeのXML Schemaを示す。
更に、図35を説明する。
次に、映像表示装置100はメイン視聴覚コンテンツの他の一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むACR質疑要求メッセージをACRサーバに当たるフィンガープリントサーバ22に伝送するS2511。
この際、映像表示装置100が抽出したフィンガープリントは図面符号S2509で受信されたACR質疑応答メッセージに含まれた次のフィンガープリントタイプのフィンガープリントである。
フィンガープリントサーバ22は図面符号S2511で受信されたACR質疑要求メッセージ内のフィンガープリントをACR DBから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する次のフィンガープリントタイプを含むACR質疑応答メッセージを映像表示装置100に提供するS2513。
次に、表13乃至表15を参照して本発明の実施例によるフィンガープリントタイプの決定基準とACR質疑応答を説明する。
第一、スポーツ中継などのように類似した映像を多くのチャネルで放送するコンテンツはビデオ特性情報でプログラムを識別することが難しい特性がある。但し、類似した映像を多くのチャネルから放送するコンテンツは放送局ごとに中継解説によってオーディオ信号が異なるため、オーディオ特性情報で該当プログラムを識別することができ、各放送局はフィンガープリントタイプをオーディオフィンガープリントとして予め設定する。
このような第一の場合、プログラムが始まるかチャネルが変更されることで該当プログラムが視聴対象になると、TVのような映像表示装置100は該当プログラムから抽出されたフィンガープリントが含まれたACR質疑要求メッセージをフィンガープリントサーバ22に伝送する。この際、映像表示装置100は予め決められたデフォルトタイプのフィンガープリントを抽出するかオーディオフィンガープリント及びビデオフィンガープリントを一緒に抽出するが、それに限ることはない。
ACR質疑要求メッセージを受信したフィンガープリントサーバ22はACR質疑要求メッセージ内のフィンガープリントをACR DBから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムの予め定められた次のフィンガープリントタイプを含むACR質疑応答メッセージを映像表示装置100に提供する。表11は、第一の場合にフィンガープリントサーバ22が映像表示装置100に提供するACR質疑応答を示す。
表11に示したように、第一の場合の次のフィンガープリントタイプはオーディオフィンガープリントタイプである。
第二、祝日の記念式や演説または一つの放送局が他の放送局から製作及び訪欧したコンテンツを購入して再放送するなどのシンジケーテッドプログラム(syndicated program)はオーディオのみでコンテンツ自体を識別することができるが、放送主体である放送局を識別することができないため、放送局によるコンテンツを識別することができない。
このような第二の場合、ビデオフィンガープリントでコンテンツ及び放送局のロゴが識別される必要がある。または、オーディフィンガープリントでコンテンツ識別されながら追加にビデオフィンガープリントで放送局のロゴが識別されてもよいが、それに限ることはない。
表12は、第二の場合にフィンガープリントサーバ22が映像表示装置100に提供するACR質疑応答を示す。
表12に示したように、第二の場合の次のフィンガープリントタイプはオーディオ及びビデオ(audioandvideo)フィンガープリントタイプである。
第三、ドラマや映画でBGMが流れる間には該当コンテンツを識別することができない瞬間がある。第三の場合、コンテンツのタイムラインに応じてフィンガープリントタイプを変更すると該当コンテンツをより明確に識別することができる。この際、映像表示装置100が予め決められた周期によってACR質疑要求を伝送すると、フィンガープリントサーバ22は該当コンテンツの種類に応じて予め決められたフィンガープリントタイプが含まれたACR質疑応答を伝送する。この際、映像表示装置100は受信されたACR質疑応答に含まれたフィンガープリントタイプのフィンガープリントを抽出して次のACR質疑要求に含ませる。
表13は、第3の場合にフィンガープリントサーバ22が映像表示装置100に提供するACR質疑応答を示す。
表13に示したように、第三の場合の次のフィンガープリントタイプはコンテンツの再生時間(NTPTimestamp)に応じて変更される。例えば、コンテンツの現在の再生時間が300000秒、即ち5分であれば次のフィンガープリントタイプはオーディオフィンガープリントタタイプであり、コンテンツの現在の再生時間が900000秒、即ち15分であれば次のフィンガープリントタイプはビデオフィンガープリントタタイプである。
一方、キャプション(caption)またはサブタイトル(subtitle)のような字幕情報が含まれたコンテンツの識別のためにビデオフィンガープリントが使用される場合、ビデオ映像の上に字幕情報がオーバーレイされるとビデオフィンガープリントアルゴリズムに従ってコンテンツの識別に失敗する可能性がある。
もしこのような場合にもコンテンツの識別に成功したらnoiseが含まれたコンテンツの識別を意味するため、false positiveが発生する。false positiveは互いに異なるコンテンツを同じコンテンツとして認識する場合を意味し、例えば互いに異なるプログラムの間に類似した場面が現れると同じプログラムとして識別されてもよい。
このようなビデオフィンガープリントによるエラーを防止するためのサンプリングウィンドウを利用したフィンガープリント技法を図37乃至図40を参照して説明する。
図37は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
まず、放送局/CPのようなコンテンツ提供サーバ10はコンテンツのフィンガープリントを抽出し、サンプリングウィンドウ(sampling window)を指定するS2601。
サンプリングウィドウはコンテンツの全体のビデオが面のうちからビデオフィンガープリントを抽出するための領域を意味する。この際、サンプリングウィンドウはプログラムで字幕情報が出力される空間を避けて指定されたビデオ領域である。放送局/CPはコンテンツを生成するだけでなくビデオ映像で字幕情報が表示される位置も決定するため、ビデオフィンガープリントのためにサンプリングする領域が分かる。
放送局/CPはACR事業者が提供するtoolを使用してプログラムのフィンガープリントを抽出し、該当プログラムの字幕情報出力位置によるサンプリングウィンドウを指定して抽出したフィンガープリントと共に記憶する。
この際、字幕情報がプログラムの全体区間にわたって同じ位置で出力される場合、サンプリングウィンドウは該当プログラムに対して常に同じように指定される。一方、字幕情報がプログラムの時間区間によって互いに異なる領域から出力される場合、サンプリングウィンドウはプログラムの区間に応じて互いに異なるように指定される。
次に、コンテンツ提供サーバ10はフィンガープリントサーバ22に抽出されたフィンガープリント及び指定されたサンプリングウィンドウを伝送するS2603。この際、コンテンツ提供サーバ10は該当プログラムに関するコンテンツIDをフィンガープリントとマッピングして伝達する。
コンテンツ提供サーバ10はプログラムが放送として送出される前またはフィンガープリントの抽出と同時にフィンガープリント及びサンプリングウィンドウを伝送する。例えば、放送局/CPは事前に製作されたプログラムに関するフィンガープリント及び指定されたサンプリングウィンドウを該当プログラムが放送として放出される前にフィンガープリントサーバ22に伝送する。または、放送局/CPはライブプログラムが放送されている場合、リアルタイムで該当ライブプログラムに関するフィンガープリントを抽出し、抽出されたフィンガープリント及びサンプリングウィンドウをフィンガープリントサーバ22に伝送してもよい。
フィンガープリントサーバ22は受信されたフィンガープリント及び指定されたサンプリングウィンドウを記憶するS2605。フィンガープリントサーバ22はACR DBに放送局から伝送された該当プログラムのコンテンツID、タイムスタンプ、フィンガープリント、ACR質疑周期を記憶する。
次に、映像表示装置100はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むACR質疑要求メッセージをACRサーバに当たるフィンガープリントサーバ22に伝送するS2607。
フィンガープリントサーバ22はACR質疑要求メッセージ内のフィンガープリントをACR DBから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに関する第1ACR質疑周期を含むACR質疑応答メッセージを映像表示装置100に提供するS2609。
この際、ACR質疑応答メッセージにはサンプリングウィンドウ意外にも多様な種類のコンテンツ情報が含まれる。以下、ACR質疑応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図38と表14を参照して説明する。
図38は、本発明の他の実施例による質疑結果を保持するACR−ResulttypeのXMLスキーマダイアグラムである。
図38に示したように、質疑結果を保持するACR−ResulttypeはResultCode属性とContentID、NTPTimestamp、SamplingWindow、Confidenceエレメントを有する。
例えば、ResultCode属性が200の値を有すると、これは質疑結果が成功であることを意味する。ResultCode属性が404の値を有すると、これは質疑結果が失敗であることを意味する。
NTPTimestampエレメントはフィンガープリントが抽出された区間の開始時間、終了時間のうち一つ以上を含む。
SamplingWindowエレメントはACR質疑のために必要なサンプリングウィンドウの有効時間、位置及びサイズなどを示す。
SamplingWindowエレメントはX element、Y element、width element、height elementを含み、各elementの単位はピクセル(pixel)である。X elementはサンプリングウィンドウの左側上端のx座標である。Y elementはサンプリングウィンドウの左側上端のy座標である。width elementはサンプリングウィンドウの幅である。height elementはサンプリングウィンドウの高さである。
また、図38のSamplingWindowエレメントはValidFrom element、ValidTo elementを含む。ValidFrom elementはサンプリングウィンドウの有効開始時点の時間である。ValidTo elementはサンプリングウィンドウの有効終了時点の時間である。映像表示装置100はサンプリングウィンドウの有効時間、即ちサンプリングウィンドウのサンプリング有効開始時間からサンプリングウィンドウの有効終了時点に至る時間に該当サンプリングウィンドウを利用する。
Confidenceエレメントはコンテンツ認識の正確度を示す。Confidenceエレメントはマッピングの程度に応じて0乃至100のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされたと確認される場合、Confidenceエレメントは100の値を有する。
表14は、このような質疑結果を保持するACR−ResultTypeのXML Schemaを示す。
更に、図37を説明する。
次に、映像表示装置100はメイン視聴覚コンテンツの他の一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むACR質疑要求メッセージをACRサーバに当たるフィンガープリントサーバ22に伝送するS2611。
この際、映像表示装置100が抽出したフィンガープリントは図面符号S2609で受信されたACR質疑応答メッセージに含まれたサンプリングウィンドウによるフィンガープリントである。
フィンガープリントサーバ22は図面符号S2611で受信されたACR質疑要求メッセージ内のフィンガープリントをACR DBから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第2サンプリングウィンドウを含むACR質疑応答メッセージを映像表示装置100に提供するS2613。
この際、プログラムが同一であるか否か、プログラムの字幕情報有無、字幕情報位置が変更されたか否かなどに応じて第1サンプリングウィンドウと第2サンプリングウィンドウのSamplingWindow elementが同じであるかまたは互いに異なり得る。
一方、コンテンツを識別するためにフィンガープリントを利用する場合、映像表示装置100に伝送されるプログラム映像に該当コンテンツには含まれていないオンスクリーンディスプレー(On Screen Display,OSD)がオーバーレイされると、ビデオフィンガープリントアルゴリズムに従ってコンテンツの識別に失敗する可能性がある。オンスクリーンディスプレーはメニュ、電子プログラムガイド(EPG,Electronic Program Guide)、チャネルバー、ウィジェットなどを含む。オンスクリーンディスプレーはコンテンツ提供サーバ10とフィンガープリントサーバ22を除いた事業者から提供される情報を意味する。以下では事業者はMVPD事業者30または放送受信装置60のようにコンテンツ提供サーバ10とフィンガープリントサーバ22の除いた事業者を意味する。このようなオンスクリーンディスプレーなどによって上述したfalse positiveが発生する。
次に、false positiveなどの発生を防止するために映像表示装置100と連結されたMVPD30事業者などを推定し、推定されたMVPD30事業者のGUI特性情報に応じてサンプリングウィンドウを指定する方法を図39乃至図40を参照して説明する。
図39は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
まず、放送局/CPのようなコンテンツ提供サーバ10はコンテンツのフィンガープリントを抽出するS2701。
放送局/CPはACR事業者が提供するtoolを使用してプログラムのフィンガープリントを抽出し、該当プログラムのコンテンツID、タイプスタンプなどを抽出したフィンガープリントと共に記憶する。
次に、コンテンツ提供サーバ10はフィンガープリント22に抽出されたフィンガープリントを伝送するS2703。この際、コンテンツ提供サーバ10は該当プログラムに関するコンテンツIDをフィンガープリントとマッピングして伝達する。
コンテンツ提供サーバ10はプログラムが放送として送出される前またはフィンガープリントの抽出と同時にフィンガープリント及びサンプリングウィンドウを伝送する。例えば、放送局/CPは事前に製作されたプログラムに関するフィンガープリントを該当プログラムが放送として放出される前にフィンガープリントサーバ22に伝送する。または、放送局/CPはライブプログラムが放送されている場合、リアルタイムで該当ライブプログラムに関するフィンガープリントを抽出し、抽出されたフィンガープリントをフィンガープリントサーバ22に伝送してもよい。
フィンガープリントサーバ22は受信されたフィンガープリントを記憶するS2705。フィンガープリントサーバ22はACR DBに放送局から伝送された該当プログラムのコンテンツID、タイムスタンプ、フィンガープリントを記憶する。
また、フィンガープリントサーバ22はコンテンツ提供サーバ10から事業者別GUI特性情報を獲得するS2707。GUI特性情報はオンスクリーンディスプレーに対する位置、サイズ、形態などに関する情報を意味する。GUI特性情報は放送局から提供されてもよく、第三の事業者から伝達されてもよく、ACR事業者が直接把握してもよい。
次に、映像表示装置100はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むACR質疑要求メッセージをACRサーバに当たるフィンガープリントサーバ22に伝送するS2709。
フィンガープリントサーバ22はACR質疑要求メッセージ内のフィンガープリントをACR DBから照会してフィンガープリントに当たるプログラムを識別するS2711。
フィンガープリントサーバ22はフィンガープリントにマッチングされるプログラムがない場合、映像表示装置100が伝送したフィンガープリントのうちから失敗したフィンガープリントリストを分析してオンスクリーンディスプレーを提供した事業者を推定するS2713。フィンガープリントサーバ22は失敗したフィンガープリントリストを分析して事業者別GUI特性情報を比較した結果、該当音スクリーンディスプレーを提供した事業者を推定する。
また、フィンガープリントサーバ22は推定された事業者のGUI特性情報を検索し、検索されたGUI特性情報によるサンプリングウィンドウを生成するS2715。
次に、フィンガープリントサーバ22は認識失敗及び生成されたサンプリングウィンドウが含まれたACR質疑要求メッセージを映像表示装置100に伝送するS2717。
この際、ACR質疑応答メッセージには認識失敗及びサンプリングウィンドウ以外にも多様な種類のコンテンツ情報が含まれる。以下、ACR質疑応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図40と表15を参照して説明する。
図40は、本発明の他の実施例による質疑結果を保持するACR−ResulttypeのXMLスキーマダイアグラムである。
図40に示したように、質疑結果を保持するACR−ResulttypeはResultCode属性とContentID、NTPTimestamp、SamplingWindow、Confidenceエレメントを有する。
例えば、ResultCode属性が200の値を有すると、これは質疑結果が成功であることを意味する。ResultCode属性が404の値を有すると、これは質疑結果が失敗であることを意味する。図39の図面符号S2717で伝送されるACR質疑応答メッセージに含まれたResultCode属性は404の値を有する。
NTPTimestampエレメントはフィンガープリントが抽出された区間の開始時間、終了時間のうち一つ以上を含む。
SamplingWindowエレメントはACR質疑のために必要なサンプリングウィンドウの位置及びサイズなどを示す。
SamplingWindowエレメントはX element、Y element、width element、height elementを含み、各elementの単位はピクセルである。X elementはサンプリングウィンドウの左側上端のx座標である。Y elementはサンプリングウィンドウの左側上端のy座標である。width elementはサンプリングウィンドウの幅である。height elementはサンプリングウィンドウの高さである。
また、図40のSamplingWindowエレメントはguiType elementを含む。guiType elementはメニュ、電子プログラムガイドなどのオンスクリーンディスプレーのGUIタイプを文字列に表示する。この際、該当コンテンツはguiType elementに応じて互いに異なる複数のサンプリングウィンドウを有する。
Confidenceエレメントはコンテンツ認識の正確度を示す。Confidenceエレメントはマッピングの程度に応じて0乃至100のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされたと確認される場合、Confidenceエレメントは100の値を有する。
表15は、このような質疑結果を保持するACR−ResultTypeのXML Schemaを示す。
更に、図39を説明する。
次に、映像表示装置100はメイン視聴覚コンテンツの他の一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むACR質疑要求メッセージをACRサーバに当たるフィンガープリントサーバ22に伝送するS2719。
この際、映像表示装置100が抽出したフィンガープリントは図面符号S2717で受信されたACR質疑応答メッセージに含まれたサンプリングウィンドウによるフィンガープリントである。
フィンガープリントサーバ22は図面符号S2719で受信されたACR質疑要求メッセージ内のフィンガープリントをACR DBから照会してフィンガープリントに当たるプログラムを識別し、認識成功を含むACR質疑応答メッセージを映像表示装置100に提供するS2721。
各コンテンツごとにコンテンツの特性が異なり得る。それによってコンテンツごとにコンテンツを効率的に認識するための情報タイプが異なり得る。例えばニュースコンテンツの場合、各放送局は同じ資料映像に基づいて資料映像を説明するオーディオを異なるようにして放送する。また、スポーツコンテンツの場合、放送局は同じ映像に基づいてスポーツ解説のみを異なるようにして放送する。よって、ニュースコンテンツとスポーツコンテンツの場合、映像表示装置のオーディオ特徴情報に基づいてコンテンツを認識することが効率的である。また、映画コンテンツの場合複数のオーディオトラックを含み、同じ映画であってもオーディオトラックの選択に応じてオーディオ特徴情報が異なり得る。よって、映画コンテンツの場合、映像表示装置がビデオ特徴情報に基づいてコンテンツを認識することが効率的である。よって、各コンテンツ別にコンテンツを効率的に認識するための特徴情報を決定する映像表示装置が必要である。特に、このような問題点はコンテンツの種類が異なる場合に発生するためコンテンツのジャンルに基づいて特徴情報タイプを決定する必要がある。
図41乃至図46を介して、各コンテンツ別にコンテンツを効率的に認識するための特徴情報を決定する映像表示装置を説明する。
図41は、本発明の実施例によって映像表示装置が特徴情報タイプを決定することを示すためのネットワークトポロジーを示す図である。
本発明の実施例によるネットワークトポロジーは映像表示装置100、コンテンツ認識サービス提供サーバ20及び第三者サーバ90を含む。
映像表示装置100は外部入力から獲得した非圧縮ビデオ及び非圧縮オーディオのうち少なくともいずれか一つを含む放送コンテンツから特定情報を抽出する。この際、映像表示装置100は第1特定情報タイプ(type)に基づいて非圧縮ビデオ及び非圧縮オーディを農地いずれか一つを含む放送コンテンツから特徴情報を抽出する。映像表示装置100は特徴情報に基づいて第1ACR質疑要求メッセージをコンテンツ認識サービス提供サーバ20に伝送する。映像表示装置100はコンテンツ認識提供サーバ20から第1ACR質疑要求メッセージに対する第1ACR質疑応答メッセージを受信する。この際、第1ACR質疑応答メッセージはコンテンツ情報を含む。コンテンツ情報はコンテンツのためのリーンバックアプリケーションのURL、コンテンツ識別子、コンテンツのタイムスタンプ及びコンテンツ認識正確度のうち少なくともいずれか一つを含む。この際、コンテンツ情報は図33または図38の実施例のような形態である。映像表示装置100は第1ACR質疑応答メッセージに基づいて第2特徴情報タイプを決定する。詳しくは、映像表示装置100は第1応答メッセージからコンテンツ識別子を抽出する。映像表示装置100はコンテンツ識別子に基づいてコンテンツのジャンルを獲得する。詳しくは、映像表示装置100はコンテンツ識別子に基づく質疑要求メッセージを第三者サーバ90に伝送する。映像表示装置100はお勧めの特徴情報タイプに基づく質疑応答メッセージを第三者サーバ90から受信する。映像表示装置100は第2特徴情報タイプに基づいて第2特徴情報タイプを決定する。映像表示装置100は第2特徴情報タイプに基づいて非圧縮ビデオ及び非圧縮オーディオのうち少なくともいずれか一つを含む放送コンテンツから特徴情報を抽出する。映像表示装置100は第2特徴情報タイプに基づいて第2ACR質疑要求メッセージをコンテンツ認識サービス提供サーバ20に伝送する。詳しくは、映像表示装置100は第2特徴情報タイプに当たる特徴情報を含む第2ACR質疑要求メッセージをコンテンツ認識サービス提供サーバ20に伝送する。映像表示装置100はコンテンツ認識サービス提供サーバ20から第2ACR質疑応答メッセージを受信する。
コンテンツ認識サービス提供サーバ20はコンテンツの特徴情報を含む。コンテンツ認識サービス提供サーバ20は映像表示装置100にACR質疑要求メッセージを受信する。コンテンツ認識サービス提供サーバ20はコンテンツ特徴情報に基づいてACR質疑応答メッセージを伝送する。詳しくは、コンテンツ認識提供サーバ20は映像表示装置100にコンテンツ情報を含むACR質疑応答メッセージを伝送する。
第三者サーバ90は映像表示装置100からコンテンツ識別子に基づく質疑要求メッセージを受信する。詳しくは、第三者サーバはコンテンツ識別子を含む質疑要求メッセージを受信する。第三者サーバ90は映像表示装置100にお勧めの特徴情報タイプに基づいて質疑応答メッセージを伝送する。第三者サーバ90は映像表示装置100にお勧めの特徴情報タイプを含む質疑応答メッセージを伝送する。
映像表示装置100、コンテンツ認識サービス提供サーバ20及び第三者サーバ90の具体的な動作は図42を介して詳しく説明する。
図42は、本発明の実施例によって映像表示装置が特徴情報タイプを決定することを示すラダーダイアグラムである。
映像表示装置100は電源がオンされて動作を開始するS2801。映像表示装置100は外部入力端子を介して非圧縮視聴覚コンテンツを獲得する。この際、非圧縮視聴覚コンテンツは非圧縮オーディオ及び非圧縮ビデオのうち少なくともいずれか一つを含む。映像表示装置100は非圧縮視聴覚コンテンツをディスプレー部121を介して表示する。
映像表示装置100は第1特徴情報タイプに基づいて第1ACR質疑要求メッセージをコンテンツ認識サービス提供サーバ20に伝送するS2803。詳しくは、映像表示装置100は外部入力を介して入力された非圧縮視聴覚コンテンツから第1特徴情報のタイプに当たる特徴情報を抽出し、特徴情報を含むACR質疑要求メッセージをコンテンツ認識サービス提供サーバ20に伝送する。この際、第1特徴情報タイプはデフォルト特徴情報タイプである。
コンテンツ認識サービス提供サーバ20は第1ACR質疑応答メッセージを映像表示装置100に伝送するS2805。詳しくは、コンテンツ認識サービス提供サーバ20はコンテンツ情報を含む第1ACR質疑応答メッセージを映像表示装置100に伝送する。この際、コンテンツ情報はコンテンツのためのリーンバックアプリケーションのURL、コンテンツ識別子、コンテンツのタイムスタンプ及びコンテンツ認識の正確度のうち少なくともいずれか一つを含む。この際、コンテンツ情報は図33または図38の実施例のような形態である。
映像表示装置100はコンテンツ識別子に基づいて質疑要求メッセージを第三者サーバ90に伝送するS2807。詳しくは、映像表示装置100はコンテンツ識別子を含む質疑要求メッセージを第三者サーバ90に伝送する。
映像表示装置100はコンテンツ識別子に基づいてコンテンツのジャンル及び第2特徴情報タイプのうち少なくともいずれか一つを獲得する。
第三者サーバ90はコンテンツのお勧めの特徴情報タイプに基づいて質疑応答メッセージを映像表示装置100に伝送するS2809。詳しくは、第三者サーバ90はお勧めの特徴情報タイプを含む質疑応答メッセージを映像表示装置100に伝送する。具体的な実施例において、第三者サーバ90はコンテンツ飲めたデータを含む。第三者サーバ90はコンテンツ識別子に当たるコンテンツのメタデータからコンテンツのジャンルを抽出する。
この際、コンテンツ識別子はTMS idである。TMSはコンテンツに関するメタデータを提供するサービス提供会社である。多くの放送局と放送受信機会社はTMSが提供する放送データを利用して付加サービスを提供する。特に、放送事業者と放送受信機会社はTMS idを利用してEPGサービスを提供する。TMS idはTMSがコンテンツを識別するために使用する識別子である。複数のコンテンツのTMS idが同じであれば放送受信機または映像表示装置は複数のコンテンツが同じであると判断する。詳しくは、第三者サーバ90はTMS idに基づいてTMSが提供するTMSデータからコンテンツのジャンルを獲得する。他の具体的な実施例において、コンテンツ識別子はCRID(Contents Reference Identifier)である。CRIDはTV−Anytimeで定義したコンテンツ識別子であって、一部国家の放送局と放送受信機会社がEPGサービス及び予約録画サービスとしてこれを使用している。詳しくは、第三者サーバ90はCRIDに基づいてEPGデータからコンテンツのジャンルを獲得する。この際、EPGデータはEITである。また、詳しくは、EPGデータはATSC標準で定義するジャンルディスクリプタ(descriptor)である。また、EPGデータはDVB標準で定義するコンテンツディスクリプタである。
具体的な実施例によっては、第三者サーバ90はコンテンツジャンルに基づいて映像表示装置100の第2特徴情報の決定の基礎となるお勧めの特徴情報タイプを決定する。詳しくは、第三者サーバ90は以下のような表を参照してお勧めの特徴情報タイプを決定する。
例えば、コンテンツジャンルがニュースまたはスポーツであれば、第三者サーバ90はお勧めの特徴情報タイプをオーディオ特徴情報に決定する。例えば、コンテンツジャンルが音楽またはドキュメンタリであれば、第三者サーバ90はお勧めの特徴情報タイプをビデオ特徴情報に決定する。例えば、コンテンツジャンルがドラマであれば、第三者サーバ90はお勧めの特徴情報タイプをオーディオ特徴情報とビデオ特徴情報の両方を含むと決定する。第三者サーバ90はお勧めの特徴情報タイプに基づいて質疑応答メッセージを伝送する。このように決定されたお勧めの特徴情報タイプを介して映像表示装置100は各コンテンツ別にコンテンツを効率的に認識する。他の具体的な実施例において、第三者サーバ90は特徴情報タイプを決定せずにコンテンツのジャンルに基づいて質疑応答メッセージを映像表示装置100に伝送する。それについては図44乃至図45を介して説明する。
映像表示装置100はお勧めの特徴情報、特徴情報に抽出に関する契約事項及びコンテンツ認識の正確度のうち少なくともいずれか一つに基づいて第2特徴情報タイプを決定するS2811。コンテンツ認識サービス提供サーバ20及びmatchingアルゴリズムなどは共通に使用されるが、映像表示装置100の場合、製造会社ごとにハードウェアに差がある。よって、映像表示装置100は製造段階でオーディ特徴情報及びビデオ特徴情報のためのハードウェア的制約事項を有する。また、映像表示装置100が動作する途中、特徴情報の抽出ではなく他の機能がオーディオドライバまたはビデオドライバなどを使用する際、映像表示装置100はオーディオ特徴情報またはビデオ特徴情報を一時的に抽出できない可能性がある。よって、このような場合に備えて映像表示装置100は映像表示装置100の特徴情報の抽出に関する制約事項に基づいて第2特徴情報タイプを決定する。具体的な実施例において、お勧めの特徴情報タイプに当たる特徴情報を抽出することができない場合、映像表示装置100は特徴情報を抽出可能な特徴情報タイプとして第2特徴情報タイプを決定する。例えば、現在映像表示装置100のビデオドライバが全て使用中であるためビデオ特徴情報を抽出することができず、お勧めの特徴情報タイプがビデオ特徴情報を示す場合、映像表示装置100は第2特徴情報タイプをオーディオ特徴情報に決定する。
第2特徴情報タイプがオーディオ特徴情報であるが、コンテンツに無音があるかBGMのように一般的な音声情報のみでは表現される区間が長い場合、映像表示装置100はオーディオ特徴情報に基づいたコンテンツ認識に失敗する可能性がある。また、第2特徴情報タイプがビデオ特徴情報と指定されているが、静止画像のようにコンテンツのフレーム間の差が殆どない場合、映像表示装置100はコンテンツの認識に失敗する可能性がある。それを防ぐために、他の具体的な実施例において、映像表示装置100はコンテンツ認識の正確度に基づいて第2特徴情報タイプを決定する。それについては図43を参照して説明する。図43は、本発明の実施例によって映像表示装置がコンテンツ認識正確度に基づいて特徴情報タイプを変更することを示す順序図である。
映像表示装置100は、第1ACR質疑応答メッセージに基づいてコンテンツ認識の正確度を抽出するS2851。具体的な実施例において、第1ACR質疑応答メッセージはコンテンツ認識の正確度を含む。具体的に上述したように、confidenceエレメントの形態に含む。
映像表示装置100はコンテンツ認識の正確度が予め設定された認識基準値より小さいか否かを判断するS2853。この際、予め設定された認識基準値はユーザ入力に基づいて変更される。
コンテンツ認識の正確度が予め設定された認識基準値より小さければ、映像表示装置100は第2特徴情報タイプを第1特徴情報タイプとは異なるタイプと決定するS2855。例えば、第1特徴情報タイプがビデオ特徴情報タイプで、コンテンツ認識の正確度が60%で、予め設定された認識基準値が70%である場合、映像表示装置100は第2特徴情報タイプをオーディオ特徴情報タイプと決定する。
特徴情報の抽出に関する制約事項及びコンテンツ認識の正確度のうち少なくともいずれか一つに基づいて特徴情報タイプを決定する動作は、第2ACR質疑要求メッセージ伝送の後にACR質疑要求メッセージを伝送しACR質疑応答メッセージを受信する過程のうち繰り返し行われる。
映像表示装置100は、第2特徴情報タイプに基づいて第2ACR質疑要求メッセージを伝送するS2813。詳しくは、映像表示装置100は外部入力を介して入力された非圧縮視聴覚コンテンツから第2特徴情報タイプに当たる特徴情報を抽出し、特徴情報を含むACR質疑要求メッセージをコンテンツ認識サービス提供サーバ20に伝送する。
コンテンツ認識サービス提供サーバ20は第2ACR質疑応答メッセージを伝送するS2815。詳しくは、コンテンツ認識サービス提供サーバ20はコンテンツ情報を含む第2ACR質疑応答メッセージを映像表示装置100に伝送する。この際、コンテンツ情報はコンテンツのためのリーンバックアプリケーションのURL、コンテンツ識別子、コンテンツのタイプスタンプ及びコンテンツ認識の正確度のうち少なくともいずれか一つを含む。
この際、コンテンツ認識サービス提供サーバ20は第2特徴情報タイプとコンテンツ情報を一緒に伝送する。特に、第2特徴情報タイプをコンテンツ認識サービス提供サーバ20が支援しない場合、コンテンツ認識サービス提供サーバ20はコンテンツ認識サービス提供サーバ20が支援する特徴情報としてお勧めの特徴情報タイプで伝送する。次に、コンテンツ認識サービス提供サーバ20はお勧めの特徴情報タイプとコンテンツ情報を一緒に伝送する。例えば、第2特徴情報タイプがオーディオ特徴情報であるがコンテンツ認識サービス提供サーバ20がオーディオ特徴情報を支援しない場合、コンテンツ認識サービス提供サーバ20はビデオ特徴情報をお勧めの特徴情報として伝送する。
図44乃至図45を介し、第三者サーバ90は特徴情報のタイプを決定せずにコンテンツのジャンルに基づいて質疑応答メッセージを映像表示装置100に伝送することを説明する。
図44は、本発明の他の実施例によって映像表示装置が特徴情報タイプを決定することを示すためのネットワークトポロジーを示す図である。図44の実施例は図41の実施例と他の構成は全て同じであるが、映像表示装置100がお勧めの特徴情報を第三者サーバ90から獲得せずにコンテンツのジャンルに基づいた質疑応答メッセージを第三者サーバ90から受信することが異なる。よって、同じ構成と動作については説明を省略する。
映像表示装置100は第三者サーバ90からコンテンツジャンルを受信する。映像表示装置100はコンテンツジャンル、コンテンツ認識の正確度及び映像表示装置の特徴情報抽出の制約のうち少なくともいずれか一つに基づいて第2特徴情報タイプを決定する。映像表示装置100は図41乃至図42の実施例の第三者サーバ90がお勧めの特徴情報タイプを決定するようにコンテンツジャンルに応じて第2特徴情報タイプを決定する。また、図41乃至図42の実施例のように映像表示装置100はコンテンツ認識の正確度に基づいて第2特徴情報タイプを決定する。また、映像表示装置100は映像表示装置の特徴情報抽出の制約に基づいて第2特徴情報タイプを決定する。
第三者サーバ90はコンテンツのジャンルに基づいて第1ACR質疑応答メッセージを伝送する。詳しくは、第三者サーバ90はコンテンツのジャンルを含む第1ACR質疑応答メッセージを伝送する。
図45は、本発明の他の実施例によって映像表示装置が特徴情報タイプを決定することを示すラダーダイアグラムである。図45の実施例は図42の実施例と他のところは全て同じであるが、映像表示装置100がお勧めの特徴情報を第三者サーバ90から獲得せずにコンテンツのジャンルに基づいた質疑応答メッセージを第三者サーバ90から受信することが異なる。よって、同じ構成と動作については説明を省略する。
第三者サーバ90はコンテンツのジャンルに基づいて質疑応答メッセージを伝送するS2909。詳しくは、第三者サーバ90はコンテンツのジャンルを含む質疑応答メッセージを伝送する。
映像表示装置100はコンテンツのジャンル、コンテンツ認識の正確度及び映像表示装置の特徴情報抽出の制約のうち少なくともいずれか一つに基づいて第2特徴情報タイプを決定するS2911。映像表示装置100は図41乃至図42の実施例の第三者サーバ90がお勧めの特徴情報タイプを決定するようにコンテンツのジャンルに応じて第2特徴情報タイプを決定する。また、図41乃至図42の実施例のように映像表示装置100はコンテンツ認識の正確度に基づいて第2特徴情報タイプを決定する。また、映像表示装置100は映像表示装置の特徴情報抽出の制約に基づいて決定した第2特徴情報タイプを決定する。
図46は、本発明の実施例による映像表示装置の概念図である。
図46に示したように、本発明の実施例による概念図の映像表示装置100はオーディオ/ビデオドライバ(Audio/Video driver)601、ACRエンジン603、ACRミドルウェア605、ACRユーザインタフェース607、ACRプラグイン(Plugin)609を含む。
オーディオ/ビデオドライバ601やTVの外部入力に入力されるオーディオ/ビデオ信号をキャプチャしてACRエンジン603に伝達する。オーディオ/ビデオドライバ601はACRエンジン603がオーディオ/ビデオバッファに接近するようにAPIを提供してもよい。オーディオ/ビデオドライバ601はHDMIのような外部入力に入力されるオーディオ/ビデオ特性情報を共に提供する。例えば、オーディオ/ビデオドライバ601はオーディオの場合にはsample depth、sampling rate、channelの数(mono/stereoなど)、sampleの数、sample時間などの情報を提供する。ビデオの場合にはオーディオ/ビデオドライバ601はvideo format、input videoのwidth、height、stride、stream時間、input type(HDMI1、HDMI2、Composite、componentなど)、秒当たりのframeの数などの情報を提供する。
ACRエンジン603は別途のprocessで実行されるが、上述した多用な方式を利用してプログラムを認識する。ACRエンジン603はAudip/Videoサンプルからシグネチャを抽出し、抽出したシグネチャをACRサーバに伝達してコンテンツを認識する。上述したように、ACRエンジン603はフラットフォームの具現に応じてAudio/Videoバッファに接近可能なAPIを呼び出してもよく、オーディオ/ビデオドライバ601がキャプチャしたオーディオ/ビデオストリームをsocketのような方法を介してACR processに伝達してもよい。ACRエンジン603はACRサーバにシグネチャと共にACR質疑要求を伝送してcontent認識に成功したか否か、Content ID、Global Content ID、timestamp、leanback app URL、放送局サーバURLプロモーションアプリケーションURL、コンテンツ通知アプリケーションURLなどを含むACR query responseをACRサーバから受信する。ACRエンジン603はACRサーバから伝達された結果をACRミドルウェア605に伝達する。
ACRミドルウェア605はDTV processのミドルウェアに当たるモジュールであり、ACR制御を処理してACRエンジン603からのACR質疑応答を処理する。ACRミドルウェア605はACRプロセスを実行するか終了するかACRエンジン603を開始するか中断することでACEを制御する。また、ACRミドルウェア605はACE質疑応答をパーシングしてContent ID、Global Content ID、timestampなどの値も記憶している。ACRミドルウェア605は記憶された値をACR UIに伝送するようにAPIを提供するかmessage queue、global変数などの方法を介してACRユーザインタフェース607に伝達する。また、ACRミドルウェア605はLive+アプリケーションやリーンバックアプリケーションのようなACRアプリケーションにContent ID、Global Content ID、timestampなどのようなデータを伝達するためにshared memory、socketなどのIPC(Inter−Process Communication)を介してWebブラウザに伝達する。
ACRユーザインタフェース(ACR user interface,ACR UI)607はユーザにACR On/OffのようなACRを制御するUIを表出するか、認識されたプログラム名及び時間のような情報をTVの状態バーUIからユーザに示す。
ACRミドルウェア605がACRアプリケーションに伝達するためのContent ID、Global Content ID、timestampなどのようなデータをブラウザに伝達すると、ACRプラグイン609はこのような値を伝達される。ACRプラグイン609はPlugin Object Interfaceを介してACRアプリケーションに該当値を伝達する。
実施例によって、第三者サーバ90は上述したようにcontentsのメタデータを含む。また、第三者サーバ90はACR設定情報を含む。第三者サーバ90はコンテンツのジャンル及びお勧めの特徴情報タイプのうち少なくともいずれか一つを映像表示装置100に伝送する。詳しい動作方法は上述したため、それについては省略する。
次に、図47乃至図48を介して本発明の多様な実施例による映像表示装置の構造を説明する。
図47は、本発明の他の実施例によるフィンガープリント基盤の映像表示装置の構造を示すブロック図である。
図47において、Tuner501はairチャネルを介して伝送される8−VSB RFシングからSymbolを抽出する。
8−VSD Demodulator503はTuner501が抽出した8−VSD Symbolを復調し、意味のあるデジタルデータを復元する。
VSB Decoder505は8−VSD Demodulator503が復元したデジタルデータを復号し、ATSCメインサービスとATSC M/Hサービスを復元する。
MPEG−2 TP Demux507は8−VSD信号を介して伝送されるMPEG−2 Transport PacketまたはPVR Storageに記憶されたMPEG−2 Transport Packetのうちから映像表示装置100が処理しようとするTransport Packetをフィルタリングし、適切な処理モジュールに中継する。
PESデコーダ539はMPEG−2 Transport Streamを介して伝送されたPacketized Elemetrary StreamをBefferingし復元する。
PSI/PSIPデコーダ541はMPEG−2 Transport Streamを介して伝送されるPSI/PSIP Section DataをBeffuringし分析する。分析されたPSI/PSIPデータはService Manager(図示せず)によって収集され、Service Map及びGuide dataの形態にDBに記憶される。
DSMCC Section Buffer/Handler511はMPEG−2 TPを介して伝送されるファイルの伝送及びIP Datagram encapsulationなどのためのDSMCC Section Dataをバッファリング(Beffering)し処理する。
IP/UDP Datagram Buffer/Header Parser531はDSMCC Addressable sectionを介してencapsulateされてMPEG−2 TPを介して伝送されるIP Datagramをバッファリングし復元して各DatagramのHeaderを分析する。また、IP/UDP Datagram Buffer/Header Parser531はIP Datagramを介して伝送されるUDP DatagramをBuffering及び復元し、復元されたUDP Headerを分析及び処理する。
Stream component handler577はES Buffer/handler、PCR Handler、STCモジュール、Descrabler、CA Stream Buffer/Handler、Service Signaling Senciton Buffer/Handlerを含む。
ES Buffer/HandlerはPES形態に伝送されたVideo、AudioデータなどのElementary StreamをBuffering及び復元し、適切なA/V Decoderに伝達する。
PCR HandlerはAudio及びVideo StreamのTime synchronizationなどのために使用されるPCR(Program Clock Reference) Dataを処理する。
STCモジュールはPCR Handlerを介して伝達されたReference Clock値を利用し、A/V DecoderのClock値を補正してTime synchronizationを行う。
受信されたIP DatagramのPayloadにScramblingが適用された場合、DescramblerはCA Stream Handlerから伝達されたEncryption keyなどを利用してPayloadのデータを復元する。
CA Stream Buffer/HandelrはMPEG−2 TSまたはIP Streamを介して伝送されるConditional Access機能のために伝送されるEMM、ECMなどのDescramblingのためのkey値などのDataをBuffering及び処理する。CA Stream Buffer/HandelrのOutputはDescramblerに伝達され、DescramblerはA/V Data及びFile Dataなどを伝送するMPEG−2 TPまたはIP Datagramの暗号化解除作業を行う。
Service Signaling Buffer/HandlerはIP Datagramの形態に伝送されるNRT Service Signaling Channel Section DataをBufferingし復元して分析する。Service Manager(図示せず)は分析されたNRT Service Signaling Channel Sectionデータを収集し、Service Map及びGuide dataの形態にDBに記憶する。
A/V Decoder561はES Handlerを介して伝達されたAudio/Videoデータの圧縮を復号化してユーザにPresentationする。
MPEG−2 Service Demux(図示せず)はMPEG−2 TP Buffer/Parser、Descrambler、PVR Storageモジュールを含む。
MPEG−2 TP Buffer/Parser(図示せず)は8−VSB信号を介して伝送されるMPEG−2 Transport PacketをBuffering及び復元し、Transport Packet Headerを検出及び処理する。
DescramblerはMPEG−2 TPのうちScrambleが適用されたPacket payloadに対し、CA Stream Handlerから伝達されたEncryption keyなどを利用してPayloadのデータを復元する。
PVR Storageモジュールはユーザの要求などに応じて8−VSB信号を利用して受信されたMPEG−2 TPを記憶し、またユーザの要求によってMPEG−2 TPを出力する。PVR StorageモジュールはPVR Manager(図示せず)によって制御される。
File Handler551はALC/LCT Buffer/Parser、FDT Handler、XML Parser、File Recostruction Buffer、Decompressor、File Decoder、File Storageを含む。
ALC/LCT Buffer/ParserはUDP/IP Streamに伝送されるALC/LCTデータをBuffering及び復元し、ALC/LCTのHeader及びHeader extensionを分析する。ALC/LCT Buffer/ParserはNRT Service Manager(図示せず)によって制御される。
FDT HandlerはALC/LCT sessionを介して伝送されるFLUTE protocolのFile Description Tableを分析及び処理する。FDT HandlerはNRT Service Manager(図示せず)によって制御される。
XML ParserはALC/LCT sessionを介して伝送されるXML Documentを分析し、FDT Handler、SG Handlerなど適切なモジュールに分析されたデータを伝達する。
File Reconstruction BufferはALC/LCT、FLUTE sessionに伝送されるファイルを復元する。
DecompressorはALC/LCT、FLUTE sessionに伝送されるファイルが圧縮されている場合、その圧縮を解除するプロセスを行う。
File DecoderはFile Reconstruction Bufferで復元されたFileまたはDecompressorで圧縮解除されたファイル、またはFile Storageから抽出されたFileをDecodingする。
File Storageは復元されたファイルを必要に応じて記憶するか抽出する。
M/W Engine(図示せず)はDSMCC Section、IP Datagramなどを介して伝送されるA/V StreamではないファイルなどのDataを処理する。M/W Engineは処理されたデータをPresentation Managerモジュールに伝達する。
SG Handler(図示せず)はXML Documentの形態に伝送されるService Guideデータを収集し分析してEPG Managerに伝達するプロセスを行う。
Service Manager(図示せず)はMPEG−2 Transport Streamを介して伝送されるPSI/PSIP Data、IP Streamに伝送されるService Signaling Section Dataを収集し分析してService Mapを製作する。Servcie Manager(図示せず)は製作したService mapをService Map&Guide Databaseに記憶し、ユーザの望みのServiceに対するaccessを制御する。Operation Contraoller(図示せず)によって制御され、Tuner501、MPEG−2 TP Demux507、IP Datagram Buffer/Handler513などに関する制御を行う。
NRT Service Manager(図示せず)はIP layer上でFLUTE sessionを介してobject/fileの形態に伝送されるNRTサービスに関する全般的な管理を行う。NRT Service Manager(図示せず)はFDT Handler、File Storageなどを制御する。
Application Manager(図示せず)はObjcet、Fileなどの形態で伝送されるApplicationデータの処理に関する全般的な管理を行う。
UI Manager(図示せず)はUser Interfaceを介してユーザのInputをOpertion Controllerに伝達し、ユーザが要求するサービスのためのProcessの動作を開始する。
Opertion Controller(図示せず)はUI Managerを介して伝達されたユーザのCommandを処理し、必要なモジュールのManagerが該当Actionを行うようにする。
Fingerprint Extractor565はAudio/Videoストリームからfingerprint特徴情報を抽出する。
Fingerprint Comparator567はFingerprint Extractorが抽出した特徴情報とReference fingerprintを比較して一致するコンテンツを見つける。Fingerprint Comparator567はLocalに記憶されたReference fingerprint DBを利用してもよく、インターネット上のFingerprint質疑サーバに質疑して結果を受信してもよい。比較結果でマッチングされた結果データはApplicationに伝達されて利用される。
Application569はACR機能を管掌するモジュールまたはACRに基づいてEnhancedサービスを提供するアプリケーションモジュールであって、視聴中の放送コンテンツを識別子それと連携された拡張されたサービスを提供する。
図48は、本発明の他の実施例によるウォーターマーク基盤の映像表示装置の構造を示すブロック図である。
図48に示したウォーターマーク基盤の映像表示装置は図41に示したフィンガープリント基盤の映像常時装置と類似しているが、フィンガープリント基盤の映像表示装置のFingerprint Extractor565とFingerprint Comparator567を含まず、代わりにWatermark Extractor566を更に含む。
Watermark Extractor566はAudio/Videoストリームからwatermarkの形態に挿入されたデータを抽出する。このように抽出されたデータはApplicationに伝達されて利用される。
本発明の一実施例によれば、MVPDに依存せずに付加サービスを利用することができる。特に、放送局やコンテンツプロバイダーが付加サービスを提供していなくても、放送局やコンテンツプロバイダーに依存しない第3のサーバーが付加サービスを提供することができる。
さらに、一実施形態によれば、情報検索、チャット、ニュース検索、デジタルメディアのダウンロード、商品カタログダウンロード、および商品購入をリモートコントローラを用いた不快なテキスト入力せずに行うことができ利用できる。
さらに、一実施形態によれば、無線チャネルの帯域幅を超過する付加サービスも利用可能である。
本発明の一実施例によると、上述した方法はプログラムが記録された媒体にプロセッサが読み込めるコードとして具現することができる。プロセッサが読み込める媒体の例としては、ROM,RAM,CD−ROM,磁気テープ、フロッピーディスク、光データ記憶装置などがあり、キャリアウェーブ(例えば、インターネットを介した伝送)の形態に具現されることも含む。
前記のように記載された実施例は説明した実施例の構成と方法が限定されて適用されるのではなく、前記実施例は多様な変形が行われるように各実施例の全部又は一部が選択的に組み合わせられて構成されてもよい。
実施形態は、その例示的な実施形態の数を参照して説明したが、それは多くの他の修正及び実施形態は、本開示の原理の精神および範囲内に入る第当業者によって考案され得ることが理解されるべきです。より具体的には、様々な変形及び変更は、構成部品、および/または開示、図面および添付の特許請求の範囲内の被写体の組み合わせの配置の配置が可能です。構成部品および/または構成において変形及び変更に加えて、代替的な用途は、当業者には明らかであろう。