JP2017153129A - 受信装置 - Google Patents

Abstract

【課題】動画コンテンツを提示しながら、動画上の対象物に関連する、位置情報に紐付けられたメタ情報を提示するコンテンツ表示装置、及び、コンテンツ表示方法を提供する。
【解決手段】動画像情報、並びに、前記ＡＲタグ、前記対象物に関連する情報を保持するサーバにアクセスして当該情報を取得できる取得先情報、動画像の開始から終了までの時間情報、及び、当該時間情報ごとの動画像内のＡＲタグの表示位置を示す位置情報を有するＡＲ情報が送信され、送信される、動画像情報とＡＲ情報とを受信する。
【選択図】図１

Description

本発明は、放送あるいは通信により、受信表示した映像に、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）情報（拡張現実に関する情報）を重ねて表示する技術に関する。

特許文献１には、情報端末の周辺に存在する対象物のＡＲ情報を、情報端末のＧＰＳ等で検出される位置情報に基づき、インターネットを介しサーバから取得し、情報端末のカメラで撮影表示される映像に、ＡＲ情報を重畳して表示することが記載されている。

例えば、図２のような撮影映像では、建物４５１や４５２に４５３のＡＲ情報が重畳され表示される。

ここで、例えば、ＡＲタグ４５３のうち「Ｐ」を、表示画面上でタッチすると、図３に示すような「Ｐ」（駐車場）の詳細情報４００が表示される。

図３では、駐車場を表すアイコン４０１、対象物の名称４０２、対象物の詳細なテキスト情報４０３、対象物の場所を示す地図情報４０４、対象物の写真情報４０５、駐車場の空き情報を確認できるＷｅｂサイトへのリンク４０６、駐車場の管理会社のＷｅｂサイトへのリンク４０７が表示され、リンク４０６、４０７を選択すれば、それぞれのＷｅｂサイトを見ることができる。

以上のように、特許文献１の発明では、情報端末のカメラで撮影した映像の中の対象物について関連情報を得ることができる。

特開平１０−２６７６７１号公報

しかしながら、特許文献１には。カメラの撮影映像ではなく、放送や通信を介して受信して表示された映像にＡＲ情報を重畳して表示させることは開示されていない。

上記課題を解決するため、例えば、特許請求の範囲に記載の構成を採用する。

本発明によれば、放送を受信し、そのままあるいは記録再生して表示される動画像、もしくは、通信によりストリームあるいはダウンロード再生で表示される動画像に重畳してＡＲ情報を表示することができ、これを選択することで、動画像内の対象物の関連情報を入手することができる。

ストリームＡＲ情報の構成例。 ＡＲサービスの表示例。 ＡＲ情報画面の表示例。 コンテンツ送受信システムの構成例。 配信システムの構成例。 コンテンツ表示装置の構成例。 ＡＲメタ情報の構成例。 コンテンツ表示装置の放送連動ＡＲサービスの表示例その１。 コンテンツ表示装置の放送連動ＡＲサービスの表示例その２。 コンテンツ表示装置の放送連動ＡＲサービスの表示例その３。 コンテンツ表示装置の放送連動のＡＲ情報画面の表示例その１。 コンテンツ表示装置の放送連動のＡＲ情報画面の表示例その２。 コンテンツ表示装置の放送連動のＡＲ情報画面の表示例その３。 コンテンツ表示装置の放送受信処理フロー例。 コンテンツ表示装置のＷｅｂブラウザの表示例。 再生制御メタファイルの構成例。 ストリーミング再生の処理フロー例。 コンテンツ表示装置の蓄積コンテンツ一覧画面の表示例。 ダウンロード制御メタファイルの構成例。 コンテンツ表示装置の動画コンテンツのダウンロード処理フロー例。 コンテンツ表示装置の蓄積動画再生の処理フロー例。

以下、実施例を、図面を用いて説明する。

実施例１では、放送を受信し、再生しながら、放送に連動したＡＲタグを表示するシステムについて説明する。

図４は、コンテンツ送受信システムの構成例である。配信網は、ネットワーク品質を保証するコンテンツ配信網４０、及び、コンテンツ配信網４０にルータ４１を介して接続される外部のインターネット網７０から構成され、コンテンツ配信網４０は、ルータ４３を介して家庭に接続される。

配信システム６０には、ネットワークスイッチ４２を介してコンテンツ配信網４０に接続される配信システム６０−１、及び、汎用性を重視するインターネット網７０にルータ４４を介して接続される配信システム６０−２がある。尚、配信システム６０−１と６０−２のうち、何れか一方のみが存在する形態であってもよい。

家庭へのネットワーク接続は、同軸ケーブル、光ファイバ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、無線通信等、様々な通信経路４６で行われ、それぞれの経路に適した変復調が、伝送路変復調器４５によって行われ、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークに変換される。

家庭内の機器は、ルータ４３、伝送路変復調器４５、及び、ルータ４８を介して、コンテンツ配信網４０と接続される。家庭内の機器としては、例えば、コンテンツ表示装置５０や、ＩＰネットワーク対応の記憶装置（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）３２、パソコン３３、ネットワーク接続可能なＡＶ機器３４などが挙げられる。コンテンツ表示装置５０は、アンテナ３５から受信した放送を再生したり、蓄積する機能を併せ持ってもよい。

図５は、コンテンツ配信システムの構成例である。コンテンツ配信システム６０は、Ｗｅｂサーバ６１、メタデータサーバ６２、コンテンツサーバ６３、ＤＲＭサーバ６４、顧客管理サーバ６５、及び、課金・決済サーバ６６を含み、これらの各サーバは、ＩＰ網６７によって相互に接続されると共に、ＩＰ網６７を介して、図１のインターネット網７０、又は、コンテンツ配信網４０に接続される。

Ｗｅｂサーバ６１は、Ｗｅｂ文書を配信する。メタデータサーバ６２は、配信するコンテンツの属性情報などを記述するＥＣＧ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｅｎｔ Ｇｕｉｄｅ）メタデータ、及び、コンテンツの再生に必要な情報を記述する再生制御メタファイル２００、コンテンツとその付属情報のダウンロードに必要なダウンロード制御メタファイル７００、位置情報に紐付けられたＡＲメタ情報１００、動画コンテンツとＡＲメタ情報１００との関係を記述するストリームＡＲ情報３００等のメタデータを配信する。また、コンテンツに一対一で対応する再生制御メタファイル２００、ストリームＡＲ情報３００などは、コンテンツサーバ６３から配信してもよい。

コンテンツサーバ６３は、コンテンツ本体を配信する。ＤＲＭサーバ６４は、コンテンツの利用権やコンテンツの復号に必要な鍵の情報を含むライセンスを配信する。顧客管理サーバ６５は、配信サービスの顧客情報を管理する。課金・決済サーバ６６は、顧客によるコンテンツの課金や決済処理を行う。

尚、上記各サーバの一部又は全てが、ＩＰ網６７を介さず、直接、インターネット網７０、又は、コンテンツ配信網４０に接続され、相互に通信を行う構成であってもよい。

また、複数の上記サーバは、任意に統廃合してもよい。

また、データの種類毎に別々のサーバを構成してもよい。

図６は、コンテンツ表示装置の構成例である。太線矢印は動画コンテンツの流れを示す。

コンテンツ表示装置５０は、放送ＩＦ（Ｉｎｔｅｒｆａｃｅ）２、チューナ３、ストリーム制御部４、映像デコーダ５、表示制御部６、ＡＶ出力ＩＦ７、操作デバイスＩＦ８、通信ＩＦ９、ＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）１０、暗号処理部１１、メモリ１２、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３、ストレージ１４、リムーバブルメディアＩＦ１５、及び、音声デコーダ１６からなり、これらはシステムバス１を介して接続される。

放送ＩＦ２は、放送信号を入力する。チューナ３は、当該放送信号の復調、復号を行う。ストリーム制御部４は、当該放送信号が暗号化されている場合は、その暗号を復号した上で、放送信号から多重化されたパケットを抽出する。映像デコーダ５は抽出した映像パケットを復号する。音声デコーダ１６は抽出された音声パケットを復号する。これにより、放送の再生が行われる。表示制御部６は、映像デコーダ５が生成する動画映像やＣＰＵ１３が生成するグラフィックスを映像信号に変換し表示する。ＡＶ出力ＩＦ７は、表示制御部６が生成した映像信号、音声デコーダ１６が生成した音声信号を外部のテレビ等に出力する。

尚、ＡＶ出力ＩＦ７は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のような映像音声一体のＩＦであってもよいし、コンポジットビデオ出力端子と、光出力のオーディオ端子のように、映像、音声が独立したＩＦであってもよい。又、表示デバイス、音声出力デバイスが、コンテンツ表示装置５０に内蔵される構成であってよい。

表示デバイスは、立体表示が可能なデバイスであってもよく、その場合は、映像デコーダ５は、放送信号に含まれる立体映像信号を復号でき、表示制御部６は、復号された立体映像信号を、ＡＶ出力ＩＦ７に出力する。

通信ＩＦ９は、ＩＰネットワークに物理的に接続を行い、ＩＰデータパケットを送受信する。その際、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）、ＤＨＣＰ（Ｄｙｎａｍｉｃ Ｈｏｓｔ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）、ＤＮＳ（ｄｏｍａｉｎ ｎａｍｅ ｓｅｒｖｅｒ）、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等の各種ＩＰ通信プロトコルの処理を行う。

ＲＴＣ１０は、コンテンツ表示装置５０の時刻を管理し、システムのタイマー動作や、コンテンツの時間による利用制限を行う場合、その管理も行う。

暗号処理部１１は、コンテンツや通信伝送路の保護のためにかける暗号の暗号化や、復号化の処理を高速に行う。

接続するネットワーク上のコンテンツサーバ６３から、通信ＩＦ９を介し、動画コンテンツを受信し、暗号処理部１１により復号後、ストリーム制御部４に入力することで、以下、放送受信と同様の動作により、動画のストリーム再生を行うことができる。

ストレージ１４は、コンテンツやメタデータ、管理情報等を蓄積するＨＤＤなどの大容量蓄積デバイスである。また、リムーバブルメディアＩＦ１５は、メモリカードや、ＵＳＢメモリ、リムーバブルＨＤＤ、光メディアドライブなどのＩＦである。

操作デバイスＩＦ８に接続する操作デバイスには、赤外線リモコンやスマートフォン等のタッチデバイス、マウス、音声認識ユニットなどが考えられる。

尚、放送受信機能を持たず、インターネットからの動画配信のみを受信するコンテンツ表示装置５０の場合、通信ＩＦ９から受信した映像音声ストリームを、バス１を介して、ストリーム制御部４に送るため、放送ＩＦ２、チューナ３は省略されてもよい。又、ストレージ１４、リムーバブルメディアＩＦ１５も、それらをアプリケーションで使用しないコンテンツ表示装置５０の場合は、省略されてもよい。

コンテンツ表示装置５０の各構成要件は、その全て又は一部を纏めてハードウェア化してもよい。また、チューナ３、ストリーム制御部４、映像デコーダ５、音声デコーダ１６、暗号処理部１１は、その全て又は一部を、ソフトウェア化してもよい。この場合、ＣＰＵ１３及びメモリ１２で所定の処理プログラムが実行される。

以下、説明を簡略化するため、各種プログラムを中央制御部などが実行することで実現される各処理は、プログラムで実現される各処理部を主体として説明する。尚、各処理部をハードウェアで実現した場合にはその各処理部が主体となって各処理を行う。

以上のコンテンツ表示装置５０が、放送、あるいは、ネットワーク上のコンテンツサーバ６３から受信する動画コンテンツは、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）やＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）などの動画形式で配信される。

特に、ＴＳ形式の場合、すべてのデータは、ＴＳパケットと呼ばれる固定単位で分割されて多重化され、一連の映像パケットや、音声パケットを、それぞれ、映像デコーダ５、音声デコーダ１６で復号することで、動画の映像音声を再生することが出来る。また、映像、音声のパケットに加え、選局動作や、番組表の表示、番組に付随するデータなどをＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）情報として、多重化してコンテンツに含め、配信することが出来る。

図７は、図２、図３で示すＡＲアプリケーションを実現するためのＡＲタグ（図２の ［Ｐ］や［ｓｈｏｐ Ａ］）を記述するＡＲメタ情報１００の構成例である。なお、ＡＲメタ情報１００は、一般的にはＸＭＬ形式のメタデータとして記述されるが、バイナリ形式であってもよい。

ＡＲメタ情報１００は、位置情報１０１、日時情報１０２、タイトルテキスト１０３、アイコン取得先情報１０４、１個以上の位置関連情報１１０を持ち、位置関連情報１１０ごとにデータ種別１１１、データ取得先情報１１２、データの日時情報１１３を持つ。

位置情報１０１は、ＡＲタグを貼り付ける現実世界の位置情報を格納し、一般的には、ＧＰＳ衛星の位置情報や、無線ＬＡＮアクセスポイントや携帯電話網から取得できる位置情報を利用する。

日時情報１０２は、ＡＲタグが生成された日時情報や、更新された日時情報を保持する。

タイトルテキスト１０３は、図２に示したように、ＡＲタグをテキストで表示する場合に使用する、ＡＲタグの説明文字列であり、一般的には、位置情報１０１が示す場所に存在する対象物の名称などを格納する。ＡＲタグは、分りやすさを考え、アイコンなどの絵文字で表示する場合もあり、その場合は、アイコン取得先情報１０４に記述されたＵＲＬから、アイコンのグラフィックスデータを取得し、画面に表示する。

位置関連情報１１０は、位置情報１０１に紐付けられた様々な関連データをリンクとして保持するための情報であり、データ取得先情報１１２は、関連データを取得する先のＵＲＬを記述し、データの日時情報１１３には、位置関連情報１１０の生成された日時や、更新された日時を保持する。

関連データとしてリンクできるデータの種類としては、Ｗｅｂページ、静止画、動画、音声ファイル、メタデータ、テキスト、Ｏｆｆｉｃｅ文書、電子書籍、Ｗｉｄｇｅｔ、スクリプト、アプリケーションプログラムなど、様々な形式が考えられるが、コンテンツ表示装置５０がそれらのすべての関連データの提示が出来る能力を備えているとは限らない。このため、データ種別１１１において、取得するデータのデータ形式（ＭＩＭＥ−Ｔｙｐｅなど）を記述することで、コンテンツ表示装置５０は、ＡＲタグの中で、自分が提示可能な関連データだけを抽出することが出来る。

コンテンツ表示装置５０は、表示画面上でＡＲタグが選択されたとき、提示可能な関連データを利用して、図３のように、位置情報に紐付けられた、その位置に存在する対象物の様々な情報を表示することが出来る。

次に、図１により、動画コンテンツの映像を、現実世界のＡＲメタ情報１００にリンクさせるためのストリームＡＲ情報３００について説明する。なお、ストリームＡＲ情報３００は、一般的にはＸＭＬ形式のメタデータとして記述されるが、バイナリ形式であってもよい。

ストリームＡＲ情報３００は、一つの動画コンテンツや放送番組に対し、複数保持することができ、タイトルテキスト３０１、ＡＲメタ情報の取得先情報３０２、補間方式情報３０３、開始時刻３０４、開始時刻の映像上のタグ位置情報３０５、開始時刻の映像上のタグ深度情報３０６、終了時刻３０７、終了時刻の映像上のタグ位置情報３０８、終了時刻の映像上のタグ深度情報３０９、制御点時刻３１０、制御点時刻の映像上のタグ位置情報３１１、制御点時刻の映像上のタグ深度情報３１２などの情報を持つ。

タイトルテキスト３０１は、動画コンテンツ上のＡＲタグの名称であり、ＡＲメタ情報の取得先情報３０２は、動画コンテンツ上のＡＲタグのＡＲメタ情報１００のＵＲＬを示す。これら以外の情報は、動画コンテンツ上で、どの時間範囲のどの位置にＡＲタグを表示するかを示す情報で、時刻情報は動画開始点からの相対的な時刻で記述する。

すなわち、動画コンテンツの開始時刻３０４から終了時刻３０７までの間、ＡＲタグを表示し、その画面上の表示位置は、動画像上のピクセル位置のＸ，Ｙ座標で示され、開始時刻の映像上のタグ位置情報３０５から、終了時刻の映像上のタグ位置情報３０８まで、動画フレーム単位で移動しながら表示される。開始位置から終了位置の間のＡＲタグの位置は、演算により補間して求める。その補間方法は、補間方式情報３０３に記述される。補間の方式としては、直線補間、二次元ベジェ曲線補間、三次元ベジェ曲線補間などの方式が考えられる。直線補間であれば、開始点と終了点の情報だけがあればよく、制御点時刻３１０、制御点時刻の映像上のタグ位置情報３１１、制御点時刻の映像上のタグ深度情報３１２は不要である。

二次元ベジェ曲線補間の場合は、制御点の情報を１個、三次元ベジェ曲線補間の場合は、制御点の情報を２個指定し、それぞれ、開始点、終了点、制御点のＸ座標、Ｙ座標、時刻Ｔをパラメータとし、それらの点を経過する曲線を生成し、各映像フレームの時刻における、Ｘ，Ｙ座標位置にＡＲタグを表示することで、動画コンテンツ上に、現実世界のＡＲタグを同期して表示できる。

また、開始時刻の映像上のタグ深度情報３０６、終了時刻の映像上のタグ深度情報３０９、制御点時刻の映像上のタグ深度情報３１２については、立体表示の動画に必要な情報で、それぞれの位置におけるＡＲタグの奥行き位置を示す情報を記述する。

この深度情報は、立体動画の最近面の奥行き位置から、最遠面の奥行き位置への相対位置情報（最近面から最遠面までの距離のパーセンテージなど）で記述することが考えられる。

なお、動画コンテンツは、すべての映像が連続しているわけではなく、複数の連続なカットを繋いで構成される場合が多い。本実施例のＡＲタグは、開始点と終了点の間を補間して表示するため、開始点と終了点の間に、カット点が存在し、視点が不連続に変わってしまう場合には、映像に沿ったＡＲタグの補間が行えない問題がある。

このような場合は、同じＡＲタグであっても、ストリームＡＲ情報３００を、連続したシーンごとに分割して、別々に記述することにより、問題を回避することが出来る。

立体動画の最近面の奥行き位置と、最遠面の奥行き位置の情報については、動画コンテンツ内に多重化されたＳＩ情報や、映像パケットのヘッダ情報に記述する方式や、動画コンテンツとは別のメタデータで伝送する方式が考えられる。

また、立体ではない二次元の動画コンテンツにおいても、深度情報を記述する場合もある。この場合、動画上の立体表現は行わないが、深度情報を、ユーザからの距離と捉え、映像上深度が深い遠方に存在するＡＲタグは文字やアイコンを小さく、深度が浅くなるにつれ、ＡＲタグの文字やアイコンを徐々に大きく表示することで、二次元の動画コンテンツにおいても、ＡＲタグが表示された対象物の位置関係を把握しやすくなる。この場合の深度情報は、本当に立体表示を行う訳ではないため、相対的な奥行きの位置関係が分れば実用上は問題がない。

図８、図９、図１０は、以上説明したコンテンツ表示装置における、動画コンテンツおけるＡＲタグサービスの表示イメージである。

この例では、表示画面５００に、前方から先にまっすぐな道と、その両脇に建物が表示された動画が再生されており、そのうち、太線で囲んだ建物５０１のシーン最初のＡＲタグ位置は５０１、シーン最後のＡＲタグ位置は５０３、途中の制御点のＡＲタグ位置は５０２で、二次ベジェ曲線で５０１と５０３の間を補間し、その間のフレームの補間位置に、ＡＲタグを連続的に表示している。この例では、ＡＲタグの表示位置の深度情報も参照し、遠方は、ＡＲタグを小さく、手前に来るに従い、大きく表示している。

立体表示が可能な表示装置であれば、ＡＲタグの大きさを変えると同時に、立体表示の奥行きを変化させることにより、動画上の対象物とＡＲタグが一体感のある表示を実現できる。

このような動画コンテンツの再生中にＡＲタグを選択することで、図３に示したようなＡＲ情報画面４００を表示し、動画上の対象物に紐付いたＡＲタグの様々な情報を見ることができる。

ＡＲタグの選択は、リモコンのカーソルボタンや、マウスのようなポインティングデバイスや、表示デバイス一体型のタッチパネルで行うことが考えられる。

図３のＡＲ情報画面４００では、動画再生とは独立した別の画面で、ＡＲタグの関連情報を表示しているが、図１１のように、ＡＲ情報画面４００の子画面として、動画を再生しながら、ＡＲタグの関連情報を同時に表示するようにしてもよいし、図１２のように、画面を分割して、コンテンツ動画５００を再生しながら、ＡＲタグの関連情報を同時に表示するようにしてもよい。

さらに、図１３のように、動画コンテンツを再生しながら、その上に重ねる形でＡＲ情報画面５０３を表示してもよい。この例では、表示エリアが狭く、すべての情報を一度に表示できないため、上下のスクロールボタン５０４，５０５により、ＡＲ情報画面５０３をスクロール表示することが出来る。

以上のようなＡＲ情報画面の表示を、放送を受信する場合に実現するための処理フロー１０００を、図１４に示す。

放送の場合、コンテンツ表示装置の電源を入れると、放送を常時受信し、映像が表示される。ここで、ＳＩ情報で識別できる番組の開始直後に、視聴番組のストリームＡＲ情報３００を取得する（１０１０）。

ストリームＡＲ情報３００は、ＳＩ情報の一部として、動画コンテンツに多重化し含める方式がある。あるいは、ＳＩ情報には、インターネット上のストリームＡＲ情報３００のＵＲＬ情報のみを多重化し、記述されたＵＲＬ情報に従い、メタデータサーバ６２から取得する方式も考えられる。

ストリームＡＲ情報３００を取得したら、その情報を解析し、その番組の開始時刻からの相対時間で、どの時間帯のどの位置にＡＲタグを表示する必要があるかをリスト化し、ＡＲメタ情報の取得先情報３０２に従い、対応するＡＲメタ情報１００を取得する（１０２０）。

次に、ストリームＡＲ情報３００から、指定された補間方式に応じ、ＡＲタグの補間位置を算出する（１０３０）。

その後は、番組の動画を再生しながら、ストリームＡＲ情報３００で指定された、番組開始からの相対時間で指定された時刻に従い、ＡＲタグを表示開始し、補間位置に従い移動表示させる処理を、複数のストリームＡＲ情報３００に対し、並行して行う（１０４０）。

ＡＲタグが表示されているときに、操作デバイスによりＡＲタグが選択されたら（１０５０）、そのＡＲタグに関するＡＲ情報画面を表示する（１０６０）。

なお、ストリームＡＲ情報３００のＡＲメタ情報の取得先情報３０２が指定するＡＲメタ情報１００が存在しないか、一定時間内に取得できない場合もありえるし、ＡＲメタ情報１００は取得できても、位置関連情報１１０が示す関連データが存在しないか、一定時間内に取得できない場合がありえる。

その場合、ユーザの利便性を考慮し、ＡＲタグを非表示とし、リトライにより、関連データが取得できた時点で、ＡＲタグを表示してもよい。

ＡＲ情報画面を、操作デバイスによる操作で終了したら、元の番組の動画表示に戻る。

以上の実施例により、コンテンツ表示装置５０において、放送を受信し、放送の番組動画を再生しながら、動画内に表示された対象物に対し、実世界のＡＲタグを連動して表示させることができ、利便性を高められる。

また、コンテンツ表示装置５０が、立体映像表示機能を備える場合、立体動画を表示しながら、その上に、ＡＲタグ立体表示してもよい。その場合、ストリームＡＲ情報３００に、開始時刻の映像上のタグ深度情報３０６、終了時刻の映像上のタグ深度情報３０９、制御点時刻の映像上のタグ深度情報３１２を記述し、ＡＲタグを表示する際、ステップ１０４０において、途中のフレームのＡＲタグの映像深度を、タグ位置情報と同様に補間して求め、求めた映像深度に従い、ＡＲタグを動画に合成して表示すればよい。

実施例２では、ネットワーク上のコンテンツサーバ６３から、オンデマンドで、動画コンテンツを受信し、再生しながら、連動したＡＲタグを表示するシステムについて説明する。

コンテンツ送受信システム、配信システム、コンテンツ表示装置５０の構成は、実施例１と同じで、利用するＡＲメタ情報１００や、ストリームＡＲ情報３００の構成例も実施例１と同じである。

図８−１０の画面表示例も、実施例１と同じであるが、実施例１では、常に流れる放送の番組単位で、ストリームＡＲ情報３００を配信するのに対し、実施例２では、コンテンツサーバ６３からオンデマンドで配信される動画コンテンツ単位でストリームＡＲ情報３００を配信する点が異なる。

実施例２では、コンテンツ表示装置５０が、搭載するＷｅｂブラウザソフトウェアを実行し、図１５に例示するように、Ｗｅｂサーバ６１から取得したＷｅｂサイトを表示し、操作する。

図１５の例のように、Ｗｅｂサイトに表示された「動画を再生する」のリンクを選択することにより、動画コンテンツの再生が開始される。

このとき、動画コンテンツのリンク情報で指定されるのが再生制御メタファイル２００で、Ｗｅｂブラウザは、再生制御メタファイル２００を取得して解析し、の内容に従い、動画コンテンツをオンデマンド再生する。

図１６は、その再生制御メタファイル２００の構成例である。

再生制御メタファイル２００は、コンテンツ再生の際に必要なコンテンツ自身のＡＶストリームの情報であるコンテンツ固有属性情報２１０と、暗号化されたコンテンツの暗号を復号する鍵などを取得する際に必要なライセンス取得情報２２０、ストリーミングＶＯＤの場合にその再生制御を行うのに必要なネットワーク制御情報２３０の３つの情報からなる。

再生制御メタファイル２００は、一般的にはＸＭＬ形式のメタデータとして記述されるが、バイナリ形式であってもよい。

コンテンツ固有属性情報２１０は、動画コンテンツのタイトル情報２１１、動画コンテンツの参照先ＵＲＬ２１２、コンテンツの時間長２１３、映像符号化方式や解像度・走査・アスペクト比など映像信号の属性情報２１４、ステレオ／モノラル／マルチチャンネル区別など音声信号の属性情報２１５、ストリームＡＲ情報取得先情報２１６等を提供する。

ストリームＡＲ情報取得先情報２１６は、再生する動画コンテンツについてのストリームＡＲ情報３００を、インターネットから取得するＵＲＬを記述する。

コンテンツのライセンス取得情報２２０は、対象コンテンツのライセンス取得先になる著作権管理サーバアドレス情報２２１、著作権管理方式の種別情報２２３、コンテンツに付随する著作権保護範囲の種別を示すライセンスＩＤ２２４、著作権管理サーバとクライアントである受信機間でサーバ認証を行う為の署名対象の要素の値２２２と参照先２２６、ライセンスの利用条件情報２２５、ある署名の検証に必要な公開鍵証明書２２７などの情報を提供する。

ネットワーク制御情報２３０は、利用可能なストリーミングプロトコル方式の情報２３１を記述する。また、特殊再生やコンテンツの頭出しや一時中断した再生が途中から再開可能かなど、ストリーミング再生のさまざまな機能を規定するストリーミングサーバ機能情報２３２を記述する。さらに、サーバの機能で複数段階の可変速再生が可能な場合、各々の段階について、どのような倍率かを示す情報２３３と、その再生方式の情報２３４を記述する。

再生方式としては、可変速再生専用のストリームをサーバ側で用意し配信する方式や、通常速再生のストリームに含まれる静止画を飛ばし再生することで擬似的に高速再生を実現する方式などが挙げられる。

図１７は、オンデマンド動画のストリーミング再生の処理フロー１１００である。

この処理フローが、放送受信の処理フロー１０００と異なる点は、Ｗｅｂブラウザで、Ｗｅｂサーバ６１から取得したＷｅｂコンテンツを提示し、見たい動画コンテンツを選択し、再生を指示すると（１００１）、まず、Ｗｅｂサイトからリンクされた再生制御メタファイル２００を、メタデータサーバ６２から取得し（１００５）、再生制御メタファイル２００に記述されたストリームＡＲ情報取得先情報２１６のＵＲＬに従い、ストリームＡＲ情報３００を、メタデータサーバ６２から取得する（１０１０）点と、ＡＲタグの補間位置を算出し、ＡＲタグの表示の準備が整った後、動画のストリーミング再生を開始する（１０３５）こと。

さらに、動画コンテンツを再生し終えたら、ストリーミング再生を終了し（１０７０）、Ｗｅｂブラウザの表示に戻る点にある。

動画コンテンツの再生中におけるＡＲタグの表示制御については、処理フロー１０００と全く同じである。

以上の実施例によれば、ネットワーク配信されるオンデマンド動画のストリーミング再生についても、放送と同様に、動画内に表示された対象物に対し、実世界のＡＲタグを連動して表示することができる。

実施例３では、ネットワーク上のコンテンツサーバ６３からオンデマンドで、動画コンテンツを受信してストレージ１４に蓄積し、蓄積した動画コンテンツを再生しながら、連動したＡＲタグを表示するシステムについて、実施例２との違いを中心に説明する。

実施例２の図１５のＷｅｂブラウザ画面６００において、「動画をダウンロードする」のリンク６０５を選択することで、該当する動画コンテンツのダウンロードが行われる。

ダウンロード後は、図１８の例に示すような蓄積コンテンツ一覧画面８００でコンテンツが選択することで、ダウンロードしたコンテンツを視聴することが出来る。

蓄積コンテンツ一覧画面８００では、蓄積済み、あるいは、蓄積中のコンテンツについて、コンテンツのサムネイル動画または静止画８０１、コンテンツのタイトル文字列８０２、動画コンテンツの再生ボタン８０３が表示される。そして見たいコンテンツの再生ボタン６０３を選択すると、図８―１０のようなＡＲタグつきの動画コンテンツ再生が行われる。

図１９は、動画コンテンツのダウンロード処理に使用するダウンロード制御メタファイル７００の構成例である。ダウンロード制御メタファイル７００は、メタファイル自身の内容を記述したダウンロード制御属性情報７１０と、一つまたは複数のコンテンツをまとめてダウンロードするのに用いるダウンロード実行単位情報７５０を含む。

なお、ダウンロード制御メタファイル７００は、一般的にはＸＭＬ形式のメタデータとして記述されるが、バイナリ形式であってもよい。

ダウンロード制御メタファイル７００は、例えばＲＳＳ（ＲＤＦ Ｓｉｔｅ ＳｕｍｍａｒｙまたはＲｅａｌｌｙ Ｓｉｍｐｌｅ Ｓｙｎｄｉｃａｔｉｏｎ）で記述される。
ダウンロード制御メタファイル７００は更新されることがあり、受信機は一定周期でチェックし、差分を更新する。

ダウンロード制御属性情報７１０には、対応するダウンロード制御メタファイル７００の名称（例えばダウンロード予約の名称、ファイル名、ＩＤ等）を示すダウンロード制御情報の名称７１１、ダウンロード制御メタファイル７００の取得先のＵＲＬを示すダウンロード制御情報の取得先情報７１２、対応するダウンロード制御メタファイル７００の説明（例えばダウンロード予約についての説明や言語タイプ等）を示すダウンロード制御情報の説明文７１３、更新チェックフラグ７１４、更新期限日時７１５などの情報を持つ。

更新チェックフラグ７１４は、メタデータサーバ６２上のダウンロード制御メタファイル７００の内容が変更されていないか、周期的にチェックを行うかどうかを判別するフラグであり、チェックを行う「更新」と、最初に取得した後は、周期的にチェックを行わない「単発」の値をとる。更新期限日時７１５は、更新チェックフラグ７１４が「更新」の場合に有効で、ダウンロード制御メタファイル７００の更新をチェックし続ける期限の日時を記載する。

更新期限日時７１５は、コンテンツの更新を監視する期限を示す。期限の単位（日単位、時単位、分単位等）は任意である。「期限なし」すなわち半永久的にチェックをし続けることを示す値を取ることも可能である。また、別の実施方法として、更新期限日時７１５の特殊な値（例えばすべて０）を更新チェックフラグ７１４「単発」を示す値として扱うことにより、更新チェックフラグ７１４を省略する構成も実現可能である。

ダウンロード実行単位情報７５０は、ダウンロード制御メタファイル７００に複数記述可能である。ダウンロードする各々のコンテンツについて、そのコンテンツのタイトル（番組名等であってもよいし、ファイル名やＩＤであってもよい）を示す配信コンテンツのタイトル７５１、そのコンテンツの説明（特徴や備考等）を示す配信コンテンツの説明文７５２、そのコンテンツを配信する日時（日単位、分単位であっても良い）を示す配信日時７５３、そのコンテンツをインターネット上で一意に識別する配信コンテンツのコンテンツＩＤ７５４、配信コンテンツの種別７５５、配信コンテンツの取得先ＵＲＬを示すコンテンツの取得先情報７５６、そのコンテンツに対応するＥＣＧメタデータの取得先ＵＲＬを示すＥＣＧメタデータの所得先情報７５７、そのコンテンツに対応する再生制御メタファイル２００の取得先ＵＲＬを示す再生制御メタファイルの取得先情報７５８、配信コンテンツのサイズ７５９などの情報を格納する。

配信日時７５３は、通常、コンテンツがコンテンツサーバ６３に格納され、公開された日時を記載するが、ダウンロード制御メタファイル７００が配信されたときには、コンテンツがまだ公開されず、配信日時７５３には配信予定の未来の日時が記載される場合もある。また、一度、配信されたコンテンツの内容が更新された場合、配信日時７５３には、更新された日時を記載する。

配信コンテンツの種別７５５は、例えばサーバから配信される映像、写真、音楽、プログラム、マルチメディアデータなどの種別を記載する。映像の中で更に細分化して、映画、ニュース、スポーツ等、音楽の中で更に細分化してクラシック、ロック、ジャズ等の種別を記載してもよい。

再生制御メタファイルの取得先情報７５８で指示される再生制御メタファイル２００は、実施例２と基本的には同じものでよいが、ネットワーク制御情報２３０は、ダウンロードコンテンツに対しては使用しないため、付与しなくてもよい。

図２０は、コンテンツ表示装置５０における動画コンテンツのダウンロード処理のフロー図１２００である。

Ｗｅｂブラウザで、Ｗｅｂサーバ６１から取得したＷｅｂコンテンツを提示し、見たい動画コンテンツを選択し、ダウンロードを指示すると（１２１０）、ダウンロードボタンにリンクされたダウンロード制御メタファイル７００を、メタデータサーバ６２から取得し、中身を解析し（１２２０）、ダウンロード制御メタファイル７００のＥＣＧメタデータの取得先情報７５７に従い、ダウンロードする動画コンテンツのＥＣＧメタデータを取得して、ストレージ１４に蓄積し（１２３０）、ダウンロード制御メタファイル７００の再生制御メタファイルの取得先情報７５８に従い、再生制御メタファイル２００を取得し、ストレージ１４に蓄積し（１２４０）、また、ダウンロード制御メタファイル７００の配信コンテンツの取得先情報７５６に従い、動画コンテンツ本体をダウンロードし、ＥＣＧメタデータや再生制御メタファイル２００とリンクしてストレージ１４に蓄積する（１２５０）。

ダウンロード制御メタファイル７００には、複数のダウンロード実行単位情報７５０を記述でき、複数個のダウンロード実行単位情報７５０が記述された場合には、それぞれの動画コンテンツに対する、ＥＣＧメタデータ、再生制御メタファイル２００、コンテンツ本体の取得をすべて行う。

蓄積された動画コンテンツや蓄積中の動画コンテンツは、図１８の蓄積コンテンツ一覧８００の画面に表示され、この画面で動画の再生が指示されたら、図２１の蓄積動画再生の処理フロー１３００に従い、動画の再生を行う。

ここで、蓄積動画再生の処理フロー１３００が、実施例２のストリーミング処理１１００と異なる点は、次の通りである。
（１）ストリーミング処理１１００では、再生制御メタファイル２００をメタデータサーバ６２から直接取得するのに対し、蓄積動画再生の処理フロー１３００では、コンテンツ本体と同時に再生制御メタファイル２００を取得し、蓄積するため、コンテンツの再生時には、再生制御メタファイル２００は、ストレージ１４から読み出す（１３１０）。
（２）ストリーミング処理１１００では、動画コンテンツをコンテンツサーバ６３から直接取得しながらストリーミング再生するのに対し、蓄積動画再生の処理フロー１３００では、動画コンテンツは、ストレージ１４から読み出して再生する（１３２０）。
（３）ストリーミング処理１１００では、動画コンテンツの終わりで、ストリーミング処理を終了し、Ｗｅｂブラウザ画面に戻るのに対し、蓄積動画再生の処理フロー１３００では、ストレージ１４からの動画再生が終了すると、蓄積コンテンツ一覧８００の画面に戻る（１３３０）。

動画を再生しながら、ＡＲタグを表示する処理に関しては、実施例２と全く同じ処理となる。

以上の実施例によれば、ネットワーク配信される動画コンテンツをストレージにダウンロードし、ストレージから動画コンテンツを再生する場合でも、ストリーミングの動画再生と同様に、動画内に表示された対象物に対し、実世界のＡＲタグを連動して表示しを表示することができる。

また、実施例３では、ネットワーク経由で動画コンテンツをダウンロードし、ストレージに蓄積する例を説明したが、放送番組をストレージに録画して蓄積し、その際、ＳＩ情報を併せて蓄積し、ストレージから録画番組を再生する際、処理フロー１０００と同様、番組に含まれるストリームＡＲ情報することで、録画された放送コンテンツについても、リアルタイムの放送同様、ＡＲタグを連動表示することが出来る。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

又、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

又、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

５０…コンテンツ表示装置
１００…ＡＲメタ情報
３００…ストリームＡＲ情報
４００…ＡＲ情報画面
４５３…ＡＲタグ
６００…Ｗｅｂブラウザ画面

Claims (3)

1. 表示装置であって、
   動画像情報及びＡＲ情報を取得する通信ＩＦと、
   取得された前記動画像情報及び前記ＡＲ情報に基づき、動画像とともに前記動画像内の1つ以上の対象物に重畳してＡＲタグを表示する表示部と、
   制御部を備え、
   前記ＡＲ情報は、各ＡＲタグが関係する前記対象物に関する情報を取得できる取得先情報と、各ＡＲタグが表示される前記動画像の表示期間内における表示開始と終了を含む２つ以上の時点を表す時間情報と、当該時間情報ごとの動画像内の当該ＡＲタグの表示位置を示すタグ位置情報を含み、
   前記制御部は、
   表示された動画像の前記対象物に、取得した前記ＡＲ情報の前記時間情報及び前記タグ位置情報に基づき、前記ＡＲタグを重畳して前記表示部に表示させ、
   表示されたＡＲタグの１つがユーザにより選択されると、前記通信ＩＦを介して前記ＡＲ情報内の前記取得先情報を使用して前記対象物に関する情報を保持するサーバにアクセスし、前記ＡＲタグが関係する前記対象物に関する情報を取得し、前記取得した前記ＡＲタグに関連する前記対象物に関する情報を、前記表示部に表示させ、
   前記ＡＲ情報は、各ＡＲタグの前記時間情報ごとに動画像の奥行き方向に関する深度情報をさらに有し、
   前記制御部は、前記深度情報に基づき、対象物に重畳するＡＲタグの大きさを変化させて前記表示部に表示させることを特徴とする表示装置。
2. 請求項１に記載の表示装置であって、
   前記通信ＩＦで取得された動画像情報及びＡＲ情報に基づく動画像及びＡＲタグは、前記表示部にストリーミングにより表示されることを特徴とする表示装置。
3. 請求項１に記載の表示装置であって、
   前記通信ＩＦで取得された動画像情報及びＡＲ情報はストレージにダウンロードされ、前記ストレージから読み出された前記動画像情報及び前記ＡＲ情報に基づき、動画像及びＡＲタグが前記表示部に表示されることを特徴とする表示装置。