JP2013176101A - メタデータを用いて複数の映像ストリームを処理する方法及び装置 - Google Patents

Abstract

【課題】映像シーケンスを他の映像シーケンス（又は静止ビデオ画像）にオーバーレイする方法及び装置を提供する。
【解決手段】メタデータを映像シーケンスに付加することである。このメタデータは、オーバーレイパラメータを含み、他の映像シーケンスへの又は静止画像への当該映像シーケンスのオーバーレイを制御するために使用され得る。この場合に、オーバーレイは、オーバーレイされる他の映像シーケンス又は画像から独立していても良い。映像シーケンス内で、オーバーレイパラメータに関連するある他の映像シーケンス又は映像のグループを区別することは可能である。更に、どのように他の映像シーケンスがオーバーレイされるかを定義する映像シーケンスにオーバーレイメタデータを挿入することが可能である。
【選択図】図１

Description

本発明は、複数の映像ストリームを扱う方法及び装置について記載する。具体的に、その方法及び装置は、特別のメタデータを用いることによって動的に１又はそれ以上の映像ストリームをオーバーレイすることを目的とする。

通常ハードディスクドライブ（ＨＤＤ）又は光ディスクに基づく音声／映像（Ａ／Ｖ）データのための再生装置は、更なるコンテンツをダウンロードするために、例えば、インターネットアクセス、ユニバーサルシリアルバス（ＵＳＢ）インターフェース等の、更なるデータにアクセスするための様々な可能性を有しうる。

幾つかのハイエンドのテレビ受像機は、ピクチャ・イン・ピクチャ（ＰＩＰ）技術を用いることによって、２又はそれ以上の番組を同時に見る可能性を提供する。しかし、これは、様々な独自仕様の技術的解決法を使用する。このようなテレビ受像機が同じスクリーン上に異なる映像シーケンスを提示する方法は柔軟性がなく、テレビ受像機の製造後に直ぐに確定される。

利用可能なＰＩＰ技術は、ＡＶコンテンツから取り出される如何なるヘルプ情報も伴わずに動作する。

映像オーバーレイのための記載される利用可能な技術は、柔軟性がない。従って、本発明は、より柔軟な方法で、映像シーケンスを他の映像シーケンス（又は静止ビデオ画像）にオーバーレイする方法及び装置を提供するという課題を解決する。具体的に、本発明は、例えば、番組提供者、予め録画されたＡＶコンテンツの作者、ユーザといった、番組の特有の視覚的態様に興味がある者に、このような映像オーバーレイの制御可能性を提供する。

本発明は、提示時間へと、いかにして異なる映像シーケンスをオーバーレイすべきかという決定をシフトするための方法を提供する。従って、本発明は、静的映像オーバーレイを、柔軟性のある動的映像オーバーレイ処理システムへと変更する。この変化により、例えば、コンテンツ提供者は、オーバーレイを制御できるようになる。それは、動的に映像シーケンスを結合するための主要なステップである。

本発明の要点は、メタデータを映像シーケンスに付加することである。このメタデータは、オーバーレイパラメータを含み、他の映像シーケンスへの又は静止画像への当該映像シーケンスのオーバーレイを制御するために使用され得る。原理上、オーバーレイされる映像シーケンスがこのようなメタデータを含めば十分である。この場合に、オーバーレイは、オーバーレイされる他の映像シーケンス又は画像から独立していても良い。しかし、映像シーケンス内で、オーバーレイパラメータに関連するある他の映像シーケンス又は映像のグループを区別することは可能である。更に、どのように他の映像シーケンスがオーバーレイされるかを定義する映像シーケンスにオーバーレイメタデータを挿入することが可能である。例えば、ディスプレイ内のある領域は、特定の場面に関してオーバーレイすることを禁止され得る。

コリジョン（ｃｏｌｌｉｓｉｏｎ）の場合のために、優先度が、単一の、幾つかの、又は全てのパラメータに関して定義されても良い。例えば、第１の映像シーケンスは、例えばタイムスタンプに関して、特定の場面を定義し、更に、この場面のために、オーバーレイされ得ない、ディスプレイ高さの２０〜８０％であって、ディスプレイ幅の０〜１００％である長方形領域を定義するメタデータを含みうる。第２の映像シーケンスは、このシーケンスがオーバーレイとして使用される場合に、それが、例えば、ディスプレイ幅の０〜１０％で、且つ、望ましくは、ディスプレイ高さの５０％で、即ち、左端において中心高さで、可視フレームにおいてレンダリングされるべきであると定義するメタデータを含みうる。この場合に、パラメータ“５０％高さ”が他よりも低い優先度を有するので、フレームを、それが禁止領域の外側に表示されるように、上又は下にシフトすることが可能である。第１のシーケンスにおける禁止領域が、また、より低い優先度を有するならば、即ち、それがオーバーレイされるべきでないならば、第２のシーケンスは、どちらの状態も満足されるように位置付けられ得る。第２の映像シーケンスが単独で表示されるならば、即ち、オーバーレイとして表示されないならば、これらのメタデータは無視される。

本発明の利点は、それが、様々な特徴を提供しうる点である。例えば、１又はそれ以上の映像シーケンスは、動かされ、拡大縮小（スケーリング）され、αブレンディングを受け、且つ／あるいは、背景映像シーケンス上にオーバーレイされ得る。αブレンディングは、場面間の滑らかな遷移のための共通の技術である。これらの特徴は、静的に利用可能である必要はなく、即ち、それらは、インターネットから又はフラッシュメモリから又は付加的なディスク（例えば、録画されている映画の更新。）から等、動的にダウンロードされても良い。

本発明に従って、特別のメタデータが、映像シーケンスと共に提供され、いかにして異なる（しかし決定された）映像シーケンスを“張り合わせる”べきかを示す。メタデータのフォーマットは、異なる再生装置がこのような種類のメタデータを扱う／解釈することができるように、標準化されるべきである。現在のところ、このようなメタデータは利用可能でない。

本発明に従う再生装置は適切なメタデータを解釈することができ、それは、重ね合わせ等のための処理に従って実行するようＨＷ／ＳＷ（例えば、３Ｄグラフィックアクセラレータ。）を有する。インターネットから入ってくるメタデータに関して、装置は、このようなデータをダウンロードするための設備を有しても良い。フラッシュカード読取器又はＵＳＢから入ってくるメタデータに関して、装置は適切なコネクタを有しても良い。更に、装置は、このようなメタデータを、例えばローカルＤＲＡＭといった、アクセス可能なメモリ領域に格納する設備を有する。

様々な可能性が、映像シーケンス及びメタデータを混合するために存在する。即ち、メタデータはＡＶストリームと交互配置（インターリーブ）され得、メタデータは別個のファイルに格納され得、あるいは、メタデータは、特別の映画のための映像ストリーム（例えば、映画監督のトーキングヘッド（ｔａｌｋｉｎｇ ｈｅａｄ）。）と共に同時に伝送され得る。メタデータが特別の映画のための映像ストリームと共に同時に伝送され得る場合に、かかる伝送は、重ね合わせ再生のための全ての必要な更なるデータを含む。更に、２又はそれ以上の特定の映像ストリームを重ね合わせるための様々な方法が存在しうる。故に、１よりも多いメタデータセットは、同じ映像シーケンスに利用可能であり得る。

本発明によって用いられるメタデータは、いかにして同じ映像スクリーン上で２又はそれ以上の映像シーケンスを重ね合わせるべきかを示す。かかる重ね合わせは、幅広い範囲で可能であり、即ち、非常に柔軟性に富む。それは、メタデータが、例えば、重ね合わされる映像シーケンス、重ね合わせタイミング、望ましくは、互いに対する映像ストリームのためのディスプレイの幾何学的態様に関する情報を含む。かかる情報は、特に、音声ストリームと、フェードイン／アウト、色範囲、ＰＩＰのための可視フレーム等のような特殊効果メタデータと、ストリームメタデータとに関して有用である。

本発明に従うフレームの重ね合わせのための装置を示す。 どのようにユーザが映画ディスク、余分のボーナス素材及び関連するメタデータを別々に注文することができるかを示す。 どのようにユーザが映画ディスク、余分のボーナス素材及び関連するメタデータを別々に注文することができるかを示す。 背景にサムネイル映像を重ね合わせることによって作成されたメニュー画像を示す。 図４のメニュー画像において特定のサムネイル映像が選択された場合を表す。 図５において選択されたサムネイル映像がアクティブにされた場合を表す。

図１は、どのように且つどの復号化ステップに関してどのようなメタデータが動的な映像の重ね合わせを実行するために使用されるのかを表すために、本発明に従うフレームの重ね合わせのための装置を示す。破線矢印は、どのようなメタデータが特定の符号化ステップを実行するために使用されるかを示す。実線矢印は、映像シーケンスデータのフローを示す。映像ストリームデータのフォーマットは、ステップごとに変化しうる。例えば、最初に、映像シーケンスデータは圧縮フォーマット（例えば、ＭＰＥＧ−２、又はＭＰＥＧ−４若しくはＶＣ−１等。）の状態にあり、次のステップで、それは、フレームバッファ（例えば、ビットマップ状のフォーマット。）に復号されている。最終的な重ね合わされた映像は、ＹＵＶ４：２：０フォーマットの状態にある。

更に、図１は、階層がメタデータ自体の中で与えられることを示す。重ね合わせタイミングメタデータは、幾何学メタデータ及び特殊効果メタデータを制御する。それは、例えば、スクリーン状のサブ映像シーケンスの位置が再生中に変化しうるので重要であるが、タイミングではない。例えば、サブ映像シーケンスは、水平に、滑らかに移動しても良く、あるいは、映像フレーム全体は、拡大及び／又は縮小されても良い。例えば、スクリーンは、ストリーム毎に１つのサムネイル映像を有して、異なるストリームの幾つかのサムネイル映像を表示し、ユーザは、メニューを用いて、これらのサムネイルの中から１つを選択する。特殊効果として、このようなサムネイル映像の解像度は、サムネイル映像がスクリーン全体を覆うまで拡大する。それは、選択が、フルスクリーンサイズでの映像の直後の再生に関係するという印象を直感的に与えうる。このことは、図４乃至６に表される。

更に、階層のより上位のレベルは、タイミングメタデータを制御することができる。これはユーザインタラクションでありうる。ユーザは、ＤＶＤによって使用される異なるプログラムチェーン（ＰＧＣ）のような異なる再生番組間で切り替えることができる。それは、再生リストのようなものである。即ち、ユーザは、他の重ね合わせる番組へ切り替えることができる。

メタデータの階層化により、上位レベルは、より低いレベルの設定に優先することができる。例えば、サブ映像は切り取られて、画素アスペクト比は変更され得る。故に、より低いレベルのメタデータが、デフォルトデータとして扱われるべきである。

有利に、このようなメタデータが別個のファイルとして記憶される場合、それは、ＸＭＬのようなオープンドキュメントフォーマットを用いて記憶されるべきである。メタデータが映像ストリーム自体に埋め込まれる場合、埋め込まれるメタデータに使用されるフォーマットは、映像ストリームフォーマットの特別な制約に従わなければならず、例えば、ＭＰＥＧ−２又はＭＰＥＧ−４映像ストリーム内のｕｓｅｒ＿ｄａｔａ（）フィールドにおいて開始コードを避けなければならない。

図２及び図３は、どのようにユーザが映画ディスク、（例えば、インターネットを介する）余分のボーナス素材及び関連するメタデータを別々に注文することができるかを示す。一例として、ユーザは、光ディスクとして映画を購入し、そのカバーを開き、監督のコメント映像シーケンスのバウチャーを確認する。ユーザは、コンテンツ提供者のウェブページ（例えば、ディズニー（登録商標）。）及び登録簿へ接続しなければならない。コンテンツ提供者のウェブページでの登録後、ユーザは、付加的な監督のコメント映像シーケンスへアクセスすることができる。ユーザは、自身のＤＳＬ接続を介して映像シーケンスをダウンロードする。ダウンロードが行われた後、ユーザは、その最も新しくダウンロードされたインセンティブを見ることを望む。ユーザは、ダウンロードされたインセンティブを再生装置のＨＤＤに置く。次いで、ユーザは、新しくダウンロードされた映像シーケンスの再生を開始する。再生装置は、挿入されているメタデータを認識する。故に、再生装置は、この映像シーケンスの再生が、特別な映画を対象としていることを知る。映画がまだ挿入されていない場合、再生装置は、（例えばＵＩを介して）ユーザに、ユーザが適切なディスクを挿入すべきことを知らせる。ディスクが挿入されると、再生装置は、（例えば、同じストリームに組み込まれている）インセンティブコンテンツと共に供給されたメタデータによって定義されるように、両方の映像シーケンスの再生を開始する。スクリーンには、監督の顔が重ね合わせられた映画が示される。監督は、現在示されている場面について話す。インセンティブ映像シーケンスは、メタデータの再生リスト、即ち、コメントされている部分の組を含む。故に、ユーザは、幾つかのコメントされている場面、例えば、以下のような再生リストの中から、１つを選択することができる：
１．監督が映画全体についてコメントしている；
２．監督がスタントについてコメントしている；
３．監督がＦＸシーンについてコメントしている；
４．役者１が官能的なシーンについてコメントしている；
５．役者２が撮影中の幾つかの面白い状況についてコメントしている。

この例で、２つの映画が利用可能であり（もとの映画及びインセンティブ映像シーケンス）、５組のメタデータがある。夫々の組は、主映像及びインセンティブ映像の異なる部分を結合し、どこでこれらの映像が重ね合わせられるか（幾何学的情報）、いつそれらが重ね合わされるか（同期化）、どの効果が使用されるか（例えば、αブレンディング。）、及び、いかにして両ストリームの音声を混合すべきかといった制御を設定する。ユーザインタラクションに関する情報でさえ、加えられても良い。例えば、様々な続行方法が提供され得る（例えば、“再生終了”及び“再生再開”及び“次のメタデータの組へ進む”。）。

この例で、主要な映画は、光ディスクのマスタを生成した後に終了される。しかし、コンテンツ提供者は、本発明に従うメタデータを用いて、それを適切な映像シーケンスと結合し、その結合したものを自身のインターネットポータルを介して利用可能にすることによって、後に、その映画に付加的な情報を加えることができる。有利に、コンテンツ提供者は、いつでも、このような機能により、映画に関する興味ある情報を加えることができる。顧客は、例えばニュースレター又はダイレクト電子メールを介して、通知を受けることができる。故に、より強い顧客維持が達成され得る。

映画製作会社は、コンピュータを使用した撮影をますます使用する。即ち、現在の映画における人工的に作られた場面の量は堅調に増える。従って、差分映像シーケンスを生成することが、引き続き、より容易となる。他の例として、ユーザは、成人映画を収めた光ディスクを購入する。しかし、映画の中のほとんどの人々は衣服を着用している。料金支払い後、ユーザは、コンテンツ提供者のインターネットポータルから、望む視聴を提供する特別の映像シーケンス情報をダウンロードすることができる。この特別の映像シーケンス情報（ＳＶＳＩ）は、画素ごとに変更される、成人映画の視覚的態様を変化させる差分映像シーケンスを含む。再生のために、再生装置は、更に供給される本発明のメタデータに従って、両方の映像シーケンスを重ね合わせる。付加された映像シーケンスは、幾つかの画素の視覚的態様を変化させる。この例では、それは、幾つかの場面において、幾人かの役者から特殊な衣服を取り除く。故に、顧客は、コンテンツ提供者に追加料金を支払い、インターネットから差分映像シーケンスをダウンロードすることによって、より裸に近い役者を自由に見ることができる。目に見える肌の量は、支払った料金の額に依存しうる。同様の例で、役者が映画の中で身に着けている衣服は、この機能を適用することによって、現在の流行に従って変更され得る。あるいは、映画の場面の背景（即ち、仮想的なロケーション。）は変更され得る。

更なる例で、ユーザは、映画を収めた光ディスクを購入する。幾人かの役者がこの映画の中で役を演じている。コンテンツ提供者は、映画を、（映像シーケンスとして）背景場面及び役者の頭部に分ける。背景場面及び役者の頭部の重ね合わせは、映画の実際の再生を実行しうる。本発明のメタデータは、いつ、どの頭部がフレーム内の正しい位置で背景映像と重ね合わせられるかを示す。それは、重ね合わせ処理を制御するために使用される。更に、本発明のメタデータは、表示される頭部に関する情報、即ち、その３次元（３Ｄ）の位置及びカメラに対する相対位置、頭部の照明レベル及び方向、物理的環境（例えば、風が吹く中、水中、遠心力。）などを含む。顧客は、役者を交換することを望むことがある。故に、ユーザは、望む役者（例えば、顧客自身。）の３次元の頭部に関する再生エンジン適正情報を与える。これは、頭部のスキャニング、例えば、所望の頭部の適切な３次元モデルを生成させる再生装置における幾つかのソフトウェアと、頭部の幾つかの電子写真とによって行われ得る。（現在のグラフィックアクセラレータにおいて使用される）幾つかの典型的な３次元エンジンにより、再生装置は、背景映像と重ね合わされる適切な頭部を実時間で生成することができる。現在の３Ｄエンジンは、例えば、風になびく長い髪のような、複雑な構成を扱うことすら可能である。第１の簡単な変形例のために、ユーザは所望の頭部をスキャンして、この情報をコンテンツ提供者に送ることが可能である。コンテンツ提供者は、重ね合わされた映像を生成し、これをユーザに送り返す。ユーザは、上述されたように、この受け取ったシーケンスを利用する。

しかし、最後の例は、コンテンツ提供者が背景映像及び頭部に分けられた映像を最初に生成するところの方法について記載する。更に、コンテンツ提供者は、どの頭部がどの位置で表示されるべきかを知らせるメタデータを提供する。コンテンツ提供者は、また、役者の３Ｄモデルと、いかにしてこの頭部の適切な投影を生成すべきかを再生装置に知らせるメタデータとを提供することもできる。

このようなコンテンツを有するディスクはマスタに置かれる。即ち、それは、映画自体のような固定コンテンツである。他の役者の顔は、ディスク（静的情報）に付加され得る。その場合に、ユーザは、購入したディスクのコンテンツを使用することによって、役者を交換することができる。更に、コンテンツ提供者は、自身のインターネットポータルからダウンロードすることによって、ボーナス素材として、この映画に関して他の役者を提供することができる。更に、コンテンツ提供者は、顧客から、必要とされる３Ｄモデルを生成するのに十分な適切な写真を受け取ることによって、映画に３Ｄモデルを置くことを申し出ることができる。更に、顧客が他のユーザと３Ｄモデルを交換することができることも可能である。故に、この例の再生装置は、重ね合わせの２つの方法をサポートする：
１）既に投影されている映像シーケンスと、背景映像（例えば、もとの役者頭部。）との重ね合わせ；
２）頭部の３次元モデルに基づいて再生中に実時間で計算される投影の重ね合わせ。付加的なメタデータ（例えば、頭部の位置及び照明に関する情報、物理的環境に関する情報など。）は、コンテンツ提供者によって提供される（インターネットを介してボーナス素材として配信され得る、あるいは、既にディスクに収められている）。

更なる例で、ユーザは、利用可能な映像に関するオーバービューを得るよう、自らのメニューを生成する。ユーザは本発明に従うメタデータを生成する。このメタデータは、どこに、どのように多くのサムネイル映像が背景映画と重ね合わされるかを示す。ユーザは、また、（ナビゲーションのために）選択されたサムネイルの挙動と、アクティブとなった後のサムネイルの視覚的態様とを記述しても良い。図４は、本例のために作成されたメニューを記載する。ユーザは、背景映像を有する３×３のサムネイル映像メニューを生成した。（例えば、ナビゲーションボタン上、下、左、右による）サムネイルの選択は、図５に示されるように、選択された映像シーケンスを僅かに拡大する。ユーザがこのサムネイルをアクティブにする場合（即ち、最終選択。）、サムネイルは、スクリーン全体を覆うまで大きくなる（図６参照。）。次いで、従来の再生が開始しうる。

この例で、ユーザ自身は、どこに映像が配置されるべきかを定義するメタデータを生成する。この場合、特定の提示される映像及びメニュー構成の知識は固定される必要はない。即ち、メニューの生成の間、どの特定の映像がメニュー内の特別の位置に提示されるかは不明であっても良い。即ち、重ね合わせは、（フォーマット及び解像度などを得るよう）映像ストリーム自体からはストリーム情報を、及び、ユーザのメニュー構成からは幾何学的情報及び情報を実時間で解釈することによって行われる。故に、かかるメタデータは必要であるが、通常は別々にされている。コンテンツ提供者は、このようなメニューを生成するよう幾つかのソフトウェア及び／又はテンプレートを提供することができる。再生装置は、このようなメニューの生成をサポートすることができうる。

本発明に従うメタデータは、違うように配置されても良い。

このようなメタデータは、重ね合わされた映像シーケンスとして、同じ媒体（例えば、ＨＤＤ、又は、例えばＤＶＤ、ＨＤ−ＤＶＤ若しくはブルーレイのような光ディスク。）上に配置されても良い。概して、それは、重ね合わされた映像シーケンスのうちの少なくとも１つとして同じ媒体上に配置され得る。

メタデータは、また、重ね合わされた映像シーケンスとして他の媒体上に配置されても良い。

更に、メタデータは、他のソース（例えば、ＵＳＢ、フラッシュメモリ、インターネットなど。）から別々に受け取られても良い。

映像シーケンス及びメタデータの混合に関する様々な可能性が存在する：
●メタデータは、ＡＶストリームと交互に配置され得る。

○これは、コンテンツ提供者が、オーサリングの間、映像の重ね合わせに関する何か又は全てを決定することを意味する。

○技術的に、これは、例えば、ＭＰＥＧ−２ビデオ若しくはＭＰＥＧ−４ビデオ又はＶＣ−１ストリームのｕｓｅｒ＿ｄａｔａ（）内にメタデータを記憶することによって行われ得る。

○他の代替案は、（例えば、ＢＤコンテンツの．ｍ２ｔｓで）トランスポートストリームの別々のトランスポートパケットにメタデータを記憶することである。

○しかし、このような形式のメタデータは、異なる再生装置によって読取可能となるよう特別な標準を必要とする。

●メタデータは、別々のファイルに記憶され得る。

○それは、メタデータがビデオシーケンスのオーサリング（ａｕｔｈｏｒｉｎｇ）の後にファイルへ結び付けられることを意味する。このような形式のメタデータは、（顧客忠誠心及び顧客追跡を実現するよう、）ユーザにコンテンツ提供者のウェブページを訪ねさせるインセンティブ又は自発登録のインセンティブなどとして、コンテンツ提供者のウェブページからダウンロードされる付加的なボーナス素材でありうる。

○技術的に、特別のファイルにメタデータを記憶することによりこれをすることができうる。

○代替案は、このメタデータを、例えば、ブルーレイの“．ｃｌｐｉ”（クリップインフォ（ＣｌｉｐＩｎｆｏ））ファイル若しくは“．ｍｐｌｓ”（プレイリスト（ＰｌａｙＬｉｓｔ））ファイル、又は（ＨＤ−）ＤＶＤの“．ＩＦＯ”ファイルのような他の情報ファイルに記憶することであり得る。

○しかし、このような形式のメタデータは、異なる再生装置によって読取可能となるよう特別な標準を必要とする。

●メタデータは、例えば特別なディスク上に、特別な映画に関する映像ストリーム（例えば、映画監督の顔（語り手の顔（ｔａｌｋｉｎｇ ｈｅａｄ）））と共に供給され得る。故に、かかる供給は、重ね合わせ再生のための全ての必要な付加的なデータを含む。

●同一の映像ストリームを重ね合わせるための様々な方法がある。故に、１よりも多いメタデータセットが、同じ映像シーケンスに対して利用され得る。それらは、暗に又は明示的に優先順位を付けられても良く、あるいは、ユーザは、好ましいメタデータセットを選択しても良い。

重ね合わされるべき映像シーケンスの配置：
●このような映像シーケンスは、同じ媒体（例えば、ＨＤ又は光ディスク。）に配置され得る。

●このような映像シーケンスは、異なる媒体に配置され得る。同時再生はネットワークを介して実現され得る。

●映像シーケンスは、例えばストリーミング映像として、他のソース（例えば、ＵＳＢ、フラッシュメモリ、インターネットなど。）から別々に受け取られ得る。例えば、“映画監督”シーケンスは、コンテンツ提供者のインターネットサーバから直接に入り、一方、実際の映画は、光ディスクから読み込まれる。再生装置は、本発明に従うメタデータを解釈することによって、両方の映像シーケンスを同時に重ね合わせる。

メタデータのコンテンツ：
メタデータは、いかにして同じ映像スクリーンに２又はそれ以上の映像シーケンスを重ね合わせるべきかを示す。有利に、かかる重ね合わせは、幅広い範囲で可能であり得る。即ち、極めて柔軟性に富む。それは、メタデータが、例えば：
●幾何学的表示メタデータ
○ディスプレイ内の位置
○提示されるフレームの拡大縮小
●可能な拡大縮小レベルは、このような拡大縮小の実現を簡単にするよう、即ち、ハードウェア要求を簡単にするために、固定された設定値に制限されても良い；
○表示前の回転
●可能な回転レベルは、このような回転の実現を簡単にするよう、即ち、ハードウェア要求を減らすために、固定された設定値に制限されても良い；
○もしあれば、歪曲（例えば、アスペクト比。）
●重ね合わせアスペクト比。例えば、メタデータは、映像ストリームが示す以外の他のアスペクト比を強要する；
●映像全体を水平に且つ／あるいは垂直にひっくり返す；
○もしあれば、フレームクロップ情報
○重ね合わせ画素アスペクト比。例えば、メタデータは、映像ストリームが示す以外の他のアスペクト比を強要する；
●重ね合わせタイミングメタデータ
○タイミング情報及びストリームアクセスポイントは、重ね合わせ処理全体を同期させるために使用される。これは、映像フィールド、映像フレーム若しくは音声フレーム精度で、あるいは、おおまかに、同期しうる；
○特定のタイミング情報が利用可能でない場合、デフォルト値が代わりに使用され得る；
○概して、タイミング情報は、開始時間、終了時間、存続時間、又はこれらのいずれかの混合を示すことができる；
○ｈｔｔｐ：／／ｗｗｗ．ｄｖｄ−ｒｅｐｌｉｃａ．ｃｏｍ／ＤＶＤ／ｐｇｃａ．ｐｈｐの下でインターネットにおいて公開されているＤＶＤにおけるプログラム・チェーン（ＰＧＣ）のような映像シーケンスを介してナビゲートするための情報；
●（終わりのない）ループ、又は、１つの完全な提示の後の停止、
●再生のための映像シーケンスの追加注文部分、
●（ＰＧＣのような）可能なユーザインタラクションの指示、
○異なる幾何学的メタデータ及び／又は特殊効果メタデータの間を切り替えるための情報。これは、映像フィールド若しくは映像フレーム精度で、あるいは、おおまかに、同期しうる；
○情報は異なる精度レベルで提供され得る；
●大まかな同期化（即ち、通常、幾つかのフレーム期間の順序での同期化。）、
●正確な同期化（即ち、フレーム精度又はフィールド精度での同期化。）、
○音声のための情報；
●適切な音声ストリームへの切替、又は
●音声ストリームを重ね合わせる指示（音声ストリームが重ね合わされるべきかどうかの指示）、
●重ね合わせレベル（例えば、どの音声ストリームが前景に又は背景に置かれるべきかの指示）、
●２Ｄ又は３Ｄ配置（特定の音声の音が入ってくるべき／聞こえるべき幾何学的配置の指示）、
●混合前の夫々の音声ストリームのボリュームレベルの指示、
●音声効果（例えば、音声への反射音の付加。）、
●かかる音声の挙動が利用可能である場合に、それらは他のメタデータ形式の音声に対する特殊効果に優先する、
●特殊効果メタデータ
○フェードイン／アウト；
○色変更；
○フレーム境界のためのフレーム；
○使用される重ね合わせ方法の指示；
●透明度に関するクロマキーイング情報（映像圧縮は同じ透明領域内で様々な値を与えるので、色領域が主に必要とされうる。）、
●以下に関する全体的な透明度の値、
●単一の映像シーケンス、
●幾つかの映像シーケンス、
●背景映像へのサブ映像の付加、
●サブ映像と背景映像との排他的ＯＲ結合、
○様々な表示形式に対する様々な効果、例えば、透明度の値は使用されるディスプレイの種類に依存する；
○多数の他の効果が可能である；
○音声効果；
●音声効果（例えば、音声への反射音の付加。）、
●ストリームメタデータ
○映像シーケンスに関する詳細な技術情報；
●圧縮フォーマット（例えば、ビットマップシーケンス、ＭＰＥＧ−２、ＭＰＥＧ−４、ＶＣ−１など。）、
●解像度、
●（フレームに関する及び画素に関する）アスペクト比、
●使用される色空間（例えば、ＨＤＴＶのためのＩＴＵ７０９又はＳＤＴＶのためのＩＴＵ６２４など。）、
●フレームレート、
●インターレース／プログレッシブ、
●もしあれば、クロマキーイング値、
●輝度の平均又は中間値、
○映像シーケンスに関する詳細なコンテンツ情報；
●ジャンル、
●役者、
●その他、
○音声特性；
●音声ストリームのボリュームレベルの指示、
●２Ｄ又は３Ｄ配置（特定の音声の音が入ってくるべき／聞こえるべき幾何学的配置の指示）、
●混合前の夫々の音声ストリームのボリュームレベルの指示、
に関する情報を含むことを意味する。

メタデータが第２のサブストリームにある場合、即ち、他へオーバーレイされるべき場合、以下の事項が考えられる。それは、
ａ）映像エレメンタリストリーム（ｕｓｅｒ＿ｄａｔａ（）、ＭＰＥＧ−２、ＭＰＥＧ−４ビデオ、ＶＣ−１）に、
ｂ）映像ＥＳが含まれるトランスポートストリーム（ｍ２ｔｓ）に（おそらく、セカンダリオーディオも同じトランスポートストリーム（ＴＳ）に含まれる）、
ｃ）対応するＴＳのクリップインフォ（ＣｌｉｐＩｎｆｏ）ファイル（ｃｌｐｉ）に、
ｄ）プレイリスト（ＰｌａｙＬｉｓｔ）ファイル（ｍｐｌｓ）に、
ｅ）別個のメタデータファイルとして
配置され得る。

メタデータコンテンツ／パーパスの例
ａ）（正確に変更されたフレームを含む）位置、
ｂ）（動的な又はフレーム精度の変更を含む）拡大縮小、
ｃ）所定の一定のスケーリング（拡大縮小）係数からの選択、
ｄ）透明度に関するクロマキーイング情報（ＮＢ：圧縮による色範囲を考慮）、
ｅ）相対的な透明度値、
ｆ）ディスプレイ（ディスプレイの種類）依存の透明度、
ｇ）ＨＤＴＶに関する色範囲情報ＩＴＵ−（Ｔ又はＲ）；ＳＤＴＶに関するＩＴＵ６２４、
ｈ）重ね合わせ画素アスペクト比情報、
ｉ）反転（フリップ）情報、
ｊ）回転情報、
ｋ）効果、
ｌ）ＰＩＰのためのフレーム（ピクチャ・イン・ピクチャ）、
ｍ）非同期ＰＩＰのための開始及び停止情報、
ｎ）魅力的な視覚的態様で均一の／一様の多数のＰＩＰを実現するベース輝度、
ｏ）両方の画像に関する計算（例えば、ラスタ演算）（例えば、画像対象の減算）。

本発明に従う全てのメタデータは、随意に、サブビデオフレームを変更することもできる。

更に、全てのメタデータは、デフォルト値のみに関する。即ち、それらは、例えば、ＢＤ−ＪａｖａＡＰＩ呼び出しによって上書きされ得る。その場合に、上述のメタデータは、かかるデフォルト値へと縮退する。

セカンダリビデオは、通常、インターネットからダウンロードされ得るコンテンツであり、次いで、ローカルの記憶装置に格納される。従って、混合メタデータは、必ずしも光ディスク（例えば、ＲＯＭディスク。）に記憶されるわけではない。また、プライマリビデオデータ及びセカンダリビデオデータは、両方とも、同じデータ担体、例えば、光ＲＯＭディスクである。

１つの例となる用途は、例えば、スタートタイムスタンプ及びエンドタイムスタンプとして表される第１の映像の特定の場面に関して、本発明に従うメタデータが、ディスプレイのどの領域が比較的暗いか、及び／又は、どの領域が比較的明るいかを定義することである。この情報は、また、かかる場面が背景となるオーバーレイのための禁止領域又は優先領域と組み合わされ得る。第２の映像が別個の窓で当該場面に重ね合わされるべき場合、第２の映像は、例えば、そのコンテンツがより明るいことを示す、又は、そのコンテンツが暗い領域において提示されるべきことを示すメタデータを含み、窓は、これら全ての必要条件を満足するように、自動的に位置付けられ得る。即ち、それは、“暗”として示される領域に位置付けられる。更に、背景が変わる場合、第１の映像のメタデータはかかる変化を示し、第２の、重ね合わされる映像は、全ての状態が満足されるところの他の領域へと自動的に動かされ得る。かかる移動は、望ましくは、ジャンプではなく、滑らかなシフトである。

他の例で、第１の映像ストリームは、例えば、合成的にレンダリングされたゲームである。例えばゲームの中の他のキャラクタが有する異なる視界を提供する更なる映像ストリームが重ね合わされても良い。例えば、プレイヤーＡは、他のプレイヤーＢ及びＣの同時の行動が示されるところの領域を自身のスクリーン上に有する。これらの他のプレイヤーは、例えば、オンライゲーム又は仮想空間における人間であっても良い。従って、他のストリームが、プレイヤー自身の視界を示す背景場面に重ね合わされる。オーバーレイフレームの位置は、夫々のストリームに添付されているメタデータによって定義される。かかるメタデータは、また、例えば、夫々のプレイヤーが実行する行動に依存しても良い。

更なる他の実施例で、第１の映像ストリームは、例えば、メニューとして役割を果たす背景のような、静止画像又は連続的に繰り返される短い場面である。幾つかの映像ストリームは、例えば、ユーザが自身の映像ライブラリにおいて有する映像のサマリーに対応して、重ね合わされる。第１の映像ストリームは、１．夫々の映像はアイコンで示され得、２．所定の数の映像アイコンが表示され得、且つ、３．ある空間が、背景が見られうるが、夫々のアイコンが可能な限り大きいようにアイコンの間に残されているように、映像ストリームに表示領域を提供する添付のメタデータを有する。例えば、メタデータは、１２の映像ストリームが４列３行で表示され、各列が２５％の幅を有し、各行が３３．３％の高さを有し、各アイコンがその幅及び高さの８０％、即ち、その領域の８１％を使用し、夫々の端にある残りの１０％で背景が見られるように、定義する。同様の例で、背景は表示されるべきではなく、利用可能な映像ストリームの数とは無関係に、各アイコンはスクリーン上で最大領域を有するべきである。例えば、ライブラリに２つの映像がある場合に、それらの夫々は表示領域の半分を占める。概して、映像の夫々は、（一定の最大サイズへと）同じ表示比率を得る。これは、背景に添付されているメタデータによって動的に制御される。

特定の効果として、記載される関連する形式の領域定義は、全ての表示サイズ又は解像度への適応を夫々可能にする。

Claims (24)

1. メタデータが映像ストリームの少なくとも１つに関連付けられる場合に、動的に２又はそれ以上の映像ストリームをオーバーレイする方法であって、
   前記映像ストリームの１つである第１の映像ストリームを表示するステップと、
   前記メタデータを取り出すステップと、
   前記取り出されたメタデータがいかにして前記２又はそれ以上の映像ストリームをオーバーレイすべきかを定義することを検出するステップと、
   前記メタデータによって定義されるように前記第１の映像ストリームに少なくとも第２の映像ストリームをオーバーレイするステップとを有する方法。
2. 前記メタデータは、前記２又はそれ以上の映像ストリームをオーバーレイする表示領域を定義する位置データを含み、
   前記表示領域は表示サイズに関連する、請求項１記載の方法。
3. 前記メタデータは、前記第１の映像ストリームに前記第２の映像ストリームをオーバーレイする時間を特定するタイミング情報を含む、請求項１又は２記載の方法。
4. 前記メタデータは、前記位置データに関する優先度を含み、
   コリジョンの場合に、より高い優先度を有する位置データが適用される、請求項２又は３記載の方法。
5. 前記メタデータは、フォーマット情報、コンテンツ情報、及び／又は、前記メタデータが関連付けられる映像データの音声特性を更に含む、請求項２乃至４のうちいずれか一項記載の方法。
6. 前記メタデータは、プレイリストによって映像ストリームに関連付けられる、請求項１乃至５のうちいずれか一項記載の方法。
7. 前記メタデータは、前記第１の映像ストリームに関連付けられ、どのように前記少なくとも第２の映像ストリームが他の映像ストリームにオーバーレイされ得るかを定義する、請求項１乃至６のうちいずれか一項記載の方法。
8. 前記メタデータは、前記第２の映像ストリームに関連付けられ、どのように前記第２の映像ストリームが他のストリームにオーバーレイされ得るかを定義する、請求項１乃至６のうちいずれか一項記載の方法。
9. 前記メタデータは、前記第２の映像ストリームに関する拡大縮小情報又は透明度情報を含む、請求項１乃至８のうちいずれか一項記載の方法。
10. 前記メタデータは、前記第２の映像ストリームに関する色範囲情報、反転情報、及び／又は回転情報を含む、請求項１乃至９のうちいずれか一項記載の方法。
11. 前記メタデータは、例えば、フェードイン／フェードアウトデータ、色範囲データ、フレーム境界に関するフレームデータ、又は使用されるべきオーバーレイ方法の指示といった特殊効果データを含む、請求項１乃至１０のうちいずれか一項記載の方法。
12. 前記メタデータは、特定の表示形式に関してのみ前記透明度情報及び／又は前記特殊効果データを定義する、請求項９乃至１１のうちいずれか一項記載の方法。
13. 前記第２の映像ストリームは、画素レベルで前記第１の映像ストリームの視覚的態様を変化させる差分映像データを含む、請求項１乃至１２のうちいずれか一項記載の方法。
14. 前記メタデータが投影情報を含む場合に、
    ３次元モデルを定義するデータを発生又は受信するステップと、
    前記投影情報に従って前記３次元モデルの投影を計算するステップと、
    前記投影のデータを差分映像データとして前記第２の映像ストリームに含めるステップとを更に有する、請求項１３記載の方法。
15. 前記メタデータは提示の際に変更され得る、請求項１乃至１４のうちいずれか一項記載の方法。
16. 前記第２の映像ストリームが選択されることを検出するステップと、
    前記検出時に、前記第２の映像ストリームに関する表示領域を自動的に増大させるステップとを更に有する、請求項１乃至１５のうちいずれか一項記載の方法。
17. 前記メタデータは、位置データ、タイミングデータ及び特殊効果データを含み、
    階層が存在し、該階層は、前記タイミングデータが前記位置データ及び前記特殊効果データを制御することを定義する、請求項１記載の方法。
18. 前記第１の映像ストリームに関連付けられる第１のメタデータは、表示領域の輝度レベルを示し、前記第２の映像ストリームに関連付けられる第２のメタデータは、前記第２の映像ストリームの輝度レベル指示を含む場合に、
    前記第１の映像ストリームの前記表示領域の前記輝度レベルと、前記第２の映像ストリームの前記輝度レベル指示とに基づいて、自動的に位置情報を発生させるステップを更に有し、
    前記第２の映像ストリームは、前記発生した位置情報に従って、前記第１の映像ストリームにオーバーレイされる、請求項１乃至１７のうちいずれか一項記載の方法。
19. メタデータが映像ストリームの少なくとも１つに関連付けられる場合に、動的に２又はそれ以上の映像ストリームをオーバーレイする装置であって、
    前記メタデータを読み出して、取り出す手段と、
    前記２又はそれ以上の映像ストリームをオーバーレイする手段とを有し、
    前記取り出されたメタデータは、いかにして前記映像ストリームをオーバーレイすべきかを定義する装置。
20. 前記取り出されたメタデータに基づいて、第１の映像ストリームに少なくとも第２の映像ストリームをオーバーレイする表示領域を定義する位置データを生成する手段を更に有し、
    前記表示領域は表示サイズに関連する、請求項１９記載の装置。
21. 前記メタデータから時間同期情報を取り出す手段と、
    前記オーバーレイされる映像ストリームの間で時間同期を実行する手段とを更に有し、
    前記時間同期は、前記時間同期情報に依存して、フレーム／フィールド精度で、あるいは大体である、請求項１９又は２０記載の装置。
22. 前記メタデータが投影情報を含む場合に、
    ３次元モデルを定義するデータを受信する手段と、
    前記投影情報に従って前記３次元モデルの投影を計算する手段と、
    前記投影のデータを差分映像データとして前記第２の映像ストリームに含ませる手段とを更に有する、請求項１９乃至２１のうちいずれか一項記載の装置。
23. 提示の際に前記メタデータを変更する手段を更に有する、請求項１９乃至２２のうちいずれか一項記載の装置。
24. 前記第２の映像ストリームが選択されることを検出手段と、
    前記検出時に前記第２の映像ストリームに関する前記表示領域を自動的に増大させる手段とを更に有する請求項１９乃至２３のうちいずれか一項記載の装置。
    

Images