JP2013518458A - デジタルビデオストリーム内の情報及び／又はアプリケーションデータを転送する方法、及び、ビデオストリームを生成及び再生するための関連装置 - Google Patents

Abstract

本発明は、デジタルビデオコンテンツ作成、配布及び表示を行うシステムに関する。デジタルビデオストリーム内にデータを転送する方法であって、デジタルビデオストリームは、表示されない情報及び／又はアプリケーションデータを含み、少なくとも１つのフレームは表示される画像を含み、少なくとも１つのフレームは、画像の画素数よりも多い数の画素数を有する。方法では、上記フレームの画像に占有されていない画素に、情報及びアプリケーションデータを入力する。方法はまた、フレーム内に情報及び／又はアプリケーションデータを搬送するビデオストリームを再生する方法に関する。
【選択図】図２

Description

本発明は、概して、デジタルビデオコンテンツの生成及び表示に関する。

より詳細には、本発明は、デジタルビデオコンテンツ内の情報及びアプリケーションデータを転送するためのビデオ符号化及び復号化技術の使用、及び、このようなコンテンツを生成及び再生するのに使用される装置に関する。本発明は、好ましくは、デジタル立体視ビデオストリームの符号化及び復号化に適用可能であり、また、当該立体視ビデオストリームの生成及び再生に使用されるデバイスに実装される。

周知のように、デジタル形式のビデオコンテンツを配布するには、ブロードキャストの前に又は当該コンテンツを大容量メモリに格納する前に、ビットレートを低くするべく、符号化（圧縮）技術の適用を必要とする。

コンテンツを再生するには、ユーザは、通常、エンコーダによって実行されるオペレーションの逆を行う展開（decompression）技術が適用される好適なデコーディング（復号化）装置が使用される。

ビデオコンテンツは、異なるフォーマットを有する場合がある。例えば、アーカイブ型のコンテンツは、従来の４：３形式の特徴を有するのに対して、最近のコンテンツでは、１６：９形式の場合がある。映画作品からのコンテンツは、様々なフォーマットを有する。コンテンツは、異なるスクリーン形式を有する表示装置で再生される。その結果、特定の転送ネットワーク又は大容量メモリ上のコンテンツの配布は、視聴者の好みに依存するが、表示適用化及び最適化技術の適用が伴う。

例えば、４：３のコンテンツは、視聴者が変形されていない画像を観察することを望む場合には、２つの縦の黒色の帯を挿入することにより、１６：９の表示装置で表示させることができる。

このような適応化及び最適化技術を適切に適用可能な表示装置に対して、受信される画像のフォーマットについての情報が提供される必要がある。

これは、２次元（２Ｄ）コンテンツの世界のみで必要なのではなく、立体視（３Ｄ）コンテンツでは、なお更必要となる。

例えば、立体視ビデオストリームは、ビデオを観察するユーザの右目及び左目をそれぞれ対象として好適に配置される右画像及び左画像を含む複合画像を含んでもよい。"横並び"のフォーマットでは、右画像及び左画像の２つが水平方向にサブサンプリングされて、複合画像の左半部及び右半分をそれぞれ占めるように配置される。"縦並び"のフォーマットでは、右画像及び左画像が縦方向にサブサンプリングされて、複合画像の上半分及び下半分にそれぞれ配置される。

一方で、表示装置の中には、立体視画像を表示するのに様々に異なる技術を採用する場合がある。表示装置が、使用されている技術に応じて正しくビデオを表示することを可能にするためには、表示するビデオストリーム内の複合画像のフォーマットを信号で通知することが適切であると考えられる。実際に、右画像及び左画像を再構築することを可能とするために、デコーダは、これら画像が複合画像内でどのように配置されているかを知る必要があり、この情報がなければ、画像を再構築することができず、３Ｄコンテンツを正しく表示することができない。

現在では、情報及び／又はアプリケーションデータをビデオストリームに入力するための様々な方法が存在する。

例えば、アナログテレビでは、この種のデータは、垂直帰線区間に入力されている。デジタルテレビでは、この垂直帰線区間は存在しないため、データは、ビデオ部分とは別のビデオストリームの好適なセクションで転送される。例えば、ＭＰＥＧ２転送ストリームでは、２Ｄ画像のフォーマットについての情報を含む好適な信号通知テーブルが知られている。

符号化されたデジタルビデオストリーム内の信号通知データを転送するのに、ヘッダを使用することが知られている。

この情報及び／又はアプリケーションデータは、エンコーダとデコーダとの間の配信網の該当部分にのみ存在し、その部分のみで使用可能である。低い周波数（スローモーション表示）であっても、映像品質を損なうことなく処理を行う又は再生させることを可能にするために、画像生成（プロダクション）レベルでは、実際にはビデオコンテンツは圧縮されていない（又は、低い圧縮率で圧縮されている）。

本発明の課題は、デジタルビデオコンテンツ内の情報及び／又はアプリケーションデータを転送する代替の方法及び代替のシステムを提供することである。より詳細には、本発明は、２Ｄコンテンツと３Ｄコンテンツの区別なく適用可能なデータ転送方法を提供することを目的とする。

本発明の別の課題は、デジタルビデオコンテンツを生成中であっても、データを利用可能とする情報及びアプリケーションデータの転送を行うための方法及びシステムを提供することである。

本発明のこれら及びその他の目的は、本明細書の一部を構成する添付の特許請求の範囲に記載された特徴を組み込んだ、ビデオストリーム内の情報及び／又はアプリケーションデータを転送する方法及びシステム（並びに、このような方法を実装する装置）により達成される。

詳細には、本発明の基本となる１つの着想は、デジタル立体視ビデオストリームの特徴についての情報、例えば、ビデオストリームのフォーマットのようなデータを、ビデオストリームを構成するフレームの一部領域に入力することである。詳細には、情報及び／又はアプリケーションデータが、有効な視覚情報、すなわち表示される画像に属する情報を含まないフレーム行（ライン）に入力される。このようにして、情報及び／又はアプリケーションデータが、（フレームに含まれる）画像と共に移動するので、送信システムの変更によりビデオに関連付けられているメタデータが失われるのを防ぐことができる。

情報及び／又はアプリケーションデータが、表示される画像の画素と混合されないので、当該情報及び／又はアプリケーションデータは、不可視であり、視聴者の画像の観察を妨げない。

より詳細には、情報及び／又はアプリケーションデータは、フレームの最初の行（ライン）又は最後の行に入力されるので、視覚情報（例えば、複合画像）は、不可視情報（情報及び／又はアプリケーションデータ）から容易に分離可能である。情報及び／又はアプリケーションデータを、最初の８つのラインに入れるか、又は、最後の８つのラインに入れるかの選択は、高画質コンテンツのＨ．２６４圧縮（２Ｄ又は３Ｄの何れか）の場合に特に好適である。Ｈ．２６４符号化については、ＩＴＵ−Ｔドキュメント"H.264 Advanced video coding for generic audiovisual services（一般的な視聴覚サービスのためのＨ．２６４アドバンストビデオコーディング）"に記載されている。

Ｈ．２６４符号化フォーマットによれば、ビデオストリームを構成する各画像は、いわゆる１６×１６画素の大きさの"マクロブロック"へと分割される。マクロブロックはそれぞれ、１６×１６画素輝度行列を含み、当該輝度行列と同じ領域をカバーする８×８画素行列は、２つのクロミナンス信号（低い解像度を有する）に使用される。その結果、１９２０×１０８０画素の画像が、下部に８つの行を加えた１９２０×１０８８画素の行列によって表される、すなわち、各画像は、マクロブロックの整数値に分割される必要があり、１０８０は１６で割りきれないことから、８つの行が付加される。本発明では、実際の画像で占有されていないこの８つの行を使用して、情報及び／又はアプリケーションデータを送信する。

本発明の更なる目的及び利点が、以下に記す実施形態を含む詳細な説明から明らかとなるであろう。なお、実施形態は、例示のために提供されており、本発明を限定することを意図していない。

幾つかの好ましい及び有効な実施形態が、添付の図面を参照して、非制限的な例として、以下に記載される。

図面は、本発明の様々な側面及び実施形態を示しており、適切であると考えられる場合には、同様な構造、構成要素、材料及び／又は要素には、複数の図面間において、同様な参照番号が付与されている。

図１は、ビデオコンテンツの生成から実現までの様々な段階を示したフローチャートである。 本発明の第１実施形態に係る、立体視ビデオストリームを生成及び配信するためのシステムを示した図である。 本発明に係る立体視ビデオストリームを再生するシステムの一例が示されている。 本発明に係る立体視ビデオストリームを再生するシステムの一例が示されている。 本発明の第２実施形態に係る、立体視ビデオストリームを生成及び配信するシステムを示した図である。 本発明の第３実施形態に係る、立体視ビデオストリームを生成及び配信するシステムを示した図である。 本発明の第４実施形態に係る、立体視ビデオストリームを生成及び配信するシステムを示した図である。 本発明の第５実施形態に係る、立体視ビデオストリームを生成及び配信するシステムを示した図である。 本発明の第６実施形態に係る、立体視ビデオストリームを生成及び配信するシステムを示した図である。 本発明の第７実施形態に係る、立体視ビデオストリームを生成及び配信するシステムを示した図である。

図１には、デジタルビデオコンテンツの生成から実現までのプロセスが概略的に示されている。第１段階１００では、コンテンツが生成及び処理される。この段階は、プロダクションと称され、ビデオカメラによって画像を取得する、コンピュータグラフィックスによってビデオコンテンツを作成する、得られた画像をミックス及び編集する、並びに、編集した画像を高品質マスタに（すなわち、圧縮しない又は低圧縮で）記録するといった段階が含まれる。

続いて、ビットレートを下げてユーザが（例えば、ＤＶＤ又はブルーレイのような光媒体に）画像を記憶可能とするように、又は、放送又は情報ネットワークを介して配信可能となるように、このように作成されたビデオコンテンツが符号化（エンコード）される。この段階は、配信と称され、図１では参照番号２００で示されている。

本明細書の目的によれば、最後に実行される段階は、実現段階３００と称され、配信されたビデオコンテンツが、好適なデコーダ（例えば、ＤＶＤリーダ又はセットトップボックス）により復号化（デコード）されて、画面に表示される。

図２には、本発明の第１実施形態に係る立体視ビデオストリーム２を生成するシステムが示されている。図２には、図１を参照して説明した生成段階及び配信段階に関する技術的項目が幾つか描かれている。

システムは、１対のビデオカメラを２組、３ａ、３ｂ備えているが、ビデオカメラの組の数は一例に過ぎず、１対のビデオカメラが１組だけ備えられていてもよいし、１０組以上備えられてもよい。また、１対のカメラではなく、２つの画像を取得可能な１つの装置として統合してもよい。

各組の２つのビデオカメラは、２つの異なる奥行きの画像を取得する。そして、ビデオカメラは、右画像シーケンス４及び左画像シーケンス５を生成し、生成されたシーケンスをマルチプレクサ６が受信し、対応するビデオストリームのフレームに入力する。マルチプレクサ６は、シーケンス４及びシーケンス５に属する右画像及び左画像の１対を結合して、複合画像Ｃとし、複合画像をディレクションミキサ１０へと出力する。一実施形態において、マルチプレクサ６によって生成される複合画像Ｃは、１０８０×１９２０画素の画像である。

ミキサ１０の出力信号は、圧縮のために直接エンコーダ８に送信されてもよいし、又は、符号化の前に、記憶されて更なるポストプロダクション処理が行われてもよい。図２では、複合画像を処理するために使用される編集及びポストプロダクションシステム７は、点線で示されている。

システム７によって処理されてもよい複合画像は、エンコーダ８に供給されて、そこで画像が圧縮されて、送信及び／又は記憶に適したフォーマットに符号化される。望ましい実施形態では、エンコーダ８は、以下に詳細に説明するように、データをビデオストリームに入力するべく好適に改良されたＨ．２６４エンコーダである。そして、エンコーダ８は、１０８８×１９２０の行列によって送信されるフレームのシーケンスを含むビデオストリームを生成する。最初の１０８０行は、受信された入力複画像（Ｃ０）を含み、最後の８行のうちの１以上は、情報及び／又はアプリケーションデータを含む。

図２の例では、システムは、情報及び／又はアプリケーションデータとして、フレームに入力される情報をエンコーダ８に提供する手段を備える。

一実施形態では、手段９は、情報及び／又はアプリケーションデータを手動でフレームに入力可能とする手段である。例えば、このような手段は、ユーザが手動でフレームに配置するべきデータを入力するパーソナルコンピュータであってもよい。これに替えて、挿入手段９は、エンコーダ８に好適に接続されるキーボード又はタッチスクリーン入力周辺機器のようなデータ入力デバイスであってもよく、それにより、ビデオストリームによりフレーム内に搬送されるべき情報をユーザが提供可能としてもよい。

エンコーダ８に供給される情報は、様々な種類であってもよく、また、異なる機能を有していてもよい。具体的には、このような情報は、右画像及び左画像を再構築するべくデコーダによって使用され、フレームパッケージ情報（すなわち、複合画像内における右画像及び左画像の配置）を含んでもよい。

挿入手段９から上記のような情報が受信されると、エンコーダ８は、入力複合画像、及び、デコーダが右目及び左画像を再構築可能とし正しく表示されるような情報及び／又はアプリケーションデータの両方を含むビデオストリームを出力する。

エンコーダ８により生成された立体視ビデオストリーム２は、好適な媒体（ＤＶＤ、ブルーレイ、大容量メモリ、ハードディスク等）に記憶される、又は、放送又は情報通信ネットワークのような通信ネットワークを介して送信される。

図２の例において、現在のＨ．２６４規格の仕様に従って符号化される出力信号は、復号化時に画像を適切に区切る（切り出す）ようにデコーダに指示する情報（クロッピングウィンドウ（cropping window）、すなわち、画像を区切るウィンドウ）を含む。好ましい実施形態では、エンコーダ８は、デコーダに破棄する前に付加された行を分析するべきだと知らせるための好適な情報をメタデータに挿入する。このようなメタデータは、例えば、Ｈ．２６４符号化のＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットのような好適なデータパケットに配置されてもよい。次に、配信網の他端について、すなわち、受信及び表示／再生側について説明する。図３ａには、図２のシステムによって生成及び配信されたビデオコンテンツを再生するためのシステム３０００が概略的に示されている。

システム３０００は、取得ブロック３１１０を介してビデオストリーム２を取得するデコーダ３１００を備える。取得ブロック３１１０は、無線（例えば、地上ネットワーク又は衛星ネットワークを介して）ブロードキャストされるビデオストリームを受信するためのチューナ、ケーブル（同軸ケーブル、光ファイバ、重信ケーブル等）で送信されるビデオストリームを受信するためのデータ入力装置、及び、光学媒体（例えば、ＤＶＤ又はブルーレイ）又は大容量メモリにビデオ信号として記録されたビデオストリームを読み出すためのリーダのうちの１以上を含んでもよい。ブロック３１１０で取得されたビデオストリームは、復号化ブロック３１２０で復号化され、具体的には、復号化されたビデオストリーム２から抽出された２つの画像（右画像及び左画像）シーケンスを出力する改良されたＨ．２６４デコーダによって復号化される。

復号化ブロック３１２０は、ビデオストリームに含まれるメタデータを分析するユニット３１２１、受信したフレーム（例えば、Ｈ．２６４符号化のＩ、Ｂ又はＰ型の画像）を一時的に格納するための１以上のレジスタ３１２２、フレームに含まれる複合画像を再構築し、それらを正しい時間的順番に並べるフレーム再構築ユニット３１２３、受信したフレームに含まれる不可視情報（情報及び／又はアプリケーションデータ）に基づいて、再構築された複合画像に含まれる右画像及び左画像を抽出する右及び左画像抽出ユニット３１２４を有する。デコーダ３１００は、ビデオストリーム２から抽出された右画像及び左画像シーケンスを表示装置３２００に供給する出力インターフェース３１３０を有する。

インターフェース３１３０は、ＨＤＭＩ（High Definition Multimedia Interface）、２つのビデオストリーム（１つは右画像シーケンス、もう１つは左画像シーケンス）を出力するインターフェース、例えば、ＶＧＡ又はＸＶＧＡストリーム、又は、２つのＲＧＢストリームを出力するインターフェースであってもよい。図２及び図３ａを参照して説明した上記の実施形態では、メタデータは、付加された行に含まれる情報及び／又はアプリケーションデータの存在についての情報を含むので、このようなデータが存在しない場合には、デコーダは分析を省略してもよい。一方で、この方法は、エンコーダが実行するオペレーションの複雑性が増すことを意味し、ストリームの復号化プロセスではより複雑となる。別の実施形態では、エンコーダは、符号化されたストリームにメタデータを付加せず、データを破棄する前に付加された行の中身の解析をデコーダに任せる。この方法では、エンコーダ及び符号化ビデオストリームの構造が単純化されるが、デコーダによる計算負荷が増加し、特に、右画像及び左画像を抽出する抽出ユニット３１２４は、最初に、情報及び／又はアプリケーションが含まれる付加された行及び／又は列の内容を解析しなければならない。

専用のメタデータが存在しない場合には、例えば、デコーダレベルで画像の再構築と同時に発生しないフレームの行及び／又は列（クロッピングウィンドウ・メタデータのようなメタデータによって示される）に、情報及び／又はアプリケーションデータが存在しないか探す。一実施形態では、不均一な画素を含む付加された行及び／又は列に、データが存在しないか探索する。

更なる実施形態では、図３ｂに示すように、デコーダ３１００は、図３ａに示したものとは異なり、抽出ユニット３１２４を含まない。この実施形態では、デコーダは、右画像及び左画像を抽出することなくビデオストリームを復号化するだけであり、右画像及び左画像は、複合画像で多重化されたままである。

複合画像は、インターフェース３１３０と同様であるが、圧縮されていない複合画像がフレームに含まれる１つのビデオストリームを出力するインターフェース３１３１によって送信される。この実施形態では、右画像及び左画像の抽出は、表示装置３２００によって実行されるタスクであり、表示装置はそのために好適な手段を有する。

図２のシステムの複数の変形例について以下に記載するが、これらは全て、本発明に従ってビデオストリームを生成及び配信するのに適している。

図４の例では、ビデオカメラは、１０８０×１９２０画素の画像を生成し、マルチプレクサ６０は、１０８８×１９２０画素の行列からなる複数のフレームＣ１のシーケンスを生成する。複合画像は、最初の１０８０行を占め、最後の８行の画素は、例えば、全て黒又はグレーである。

詳細には、情報及び／又はアプリケーションデータを搬送することを可能とする付加されている８行は、マルチプレクサ６０の回路基板内で生成され、マルチプレクサは、右ビデオストリーム及び左ビデオストリームの２つを受信して、複合画像Ｃ１を含む立体視ビデオストリームを出力する。

システム内の異なる複数のマルチプレクサ６０によって生成されたフレームＣ１は、ディレクションミキサ１０によって受信され、ミキサは、Ｈ．２６４圧縮フォーマットに準拠した１０８８×１９２０画素の画像のシーケンスを出力する。

表示されない情報（すなわち、複合画像を含まない）を含むＣｌの８行は、生成段階で形成され、ミキサ１０の出力で入力された転送データが信号通知データ入力システム９０を介して使用される。図２の手段９のように、システム９０により、オペレータが手動で情報及び／又はアプリケーションデータを入力する（例えば、コンピュータ又はキーボードを介して）ことが可能となる。多重化段階において、データは、複合画像Ｃ１に付加された８行のうちの１以上に入力される。このように、システム９０は１０８８×１９２０フレームＣ１ａを出力するが、１０８０行には視覚情報、すなわち、表示されるべき画像が含まれており、残りの８行には、システム９０によって入力されたデータを含む不可視情報（すなわち、表示されない情報）が含まれる。

システム９０によって出力される画像Ｃ１ａは、編集及びポストプロダクションシステム７０（省略可能な構成であることから、点線４で示されている）によって処理されてもよく、画像Ｃ２へと修正されるが、大きさは１０８８×１９２０画素のままである。

システム７０は、１０８８×１９２０画素の画像を扱うことができること以外は、システム７と同じ構成を有する。

エンコーダ８０（望ましくは、Ｈ．２６４型のエンコーダ）画像Ｃ１ａ又はシステム７０によって修正された画像Ｃ２を受信し、これら画像を圧縮して、立体視ビデオストリーム２を生成する。ビデオストリームの符号化の時に、情報及び／又はアプリケーションデータがフレームに入力される図２の例とは異なり、図４の例では、データが画像生成段階で入力される。

望ましくは、情報及び／又はアプリケーションデータが生成段階で入力される場合には、このデータが様々な種類のデータであってもよく、また、異なる機能を有してもよい。具体的には、デコーダは、このようなデータを使用して右画像及び左画像を再構築するため、データは特に、フレームパッケージング情報（すなわち、複合画像における右画像及び左画像の配置に関する情報）を含んでもよく、また、撮影パラメータに関する情報も含んでもよい。ビデオカメラが撮影した画像を、コンピュータグラフィックス法を使用して生成された画像と組み合わせることができることから、情報及び／又はアプリケーションデータは、ビデオカメラ撮影がどのように行われたかに関する情報を含んでもよく、これにより、実際の画像と人工的な画像との間の適切なマッチングを確実にすることができる。例えば、上記の情報は、人間の目の間の平均距離とは常に等しくならない、２つのビデオカメラ（右及び左）間の距離に関する情報が含まれてもよく、また、２つのビデオカメラが平行である又は収束しているかを示す情報（人間の目の振る舞いを模倣する場合が存在し、その場合、近い被写体に焦点を合わせる場合には収束する傾向がある）が含まれてもよい。

必ずしもコンピュータではなく、ビデオカメラの場合もあるように、異なるソースから入力される２つの画像が組み合わせられる場合には、上記の情報が有用であり、組み合わせて生成された画像がコヒーレントであり見やすい画像であるかの検証に役立つ。異なる撮影パラメータを有して生成される画像を組み合わせると、違和感のある不愉快な視覚効果が生じる可能性がある。

図５には、図４の変形例が示されており、複合画像の入力に必要な行（ライン）の数（規定されたフォーマット、例えば、１０８０行及び１９２０列）よりも多い数の行を使用することに加えて、変形例では、マルチプレクサ６００が、付加された行に情報及び／又はアプリケーションデータを入力する。

図５の１以上のデータ入力システム９００（図５の例では１つシステムのみが示されているが、最大でマルチプレクサ毎に設けられてもよい）は、マルチプレクサ６００に接続されて、入力されるべき情報及び／又はアプリケーションデータは、マルチプレクサ６００の出力において、フレームＣ１ａの不可視の行（ライン）に供給される。このデータは、図４のシステム９０によって入力されるデータと同様な種類であってもよい。このように、マルチプレクサ６００によって出力されるフレームＣ１ａは、実質的に図４のシステム９０によって出力されるフレームに対応しており、圧縮及び必要に応じた編集及びポストプロダクションプロセスにおいて同様に扱うことができる。

図６の例では、マルチプレクサ６は、図２に示した例と同様なマルチプレクサであり、ビデオカメラからビデオストリームを受信して、フレームが複合画像を含む立体視ビデオストリームへと受信したビデオストリームを組み合わせる。

情報及び／又はアプリケーションデータのための８行は、編集及びポストプロダクションシステム７０によって生成され、複合画像並びに情報及び／又はアプリケーションデータの両方を含むフレームのシーケンスを生成する。情報及び／又はアプリケーションデータは、図４を参照して説明した手段９０と同様な、手段９０００によって提供される情報を使用して生成される。

図２の例のように、エンコーダ８０は、フレームＣ２のシーケンスを圧縮し、それらを記憶及び／又は送信するべく出力する。

別の実施形態では、図示していないが、情報及び／又はアプリケーションデータのための８行が、編集システムにより複合画像に付加されるが、情報及び／又はアプリケーションデータは、エンコーダレベル、例えば、図２を参照して説明したタイプの手段により、この８行に入力される。

更なる別の実施形態では、情報及び／又はアプリケーションデータとして使用されるデータは、ビデオカメラが生成したビデオストリーム、又は、マルチプレクサから出力されるビデオストリーム、又は、編集及びポストプロダクションシステムが出力するビデオストリームと関連付けられるメタデータから自動的に取得される。この方法は、特に、手動での入力を必要としない場合に有効である。この方法は、視聴覚コンテンツを専門的に生成するのに使用されるツール、例えば、撮像システム（ビデオカメラ）から搬送システム（ファイルフォーマット、例えば、ＭＸＦ（Material Exchange Format））及びワークフロー管理／ファイリングシステム（Digital Asset Management）までにわたるツールは、"エッセンス"（すなわち、実際のビデオ信号）を書き留める及び記載するためにメタデータを利用する。したがって、立体視ストリームを生成する基板、又は、エンコーダは、このようなメタデータを利用可能である。

明瞭化のためであって限定することを意図していないが、図７には、情報及び／又はアプリケーションデータに関する情報を挿入手段９を必要とせずに自動的入力する図２のシステムが示されている。エンコーダ８００は、入力において複合画像Ｃ及び関連するメタデータを受信し、メタデータを抽出して、複合画像に付加された８行に入力され立体視ビデオストリームのフレームで送信されるべき情報及び／又はアプリケーションデータを生成するべく抽出したメタデータを処理する。

例えば、一部の画像はアーカイブから発生、又は、異なるフレームパッケージフォーマット（右目及び左画像の２つの複合画像におけるパッケージング）を使用して異なる放送局から発生するといったように、異なるソースからの画像を組み合わせるような生成環境では、複雑な処理動作が実行される。異なるフレームパッケージフォーマットが使用される場合には、画像を１つに組み合わせるには、フォーマットの変換が必要となる。

画像生成環境において配布される全てのビデオ信号上の上記のような情報及び／又はアプリケーションデータ（フレームパッケージングフォーマットを指定する情報）を利用することにより、変換プロセスを自動化することができる。

生成環境に存在し変換されたビデオストリームは、配信環境に送られるが、その段階で、関連する信号について１つのフレームパッケージングフォーマットを有するようになる。

上記の例では、２つのビデオカメラ３ａ又は３ｂによって取得された右画像及び左画像は、直ぐに複合画像へと組み合わせられる。しかしながら、このことは本発明の目的において必須の構成ではなく、右画像及び左画像シーケンスは、別々にエンコーダに送信されてもよい。

これは、図８に例示されており、一対のビデオカメラの組３ａ、３ｂによって取得された右画像及び左画像を、ディレクションミキサ１０が受信し、ミキサは、右画像及び左画像について２つの別々のビデオストリームを出力する。

ディレクションミキサ１０によって選択された右画像及び左画像は、編集及びポストプロダクションシステム７０００に送られて、例えば、特殊効果が付与されるといったような処理が画像に対して行われる。これに替えて、画像を直接エンコーダ／マルチプレクサ８０００に送信してもよい。存在する場合には、編集及びポストプロダクションシステム７０００は、右ビデオストリーム及び左ビデオストリームを別々にエンコーダ／マルチプレクサ８０００に送信してもよい。

エンコーダ／マルチプレクサは、入力されたビデオストリームを１つの立体視ビデオストリーム２へと一体化させ、一体化されたビデオストリームのフレームには、複合画像、及び、視覚情報すなわち表示される情報を搬送しない特定の数の行（具体的には、８行）に配置される情報及び／又はアプリケーションデータ（本例では、挿入手段９から受信されるが、上記のように自動的に取得されてもよい）が含まれる。エンコーダ／マルチプレクサ８０００は、例えば、任意のフォーマット（上下、横並び等）に従って右画像及び左画像を結合し、Ｈ．２６４符号化に従って符号化する。

図９を参照して記載される別の実施形態では、エンコーダ８００１は、Ｈ．２６４規格のアペンディクスＨに記載されているＭＶＣ（Multi View Coding）に従って立体視ストリームを符号化する。実際の複合画像を生成する替わりに、この規格では、基本画像（基本レイヤ）、例えば、右画像、及び、右画像と左画像との間の差分（拡張レイヤ）が送信される。この技術の一例として、いわゆる２Ｄプラスデルタコーディングが挙げられる。本実施形態では、フレームパッケージングが行われないことから、フレームパッケージングに関する情報及び／又はアプリケーションデータは必要ない。更に、Ｈ．２６４圧縮信号は、必要なメタデータを全て含むことから、表示装置にとって有用な情報を入力するために付加される８行を必ずしも必要とするわけではない。しかしながら、本発明者は、信号を、一方のレイヤのみ又は両方のレイヤの画像に入力することが、有用及び有益であると考える。具体的には、画像生成レベルにおいて、情報及び／又はアプリケーションデータを入力することが有益である。

図９の例では、ミキサ１０が出力したビデオストリームを、データエントリシステム９０００が受信し、システムは、入力されたビデオストリームの各フレームの行の数を増やして、付加した行に情報及び／又はアプリケーションデータを入力する。好ましくは、ビデオカメラは、１０８０×１９２０画素の大きさのフレームを有するビデオストリームを生成し、システム９０００はこのフレームを１０８８×１９２０にまで大きくし、付加した行に情報及び／又はアプリケーションデータを入力する。データは、フレームに含まれる画像が、右目又は左目の何れかを対象とした画像であるかに関する情報、また、画像がどのように取得されたかについての情報（例えば、１対のビデオカメラ間の空間的関係）、画像フォーマット（４：３、１６：９）等についても提供されてもよい。このような情報は、望ましくは、配信環境において保存される。これは、プログラムが作成された後何年か経過すると、高品質マスタがもはや利用可能でなくなり、復元すべきプログラムが、例えば、いわゆる"ノスタルジアプログラム"で使用される場合には、撮影パラメータが分かれば古いプログラムであっても新しいコンテンツと適切に組み合わせ可能となることから、保存されることが望ましいと考えられる。

システム９０００は、上記したように自動的に入力ビデオストリームからデータを取得してもよい、又は、データを手動で入力するオペレータによって制御される好適なデータ入力周辺機器からデータを受信してもよい。

データ入力システム９０００によって修正された画像は、エンコーダ８００１又は図９に示したような編集及びポストプロダクションシステムに送信されてもよい。

上記の例から、本発明に係る方法で生成された立体視ビデオストリーム２は、有用な視覚情報（複合画像又はＭＶＣ画像）及び有用な視覚情報を含まないフレームの一領域に入力された情報及び／又はアプリケーションデータを含む。一実施形態において、情報及び／又はアプリケーションデータは、立体視ビデオストリームの全てのフレームに入力される。

別の実施形態では、情報及び／又はアプリケーションデータは、立体視ビデオストリームの一部のフレームにのみ入力される。情報及び／又はアプリケーションデータを含まないフレームにおいて、有用な視覚情報を含まない行は、同じ色の画素で満たされることが望ましく、特に、グレー又は黒色で満たされることが望ましい。同様に、このようなデータを含むフレームにおいても、データのために使用されない付加された行（又はその部分）は、同じ色の画素で満たされることが望ましく、特に、グレー又は黒色で満たされることが望ましい。

全てのフレームに含まれるか、一部のフレームのみに含まれるかに関わらず、情報及び／又はアプリケーションデータは、デコーダによって使用されて、デコーダは信号を復号し、表示を行うべく、適切に右画像及び左画像を再構築する。

デコーダが、例えば、Ｈ．２６４符号化に従って圧縮された立体視ストリーム２を受信する時、デコーダは立体視ストリームを展開（decompress）して、フレームから情報／アプリケーションデータを抽出する。そして、上記データに含まれる情報が、ビデオストリームによって転送される画像の抽出及び／又は再構築のために使用されてもよい。具体的には、このデータは、右画像及び左画像を再構築するのに有用であり、両画像が表示システム、例えば、３Ｄコンテンツを適切に観察者に適用できるテレビ又はビデオプロジェクタに供給されてもよい。

一実施形態では、デコーダは、表示フォーマット、すなわち、表示に使用されるフォーマットとは同じ場合も異なる場合も存在する（例えば、行切り替え、フレーム切り替え等）表示装置の入力に必要とされるフォーマットを知っている。この場合、デコーダは、必要であれば、付加された行に入力されている情報及び／又はアプリケーションデータに基づいて、転送フォーマットを表示フォーマットに変換してもよい。

第１実施形態において、表示装置の入力において必要なフォーマットが、デコーダ又は表示装置が製造された時に、例えば、専用メモリ領域に永久的にその情報がプログラム及び入力されていることによって、デコーダはフォーマットを知ることができる。デコーダが表示装置に組み込まれており、表示装置とデコーダが厳密に関連付けられている場合に、特に、この方法が有益である。

別の実施形態では、表示フォーマット情報は、表示装置によってデコーダに送信され、専用メモリ領域に読み込まれる。デコーダが表示装置と別個に設けられるデバイスであり、双方向データ交換を可能とするインターフェースによりデコーダと表示装置を容易に関連付けられる場合に、この方法が有益である。このように、エラーが発生するリスクもなく、また、ユーザの介入も必要とせずに、３Ｄコンテンツを正しく表示させることができる。

別の実施形態では、このような情報は、ユーザにより手動でデコーダに提供される。本発明の特徴及び利点が、幾つかの実施形態の説明から明らかとなった。本発明が保護するべき範囲は、添付の特許請求の範囲によって規定される。したがって、当業者であれば、ビデオストリーム内のデータを転送し符号化するための上記の方法及びシステムに対して、多くの改良及び変形例を考え得る。

本明細書に記載されたシステムは、以下に説明するような２Ｄ又は３Ｄビデオコンテンツを生成及び配布するためのその他の専門的でない装置又はモデルに対しても適用可能であることは明らかである。例えば、本発明を実装する撮像装置は、動画を撮影しデータを大容量メモリに格納して、同装置又は別の装置で表示させるよう構成されたフォトカメラ、ビデオカメラ又は携帯電話に組み込まれてもよい。この場合、撮影されたビデオストリームは、異なる再生及び可視化装置（例えば、モニタを備えるＰＣ、テレビ、携帯型マルチメディアプレーヤ等）に、様々な態様で（例えば、無線又は有線ＬＡＮネットワーク、インターネット、Ｂｌｕｅｔｏｏｔｈ（登録商標）を介して一の装置から別の装置のデータ記憶媒体へと転送される、又は、携帯電話ネットワークを介してＭＭＳとして送信される）転送されてもよい。このフレームでも、上記したようなビデオコンテンツの生成、配信及び実現段階を備える同様なモデルが適用でき、解決するべき技術的課題は同じであり、本発明の同様な技術的解決方法を、当業者にとって明らかな僅かな変更を加えるだけで適用可能である。

更に、技術者は、本発明の異なる実施形態を参照して説明した異なる方法、システム及び装置の特徴を組み合わせてもよい。

具体的には、ビデオストリームを生成する方法の様々な段階（編集、多重化、符号化等）は、別個の複数の装置又は任意の手段によって一体化された及び／又は共に接続された装置を介して実装可能である。例えば、撮影されたビデオを受信する２つのビデオカメラ及びマルチプレクサは、１以上のレンズを備える１つの立体視ビデオカメラに内蔵されていてもよい。

より一般的には、１以上のビデオストリームを受信するための入力ユニット、１以上のビデオストリームの画像を含むフレームを生成するための処理ユニット、フレームに入力されるべき情報及び／又はアプリケーションデータを取得するよう構成された取得手段、及び、画像に占有されていないフレームの画素に情報及び／又はアプリケーションデータを入力するたように構成された挿入手段を備え、上記フレームは、ソース画像の画素数よりも多い画素数を有する、ビデオストリームにデータを入力するシステムを提供することができる。上記の画素は、上記フレームの周辺行及び／又は周辺列を占めてもよい。このシステムのユニット及び手段は、１つの装置に一体化されていてもよい、又は、異なる複数の装置に属してもよい。

上記で例示された実施形態は、１９２０×１０８０フォーマット、すなわち、符号化された画像のサイズを大きくする必要があるＨ．２６４符号化で最も一般的なフォーマットに関する。このような状況は、異なる画像フォーマット及び異なるコーディング形式でも同様に発生する。

本発明がＨ．２６４符号化のみを参照して説明されたが、元の画像サイズがマクロブロックの倍数でない又はその他の理由から、エンコーダに供給される画像サイズを増加させる必要があるその他のビデオ圧縮技術にも等しく適用可能である。例えば、現在研究開発中のＨ．２６４符号化（いわゆるＨ．２６５／ＨＶＣ等）の後継でも、同様な状況が発生すると考えられる。フレームフォーマットに応じて、情報及び／又はアプリケーションデータを、視覚情報、すなわち、表示すべき画像の画素を含まない限り、フレームの任意の行及び／又は列に、情報及び／又はアプリケーションデータを入力してもよい。

情報及び／又はアプリケーションデータは、立体視画像のフォーマット及び／又は立体視撮影モードに関さない情報を含め、様々な種類の情報を転送してもよい。例えば、情報及び／又はアプリケーションデータは、ビデオストリームの意図された使用を通知するのに使用されてもよく、それにより、例えば、ＵＳＡのみ又はヨーロッパのみといったように、世界の所定の地域に分布する又は位置するデコーダでのみでコードすることを許可してもよい。情報及び／又はアプリケーションデータは、入力される画像に関係している又は関係していないあらゆる種類の情報を搬送してもよく、例えば、デコーダで又は表示装置レベルで実行可能なアプリケーションのために使用されてもよい。

更に、上記した実施形態では、情報及び／又はアプリケーションデータを搬送するフレームは、立体視画像を含んでいたが、上記の説明から、本発明は同様に２Ｄ画像又はいわゆる"マルチビュー"表示にも適用可能である。実際に、情報及び／又はアプリケーションデータを、デジタル２Ｄビデオストリームで表示される画像の画素を含まない行及び／又は列に入力してもよい。

Claims (46)

1. デジタルビデオストリーム内にデータを転送する方法であって、
   前記デジタルビデオストリームは、表示されない情報及び表示されないアプリケーションデータの少なくとも一方を含み、
   少なくとも１つのフレームは、表示される画像を含み、
   前記少なくとも１つのフレームは、前記画像の画素数よりも多い画素数を有し、
   前記情報及び前記アプリケーションデータの少なくとも一方は、前記画像に占有されていない前記フレームの画素に入力される方法。
2. 前記画像を第１フレームに挿入する段階と、
   前記第１フレームよりも大きなフレームを得るべく、複数の行及び複数の列の少なくとも一方を前記第１フレームに付加する段階と、
   前記情報及び前記アプリケーションデータの少なくとも一方を、前記大きなフレームに挿入する段階と
   を備える請求項１に記載の方法。
3. 前記複数の行及び複数の列の少なくとも一方は、前記データを挿入したのと同じ装置によって付加される請求項１又は２に記載の方法。
4. 前記複数の行及び複数の列の少なくとも一方は、前記データを入力した装置とは異なる装置によって付加される請求項１又は２に記載の方法。
5. 付加された前記複数の行及び複数の列の少なくとも一方は、前記大きなフレームの周辺部の行及び複数の列の少なくとも一方である請求項２から４の何れか一項に記載の方法。
6. 付加された前記複数の行及び複数の列の少なくとも一方は、前記大きなフレームの隣接部の複数の行及び複数の列の少なくとも一方である請求項２から５の何れか一項に記載の方法。
7. 前記情報及び前記アプリケーションデータの少なくとも一方は、付加された前記複数の行及び複数の列の少なくとも一方の全て又は一部のみを占有する請求項２から６の何れか一項に記載の方法。
8. 前記ビデオストリームを符号化するのに使用される符号化アルゴリズムに依存するサイズの整数個のマクロブロックに分割可能であるように、前記大きなフレームの大きさが決定される請求項２から７の何れか一項に記載の方法。
9. 前記表示される画像は、立体視ビデオストリームの複合画像である請求項１から８の何れか一項に記載の方法。
10. 前記画像は、右画像又は左画像であり、
    前記ビデオストリームは、前記右画像と前記左画像との間の差分を含む少なくとも１つの第２フレームを含む請求項１から８の何れか一項に記載の方法。
11. 前記複数の行及び複数の列の少なくとも一方は、前記ビデオストリームを圧縮するエンコーダの上流に位置する装置によって付加される請求項２から１０の何れか一項に記載の方法。
12. 前記データは、前記ビデオストリームを圧縮するエンコーダによって入力される請求項２から１０の何れか一項に記載の方法。
13. 前記エンコーダは、前記ビデオストリームにメタデータを入力し、
    前記メタデータは、付加された前記複数の行及び複数の列の少なくとも一方にデータが存在することを示す情報を含む請求項１２に記載の方法。
14. 前記ビデオストリームのフレームフォーマットが、転送フォーマットから表示フォーマットへと自動的に処理及び変換の少なくとも一方されることを可能とするべく前記データが適用されている請求項１から１３の何れか一項に記載の方法。
15. 前記データは、前記画像のフォーマットに関し、特に、前記画像が２Ｄ画像又は３Ｄ画像であるかを示す識別子、アスペクト比、フレームパッケージング及び撮影モードからなる一群に含まれる１以上の項目を含む請求項１から１４の何れか一項に記載の方法。
16. 前記データは自動的に入力される請求項２から１５の何れか一項に記載の方法。
17. 前記データは、前記画像が取得されるビデオストリームと関連付けられたメタデータから取得される請求項１６に記載の方法。
18. 前記データは、オペレータにより手動で入力される請求項２から１５の何れか一項に記載の方法。
19. ビデオストリームにデータを入力する装置であって、
    画像を受信する入力ユニットと、
    前記ビデオストリームのフレームを生成する処理ユニットと、
    前記ビデオストリームに入力する情報及びアプリケーションデータの少なくとも一方を取得する取得手段と、
    前記情報及びアプリケーションデータの少なくとも一方を、前記画像により占有されていない前記フレームの複数の画素に入力する挿入手段と
    を備え、
    前記フレームは前記画像を含み、
    前記フレームは、前記画像の画素の数よりも多い画素数を有する装置。
20. 前記入力ユニットは、前記画像を含む第１フレームを受信し、
    前記処理ユニットは、前記第１フレームよりも大きなフレームを取得するべく、前記第１フレームに複数の行及び複数の列の少なくとも一方を付加し、
    前記挿入手段は、前記情報及びアプリケーションデータの少なくとも一方を前記大きなフレームに入力する請求項１９に記載の装置。
21. 付加された前記複数の行及び複数の列の少なくとも一方は、前記大きなフレームの周辺部及び隣接部の少なくとも一方における複数の行及び複数の列の少なくとも一方である請求項１９又は２０に記載の装置。
22. 前記情報及びアプリケーションデータの少なくとも一方は、付加された前記複数の行及び複数の列の少なくとも一方の全て又は一部のみを占有する請求項１９から２１の何れか一項に記載の装置。
23. 前記取得手段は、前記画像が取得されたビデオストリームに関連付けられたメタデータから前記情報及びアプリケーションデータの少なくとも一方を取得する請求項１９から２２の何れか一項に記載の装置。
24. 手動で操作されるデータ入力ユニットと接続するためのインターフェースを更に備える請求項１９から２３の何れか一項に記載の装置。
25. 符号化アルゴリズムに従って前記ビデオストリームを符号化する符号化手段を更に備え、
    前記符号化アルゴリズムに依存するサイズのマクロブロックの整数個に分割可能であるように、前記大きなフレームの大きさが決定される請求項１９から２４の何れか一項に記載の装置。
26. 前記符号化手段は、前記符号化されたビデオストリームにメタデータを入力し、
    前記メタデータは、付加された前記複数の行及び複数の列の少なくとも一方にデータが存在することを示す情報を含む請求項２５に記載の装置。
27. 請求項１９から２６の何れか一項に記載の装置を含むマルチプレクサデバイス。
28. 請求項１９から２７の何れか一項に記載の装置を含む撮像装置、特に、ビデオカメラ又はフォトカメラ。
29. 表示されない情報及び表示されないアプリケーションデータの少なくとも一方、及び、表示される画像を含む少なくとも１つのフレームを備えるデジタルビデオストリームであって、
    前記少なくとも１つのフレームは、前記画像の画素の数よりも多い画素数を有し、
    前記情報及びアプリケーションデータの少なくとも一方は、前記画像によって占有されていない前記フレームの画素に割り当てられるデジタルビデオストリーム。
30. 前記画像は、共に多重化された右画像及び左画像を含む複合画像である請求項２９に記載のデジタルビデオストリーム。
31. 前記ビデオストリームは、ＩＴＵ−Ｔ Ｈ．２６４符号化規格、"オーディオビジュアルサービス全般のための高度ビデオ符号化方式（H.264 Advanced video coding for generic audiovisual services）"に従って符号化される請求項２９又は３０に記載のデジタルビデオストリーム。
32. 前記ビデオストリームは、ＩＴＵ−Ｔ Ｈ．２６４符号化規格、"オーディオビジュアルサービス全般のための高度ビデオ符号化方式（H.264 Advanced video coding for generic audiovisual services）"のアペンディクスＨに従って符号化される請求項３１に記載のデジタルビデオストリーム。
33. 前記データは、前記少なくとも１つのフレームの周辺部の行及び複数の列の少なくとも一方に配置される請求項２９から３２の何れか一項に記載のデジタルビデオストリーム。
34. 前記画像によって占有されていない前記フレームの前記画素にデータが存在するかを示す情報を含むメタデータを更に備える請求項２９から３３の何れか一項に記載のデジタルビデオストリーム。
35. 請求項２９から３４のいずれか一項に記載のデジタルビデオストリームを復号化する方法であって、
    前記情報及びアプリケーションデータの少なくとも一方を抽出する段階と、
    前記画像を抽出する段階と
    を備える方法。
36. 前記情報及びアプリケーションデータの少なくとも一方は、前記ビデオストリームに入力されるメタデータに含まれる情報を使用して抽出される請求項３５に記載の方法。
37. 特に、クロッピングウィンドウ情報により、前記フレームの切り取られるべき複数の行及び複数の列の少なくとも一方を見つける段階と、
    前記切り取られるべき複数の行及び複数の列の少なくとも一方に、前記情報及びアプリケーションデータの少なくとも一方を探す段階と、
    前記情報及びアプリケーションデータの少なくとも一方を抽出する段階とを更に備える請求項３６に記載の方法。
38. 前記情報及びアプリケーションデータの少なくとも一方は、画素値により符号化され、
    前記方法は、
    付加された前記複数の行及び複数の列の少なくとも一方から、不均一な画素を含む行及び複数の列の少なくとも一方を探す段階と、
    不均一な画素を含む前記複数の行及び複数の列の少なくとも一方から、前記情報及びアプリケーションデータの少なくとも一方を抽出する段階とを更に備える請求項３５から３７の何れか一項に記載の方法。
39. 前記ビデオストリームは、立体視ビデオストリームであり、特に、少なくとも１つの複合画像又は一対の右画像及び左画像を含む請求項３５から３８の何れか一項に記載の方法。
40. 復号化される前記ビデオストリームの前記フレームは、転送フォーマットであり、
    前記転送フォーマットは、前記抽出されたデータに基づいて決定され、
    前記ビデオストリームの前記フレームの前記フォーマットは、前記転送フォーマットから表示フォーマットへと自動的に変換される請求項３５から３９の何れか一項に記載の方法。
41. 請求項３５から４０の何れか一項に記載の方法を実装する手段を備える立体視ビデオストリームを復号化する装置。
42. 請求項４１に記載の方法を実装するビデオストリームを表示する装置。
43. 入力ビデオストリームのフレームのフォーマットを、表示装置に表示される出力ビデオストリームのフレームのフォーマットへと変換する装置であって、
    請求項１から１８のいずれか一項に記載された方法に従って、前記入力ビデオストリームに入力された情報及びアプリケーションデータの少なくとも一方に基づいて、前記入力ビデオストリームを前記出力ビデオストリームへと変換する手段を備える装置。
44. 前記装置は、前記装置が製造又は組立てられた時に入力された設定に基づいて、前記表示装置の入力において使用されるフォーマットのナレッジを取得する請求項４３に記載の装置。
45. 前記装置は、前記表示装置から受信された情報に基づいて、前記表示装置の入力において使用される表示フォーマットのナレッジを取得する請求項４３に記載の装置。
46. 前記装置は、ユーザによって手動で入力された情報に基づいて、前記表示装置の入力において使用される表示フォーマットのナレッジを取得する請求項４３に記載の装置。

Images