JP2010529778A - 映画およびビデオ用途向けステレオプレックス - Google Patents

Abstract

立体画像原データのストリームを、組み合わせられることで一連の立体画像を形成可能な一連の左側画像と一連の右側画像とに多重化する方法であって、立体画像原データと一連の左側画像と一連の右側画像とは、複数のフレーム内に存在するとして概念的に定義される。方法は、複数の左側画像と複数の右側画像とを形成するべく、フレームにわたり様々なレベルで立体画像原データを圧縮する段階と、一連の単一のフレームを複数の部分に分割する段階とを備え、一連の単一のフレーム中の各単一のフレームは、第１の部分に１つの右側画像を含み、第２の部分に１つの左側画像を含む。または、単一のフレームは、各単一のフレームの第１の２つの部分に２つの右側画像を含み、各単一のフレームの第２の２つの部分に２つの左側画像を含み、各右側画像セットおよび左側画像セットへの処理は異なる。圧縮されていない左右の画像に対してスタガリング、オルタネーティング処理、フィルタリング、可変スケーリング、および鮮鋭化処理等の多重化処理を利用することができる。
【選択図】 図８

Description

本発明は概して、平面映画信号の伝送用に設計され平面立体またはツービュー立体画像を伝送する単一の画像チャネルに立体データを配置する技術に係る。

立体効果を持たせるよう２つの平面画像を用いる立体撮像（特に平面立体撮像技術）が人気を得てきている。しかし、電子記憶および配信用に構築されてきたインフラストラクチャは、必要品質の単一の平面画像向けであった。商業的に実現可能な立体映画または連続画像を格納および配信するには、これらデータが既存のインフラストラクチャの要件で動作でき、且つ、画質要件を満たす必要がある。平面画像には或る程度の画質レベルが期待されており、立体画像とはいっても標準より僅かに低減した程度のレベルは要求される。

平面画像の品質（簡潔に言うと、画像の鮮鋭度、カラー階調、階調であり、他の用語では、忠実度である）は、画像に割り当てられた帯域幅に依存する。既存の帯域幅のパイプライン内に２つの画像（左画像と右画像）を配置するには画像同士の調整が必要となる。容易に想到可能な問題としては、既存の格納および配信パイプラインに一対の立体動画が挿入された場合に、立体視設計者が如何に平面画質を維持しうるか、というものが挙げられる。

立体視テレビ（ビデオ）画像と、動画像とを合成して、単一の平面画像用に利用されている割り当て送信パイプラインに収めようとする試みは数多く行われてきた。幾らかの例を挙げると、特にテレビ画像について、設計者は後方または下位互換性の問題に取り組んできた。後方または下位互換性によって、立体信号が既存のテレビ受信器では視ることが出来ない制約を加えることができるようになる。

本設計は、単一の平面画像の送信用に設計された既存のインフラストラクチャにより立体画像および映画を送信する際の問題の軽減を目的とする。既存のコンポーネントを置き換える必要なく、多重化された立体画像の提供が可能となる設計が好ましく、特に、先行技術よりも利点のある設計が好ましい。

本設計の一側面によると、立体画像原データのストリームを、組み合わせられることで一連の立体画像を形成可能な一連の左側画像と一連の右側画像とに多重化する方法が提供され、立体画像原データと一連の左側画像と一連の右側画像とは、複数のフレーム内に存在するとして概念的に定義される。方法は、複数の左側画像と複数の右側画像とを形成するべく、フレームにわたり様々なレベルで立体画像原データを圧縮する段階と、一連の単一のフレームを複数の部分に分割する段階とを備え、一連の単一のフレーム中の各単一のフレームは、第１の部分に１つの右側画像を含み、第２の部分に１つの左側画像を含む。

本設計の第２の側面によると、立体画像原データのストリームを、組み合わせられることで一連の立体画像を形成可能な一連の左側画像と一連の右側画像とに多重化する方法が提供される。方法は、立体画像原データを圧縮する段階と、一連の単一のフレームを複数の部分に分割する段階とを備え、一連の単一のフレーム中の各単一のフレームは、各単一のフレームの第１の２つの部分に２つの右側画像を含み、各単一のフレームの第２の２つの部分に２つの左側画像を含む。

圧縮されていない左右の原画像に対して、スタガリング、オルタネーティング処理、フィルタリング、可変スケーリング、および鮮鋭化処理等の多重化処理を単独で、または、組み合わせて行うことができ、圧縮されていない画像からの選択領域またはセグメント、または、所定の領域またはセグメントについては、除去画素または合成画素を他の領域よりも多くすることもでき、あるいは、他の領域とは異なる画質レベルで圧縮することもできる。

当業者は、本発明の以下の詳細な記載および添付図面を読むことにより、本発明の上述のものを含む利点を理解する。

本発明を添付図面において図示するが、これらは例示を目的としたもので、限定するものではない。図面は以下の通りである。

２つの原立体画像コンポーネントを、通常は２つの画像コンポーネントのいずれかに等しいサイズであるフレームに収める例を示している。

プレカーソル・フォーマットで示された宛先フレームの副領域に収まる各原立体画像コンポーネントを示す。

画素を一つおきに受諾または破棄する、という単純な画素選択を示す。

フィルタスケーリング（filtered scaling）を示す。

一つおきの画素行に利用されたオルタネーティング法を示しており、ここでは、フィルタスケーリングを最上行および上から一行おきに行い、他の行には単純な画素選択が行われている。

スタガリング法を適用した画素選択を示す。

フィルタスケーリング技術に適用したスタガリングを示す。

可変スケーリングを水平方向に行った単純な例を示す。

４タイルプレカーソル・フォーマットの一例を示す。

４タイルプレカーソル・フォーマットの変形例を示す。

立体画像コンポーネントを両ディメンションに沿って均一にスケーリングして、ブロックに分割する例を示す。

矩形ではないプレカーソル・フォーマットの一例と、副領域に分割された平行四辺形を用いた分割例とを示す。

本設計は、元来は平面画像送信用に設計された既存のインフラストラクチャを利用して立体画像を送信する手段を提供する。本設計は一連の関連技術として記載される。特に立体画像の多重化、または、画像の「ステレオプレックス」と称される技術を中心に取り扱っている。立体撮像には２つの主要な要件があり、一方がシアター配給用（映画）であり、他方が家庭娯楽向け（ビデオ）である。

一般的に、ビデオ用途では、様々な表示モニタおよび選択技術を用いる再生を可能とするよう、原画像データからの画素の除去、および、ビデオシステムの最適化が行われる。映画用途では、フィールドシーケンスまたは時間多重化用に利用され、結果として生成される立体画像は、大画面シアタースクリーンに表示される。一般的に、映画用途の圧縮はビデオ用途よりも少なく、非常に鮮鋭な中心領域と、鮮鋭化されたエッジ領域とを有するよう１フレーム内で圧縮率を可変とすることで、送信データから最大限のものを得ることに重きが置かれる。

現在デジタル映画がかなり浸透してきており、今日の世界中のデジタル映画の大部分が立体視機能を有する。左右チャネルを処理する機能は、サーバからプロジェクタへの信号またはデータ送信に関して、映画の既存の専門的規格にも記載されている。

多くの場合において、ライブの、予め記録されていないイベントの送信が必要となる。このような場合には、陸線および衛星送信は平面信号を１つだけしか含めないように設計されるので、プロジェクタに直接接続する閉回路サーバの帯域幅における利点が利用できなくなる。本設計は、左右信号をステレオプレックスして、陸線および衛星送信の両方に利用される既存の平面帯域幅の範囲内に収める。

シアター映画撮像の水準は非常に高いので、この問題は解決が難しくなる。既存の帯域幅内に２つの画像を無理に収めて画像を低画質水準にしてしまうのでは不十分である。画像はシアター映画の高性能水準を維持する必要がある。幸いなことに、シアター映画画像は、圧縮はされているが、テレビ画像ほど圧縮はされていない。シアター映画画像の典型的な圧縮率は１５：１であり、ステレオプレックス技術への荷重を幾分低減させている。

映画のステレオプレックスは、家庭用同様に、動画像の立体対のパッケージ形態がどのようであっても、立体対は、動画インフラストラクチャの一部である更なる圧縮技術に耐える必要がある。動画インフラストラクチャにおいて最も幅広く採用されている圧縮規格は、JPEG（Joint Photographic Experts Group）２０００である。このプロトコルにより高画質画像送信が可能となるが、比較的圧縮率が低い。テレビ分野のディスク（例えばBlu-RayまたはHD−DVD）上のコンテンツのデジタル配信では、これを上回る５０：１または７０：１といった範囲の圧縮率が普及しているが、これらはMPEG（Motion Picture Experts Group）プロトコルを利用している。

故に、左右立体画像を単一の平面フレームに合成する多重化技術は、さらに、JPEGまたはMPEG等のインフラストラクチャ圧縮プロトコルに耐えうるものである必要がある。これらを全て満たし、映画またはテレビ用の平面画像に相応しい画質の画像の生成ができねばならない。

類似した課題は、'５０年代初頭にNTSC（National Television System Committee）カラーテレビが導入された際にもあった。当時、カラープレックス（colorplex）された信号は、既存のモノクロ受信を劣化させないように追加された。従って、白黒テレビは、大幅な画像劣化を招かずにカラー放送を受信することができ、一方では、新たなカラーテレビ受像機がモノクロ表示可能であり、且つ、画像へのカラー情報を追加するカラー信号を利用することもできた。

下位互換性は高く評価されているが、ステレオプレックスにおける問題に一定の複雑度を加えている。下位互換性は今日の環境では必要ないかもしれない。NTSCカラーが導入された当時には、存在していたチャネル数が限られており、ユーザが記録コンテンツ（VHSテープまたはDVDディスク）を再生するような手段がなかった。今日では状況が異なっている。数百ものチャネルがケーブルテレビ上で視聴可能であり、放送されていないテレビが存在しており、予め記録されたディスクを再生する機能がある。このような多様なオプションが利用可能であるので、立体テレビの下位互換性要件を疑問視する必要がでてきており、ユーザは通常最高品質技術の完全に下位互換性を有するバージョンを有する必要性なしに視聴するものを見つけることができる。閉回路の性質および映画館コンテンツが外部へ配給を行っていないことから、映画の下位互換性は単に不要である。

現在は幅広く普及はしていないが、テレビには、立体プログラミングに特化したチャネルを幾らかサポートすることができ、ディスクの場合には、例えば、ディスクの片面にレターボックスフォーマットを施して、エジソンアスペクト比（１．３：１）をディスクのもう一方の面に施す技術、または、ディスクの同じ面に別個のデータとして含ませる技術が、既に先行技術として存在している。従って、現在の環境では、ディスクの片面に映画の平面バージョンを含ませ、立体バージョンをもう一方の面に含ませたり、ディスクの同じ面の別個の領域に含ませたり、あるいは、同じ小売パッケージ内の異なるディスク上に含ませたりすることもできるように思われる。

さらに、いずれの立体格納スキームであっても、モノスコーピックなディスプレイと後方または下位互換性を有することができ、２つの立体視のうち１つのみ（つまり、左目用ビュー）を表示するというオプションがある。

本設計は、主に信号のステレオプレックスまたは符号化を取り扱っており、その逆の機能（つまり、多重分離（demultiplexingまたは「demuxing」））には直接言及しない。異なるが関連する技術も幾つか記載され、これらは単独で、または、組み合わせで利用することができ、これらについて以下で詳述する。

幾らかの一般的なコンテナ手法（container approach）を利用してプレカーソル・フォーマットが生成される。プレカーソル・フォーマットとは、立体情報を符号化する際に、異なるディスプレイおよび選択デバイスでの該情報の利用に適合させたフォーマットのことである。例えば、立体画像選択は、アナグリフ（赤緑メガネ）により、時系列法により、偏光法により、または、インターレース、または、マイクロポラライザ技術、またはある種のDLPプロジェクタのフィーチャである対角インターレースに関する過去に公表された方法により行うことができる。

故に、プレカーソル・フォーマットは、左右透視情報を含みつつも、該情報がその後に投影または表示フォーマットに応じて最大限の利点を生じるよう利用されうるフォーマットに含まれる必要があるという意味で、または、シャッターメガネまたは受動メガネまたは如何なる所望のものであっても、モニターフォーマットおよび該フォーマットに関する立体画像選択技術に含まれる必要があるという意味で取捨選択的できる可能性を有する必要がある。商業的に実現可能な解決法を見つけるべく、最善の方法は、ここで記載したプレカーソルプロトコルを用いることであり、上述したように、ここでは多重分離技術ではなくてステレオプレックス技術を中心に説明する。ステレオプレックス技術はソフトウェアに依存しており、コンピュータは、ステレオプレックスを遂行するべく例えば製造後の一式（post-production suits）に含まれているソフトウェアプログラムで構成されうる。

他方、映画投影またはテレビ受像機は、製品が単純であることおよび低コストであることが必要とされる。この解決法は、非常に複雑になりうるソフトウェアによる解決法と比して、比較的単純で安価なハードウェアまたはファームウェアを利用する。

ここで記載する一般的な方法のうちの１つが、サイドバイサイド多重法（side-by-side multiplexing approach）であり、この方法では、フォーマットを垂直線で分割して、左右の画像をそれぞれコンテナの左右半分に各々配置する。如何なる理由にせよ、明らかに、左画像情報はフレームの右側に配置され、左についても同様であり、情報の他の配置（例えば上下）は、これら教示の自明な拡張例または代替例である。

別の方法では、所謂「４タイル」法と称される方法を利用しており、ここでは、左右の情報が各々２つのタイルに分配された形で、４つのタイルが配置されている。つまり、左の情報が２つのタイルを占有し、右の情報が２つのタイルを占有している。以下に、この方法がなぜ有利であるかを説明する。

上述のものを含むプレカーソル・フォーマット方法（precursor format approaches）を利用して、他の適切な課題にも対処することで、画像は、JPEGまたはMPEG等の圧縮スキームにより圧縮することができる。加えて、試験結果を用いて、精神物理学試験を行い、非圧縮データと圧縮データとを比較した。上述の教示により圧縮された画像は、圧縮および伸張に耐え、圧縮されていない原画像と略同レベルの品質に見える。「略同レベル」とは、その画像が圧縮されているか、圧縮されていないかは、特に細部に集中して些細な差異を見つけようと、観察者がスクリーンに非常に接近しない限り（典型的な映画館の席の構成の通常の映画館の利用客よりずっと近く接近しない限り）検知できない場合を意味する。

これらプレカーソル・フォーマット・コンテナに加えて、画素の選択（つまり、上述したプレカーソル・コンテンツ・フォーマット内に画素を配置しうる画素選択またはサンプリング技術）について説明する。高画質で立体視するには、処理のこの部分を特に着目することで、作成される画像に最小限の損失しか起こらないようにするべきである。

別の技術では、立体またはステレオプレックス圧縮は、フレームの幅において可変であってよい。最も単純化された例においては、フレームの中間部分は実際の動作中に注目される箇所であることから、最小の圧縮を行う。

図１には、一般的に２つの立体対エレメント画像のいずれかと同じサイズのフレーム１０３への格納が必要である２つの立体対エレメント画像（左目ビュー画像１０１および右目ビュー画像１０２）が示されている。通常、２つの立体対エレメントの各々は、同じ一般的な種類のビデオ格納、画像処理、および、表示システムを用いた非立体視に適した画質を有する。例えば、通常１９２０ｘ１０８０画素の画像を特定の品質水準で処理する格納および表示システムについては、同じ種類のシステムが処理する立体対エレメントが各々同様の品質であり、故に、通常は同じ画素解像度であることが期待されている。つまり、通常１９２０ｘ１０８０のコンテンツを処理するシステムでは、通常、左目エレメントおよび右目エレメント各々も１９２０ｘ１０８０である。

立体情報を単一のフレームに多重化するには（より具体的には、２つの立体対エレメントのいずれかをグラフィックに圧縮して、プレカーソル・フォーマットにより、それに割り当てられている半分のフレームフィールドに収めるには）、複数の技術を異なる組み合わせで利用することができる。

図２は、「プレカーソル・フォーマット」のコンセプトを示し、左目および右目画像データフィールドの、総体的に利用可能な画像フレームにおけるレイアウトを示す。最も単純なプレカーソル・フォーマットは、画像フレームを左右半分に分割して、２つの目によるビューのどちらかからの画像情報を格納するべく、これら半分の各々を保存する。図２では、画像フレームサイズが水平方向に１９２０画素であり、垂直方向に１０８０画素である場合、フレームの左半分２０２（９６０ｘ１０８０画素）を左目ビュー２０１に割り当て、右半分を右目ビューに割り当てる。

従って、２つのフルサイズの立体対エレメントをこの特定のプレカーソル・フォーマットに多重化すると、１つのフルサイズの画像を半分のサイズの画像フィールドにマッピングして、立体対について２度行わねばならない問題が生じる。

おそらくフルサイズの画像を半分のサイズのフィールドへマッピングする最も簡単な方法は、各行から画素を一つおきに除去する方法である。例えば、図３に示すように、元の左目ビュー３０１から、偶数の列の画素のみ（例えば、第１列が０番という、偶数の列である、第１行の５番目の画素３０２）を半分のサイズのフレームへ転写（transfer）して、他の画素（例えば画素３０３）は破棄する、というのが一つの方法である。幾らかの画素を選択して他の画素を破棄する、というこの一般的な技術は、「画素選択」と称され、Texas Instrumentsの所謂「チェッカーボード」ビデオディスプレイ用に多重化する際などには好適であろう。この多重法は、画素選択および一行おきにスタガリングを行うサイドバイサイド・プレカーソル・フォーマット（side-by-side precursor format）を用いる。

画素選択に代わる代替方法は、一般的に「フィルタスケーリング」と称される様々な技術を含む。フィルタスケーリングを利用する際には、プレカーソル・フィールドにマッピングされる画素情報が、１を越える原画素を含む。フィルタスケーリングアルゴリズムの一例に、２つの隣接する原画素を平均化して、格納する任意の画素の値を計算するというものがある。別のアルゴリズムでは重み付け平均化が行われ、これによると、格納する画素値が主に単一の原画素を表し、その値も隣接する画素の値に（水平および／または垂直ディメンションに沿って）数学的に加算される。図４が表す特定のフィルタスケーリングアルゴリズムは、原フィールド４０１を示しており、ここでは、結果画素（結果画素４０２および４０３のように楕円形状で表されている）が、主に原画像の奇数列から得られ、さらには、隣接する偶数列からの画素情報も幾らか含む。偶数列の画素（例えば最上行の三番目の画素である、原画素第２番）は、２つの異なる結果画素４０２および４０３に対して情報を提供する。公知のフィルタスケーリングアルゴリズムは数多く（例えば、線形フィルタリング、双三次フィルタリング（bicubic filtering）他）、これらのいずれか、または、これらの変形例を利用することもできる（可変適用双三次スケーリング、可変鮮鋭化、不可変適用双三次スケーリング、および、不可変鮮鋭化を含むがこれらに限定されない）。

フィルタスケーリングは、シアターディスプレイに利用されることで最大の利点を生じうる多重化技術である。この多重化技術は、可変適用双三次スケーリングおよび可変鮮鋭化を多重分離後に行うサイドバイサイド・プレカーソル・フォーマットを利用する。これに類似した方法は、TI「チェッカーボード」型ディスプレイの他にフラットパネルディスプレイにも用いることができる。

一般的に言うと、画素選択技術は、鮮鋭度を維持し、処理オーバヘッドを最小限に抑えるのに好適であり、フィルタスケーリングは、アーチファクトがより少ない、より滑らかな画像を提供する傾向がある。

また別のオプションに「オルタネーティング法」と称されるものがあり、これは、選択／スケーリング技術を一つおきの画素行に対して交互に利用する、という意味である。オルタネーティング法の一例が図５に示されており、ここでは、奇数画素行に対して単純な画素選択を行い（例えば、左目フィールド５０１では、画素５０４は破棄されるが、画素５０５はそのまま転写される）、偶数画素行に対しては、特定の処理またはフィルタスケーリング法を行う（例えば、結果画素５０２および５０３が幾らかの原画素から情報を得ている箇所を参照のこと）。このオルタネーティング法は、選択法およびスケーリング法の両方の最良の性質を齎す可能性がある、つまり、１００％フィルタスケーリングを行うときよりも総体的な鮮鋭度に優れ、フィルタスケーリングを一行ごとに行うことで、選択アーチファクトが効果的に低減される。このオルタネーティング法は、さらに、一つおきの画素行に対して２つの異なる種類のフィルタスケーリングを用いることもできる。

「スタガリング」と称される別の技術は、画素選択または様々なフィルタスケーリング法（オルタネーティング法を含む）と組み合わせた利用が可能であり、Texas Instrumentsが製造販売している所謂「チェッカーボード」ディスプレイとの利用が好適であろう。この技術では、一つおきの画素行は、原フィールドのスタガリングベースに基づいて原データを取得する。図６にスタガリングの一例を示す。スタガリング画素選択技術では、特定の原画像６０１において、偶数行から例えば６０２等の偶数列画素を選択して（画素６０３等の奇数画素は破棄する）、奇数行から奇数列画素を選択する（画素６０４等の偶数画素は破棄する）。この例では、画素選択法をスタガリング法と組み合わせることで、実際には、チェッカーボードから黒い正方形のみを選択する方法に類似した、対角選択パターンが生じる。このようにスタガリングさせて選択することで、９０度回転させたときにチェッカーボードのテクスチャが概して不可変なので、この選択方法は、スタガリングさせない選択法よりも効果的にディメンションに中立なものとなる（dimension-neutral）。

スタガリングは、様々なフィルタスケーリングのオプションのいずれに対しても利用可能であり、スタガリングさせないフィルタスケーリングと同様の利点を生じる。スタガリングは、TI「チェッカーボード」タイプのディスプレイにも適用可能である。図７の例においては、左目ビュー７０１は、フィルタスケーリングアルゴリズムを用いて処理されることで、結果画素７０２および７０３が各々、１を越える原画素から情報を取得する。しかし、最上行における結果画素は、主に、偶数画素列から得られるが（結果画素７０２が中心に集まり、その領域の殆どが原画素第４番上にあり、結果画素７０３は原画素第６番の上に集まっている）、次の行７０４では、結果画素は、主に奇数画素列から得られる。この第２の行の第１の結果画素全体は、主に、行の第２の原画素（奇数画素である画素第１番）から得られる。

選択またはスケーリングをディメンションに中立なものにすることの利点に加えて、スタガリング法はさらなる利点も幾らか有する。つまり、垂直および略垂直なフィーチャに関する視覚アーチファクトがより効果的に低減される。また、前述したTI表示システム等の幾らかの立体表示システムは、立体表示モードでは、「チェッカーボード」または「ダイアモンドインターレース」画素配置を用い、通常、このようなディスプレイに対して画像データをマッピングする用途には、スタガリング選択法（またはスタガリングフィルタスケーリング法）が、より適している。

スタガリングは、一つおきの画素行の間のスタガリング効果のない最終画像を視ることができるよう、多重分離の際に解除されることがあり、一般的には解除されるべきである。

一つおきの画素の行のスタリングオフセットは、状況によっては、クリーンな画像圧縮に干渉する場合がある（または、逆に、画像圧縮アルゴリズムがスタガリングの効果を薄れさせる場合がある）。これは、顕著な問題ではないことも多い。スタガリングの効果がなくなる虞がある場合、この効果は以下に示す方法で回復することができる。

次に説明する「可変スケーリング」技術は、フィルタスケーリングの変形例に適用可能であるが、画素選択技術には適用できず（スタガリングおよび／またはオルタネーティング法はオプションとして利用可能である）、シアター環境で利用されると好適であろう。可変スケーリングは、フィルタスケーリングを、可変量で行う。例えば、フレームの中間領域が、フレームのエッジ沿いよりも注目される重要なシーンの要素を有する場合が多い。故に、中間のフレームのシーンの要素の縮小度を減らし、エッジ付近のシーンの要素の縮小度を上げることが好ましいことが多い。

図８に示す例においては、全体として５０％の水平方向のスケーリングを行うのではなくて、フレームの中間半分（領域８０２および８０３）を、水平方向に６５％スケーリングして（結果領域８０６および８０７）、フレームの左側の１／４（８０１）およびフレームの右側の１／４（８０４）を、これに比して大幅に３５％にまでスケーリングする（８０５および８０８）。可変スケーリングのより高度な変形例も可能である（例えば、より多い数の領域を異なる量でスケーリングする、連続して可変なスケーリング方法を利用する、等）。加えて、オルタネーティング法および／またはスタガリング法等の上述の技術を、可変スケーリングと組み合わせてもよい。

可変スケーリングの最終結果は、より重要なシーンの要素（中間のシーンの要素（mid-scene element）等）が、あまり大幅なスケーリングを受けないので、より良好な鮮鋭度およびより少ない視覚アーチファクトを有するより高い画質を維持することができることである。一方で、あまり重要ではないシーンの要素（エッジ付近の要素等）は、画質が低減するが、通常のユーザが気づかない程度のあまり大幅な低減ではない、というのも通常のユーザは中間のシーン領域を中心に見つめるものだからである。故に、繰り返しになるが、シアター環境での立体視で特に有効であり好適であることが考えられる。

可変スケーリング技術は、シーンの性質に応じて最高画質のスケーリングのゾーンが変わってくる場合に、シーンに応じて適用することもできる。例えば、フレームの左側にかけて最も重要な動作が行われるシーンでは、可変スケーリングを、一時的に左側を中心に行うことができる。技術者がビデオ編集中に特定のシーンの可変スケーリングの「調合（recipe）」を決定することができるようにしてもよく、または、シーンおよび適切なスケーリングが自動処理により決定されるようにしてもよい。例えば、可変スケーリングで、鮮鋭な詳細および／または動きが最大量であるシーンの部分に対して、最高画質スケーリングを留保してもよい。いずれにしても、スケーリングの調合は、フレームの多重分離が適切に行われるよう、いずれかの方法により符号化することができる。

今までに言及した技術の任意のものと組み合わせることのできる別の技術に、鮮鋭化がある。多くの鮮鋭化アルゴリズムのいずれかが（例えば「非鮮鋭マスク（unsharp mask）」）、多重化の時または多重分離の時に（あるいは、この両方の時に）利用可能である。鮮鋭化は、例えば、フィルタスケーリングにより鮮鋭度が薄れたシーンに対してエッジ鮮鋭度（edge sharpness）を回復させ、しかもそれを、画素選択等の潜在的により鮮鋭な技術に伴う視覚アーチファクトを導入することなしに行うことができる。

可変スケーリングと組み合わせると、可変な度合いまで鮮鋭化することで、全体的な画像がより良好になりうる。多重化中により大幅にスケーリングされるシーンの部分は、通常、最終結果において、より均一なシーンテクスチャを維持するために必要とされる鮮鋭化の量も多くなるものである。

前述の技術の全ては、フルフレームの左目および右目情報が水平方向に低減され左半分または右半分のサブフレーム領域に収まるサイドバイサイド・プレカーソル・フォーマット構成に関して説明してきた。これら技術の全て（様々に組み合わせられて）は、「上下」等の、異なるプレカーソル・フォーマットにも適用することができる（左目および右目情報は、上半分または下半分のサブフレーム領域に収まるよう垂直方向に圧縮（squash）される必要がある）。

他のより複雑なプレカーソル・フォーマットの変形例も可能であり、上述の技術の全てまたは殆どが、これら変形例に適用される可能性もある。

プレカーソル・フォーマットの可能性ある一例が、図９に示すような「４タイル」であり、ここでは、画像フレーム９０１が４つの均しいサイズの矩形領域に分割される（例えば、１９２０ｘ１０８０のフレームが、４つの９６０ｘ５４０の領域に分割される）。これら領域のうち２つが、各目ビュー用に割り当てられるので（領域９０２および９０３が左目ビューに割り当てられ、領域９０４および９０５が右目ビューに割り当てられる）、２つの異なる多重化技術を別個に利用および格納することができる。次に多重分離段階では、各目ビューに２つの原領域を組み合わせて、それらを利用することで、いずれかの技術を単独で利用するよりも、より良好な復元画像を得ることができる。

４タイルプレカーソル・フォーマットの一例では、スタガリング選択の結果を採用して、左目ビュータイルの偶数行から選択された画素を、ある左目ビュータイルに格納して、奇数行から選択された（スタガリング）画素を、他の左目ビュータイルに格納する。各スタガリング行を別個に格納することにより、スタガリング効果がいずれのタイルからもなくなることとなり、これによって、よりクリーンな画像圧縮が可能となる。

４タイルプレカーソル・フォーマットは、上述したような任意の種類のスタガリング法および／またはオルタネーティング法に対して利用可能である。プロセッサは単に、ある技法による結果を、あるタイルに格納して、他の技法（および／またはスタガリング）による結果を、他のタイルに格納すればよい。さらに、各タイルはフルフレームと同じアスペクト比のディメンションを有するので、ディメンションに中立なスケーリング技術が実際的である。

別の方法では、可変スケーリングを４タイルと組み合わせる。可変スケーリングは、各タイルの含むものとする際に適用されてよく、または、（異なる４タイルトポロジーの変形例では）、タイル自身同士を不均一なサイズとすることで、１つのタイルの技術の組み合わせを強調してもよい。この組み合わせ技術の一例を図１０に示すが、ここで、組み合わせ技術は、ある領域で、他のタイルの技術の組み合わせ（図１０では、フレーム１００２および１００４が示す、割り当てられた領域の少ないフレーム）よりも高い品質で行われている（例えば、各目ビュー用のフレーム１００１および１００３）。

連続したタイルに画像データを再配置する主要な理由の一つは、通常、データ圧縮が画像フレームデータの多重化の後に行われるからである。画像およびビデオ圧縮アルゴリズムは、特定の領域の画素が互いに類似する傾向にある点を大きく利用している。故に、プレカーソル画像フィールドが実際の画像データに類似すればするほど、圧縮アルゴリズムでの処理結果が良好になる可能性が高くなる。画像データをスクランブルしすぎることにより、典型的な画像圧縮アルゴリズムの利点が損なわれる可能性がある。

しかし、特定の圧縮アルゴリズムをそれぞれ特定の境界に利用することができる場合には、プレカーソル・フォーマットおよび多重化技術はさらなる柔軟性を得ることができる場合がある。例えば、殆どのJPEG圧縮アルゴリズムは、８ｘ８画素ブロックで機能する。故に、ある行の９番目の画素は、その行の８番目までの画素の圧縮に影響を及ぼすべきではない。８ｘ８画素ブロックは、総体的なビデオフレームと比較して比較的小さいので、８ｘ８ブロックを「スタックする（stack）」アルゴリズムを利用することで、さもなくばサイドバイサイドのような単純な２タイルプレカーソル・フォーマットには不適切な２次元選択および／またはスケーリングが可能となる。ここで、「スタックする」とは、所定のフレーム（例えば非圧縮原画像の半分）内に収まるようにブロックを再配置することを意味する。概して、不可変スケーリング等の、画素除去または画素合成による画素数の低減処理の後には、この結果ブロックを再配置して、所望の空間（例えば原フレームの半分）に収める処理が行われる。

この一例を図１１に示す。１９２０ｘ１０８０の左目ビュー１１０１に、各ディメンション沿いに７０％までの２次元双三次スケーリング（two-dimensional bicubic scaling）を適用することで、１３４４ｘ７５６の結果１１０２が生じる。この結果を８ｘ８のブロック１１０３に分割して、これらを１９２０ｘ１０８０のフレーム１１０４全体の半分の領域にスタックすることで、スケーリングされスタックされた右目ビューを格納するフレームの他の半分を解放することができる。または、高度な２次元可変スケーリングスキームを利用することもできる。可変スケーリングの後で、スケーリング結果をスタックして、その後、圧縮してよい。再生時には、画像を伸張して、多重分離によりスタックを解除して、可変スケーリングを解除する（ともに利用されうる鮮鋭化等の他の技術とともに）。個々のブロックを回転する、または、後に多重分離中に解除可能なように処理するものを含む、他のブロック構成も可能である。

特定のプレカーソル・フォーマット、スタック構成、画像タイルトポロジー、およびスケーリングアルゴリズムへの利用に特別に設計される、専用の圧縮スキームを利用することもできる。

プレカーソル・フォーマットおよびタイルトポロジーは、矩形である必要はない。例えば、図１２に示すように、各目ビューフレーム１２０１に、最も可能性のある方法としてはフィルタリング画素マッピングの変形例を適用して、原矩形領域が平行四辺形１２０２へと対角線状に圧縮されるよう、一般的な対角スケーリングを行うと好適であろう。そして、この平行四辺形の三角形の副領域１２０３を再配置して、左目データおよび右目データがフルフレームの対角線で分離される三角形ゾーンに位置するようにプレカーソル・フォーマット１２０４に収めることができる。この結果、領域１２０５が他の目のビュー用に利用可能となる。この三角形ベースのプレカーソル・フォーマット（より小さな三角形のタイル技法を含む）には、従来のものにはないタイル境界に対してカスタマイズされた圧縮スキームが必要である。別の方法のなかには、対角形態（diagonal morph）を用いて原画像をスケーリングして、三角形ベースのプレカーソル・フォーマットの三角形の領域に収めて、標準的な圧縮アルゴリズムにおける効果的な利用を可能とするものもある。

このような新規のプレカーソル・フォーマットは、依然として、前述のものと同じ技術、より簡単な矩形の２フィールドサイドバイサイド・プレカーソル・フォーマットで利用される同じ技術の組み合わせの殆どの様々な組み合わせを可能とする。

＜多重分離＞ 上述したように、本設計の中心は、構築されている送信規格による公知の送信媒体に合致する信号を多重化または圧縮（condense）することにある。ひとたび信号が上述の通りに多重化または処理されて、受信器に送信されると、受信情報が多重分離されねばならない。本設計は、多重分離または設計について詳述しないが、多重分離を行う必要があることについては認識している。多重分離により、シーンの領域が、それぞれ元の状態またはそれに近いものに復元される。

多重分離の一方法は、単に反対の手順を受信データに対して実行することである。例えば、信号が２タイルフォーマットへとスタガリングされ、鮮鋭化された場合、多重分離装置は、２タイルフォーマットからの信号のスタガリング解除をすることができる。しかし、このような単純な逆処理は、時間および処理量が多くかかり、場合によっては許容できないことがある。

本明細書で提示した多重化設計および例示した特定の側面は、限定を意図しておらず、本発明の教示および利点を含みながらも別のコンポーネントを含むことができる。本発明は特定の実施形態との関連で記載されたが、本発明が別の変形例を含むことができる点を理解されたい。本願は、概して本発明の原理に則り、本発明の技術分野の範囲内の公知および従来の慣習の範囲内の本開示からの逸脱を含む、本発明の全ての変形例、利用法、または適応例をカバーすることを意図している。

上述した具体的な実施形態の説明によれば、現行の知識を応用すれば、本発明の全体的な概念を逸脱することなく、さまざまな応用例について、開示したシステムおよび方法を容易に変形および／または適応させることができる程度に十分に、本開示の概略が明らかとなっている。このため、このような変形例および適応例は、開示された実施形態の均等物の範囲および意味に含まれるものとする。本明細書で用いた用語または言い回しは、本発明の説明を目的としたものであって、本発明を限定するものではない。

Claims (27)

1. 立体画像原データのストリームを、組み合わせられることで一連の立体画像を形成可能な一連の左側画像と一連の右側画像とに多重化する方法であって、
   前記立体画像原データと前記一連の左側画像と前記一連の右側画像とは、複数のフレーム内に存在するとして概念的に定義され、
   前記方法は、
   複数の左側画像と複数の右側画像とを形成するべく、前記フレーム内で変化するレベルで立体画像原データを圧縮する段階と、
   一連の単一のフレームを複数の部分に分割する段階と
   を備え、
   前記一連の単一のフレーム中の各単一のフレームは、第１の部分に１つの右側画像を含み、第２の部分に１つの左側画像を含む
   方法。
2. 前記圧縮する段階では、立体画像原データの前記フレームの中心において圧縮率が低い請求項１に記載の方法。
3. 前記１つの左側画像は、前記１つの右側画像と関連付けられている請求項１に記載の方法。
4. 前記複数の部分は、各単一のフレーム内に含まれ、
   各左側画像は各単一のフレームの実質的に半分に含まれ、各右側画像は各単一のフレームの実質的に別の半分に含まれる
   請求項１に記載の方法。
5. 各単一のフレームは垂直方向の境界により分割され、
   １つの右側画像は前記単一のフレームの第１側に配置され、１つの左側画像は前記単一のフレームの第２側に配置される
   請求項３に記載の方法。
6. 各左側画像は、未処理の左側画像に基づいており、
   各右側画像は、未処理の右側画像に基づいており、
   前記方法は、さらに、
   前記右側画像を形成するべく前記非圧縮右側画像の各行から画素を一つおきに除去して、前記左側画像を形成するべく前記非圧縮左側画像の各行から画素を一つおきに除去する段階を備える
   請求項１に記載の方法。
7. 各左側画像は、未処理の左側画像に基づいており、
   各右側画像は、未処理の右側画像に基づいており、
   前記方法は、さらに、
   前記未処理の左側画像の複数の画素からの情報に基づいて、前記左側画像に対して前記未処理の左側画像からの画素情報をマッピングして、前記未処理の右側画像の複数の画素からの情報に基づいて、前記右側画像に対して前記未処理の右側画像からの画素情報をマッピングする段階を備える
   請求項１に記載の方法。
8. 前記左側画像と前記右側画像とを処理する段階をさらに備え、
   前記処理は、可変適用双三次スケーリング、可変鮮鋭化、不可変適用双三次スケーリング、および、不可変鮮鋭化からなる群のうちの少なくとも１つから選択される
   請求項１に記載の方法。
9. 各行から画素を一つおきに除去する段階は、
   第１の行から第１の画素セットを除去して、前記第１の行に隣接する各行から異なる画素セットを除去する段階を有する
   請求項５に記載の方法。
10. 除去は、
    前記未処理の右側画像と前記未処理の左側画像とから除去される「チェッカーボード」タイプの画素パターンを実質的に形成する
    請求項８に記載の方法。
11. 各左側画像は、未処理の左側画像に基づいており、
    各右側画像は、未処理の右側画像に基づいており、
    前記方法は、さらに、
    前記未処理の左側画像の所定の領域から、前記未処理の左側画像の他の領域よりも多い画素を合成することにより、前記左側画像に対して前記未処理の左側画像からの画素情報をマッピングして、前記未処理の右側画像の所定の領域から、前記未処理の右側画像の他の領域よりも多い画素を合成することにより、前記右側画像に対して前記未処理の右側画像からの画素情報をマッピングする段階を備える
    請求項１に記載の方法。
12. 各左側画像は、一つおきの画素行およびそれ以外の画素行を持つ未処理の左側画像に基づいており、
    各右側画像は、一つおきの画素行およびそれ以外の画素行を持つ未処理の右側画像に基づいており、
    前記方法は、さらに、
    前記未処理の左側画像の一つおきの画素行からの画素を合成して、前記未処理の左側画像のそれ以外の画素行から画素を選択することにより、前記左側画像に対して前記未処理の左側画像からの画素情報をマッピングして、前記未処理の右側画像の一つおきの画素行からの画素を合成して、前記未処理の右側画像のそれ以外の画素行から画素を選択することにより、前記右側画像に対して前記未処理の右側画像からの画素情報をマッピングする段階を備える
    請求項１に記載の方法。
13. 各左側画像は、一つおきの画素行およびそれ以外の画素行を持つ未処理の左側画像に基づいており、
    各右側画像は、一つおきの画素行およびそれ以外の画素行を持つ未処理の右側画像に基づいており、
    前記方法は、さらに、
    前記未処理の左側画像の一つおきの画素行の第１の位置からの少なくとも２つの画素を合成して、前記未処理の左側画像のそれ以外の画素行の第２の位置からの少なくとも２つの画素を合成することにより、前記左側画像に対して前記未処理の左側画像からの画素情報をマッピングして、前記未処理の右側画像の一つおきの画素行の第１の位置からの少なくとも２つの画素を合成して、前記未処理の右側画像のそれ以外の画素行の第２の位置からの少なくとも２つの画素を合成することにより、前記右側画像に対して前記未処理の右側画像からの画素情報をマッピングする段階を備える
    請求項１に記載の方法。
14. 各左側画像および各右側画像は、少なくとも１つの未処理の画像に基づいており、
    前記方法は、さらに、
    少なくとも１つの結果画像を形成するべく画像サイズを低減するべく、少なくとも１つの未処理の画像を処理する段階と、
    各結果画像を複数のブロックに分割する段階と、
    前記複数のブロックを再配置して、各未処理の画像より小さい予め定義された空間に収める段階と
    を備える請求項１に記載の方法。
15. 立体画像原データのストリームを、組み合わせられることで一連の立体画像を形成可能な一連の左側画像と一連の右側画像とに多重化する方法であって、
    立体画像原データを圧縮する段階と、
    一連の単一のフレームを複数の部分に分割する段階と
    を備え、
    前記一連の単一のフレーム中の各単一のフレームは、各単一のフレームの第１の２つの部分に２つの右側画像を含み、各単一のフレームの第２の２つの部分に２つの左側画像を含む
    方法。
16. 前記単一のフレームの前記各左側画像は、前記単一のフレームの１つの右側画像と関連付けられている請求項１５に記載の方法。
17. 前記複数の部分は、各単一のフレーム内に含まれ、
    各左側画像は各単一のフレームの実質的に１／４に含まれ、各右側画像は各単一のフレームの実質的に１／４に含まれる
    請求項１５に記載の方法。
18. 各単一のフレームは、垂直方向の境界および水平方向の境界により分割され、
    ２つの右側画像は前記単一のフレームの第１のセグメントに配置され、２つの左側画像は前記単一のフレームの第２のセグメントに配置される
    請求項１７に記載の方法。
19. 各左側画像は、未処理の左側画像に基づいており、
    各右側画像は、未処理の右側画像に基づいており、
    各右側画像は、各他の右側画像を作成するのに利用される処理とは異なる処理を用いて、関連する未処理の右側画像から作成され、
    各左側画像は、各他の左側画像を作成するのに利用される処理とは異なる処理を用いて、関連する未処理の左側画像から作成される
    請求項１５に記載の方法。
20. 各左側画像は、未処理の左側画像に基づいており、
    各右側画像は、未処理の右側画像に基づいており、
    前記方法は、さらに、
    １つの右側画像を形成するべく１つの非圧縮右側画像の各行から画素を一つおきに除去して、１つの左側画像を形成するべく１つの非圧縮左側画像の各行から画素を一つおきに除去する段階を備える
    請求項１５に記載の方法。
21. 各左側画像は、未処理の左側画像に基づいており、
    各右側画像は、未処理の右側画像に基づいており、
    前記方法は、さらに、
    １つの左側画像に対して１つの未処理の左側画像からの画素情報を、前記未処理の左側画像の複数の画素からの情報に基づいてマッピングして、前記右側画像に対して前記未処理の右側画像からの画素情報を、前記未処理の右側画像の複数の画素からの情報に基づいてマッピングする段階を備える
    請求項１５に記載の方法。
22. １つの左側画像と１つの右側画像とを処理する段階をさらに備え、
    前記処理は、可変適用双三次スケーリング、可変鮮鋭化、不可変適用双三次スケーリング、および、不可変鮮鋭化からなる群のうちの少なくとも１つから選択される
    請求項１５に記載の方法。
23. 各行から画素を一つおきに除去する段階は、
    第１の行から第１の画素セットを除去して、前記第１の行に隣接する各行から異なる画素セットを除去する段階を有する
    請求項２０に記載の方法。
24. 除去は、
    １つの未処理の右側画像と１つの未処理の左側画像とから除去される「チェッカーボード」タイプの画素パターンを実質的に形成する
    請求項２３に記載の方法。
25. 各左側画像は、未処理の左側画像に基づいており、
    各右側画像は、未処理の右側画像に基づいており、
    前記方法は、さらに、
    １つの未処理の左側画像の所定の領域から、１つの未処理の左側画像の他の領域よりも多い画素を合成することにより、１つの左側画像に対して１つの未処理の左側画像からの画素情報をマッピングして、１つの未処理の右側画像の所定の領域から、１つの未処理の左側画像の他の領域よりも多い画素を合成することにより、１つの右側画像に対して１つの未処理の右側画像からの画素情報をマッピングする段階を備える
    請求項１５に記載の方法。
26. 各左側画像は、一つおきの画素行およびそれ以外の画素行を持つ未処理の左側画像に基づいており、
    各右側画像は、一つおきの画素行およびそれ以外の画素行を持つ未処理の右側画像に基づいており、
    前記方法は、さらに、
    前記未処理の左側画像の一つおきの画素行からの画素を合成して、前記未処理の左側画像のそれ以外の画素行から画素を選択することにより、前記左側画像に対して前記未処理の左側画像からの画素情報をマッピングして、前記未処理の右側画像の一つおきの画素行からの画素を合成して、前記未処理の右側画像のそれ以外の画素行から画素を選択することにより、前記右側画像に対して前記未処理の右側画像からの画素情報をマッピングする段階を備える
    請求項１５に記載の方法。
27. 各左側画像は、一つおきの画素行およびそれ以外の画素行を持つ未処理の左側画像に基づいており、
    各右側画像は、一つおきの画素行およびそれ以外の画素行を持つ未処理の右側画像に基づいており、
    前記方法は、さらに、
    前記未処理の左側画像の一つおきの画素行の第１の位置からの少なくとも２つの画素を合成して、前記未処理の左側画像のそれ以外の画素行の第２の位置からの少なくとも２つの画素を合成することにより、前記左側画像に対して前記未処理の左側画像からの画素情報をマッピングして、前記未処理の右側画像の一つおきの画素行の第１の位置からの少なくとも２つの画素を合成して、前記未処理の右側画像のそれ以外の画素行の第２の位置からの少なくとも２つの画素を合成することにより、前記右側画像に対して前記未処理の右側画像からの画素情報をマッピングする段階を備える
    請求項１５に記載の方法。

Images