JP2013153475A - 立体画像シーケンス符号化方法および復号化方法 - Google Patents

Abstract

【課題】左画像からの画素および右画像からの画素を含む併合画像から成るフレームを複数有する圧縮画像ストリームを復号化するための方法およびシステムを提供する。
【解決手段】方法は、各併合画像を受け取るステップと、元の入力信号からのクロックドメインを内部ドメインに変化させるステップと、各併合画像毎に、少なくとも二つの隣接画素を入力バッファに入れるステップと、復元左フレームおよび復元右フレームを形成するために中間画素を補間するステップと、左および右画像フレームから立体画像ストリームを復元するステップとを含む。
【選択図】図２ａ

Description

本発明は、一般的に、デュアルプログラム画像シーケンスを符号化および復号化するためのプロセスおよびシステムに関し、さらに詳しくは、二つの画像シーケンス信号を単一の映像信号に圧縮し、かつ前記単一の映像信号を復号化して、二つの画像シーケンスプログラムまたは三次元立体映像プログラムを多数の表示フォーマットで再生するためのプロセスおよびシステムに関する。本発明を以下では、映画のような三次元立体映像プログラムの処理を参考にすることによって記述するが、各シーケンスのそれぞれの映像内容の相違に関係なく、任意の対の映像シーケンスの処理に適用することは本発明の範囲内とみなされる。表現「復号化」および「圧縮解除」は、表現「符号化」および「圧縮」の場合と同様に、本明細書の記述の中では同義的に使用される。

１９４７年のステレオスコープの発明以来、視聴者の左眼で見るように意図された第一画像シーケンス、および視聴者の右眼だけで見るように意図された、同一情景の同時の画像であるが第一画像シーケンスに対して視差のある第二シーケンスの画像を再生し、それによって自然三次元視の原理を複製することを通して、視聴者が三次元（３Ｄ）プログラムを見ることを可能にする、幾つかのシステムが開発されてきた。１９５０年代以降、より完全かつ胸躍らせる視聴経験を提供するために、デュアルカメラヘッドシステムを使用して、時間的に同期しかつ視差を持つステレオ対の画像をピックアップして、視聴者が奥行き効果を知覚することを可能にする、多くの映画が製作されてきた。

現在、ホームシアターシステムが急速に家庭市場に進出してきており、家庭での高品質映写経験の需要に応じて、非常に高級かつ高品質のシステムが人気を得つつある。それにもかかわらず、既存の立体映像再生システムは視聴者の期待を満たすには依然としてほど遠く、入手可能な最新のホームシアターシステムにさえ依然として組み込まれていない。その理由は主に、比較的低い画像品質（退色および／または階段状の対角線）ならびに通常のフリッキングおよび空間的現実性の欠如によって引き起こされる疲労および不快感にある。実際、テレビ受像機のような単一映像プログラムの提示用に意図された機器で二つの異なるプログラムが提示されるので、二つの映像信号間における技術的資源の分担は、各眼のフレーム提示レートが半分に低下することおよび画像フィールドと黒色背景との間のコントラストのため、画像の空間解像度の損失およびフリッキングを導く。

典型的な既存の立体映像再生技術は、インタレース映像信号の偶数ラインフィールドの第一画像シーケンスおよび信号の奇数ラインフィールドの第二画像シーケンスの情報を符号化することから成る。再生時にはシャッタ眼鏡を使用して、偶数ラインの提示中は視聴者の眼の一方を遮蔽し、奇数ラインの提示中は他方の眼を遮蔽する。偶数ラインと奇数ラインを含む通常の画像は一般的に１／６０秒の二つの連続走査期間に提示されるので、各眼は１／６０秒の画像のシーケンスの後に続く１／６０秒のブラックアウト期間として立体映像プログラムを見、各眼が毎秒３０フレーム（ｆｐｓ）を見ることが可能になる。さらに、各再生画像は、画像ラインと黒色ラインを交互に入れ替えることによって構成される。明らかに、そのように再生された立体画像はそれらの位相幾何学的情報を損失し、５０％のデューティサイクル（空間および時間の両方）は、経験によって確認されている通り、明るさの損失およびフリッキングを誘発する。

そのような限界、短所、および欠点の解決策は、少なくとも６０ｆｐｓ（各眼に毎秒３０フルフレーム）のレートで完全な立体画像を提示することであり、それは通常、非立体（平面）プログラムによって要求される信号帯域幅の少なくとも二倍を必要とする。表示される画像と周囲の照明との間で比較的高いコントラストを提示する部屋でフリッキングを除去するには、各眼に毎秒最高６０までのフル精細度画像の提示を可能にするために、最高１２０Ｈｚまでの垂直走査（およびシャッタ眼鏡）周波数がさらに必要である。そのような周波数は広く利用されてはいないが、立体映像プログラムのフリッカレス提示は、現行製造の二つのデジタルビデオプロジェクタを使用し、各々３０ｆｐｓの連続レートで立体映像プログラムの第一および第二画像シーケンスをそれぞれ受けることによって、セットアップすることができる。各プロジェクタの出力は光学的にフィルタリングされて、垂直および水平偏波出力投写画像を位置合わせしかつ完全に時間的に同期して特殊銀被覆スクリーン上に生成する。三次元効果を明らかにするために、視聴者は異なる偏光ガラスを備えたアイウェア（eyewear）を着用することができる。そのような解決策は明らかに非常に高価であり、ホームシアターシステムの市場の期待に応えるものではない。

しかし、最高１２０ｆｐｓまでの提示レートを提供することができるＤＬＰ（デジタルライトプロセシング）技術を使用した非常に高速で比較的安価なプロジェクタが今や利用可能であるので、単一のプロジェクタが高コントラスト環境でもフリッキングを実質的に除去するのに充分な高いレートで立体対シーケンスの画像を交互に提示することができる。また、高級なＣＲＴプロジェクタおよびコンピュータモニタも、そのような互換可能な精細度およびリフレッシュレートを提供することができる。

それにも関わらず、映像プログラム情報の格納および放送（伝送）のほとんどの現行規格がフルフレーム画像の流れを、元来二つの２４（アメリカンモーションピクチャ）、２５（ＰＡＬまたはＳＥＣＡＭ）、または３０ｆｐｓ（ＮＴＳＣビデオ）のプログラムから成る高品質立体映像プログラムを格納および提示するために必要な能力の約半分である３０ｆｐｓに制限するという、そのようなシステムの主要な限界は変わらない。さらに、映画は常に毎秒２４フレームのレートでキャプチャされ記録されるので、二つの２４ｆｐｓのプログラムを単一の３０ｆｐｓの信号に圧縮し、その後、そのような信号を伸張して各々３０ないし６０ｆｐｓのレートで二つのプログラムを提示するという二重の問題に対処しなければならない。したがって、３Ｄホームシアターの将来は、処理中に誘発される情報の損失または歪みが無視できるほど小さくなるように、ＭＡＩＮプロファイル（対ＭＶＰ）のＭＰＥＧ−１またはＭＰＥＧ−２（動画像符号化グループ）圧縮／圧縮解除プロトコルのようなプロトコルを使用して圧縮および圧縮解除される３０ｆｐｓの信号を処理する、現行製造の標準的レコーダ、プレーヤ、および放送機器に適合するように立体映像信号を符号化および復号化する能力に依存する。

先行技術の少数の技術が、上記の短所および限界の一つまたはそれ以上を克服するための解決策を教示している。第一に、３：２プルダウン圧縮法を使用して、２４ｆｐｓのインタレース画像シーケンスから３０ｆｐｓの立体映像インタレース信号を生成することができる。この方法では、元のシーケンスの四個の画像毎に一個の新しい画像を作製して挿入することにより、元の画像シーケンスを時間伸張する。新しい画像は一つのフィールドに先行する画像の偶数ラインを、第二フィールドに次の画像の奇数ラインを含む。明らかに、元のプログラムの各画像は、立体映像プログラムの左視画像の部分を含む第一フィールドと、右視画像の部分を含む第二フィールドとから構成することができる。明らかに、３０ｆｐｓの立体映像プログラムはそれによって、２４ｆｐｓの左眼シーケンスおよび２４ｆｐｓの右眼シーケンスから得ることができる。しかし、そのような技術では、異なる時間にキャプチャされた画像に属するラインが特定の画像で組み合わされるので、結果的に得られる３０ｆｐｓのプログラムはアナクロニズムおよび位相幾何学的歪みを提示する。これは、現実感が欠如し、眼の疲労および不快感を視聴者にもたらす拙劣な結果を生じる。立体映像プログラムを提示するために使用した場合、この技術はさらに、インタレース信号圧縮技術に関して上記と同じ限界および欠点を免れない。

さらに、相互に互換性の無い様々な入力信号を使用し、異なる伝送（格納または配信）フォーマット（列インタリーブ、行インタリーブ、同時デュアルプレゼンテーション、ページフリッピング、アナグリフ等）を必要とする、多くの立体映像表示装置が開発されている。２Ｄの視聴を可能にしながら、同時に立体映像プログラムを異なるシステムにもたらすための解決策は、全ての既存のフォーマットで幾つかの物理的媒体で同時に放送または格納することであろう。明らかにそれは現実的でもなく、経済的でもない。したがって、家庭における立体映像の将来は、正常な２Ｄの視聴を可能にしながら現行および将来の立体映像表示装置と互換可能な複数／汎用立体映像出力フォーマットを生成する能力を有する、立体映像信号および映像処理装置を必要とする。

多くの特許が、二つの３０ｆｐｓの信号を３０ｆｐｓの能力を持つ単一のチャネルで搬送されるように縮小する圧縮技術をも教示しており、それらの幾つかはＭＰＥＧ圧縮／圧縮解除プロセスに透過的であるように設計されている。しかし、これらの技術は、画像品質を維持しかつ快適な視聴経験を提供しながら、例えば２４ｆｐｓのシーケンスを３０ｆｐｓに変換し、あるいは３０ｆｐｓのシーケンスを４８、６０、７２、９６、または１２０ｆｐｓのシーケンスに変換するために紛失フレームを作成するのに必要な時間的補間を特徴とするものではない。さらに、それらは、同一映像信号および映像処理装置から複数の立体映像出力フォーマットを生成する能力を持たない。

例えば、１９９７年５月６日にムラモトら(Muramoto et al.)に付与された米国特許第
５，６２６，５８２号（下記特許文献１）は、二つの３０ｆｐｓの映像信号を所定のクロック周波数でデジタル化してＤＲＡＭメモリに格納する時間ベースの圧縮方法を教示している。その後、メモリは、元の期間が１／３０の二つのサンプルを１／３０の間隔で連結することができるように、書込み周波数の二倍の周波数で読み出される。しかし、選択されたサンプリング周波数によっては、最終信号は、二つの隣接する画素が単一のデジタルデータ（低サンプリング周波数および通常の再生周波数）で平均化されるので精細度を欠如するか、あるいはＤＶＤまたは放送チャネルなどのデータ格納媒体の容量を超えるかのいずれかである。この発明はまた、所定の原始フォーマットから複数の出力フォーマットを生成する能力も欠如し、元のシーケンスを復元するためには二つの並列回路を必要とする。

さらに、１９９７年１１月２０日に公開されたブリーデ(Briede)の国際出願第ＷＯ９７／４３８６３号（下記特許文献２）では、第一および第二シーケンスの画像から画像が間引きされ、画素は二つの連続する元のラインの相補的画素と単一のラインを形成するように変向され、次いで、左眼および右眼からの新しく形成されたラインとインタレースして、組み合わされた立体画像シーケンスを形成し、チャネルで伝送される。受端では、立体画像シーケンスから並置フィールドが逆多重化され、画素を同時に再配置しかつそれらのそれぞれの立体映像シーケンス（左右）の紛失画素を再形成する二つの平行な伸張回路に送られる。それによって復元された元の第一および第二画像シーケンスが次いで、可視化のために二つのディスプレイに出力される。

米国特許第５，６２６，５８２号 国際出願第ＷＯ９７／４３８６３号

その技術は、制限された容量のチャネル（伝送媒体）を使用して格納または配信するために、フルフレームを空間的に圧縮／圧縮解除する興味深い方法を提供するが、それは二つの２４または２５ｆｐｓの画像シーケンスを３０ｆｐｓの立体シーケンスに変換し、あるいは再生レートを高めてフリッキングを防止する問題には対処していない。さらに、それは、単一のディスプレイモニタまたはプロジェクタを使用して、復元された第一および第二画像シーケンスの時間的順序付けを通して、ページフリッピングモードをはじめとする他の立体映像フォーマットで再生することができない。また、前述の例と同様に、画像を復元する前に信号を最初に逆多重化しなければならないので、両方の画像シーケンスに復元プロセスを実行するために、再び二つの並列回路が必要である。

上記の例は、二つの映像信号または画像シーケンスを単一の信号に符号化し、かつそのような複合信号を復号化して元の信号またはシーケンスを実質的に回復するための様々な方法およびシステムが知られていることを示すが、先行技術のこれらの方法およびシステムは、それにもかかわらず、例えば３Ｄ映画の再生に対するホームシアター市場の期待に応えるために要求されるように、単一のチャネルおよび現行製造の従来の録画、再生、および表示装置を使用して、二つの２４ｆｐｓの映画のみならず、２５または３０ｆｐｓの立体映像プログラムについても高忠実度の録画、放送、および再生を可能にする、機能システムを提供する重要な特徴が欠如している。

したがって、複数の出力フォーマットの特定の立体映像伝送信号の再生を可能にしながら、既存のホームシアター機器に容易に使用して高品質の立体映像の再生を、しかも手頃なコストで提供することができる、新規の立体映像プログラム符号化および再生方法およびシステムが必要である。

本発明の第１の側面によれば、第１のフォーマットを有する立体画像ストリームの圧縮された画像ストリームを処理するための方法が提供される。前記圧縮された画像ストリームは複数のフレームを含み、各フレームは左画像からの画素および右画像からの画素を含む併合画像から成る構成において、当該方法は、
（ａ）前記圧縮された画像ストリームを圧縮解除するステップと、
（ｂ）各併合画像を受け取るステップと、
（ｃ）復元された左フレームおよび復元された右フレームを形成するために、各併合画像に、少なくとも二つの隣接画素を入力バッファに入れ、中間画素を補間するステップと、（ｄ）前記左および右画像フレームから立体画像ストリームを復元して、それを出力フレームバッファに格納するステップと、
（ｅ）前記第１のフォーマットとは異なるフォーマットで前記フレームを出力する出力ステップと、
を含み、前記出力ステップは、前記出力において、ページフリッピングモードでの提示用に、毎秒３０フレームの前記立体画像ストリームから増加された、少なくとも毎秒３６フレームのフレームレートを作るために、前記画像ストリームの表示レートを増加させる工程を含んでいる。

好ましくは、前記併合画像を構成する前記左画像からの前記画素は、前記左画像を構成する画素配列から縦横両方向とも一つおきに抽出したものであり、前記併合画像を構成する前記右画像からの前記画素は、前記右画像を構成する画素配列から縦横両方向とも一つおきに抽出したものである。

好ましくは、中間画素を補間する前記ステップが、前記二つの隣接画素を平均することを含んでいる。

好ましくは、中間画素を補間する前記ステップが、前記中間画素を補間するために水平方向の隣接画素を前記中間画素からの距離に応じて加重することを含んでいる。

好ましくは、中間画素を補間する前記ステップが、前記中間画素を補間するために垂直方向の隣接画素を加重することを含んでいる。

好ましくは、前記複数の立体表示モードは、ページフリッピング、行インターリーブ、列インターリーブ、および、アナグリフのうち、少なくとも二つを含んでいる。

好ましくは、前記併合画像は、前記左画像からの画素を含む第１の領域と、前記右画像からの画素を含む第２の領域と、を含んでいる。

好ましくは、前記第１のフォーマットとは異なるフォーマットで前記フレームを出力する前記ステップは、前記画像ストリームの表示レートを増加するステップを含んでいる。

前記画像ストリームの表示レートを増加させる前記ステップは、前記復元された立体画像ストリームを時間補間することを含んでいる。

本発明の第２の側面によれば、第１のフォーマットを有する立体画像ストリームの圧縮された画像ストリームを処理するためのシステムが提供される。当該システムは、
（ａ）圧縮された画像ストリームを受け取るための入力と、
（ｂ）受け取った前記画像ストリームを圧縮解除するための圧縮解除モジュールと、
（ｃ）各併合フレームを空間補間して復元された右および左フレームを得る動作ができるように前記入力に接続された空間補間モジュールと、
（ｄ）前記復元された右および左フレームを格納するための右および左メモリバッファと、
（ｅ）立体画像表示装置を同期化するための同期化モジュールと、
（ｆ）前記第１のフォーマットとは異なるフォーマットで前記フレームを出力する出力メモリコントローラと、を含む。前記コントローラは、前記出力において、ページフリッピングモードでの提示用に、毎秒３０フレームの前記立体画像ストリームより、少なくとも毎秒３６フレーム増加させたフレームレートを作るために、前記画像ストリームの表示レートを増加させる。

好ましくは、上記システムは、前記出力される立体画像ストリームの周波数を補正するレートコントローラをさらに含む。

好ましくは、上記システムは、前記レートコントローラの下流にフリッカ防止フィルタをさらに含む。

好ましくは、上記システムは、前記入力の下流にアナログデジタル変換器を含む。

好ましくは、上記システムは、前記出力の上流にデジタルアナログ変換器をさらに含む。

好ましくは、前記同期化モジュールは、シャッタ眼鏡を同期化させるために用いられる。

好ましくは、前記複数の立体画像表示モードは、ページフリッピング、行インターリーブ、列インターリーブ、および、アナグリフのうち少なくとも二つを含む。

好ましくは、前記コントローラはさらに時間補間器を含み、かつ、前記画像ストリームの表示レートを増加させる工程は、前記復元された立体画像ストリームを時間補間するステップを含む。

以下の説明からいっそう明らかになるように、本発明は先行技術の上記の解決策の限界および欠点を克服し、数ある有利な特徴の中でも特に、次の点を挙げることができる。
‐本発明は、従来のデジタルビデオディスク（ＤＶＤ）に格納しあるいは従来の機器を用いて放送するのに適したフォーマットで、かつ空間および時間情報の実質的に知覚可能な損失無しに、二つの２４または３０ｆｐｓの画像シーケンスの圧縮を可能にする符号化方法、および該方法を実現するシステムを提供する。
‐本発明は、順次またはインタレースモードで各眼に毎秒２４ないし６０フル解像度画像のレートで提示するために、元のシーケンスの復元およびレートの増強によって、立体映像プログラムの高い視覚的品質の再生を可能にする再生方法およびシステムを提供する。‐本発明は、市販のデータ格納媒体再生機器及び表示機器に対する、さらに詳しくはＭＰＥＧメインビュープロファイル圧縮／圧縮解除プロトコルおよび市販の回路に対する完全な互換性を特徴とする、符号化および再生方法およびシステムを提供する。
‐本発明は、シャッタ眼鏡、偏光アイウェア、またはアナグリフ眼鏡を用いて、どの汎用規格（ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ、ＳＤＴＭ、ＨＤＴＶ等）の下でも作動するヘッドマウントディスプレイ（ＨＭＤ）、ＬＣＤ、ＤＬＰおよびＣＲＴの背面および前面投写型ＴＶ、直視型ＴＶ、ならびにコンピュータモニタのようなどの既存の技術でも再生が可能なように直接使用しあるいは変換することができる、汎用出力信号を提供する立体映像プログラム再生方法およびシステムを提供する。
‐本発明は、先行技術の方法および装置で立体映画を視聴する際に通常直面するフリッキングおよび疲労の除去または実質的な低減を達成する符号化および再生方法およびシステムを提供する。
‐本発明は、潜在的に異なる無関係の情景を提示する二つの独立した画像シーケンスの符号化および復号化を可能にする方法およびシステムをさらに提供する。

二つの平面画像シーケンスを立体画像シーケンスに圧縮符号化してデータ格納媒体に記録するかまたは単一チャネルで放送するための本発明に係るシステムの略図である。 図１ａに提示したようなシステムにより以前に符号化された立体画像シーケンスを伸張復号化し再生するための本発明に係るシステムの略図である。 二つの相補的画素モザイクに位相幾何学的に分離され、併合画像６０のフィールドＡおよびＢを形成するデジタル化画像６０の一部分の略図である。 位相幾何学的に間引かれて併合画像６０のフィールドＡおよびフィールドＢをそれぞれ形成する縮小モザイクになる、二つのデジタル化画像５０および５０’の一部分の略図である。 併合画像６０に含まれる一対の間引かれた画像の空間補間により、二つのフル精細度画像７２および７２’を復元するプロセスの略図である。 時間遅延を持つ二つの画像５０．４および５０．５から新しい画像５２を形成するための時間補間プロセスの略図である。 二つの平面画像シーケンスを立体合成画像シーケンスに圧縮符号化するための本発明に係る圧縮プロセスの第一実施形態の略図である。 図３ａに提示したようなプロセスに従って以前に符号化された立体画像シーケンスを復元しかつ時間伸張するための本発明に係る圧縮解除プロセスの第一実施形態の略図である。 二つの平面画像シーケンスを立体画像シーケンスに圧縮符号化するための本発明に係る圧縮プロセスの第二実施形態の略図である。 図４ａに提示したようなプロセスに従って以前に符号化された立体画像シーケンスを復元しかつ時間伸張するための本発明に係る圧縮プロセスの第二実施形態の略図である。 本発明の好適な実施形態に係る復号器の略図である。

添付の図において、同様の参照番号は同様の部品を指す。

立体映像シーケンスを符号化し、かつ再生するための方法および関連システムの好適な実施形態について、添付の図面を参照しながら詳細に説明する。

図１を参照すると、二つの平面画像シーケンスを立体画像シーケンスに圧縮符号化するための本発明に係る典型的なシステムセットアップが示されている。カメラ３および６によって提示される画像シーケンスの第一および第二ソースは、共通またはそれぞれのデジタルデータ格納媒体４および７に格納される。代替的に、画像シーケンスはデジタル化映画フィルムまたはデジタルデータ格納媒体に格納されたデジタル画像ファイルの任意の他のソースから提供することができ、あるいはマイクロプロセッサをベースとするシステムによって読み取るのに適したデジタル映像信号として実時間に入力することができる。カメラ３および６は、それらのそれぞれのキャプチャされた画像シーケンスが情景１００の視差を持つ異なる画面を提示し、立体視の概念に従って視聴者の左眼および右眼の知覚をシミュレーションする位置に示されている。したがって、第一および第二のキャプチャされた画像シーケンスを適切に再生すると、視聴者が情景１００の三次元視を知覚することが可能になる。

ベータカム４：２：２（動画）のような２４ｆｐｓのデジタルＹＵＶフォーマットで一般的に利用可能な格納されたデジタル画像シーケンスは次いで、５および８のようなプロセッサによって、ＲＧＢフォーマットに変換されて、本発明の符号化システムの主要素を表わす動画ミキサユニット１の入力２９および３０に供給される。しかし、二つの画像シーケンスは代替的に、コストを低減するために、共通プロセッサによって時分割方式で変換することができることに留意すべきである。ミキサ１は二つの平面ＲＧＢ入力信号を３０ｆｐｓの立体ＲＧＢ信号に圧縮し、それは出力３１に送り出され、次いでプロセッサ９によって出力３２でベータカム４：２：２フォーマットに変換され、次に典型的な回路１０によって標準ＭＰＥＧ２ビットストリームフォーマットに圧縮される。結果的に得られるＭＰＥＧ２符号化立体映像プログラムは次いで、デジタルビデオディスク（ＤＶＤ）１１のような従来の媒体に記録するか、または例えばトランスミッタ１３およびアンテナ１４を介して単一の標準的チャネル上で放送することができる。代替的プログラム伝送媒体は、例えばケーブル配信網またはインターネットとすることができる。

今、図１ｂに目を向けると、図１のシステムを使用して記録または放送された立体映像プログラムの復号化および再生のための本発明に係る典型的なシステムが示されている。第一および第二画像シーケンスからの圧縮情報を含む立体ＤＶＤ１１（３ＤＶＤ）は、現行製造の従来のプレーヤ１５によって再生され、ＮＴＳＣシリアルアナログ信号を本発明の復号／再生システムの主要素である立体画像復号器２に送り出す。代替的に、アナログまたはデジタルフォーマットのＡＴＳＣ ＤＴＶ信号を受け入れることができる。

復号器２は、第一および第二画像シーケンスを表わすＲＧＢ信号の同期化対を出力２３および２４に生成し、ヘッドマウントディスプレイ（ＨＭＤ）１６のようなデュアル入力立体映像順次表示装置を駆動させる。さらに、復号器２は時間順序付けられた立体ＲＧＢ信号を出力２５に生成し、プロジェクタ１７、ＬＣＤディスプレイ２２、ＣＲＴモニタまたはＳＤＴＶまたはＨＤＴＶ２１のような単一入力順次表示装置に供給し、それによって第一および第二画像シーケンスからの画像は交互ページフリッピングモードで提示される。代替的に、出力２５からの立体ＲＧＢ信号は、アナログＣＲＴテレビ受像機によって生成されるインタレースＮＴＳＣ信号または他の立体映像フォーマット（例えば自動立体連ティキュラ表示装置用の列インタリーブ）に変換することができる。また、復号器２は、ＲＧＢ出力の一つ２３または２４に立体ＲＧＢ信号を出力するように内部的に構成し、こうして出力２５を除去することができる。

復号器２はさらに、眼鏡１９を駆動する赤外線シャッタ眼鏡駆動装置２０を駆動させるために、出力２６に同期タイミング信号を生成する。シャッタ眼鏡１９は、視聴者が交互に第一画像シーケンスからの画像を一方の眼で見、第二画像シーケンスからの画像を彼の第二の眼で見ることを可能にすることによって、立体出力２５によって供給されるプロジェクタ１７によって例えばスクリーン１８に投写される三次元プログラムを視聴するために視聴者が着用することができる。

上記の説明で述べた通り、二つの元画像シーケンスは含まれる情報が多すぎて、従来のＤＶＤに直接格納したり、あるいは３０ｆｐｓのレートで情報を処理するＭＰＥＧ２または同等の多重化プロトコルを使用して従来のチャネルで放送することができない。したがって、ミキサ１は間引きプロセスを実行して、各画像情報を半分に減少する。ミキサ１によって実行される空間間引きについて、今から図２ａおよび２ｂを参照しながら説明する。

図２ａは、ミキサ１および復号器２によって処理されるＲＧＢ映像信号によって定義される画像５０の一部分を示す。見て分かるように、画像５０は多数の画素（交互のフルドットおよび空ト゛ット）から構成される。ＲＧＢフォーマットでは、各画素はそれぞれ赤、緑、および青の強度を示す三個のデジタル数字のベクトルによって定義される。本発明は、三個の隣接画素が横方向または縦方向のいずれでも急激に異なる強度を持たないという前提を利用する。したがって、本発明は、画像を不当に汚損することなく、画像のサイズを５０％低減する圧縮、間引き、または分離プロセスを有利に達成する。

図２ａは、これがいかに達成されるかを模式的に示す。上記の通り、画像５０は多数の画素から構成される。画像の第一画素（１行目の画素１）から始まり、第三画素に続き以下同様に画像全体にわたって、各行の左から右に、かつ上の列から最後の列まで続く画素（中実ドットによって示される）の系列は、モザイクＡを形成するために、フレームバッファの半分に配置される。残りの画素、つまり偶数番号の画素（空ドットによって示される）はモザイクＢとして配置される。図２ａの例では、画像５０の二つの相補的モザイクが、共通の併合画像６０のモザイクＡおよびモザイクＢにそれぞれ格納されるものとして示される。しかし、実際には、この「分離」は、例えば奇数または偶数番号の画素だけを「読み出し」てそれらをフレームバッファに直接配置することができる、適切なハードウェアおよびソフトウェアにより自動的に行なわれることが好ましい。

図２ｂによりよく示す通り、基本的に画像は、５０のような第一シーケンス（例えば左眼のシーケンス）の画像のモザイクＡおよび５０’のような第二シーケンス（たとえバ右眼のシーケンス）の画像のモザイクＢだけを維持することによって、５０％空間圧縮することができる。各シーケンスに異なる型のモザイクを維持することにより、第一および第二シーケンスが同一情景の異なる画面を表わす場合に、再生時に高い忠実度が促進される。代替的に、異なる型のモザイクから同じ眼の二つの連続画像が再現され、同一圧縮フレームに潜在的に格納されるように、偶数番号の画像に対してはモザイクＡを保存し、奇数番号の画像に対してはモザイクＢを保存することによって、空間圧縮を実行することができる。

上記の動作は、図２ｂに示すように、三画素入力バッファ５５に一度に一個ずつ画素データを入力することによって達成される。次いで画素情報は、各々異なる併合画像を作成するのに役立つ一つまたはそれ以上のフレームバッファの適切なメモリ場所に転送される。異なる入力画像からのモザイクは対として並んで連結され、６０のような元のサイズの新しい系列の併合フレームの二つの隣接フィールド（左フィールドおよび右フィールド）を形成する。図２ｂに示した例では、画像５０’は現在処理中であるが、画像５０の処理は完了しており、併合画像６０の左フィールド（Ａ）に格納された完全なＡ型のモザイクが生成されている。しかし、圧縮／符号化（ミキシング）方法の好適な実施形態の詳細な説明から明らかになるように、併合フレームは必ずしも第一シーケンスからの画像および第二シーケンスからの画像、あるいは同時にキャプチャされた画像を含むものではないことを指摘しておかなければならない。実際、図２ａの例では、併合画像６０のフィールドＡおよびフィールドＢはそれぞれ、同一画像５０からのモザイクＡおよびモザイクＢで満たされている。その状況は図を単純化するために選択されたものであり、ここで企図する発明の実施形態の一つに係る実際の状況に対応しているが、６０のような併合画像は、入力画像のいずれに由来するモザイクでも含むことができると考えられる。サイドバイサイド圧縮伝送フォーマットはほとんどが透過的であり、プロセスの下流のＭＰＥＧ２メインビュープロトコルを特徴付ける圧縮／圧縮解除処理によって影響されない。

併合画像の復号化の後、６０のような併合画像のフィールドに位置する圧縮された半サイズ画像（モザイク）から欠落画素を空間補間することによって、完全な画像の復元が実行される。図２ｃに示すように、これは、復号器２で復号化された入力併合フレーム６０の各画素がメモリへまたはメモリから転送されるときに、実時間で達成することが好ましい。上記の通り、本発明のシステムの基礎にある前提は、隣接画素の値があまり異ならないことである。したがって、モザイクから画像を復元するために、隣接画素は、欠落画素を補間するために加重される。

本発明の好適な実施形態では、一度に一個ずつ画素データが三画素入力バッファ６５に格納される。図示する通り、入力画像６０の陰影付け部分の三個の画素は入力バッファ６５に格納されており、同じモザイクからの二個の隣接画素はＰ_iおよびＰ_i+1と識別されている。次いで、第三の画素Ｐｊのデータが隣接画素（Ｐ_iおよびＰ_i+1）のＲＧＢベクトルの三つの成分の各々の算術平均として算出される。例えば、画素Ｐ_iが（１０，０，３０
）の強度ベクトルを持ち、画素Ｐ_i+1が（２０，０，６０）の強度ベクトルを持つ場合、
画素Ｐ_jは（１５，０，４５）と算出される。したがって、二つの同一画素の平均は別の
同一画素となる。その算出された（位相幾何学的に補間された）画素は、５０のような元の画像シーケンスからのモザイクの作成後に間引かれた欠落画素に取って代わる。

元の画素および補間された画素は次いで、フレームバッファの適切なメモリ場所に格納され、そこで対応する画像が復元される（本例では画像７２）。併合フレーム６０の各行の中心を通って（右フィールドに入る）、データは第二フレームバッファ７２’に格納されて、立体画像の右側フィールドに格納されたモザイクから画像を復元する。該プロセスは、二つの画像がそれらのそれぞれのバッファで空間的に復元されるまで、一行ずつ左から右に行なわれる。

上記の実施形態はモザイクの二つの隣接画素の平均として一個の画素を補間するが、本発明は三個以上の画素の加重にも備えている。例えば、画素Ｐ_jを補間する場合、モザイ
クから二個または三個の先行画素および後続画素を異なる係数と共に使用することができる。さらに詳しくは、図２ｃを参照すると、Ｐ_jは０．６Ｐ_i+1＋０．６Ｐ_i-1−０．１Ｐ_i+2−０．１Ｐ_i-2として補間することができる。言うまでもなく、希望する結果に応じて
種々の異なる係数および公式を使用することができる。さらに、水平補間を実行する代わりに、同じプロセスに従って垂直補間を実行することができ、あるいは水平および垂直両方の補間の組合せを実行することができる。

フリッカレス表示を確実にするために、当該復号化方法は、以下の説明で詳述する通り、画像シーケンスの時間伸張をさらに含む。フレームバッファが完全に満たされて、完全な復元画像または時間補間画像が得られると（復元プロセスおよびシステムのどの実施形態でも四個を超えるフレームバッファは必要ない）、それらは様々なモードに従って読み出されて、様々な種類の希望する出力信号を提供する。

本発明に従ってミキサ１によって実行されるミキシング方法の第一実施形態を添付の図面の図３ａに模式的に示し、以下において詳しく説明する。

Ｌ１ないしＬ４と識別されたＲＧＢ２４ｆｐｓフォーマットの第一シーケンス５０は最初に、元のシーケンス５０の四個の画像毎に新しい画像５２を形成して挿入することにより、２５％時間伸張されて５１のような３０ｆｐｓの画像シーケンスを形成する。新しい画像５２は、直前および直後の画像（元のシーケンス５０の＃４および＃５）の位相幾何学的情報から時間補間される。新しい画像５２の各画素は、上記の説明で述べた空間補間技術と同様の仕方で、先行および後続画像の対応する画素の算術平均として算出される。図２ｄは、入力画像シーケンス５０の二個の時間的に連続する画像５０．４および５０．５から新しい画像５２が形成される時間補間プロセスの特定の例証を提供する。本発明における新しい画像の形成は一般的にそうした技術に従って達成され、例えばフレームの単純な繰返しに比較して再生時の流動性が改善され、処理能力が少なくて済む。代替的に、移動予測に基づく方法など、画像の時間補間を実行するためのいずれかの公知の方法を使用することができる。

時間伸張シーケンス５１の画像は次いで、図２ｂに示しかつ上記の説明で詳述した技術に従って空間圧縮されて、新しいシーケンス５３によって表わされるモザイクを形成する。同様に、第二の入力画像シーケンス５０’は３０ｆｐｓシーケンス５１’に時間伸張され、シーケンス５３’によって表わされるモザイクに空間圧縮される。この特定の実施形態では、それぞれ第一シーケンス５３および第二シーケンス５３’からの圧縮画像（モザイク）の対が次いで連結されて、３０ｆｐｓＲＧＢシーケンス６０の併合画像の左フィールドおよび右フィールドを形成する。このシーケンス６０は、遠隔位置への送信のために、ストリーム６２内に符号化することができる。

図３ａの模式図にもかかわらず、画像シーケンスの処理は並行して長い画像シーケンスで実行されないことが好ましい。実際、時間補間を可能にするために任意の一時にバッファに入れられるのは少数の画像だけであり、代わりに画像は、むしろ図２ｂおよび２ｄに提示したプロセスステップと同様に一画素ずつ、第一および第二（左および右）シーケンスからインポートされ、処理される。

今から、図３ｂ、２ｃおよび２ｄを参照することによって、本発明の第一実施形態に従って復号器２によって実行される復号化および復元について説明する。

図３ｂに示す例では、ステレオＭＰＥＧ信号６２がＤＶＤから読み出され、ＤＶＤプレーヤ１５（図１ｂ）によって、符号器２により入力されるアナログＮＴＳＣ信号７０に変換される。ＮＴＳＣ信号７０は最初にＲＧＢフォーマットに変換されて、シーケンス６０にあるような併合画像を回復する。次いで、図２ｃに関連して前述したように、シーケンス６０の併合画像の左および右フィールドからのモザイクを一画素ずつ空間補間しかつ分離して、７２および７２’のような３０ｆｐｓの圧縮解除バッファ画像を形成することによって、第一および第二の元シーケンス５０、５０’の復元を開始することができる。したがって、空間補間および分離は事実上同時に実行される。ＲＧＢ画像のシーケンス７２および７２’はデュアル入力装置に直接出力されて表示され、６０ｆｐｓ（各眼に３０）の提示レートで元のプログラムまたは立体映像プログラム信号を再生することができる。さらなる処理を実行して、インタレースモード、または順次（ページフリッピングモード）、アナグリフモード、列インタリーブモード、従来の２Ｄモード等で、多数の既存の単一入力表示装置に画像シーケンスを提示することもできる。

しかし、快適で疲労しない視聴を可能にするために、復号器２は、毎秒各眼に３６個のフル精細度フレームの一般的レートで出力信号を提供することによって、フリッキングをかなり低減するが、例えばＳＤＴＶまたはＨＤＴＶのリフレッシュレートに匹敵する高精細度フレームでは、各眼に３０ｆｐｓで十分な結果を得ることができる。他方、非常に高い忠実度の再生のために、最高１２０ｆｐｓ（各眼に毎秒６０個の画像）までの出力信号を復号器２によって達成することができるが、そのような出力はＤＬＰプロジェクタおよび限られた数の高級装置のような表示装置に匹敵する。経験上、ここで企図されるように符号化／復号化プロセスを通して画像品質が維持されることを前提として、７２ｆｐｓの再生レートで非常に優れた結果が得られ、そのような周波数は、ホームシアターシステムで現在見かけるほとんどの表示装置の標準である。

したがって、復号器２によって実行される再生プロセスは、シーケンス７２および７２’の提示レートを高めるさらなるステップを含むことが好ましい。図３ａおよび２ｃに関連してミキシングプロセスの上記説明ですでに述べた時間補間技術を使用して、画像シーケンスに規則的間隔で追加の画像を挿入する。挿入の位置は、ミキシング時に入力シーケンス６０の空白行に格納されたフレーム番号情報を通して注意深く制御することができる。代替的に、シーケンス７２および７２’からの画像を反復して（二回読み出す）、提示時にレートを高めることができる。例えばシーケンスの全ての画像を二回読み出して、提示のレートを倍加することができる。

図３ｂに示した例では、それぞれシーケンス７２および７２’の画像＃２および＃３からの情報を使用して、一つの新しい中間画像対７３、７３’が時間補間され、画像＃２と＃３の間に挿入され、それによって結果的に得られるシーケンス７４および７４’のレートが３６ｆｐｓ（立体映像プログラムで合計して７２ｆｐｓ）に増加する。該プロセスを図２ｃに部分的に示す。そこではシーケンス７２の画像＃２および＃３は７２．２および７２．３と識別される。代替的に、さらなる画像を時間補間して挿入し、例えば合計して９６ｆｐｓとなるように各シーケンスに毎秒４８フレームのレートを提供することができる。各シーケンス（眼）に６０ｆｐｓのレート（立体映像プログラムでは合計１２０ｆｐｓ）も、補間を必要としない興味深い事例である。シーケンス７２および７２’の全ての画像を単に二重化して、画像数を倍加するだけである。再生時に、シャッタ眼鏡は１２０Ｈｚのレートで駆動され、所定のシーケンスの全ての画像が対応する眼に対して１／３０秒に二回提示される。それによって卓越した鮮明さが得られるが、現在は非常に限られた範囲の表示装置しかそのような高いリフレッシュレートを処理できない。

上記の説明は、入力シーケンスが映画に一般的な２４ｆｐｓのレートで供給される事実に基づいていることに注意する必要がある。しかし、図３ａの時間伸張されたシーケンス５１および５１’によって表わされた時間補間の予備ステップを単に省略することによって、二つの３０ｆｐｓのシーケンス（例えばＴＶ番組）が供給される事例に、ミキシングプロセスを容易に適応させることができることは、容易に理解することができる。明らかに、復号化プロセスは常に３０ｆｐｓの入力シーケンスに対して働くので、プロセスのその部分に実質的な適応は必要ない。

代替的に、図４ａに示すように、本発明の符号化プロセスは、モザイクを作成する前に時間補間を必要としない。図４ａの例では、フレームを適切に分離することにより、二つの２４ｆｐｓのシーケンスが混合されて、３０ｆｐｓのシーケンスが提供される。時間補間画像をシーケンスに挿入することができるので（入力シーケンスが２４ｆｐｓを含む場合）、圧縮されたシーケンス８０は不規則になる。したがって、本発明の本実施形態に係る符号化（ミキシング）プロセスは、画像内容を識別してシーケンスの適切な位置に適切なシーケンス順序（タイミング）でシーケンスを復元するために復元プロセスによって要求されるフレーム番号の識別を可能にするために、圧縮シーケンス６０に情報を挿入することをさらに含む。そのような情報は、例えば併合画像の空白行に格納することができる。その手順の有用性は、復号化プロセスについての以下の説明を読むと、いっそう明らかになるであろう。ミキサ１によって実行されるミキシング手順自体はこれで完了する。プロセスではさらに、図１ａに関連して説明した通り、ＲＧＢ併合画像シーケンス６０（例えばＡＶＩファイル）を、ＭＰＥＧ２ビットストリームフォーマットに多重化する前にデジタルＹＵＶフォーマットに変換するか、あるいは図３で番号６２によって識別されるＭＰＥＧ２フォーマットに直接変換することができる。

図４ｂは、空間および時間補間を使用して、圧縮ステレオシーケンス８０をいかに復号化して、二つの３６ｆｐｓのストリームを提供することができるかを示す。

本発明の復号器２のより具体的な表現を図５に示す。しかし、例えば全部ソフトウェア、全部ハードウェア、または両方を混合した解決策のどれを選択するかによって、変形が可能であることを理解すべきである。

見て分かるように、復号器はアナログおよびデジタルの二つの入力を有する。信号がアナログである場合、それはＡＤＣ１０１によってデジタル信号に変換される。ＦＩＦＯバッファ１０３は入力信号のクロックドメインを復号器によって使用されるクロックドメインに変化させる。実際には、放送信号またはＤＶＤ信号は、ＲＧＢ信号に使用される周波数とは異なる周波数で刻時されるので、ＦＩＦＯバッファ１０３が必要である。次いで信号は変換器１０５に渡され、それは信号をＹＣ_BＣ_R信号から１×７２０×４８０（画素）のＲＧＢ信号に変換する。この信号は次いで本発明の教示に従って、空間補間器１０７によって空間補間され、結果的に７２０×４８０画素のデュアルストリームを生じる。このデュアルストリームは次いでスケーラ１０９によってスケーリングされ、二つの６４０×４８０の画像ストリーム（常にＲＧＢフォーマット）が提供される。代替的に、他の解像度を本発明のシステムによってサポートすることができる。次いでフレームは、右フレーム用に一つ、左フレーム用にもう一つのフレームバッファ１１３に配置され、その内容は入力メモリコントローラ１１１によって制御される。

フレームバッファの出力は出力メモリコントローラ１１５によって制御され、必要ならば、時間補間されて１１７、フレームレートを増大する。

レートコントローラ１１９を設けることが好ましい。レートコントローラの目的は、クロック信号の変動に適応することである。該変動は微小であるがシステムを脱同期化させる。レートコントローラはレートの違いを監視し、フレームの不活性行で特定数の画素を追加または除去することによって、出力周波数を修正する。例えば、あるフレームに対し、内部クロックを人工的に遅らせて、クロックを適切に同期化させるために、数画素を付加する必要があるかもしれない。

復号器２の別の有利な構成部品は、フリッカ防止フィルタ１２１である。シャッタ眼鏡を着用した場合、画像とヘッドディスプレイのシャッタの閉状態との間にコントラストがあるときに、フリッキングが発生する。驚くべきことに、各ＲＧＢ画素の緑色レベルの値を評価することにより、かつ緑色レベルが特定の値を超える場合は対応する画素の色を比例して低減することにより、フリッキングが大幅に低減されることが発見された。

次いで出力はそのままデジタルとするか、またはＤＡＣ１２３によってアナログ信号に変換される。同期化モジュール１２５は、適切な時間にシャッタを開閉するために、ヘッドディスプレイを出力信号と同期化する。

さらに調整装置１２７を設けることがさらに好ましい。この調整装置は、表示装置がそれ自体のフレームバッファを含み、そのためにシャッタの同期信号と実際の表示との間に脱同期化が生じる場合に、有用である。これは、使用者が画像のクロストーク／ゴースト現象を低減するために行なう手動調整である。

今から、添付の図面の図４ａを参照しながら、本発明に従ってミキサ１によって実行されるミキシング方法の第二実施形態について詳述する。この第二実施形態は、２４ｆｐｔフォーマットで利用可能な二つの画像シーケンスを変換して、３０ｆｐｓのＭＰＥＧ２（メインビュープロファイル）の完全に互換可能なシーケンスを生成する問題に対処するのに特に有利である。

モザイクＡおよびＢを含む二つの２４ｆｐｓシーケンス５０および５０’からのフル再精度画像は、（立体映像プログラムの二つのシーケンスを想定して）定義によりそれぞれＬ_iＡＢおよびＲ_iＡＢと識別されている。添字「ｉ」は所定の画像の時間ｔにおける順序番号を表わす。図４ａおよび４ｂの破線は、フレームのシーケンスを示す。前述した第一実施形態の場合と同様の要領で、八個の入力画像を空間圧縮し、かつ時間伸張して、新しい３０ｆｐｓのシーケンス８０に５個の新しい併合画像を形成する。本発明のこの実施形態では、元の画像情報の２５％以上が維持されて記録または放送されることに留意すべきである。実際、第一実施形態での一個に代わって、八個の元画像のうちの二個（示した例では画像Ｌ１およびＬ２）が、圧縮シーケンス８０のフィールドに保存されたそれらのモザイクＡおよびＢの両方を有する。

これらの完全に保存された画像はそれにもかかわらず、符号化されたシーケンスの均質性およびＭＰＥＧ２圧縮／圧縮解除プロトコルとの互換性を確保するために、連続画像間に特定の時間冗長性を提供することにより、並んだ併合画像フィールドに格納された二つの相補的モザイクの形で符号化される。こうして、再生時に、前述した実施形態に比べてより優れた再精度および忠実度が一般的に得られるが、その反面、処理能力要件およびシステムハードウェアのコストが増大する。上記第一実施形態の場合と同様に、発明の本実施形態に係る符号化（ミキシング）プロセスもまた、画像内容を識別し、適切なシーケンス順序でシーケンスを復元し、シーケンスの適切な位置に補間画像を挿入するために復元プロセスで必要になるフレーム番号の識別を可能にするために、圧縮シーケンス８０への情報の挿入をさらに含む。再び、そのような情報は例えば併合画像の空白行に格納することができる。

本発明に従って復号器２によって実行される対応する復号化プロセスが図４ｂに模式的に提示されており、それは次のように働く。

３０ｆｐｓのＲＧＢ入力シーケンス８０を表わす五個の併合フレーム８１〜８５を１２個の画像（各チャネルに６個）に伸張して、合計３６ｆｐｓ（三次元立体映像プログラムの場合、各眼に３６、合計７２）の再生シーケンス９０および１００を提供する。破線１１０によって示されるフレームシーケンスに従ってページフリッピングモードで提示される、１２個の連続画像の再生シーケンス９０および１００の各グループは、全体として、二個の一体的元画像、六個の空間補間画像、および四個の時間補間画像を含む。代替的にシーケンス９０および１００は、ヘッドマウント装置または自動立体映像装置などの一部の表示装置で要求されるように、二つの別個のチャネルで並行して別個に出力することができる。図示した例では、
１．画像９１（Ｌ₁ＡＢ）は、シーケンス８０のフレーム８１の左フィールドに格納されたモザイクＬ₁Ａ、およびその右フィールドに格納されたモザイクＬ₁Ｂから完全に復元される。
２．画像１０１（Ｒ₁ＡＸ）は、シーケンス８０のフレーム８２の左フィールドから取り出したモザイクＲ１Ａから空間補間される。
３．画像１０３（Ｒ₂ＢＸ）は、シーケンス８０のフレーム８２の右フィールドから取り出したモザイクＲ２Ｂから空間補間される。
４．画像１０２は画像１０１および画像１０３から時間補間される。
５．画像９３（Ｌ₂ＡＢ）は、シーケンス８０のフレーム８３の左フィールドに格納されたモザイク画像Ｌ₂Ａ、およびその右フィールドに格納されたモザイクＬ₂Ｂから完全に復元される。
６．画像９２は画像９１（Ｌ₁ＡＢ）および画像９３（Ｌ₂ＡＢ）から時間補間される。
７．画像９４（Ｌ₃ＡＸ）は、シーケンス８０のフレーム８４の左フィールドに格納されたモザイクＬ₃Ａから空間補間される。
８．画像９６（Ｌ₄ＢＸ）は、シーケンス８０のフレーム８４の右フィールドに格納されたモザイクＬ₄Ｂから空間補間される。
９．画像９５は画像９４および画像９６から時間補間される。
１０．画像１０４（Ｒ₃ＡＸ）は、シーケンス８０のフレーム８５の左フィールドに格納されたモザイクＲ₃Ａから空間補間される。
１１．画像１０６（Ｒ₄ＢＸ）は、シーケンス８０のフレーム８５の右フィールドに格納されたモザイクＲ₄Ｂから空間補間される。
１２．画像１０５は画像１０４および画像１０６から時間補間される。

明らかに、そのような復元プロセスには、二里シーケンス８０を構成する五個のフレームシーケンスにおけるフレームの順序の適切な識別が必要であることは、容易に理解することができる。したがって、ミキサ１によって併合画像シーケンス８０に格納されたフレーム番号情報を解釈するために、フレーム認識回路が復号器２に設けられる。

この後者の実施形態では、上記の説明で開示した最初の実施形態と同様に、第一および第二画像シーケンスが、相互に干渉することなく、全く独立に符号化されかつ復号化され、独立した情景を参照する元映像シーケンスの処理が可能であることに気付くことができる。

２４ｆｐｓのソースを処理して７２ｆｐｓの提示レートをもたらす、第二実施形態の上記の例は、２４または３０ｆｐｓのソースに適用して６０、７２、９６、または１２０ｆｐｓなどの提示レートでステレオ出力を生成することが可能な、より一般的なプロセスの単なる例証である。下記表は、２４または３０ｆｐｓのソースおよび６０、７２、９６または１２０ｆｐｓの提示レートの追加の例示的構成を提供する。

上記の通り、上記の処理から得られたＲＧＢシーケンス９０および１００はデュアル入力装置に直接出力して表示し、元のプログラムまたは立体映像プログラム信号を７２ｆｐｓ（各眼に３６）の提示レートで復元することができる。しかし、１１０のような破線矢印によって示すように、時間順序付けられた配列でシーケンス９０および１００の画像を含む複合立体映像ＲＧＢ出力信号（図示せず）を提供するために、さらなる処理が復号器２によって実行される。依然として図４ｂの例に関連して、画像は、左眼および右眼画像を次の順序９１、１０１，９２、１０２，９２、１０３、９４、１０４、９５、１０５、９６、１０６で交互に並べることによって、時間順序付けられる。これは、メモリバッファに格納された完全な画像の適切な読出しシーケンスを通して達成される。

こうして標準プロジェクタまたは他の表示装置による時間順序付けられた複合信号の提示が可能になり、立体映像プログラムがページフリッピングモードで表示される。復号器２は、表示される立体映像プログラムを三次元モードで、高い忠実度で、フリッキングを無視できるほど小さくして、非常に快適に見るために、視聴者が着用することができるシャッタ眼鏡の駆動装置に必要なタイミング信号を提供する。上記の通り、追加の時間補間画像対を挿入することにより、または特定の画像対を復号化プロセスで反復することにより、提示レートは最高１２０ｆｐｓまで増大することができる。また、本発明では、ＲＧＢ複合ステレオ出力信号を、インタレースフォーマットまたは従来の２Ｄフォーマットのような別の公知の標準的提示フォーマットに変換することができることも企図している。

したがって、本発明の上記の実施形態は、二つの動画シーケンスを従来のデータ格納媒体に記録し、従来のビデオディスクプレーヤまたは放送ソースおよび表示装置で再生して、立体映像３Ｄ映画を、比類のない性能および快適さでしかも手頃な価格で、広範囲の表示装置の入力信号要件に適合するために多数の出力モードで、家庭で視聴することを可能にする、効果的で現実的な解決策を提供するものであることが容易に理解できる。例えば、上記の説明で定義したように単一の入力信号フォーマットが供給される汎用セットトップボックスに、ページフリッピング、行インタリーブ、列インタリーブ、同時デュアル提示、アナグリフ等のような選択可能なモードを提供することができる。したがって、本発明の符号化／再生方法およびシステムは、先行技術の解決策に勝る多数の利点を持ち、独立した情景を表わす映像シーケンスの処理をはじめ、様々な用途に有利に使用することができる。

したがって、本発明が先行技術に勝る利点を提供することは容易に理解されるであろう。周波数フィルタ（低域または帯域通過）を使用せず、圧縮解除を最小限の資源で、実時間で達成することができ、入力および出力の両方で順次またはインタリーブシステムと互換性があり、休止、早送り、まき戻し、低速等が可能であり、現在入手可能な全ての立体映像表示をサポートするので、それはより優れた品質の画像を提供する。

本発明をその好適な実施形態によって説明したが、本発明の精神および範囲から逸脱することなく、様々な変形を施すことができる。したがって、記述した実施形態は本発明の単なる例示であり、発明の範囲をそれに限定すべきではなく、請求の範囲の記載およびその均等物によって決定されるべきものである。

本発明は、一般的に、デュアルプログラム画像シーケンスを符号化および復号化するためのプロセスおよびシステムに関し、さらに詳しくは、二つの画像シーケンス信号を単一の映像信号に圧縮し、かつ前記単一の映像信号を復号化して、二つの画像シーケンスプログラムまたは三次元立体映像プログラムを多数の表示フォーマットで再生するためのプロセスおよびシステムに関する。本発明を以下では、映画のような三次元立体映像プログラムの処理を参考にすることによって記述するが、各シーケンスのそれぞれの映像内容の相違に関係なく、任意の対の映像シーケンスの処理に適用することは本発明の範囲内とみなされる。表現「復号化」および「圧縮解除」は、表現「符号化」および「圧縮」の場合と同様に、本明細書の記述の中では同義的に使用される。

１９４７年のステレオスコープの発明以来、視聴者の左眼で見るように意図された第一画像シーケンス、および視聴者の右眼だけで見るように意図された、同一情景の同時の画像であるが第一画像シーケンスに対して視差のある第二シーケンスの画像を再生し、それによって自然三次元視の原理を複製することを通して、視聴者が三次元（３Ｄ）プログラムを見ることを可能にする、幾つかのシステムが開発されてきた。１９５０年代以降、より完全かつ胸躍らせる視聴経験を提供するために、デュアルカメラヘッドシステムを使用して、時間的に同期しかつ視差を持つステレオ対の画像をピックアップして、視聴者が奥行き効果を知覚することを可能にする、多くの映画が製作されてきた。

現在、ホームシアターシステムが急速に家庭市場に進出してきており、家庭での高品質映写経験の需要に応じて、非常に高級かつ高品質のシステムが人気を得つつある。それにもかかわらず、既存の立体映像再生システムは視聴者の期待を満たすには依然としてほど遠く、入手可能な最新のホームシアターシステムにさえ依然として組み込まれていない。その理由は主に、比較的低い画像品質（退色および／または階段状の対角線）ならびに通常のフリッキングおよび空間的現実性の欠如によって引き起こされる疲労および不快感にある。実際、テレビ受像機のような単一映像プログラムの提示用に意図された機器で二つの異なるプログラムが提示されるので、二つの映像信号間における技術的資源の分担は、各眼のフレーム提示レートが半分に低下することおよび画像フィールドと黒色背景との間のコントラストのため、画像の空間解像度の損失およびフリッキングを導く。

典型的な既存の立体映像再生技術は、インタレース映像信号の偶数ラインフィールドの第一画像シーケンスおよび信号の奇数ラインフィールドの第二画像シーケンスの情報を符号化することから成る。再生時にはシャッタ眼鏡を使用して、偶数ラインの提示中は視聴者の眼の一方を遮蔽し、奇数ラインの提示中は他方の眼を遮蔽する。偶数ラインと奇数ラインを含む通常の画像は一般的に１／６０秒の二つの連続走査期間に提示されるので、各眼は１／６０秒の画像のシーケンスの後に続く１／６０秒のブラックアウト期間として立体映像プログラムを見、各眼が毎秒３０フレーム（ｆｐｓ）を見ることが可能になる。さらに、各再生画像は、画像ラインと黒色ラインを交互に入れ替えることによって構成される。明らかに、そのように再生された立体画像はそれらの位相幾何学的情報を損失し、５０％のデューティサイクル（空間および時間の両方）は、経験によって確認されている通り、明るさの損失およびフリッキングを誘発する。

そのような限界、短所、および欠点の解決策は、少なくとも６０ｆｐｓ（各眼に毎秒３０フルフレーム）のレートで完全な立体画像を提示することであり、それは通常、非立体（平面）プログラムによって要求される信号帯域幅の少なくとも二倍を必要とする。表示される画像と周囲の照明との間で比較的高いコントラストを提示する部屋でフリッキングを除去するには、各眼に毎秒最高６０までのフル精細度画像の提示を可能にするために、最高１２０Ｈｚまでの垂直走査（およびシャッタ眼鏡）周波数がさらに必要である。そのような周波数は広く利用されてはいないが、立体映像プログラムのフリッカレス提示は、現行製造の二つのデジタルビデオプロジェクタを使用し、各々３０ｆｐｓの連続レートで立体映像プログラムの第一および第二画像シーケンスをそれぞれ受けることによって、セットアップすることができる。各プロジェクタの出力は光学的にフィルタリングされて、垂直および水平偏波出力投写画像を位置合わせしかつ完全に時間的に同期して特殊銀被覆スクリーン上に生成する。三次元効果を明らかにするために、視聴者は異なる偏光ガラスを備えたアイウェア（eyewear）を着用することができる。そのような解決策は明らかに非常に高価であり、ホームシアターシステムの市場の期待に応えるものではない。

しかし、最高１２０ｆｐｓまでの提示レートを提供することができるＤＬＰ（デジタルライトプロセシング）技術を使用した非常に高速で比較的安価なプロジェクタが今や利用可能であるので、単一のプロジェクタが高コントラスト環境でもフリッキングを実質的に除去するのに充分な高いレートで立体対シーケンスの画像を交互に提示することができる。また、高級なＣＲＴプロジェクタおよびコンピュータモニタも、そのような互換可能な精細度およびリフレッシュレートを提供することができる。

それにも関わらず、映像プログラム情報の格納および放送（伝送）のほとんどの現行規格がフルフレーム画像の流れを、元来二つの２４（アメリカンモーションピクチャ）、２５（ＰＡＬまたはＳＥＣＡＭ）、または３０ｆｐｓ（ＮＴＳＣビデオ）のプログラムから成る高品質立体映像プログラムを格納および提示するために必要な能力の約半分である３０ｆｐｓに制限するという、そのようなシステムの主要な限界は変わらない。さらに、映画は常に毎秒２４フレームのレートでキャプチャされ記録されるので、二つの２４ｆｐｓのプログラムを単一の３０ｆｐｓの信号に圧縮し、その後、そのような信号を伸張して各々３０ないし６０ｆｐｓのレートで二つのプログラムを提示するという二重の問題に対処しなければならない。したがって、３Ｄホームシアターの将来は、処理中に誘発される情報の損失または歪みが無視できるほど小さくなるように、ＭＡＩＮプロファイル（対ＭＶＰ）のＭＰＥＧ−１またはＭＰＥＧ−２（動画像符号化グループ）圧縮／圧縮解除プロトコルのようなプロトコルを使用して圧縮および圧縮解除される３０ｆｐｓの信号を処理する、現行製造の標準的レコーダ、プレーヤ、および放送機器に適合するように立体映像信号を符号化および復号化する能力に依存する。

先行技術の少数の技術が、上記の短所および限界の一つまたはそれ以上を克服するための解決策を教示している。第一に、３：２プルダウン圧縮法を使用して、２４ｆｐｓのインタレース画像シーケンスから３０ｆｐｓの立体映像インタレース信号を生成することができる。この方法では、元のシーケンスの四個の画像毎に一個の新しい画像を作製して挿入することにより、元の画像シーケンスを時間伸張する。新しい画像は一つのフィールドに先行する画像の偶数ラインを、第二フィールドに次の画像の奇数ラインを含む。明らかに、元のプログラムの各画像は、立体映像プログラムの左視画像の部分を含む第一フィールドと、右視画像の部分を含む第二フィールドとから構成することができる。明らかに、３０ｆｐｓの立体映像プログラムはそれによって、２４ｆｐｓの左眼シーケンスおよび２４ｆｐｓの右眼シーケンスから得ることができる。しかし、そのような技術では、異なる時間にキャプチャされた画像に属するラインが特定の画像で組み合わされるので、結果的に得られる３０ｆｐｓのプログラムはアナクロニズムおよび位相幾何学的歪みを提示する。これは、現実感が欠如し、眼の疲労および不快感を視聴者にもたらす拙劣な結果を生じる。立体映像プログラムを提示するために使用した場合、この技術はさらに、インタレース信号圧縮技術に関して上記と同じ限界および欠点を免れない。

さらに、相互に互換性の無い様々な入力信号を使用し、異なる伝送（格納または配信）フォーマット（列インタリーブ、行インタリーブ、同時デュアルプレゼンテーション、ページフリッピング、アナグリフ等）を必要とする、多くの立体映像表示装置が開発されている。２Ｄの視聴を可能にしながら、同時に立体映像プログラムを異なるシステムにもたらすための解決策は、全ての既存のフォーマットで幾つかの物理的媒体で同時に放送または格納することであろう。明らかにそれは現実的でもなく、経済的でもない。したがって、家庭における立体映像の将来は、正常な２Ｄの視聴を可能にしながら現行および将来の立体映像表示装置と互換可能な複数／汎用立体映像出力フォーマットを生成する能力を有する、立体映像信号および映像処理装置を必要とする。

多くの特許が、二つの３０ｆｐｓの信号を３０ｆｐｓの能力を持つ単一のチャネルで搬送されるように縮小する圧縮技術をも教示しており、それらの幾つかはＭＰＥＧ圧縮／圧縮解除プロセスに透過的であるように設計されている。しかし、これらの技術は、画像品質を維持しかつ快適な視聴経験を提供しながら、例えば２４ｆｐｓのシーケンスを３０ｆｐｓに変換し、あるいは３０ｆｐｓのシーケンスを４８、６０、７２、９６、または１２０ｆｐｓのシーケンスに変換するために紛失フレームを作成するのに必要な時間的補間を特徴とするものではない。さらに、それらは、同一映像信号および映像処理装置から複数の立体映像出力フォーマットを生成する能力を持たない。

例えば、１９９７年５月６日にムラモトら(Muramoto et al.)に付与された米国特許第
５，６２６，５８２号（下記特許文献１）は、二つの３０ｆｐｓの映像信号を所定のクロック周波数でデジタル化してＤＲＡＭメモリに格納する時間ベースの圧縮方法を教示している。その後、メモリは、元の期間が１／３０の二つのサンプルを１／３０の間隔で連結することができるように、書込み周波数の二倍の周波数で読み出される。しかし、選択されたサンプリング周波数によっては、最終信号は、二つの隣接する画素が単一のデジタルデータ（低サンプリング周波数および通常の再生周波数）で平均化されるので精細度を欠如するか、あるいはＤＶＤまたは放送チャネルなどのデータ格納媒体の容量を超えるかのいずれかである。この発明はまた、所定の原始フォーマットから複数の出力フォーマットを生成する能力も欠如し、元のシーケンスを復元するためには二つの並列回路を必要とする。

さらに、１９９７年１１月２０日に公開されたブリーデ(Briede)の国際出願第ＷＯ９７／４３８６３号（下記特許文献２）では、第一および第二シーケンスの画像から画像が間引きされ、画素は二つの連続する元のラインの相補的画素と単一のラインを形成するように変向され、次いで、左眼および右眼からの新しく形成されたラインとインタレースして、組み合わされた立体画像シーケンスを形成し、チャネルで伝送される。受端では、立体画像シーケンスから並置フィールドが逆多重化され、画素を同時に再配置しかつそれらのそれぞれの立体映像シーケンス（左右）の紛失画素を再形成する二つの平行な伸張回路に送られる。それによって復元された元の第一および第二画像シーケンスが次いで、可視化のために二つのディスプレイに出力される。

米国特許第５，６２６，５８２号 国際出願第ＷＯ９７／４３８６３号

その技術は、制限された容量のチャネル（伝送媒体）を使用して格納または配信するために、フルフレームを空間的に圧縮／圧縮解除する興味深い方法を提供するが、それは二つの２４または２５ｆｐｓの画像シーケンスを３０ｆｐｓの立体シーケンスに変換し、あるいは再生レートを高めてフリッキングを防止する問題には対処していない。さらに、それは、単一のディスプレイモニタまたはプロジェクタを使用して、復元された第一および第二画像シーケンスの時間的順序付けを通して、ページフリッピングモードをはじめとする他の立体映像フォーマットで再生することができない。また、前述の例と同様に、画像を復元する前に信号を最初に逆多重化しなければならないので、両方の画像シーケンスに復元プロセスを実行するために、再び二つの並列回路が必要である。

上記の例は、二つの映像信号または画像シーケンスを単一の信号に符号化し、かつそのような複合信号を復号化して元の信号またはシーケンスを実質的に回復するための様々な方法およびシステムが知られていることを示すが、先行技術のこれらの方法およびシステムは、それにもかかわらず、例えば３Ｄ映画の再生に対するホームシアター市場の期待に応えるために要求されるように、単一のチャネルおよび現行製造の従来の録画、再生、および表示装置を使用して、二つの２４ｆｐｓの映画のみならず、２５または３０ｆｐｓの立体映像プログラムについても高忠実度の録画、放送、および再生を可能にする、機能システムを提供する重要な特徴が欠如している。

したがって、複数の出力フォーマットの特定の立体映像伝送信号の再生を可能にしながら、既存のホームシアター機器に容易に使用して高品質の立体映像の再生を、しかも手頃なコストで提供することができる、新規の立体映像プログラム符号化および再生方法およびシステムが必要である。

本発明は、
複数の右および左画像フレームから成る立体画像ストリームを符号化する方法であって、
（ａ）前記右画像フレームの各々の奇数または偶数番号の画素を読み出してフレームバッファの一方の半分に入れるステップと、
（ｂ）前記右画像フレームに対応する前記左画像フレームの各々の偶数または奇数番号の画素を読み出して前記フレームバッファの他方の半分に入れて併合フレームを作成し、前記併合フレームの一方の半分に前記右画像フレームの前記奇数または偶数番号の画素が配置され、前記併合フレームの他方の半分に前記左画像フレームの相補的な前記偶数または奇数番号の画素が配置されるようにしたステップと
を含むことを特徴とする方法である。

好ましくは、前記ステップ（ａ）を実行する前に、前記画像を時間補間してフレームレートを高めるステップをさらに含んでいる。

また、好ましくは、前記画素は、行列状に配置されている。

また、好ましくは、前記併合フレームをＭＰＥＧ符号化するステップを含んでいる。

また、本発明は、
複数の併合フレームからなる立体画像ストリームを複数の右および左画像フレームに復号化する方法であって、
（ａ）前記併合フレームの圧縮された一方の半分のサイズの画像モザイクから画素を読み出して前記右フレームの各々の奇数または偶数番号の画素を提供し、それらを空間補間して前記右フレームを復元するステップと、
（ｂ）前記併合フレームの圧縮された他方の半分のサイズの画像モザイクから画素を読み出して前記左フレームの各々の偶数または奇数番号の画素を提供し、それらを空間補間して前記左フレームを復元するステップと
を含むことを特徴とする方法である。

好ましくは、前記画素は、行列状に配置されている。

また、好ましくは、前記併合フレームをＭＰＥＧ復号化するステップを含んでいる。

以下の説明からいっそう明らかになるように、本発明は先行技術の上記の解決策の限界および欠点を克服し、数ある有利な特徴の中でも特に、次の点を挙げることができる。
‐本発明は、従来のデジタルビデオディスク（ＤＶＤ）に格納しあるいは従来の機器を用いて放送するのに適したフォーマットで、かつ空間および時間情報の実質的に知覚可能な損失無しに、二つの２４または３０ｆｐｓの画像シーケンスの圧縮を可能にする符号化方法、および該方法を実現するシステムを提供する。
‐本発明は、順次またはインタレースモードで各眼に毎秒２４ないし６０フル解像度画像のレートで提示するために、元のシーケンスの復元およびレートの増強によって、立体映像プログラムの高い視覚的品質の再生を可能にする再生方法およびシステムを提供する。‐本発明は、市販のデータ格納媒体再生機器及び表示機器に対する、さらに詳しくはＭＰＥＧメインビュープロファイル圧縮／圧縮解除プロトコルおよび市販の回路に対する完全な互換性を特徴とする、符号化および再生方法およびシステムを提供する。
‐本発明は、シャッタ眼鏡、偏光アイウェア、またはアナグリフ眼鏡を用いて、どの汎用規格（ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ、ＳＤＴＭ、ＨＤＴＶ等）の下でも作動するヘッドマウントディスプレイ（ＨＭＤ）、ＬＣＤ、ＤＬＰおよびＣＲＴの背面および前面投写型ＴＶ、直視型ＴＶ、ならびにコンピュータモニタのようなどの既存の技術でも再生が可能なように直接使用しあるいは変換することができる、汎用出力信号を提供する立体映像プログラム再生方法およびシステムを提供する。
‐本発明は、先行技術の方法および装置で立体映画を視聴する際に通常直面するフリッキングおよび疲労の除去または実質的な低減を達成する符号化および再生方法およびシステムを提供する。
‐本発明は、潜在的に異なる無関係の情景を提示する二つの独立した画像シーケンスの符号化および復号化を可能にする方法およびシステムをさらに提供する。

二つの平面画像シーケンスを立体画像シーケンスに圧縮符号化してデータ格納媒体に記録するかまたは単一チャネルで放送するための本発明に係るシステムの略図である。 図１ａに提示したようなシステムにより以前に符号化された立体画像シーケンスを伸張復号化し再生するための本発明に係るシステムの略図である。 二つの相補的画素モザイクに位相幾何学的に分離され、併合画像６０のフィールドＡおよびＢを形成するデジタル化画像６０の一部分の略図である。 位相幾何学的に間引かれて併合画像６０のフィールドＡおよびフィールドＢをそれぞれ形成する縮小モザイクになる、二つのデジタル化画像５０および５０’の一部分の略図である。 併合画像６０に含まれる一対の間引かれた画像の空間補間により、二つのフル精細度画像７２および７２’を復元するプロセスの略図である。 時間遅延を持つ二つの画像５０．４および５０．５から新しい画像５２を形成するための時間補間プロセスの略図である。 二つの平面画像シーケンスを立体合成画像シーケンスに圧縮符号化するための本発明に係る圧縮プロセスの第一実施形態の略図である。 図３ａに提示したようなプロセスに従って以前に符号化された立体画像シーケンスを復元しかつ時間伸張するための本発明に係る圧縮解除プロセスの第一実施形態の略図である。 二つの平面画像シーケンスを立体画像シーケンスに圧縮符号化するための本発明に係る圧縮プロセスの第二実施形態の略図である。 図４ａに提示したようなプロセスに従って以前に符号化された立体画像シーケンスを復元しかつ時間伸張するための本発明に係る圧縮プロセスの第二実施形態の略図である。 本発明の好適な実施形態に係る復号器の略図である。

添付の図において、同様の参照番号は同様の部品を指す。

立体映像シーケンスを符号化し、かつ再生するための方法および関連システムの好適な実施形態について、添付の図面を参照しながら詳細に説明する。

図１を参照すると、二つの平面画像シーケンスを立体画像シーケンスに圧縮符号化するための本発明に係る典型的なシステムセットアップが示されている。カメラ３および６によって提示される画像シーケンスの第一および第二ソースは、共通またはそれぞれのデジタルデータ格納媒体４および７に格納される。代替的に、画像シーケンスはデジタル化映画フィルムまたはデジタルデータ格納媒体に格納されたデジタル画像ファイルの任意の他のソースから提供することができ、あるいはマイクロプロセッサをベースとするシステムによって読み取るのに適したデジタル映像信号として実時間に入力することができる。カメラ３および６は、それらのそれぞれのキャプチャされた画像シーケンスが情景１００の視差を持つ異なる画面を提示し、立体視の概念に従って視聴者の左眼および右眼の知覚をシミュレーションする位置に示されている。したがって、第一および第二のキャプチャされた画像シーケンスを適切に再生すると、視聴者が情景１００の三次元視を知覚することが可能になる。

ベータカム４：２：２（動画）のような２４ｆｐｓのデジタルＹＵＶフォーマットで一般的に利用可能な格納されたデジタル画像シーケンスは次いで、５および８のようなプロセッサによって、ＲＧＢフォーマットに変換されて、本発明の符号化システムの主要素を表わす動画ミキサユニット１の入力２９および３０に供給される。しかし、二つの画像シーケンスは代替的に、コストを低減するために、共通プロセッサによって時分割方式で変換することができることに留意すべきである。ミキサ１は二つの平面ＲＧＢ入力信号を３０ｆｐｓの立体ＲＧＢ信号に圧縮し、それは出力３１に送り出され、次いでプロセッサ９によって出力３２でベータカム４：２：２フォーマットに変換され、次に典型的な回路１０によって標準ＭＰＥＧ２ビットストリームフォーマットに圧縮される。結果的に得られるＭＰＥＧ２符号化立体映像プログラムは次いで、デジタルビデオディスク（ＤＶＤ）１１のような従来の媒体に記録するか、または例えばトランスミッタ１３およびアンテナ１４を介して単一の標準的チャネル上で放送することができる。代替的プログラム伝送媒体は、例えばケーブル配信網またはインターネットとすることができる。

今、図１ｂに目を向けると、図１のシステムを使用して記録または放送された立体映像プログラムの復号化および再生のための本発明に係る典型的なシステムが示されている。第一および第二画像シーケンスからの圧縮情報を含む立体ＤＶＤ１１（３ＤＶＤ）は、現行製造の従来のプレーヤ１５によって再生され、ＮＴＳＣシリアルアナログ信号を本発明の復号／再生システムの主要素である立体画像復号器２に送り出す。代替的に、アナログまたはデジタルフォーマットのＡＴＳＣ ＤＴＶ信号を受け入れることができる。

復号器２は、第一および第二画像シーケンスを表わすＲＧＢ信号の同期化対を出力２３および２４に生成し、ヘッドマウントディスプレイ（ＨＭＤ）１６のようなデュアル入力立体映像順次表示装置を駆動させる。さらに、復号器２は時間順序付けられた立体ＲＧＢ信号を出力２５に生成し、プロジェクタ１７、ＬＣＤディスプレイ２２、ＣＲＴモニタまたはＳＤＴＶまたはＨＤＴＶ２１のような単一入力順次表示装置に供給し、それによって第一および第二画像シーケンスからの画像は交互ページフリッピングモードで提示される。代替的に、出力２５からの立体ＲＧＢ信号は、アナログＣＲＴテレビ受像機によって生成されるインタレースＮＴＳＣ信号または他の立体映像フォーマット（例えば自動立体連ティキュラ表示装置用の列インタリーブ）に変換することができる。また、復号器２は、ＲＧＢ出力の一つ２３または２４に立体ＲＧＢ信号を出力するように内部的に構成し、こうして出力２５を除去することができる。

復号器２はさらに、眼鏡１９を駆動する赤外線シャッタ眼鏡駆動装置２０を駆動させるために、出力２６に同期タイミング信号を生成する。シャッタ眼鏡１９は、視聴者が交互に第一画像シーケンスからの画像を一方の眼で見、第二画像シーケンスからの画像を彼の第二の眼で見ることを可能にすることによって、立体出力２５によって供給されるプロジェクタ１７によって例えばスクリーン１８に投写される三次元プログラムを視聴するために視聴者が着用することができる。

上記の説明で述べた通り、二つの元画像シーケンスは含まれる情報が多すぎて、従来のＤＶＤに直接格納したり、あるいは３０ｆｐｓのレートで情報を処理するＭＰＥＧ２または同等の多重化プロトコルを使用して従来のチャネルで放送することができない。したがって、ミキサ１は間引きプロセスを実行して、各画像情報を半分に減少する。ミキサ１によって実行される空間間引きについて、今から図２ａおよび２ｂを参照しながら説明する。

図２ａは、ミキサ１および復号器２によって処理されるＲＧＢ映像信号によって定義される画像５０の一部分を示す。見て分かるように、画像５０は多数の画素（交互のフルドットおよび空ト゛ット）から構成される。ＲＧＢフォーマットでは、各画素はそれぞれ赤、緑、および青の強度を示す三個のデジタル数字のベクトルによって定義される。本発明は、三個の隣接画素が横方向または縦方向のいずれでも急激に異なる強度を持たないという前提を利用する。したがって、本発明は、画像を不当に汚損することなく、画像のサイズを５０％低減する圧縮、間引き、または分離プロセスを有利に達成する。

図２ａは、これがいかに達成されるかを模式的に示す。上記の通り、画像５０は多数の画素から構成される。画像の第一画素（１行目の画素１）から始まり、第三画素に続き以下同様に画像全体にわたって、各行の左から右に、かつ上の列から最後の列まで続く画素（中実ドットによって示される）の系列は、モザイクＡを形成するために、フレームバッファの半分に配置される。残りの画素、つまり偶数番号の画素（空ドットによって示される）はモザイクＢとして配置される。図２ａの例では、画像５０の二つの相補的モザイクが、共通の併合画像６０のモザイクＡおよびモザイクＢにそれぞれ格納されるものとして示される。しかし、実際には、この「分離」は、例えば奇数または偶数番号の画素だけを「読み出し」てそれらをフレームバッファに直接配置することができる、適切なハードウェアおよびソフトウェアにより自動的に行なわれることが好ましい。

図２ｂによりよく示す通り、基本的に画像は、５０のような第一シーケンス（例えば左眼のシーケンス）の画像のモザイクＡおよび５０’のような第二シーケンス（例えば右眼のシーケンス）の画像のモザイクＢだけを維持することによって、５０％空間圧縮することができる。各シーケンスに異なる型のモザイクを維持することにより、第一および第二シーケンスが同一情景の異なる画面を表わす場合に、再生時に高い忠実度が促進される。代替的に、異なる型のモザイクから同じ眼の二つの連続画像が再現され、同一圧縮フレームに潜在的に格納されるように、偶数番号の画像に対してはモザイクＡを保存し、奇数番号の画像に対してはモザイクＢを保存することによって、空間圧縮を実行することができる。

上記の動作は、図２ｂに示すように、三画素入力バッファ５５に一度に一個ずつ画素データを入力することによって達成される。次いで画素情報は、各々異なる併合画像を作成するのに役立つ一つまたはそれ以上のフレームバッファの適切なメモリ場所に転送される。異なる入力画像からのモザイクは対として並んで連結され、６０のような元のサイズの新しい系列の併合フレームの二つの隣接フィールド（左フィールドおよび右フィールド）を形成する。図２ｂに示した例では、画像５０’は現在処理中であるが、画像５０の処理は完了しており、併合画像６０の左フィールド（Ａ）に格納された完全なＡ型のモザイクが生成されている。しかし、圧縮／符号化（ミキシング）方法の好適な実施形態の詳細な説明から明らかになるように、併合フレームは必ずしも第一シーケンスからの画像および第二シーケンスからの画像、あるいは同時にキャプチャされた画像を含むものではないことを指摘しておかなければならない。実際、図２ａの例では、併合画像６０のフィールドＡおよびフィールドＢはそれぞれ、同一画像５０からのモザイクＡおよびモザイクＢで満たされている。その状況は図を単純化するために選択されたものであり、ここで企図する発明の実施形態の一つに係る実際の状況に対応しているが、６０のような併合画像は、入力画像のいずれに由来するモザイクでも含むことができると考えられる。サイドバイサイド圧縮伝送フォーマットはほとんどが透過的であり、プロセスの下流のＭＰＥＧ２メインビュープロトコルを特徴付ける圧縮／圧縮解除処理によって影響されない。

併合画像の復号化の後、６０のような併合画像のフィールドに位置する圧縮された半サイズ画像（モザイク）から欠落画素を空間補間することによって、完全な画像の復元が実行される。図２ｃに示すように、これは、復号器２で復号化された入力併合フレーム６０の各画素がメモリへまたはメモリから転送されるときに、実時間で達成することが好ましい。上記の通り、本発明のシステムの基礎にある前提は、隣接画素の値があまり異ならないことである。したがって、モザイクから画像を復元するために、隣接画素は、欠落画素を補間するために加重される。

本発明の好適な実施形態では、一度に一個ずつ画素データが三画素入力バッファ６５に格納される。図示する通り、入力画像６０の陰影付け部分の三個の画素は入力バッファ６５に格納されており、同じモザイクからの二個の隣接画素はＰ_iおよびＰ_i+1と識別されている。次いで、第三の画素Ｐｊのデータが隣接画素（Ｐ_iおよびＰ_i+1）のＲＧＢベクトルの三つの成分の各々の算術平均として算出される。例えば、画素Ｐ_iが（１０，０，３０
）の強度ベクトルを持ち、画素Ｐ_i+1が（２０，０，６０）の強度ベクトルを持つ場合、
画素Ｐ_jは（１５，０，４５）と算出される。したがって、二つの同一画素の平均は別の
同一画素となる。その算出された（位相幾何学的に補間された）画素は、５０のような元の画像シーケンスからのモザイクの作成後に間引かれた欠落画素に取って代わる。

元の画素および補間された画素は次いで、フレームバッファの適切なメモリ場所に格納され、そこで対応する画像が復元される（本例では画像７２）。併合フレーム６０の各行の中心を通って（右フィールドに入る）、データは第二フレームバッファ７２’に格納されて、立体画像の右側フィールドに格納されたモザイクから画像を復元する。該プロセスは、二つの画像がそれらのそれぞれのバッファで空間的に復元されるまで、一行ずつ左から右に行なわれる。

上記の実施形態はモザイクの二つの隣接画素の平均として一個の画素を補間するが、本発明は三個以上の画素の加重にも備えている。例えば、画素Ｐ_jを補間する場合、モザイ
クから二個または三個の先行画素および後続画素を異なる係数と共に使用することができる。さらに詳しくは、図２ｃを参照すると、Ｐ_jは０．６Ｐ_i+1＋０．６Ｐ_i-1−０．１Ｐ_i+2−０．１Ｐ_i-2として補間することができる。言うまでもなく、希望する結果に応じて
種々の異なる係数および公式を使用することができる。さらに、水平補間を実行する代わりに、同じプロセスに従って垂直補間を実行することができ、あるいは水平および垂直両方の補間の組合せを実行することができる。

フリッカレス表示を確実にするために、当該復号化方法は、以下の説明で詳述する通り、画像シーケンスの時間伸張をさらに含む。フレームバッファが完全に満たされて、完全な復元画像または時間補間画像が得られると（復元プロセスおよびシステムのどの実施形態でも四個を超えるフレームバッファは必要ない）、それらは様々なモードに従って読み出されて、様々な種類の希望する出力信号を提供する。

本発明に従ってミキサ１によって実行されるミキシング方法の第一実施形態を添付の図面の図３ａに模式的に示し、以下において詳しく説明する。

Ｌ１ないしＬ４と識別されたＲＧＢ２４ｆｐｓフォーマットの第一シーケンス５０は最初に、元のシーケンス５０の四個の画像毎に新しい画像５２を形成して挿入することにより、２５％時間伸張されて５１のような３０ｆｐｓの画像シーケンスを形成する。新しい画像５２は、直前および直後の画像（元のシーケンス５０の＃４および＃５）の位相幾何学的情報から時間補間される。新しい画像５２の各画素は、上記の説明で述べた空間補間技術と同様の仕方で、先行および後続画像の対応する画素の算術平均として算出される。図２ｄは、入力画像シーケンス５０の二個の時間的に連続する画像５０．４および５０．５から新しい画像５２が形成される時間補間プロセスの特定の例証を提供する。本発明における新しい画像の形成は一般的にそうした技術に従って達成され、例えばフレームの単純な繰返しに比較して再生時の流動性が改善され、処理能力が少なくて済む。代替的に、移動予測に基づく方法など、画像の時間補間を実行するためのいずれかの公知の方法を使用することができる。

時間伸張シーケンス５１の画像は次いで、図２ｂに示しかつ上記の説明で詳述した技術に従って空間圧縮されて、新しいシーケンス５３によって表わされるモザイクを形成する。同様に、第二の入力画像シーケンス５０’は３０ｆｐｓシーケンス５１’に時間伸張され、シーケンス５３’によって表わされるモザイクに空間圧縮される。この特定の実施形態では、それぞれ第一シーケンス５３および第二シーケンス５３’からの圧縮画像（モザイク）の対が次いで連結されて、３０ｆｐｓＲＧＢシーケンス６０の併合画像の左フィールドおよび右フィールドを形成する。このシーケンス６０は、遠隔位置への送信のために、ストリーム６２内に符号化することができる。

図３ａの模式図にもかかわらず、画像シーケンスの処理は並行して長い画像シーケンスで実行されないことが好ましい。実際、時間補間を可能にするために任意の一時にバッファに入れられるのは少数の画像だけであり、代わりに画像は、むしろ図２ｂおよび２ｄに提示したプロセスステップと同様に一画素ずつ、第一および第二（左および右）シーケンスからインポートされ、処理される。

今から、図３ｂ、２ｃおよび２ｄを参照することによって、本発明の第一実施形態に従って復号器２によって実行される復号化および復元について説明する。

図３ｂに示す例では、ステレオＭＰＥＧ信号６２がＤＶＤから読み出され、ＤＶＤプレーヤ１５（図１ｂ）によって、符号器２により入力されるアナログＮＴＳＣ信号７０に変換される。ＮＴＳＣ信号７０は最初にＲＧＢフォーマットに変換されて、シーケンス６０にあるような併合画像を回復する。次いで、図２ｃに関連して前述したように、シーケンス６０の併合画像の左および右フィールドからのモザイクを一画素ずつ空間補間しかつ分離して、７２および７２’のような３０ｆｐｓの圧縮解除バッファ画像を形成することによって、第一および第二の元シーケンス５０、５０’の復元を開始することができる。したがって、空間補間および分離は事実上同時に実行される。ＲＧＢ画像のシーケンス７２および７２’はデュアル入力装置に直接出力されて表示され、６０ｆｐｓ（各眼に３０）の提示レートで元のプログラムまたは立体映像プログラム信号を再生することができる。さらなる処理を実行して、インタレースモード、または順次（ページフリッピングモード）、アナグリフモード、列インタリーブモード、従来の２Ｄモード等で、多数の既存の単一入力表示装置に画像シーケンスを提示することもできる。

しかし、快適で疲労しない視聴を可能にするために、復号器２は、毎秒各眼に３６個のフル精細度フレームの一般的レートで出力信号を提供することによって、フリッキングをかなり低減するが、例えばＳＤＴＶまたはＨＤＴＶのリフレッシュレートに匹敵する高精細度フレームでは、各眼に３０ｆｐｓで十分な結果を得ることができる。他方、非常に高い忠実度の再生のために、最高１２０ｆｐｓ（各眼に毎秒６０個の画像）までの出力信号を復号器２によって達成することができるが、そのような出力はＤＬＰプロジェクタおよび限られた数の高級装置のような表示装置に匹敵する。経験上、ここで企図されるように符号化／復号化プロセスを通して画像品質が維持されることを前提として、７２ｆｐｓの再生レートで非常に優れた結果が得られ、そのような周波数は、ホームシアターシステムで現在見かけるほとんどの表示装置の標準である。

したがって、復号器２によって実行される再生プロセスは、シーケンス７２および７２’の提示レートを高めるさらなるステップを含むことが好ましい。図３ａおよび２ｃに関連してミキシングプロセスの上記説明ですでに述べた時間補間技術を使用して、画像シーケンスに規則的間隔で追加の画像を挿入する。挿入の位置は、ミキシング時に入力シーケンス６０の空白行に格納されたフレーム番号情報を通して注意深く制御することができる。代替的に、シーケンス７２および７２’からの画像を反復して（二回読み出す）、提示時にレートを高めることができる。例えばシーケンスの全ての画像を二回読み出して、提示のレートを倍加することができる。

図３ｂに示した例では、それぞれシーケンス７２および７２’の画像＃２および＃３からの情報を使用して、一つの新しい中間画像対７３、７３’が時間補間され、画像＃２と＃３の間に挿入され、それによって結果的に得られるシーケンス７４および７４’のレートが３６ｆｐｓ（立体映像プログラムで合計して７２ｆｐｓ）に増加する。該プロセスを図２ｃに部分的に示す。そこではシーケンス７２の画像＃２および＃３は７２．２および７２．３と識別される。代替的に、さらなる画像を時間補間して挿入し、例えば合計して９６ｆｐｓとなるように各シーケンスに毎秒４８フレームのレートを提供することができる。各シーケンス（眼）に６０ｆｐｓのレート（立体映像プログラムでは合計１２０ｆｐｓ）も、補間を必要としない興味深い事例である。シーケンス７２および７２’の全ての画像を単に二重化して、画像数を倍加するだけである。再生時に、シャッタ眼鏡は１２０Ｈｚのレートで駆動され、所定のシーケンスの全ての画像が対応する眼に対して１／３０秒に二回提示される。それによって卓越した鮮明さが得られるが、現在は非常に限られた範囲の表示装置しかそのような高いリフレッシュレートを処理できない。

上記の説明は、入力シーケンスが映画に一般的な２４ｆｐｓのレートで供給される事実に基づいていることに注意する必要がある。しかし、図３ａの時間伸張されたシーケンス５１および５１’によって表わされた時間補間の予備ステップを単に省略することによって、二つの３０ｆｐｓのシーケンス（例えばＴＶ番組）が供給される事例に、ミキシングプロセスを容易に適応させることができることは、容易に理解することができる。明らかに、復号化プロセスは常に３０ｆｐｓの入力シーケンスに対して働くので、プロセスのその部分に実質的な適応は必要ない。

代替的に、図４ａに示すように、本発明の符号化プロセスは、モザイクを作成する前に時間補間を必要としない。図４ａの例では、フレームを適切に分離することにより、二つの２４ｆｐｓのシーケンスが混合されて、３０ｆｐｓのシーケンスが提供される。時間補間画像をシーケンスに挿入することができるので（入力シーケンスが２４ｆｐｓを含む場合）、圧縮されたシーケンス８０は不規則になる。したがって、本発明の本実施形態に係る符号化（ミキシング）プロセスは、画像内容を識別してシーケンスの適切な位置に適切なシーケンス順序（タイミング）でシーケンスを復元するために復元プロセスによって要求されるフレーム番号の識別を可能にするために、圧縮シーケンス６０に情報を挿入することをさらに含む。そのような情報は、例えば併合画像の空白行に格納することができる。その手順の有用性は、復号化プロセスについての以下の説明を読むと、いっそう明らかになるであろう。ミキサ１によって実行されるミキシング手順自体はこれで完了する。プロセスではさらに、図１ａに関連して説明した通り、ＲＧＢ併合画像シーケンス６０（例えばＡＶＩファイル）を、ＭＰＥＧ２ビットストリームフォーマットに多重化する前にデジタルＹＵＶフォーマットに変換するか、あるいは図３で番号６２によって識別されるＭＰＥＧ２フォーマットに直接変換することができる。

図４ｂは、空間および時間補間を使用して、圧縮ステレオシーケンス８０をいかに復号化して、二つの３６ｆｐｓのストリームを提供することができるかを示す。

本発明の復号器２のより具体的な表現を図５に示す。しかし、例えば全部ソフトウェア、全部ハードウェア、または両方を混合した解決策のどれを選択するかによって、変形が可能であることを理解すべきである。

見て分かるように、復号器はアナログおよびデジタルの二つの入力を有する。信号がアナログである場合、それはＡＤＣ１０１によってデジタル信号に変換される。ＦＩＦＯバッファ１０３は入力信号のクロックドメインを復号器によって使用されるクロックドメインに変化させる。実際には、放送信号またはＤＶＤ信号は、ＲＧＢ信号に使用される周波数とは異なる周波数で刻時されるので、ＦＩＦＯバッファ１０３が必要である。次いで信号は変換器１０５に渡され、それは信号をＹＣ_BＣ_R信号から１×７２０×４８０（画素）のＲＧＢ信号に変換する。この信号は次いで本発明の教示に従って、空間補間器１０７によって空間補間され、結果的に７２０×４８０画素のデュアルストリームを生じる。このデュアルストリームは次いでスケーラ１０８によってスケーリングされ、二つの６４０×４８０の画像ストリーム（常にＲＧＢフォーマット）が提供される。代替的に、他の解像度を本発明のシステムによってサポートすることができる。次いでフレームは、右フレーム用に一つ、左フレーム用にもう一つのフレームバッファ１１３に配置され、その内容は入力メモリコントローラ１１１によって制御される。

フレームバッファの出力は出力メモリコントローラ１１５によって制御され、必要ならば、時間補間されて１１７、フレームレートを増大する。

レートコントローラ１１９を設けることが好ましい。レートコントローラの目的は、クロック信号の変動に適応することである。該変動は微小であるがシステムを脱同期化させる。レートコントローラはレートの違いを監視し、フレームの不活性行で特定数の画素を追加または除去することによって、出力周波数を修正する。例えば、あるフレームに対し、内部クロックを人工的に遅らせて、クロックを適切に同期化させるために、数画素を付加する必要があるかもしれない。

復号器２の別の有利な構成部品は、フリッカ防止フィルタ１２１である。シャッタ眼鏡を着用した場合、画像とヘッドディスプレイのシャッタの閉状態との間にコントラストがあるときに、フリッキングが発生する。驚くべきことに、各ＲＧＢ画素の緑色レベルの値を評価することにより、かつ緑色レベルが特定の値を超える場合は対応する画素の色を比例して低減することにより、フリッキングが大幅に低減されることが発見された。

次いで出力はそのままデジタルとするか、またはＤＡＣ１２３によってアナログ信号に変換される。同期化モジュール１２５は、適切な時間にシャッタを開閉するために、ヘッドディスプレイを出力信号と同期化する。

さらに調整装置１２７を設けることがさらに好ましい。この調整装置は、表示装置がそれ自体のフレームバッファを含み、そのためにシャッタの同期信号と実際の表示との間に脱同期化が生じる場合に、有用である。これは、使用者が画像のクロストーク／ゴースト現象を低減するために行なう手動調整である。

今から、添付の図面の図４ａを参照しながら、本発明に従ってミキサ１によって実行されるミキシング方法の第二実施形態について詳述する。この第二実施形態は、２４ｆｐｔフォーマットで利用可能な二つの画像シーケンスを変換して、３０ｆｐｓのＭＰＥＧ２（メインビュープロファイル）の完全に互換可能なシーケンスを生成する問題に対処するのに特に有利である。

モザイクＡおよびＢを含む二つの２４ｆｐｓシーケンス５０および５０’からのフル再精度画像は、（立体映像プログラムの二つのシーケンスを想定して）定義によりそれぞれＬ_iＡＢおよびＲ_iＡＢと識別されている。添字「ｉ」は所定の画像の時間ｔにおける順序番号を表わす。図４ａおよび４ｂの破線は、フレームのシーケンスを示す。前述した第一実施形態の場合と同様の要領で、八個の入力画像を空間圧縮し、かつ時間伸張して、新しい３０ｆｐｓのシーケンス８０に５個の新しい併合画像を形成する。本発明のこの実施形態では、元の画像情報の２５％以上が維持されて記録または放送されることに留意すべきである。実際、第一実施形態での一個に代わって、八個の元画像のうちの二個（示した例では画像Ｌ１およびＬ２）が、圧縮シーケンス８０のフィールドに保存されたそれらのモザイクＡおよびＢの両方を有する。

これらの完全に保存された画像はそれにもかかわらず、符号化されたシーケンスの均質性およびＭＰＥＧ２圧縮／圧縮解除プロトコルとの互換性を確保するために、連続画像間に特定の時間冗長性を提供することにより、並んだ併合画像フィールドに格納された二つの相補的モザイクの形で符号化される。こうして、再生時に、前述した実施形態に比べてより優れた再精度および忠実度が一般的に得られるが、その反面、処理能力要件およびシステムハードウェアのコストが増大する。上記第一実施形態の場合と同様に、発明の本実施形態に係る符号化（ミキシング）プロセスもまた、画像内容を識別し、適切なシーケンス順序でシーケンスを復元し、シーケンスの適切な位置に補間画像を挿入するために復元プロセスで必要になるフレーム番号の識別を可能にするために、圧縮シーケンス８０への情報の挿入をさらに含む。再び、そのような情報は例えば併合画像の空白行に格納することができる。

本発明に従って復号器２によって実行される対応する復号化プロセスが図４ｂに模式的に提示されており、それは次のように働く。

３０ｆｐｓのＲＧＢ入力シーケンス８０を表わす五個の併合フレーム８１〜８５を１２個の画像（各チャネルに６個）に伸張して、合計３６ｆｐｓ（三次元立体映像プログラムの場合、各眼に３６、合計７２）の再生シーケンス９０および１００を提供する。破線１１０によって示されるフレームシーケンスに従ってページフリッピングモードで提示される、１２個の連続画像の再生シーケンス９０および１００の各グループは、全体として、二個の一体的元画像、六個の空間補間画像、および四個の時間補間画像を含む。代替的にシーケンス９０および１００は、ヘッドマウント装置または自動立体映像装置などの一部の表示装置で要求されるように、二つの別個のチャネルで並行して別個に出力することができる。図示した例では、
１．画像９１（Ｌ₁ＡＢ）は、シーケンス８０のフレーム８１の左フィールドに格納されたモザイクＬ₁Ａ、およびその右フィールドに格納されたモザイクＬ₁Ｂから完全に復元される。
２．画像１０１（Ｒ₁ＡＸ）は、シーケンス８０のフレーム８２の左フィールドから取り出したモザイクＲ _１ Ａから空間補間される。
３．画像１０３（Ｒ₂ＢＸ）は、シーケンス８０のフレーム８２の右フィールドから取り出したモザイクＲ _２ Ｂから空間補間される。
４．画像１０２は画像１０１および画像１０３から時間補間される。
５．画像９３（Ｌ₂ＡＢ）は、シーケンス８０のフレーム８３の左フィールドに格納されたモザイク画像Ｌ₂Ａ、およびその右フィールドに格納されたモザイクＬ₂Ｂから完全に復元される。
６．画像９２は画像９１（Ｌ₁ＡＢ）および画像９３（Ｌ₂ＡＢ）から時間補間される。
７．画像９４（Ｌ₃ＡＸ）は、シーケンス８０のフレーム８４の左フィールドに格納されたモザイクＬ₃Ａから空間補間される。
８．画像９６（Ｌ₄ＢＸ）は、シーケンス８０のフレーム８４の右フィールドに格納されたモザイクＬ₄Ｂから空間補間される。
９．画像９５は画像９４および画像９６から時間補間される。
１０．画像１０４（Ｒ₃ＡＸ）は、シーケンス８０のフレーム８５の左フィールドに格納されたモザイクＲ₃Ａから空間補間される。
１１．画像１０６（Ｒ₄ＢＸ）は、シーケンス８０のフレーム８５の右フィールドに格納されたモザイクＲ₄Ｂから空間補間される。
１２．画像１０５は画像１０４および画像１０６から時間補間される。

明らかに、そのような復元プロセスには、入力シーケンス８０を構成する五個のフレームシーケンスにおけるフレームの順序の適切な識別が必要であることは、容易に理解することができる。したがって、ミキサ１によって併合画像シーケンス８０に格納されたフレーム番号情報を解釈するために、フレーム認識回路が復号器２に設けられる。

この後者の実施形態では、上記の説明で開示した最初の実施形態と同様に、第一および第二画像シーケンスが、相互に干渉することなく、全く独立に符号化されかつ復号化され、独立した情景を参照する元映像シーケンスの処理が可能であることに気付くことができる。

２４ｆｐｓのソースを処理して７２ｆｐｓの提示レートをもたらす、第二実施形態の上記の例は、２４または３０ｆｐｓのソースに適用して６０、７２、９６、または１２０ｆｐｓなどの提示レートでステレオ出力を生成することが可能な、より一般的なプロセスの単なる例証である。下記表は、２４または３０ｆｐｓのソースおよび６０、７２、９６または１２０ｆｐｓの提示レートの追加の例示的構成を提供する。

上記の通り、上記の処理から得られたＲＧＢシーケンス９０および１００はデュアル入力装置に直接出力して表示し、元のプログラムまたは立体映像プログラム信号を７２ｆｐｓ（各眼に３６）の提示レートで復元することができる。しかし、１１０のような破線矢印によって示すように、時間順序付けられた配列でシーケンス９０および１００の画像を含む複合立体映像ＲＧＢ出力信号（図示せず）を提供するために、さらなる処理が復号器２によって実行される。依然として図４ｂの例に関連して、画像は、左眼および右眼画像を次の順序９１、１０１、９２、１０２、９３、１０３、９４、１０４、９５、１０５、９６、１０６で交互に並べることによって、時間順序付けられる。これは、メモリバッファに格納された完全な画像の適切な読出しシーケンスを通して達成される。

こうして標準プロジェクタまたは他の表示装置による時間順序付けられた復号信号の提示が可能になり、立体映像プログラムがページフリッピングモードで表示される。復号器２は、表示される立体映像プログラムを三次元モードで、高い忠実度で、フリッキングを無視できるほど小さくして、非常に快適に見るために、視聴者が着用することができるシャッタ眼鏡の駆動装置に必要なタイミング信号を提供する。上記の通り、追加の時間補間画像対を挿入することにより、または特定の画像対を復号化プロセスで反復することにより、提示レートは最高１２０ｆｐｓまで増大することができる。また、本発明では、ＲＧＢ複合ステレオ出力信号を、インタレースフォーマットまたは従来の２Ｄフォーマットのような別の公知の標準的提示フォーマットに変換することができることも企図している。

したがって、本発明の上記の実施形態は、二つの動画シーケンスを従来のデータ格納媒体に記録し、従来のビデオディスクプレーヤまたは放送ソースおよび表示装置で再生して、立体映像３Ｄ映画を、比類のない性能および快適さでしかも手頃な価格で、広範囲の表示装置の入力信号要件に適合するために多数の出力モードで、家庭で視聴することを可能にする、効果的で現実的な解決策を提供するものであることが容易に理解できる。例えば、上記の説明で定義したように単一の入力信号フォーマットが供給される汎用セットトップボックスに、ページフリッピング、行インタリーブ、列インタリーブ、同時デュアル提示、アナグリフ等のような選択可能なモードを提供することができる。したがって、本発明の符号化／再生方法およびシステムは、先行技術の解決策に勝る多数の利点を持ち、独立した情景を表わす映像シーケンスの処理をはじめ、様々な用途に有利に使用することができる。

したがって、本発明が先行技術に勝る利点を提供することは容易に理解されるであろう。周波数フィルタ（低域または帯域通過）を使用せず、圧縮解除を最小限の資源で、実時間で達成することができ、入力および出力の両方で順次またはインタリーブシステムと互換性があり、休止、早送り、まき戻し、低速等が可能であり、現在入手可能な全ての立体映像表示をサポートするので、それはより優れた品質の画像を提供する。

本発明をその好適な実施形態によって説明したが、本発明の精神および範囲から逸脱することなく、様々な変形を施すことができる。したがって、記述した実施形態は本発明の単なる例示であり、発明の範囲をそれに限定すべきではなく、請求の範囲の記載およびその均等物によって決定されるべきものである。

本発明は、
「第１のフォーマットを有する立体画像ストリームの圧縮された画像ストリームを処理するための方法であって、前記圧縮された画像ストリームは複数のフレームを含み、各フレームは左画像からの画素および右画像からの画素を含む併合画像から成り、
（ａ）前記圧縮された画像ストリームを圧縮解除するステップと、
（ｂ）各併合画像を受け取るステップと、
（ｃ）復元された左フレームおよび復元された右フレームを形成するために、各併合画像に、少なくとも二つの隣接画素を入力バッファに入れ、中間画素を補間するステップと、
（ｄ）前記左および右画像フレームから立体画像ストリームを復元して、それを出力フレームバッファに格納するステップと、
（ｅ）前記第１のフォーマットとは異なるフォーマットで前記フレームを出力する出力ステップと
を含み、
前記出力ステップは、前記出力において、ページフリッピングモードでの提示用に、毎秒３０フレームの前記立体画像ストリームから増加された、少なくとも毎秒３６フレームのフレームレートを作るために、前記画像ストリームの表示レートを増加させる工程を含んでいることを特徴とする方法。」（態様１）として構成することができる。
また、本発明は、「態様１に記載の方法であって、前記併合画像を構成する前記左画像からの前記画素は、前記左画像を構成する画素配列から縦横両方向とも一つおきに抽出したものであり、前記併合画像を構成する前記右画像からの前記画素は、前記右画像を構成する画素配列から縦横両方向とも一つおきに抽出したものであることを特徴とすると方法。」（態様２）として構成することができる。
また、本発明は、「態様１または２に記載の方法であって、中間画素を補間する前記ステップが、前記二つの隣接画素を平均することを含むことを特徴とする方法。」（態様３）として構成することができる。
また、本発明は、「態様１から３のいずれか一つに記載の方法であって、中間画素を補間する前記ステップが、前記中間画素を補間するために水平方向の隣接画素を前記中間画素からの距離に応じて加重することを含むことを特徴とする方法。」（態様４）として構成することができる。
また、本発明は、「態様１から４のいずれか一つに記載の方法であって、中間画素を補間する前記ステップが、前記中間画素を補間するために垂直方向の隣接画素を加重することを含むことを特徴とする方法。」（態様５）として構成することができる。
また、本発明は、「態様１から５のいずれか一つに記載の方法であって、前記複数の立体表示モードは、ページフリッピング、行インターリーブ、列インターリーブ、および、アナグリフのうち、少なくとも二つを含むことを特徴とする方法。」（態様６）として構成することができる。
また、本発明は、「態様１から６のいずれか一つに記載の方法であって、前記併合画像は、前記左画像からの画素を含む第１の領域と、前記右画像からの画素を含む第２の領域とを含むことを特徴とする方法。」（態様７）として構成することができる。
また、本発明は、「態様１から７のいずれか一つに記載の方法であって、前記第１のフォーマットとは異なるフォーマットで前記フレームを出力する前記ステップは、前記画像ストリームの表示レートを増加するステップを含むことを特徴とする方法。」（態様８）として構成することができる。
また、本発明は、「態様１から８のいずれか一つに記載の方法であって、前記画像ストリームの表示レートを増加させる前記ステップは、前記復元された立体画像ストリームを時間補間することを含むことを特徴とする方法。」（態様９）として構成することができる。
また、本発明は、
「第１のフォーマットを有する立体画像ストリームの圧縮された画像ストリームを処理するためのシステムであって、
（ａ）圧縮された画像ストリームを受け取るための入力と、
（ｂ）受け取った前記画像ストリームを圧縮解除するための圧縮解除モジュールと、
（ｃ）各併合フレームを空間補間して復元された右および左フレームを得る動作ができるように前記入力に接続された空間補間モジュールと、
（ｄ）前記復元された右および左フレームを格納するための右および左メモリバッファと、
（ｅ）立体画像表示装置を同期化するための同期化モジュールと、
（ｆ）前記第１のフォーマットとは異なるフォーマットで前記フレームを出力する出力メモリコントローラと
を含み、
前記コントローラは、前記出力において、ページフリッピングモードでの提示用に、毎秒３０フレームの前記立体画像ストリームより、少なくとも毎秒３６フレーム増加させたフレームレートを作るために、前記画像ストリームの表示レートを増加させることを特徴とするシステム。」（態様１０）として構成することができる。
また、本発明は、「態様１０に記載のシステムであって、前記出力される立体画像ストリームの周波数を補正するレートコントローラをさらに含むことを特徴とするシステム。」（態様１１）として構成することができる。
また、本発明は、「態様１１に記載のシステムであって、前記レートコントローラの下流にフリッカ防止フィルタをさらに含むことを特徴とするシステム。」（態様１２）として構成することができる。
また、本発明は、「態様１０から１２のいずれか一つに記載のシステムであって、前記入力の下流にアナログデジタル変換器を含むことを特徴とするシステム。」（態様１３）として構成することができる。
また、本発明は、「態様１０から１３のいずれか一つに記載のシステムであって、前記出力の上流にデジタルアナログ変換器をさらに含むことを特徴とするシステム。」（態様１４）として構成することができる。
また、本発明は、「態様１０から１４のいずれか一つに記載のシステムであって、前記同期化モジュールは、シャッタ眼鏡を同期化させるために用いられることを特徴とするシステム。」（態様１５）として構成することができる。
また、本発明は、「態様１０から１５のいずれか一つに記載のシステムであって、前記複数の立体画像表示モードは、ページフリッピング、行インターリーブ、列インターリーブ、および、アナグリフのうち少なくとも二つを含むことを特徴とするシステム。」（態様１６）として構成することができる。
また、本発明は、「態様１０から１６のいずれか一つに記載のシステムであって、前記コントローラはさらに時間補間器を含み、かつ、前記画像ストリームの表示レートを増加させる前記ステップは、前記復元された立体画像ストリームを時間補間することを含むことを特徴とするシステム。」（態様１７）として構成することができる。

Claims (17)

1. 第１のフォーマットを有する立体画像ストリームの圧縮された画像ストリームを処理するための方法であって、前記圧縮された画像ストリームは複数のフレームを含み、各フレームは左画像からの画素および右画像からの画素を含む併合画像から成り、
   （ａ）前記圧縮された画像ストリームを圧縮解除するステップと、
   （ｂ）各併合画像を受け取るステップと、
   （ｃ）復元された左フレームおよび復元された右フレームを形成するために、各併合画像に、少なくとも二つの隣接画素を入力バッファに入れ、中間画素を補間するステップと、（ｄ）前記左および右画像フレームから立体画像ストリームを復元して、それを出力フレームバッファに格納するステップと、
   （ｅ）前記第１のフォーマットとは異なるフォーマットで前記フレームを出力する出力ステップと、
   を含み、前記出力ステップは、前記出力において、ページフリッピングモードでの提示用に、毎秒３０フレームの前記立体画像ストリームから増加された、少なくとも毎秒３６フレームのフレームレートを作るために、前記画像ストリームの表示レートを増加させる工程を含んでいる、方法。
2. 前記併合画像を構成する前記左画像からの前記画素は、前記左画像を構成する画素配列から縦横両方向とも一つおきに抽出したものであり、
   前記併合画像を構成する前記右画像からの前記画素は、前記右画像を構成する画素配列から縦横両方向とも一つおきに抽出したものである、請求項１に記載の方法。
3. 中間画素を補間する前記ステップが、前記二つの隣接画素を平均することを含む、請求項１または請求項２に記載の方法。
4. 中間画素を補間する前記ステップが、前記中間画素を補間するために水平方向の隣接画素を前記中間画素からの距離に応じて加重することを含む、請求項１から請求項３のいずれか一つに記載の方法。
5. 中間画素を補間する前記ステップが、前記中間画素を補間するために垂直方向の隣接画素を加重することを含む、請求項１から請求項４のいずれか一つに記載の方法。
6. 前記複数の立体表示モードは、ページフリッピング、行インターリーブ、列インターリーブ、および、アナグリフのうち、少なくとも二つを含む、請求項１から請求項５のいずれか一つに記載の方法。
7. 前記併合画像は、前記左画像からの画素を含む第１の領域と、前記右画像からの画素を含む第２の領域と、を含む、請求項１から請求項６のいずれか一つに記載の方法。
8. 前記第１のフォーマットとは異なるフォーマットで前記フレームを出力する前記ステップは、前記画像ストリームの表示レートを増加するステップを含む、請求項１から請求項７のいずれか一つに記載の方法。
9. 前記画像ストリームの表示レートを増加させる前記ステップは、前記復元された立体画像ストリームを時間補間することを含む、請求項１から請求項８のいずれか一つに記載の方法。
10. 第１のフォーマットを有する立体画像ストリームの圧縮された画像ストリームを処理するためのシステムであって、
    （ａ）圧縮された画像ストリームを受け取るための入力と、
    （ｂ）受け取った前記画像ストリームを圧縮解除するための圧縮解除モジュールと、
    （ｃ）各併合フレームを空間補間して復元された右および左フレームを得る動作ができるように前記入力に接続された空間補間モジュールと、
    （ｄ）前記復元された右および左フレームを格納するための右および左メモリバッファと、
    （ｅ）立体画像表示装置を同期化するための同期化モジュールと、
    （ｆ）前記第１のフォーマットとは異なるフォーマットで前記フレームを出力する出力メモリコントローラと、を含み、
    前記コントローラは、前記出力において、ページフリッピングモードでの提示用に、毎秒３０フレームの前記立体画像ストリームより、少なくとも毎秒３６フレーム増加させたフレームレートを作るために、前記画像ストリームの表示レートを増加させる、システム。
11. 前記出力される立体画像ストリームの周波数を補正するレートコントローラをさらに含む、請求項１０に記載のシステム。
12. 前記レートコントローラの下流にフリッカ防止フィルタをさらに含む、請求項１１に記載のシステム。
13. 前記入力の下流にアナログデジタル変換器を含む、請求項１０から請求項１２のいずれか一つに記載のシステム。
14. 前記出力の上流にデジタルアナログ変換器をさらに含む、請求項１０から請求項１３のいずれか一つに記載のシステム。
15. 前記同期化モジュールは、シャッタ眼鏡を同期化させるために用いられる、請求項１０から請求項１４のいずれか一つに記載のシステム。
16. 前記複数の立体画像表示モードは、ページフリッピング、行インターリーブ、列インターリーブ、および、アナグリフのうち少なくとも二つを含む、請求項１０から請求項１５のいずれか一つに記載のシステム。
17. 前記コントローラはさらに時間補間器を含み、かつ、前記画像ストリームの表示レートを増加させる前記ステップは、前記復元された立体画像ストリームを時間補間することを含む、請求項１０から請求項１６のいずれか一つに記載のシステム。

Images