JP2008524888A - ビデオ画像信号を処理する方法および装置 - Google Patents

Abstract

イメージャは、相補的な部分画像を連続的に再生することによって、所望の画像解像度を達成する。このイメージャは、入力画像の画素を、イメージャの画素パターンに対応する相補的なパターンに従って、それぞれの部分画像に割り当てる。このイメージャは、相補的なパターンを異なる空間的位置に再生し、これらの相補的なパターンが一体化するようにする。移動物体の２重像が知覚されることを回避するために、イメージャに与えられる画像信号は、元の画像と、少なくとも２つの連続した画像から得られる動き補償済みの補間画像とからアセンブルされる。従って、再生される部分画像は、１つおきに補間画像から得られたものであり、連続する２つの画像の間で起こる画像中の物体の移動を考慮に入れている。１実施形態では、部分画像は、撮像装置で使用される画素の分配を予測した順序で再結合され、１つのフル画像となる。
選択図 図４

Description

以下の記述において、「フレーム」という用語は、行列状に配列された画素を単位とする第１の解像度を有するビデオ画像を指し、これらの画素は基本的にはあらゆるフレームで同時に表示される。フィルム・シーケンスの場合には、複数のフレームが第１のレートで連続的に表示され、この第１のレートでは、これらのフレームは滑らかに動く画像として知覚される。一連のフレームを示すビデオは、プログレッシブ・ビデオとも呼ばれる。「フィールド」という用語は、部分画像、好ましくは対応するフレームの半分の数の画素を有する部分画像を指す。フィールドは、例えばテレビジョン受像機において行われるインタレース方式のビデオ表示から既知である。このインタレース方式のビデオ表示では、１つのフレームを２つのフィールドに分割し、いわゆる奇数フィールドが、例えば１、３、５…のような奇数の行番号を有する行に配列された全ての画素を含み、いわゆる偶数フィールドが、例えば２、４、６…のような偶数の行番号を有する行に配列された全ての画素を含む。テレビジョン装置では、奇数フィールドおよび偶数フィールドが交互に示される。テレビジョン・システムの奇数フィールドおよび偶数フィールドは、画像中の異なる位置にある画素を示すだけでなく、１つのフレームを構成する奇数フィールドおよび偶数フィールドは、異なる２つの時点に取られたものである。このタイプのビデオ信号は、真のインタレース・ビデオとも呼ばれる。インタレース・ビデオを用いてテレビジョン・システムで表示するビデオに映画を転写するときには、この映画のあらゆるピクチャを最初にフレームとして走査し、その後に２つのいわゆるセグメント・フレームに分割する。２つのセグメント・フレームは、インタレース・ビデオで既知の奇数フィールドおよび偶数フィールドと同様のものであるが、１つの時点に取られた画像を表す。従って、一連のフレーム、またはプログレッシブ・ビデオを再生するようになされた表示装置が真のインタレース・ビデオ信号を受信したときには、デインタレーサ（ｄｅｉｎｔｅｒｌａｃｅｒ）が、２つのフィールドを結合して１つのフレームにしなければならない。真のインタレース・ビデオ信号中に移動する物体がある場合には、一方のフィールドから他方のフィールドへの当該物体の動きを考慮して、補償しなければならない。

上記の用語の説明では、インタレース・ビデオおよびセグメント・フレームが２つの部分画像を有するものとしている。２を超える任意数の部分画像が存在してもよく、それらが以下に記載する本発明の範囲に含まれることは明らかである。

本発明は、特に、五点形（ｑｕｉｎｃｕｎｘ）の画素構成を用いて画像を表示するようになされたビデオ表示装置に関する。このような表示装置としては、例えば、対角画素構造（ｄｉａｇｏｎａｌ ｐｉｘｅｌ ｓｔｒｕｃｔｕｒｅ）およびウィグリング・フォールド・ミラー（ｗｉｇｇｌｉｎｇ ｆｏｌｄ ｍｉｒｒｏｒ）を用いるＨＤ３ ＤＬＰ（登録商標）を備えたディジタル光処理装置がある。ＨＤ３ ＤＬＰ（登録商標）は、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ（商標）社の画像再生装置、イメージャである。ただし、本発明は、２つ以上の相補的な空間パターンに従って選択された画素を含む部分画像を連続的に表示するようになされた任意の表示技術に適用することができる。

撮像装置を用いて相補的な画像を順次再生することにより、当該撮像装置の固有の解像度よりも表示装置の解像度を高めることができる。前述のＨＤ３ ＤＬＰ撮像装置の場合には、相補的な２つの部分画像を表示することによって、解像度を当該撮像装置の固有の解像度の２倍にする。

第１の部分画像の表示では、撮像装置の個々の画素によって変調した光を、それぞれの第１の位置で再生する。第２の部分画像の表示では、撮像装置の個々の画素によって変調した光を、それぞれの第２の位置で再生する。第１の位置と第２の位置の切替えは、例えば、傾斜させることができるミラーによって適当に変調光をスクリーン上に投影する、または撮像装置を適当に移動させることによって行うことができる。傾斜の程度は、第２の部分画像の画素が、第１の部分画像のそれぞれの画素の間に再生されるように選択する。

図１は、６行８列に配列された画素を含む例示的なフル画像Ａを示す図である。行数および列数を少なく選んであるのは単に説明のためであり、これらは変更することもでき、特に、行数および列数はこれより大幅に大きくすることも可能である。前述の五点形タイプの撮像装置では、画像は、第１の部分画像Ａ‘および第２の部分画像Ａ“を連続的に再生することによって表示される。第１の部分画像Ａ‘および第２の部分画像Ａ“の画素は相補的であり、これらの部分画像の間の切替えは、人間の目にはフル解像度のフル画像に見えるほどに十分速く行われる。本明細書では、分かりやすくするために、例示的な五点形パターンを直交する形で示してあるが、これは画像の縁部領域に乱れを生じる可能性があることに留意されたい。この効果は、４５°回転させた五点形パターン、すなわち五点形に配列された菱形のパターンを使用することによって補償することができる。また、それに応じて撮像装置の縁部の画素を駆動することによって、例えば、最も外側の行または列の画素の一部を黒のまま残すことによって、これらの縁部効果を補償することも可能である。ただし、現実のイメージャはこの領域で１行あたり１０００画素以上の非常に高い解像度を有するので、わずかな乱れであれば無視することもできる。

図２は、図１の例示的なスクリーンを対角線状に横切って移動する物体を示す例示的な図である。この移動は、左下から右上に向く矢印で示してある。撮像装置がフル画像またはフレームのシーケンスを表示する場合には、各フレームが、物体の移動に応じてこの物体を異なる位置に示すことになる。その結果として、画像のフレーム・レートが十分に高ければ、観測者の目には、滑らかに移動する物体として見えることになる。本発明で言及するタイプの撮像装置は各フレームを部分画像またはフレームのシーケンスとして示すので、移動物体は、同じ位置に数度再生される。しかし、観測者の目は、物体の軌跡を追跡する際に、その物体が再生されるたびに異なる位置に現れるものと予想する。この現象を、図３にさらに詳細に示す。

図３に、部分画像Ａ１‘、Ａ１“からＡ６‘、Ａ６“のシーケンスを横軸に示す時間に対して示す。ダッシュ記号が１つ付された部分画像は、最初に表示される部分画像に対応し、ダッシュ記号が２つ付された部分画像は、その後に表示されてフル画像またはフレームの再生を完全にする相補的な部分画像に対応する。フル画像Ａ１からＡ６のシーケンスでは、移動物体は、個々の画像中で異なる位置にある。これらの異なる位置は、縦軸に沿った物体の位置を変化させることによって示してある。相補的な第１および第２の部分画像を連続的に再生することによって最初のフル画像を再生するときには、２つの連続した時点で物体が同じ位置に２度再生されることが分かる。部分画像の相補性は、物体の模様が、物体内部が完全に埋まるように補完し合うことによって示してある。次のフル画像が再生されたときに、物体は新たな位置に達し、この位置で再び２度表示される。観測者の目は、物体の移動を追跡しようとし、図中に予想物体Ｅとして示すように、物体がこの軌跡の途中に現れると予想する。しかし、全てのフル画像で物体が同じ位置に２度表示されるので、移動物体については２重像が知覚されることになる。

この効果は、特に、異なる時点に取られた２つの画像フィールドを含む真のインタレース信号が五点形タイプの撮像装置に直接、すなわち適当な動き補償を行うデインタレーサを通過せずに供給されたときに起きる。適当な動き補償を行うデインタレーサは、フル画像フレームと等価な画像を生成する。

従って、部分画像を連続的に再生することによって画像を再生する表示装置を制御する改善された方法、特に、上述の五点形の表示装置を制御する改善された方法を提供することが望ましい。

本発明による方法は、相補的な第１および第２のパターンに従ってフル画像から選択した画素の再生を交互に行うことによってフル画像を再生する撮像装置による行列状に配列された画素を含む画像の再生を改善する。相補的な第１および第２のパターンに従ってフル画像から画素を選択することにより、画像は第１の部分画像および第２の部分画像に分割される。第１の部分画像および第２の部分画像は、異なる空間的位置に順次表示され、重畳された第１および第２の部分画像は相補的である。本発明によれば、この方法は、第１のフレーム・レートで入力画像のシーケンスを受信するステップと、第１のフレーム・レートで受信した少なくとも２つの連続する画像から補間画像を計算するステップとを含む。この方法は、第１のパターンに従って入力画像または補間画像から画素を選択して、第１の部分画像として出力するステップをさらに含む。この方法は、第１のパターンと相補的な第２のパターンに従って対応する補間画像または対応する入力画像から画素を選択して、第２の部分画像として出力するステップをさらに含む。これにより、再生される部分画像は１つおきに補間画像から取られる。元の画像および補間画像から交互に取った第１および第２の部分画像を再生することにより、移動物体は、それらの移動および再生時点に対応したスクリーン上の場所または位置に表示される。

本発明の発展形態では、補間画像を計算するステップは、時間的動き補償および／または空間的動き補償を用いて補間画像を計算するステップを含む。

本発明の別の発展形態では、この方法は、受信した入力画像を記憶するステップ、および／または補間画像を記憶するステップをさらに含む。

本発明の一つの実施形態では、第１のパターンに従って入力画像または補間画像から選択された画素は第１の部分画像として出力されるが、それらの選択された画素は連続して出力される。同様に、第２のパターンに従って対応する補間画像または対応する入力画像から選択された画素は第２の部分画像として出力されるが、それらの選択された画素も連続して出力される。このようにして、正しいシーケンスで、すなわち第１の部分画像を構成する第１の一連の連続した画素を伝送した後で、第２の部分画像を構成する第２の一連の連続した画素を伝送する順序で、第１および第２の部分画像を再生するのに必要な画素を撮像装置に与えることができる。例えば、１つの部分画像を再生するのに必要な全ての画素を撮像装置が受信したときに、画像が表示される。本明細書を通じて、「画素」という用語が画素を表現するデータを表す語としても使用されることは明らかである。

本発明の別の実施形態では、第１の部分画像として出力される、第１のパターンに従って入力画像または補間画像から選択された画素、および対応する補間画像または対応する入力画像から選択された画素は、１つの行または１つの列中の隣接する画素が入力画像または補間画像内のそれらの出所とは無関係に連続して出力されるように出力される。このようにして、第１の部分画像および第２の部分画像は、完全な画像フレームとして出力される。本発明のこの実施形態は、入力でフル画像またはフレームを受け取り、このフル画像をそれ自体で部分画像に分割する撮像装置には特に有利である。撮像装置がフル画像を部分画像に分割する方法は既知であるので、本発明のこの実施形態では、撮像装置内での部分画像の生成に応じてアセンブルされるフル画像を提供する。この場合には、撮像装置の入力に印加されるフル画像は、元の画像および補間画像から取られ、アセンブルされて１つのフル画像を構成する画素を有する。このようにしてアセンブルされたフル画像は、２つの異なる時点に対応する画像情報を含む。それぞれの時点に属する画像情報は、撮像装置が順次再生する部分画像を生成するときに、それぞれの部分画像に含めて出力される。

第１および第２の部分画像の画素を選択するための相補的パターンは、五点形パターンであることが好ましい。相補的な第１および第２の五点形パターンは、互いに行または列の方向に１画素分だけずれている。ただし、本発明では、その他の相補的なパターンを使用することもできる。

以下、図面を参照しながら、本発明について説明する。

図面において、同じまたは同様の要素はそれぞれ同じ参照符で示してある。

図１から図３については、従来技術の項で既に説明してあるため、再度詳細に触れることはしない。

図４は、２つの例示的なフル画像Ａ１およびＡ２を示す。これらの画像は、フル画像のシーケンス内で互いに前後する画像である。フル画像Ａ１およびＡ２は、２つの異なる時点に取られた画像であり、この２つの時点の間に移動していた物体を示すこともある画像である。画像Ａ１およびＡ２を使用して、フル画像Ａ１およびＡ２がそれぞれ取られた時点の間のある時点における画像内容の算出表現を示す補間画像Ａ１Ａ２を計算する。従って、移動物体は、補間画像Ａ１Ａ２内の、フル画像Ａ１における当該移動物体の位置とフル画像Ａ２における当該移動物体の位置との間の位置にあることになる。図中の矢印は、それぞれの画像から補間画像および出力画像がどのように構成されるかを示している。出力画像Ｏ１は、元の画像Ａ１および補間画像Ａ１Ａ２の画像情報を用いてアセンブルされる。この画像のアセンブルは、相補的な第１のパターンおよび第２のパターンに従って行われる。図４では、使用されるパターンは五点形パターンである。フル画像Ａ１は、第１の時点に取られたシーンを表し、フル画像Ａ２は、第１の時点より後の第２の時点に取られたシーンを表す。補間画像Ａ１Ａ２は、Ａ１とＡ２の間のある時点のシーンの仮想画像を表す。アセンブルされた出力画像Ｏ１は、２つの異なる時点に属する画像情報を含む。上述のタイプの撮像装置は、２つの異なる時点のうち一方に対応する画像情報のみを選択して、一度に表示する。従って、画像情報のアセンブルは、撮像装置が部分画像の順次表示を行うためにフル画像から情報を選択する方法を考慮して行われる。図では、画像Ａ１、Ａ２、Ａ１Ａ２、およびＯ１に属する画素は、それぞれ異なるタイプの線影およびドット・パターンで示してある。

図５に、元の画像Ａ１および補間画像Ａ１Ａ２から各部分画像Ａ１‘およびＡ１Ａ２“への画素の割当てを示す。ここでも、例示的な相補的パターンは五点形パターンである。この１つまたは２つのダッシュ記号は、連続して再生される第１の部分画像または第２の部分に含まれる画素であることを示している。

図６に、連続して再生される部分画像の例示的なタイミング、およびその視覚効果を示す。画像内容は、図２に示したのと同じであり、物体は左下から右上に向かって移動する。図３と同様に、部分画像は１つおきに元の画像から取られる。すなわち、画像Ａ１の内容を使用して部分画像Ａ１‘を再生し、画像Ａ２の内容を使用して部分画像Ａ２‘を再生し、以下同様に行っていく。しかし、それらの間に再生される補完的部分画像Ａ１Ａ２“、Ａ２Ａ３“は、補間画像Ａ１Ａ２、Ａ２Ａ３などから取られる。物体は補間画像内で既に移動しているので、補間画像から取った部分画像における物体の位置は、観測者が予想する位置に対応する位置に再現される。このようにして、観測者の目が物体の軌跡を追跡する際に、２重像が回避される。図では、物体が元の画像に属するのか補間画像に属するのかを、線影またはドット・パターンでそれぞれ示している。

図７は、本発明の実施形態によるビデオ信号のアセンブルを示す図である。本発明のこの実施形態では、１つの部分画像に属する画素は、連続して出力され、その後にのみ、他の部分画像に属する画素が連続して出力される。このようにして、それぞれの部分画像の画像データは、全てまとめて表示のために伝送される。本発明のこの実施形態による出力信号の生成では、撮像装置は、１つの部分画像の再生を、当該部分画像の全ての画像データが受信された後で開始することができる。部分画像を再生する前にバッファリングすれば、メモリのサイズを部分画像１つ分ほどに小さく保つことができる。画像内容が撮像装置に伝送されると、メモリが次に表示される部分画像のデータでいっぱいになる可能性がある。画像データ・ストリーム内における画素のそれぞれの位置への割当ては、それぞれ実線および破線で示してある。さらに、入力画像または補間画像の画素の出所は、異なる線影またはドット・パターンで示してある。

図８は、本発明の別の実施形態によるビデオ信号のアセンブルを示す図である。本発明のこの例示的な実施形態では、画像の画素は、それらが後に第１または第２の部分画像の再生に使用されるかどうかに係わりなく出力される。本発明のこの実施形態は、撮像装置がフル画像の画像データを記憶し、それ自体がその画素を第１または第２の部分画像に分配するときに有利である。撮像装置が画素を第１または第２の部分画像に分配するために使用するパターンが既知である場合には、伝達されたフル画像が、元の画像の画素は第１の部分画像として再生される位置に有し、補間画像の画素は第２の補完的な部分画像として再生される位置に有するように、このパターンに従ってビデオ信号を構成することができる。図８に示すこの例示的な実施形態では、画素は、行ごとに左から右に向かって走査され、第１および第２の部分画像に使用される相補的パターンは五点形パターンである。その他の任意の走査パターンを用いて出力データ・ストリームを合成することも可能であることは明らかである。ここでも、実線および破線の矢印で、画像データ・ストリーム内のそれぞれの位置への画素の割当てを示している。また、異なる線影またはドット・パターンによって、画素が元の画像に属するのか補間画像に属するのかを示している。

図９には、動き補償を用いて補間フレームを生成する例示的な回路が示してある。画像データは、入力Ｖ＿ＩＮで受信され、第１のピクチャ・メモリＰＭ１に記憶される。ピクチャ・メモリＰＭ１は、例えば、データの読取りおよび書込みの独立アクセスが可能なデュアル・ポート・メモリである。ピクチャ・メモリＰＭ１およびこの回路内で使用されるその他の全てのメモリは、メモリへの書込みのための書込みクロック入力、メモリからの読取りのための読取りクロック入力、書込みアドレス入力、読取りアドレス入力、データ入力、およびデータ出力を有する。分かりやすいように、これらの入力および出力は、各ブロックを結ぶ矢印の向きで示してある。入力および出力の種類は、矢印に付した標識で示してある。メモリ・ブロックの入力または出力が読取りおよび書込みの何れに関連するのかは、メモリ・ブロックの参照符号ＲおよびＷで示してある。ピクチャ・メモリＰＭ１が、ビデオ入力データで充填され、それに応じて、既定の開始アドレスから開始して垂直同期信号および水平同期信号（図示せず）と同期して、アドレス・カウンタを増分する。垂直同期信号は、入力Ｖ＿ＩＮの新たなビデオ・フレームの開始を示す。第１のピクチャ・メモリＰＭ１の書込み側入力ＷにＣＬＫ１クロック・サイクルが印加されるたびに、同期信号が新たなフレームの開始を示すまで書込みアドレス・ポインタＡＤ１が増分される。ＣＬＫ１は、例えばビデオ・データが行ごとに供給されるときには、水平画素クロックである。新たなフレームの開始が示されると、書込みアドレス・ポインタＡＤ１は既定の開始アドレス位置にリセットされる。同時に、読取り側入力Ｒに接続されたＣＬＫ１を用いて、メモリ出力からデータが読み取られる。この例示的な回路では、同じクロックＣＬＫ１を読取りおよび書込みに使用する。ピクチャ・メモリＰＭ１は、フレーム遅延として動作するので、書き込まれたデータは、再び上書きされる前に読み取らなければならない。従って、読取り側入力ＲにＣＬＫ１クロック・サイクルが印加されるたびに読取りアドレス・ポインタが増分される際に、読取りアドレスが書込みアドレスに追いついてはならないので、読取りアドレスおよび書込みアドレスが垂直同期信号と適切に同期しているように注意しなければならない。例えば、読取りアドレスは書込みアドレスから１クロック・サイクル分だけずれている、すなわち１クロック・サイクルだけ遅れている。

補間器ブロックＩＮＴは、２つの入力を有する。一方の入力には、第１のピクチャ・メモリＰＭ１に入力されるのと同じビデオ信号Ｖ＿ＩＮが印加され、他方の入力は、第１のピクチャ・メモリＰＭ１のデータ出力に接続される。従って、補間器ＩＮＴは、２つの連続するビデオ・フレームを受信する。この補間器ＩＮＴは、２つの連続的なフレームの間の時間的補間を実行する。この回路の目的は、２つの入力フレームから４つの出力フレームを生成する、または１つの入力フレームから２つの出力フレームを生成することであり、従ってフレーム・レートの倍加すなわち上昇が実現する。これは、遅延入力ビデオ信号Ｖ＿ＩＮを別のピクチャ・メモリＰＭ２に記憶し、補間ビデオ信号をさらに別のピクチャ・メモリＰＭ３に記憶することによって達成される。ピクチャ・メモリＰＭ２は、元のビデオ・データ、すなわちＶ＿ＩＮの時間遅延させたビデオ・データを元のフレーム・レートより高いフレーム・レートで読み取るために使用され、ピクチャ・メモリＰＭ３は、時間的に補間したデータを元の画像のフレーム・レートより高いフレーム・レートで読み取るために使用される。これらのメモリは、それぞれの書込み側入力にＣＬＫ１クロック・サイクルが接続されていることから分かるように、ピクチャ・メモリＰＭ１と同じ方法で、且つ同じデータ・レートでビデオ・データを充填される。ただし、データを読み取るときには、第２のクロック信号ＣＬＫ２が読取り側クロック入力に接続される。このクロック信号は、クロック信号ＣＬＫ１の２倍の周波数を有するが、それ以外の点では、クロック信号ＣＬＫ１に対してタイミングが固定された関係にある。全てのピクチャ・メモリＰＭ１、ＰＭ２およびＰＭ３で、メモリの書込みが行われる前にメモリの読取が行われないように、すなわち読取りアドレス・ポインタが書込みアドレス・ポインタに追いつかないように、タイミング関係は固定されなければならない。ピクチャ・メモリＰＭ２の出力には、元の入力ビデオ・フレームがあり、入力フレーム・レートの２倍のフレーム・レートで読み取ることができる。ピクチャ・メモリＰＭ３の出力は、補間ビデオ・フレームであり、これも元のフレーム・レートの２倍のフレーム・レートで読み取ることができる。マルチプレクサＭＵＸを用いて２つのピクチャ・メモリＰＭ２およびＰＭ３から相応にフレームを選択することにより、正しいフレーム・シーケンスが得られる。マルチプレクサＭＵＸには、２つの入力ビデオ信号が印加され、これら２つの入力ビデオ信号が、切替え信号ＳＥＬに応じて選択的に出力Ｖ＿ＯＵＴに出力ビデオ信号として現れる。切替え信号ＳＥＬは、マルチプレクサを制御して、１つの元のフレームを出力させ、それに続いて１つの補間フレームを出力させる。次いで、次の元のフレームおよびそれに対応する次の補間フレームが選択されて出力され、以下同様に続く。元の画像フレームまたは補間画像フレームの選択は、垂直方向周波数が２倍の垂直同期信号と同期している。垂直同期信号と切替え信号の間には、これらのピクチャ・メモリの書込みと読取の間の遅延により、わずかなタイミングのずれが存在することもある。

図９に示す回路は、一般的なフレーム・レート・アップ・コンバージョン回路であり、部分画像を順次表示する表示装置を制御する場合、特に表示装置が五点形タイプである場合と同様にみなすことはできない。五点形タイプの表示装置を制御するためには、この回路に修正を加える必要がある。

図１０は、五点形タイプの表示装置で本発明による方法を実行する例示的な回路を示す図である。表示システム自体は、従来技術で既知であり、フル画像を表示するのに必要な空間画像解像度の半分の解像度しか有さないが、フル空間解像度を実現するためには上記で説明したように互いにずれて表示される２つの連続したフィールドを使用する。本発明の回路の補間器ＩＮＴならびにピクチャ・メモリＰＭ１、ＰＭ２およびＰＭ３の構成は、図９に示すものと同様である。ただし、入力画素クロックＣＬＫ１は、出力画素クロックと等しい。従って、クロック信号ＣＬＫ１は、ピクチャ・メモリＰＭ１、ＰＭ２およびＰＭ３の読取り側クロック入力に印加される。クロック信号ＣＬＫ１は、さらにピクチャ・メモリＰＭ１の書込み側クロック入力にも印加される。さらに、ピクチャ・メモリＰＭ２およびＰＭ３の記憶手続きと、従って読取り手続きにも、本発明による修正が加えられている。ここでは、図９に示す例示的な回路に比べて、半分の情報が表示サイクルごとに表示されることになる。従って、ピクチャ・メモリＰＭ２およびＰＭ３には、情報の半分しか記憶しなくても良いので、これらのピクチャ・メモリをそれだけ小さくすることができる。また、クロック信号ＣＬＫ２およびＣＬＫ３の周波数を低くすることができ、これらのクロック信号の周波数はクロック信号ＣＬＫ１の半分である。一つの実施形態では、クロック信号ＣＬＫ２およびＣＬＫ３は、同じ周波数を有し、互いに１８０度位相がずれており、すなわち、換言すれば、位相が反転している。

図５に例示する五点形パターンに戻ると、２つの連続するフィールドは、同じ空間的位置には表示されず、互いに±１画素分だけずれている。これを考慮すると、元のフレームの画素も、補間フレームの画素も、１つおきにメモリに保持すればよく、残りの画素は破棄することができる。五点形パターンによる画素の選択を行うためには、このシーケンスを、新たな行になるたびに反転しなければならない。新たな行の開始は、例えば水平同期信号（図示せず）によって示される。

図１０に示す本発明による例示的な回路では、五点形パターンによる画素の選択は、それに応じてピクチャ・メモリＰＭ２およびＰＭ３のアドレス・カウンタＡＤ３と書込みクロック信号ＣＬＫ２およびＣＬＫ３とを操作することによって行われる。アドレス・カウンタＡＤ３は、アドレス・カウンタＡＤ２とタイミングは同期しているが、ＡＤ２が２回増分される間に１回しか増分されない、すなわちＣＬＫ１が増分されるたびに増分される。クロック信号ＣＬＫ２およびＣＬＫ３は、ピクチャ・メモリＰＭ２およびＰＭ３への書込みを制御する。ＣＬＫ２は、奇数画素位置の元のフレーム情報のピクチャ・メモリＰＭ２の書込みを引き起こし、クロック信号ＣＬＫ３は、偶数画素位置の補間フレームのピクチャ・メモリＰＭ３の書込みを引き起こす。五点形パターンであることから、このシーケンスは、１行おきに水平同期信号（図示せず）と同期して反転される。図１１に２点鎖線で囲んで示すブロックＣＬＫ＿ＧＥＮは、水平同期信号ＨＳ、垂直同期信号ＶＳおよびクロック信号ＣＬＫ１に基づいて所要のクロック信号ＣＬＫ２およびＣＬＫ３を生成する例示的な回路である。この回路の残りの部分は、図９および図１０を参照して上述したのと同様に動作する。この場合には、出力信号Ｖ＿ＯＵＴは、互いに連続する２つの部分画像または半フレームの画像情報を含み、撮像装置に供給される。

本発明の別の実施形態では、相手先ブランド製造業者（ＯＥＭ）からの「ブラック・ボックス」として入手することができる五点形表示装置を使用する。例示的な表示装置としては、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ（商標）製のいわゆるＨＤ３（商標）がある。この場合には、本発明の回路は、ビデオ・フロント・エンドとライト・エンジン（ｌｉｇｈｔ ｅｎｇｉｎｅ）とも呼ばれる表示装置のディジタル入力との間に接続される。ライト・エンジンは、既に五点形パターン生成器を含んでいる。従って、必要なものは、第１または第２の部分画像への画素の割当てと、ライト・エンジン内に設けられた五点形パターン生成器に従ってそれが表示される時点とを考慮に入れた画像情報を提供する方法である。以下に述べる本発明による回路は、画素の様々な空間的位置および様々な再生時点を考慮に入れてサブフレームからアセンブルされたフル画像またはフレームをライト・エンジンに供給する。フル画像またはフレームは、上述したように、プログレッシブ・ビデオ信号を表している。ライト・エンジンは、２つの相補的な五点形パターンのマスクを相応の順序でプログレッシブ入力ビデオ・フレームに適用することにより、２つのサブフレームへのシーケンシングを行う。例えば、ライト・エンジンは、左上のアクティブな画素から始まる第１の五点形パターンに従ってフル画像から画素を選択して、第１の部分画像を生成する。その後、ライト・エンジンは、第２の相補的な五点形パターンに従ってフル画像から画素を選択して、第２の部分画像を生成する。従って、ライト・エンジンは、第１の部分画像のデータが表示装置に送られて再生されるように、画素データのシーケンシングを行う。その後、ミラーを傾ける、すなわち再位置決めし、第２の部分画像のデータが表示装置に送られ、再生される。

発展形態では、撮像装置に供給されるアセンブルされたフル画像は、入力画像と動き補償を用いて生成された補間画像とからアセンブルされる。動き補償は、従来技術で既知であり、本明細書ではこれ以上詳細には述べない。ライト・エンジン内の五点形生成器自体が、第１の部分画像として例えば左上の画素から開始するこの五点形パターンに従って出力画素を選択し、第２の部分画像としてその反転パターンに従って出力画素を選択することを知った上で、五点形パターンは、元のフレームおよび補間フレームの画素を用いて空間的にアセンブルされる。従って、ライト・エンジンには、通常の表示装置なら移動物体が２重像となる事前処理されたビデオ・フレームが供給される。しかし、五点形タイプの表示装置は、この事前処理されたビデオ・データを予測方式で処理する。本発明の事前処理では、表示される各サブフレームがそれ自体の個々に補償された動きの位相に対応するように各サブフレームを適応させるので、その結果得られる表示は滑らかな動きを示す。

図１２は、本発明の上述の実施形態による、元の画像および補間画像の画素からアセンブルされるフル画像を撮像装置に供給する例示的な回路を示す図である。部分画像のシーケンシングは撮像装置内またはライト・エンジン内で実行されるので、この部分の処理を本発明の回路内で実行する必要はない。この回路の残りの部分は、上記に示した例示的な本発明のシステムの場合と同様に機能する。ただし、上述の実施形態とは異なり、マルチプレクサＭＵＸは、サブフレームを切り替えるためのスイッチとしては使用せず、個々の画素を選択するために使用する。マルチプレクサＭＵＸは、それぞれの五点形パターンに従って元の画像および補間画像からフル画像をアセンブルするために使用される。基本的には、マルチプレクサＭＵＸは、１行目の元の画素から始まって、１つおきに元の画素または補間画素を選択する。次の行では、マルチプレクサは同じことを、反転した方法で、すなわち補間画素から開始するようにして行う。制御回路は、垂直同期信号ＶＳに応答してリセットされ、全てのフレームに対して１行目を同じように開始するようになっている。

本明細書を通じて、「マイクロ・ディスプレイ」という用語は、空間的にずれた２つの五点形ラスタを用いて画像を再生する表示装置の同義語として使用される。本発明は、ディジタル光処理に基づく表示装置に使用することができるが、これに限定されるわけではない。五点形ラスタ・タイプを使用していれば、その他の任意のマイクロ・ディスプレイ技術を使用することができる。ただし、本発明の一般概念は、別の相補的パターンを使用して相補的部分画像を生成する撮像装置に適用することもできる。

本発明は、所要量より画素数が少ないイメージャを用いて行および列の所定の解像度（Ｘ画素×Ｙ画素）を有する画像を順次表示する表示装置に使用するためのものである。イメージャは、各方向、すなわちｘ方向およびｙ方向に１画素だけずれた２つの部分画像を順次再生することによって、全ての画素を再生する。連続した２つの期間に表れわれる画素の総数は、元の画像の画素の総数に等しい。観測者の視覚系は、これらの連続した画像を統合して１つのフル画像にする。しかし、物体が移動する、パニングが行われると、観測者は、移動物体が連続的に移動する、またはパニングが連続的に行われることを予想しているので、２重像となる。イメージャは、その入力でフル画像またはプログレッシブ・ビデオ信号を受け取り、順次表示される２つの部分画像を生成する。しかし、イメージャは、部分画像の動き補償は行わないので、２重像が起きる。本発明の装置は、プログレッシブ・ビデオ信号とも呼ばれるフル画像をその入力で受け取り、イメージャと同様の方法で部分画像を生成する。その後、これらの部分画像を修正した順序で再結合し、１つのフル画像またはプログレッシブ・ビデオ信号にする。これにより、イメージャは、１周期の間にフル画像またはプログレッシブ・ビデオ信号を再生するイメージャでは物体が移動したりパニングが行われたりしたときに２重像となる、事前処理された、すなわち、プレディストーションされた（ｐｒｅｄｉｓｔｏｒｔｅｄ）画像を受信することになる。しかし、例えばＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ（商標）製のイメージャＴＩ ＨＤ３などのイメージャでは特定の順序の再生が行われるので、このタイプのイメージャでは、２重像を生じることなく、滑らかな動きまたはパニングが得られる。

第１および第２のパターンによる、１つの画像フレームから相補的な部分画像への画素の分配の例を示す図である。 スクリーン上の移動する物体の例を示す図である。 部分画像を連続的に再生することによって移動する物体を再生したときの視覚効果を示す概略図である。 本発明によるフレームの生成を示す概略図である。 本発明による部分画像への画素の割当てを示す概略図である。 本発明によって生成された部分画像を連続的に再生することによって移動する物体を再生したときの視覚効果を示す概略図である。 本発明の第１の実施形態によるビデオ信号の形成を示す概略図である。 本発明の第２の実施形態によるビデオ信号の形成を示す概略図である。 元の画像および補間画像からフレームをアセンブルする第１の例示的な回路を示す図である。 元の画像および補間画像から画像をアセンブルする第２の例示的な回路を示す図である。 画像をアセンブルする第２の例示的な回路と協働するクロック生成回路を示す図である。 元の画像および補間画像から画像をアセンブルする第３の例示的な回路、および対応するクロック回路とを示す図である。

Claims (12)

1. 画像が複数の行および列に配列された画素を含み、再生装置が相補的な第１および第２のパターンに従ってフル画像から選択した画素の再生を交互に行うことによって前記フル画像を再生し、それにより画像が異なる空間的位置に順次表示される第１の部分画像および第２の部分画像に分割され、重畳した前記第１および第２の部分画像が相補的である画像再生方法であって、
   ａ）第１のフレーム・レートで入力画像のシーケンスを受信するステップと、
   ｂ）前記第１のフレーム・レートで受信した少なくとも２つの連続する画像から補間画像を計算するステップと、
   ｃ）前記第１のパターンに従って入力画像または補間画像から画素を選択し、第１の部分画像として出力するステップと、
   ｄ）前記第１のパターンと相補的な前記第２のパターンに従って対応する補間画像または対応する入力画像から画素を選択し、第２の部分画像として出力するステップと、
   を含む前記方法。
2. 前記ステップｂ）は、時間的動き補償および／または空間的動き補償を用いて補間画像を計算するステップを含む、請求項１に記載の方法。
3. ａ１）受信した入力画像を記憶するステップと、
   ａ２）補間画像を記憶するステップと、
   をさらに含む、請求項１または２に記載の方法。
4. 前記ステップｃ）は、第１の部分画像の出力について、前記第１のパターンに従って入力画像または補間画像から選択された全ての画素を連続して出力し、
   前記ステップｄ）は、第２の部分画像の出力について、前記第２のパターンに従って対応する補間画像または対応する入力画像から選択された全ての画素を連続して出力する、請求項１に記載の方法。
5. 前記ステップｃ）では前記第１のパターンに従って入力画像または補間画像から選択された画素、および前記ステップｄ）では前記第２のパターンに従って対応する補間画像または対応する入力画像から選択された画素が、１つの行または１つの列中の隣接する画素が入力画像または補間画像内のそれらの出所とは無関係に連続して出力されるように出力され、前記第１の部分画像および前記第２の部分画像が完全な画像フレームとして出力される、請求項１に記載の方法。
6. 前記相補的な第１および第２のパターンは、五点形パターンであり、互いに行または列の方向に１画素分だけずれてなる、請求項１に記載の方法。
7. 請求項１〜６のうちいずれか一項に記載の方法によって生成された様々な部分画像の画像情報を担持する信号。
8. 請求項４の方法によって画像を表示するために処理する回路であって、
   第１、第２および第３のピクチャ・メモリ（ＰＭ１、ＰＭ２、ＰＭ３）と、補間器（ＩＮＴ）と、マルチプレクサ（ＭＵＸ）と、を含み、
   入力画像信号（Ｖ＿ＩＮ）が前記第１のピクチャ・メモリ（ＰＭ１）および前記補間器（ＩＮＴ）に供給され、
   前記第１のピクチャ・メモリから出力される画像信号が、前記第２のピクチャ・メモリ（ＰＭ２）および前記補間器（ＩＮＴ）に供給され、
   前記補間器（ＩＮＴ）から出力される画像信号が、前記第３のピクチャ・メモリ（ＰＭ３）に供給され、
   前記マルチプレクサ（ＭＵＸ）が、前記第２および第３のピクチャ・メモリ（ＰＭ２、ＰＭ３）から画像信号を受信して、それぞれの画像信号を選択的に出力部（Ｖ＿ＯＵＴ）に供給する、前記回路。
9. 第１のクロック信号（ＣＬＫ１）は、前記第１のピクチャ・メモリ（ＰＭ１）の読取りおよび書込みのために該第１のピクチャ・メモリ（ＰＭ１）に供給され、前記第２および第３のピクチャ・メモリの読取りのために該第２および第３のピクチャ・メモリ（ＰＭ２、ＰＭ３）に供給され、
   第２および第３のクロック信号（ＣＬＫ２、ＣＬＫ３）は、前記第２および第３のピクチャ・メモリの書込みのために該第２および第３のピクチャ・メモリ（ＰＭ２、ＰＭ３）にそれぞれ印加される、請求項８に記載の回路。
10. 前記第１のクロック信号（ＣＬＫ１）が、第１のフリップ・フロップ（ＦＦ１）のクロック入力に供給され、
    前記第１のフリップ・フロップ（ＦＦ１）のセット入力またはリセット入力が、第２のフリップ・フロップ（ＦＦ２）の反転または非反転出力信号によってそれぞれ制御され、
    前記第２のフリップ・フロップ（ＦＦ２）のクロック入力に、水平同期信号（ＨＳ）が供給され、
    前記第２のフリップ・フロップ（ＦＦ２）のセット入力に、垂直同期信号（ＶＳ）が印加され、
    前記第１のフリップ・フロップ（ＦＦ１）の非反転出力および反転出力が、それぞれ前記第２および第３のクロック信号（ＣＬＫ２、ＣＬＫ３）を構成する、請求項９に記載の回路。
11. 請求項５の方法によって画像を表示するために処理する回路であって、
    第１のピクチャ・メモリ（ＰＭ１）と、補間器（ＩＮＴ）と、マルチプレクサ（ＭＵＸ）と、を含み、
    入力画像信号（Ｖ＿ＩＮ）が前記第１のピクチャ・メモリ（ＰＭ１）および前記補間器（ＩＮＴ）に供給され、
    前記第１のピクチャ・メモリ（ＰＭ１）から出力される画像信号が、前記補間器（ＩＮＴ）に供給され、
    前記マルチプレクサ（ＭＵＸ）が、前記補間器（ＩＮＴ）および前記第１のピクチャ・メモリ（ＰＭ１）から出力された画像信号を受信して、それぞれの画像信号を選択的に出力部（Ｖ＿ＯＵＴ）に与える、前記回路。
12. 第１のクロック信号（ＣＬＫ１）は、前記第１のピクチャ・メモリ（ＰＭ１）の読取りおよび書込みのために該第１のピクチャ・メモリ（ＰＭ１）に供給され、且つフリップ・フロップ（ＦＦ１）のクロック入力に供給され、
    前記フリップ・フロップ（ＦＦ１）のセット入力またはリセット入力が、第２のフリップ・フロップ（ＦＦ２）の反転または非反転出力信号によってそれぞれ制御され、
    前記第２のフリップ・フロップ（ＦＦ２）のクロック入力に、水平同期信号（ＨＳ）が印加され、
    前記第２のフリップ・フロップ（ＦＦ２）のセット入力に、垂直同期信号（ＶＳ）が印加され、
    前記第１のフリップ・フロップ（ＦＦ１）の反転出力が、選択信号（ＳＥＬ）として前記マルチプレクサ（ＭＵＸ）に印加される、請求項１１に記載の回路。

Images