JP2004512580A - 投影用に画像を重ね合わせるための処理手法及び装置 - Google Patents

Abstract

表示用に重ね合わされるディジタル画像を前処理するための手法と装置とがここで取り扱われる。重ね合わせるべき画像を生成するために、画像とサブ画像とを処理するフィルタリングと再サンプリングと間引き処理とが種々に使用される。説明された手法の一方は主として（必ずしも専用にではないが）計算効率のために設計されているが、他方は出力画像のより高い品質のために計算効率を幾分犠牲にしている。
【選択図】図１

Description

【０００１】
技術分野
本発明は、主として画像の電子的投影に関し、また特に一つ以上のサブ画像を一つ以上の他のサブ画像に重ね合わせるために映像スクリーンまたはその他の面へのサブ画像の投影に先立ってこれらのサブ画像を処理するための手法と装置とに関する。
【０００２】
関連出願への相互参照
本出願は、この引用によってここに組み入れられている、２０００年７月３日に出願された米国仮出願通番第６０／２１５，７１６号への優先権を請求する。
【０００３】
発明の背景
引用によって全体がここに組み入れられている、ベンケイツウォー（Ｖｅｎｋａｔｅｓｗａｒ）等による米国特許第５，４９０，００９号は、空間的光変調器（ＳＬＭ）を使って生成された二つのサブ画像が（空間的ずらしによって）部分的に重ね合わされて同時に表示される表示システムを論じている。ベンケイツウォー特許に記載されているように、その言うところによれば、このシステムはＳＬＭの数を単に増加させることによって投影される画像の解像度を向上させる。水平解像度か垂直解像度のどちらか、あるいはその両者を向上させることができる。例えば水平解像度を約２倍に増加させるためにこのシステムは、各々が毎行ｘピクセルとｙ行とを有する二つのＳＬＭを使用する。これら二つのＳＬＭの各々は、１行当たり２（ｘ）個のサンプルを与えるサンプリング速度で、データの交番サンプルから生成される「サブ画像」を与える。これら二つの画像は、ＳＬＭのピクセルの中心間水平間隔の１／２の水平オフセット（ずれ）をもって部分的に重ね合わされる。その結果得られる画像は、毎行２（ｘ）ピクセルを有するＳＬＭから単一の画像を生成するシステムの品質に近い視認品質を持つ。ベンケイツウォーの第２欄の第３２〜４３行を参照のこと。
【０００４】
本出願の図１は、一方が他方から斜めに半ピクセルずれている二つの画像の例示的な空間的重ね合わせを示す。言い換えれば図１の表示は、イメージャＡのピクセルを（イメージャＢのピクセルと比較して）水平、垂直両寸法で半ピクセルサイズだけずらすことによって作ることができる。このタイプの重ね合わせを可能にするためには、基本画像「Ｉ」は、それが二つの斜めにずれた成分、サブ画像「Ｉ_Ａ」（イメージャＡに関連した）とサブ画像「Ｉ_Ｂ」（イメージャＢに関連した）とに分割されるように処理されなくてはならない。
【０００５】
ベンケイツウォー特許の図２には、重ね合わされたサブ画像を表示するためのシステムのブロック図が示されている。図示のシステムは、「プロセッサ・システム」と表されたブロック（図面の要素２３）を含んでいるが、その機能の唯一の説明は、下記のとおりである。すなわちプロセッサ・システム２３は、種々のピクセル・データ処理タスクを実行することによって表示用のデータを準備する。プロセッサ・システム２３は、フィールド・バッファ、ライン・バッファといった、このようなタスクに有用ないかなる処理メモリをも含んでいる。プロセッサ・システム２３によって実行されるタスクは、（ガンマ修正を補償するための）線形化とカラー空間変換とライン生成とを含むこともできる。ｉｄ、第４欄の第３６〜４２行を参照のこと。このようにして、ベンケイツウォー特許には、重ね合わせの何らかの解像度向上効果を得るために基本画像を処理するための特定の手法のいかなる開示も見られない。
【０００６】
発明の開示
本発明は、表示用に重ね合わされる画像の前処理のためのこのような手法に取り組んでいる。一般に信号処理アルゴリズムを利用する手法は、多数のイメージャの重ね合わせを介して順次に組み合わされる、選択された数の成分を、より高い解像度の画像から生成する。これらの手法を使った最終的な結果は、各単一イメージャの使用により得られる解像度より高い解像度を有する画像の投影である。
【０００７】
重ね合わせは、合成画像が投影レンズに渡される前に多数のイメージャを組み合わせることによってプロジェクタ内に達成できる。代替として重ね合わせは、多数の正確に整列したプロジェクタをオーバーレイすることによっても行うことができる。当業者は、本発明の手法がいずれの場合にも有用であるが、またＳＬＭのタイプ及び使用されるライトバルブ、光源またはエンジンに関係なく多くの場合に適用可能であることを理解するであろう。特に投影システムで利用される如何なるＳＬＭも、ベンケイツウォー特許で参照されている変形可能なミラー装置（ＤＭＤ）であってよいが、そうである必要はない。
【０００８】
一般的にいえば、画像の水平・垂直寸法に関するピクセルの数が一定である場合の個別ピクセル・アレイを有する、イメージャに基づくいかなる表示装置も、それが表示できるある一定の最大空間周波数を有する。ある基準画像サイズを仮定してピクセル数をミリメートル単位のそのサイズで割ることによって行い得るディスプレイの空間周波数を単位面積あたりのピクセル数から、１ミリメートルあたりの線数といった、より一般的な画像形成寸法に変換することが好都合である。このようなディスプレイを使って、写真フィルムから得られた画像を表示すると、例えば、このような関係は、ある一定の変調伝達関数（ＭＴＦ）を有する写真画像がこのディスプレイによって如何にうまく再生されるかを記述するために役立つので、特に有用である。ＭＴＦは一般に、パーセント単位の変調の深さ対１ミリメートルあたりの線数を示すグラフとして表される。
【０００９】
所定の基準画像サイズに関しては、イメージャのピクセル数を２倍にすることは、そのディスプレイが表現できる最大空間周波数を２倍にするであろう。不都合なことに、各方向でのこのような２倍にすることは、ピクセル数を４倍（２×２）に増加させ、またこのようなピクセル数の大幅な増加によって、ＤＭＤといったピクセル・アレイ・イメージャの製造の困難さは、大幅に増大する。
【００１０】
また所定のピクセル数に関して、表示すべき画像データの空間周波数内容は、ディスプレイの空間周波数能力を超えないように制限しなくてはならないことも重要である。もしこれが行われなければ、より高い周波数がより低い周波数として誤って表示されるであろう。これは一般にエイリアシングと呼ばれる現象である。
【００１１】
重ね合わせの手法を使用することによってイメージャ・ピクセルの数を２倍にする効果をシミュレートできる。これは、開始画像が少なくとも、重ね合わされる二つのラスタのどちらかの空間周波数限界の２倍であるサンプリングからの空間周波数内容を有することを必要とする。それからこの増加した空間周波数内容は、適当な再サンプリング手法を使用して二つのラスタに再分割できる。
【００１２】
この結果得られた表示は、そのサイズの２倍の（１／２ピクセルだけ斜めにずれた）重ね合わせピクセルから構成されるので、投影スクリーンで行われる加算が存在する。この加算は、単一イメージャの空間周波数限界より上で利用可能なＭＴＦを減少させるので、二つの重ね合わされたイメージャを有する表示のＭＴＦは２倍ほど多くのピクセルを有する単一イメージャのＭＴＦと正確には等しくないが、改善はなお重要である。この加算は、この表示内のサブラスタ・ピッチの仮構（ＤＭＤ装置のミラー間のギャップといった）の視認性が二つのずれたラスタの加算によって低減されるという追加的利点を持っている。さらに、増加した黒レベルと発生するダイナミックレンジの効果的な拡大とを補償することによってピクセルが表示上で互いに加算されることを考慮することが必要である。
【００１３】
発明の実施の形態
基本画像Ｉを成分Ｉ_ＡとＩ_Ｂとに再サンプリングするための第１の方法は、図２に示されている。計算効率のために設計された図２に示す方法は、処理全体を通じて整数データの使用を最大にする。２という乗数と除数は好ましいが、その代わりに他の値（好ましくは整数）の乗数と除数を利用することもできる。
【００１４】
図２に関連して、例えば基本画像ＩはＸ×Ｙピクセルの解像度を持っており、この表示内の二つのイメージャの各々はＭ×Ｎピクセルの解像度を持っていると仮定する。この方法によればそれから、基本画像Ｉは、２Ｍ×２Ｎピクセルの中間解像度に再サンプリングされる１０（ここでＸは一般に２Ｍ以上であり、Ｙは一般に２Ｎ以上である）。このような再サンプリングを行うために適当などのようなディジタル低域フィルタを使ってもよいが、本発明の少なくとも一部の実施例ではｓｉｎｃフィルタ（すなわち理想的低域フィルタ）またはランチョスフィルタ（すなわちｓｉｎｃフィルタの時間ウィンドウ・バージョン）を使うことが望ましい。当業者は代わりに他のディジタル・フィルタを使うことも考えられることを認めるであろうが、ＳＬＭがＤＭＤであるときには特にｓｉｎｃフィルタとランチョスフィルタが良好な性能を示す。しかしながら一般にこのようなフィルタは、画像データの周波数を表示に適合させるという目標にしたがって選択されるであろう。
【００１５】
その後、再サンプリングされた画像は、二つのサブ画像Ｉ_Ａ、Ｉ_Ｂを生成するように処理される。これらの成分の一方Ｉ_Ａは、位相シフトは受けず、単に間引き処理１８を受けた再サンプリングされた基本画像１２であるが、他方の成分Ｉ_Ｂは、１ピクセルだけ斜めにシフトされ１６（図１にしたがって）、それから間引き処理２０を受けた再サンプリングされた基本画像１２である。しかしながら再び、本発明は、１ピクセル斜め位相シフトが行われる手法に必ずしも限定されず、むしろさらに広く応用することが可能である。
【００１６】
間引き処理１８、２０は、解像度Ｍ×Ｎ（イメージャ解像度）のそれぞれのサブ画像Ｉ_Ａ、Ｉ_Ｂを生成するための入力基本画像のフィルタリングと選択された周期性でのサブサンプリングとを含んでいる。好ましくは（前述のように必ずしも必要ではないが）、間引き率は２に固定される。このように固定された間引き率によれば、間引き処理は、例えばディジタル・インパルス・フィルタまたはボックス・フィルタを使って効率的に実行できる。
【００１７】
図２に示す方法は、基本画像Ｉの分割が元の解像度の再サンプリング・バージョンであり得る２Ｍ×２Ｎの解像度で行われるので、比較的迅速に実行できる。しかしながらこの処理の二つの部分でフィルタリングが行われるので、初期再サンプリング・ステップと後の間引きステップとの両ステップのとき、結果的に得られる画像品質は、制御するのが幾分困難である。
【００１８】
図３に示す方法は対照的に、高い画像品質を得るように設計されている。結果としてそのスループットは、上述のように計算効率のために設計された図２に示す方法のスループットより小さくなりそうである。図３に示すように基本画像Ｉは更なる処理が行われる前に低域フィルタに通される。このフィルタの遮断周波数は一般に、後続のサブサンプリング動作に必要とされる解像度に対する原画像解像度の比率によって決定されるが、エイリアシングの低減と画像細部の保存との間の良好なバランスを与えるためにフィルタの他の多くの特性を選択できる。したがってこれらの特性は、適当な技術的判断を使用して当業者によって識別可能である。
【００１９】
再び、解像度Ｘ×Ｙ（ここでＸとＹは各イメージャの対応する解像度の少なくとも２倍である）の基本画像Ｉと解像度Ｍ×Ｎのイメージャが存在すると仮定する。ここで基本画像解像度と有効ディスプレイ解像度との比率は、エイリアシングなしに表示できる単一イメージャより高い画像空間周波数内容をサポートするための重ね合わせ表示の能力を考慮に入れて、必要とされるフィルタリングを決定するために使用される。基本画像Ｉが基本画像の低解像度バージョンであるフィルタリングされた基本画像３１にフィルタリング３０された後に、これら二つのサブ画像が生成される。サブ画像Ｉ_Ａは単に、イメージャ解像度Ｍ×Ｎにサブサンプリング３８されたフィルタリング済み基本画像３１である。サブ画像Ｉ_Ｂは、フィルタリング済み基本画像３１に適当な斜め位相シフト３４（原画像解像度と二つの重ね合わせイメージャの有効表示解像度との比率によっても決定される）を加え、それからイメージャ解像度Ｍ×Ｎにサブサンプリング３６することによって生成される。しかしながら再び、サブ画像Ｉ_Ｂの有効位相シフトは必ずしも正確に斜め方向に半ピクセルである必要はなく、またもしある理由で所望であればサブ画像Ｉ_Ａはゼロ位相シフトすることもできる。この方法は一般にすべての処理動作を基本画像Ｉの元の解像度で行うことを考えているので、図２に示す方法より長い計算時間を必要としそうである。
【００２０】
フィルタ３０の機能は、遮断周波数をピクセル値の関数とすることによってさらに改善されうる。例えば画像の明領域に関する遮断周波数を低減することは、ＤＭＤ装置の構造のせいでピクセルが非常にシャープに画定されるＤＭＤ装置に基づく仮構といった表示の結果から来る可能性のあるラスタ仮構の視認性を低減する際に有効である。
【００２１】
本出願は、開示された処理手法の使用を単に２個のイメージャを有するシステムに限定することを意図していない。実のところ重ね合わせは、多数のイメージャによって実現し得る。ほんの一例として、ゼロ位相シフトと斜め位相シフトの成分に水平及び垂直半ピクセル位相シフト成分を加えることによって４個のイメージャが利用できる。現在までの実験は、このような４イメージャ・システム１が図１に示す２イメージャ・システムより表示画像の解像度をさらに改善しうることを示している。
【００２２】
同様に本出願は、特定のシステムに関して図２，３に示す方法の単なる相互排他的使用を必要としない。実のところこのような方法は、例えば最高品質の画像が必要とされるときに使用される図３の方法とそうでない場合に使用される図２の方法とを共に同一システムで交互に使用することも可能である。こうして前述のものは、本発明の実施例を図示、説明、記述するために提示されているが、これらの実施例に対する更なる修正及び適応は、当業者にとって明らかであろうし、また本発明の範囲または精神から逸脱せずに実施可能である。
【００２３】
これらの実施例に対する可能な修正の一例として図４、５は追加の処理ステップを含むように拡張された図２、３の方法を示す。二つの画像成分の重ね合わせは、各ピクセル位置における二つのイメージャからの照度を効果的に加算する。二つの画像が等しい輝度を持つと仮定すると、重ね合わせの効果は、表示画像の輝度を２倍にする。しかしながらそれはまた、表示画像の黒レベルも２倍にし、認識される画像コントラストの減少という結果を招く。さらに画像輝度の増加は、隣接ピクセル値間のステップサイズを増加させ、視認可能な輪郭仮構を発生させる可能性がある。
【００２４】
輪郭仮構の問題は、各画像成分のピクセル値ステップサイズ４０を低減することによって補償できる（図４、５を参照のこと）。これは、重ね合わせの前に各成分のピクセル値を２で割ることによって達成できる。しかしながらこの単純な除算手法には二つの問題がある。第一に、もし各イメージャの黒レベルが最下位ビットの輝度の５０％より高ければ、２で割ることは黒レベル・クリッピング（切り取り）を導き入れることになるであろう。第二に、この割り算は、十分なピクセル深さが与えられなければ量子化誤差を導き入れる。
【００２５】
黒レベル・クリッピングの解決法は、最下位ビットの輝度がイメージャ黒レベルの少なくとも２倍高いことを保証するように各画像成分を前処理することである。この処理は、「黒レベル引上げ」４２と呼ばれ（再び図４、５を参照）、十分な精度でピクセル値を拡大縮小することによって実現できる。除算からの量子化誤差を避けるために各画像成分のビット深さは、理想的には１ビットだけ増やされる。両処理ステップは、最終イメージャ解像度への再サンプリングに先立って前処理段階で実行できる。ルックアップ・テーブルその他の方法を使ってプロジェクタ内でこの処理を達成することも可能である。
【００２６】
前述のことは、本発明の好ましい実施例の説明と開示とのために提示されたものである。記述された実施例に対する更なる修正と適応は、当業者にとって明らかであろうし、また本発明の範囲または要旨と特許請求の範囲とから逸脱せずに実行可能である。
【図面の簡単な説明】
【図１】
図１は前述のように、一方が他方から斜めにずれた二つのイメージャの例示的な空間的重ね合わせの模式化された図である。
【図２】
図２は再サンプリングと間引き処理とを使って基本画像をサブ画像に分割するための方法の図式表現である。
【図３】
図３はフィルタリングとサブサンプリングとを使って基本画像をサブ画像に分割するための方法の図式表現である。
【図４】
図４は追加の処理ステップを含むように拡張された図２の方法の図式表現である。
【図５】
図５は追加の処理ステップを含むように拡張された図３の方法の図式表現である。

Claims (20)

1. Ｘ×Ｙピクセルの解像度を有する基本画像を処理するための方法であって、
   Ｘが少なくとも２Ｍに等しく、Ｙが少なくとも２Ｎに等しい場合に前記基本画像を２Ｍ×２Ｎピクセルの解像度に再サンプリングすることと、
   前記再サンプリングされた基本画像をＭ×Ｎピクセルの解像度に間引くことによって第１のサブ画像を生成することと、
   前記再サンプリングされた画像の位相をシフトしてからその位相シフトされた画像をＭ×Ｎピクセルの解像度に間引くことによって第２のサブ画像を生成することと、を含むことを特徴とする前記方法。
2. 前記サブ画像を生成するための間引き処理は、前記再サンプリングされた基本画像のフィルタリングとサブサンプリングとを含むことを特徴とする、請求項１に記載の方法。
3. 前記二つのサブ画像を生成するための間引き処理は、２という間引き比を有することを特徴とする、請求項１に記載の方法。
4. 前記二つのサブ画像を生成するための間引き処理は、ディジタル・インパルス・フィルタによって実現されることを特徴とする、請求項２に記載の方法。
5. 前記二つのサブ画像を生成するための間引き処理は、ボックス・フィルタによって実現されることを特徴とする、請求項２に記載の方法。
6. 前記第２のサブ画像は前記再サンプリングされた基本画像を１ピクセル斜め位相シフトにより位相シフトすることによって生成されることを特徴とする、請求項１に記載の方法。
7. 前記基本画像の前記再サンプリングはディジタル低域フィルタを使って達成されることを特徴とする、請求項１に記載の方法。
8. 前記ディジタル低域フィルタはｓｉｎｃフィルタであることを特徴とする、請求項７に記載の方法。
9. 前記ディジタル低域フィルタはランチョスフィルタであることを特徴とする、請求項７に記載の方法。
10. 前記第１のサブ画像と前記第２のサブ画像のピクセル値ステップサイズを低減するステップをさらに含むことを特徴とする、請求項１に記載の方法。
11. 前記ピクセル値ステップサイズは前記第１のサブ画像と前記第２のサブ画像のピクセル値を２で割ることによって低減されることを特徴とする、請求項１０に記載の方法。
12. 前記第１のサブ画像と前記第２のサブ画像に対して黒レベル引上げを実行することをさらに含むことを特徴とする、請求項１２に記載の方法。
13. 前記黒レベル引上げは前記第１のサブ画像と前記第２のサブ画像のピクセル値を十分な精度で拡大縮小することによって行われることを特徴とする、請求項１２に記載の方法。
14. Ｘ×Ｙピクセルの解像度を有する基本画像を処理するための方法であって、
    前記基本画像を低域フィルタに通すことと、
    Ｘが少なくとも２Ｍに等しく、Ｙが少なくとも２Ｎに等しい場合に、前記フィルタリングされた基本画像をＭ×Ｎピクセルの解像度にサブサンプリングすることによって第１のサブ画像を生成することと、
    前記フィルタリングされた基本画像の位相をシフトし、それから前記位相シフトされた画像をＭ×Ｎピクセルの解像度にサブサンプリングすることによって第２のサブ画像を生成することと、を含んでいることを特徴とする前記方法。
15. 前記低域フィルタの遮断周波数は、ピクセル値の関数であることを特徴とする、請求項１４に記載の方法。
16. 前記第２のサブ画像は前記フィルタリングされた基本画像の半ピクセル斜め位相シフトによって生成されることを特徴とする、請求項１４に記載の方法。
17. 前記第１のサブ画像と前記第２のサブ画像のピクセル値ステップサイズを低減することをさらに含むことを特徴とする、請求項１４に記載の方法。
18. 前記ピクセル値ステップサイズは前記第１のサブ画像と前記第２のサブ画像のピクセル値を２で割ることによって低減されることを特徴とする、請求項１７に記載の方法。
19. 前記第１のサブ画像と前記第２のサブ画像に対して黒レベル引上げを実行することをさらに含むことを特徴とする、請求項１７に記載の方法。
20. 前記黒レベル引上げは前記第１のサブ画像と前記第２のサブ画像のピクセル値を十分な精度で拡大縮小することによって行われることを特徴とする、請求項１９に記載の方法。

Images