JP2017151441A - マルチ変調ディスプレイ用のライトフィールドモデリング技術のためのシステムおよび方法 - Google Patents

Abstract

【課題】プロジェクタシステムのキャリブレーションを経時的に行うことにより、継続的に画像を改善するためのシステムおよび技術を提供する。
【解決手段】プロジェクタディスプレイシステムは、光源と、コントローラと、光源からの光を受け取り、前記入力画像のハーフトーン画像を描画する第１の変調器と、前記ハーフトーン画像を点広がり関数（ＰＳＦ）でぼかす、ブラーリング光学系と、ぼけたハーフトーン画像を受け取り、パルス幅変調された画像を描画する第２の変調器であって、前記パルス幅変調された画像は投影して所望のスクリーン画像を形成することができる、第２の変調器と、を備える。また、入力画像からバイナリハーフトーン画像を形成し、第１および第２の変調器間のミスアライメントを補正する。
【選択図】図８

Description

関連出願の相互参照

本願は、２０１３年８月１６日に出願された米国仮出願第６１／８６６，７０４号に基づく優先権を主張するものであり、その全体を本願に援用する。

本発明は、マルチ変調ディスプレイシステムに関し、具体的には、マルチ変調ディスプレイシステム上に画像およびビデオデータを描画するシステムおよび方法に関する。

現在、ダイナミックレンジおよび光利用効率を改善したプロジェクタシステムが設計されつつある。デュアルおよびマルチ変調器プロジェクタディスプレイシステムが、当該分野において知られている。しかし、このようなディスプレイシステムにおいて、光処理のモデリングを改善することにより、このようなディスプレイシステムの描画および性能の両方をさらに改善することが可能である。

デュアルおよびマルチ変調器プロジェクタディスプレイのシステムおよび技術を開示する。ある実施形態において、プロジェクタディスプレイシステムは、光源と、コントローラと、光源からの光を受け、入力画像のハーフトーン画像を描画する第１の変調器と、前記ハーフトーン画像を点広がり関数（ＰＳＦ）によってぼかすブラーリング光学系と、ぼけたハーフトーン画像を受けてパルス幅変調された画像を描画する第２の変調器とを備えており、このパルス幅変調された画像を投影することにより、所望のスクリーン画像を形成し得る。入力画像からバイナリハーフトーン画像を形成し、第１および第２の変調器間のミスアライメントを補正し、プロジェクタシステムのキャリブレーションを行う（例えば経時的に）ことにより継続的に画像を改善するための、システムおよび技術もまた開示する。

ある実施形態において、レーザ光源と、入力画像データを受け、制御信号を出力するコントローラと、前記レーザ光源からの光を受け、前記コントローラからの前記制御信号を受けて、前記入力画像のハーフトーン画像を描画することができる第１の変調器と、前記第１の変調器から受けた前記ハーフトーン画像をぼかすブラーリング光学系と、前記ブラーリング光学系からの前記ぼけたハーフトーン画像を受け、前記コントローラからの前記制御信号を受けて、パルス幅変調された画像を描画することができる第２の変調器であって、前記パルス幅変調器画像は投影され所望のスクリーン画像を形成することができる、第２の変調器と、を備えた、プロジェクタディスプレイシステムが提供される。

別の実施形態において、プロジェクタディスプレイシステムにおける入力画像データから所望のスクリーン画像を投影する方法であって、前記プロジェクタディスプレイシステムは、光源と、入力画像データを受けて制御信号を出力するコントローラと、前記コントローラからの制御信号および前記光源からの光を受けるプレモッド変調器と、前記プレモッド変調器からの光を受けるブラーリング光学系と、前記コントローラからの制御信号および前記ブラーリング光学系からの光を受けるプライマリ変調器と、を備え、前記方法は、前記入力画像データからバイナリハーフトーン画像を生成することと、前記バイナリハーフトーン画像からぼかしたバイナリハーフトーン画像を生成することと、前記ぼかしたバイナリハーフトーン画像からパルス幅変調された画像を生成することと、前記パルス幅変調された画像から所望のスクリーン画像を投影することと、を含む。

さらに別の実施形態において、プロジェクタディスプレイシステムのキャリブレーションを行う方法であって、前記プロジェクタディスプレイシステムは、光源と、入力画像データを受け、制御信号を出力するコントローラと、前記コントローラからの制御信号および前記光源からの光を受けるプレモッド変調器と、前記プレモッド変調器からの光を受け取るブラーリング光学系と、前記コントローラからの制御信号および前記ブラーリング光学系からの光を受け取るプライマリ変調器とを備え、前記方法は、入力画像データを受け取ることと、ハーフトーン画像を算出することと、前記ブラーリング光学系のＰＳＦモデルに基づくライトフィールドモデルを適用することと、前記プライマリ変調器のためのプライマリ画像を算出することと、前記プライマリ変調器からスクリーン画像を表示することと、撮像装置で前記スクリーン画像を取得することと、取得された前記スクリーン画像をプレモッドグリッドに整合させること（ｒｅｇｉｓｔｅｒｉｎｇ）と、取得され、整合済み（ｒｅｇｉｓｔｅｒｅｄ）の前記スクリーン画像を前記入力画像データと比較することと、差異が望まれる量よりも大きい場合に、前記ＰＳＦモデルに対する修正を算出する工程と、改善されたＰＳＦモデルを適用してさらなるキャリブレーションを行うことと、を包む。

本システムの他の特徴および利点は、添付図面を参照しながら読まれる詳細な説明において後述する。

参照図面において、例示的な実施形態が説明される。本明細書に開示される実施形態および図面は、限定的にではなく、例示的に解釈されることが意図されている。

図１は、マルチ変調ディスプレイシステムのある実施形態、および、本願のシステム、方法および技術が置かれ得る環境を示している。 図２は、図１に示したようなデュアル／マルチ変調器ディスプレイシステムによって実現し得る光学処理／画像処理の概略図のある実施形態を示している。 図３は、適切なバイナリハーフトーン画像を生成する方法のある実施形態を示している。 図４は、パルス幅ＤＭＤ補償画像を生成する技術のある実施形態を示している。 図５は、プレモッド−プライマリマップ、ライトフィールドモデルおよびプライマリ−プレモッドマップを用いてプライマリ整合済みライトフィールドを生成するフロー図のある実施形態である。 図６は、撮像され、モデリングされ、そして有色（例えば、赤、緑または青）のライトフィールドを算出するために使用され得るＰＳＦアレイを示している。 図７（Ａ）〜（Ｆ）は、本願の様々な処理モジュールを通した入力画像の描画例を示している。 図８は、一可能性として、システムを継続的に修正／改善するための画像描画処理および洗練化処理のある実施形態を示している。 図９は、一可能性として、システムを継続的に修正／改善するための画像描画処理および洗練化処理のある実施形態を示している。

本明細書において、用語「コントローラ」、「システム」、「インターフェース」等は、ハードウェア、ソフトウェア（例えば、実行中の）、および／または、ファームウェアであるコンピュータに関連した物を表すことが意図されている。例えば、コントローラは、プロセッサ上で実行されているプロセス、プロセッサ、オブジェクト、実行可能コード（ｅｘｅｃｕｔａｂｌｅ）、プログラム、および／または、コンピュータであり得る。コ
ントローラはプロセッサおよびシステムメモリを有し得る。メモリは、プロセッサによって読み込まれたときに、本明細書中に開示した１つ以上の方法および／または技術を実現し得る、プロセッサ読み取り可能な命令を有し得る。１つのプロセス内に１つ以上のコントローラを配置してもよく、コントローラは、１つのコンピュータ／プロセッサ上に局在していてもよいし、および／または、２つ以上のコンピュータ／プロセッサに分散していてもよい。また、コントローラは、ハードウェア、（例えば、実行中の）ソフトウェア、および／または、ファームウェアである通信関連の物を表すことが意図されていることもあり、通信を実現するのに十分な有線または無線のハードウェアをさらに有し得る。

以下の説明においては、当業者が本発明をより完全に理解できるように、詳細事項が記載される。ただし、開示内容をいたずらに解りにくくすることのないように、周知の要素については詳細に図示または説明しない場合もある。従って、本明細書および図面は、限定的にではなく、例示的なものとして解釈されるべきものである。

序説
プロジェクタその他のディスプレイシステムの分野において、画像描画性能およびシステム効率の両方の改善が望まれている。本願のいくつかの実施形態では、デュアルまたはマルチ変調ディスプレイシステムにおいて、ライトフィールドモデリングを用いることにより、これらの改善を実現するシステム、方法および技術を記載している。ある実施形態においては、光源モデルが考案され、有利な効果を得るために使用される。既知の入力画像の表示画像をカメラで取得したピクチャを評価して、ライトモデルを改善してもよい。いくつかの実施形態においては、反復処理によって改善が重ねられ得る。いくつかの実施形態において、これらの技術を動画像に使用してライブ調整を行うことにより、画像描画性能を改善し得る。

デュアル変調プロジェクタおよびディスプレイシステムは、以下の共有特許および特許出願に記載されている。
（１）”ＳＥＲＩＡＬ ＭＯＤＵＬＡＴＩＯＮ ＤＩＳＰＬＡＹ ＨＡＶＩＮＧ ＢＩ
ＮＡＲＹ ＬＩＧＨＴ ＭＯＤＵＬＡＴＩＯＮ ＳＴＡＧＥ”という表題で２０１２年２月２８日に発行されたＷａｒｄらの米国特許第８，１２５，７０２号
（２）”ＰＲＯＪＥＣＴＩＯＮ ＤＩＳＰＬＡＹＳ”という表題で２０１３年６月１３日に公開されたＷｈｉｔｅｈｅａｄらの米国特許出願第２０１３０１４８０３７号
（３）”ＣＵＳＴＯＭ ＰＳＦｓ ＵＳＩＮＧ ＣＬＵＳＴＥＲＥＤ ＬＩＧＨＴ ＳＯＵＲＣＥＳ”という表題で２０１１年９月２２日に公開されたＷａｌｌｅｎｅｒの米国特許出願第２０１１０２２７９００号
（４）”ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＣＣＵＲＡＴＥＬＹ ＲＥＰＲＥＳＥＮＴＩＮＧ ＨＩＧＨ ＣＯＮＴＲＡＳＴ ＩＭＡＧＥＲＹ ＯＮ ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ”という表題で２０１３年５月２日に公開されたＳｈｉｅｌｄｓらの米国特許出願第２０１３０１０６９２３号
（５）”ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＤＩＳＰＬＡＹＳ ＵＳＩＮＧ ＦＩＬＴＥＲＬＥＳＳ ＬＣＤ（Ｓ） ＦＯＲ ＩＮＣＲＥＡＳＩＮＧ ＣＯＮＴＲＡＳＴ ＡＮＤ ＲＥＳＯＬＵＴＩＯＮ”という表題で２０１１年１１月１７日に公開されたＥｒｉｎｊｉｐｐｕｒａｔｈらの米国特許出願第２０１１０２７９７４９号
（５）”ＲＥＦＬＥＣＴＯＲＳ ＷＩＴＨ ＳＰＡＴＩＡＬＬＹ ＶＡＲＹＩＮＧ ＲＥＦＬＥＣＴＡＮＣＥ／ＡＢＳＯＲＰＴＩＯＮ ＧＲＡＤＩＥＮＴＳ ＦＯＲ ＣＯＬＯＲ
ＡＮＤ ＬＵＭＩＮＡＮＣＥ ＣＯＭＰＥＮＳＡＴＩＯＮ”という表題で２０１２年５月３１日に公開されたＫｗｏｎｇの米国特許出願第２０１２０１３３６８９号
これらは全て本願にその全体を援用する。

例示的な物理構造
一般的に、単一のデジタルマイクロミラーデバイス（ＤＭＤ）を有するプロジェクタは、コントラスト比が限られている傾向がある。より大きなコントラスト比を得るために、２つ以上のＤＭＤおよび／または他の反射鏡（例えば、ＭＥＭＳ）を直列に配置してもよい。ＤＭＤは時分割またはパルス幅変調器として動作し得るので、２つ以上のＤＭＤおよび／または直列反射鏡（共にパルス幅変調器として動作）を動作させる場合、正確な時分割アライメントおよび時分割シーケンスにおけるピクセル対ピクセル対応が求められる傾向がある。このようなアライメントおよび対応の要件は、実際には困難である。従って、本願の多くの実施形態において、プロジェクタおよび／またはディスプレイシステムは、所望の性能を実現するために、異なるデュアル変調方式を採用してもよい。

例示的なプロジェクタディスプレイシステムの文脈において後ほど詳述するように、第１のＤＭＤ／リフレクタ（「プレ変調器」または「プレモッド変調器」と呼ぶ）は、所望の期間（例えば、１フレームまたはその一部）にわたって維持され得るハーフトーン画像を用いて光源を空間的に変調し得る。このハーフトーン画像がぼかされることにより、空間的に低減した帯域幅のライトフィールドを生成し、これを第２のＤＭＤ／リフレクタに適用し得る。第２のＤＭＤ／リフレクタ（「プライマリ変調器」と呼ぶ）は、このぼけたライトフィールドをパルス幅変調し得る。この構成によれば、上記の要求（例えば、正確な時分割アライメントおよび／またはピクセルごとの対応付け）の両方を避け易い。いくつかの実施形態においては、２つ以上のＤＭＤ／リフレクタが、時間的にフレームアライメントされ、空間的にもおおよそフレームアライメントされ得る。いくつかの実施形態においては、プレモッドＤＭＤ／リフレクタからのぼけたライトフィールドは、プライマリＤＭＤ／リフレクタに実質的にオーバーラップし得る。他の実施形態において、空間的なアライメントは既知であってもよく、これを考慮することで、例えば画像描画性能を向上させることができる。

本願は、デュアル／マルチ変調プロジェクションシステムの文脈で説明するが、本願の技術および方法がデュアル／マルチ変調ディスプレイシステムに応用できることは言うまでもない。例えば、バックライトと、第１の変調器（例えば、ＬＣＤなど）と、第２の変調器（例えば、ＬＣＤなど）とを有するデュアル変調ディスプレイシステムにおいて、適切なブラー光学要素および画像処理方法および技術を用いることにより、本願においてプロジェクションシステムの文脈で議論される性能および効率を実現し得る。

図１は２段あるいはデュアル変調器ディスプレイシステムを示しているが、本願の方法および技術は３変調器以上（マルチ変調器）のディスプレイシステムにも応用可能であることは言うまでもない。本願の範囲は、これらの様々な代替的な実施形態を包含している。

図１は、本願の目的に適したデュアル変調プロジェクタディスプレイシステム１００のある実施形態である。ディスプレイ１００は光源１０２を有し得る。光源１０２は１つの光源（例えば、ランプなど）または複数の点光源（例えば、レーザ、ＬＥＤなど）を有し得る。デジタルムービープロジェクタの文脈において、図１の光源１０２は、１つ以上のレーザ光源の集合（例えば、１０２−１、１０２−２、１０２−３；１０２−１’、１０２−２’、１０２−３’（組み合わせたときに白色光を描画できる複数のカラー光源、例えば、赤、緑および青の光源が設けられていてもよい））を有し得る。

光源１０２からの光は光学ステージ１０４内に送られ得る。光学ステージ１０４は、ＲＧＢのレーザ源からの光を結合する結合器１０４−１と、光の一様性を改善し得る合成ロッド１０４−２とを有し得る。その後、光１０３は拡散器１０６を通過し、光に角度的な多様性が与えられ得る。第１の変調器／プレ変調器１０８はこの光を入力し、コントロー
ラ１２０の制御下において、本明細書中においてさらに説明するように、プレ変調器画像処理を行い得る。

ある実施形態において（図１に示すように）、第１のプレ変調器１０８は、１組の光学要素を通じて、別々のカラーチャネル（例えば、赤、緑および青チャネルの１０８−１、１０８−２および１０８−３）を処理し得るＤＭＤアレイであり得る。単なる例示として、プレ変調器１０８は、標準的なプリズム設計を用いた１．２”の２ＫミラーＤＭＤであってもよい。プレ変調器１０８を制御してバイナリハーフトーン画像を表示し得る。例えば、バイナリハーフトーン画像において、ピクセルは、完全オンまたはオフ（オフ状態の光は、オフ状態光１０５として捨てられ得る）である。他の実施形態においては、アナログのマイクロエレクトロメカニカルシステム（ＭＥＭＳ）および／または他のアナログおよび／またはデジタルのリフレクタを適切に制御し、光を再分配することにより、異なるタイプの画像を形成してもよい。

このハーフトーン画像１０７は、点広がり関数（ＰＳＦ）光学ステージ１１２を通過し得る。ＰＳＦ光学ステージは、多数の異なる光学要素１１０、１１４など（例えば、レンズ、拡散器、リフレクタなど）を有し得る。本願の目的においては、ＰＳＦ光学ステージは、プレ変調器１０８からハーフトーン画像を受け、ハーフトーン画像（１０９）に所望のデフォーカシングを施して第２の変調器／プライム変調器１１６に与えれば良い。第１の変調器１０８と同様に、第２の変調器は、１組の光学要素を通して別々のカラーチャネル（例えば、赤、緑および青チャネルの１１６−１、１１６−２および１１６−３）を処理し得るＤＭＤアレイであり得る。単なる別の例示として、プレ変調器１０８は、標準的なプリズム設計を用いた１．４”の４ＫミラーＤＭＤであってもよい。

プライム変調器１１６は光１０９を受け、コントローラ１２０によって制御され得る。コントローラ１２０は、ハーフトーン化とＰＳＦとを組み合わせた効果を推定および／またはモデリングして、プライム変調器１１６上の局所的な輝度をピクセル毎に決定するライトフィールドシミュレーションを用い得る。ＭＥＭＳリフレクタを用いるような他の実施形態においては、コントローラ１２０は、同様に、ライトフィールドの構成をモデリングし得る。このモデルから、コントローラ１２０は、プライム変調器１１６のピクセル値を計算、推定またはその他の方法で決定して、ライトフィールドを補正し、最終的な投影／描画画像を生成する。光１１３は、その後、投影光学系１１８を通過し、プロジェクタスクリーン（図示せず）上に最終的な投影／描画画像を形成し得る。オフ光は、オフ状態光１１１として捨てられ得る。

多くの実施形態において、最終的な画像は、デフォーカスされたハーフトーン画像およびプライム変調器画像の積として生成され得る。このような最終的な画像において、コントラストは２００，０００：１の範囲内にあり得る。

光学処理／画像処理のある実施形態
本願の目的に適した例示的なプロジェクタディスプレイシステムを説明したが、以下では、画像処理およびシステム効率の改善を実現し得る画像処理の方法および技術を開示する。

ある実施形態において、プロジェクタシステムは、バイナリハーフトーン画像を生成し得る。このバイナリハーフトーン画像を光学要素によって平滑化して、所望のディスプレイ画像の帯域幅を低減したものを生成してもよい。光学要素であるＰＳＦの形状は、平滑化関数の特性を決定し得る。ＰＳＦの形状は、ディスプレイの性能およびシステムの演算要件に影響し得る。多くの実施形態において、ＰＳＦの形状の決定には、以下の特徴および／またはガイドラインの１つ以上がある。
（１）ＰＳＦは、最も疎らなハーフトーンパターンを比較的平坦なフィールドにスムージングし得る。これにより、ＰＳＦの大きさに関して、大凡の下限が生じ得る。
（２）より大きいＰＳＦは、デュアル変調がアクティブである空間周波数を低減し、それにより、（本明細書中にさらに説明するように）「ハロー（ｈａｌｏｓ）」がより大きくなり得る。これにより、より高い計算コストが要求され得る。
（３）ＰＳＦは、限られた帯域幅および限られた立ち上がり時間を有し得る。より高い帯域幅および立ち上がり時間は、より大きい補償精度を要求し、計算の近似を制限し得る。
（４）ＰＳＦはコンパクトであり得、ＰＳＦの空間的な範囲は限られ得る。ＰＳＦは、減衰してゼロになり得る。ゆっくりとした減衰、即ち、強いＰＳＦの「テール」は、画像のコントラストを制限し、演算要件を増大させ得る。
（５）ＰＳＦは実質的に放射対称（ｒａｄｉａｌｌｙ ｓｙｍｍｅｔｒｉｃ）であり得る。非対称性がある場合、演算で対処し得る。

ある実施形態において、光学的にぼけたＰＳＦは、ガウス関数（ガウシアン）、回転した二乗余弦（レイズドコサイン）関数、またはその他の限られた空間的な範囲を有する実質的に放射対称のピークをもつ関数など、の形状を実質的にとり得る。多くの実施形態において、ＰＳＦは、限られた空間周波数、限られた立ち上がり時間、および／または、限られた空間的な大きさを想定することとなる。空間周波数と立ち上がり時間とは、通常相関し得る。過度の空間周波数または立ち上がり時間は、より密なサンプリングおよびより高いモデルリング精度を要求することになり、計算の要求条件を増大させ得る。ＰＳＦが画像フレームにわたって変化する場合、１組のＰＳＦが用いられ得、ＰＳＦ補間方法が用いられ得る。ＰＳＦ位置によって変化する高い空間周波数を有するＰＳＦは、適切な補間のために、より密なモデルの組を必要とし、計算の要求条件およびキャリブレーションの複雑さを増大させ得る。ＰＳＦパルス上にシャープなスパイクまたはリッジを有することは望ましくない可能性がある。また、ＰＳＦは、その周辺部において急に途切れるのではなく、徐々に減衰することが望ましいといえる。形状がスムーズであれば、空間周波数はより低くなり、立ち上がり時間はより長くなる。ＰＳＦの空間的な大きさは、計算オペレータの大きさを決定し得る。減衰する「テール」が幅広いＰＳＦは、オペレータのサイズを増大させ、従って、計算の要求条件を増大させ得る。

単なる１つの例示的実施形態において、ＰＳＦは、例えば、５×５のディザ（ｄｉｔｈｅｒ）パターンに適用されるブラー関数を表す。よって、値が１である５×５個のグリッドを有し、その他のハーフトーンピクセルの全てがゼロであるようなハーフトーン画像から、比較的平坦なフィールドを生成するのに十分な大きさをＰＳＦは有し得る。ブラー関数が実質的にガウシアンの形状などを有する場合、その直径は１０ピクセルから２０ピクセルの範囲であり得る。この例では、ＰＳＦの形状を限定する下限部分（ｌｏｗｅｒ ｂｏｕｎｄ）および上限部分（ｕｐｐｅｒ ｂｏｕｎｄ）が特定され得る。下限部分はレイズドコサインパルスであり得、上限部分はガウシアンパルスであり得る。

単なる一例として、下限部分をＬＢとし、上限部分をＵＢとする。「ｒ」をＰＳＦの中心からの距離とし、Ｎをディザパターンの辺のサイズとする（いずれも単位はピクセル）。すると、パルス振幅は、以下のように中心値について正規化され得る。

ただし、下限部分はゼロに減衰し、上限部分はガウシアンとして減衰する。この減衰は、ＰＳＦのテールからの光が蓄積し過ぎることを避けるために重要である。他のＰＳＦの形状および関数も可能であり、そのような変形例は全て本願の範囲内に含まれることは言うまでもない。

図２を参照する。図２は、図１に示すようなデュアル／マルチ変調器ディスプレイシステムで実現し得る光学処理／画像処理の動作の概略のフローチャート２００の、ある実施形態を示す。一様な光２０１をディスプレイシステムに入力して、第１の変調器２０２（例えば、ハーフトーンＤＭＤまたは他の変調器）がハーフトーン画像をブラー光学系２０４に提供し得る。その後、ぼけた画像を第２の変調器２０６（例えば、パルス幅ＤＭＤまたは他の変調器）が受け、ぼけた画像をさらに変調してスクリーン画像２０３を生成し得る。ある実施形態において、フローチャート２００は、コントローラ内のシステムメモリに格納され得る１組のプロセッサ読み取り可能な命令を表している。コントローラは画像データを受け取り、（例えば、２０２において）ハーフトーン画像を生成し、（例えば２０４において）ハーフトーン画像をぼかし、そして、（例えば２０８において）その画像をさらに変調し、それにより、最終画像を生成し得る。

図１のディスプレイシステムの文脈において、各ＤＭＤデバイスへの符号語は、生成される画像を制御するために利用可能な２つの変数として用いられ得る。ある実施形態において、ブラー関数は光学系によって実現され、全ての画像について一定であると仮定され得る。様々なディスプレイシステムの設計において、ブラー関数の設計およびハーフトーンエンコーディングの方法は関係し、ディスプレイの性能に影響し得る。そのような１つの例示的なシステムにおいて、ハーフトーンエンコーディングおよびブラー関数について適切な選択を行うために、以下の目的／仮定が考慮され得る。
（１）ブライトクリッピング（ｂｒｉｇｈｔ ｃｌｉｐｐｉｎｇ）が無いこと：ある実施形態において、プライマリ変調器／ＤＭＤに入射するぼけたライトフィールドは、入力画像、つまり所望のスクリーン画像よりもあらゆる位置において強くてもよい。プライマリ変調器／ＤＭＤは、ライトフィールドを減衰させればよい。
（２）小さいハロー：ハローとは、暗い背景上の明るい物体の周囲のダーククリッピング（ｄａｒｋ ｃｌｉｐｐｉｎｇ） である。黒い背景上の小さく明るい物体にブライト
クリップが無い場合、その明るい物体におけるぼけたライトフィールドは、その明るい物体よりも強い可能性がある。ライトフィールドは空間的な帯域幅が低減され得るため、明るい物体のごく近くは暗くない可能性がある。明るい物体の近くのライトフィールドのレベルは、プライマリＤＭＤによって可能な限り低減され得るが、それでも、所望のスクリーンレベルよりも高くなり得、ダーククリッピングを引き起こす可能性がある。いくつかのケースでは、ダーククリッピングは、真の黒よりも高いレベルとして表れ、これによりしばしば、暗い部分のディテールが失われ、コントラストが失われ得る。ハローがダーククリッピングによって引き起こされる主な視覚的なアーチファクトであるが、ダーククリッピングは、ぼけたライトフィールドが高いコントラスト、つまり高い周波数のパターンを表すことができないような、いかなる局所領域でも起こり得る。局所領域の空間的範囲はライトフィールドの帯域幅によって決定され得、これはブラーカーネルまたはＰＳＦの
大きさによって決定され得る。
（３）十分なローカルコントラスト：ライトフィールドの帯域幅は、ブラーＰＳＦのサイズによって決定され得る。より小さいＰＳＦは、より高い帯域幅のライトフィールドを可能にする。しかし、より小さいＰＳＦは、より密なハーフトーンパターンと組み合わせられる必要がある。より密なハーフトーンパターンは、より小さいディザパターンのサイズと関連し得る。すなわち、レベルの個数がより少なく、第１番目の非ゼロレベルがより高くあり得る。
（４）上記目的は競合し得る。よって、多くの変形例および／または実施形態が可能であり、かつ／または、望ましい。この点は、ＤＭＤのコントラスト比、ＰＳＦサイズおよびローカルコントラストについての考慮事項に関連して、本明細書においてさらに述べる。

ハーフトーンＤＭＤエンコーディングの実施形態
ある実施形態において、プレ変調器／ハーフトーンＤＭＤは、一様なライトフィールドを空間的に変調して、ハーフトーン画像を生成し得る。そのハーフトーン画像においては、例えば、フレーム時間の全体またはその一部にわたって、ピクセルが全てオンかオフのいずれかである。得られるハーフトーン画像（適切にぼかされている）は、特にブライトクリッピングを回避することが望まれる場合、プライマリ変調器／パルス幅ＤＭＤ上に十分な光レベルをもたらし得る。パルス幅ＤＭＤは光レベルを低減するのみであり得るので、ぼけたハーフトーン画像は、どの位置においても、所望のスクリーン画像（例えば、入力画像）よりも実質的に高くすることがよい。黒い背景上にある非常に明るいドットのような画像の特徴部のせいで、ブライトクリッピングまたはダーククリッピングのいずれかを選ばざるを得ない状況においては、いくらかのブライトクリッピングを意図的に許容し、ぼけたハーフトーン画像が入力（特にそのドット）よりも高くならないようにしてもよい。

ある実施形態において、光レベルを低くしてハローを回避するために、ぼかしたハーフトーン画像を所望のスクリーン画像よりもわずかに高く設定してもよい。よって、ぼかしたハーフトーン画像は、実質的に、所望のスクリーン画像についての、帯域が制限された最小限の上限部分であり得る（例えば、光学ブラーによって帯域幅が制限される）。ある実施形態（下記）では、１つの画像に関して、帯域が制限された上限部分が生成されやすくなる。これは、最小限の上限部分ではないかもしれないが、同様の性能を有し得る。真に最小限にすることは実現が困難であり得るので、この余裕は望ましいことであり得る。本実施形態においては、「ブライトクリッピングが無い」という特性が実質的に維持されればよい。

本実施形態においては、空間的なディザパターンを用いてハーフトーン画像が形成され得る。複数ピクセルからなる矩形ブロック上にディザパターンを定義し、このパターンをタイリングすることによって画像フレーム全体にわたって繰り返してもよい。カーネルがパターンを平滑化するので、パターンのサイズは、ブラーカーネルのサイズに関連し得る。また、カーネルのサイズは、最小の非ゼロ光レベルも決定し得る。例えば、ディザパターンのピクセル１つをオンにし、他の全てのピクセルをオフにすることで、最小のレベルを生成し得る。

以下の表１は、複数のレベルインデックスを示す１つの例示的な１０×１０パターンを示している。所与の１つのレベルインデックスに関して、その番号のピクセル、および、それより小さい番号の全ピクセルをオンにし、それより大きい番号の全ピクセルをオフにする。所与のレベルパターンをぼかす場合、結果は、平坦にならない傾向があり、変調されたフィールドは何らかの最小値を有し得る。以下の表２は、表１の各レベルインデックスに対する正規化された最小の光レベルを示し、先のインデックスについての光レベルを
示している。他のパターンサイズおよび他の空間的ディザパターンも可能であり、本願に含まれることは言うまでもない。

本実施形態において、いかなる特定の入力ピクセルについても、ぼかしたハーフトーン画像の対応ピクセルのレベルの方が高くなるべきである。そのピクセルにおいて所望のより高いレベルを得るために、入力画像におけるブラーカーネルの空間範囲内の近隣ピクセルの全てを評価してもよい（例えば、所望のレベルよりもレベルが低い全ての近隣のピクセルをオンにすればよい）。この方法のある実施形態は以下のように実現され得る。
（１）任意の特定の入力ピクセルについて、フレーム全体のライトフィールドのレベルがそのピクセルのレベルよりも高くなるようにレベルインデックスを選ぶ。例えば、ぼかされたときにそのピクセルのレベルを上回るハーフトーンパターンを生成するようなレベルインデックスを（例えば、フレーム全体について）選ぶことが可能である。
（２）このフレーム全体のハーフトーンパターンが与えられれば、そのＰＳＦが当該特定のピクセルに光を与えないような全てのピクセルは、当該特定のピクセルのレベルに影響を及ぼすことなく、全てオフにされ得る。

ただし、この方法では、特定のレベルのハーフトーンタイルが生成されず、ハーフトーン画像の見た目がブロック的になる可能性がある。この代わりに、個々のピクセルを、自身のインデックスおよび画像特徴部との近さに応じて、オンまたはオフにしてもよい。他の実施形態においては、誤差拡散および／またはローカルブルーノイズ（例えば、ハーフトーングリッドが局所的に、対応ピクセルによる閾値制限を受けることによる）を実現することが可能であり得る。

ある実施形態はオーダードディザリングによって実現してもよいが、拡張（ｄｉｌａｔ
ｉｏｎ）と組み合わせて上限部分を得るようにしてもよい。最も低いレベルにおいては、平滑さが懸念となり得る（例えば、そのディザパターンについて１つのピクセルのみがオンである場合など）。ブルーノイズおよび／またはＦＭディザリングなどの他のアプローチを適用して、異なった平滑効果を得ることも可能である。別の例として、黒い背景上にある、最大輝度よりも小さく明るい物体を考える。この場合に生じるハローは、望ましい広さよりも広くなってしまう可能性がある。拡張した領域は、「１」で完全に埋め尽くされなくてもよい。全て「１」である領域をよりコンパクトにすることにより、現れるハローがより少なくなり得る。なぜならば、ディスプレイのハローの幅はアイグレアの幅よりも大きいからである。小さく明るい物体の輝度を低減することは、単にハローの輝度を低減するのではなく、ハローの幅を低減し得る。

図３は、適切なバイナリハーフトーン画像を生成する方法のある実施形態を示している。ハーフトーン画像モジュール３００は入力画像データ３０１を受け、３０２において、ブラーカーネルの範囲まで画像データを拡張し、これにより、ｘ（ｍ，ｎ）、すなわち拡張した入力画像を生成し得る。得られるバイナリハーフトーン画像ｂ（ｍ，ｎ）は、ｘ（ｍ，ｎ）＞ｈｔＬｅｖｅｌ（ｍ，ｎ）の場合、ｂ（ｍ，ｎ）＝１に設定され得る。ここで、ｈｔＬｅｖｅｌ（ｍ，ｎ）は、マップである表２の値で与えられ得る（例えば、画像フレーム全体にわたってタイリングする）。バイナリハーフトーン画像はｂ（ｍ，ｎ）として返され得る。

ある実施形態において、拡張オペレータ（ｄｉｌａｔｉｏｎ ｏｐｅｒａｔｏｒ）を使用して、最小の上限部分に近付けるようにしてもよい。他の実施形態においては、そのカーネルの下で要素を最大にし得るような非線形フィルタを使用してもよい。

ライトフィールドモデルおよびパルス幅ＤＭＤの実施形態
プライマリ変調器／パルス幅ＤＭＤは、ぼけたハーフトーン画像のライトフィールドを変調して所望のスクリーン画像を生成する。パルス幅ＤＭＤは光を減衰しかし得ないので、ブライトクリッピングを防ぐために、ライトフィールドは所望のスクリーン画像における上限部分であればよい。さらに、ダーククリッピングを防ぐために、ライトフィールドは最小の上限部分であればよい。ぼけたハーフトーン画像のライトフィールドは、算出され、推定され、または、光学的なプロセスのモデルを用いてその他の方法でモデルリングされ得る。ある実施形態においては、光学的なプロセスはぼけのみであると仮定し得る。例えば、プレ変調器−プライマリ変調器のアライメントは無視され得る。いくつかの実施形態においては、これが全体的な適用誤差（ｒｅｇｉｓｔｒａｔｉｏｎ ｅｒｒｏｒ）であり得る。

他の実施形態においては、そのようなアライメントを考慮し、適用すべき補正係数を生成してもよい。例えば、実際のディスプレイにおいては、プレモッドＤＭＤによって生成されたぼけたライトフィールドのフレームは、プライマリＤＭＤのフレームと完全にはアライメントされていない可能性がある。例えば、ライトフィールド画像は、若干回転していたり、ずれていたり、フレームのエッジにおいてオーバースキャンをもたらすように大きさが調整されていたりする可能性がある。ブラー光学系およびその他の光学系によって歪んでいる場合もある。そのような可能性に関して、プレモッドＤＭＤ上の点をプライマリＤＭＤ上の点にマッピングするプレモッド−プライマリマップを測定し、マッピングとして（例えば、ルックアップテーブル（ＬＵＴ）などとして）適用してもよい。

図４は、パルス幅ＤＭＤの補償画像を生成する手法の、ある実施形態を示している。バイナリハーフトーン画像（３０３、例えば図３）は、ブラーモデル４０２に入力され、４０４において逆数にされ得る。パルス幅ＤＭＤ補償画像は、モデリングされたぼけたハーフトーン画像のライトフィールドで入力画像を除算する（例えば、入力画像３０１に、ぼ
けたハーフトーン画像のライトフィールドの逆数を乗算する（４０６））ことによって求められ得る。

変化するＰＳＦの形状に対応するための実施形態
実際のディスプレイにおいて、所与のプレモッドピクセルに対するＰＳＦの形状は、そのプレモッドフレーム上の位置に依存し得る。ブラー光学系は、全てのプレモッドの位置を同じようにぼかさなくてもよい。局所領域内のピクセルのＰＳＦはほとんど変化しないと仮定してもよく、全てのピクセルが同じエネルギーを有する（例えば、均一なライトフィールドがプレモッドに入射する場合）と仮定してもよい。しかし、実際のディスプレイにおいては、ＰＳＦはそれぞれ異なる傾向にあり得る。ある実施形態において、２Ｋフレームの場合、各ＰＳＦは別々にモデリングされ得るし、かつ／または、画像領域の局所部分に適用され得る。その結果、例えば、２百万のＰＳＦが、取得され、格納され、モデリングされ、演算に利用され得る。他の実施形態では、この複雑さを低減するために単純化するモデルを提供し得る。局所的な領域内のＰＳＦは互いに類似する傾向があるので、単一のＰＳＦモデルを用いて全てのＰＳＦを表す（例えば、少なくとも、画像領域の中の局所領域および／または局所部分において）。このような、一可能性として局所化されたＰＳＦモデルを測定その他の方法でモデリングすることにより、適切なＰＳＦモデルを提供してもよい。

ライトフィールドモデルの実施形態
プライマリＤＭＤはぼけたライトフィールドを補正して、最終的なスクリーン画像を生成する。ある実施形態において、ライトフィールドの補正をプライマリＤＭＤのピクセルグリッド上で行ってもよい。この補正処理に関して、ぼけたライトフィールドはプライマリピクセルグリッド上で表され得る。しかしこのライトフィールドは、プレモッドピクセルグリッド上にあるハーフトーン画像をぼかすことによって形成されている。また、プレモッドおよびプライマリ変調器はアライメントされていないこともあり得る。

適切な補正処理を実現するために、選択可能な代替的な実施形態の可能性が２つある。第１の実施形態は、ライトフィールドをプレモッドグリッド上でモデリングし、その後、それをプライマリグリッドにマッピングする実施形態である。第２の実施形態は、プライマリグリッド上において各プレモッドピクセルに関連付けられたＰＳＦをモデリングすることによって、ライトフィールドをプライマリグリッド上でモデリングする実施形態である。本願はこれらの代替的な実施形態の両方を包含するが、以下では第１の実施形態（即ち、ライトフィールドをプレモッドグリッド上でモデリングして、それをプライマリグリッドにマッピングする実施形態）を説明する。ある実施形態においては、プライマリグリッド上において複数の点をマッピングして、幾何学的および／または光学的な歪みに対処することが可能であり得る。

この第１の実施形態は、以下の理由から選択され得る。
（１）ＰＳＦは、局所的な領域においてその形状を実質的に維持し得るからである。従って、領域全体について単一のＰＳＦを用いた、ハーフトーン画像上における標準的な畳み込み処理により、プレモッド上の当該局所的な領域内においてライトフィールドをモデリングできる。
（２）プレモッド−プライマリのミスアライメントのために、プライマリ上のある局所的な領域内の複数のＰＳＦは異なるサンプルフェーズを有し得る。これらに対処する必要があり得る。いくつかの実施形態において、プレモッドおよびプライマリがアライメントされていない可能性があるため、本来プレモッドグリッドにアライメントされているＰＳＦモデルをプライマリグリッドの方に動かすサンプルフェーズシフトを行ってもよい。
（３）プライマリ上でモデリングされた場合、局所的な領域内ではＰＳＦの形状は変化しないが、サンプルフェーズが変化するために、畳み込み演算の際に異なるＰＳＦを使う
必要があり得る。
（４）ＰＳＦは本来的にプレモッドを基準とする（ｐｒｅｍｏｄ ｒｅｆｅｒｅｎｃｅｄ）。プライマリについては、プレモッドよりもより多くのＰＳＦをモデリングおよび記録する必要があるであろう。
（５）ライトフィールドのモデリングは、演算コストが高くなる傾向があり得る。実際に実装する際には、ＰＳＦを、サブサンプリングおよび近似する必要があり得る。これは、プレモッドグリッド上で行えばより簡単であり得る。
（６）モデリングされたライトフィールドをプレモッドからプライマリへマッピングするには演算コストがかかるが、プライマリ上でライトフィールドをモデリングするコストよりは少ない可能性がある。
（７）プレモッド上でライトフィールドをモデリングすることは、モデリングされたライトフィールドをプレモッドからプライマリへマッピングすることによる影響を受け得る。このマップは正確であることが望ましい。特定のディスプレイについて、プレモッド−プライマリのアライメントは固定である。マップに誤差がある場合、それらの誤差を修正してもよい。例えば、これらの誤差は、キャリブレーション処理中においてＰＳＦを修正することによって対処され得る。例えば、マップのオフセット誤差は、そのフレーム位置でのＰＳＦモデルのオフセットによって打ち消され得る。

さらに、プレモッド−プライマリのミスアライメントのため、入力画像をプレモッドグリッドにマッピングして、ハーフトーン画像を算出する処理を行ってもよい。この処理は、ライトフィールドをプライマリにマッピングするほどの精度は必要としない可能性がある。図５は前述の第１の実施形態を示している。システムは、コントローラからの指示により、入力画像３０１を受け取ることができる。５０４においてハーフトーン画像を算出する前に、プライマリ−プレモッドマッピング５０２を適用し得る。５０６においてライトフィールドモデルを適用し、その後、５０８においてプレモッド−プライマリマップを適用して、プライマリ整合済みライトフィールド５０３を生成し得る。いくつかの実施形態においては、プライマリはある解像度（例えば、４Ｋ）であり、プレモッドは別の解像度（例えば、２Ｋ）であり得る。しかし、処理によって他のマッピングを実現し得る。例えば、処理は、２Ｋ／２Ｋマッピングを実現し得るが、２Ｋプライマリはプロジェクタシステムによって４Ｋにアップコンバートされてもよい。当然、その他のマッピングも可能である。

ライトフィールドモデル算出のためのフレーム分割
上述のように、ＰＳＦは局所領域内では実質的に不変であり得るので、１つの局所領域内では同じＰＳＦモデルを用いてライトフィールドを算出し得る。従って、画像フレームを複数の矩形領域に分割し、各領域内のＰＳＦを最も良く表しているＰＳＦを用いて当該領域を処理してもよい。それぞれの領域をモデリングした後、各領域をつなぎ合わせてフルフレームのライトフィールドを形成する。もし、つなぎ目が見える場合、より多くの領域を用いるか、あるいは、互いにオーバーラップする領域を算出して、その後、合成してもよい。図６は、撮像され、モデリングされ、そして、カラー（例えば、赤、緑または青）のライトフィールドを算出するのに用いることができるＰＳＦのアレイを示している。フレームは、ＰＳＦが各領域の中心に位置するように分割され得る。

ハーフトーンパターンの時間的な再配置
ある実施形態において、ハーフトーンディザパターンをその画像フレームにわたってタイリングしてもよい。そのフレーム上での当該パターンの位置または位相（ｐｈａｓｅ）の選択は、適宜合わせて変化させればよい。ライトフィールドのモデリングその他の原因により、スクリーン画像は誤差を有し得るので、ディザパターンは、フレーム毎に再配置すればよい（例えば、誤差を目立たなくするように）。例えば、ディザパターンは、パターンインデックスに従って、フレーム毎に再配置され得る。誤差はディザパターンのタイ
ルのサイズに関して周期的であり得るので、インデックスに従ってパターンを動かすことで、十分に誤差を隠すことを実現し得る。また、ディザパターンは、最も疎らなハーフトーンビットパターンによって引き起こされるライトフィールドモデリングのエラーを隠すように再配置されてもよい。これらのビットパターンが最も目立つ誤差を引き起こし得る。なぜなら、ぼかされた際に、より密なビットパターンよりも変化が大きいライトフィールドを生成する傾向があるからである。

ＰＳＦの調整およびディスプレイのキャリブレーションの概要
実際上、現実のディスプレイは、そのＰＳＦの形状を調整したり、キャリブレーションを行ったりする必要があり得る。ある実施形態において、キャリブレーションの前に、ＰＳＦの調整（例えば、光学要素を操作することによって）を行い得る。適切なＰＳＦ調整の後、カラーチャネル毎にキャリブレーション処理を行って、プレモッド−プライマリマップおよびＰＳＦモデルの組を測定および記録してもよい。キャリブレーションに関しては、キャリブレーション画像が表示されている間に、カメラを用いてスクリーンのピクチャを取得してもよい。

ある実施形態において、プレモッド−プライマリマップを測定するために、２つの異なるキャリブレーション画像のピクチャを取得してもよい。第１のキャリブレーション画像は、プライマリが完全に開いている状態で、プレモッド上にドットアレイを表示することによって形成されるＰＳＦアレイ画像であり得る。これらのドットの、プレモッドでのピクセル位置は既知である。この組み合わせは、図６に示すようなＰＳＦアレイのスクリーン画像を示す。第２のキャリブレーション画像は、プライマリ上にドットアレイを表示し、プレモッド上に全て「１」を表示することによって形成されるドットアレイ画像であり得る。これらのドットの、プライマリでのピクセル位置は既知である。この組み合わせは、ドットのアレイのスクリーン画像を示す。

これら２つの画像のピクチャは、カメラを動かすことなく取得され得る。ドットのプレモッドおよびプライマリでのピクセル位置は既知であるので、カメラ−プレモッドのマップおよびカメラ−プライマリのマップがわかる。そして、これら２つのマップを合成して、そのカラーチャネルのプレモッド−プライマリマップを形成し得る。各カラーチャネルのピクチャを取得する間にカメラを動かさなければ、異なるカラーチャネルについてのカメラ−プライマリマップを用いて、プライマリＤＭＤ同士を互いにアライメントし、カラーチャネル同士を互いにアライメントすることが可能である。

初期のＰＳＦモデルの組を見つけるために、図６に示すような第１のキャリブレーション画像を用い得る。カメラ−プレモッドマップを用いて、ＰＳＦをプレモッドグリッドにマッピングすればよく、これらが記録されて、ＰＳＦモデルの組を形成し得る。各モデルは、プレモッドグリッドを基準としている。これは、ぼけたライトフィールドのモデルを構築するために各モデルがそこで用いられるからである。ぼけたライトフィールドを構築する目的に関する限り、組の中の各ＰＳＦは、その局所的な処理領域内の全てのＰＳＦを表している。このようにしてＰＳＦのモデルを取得していくと、結果的に、有意な誤差を有するモデルになりがちである。

追加的なディスプレイキャリブレーションの実施形態
前述のように、ディスプレイのキャリブレーションは、ＰＳＦモデルの組を生成する処理を含み得る。初期のＰＳＦは、スクリーン上に表示された個々のＰＳＦのピクチャを取得することによって得ることができる。しかし、このようにしてＰＳＦのモデルを取得すると、有意な誤差を有するモデルになる可能性がある。ＰＳＦのモデルは、プライマリＤＭＤに入射する実際のライトフィールドをモデリングするのに使用され得るので、それらが実際のＰＳＦを正確に表すことが望ましいといえる。いくつかのデュアルＤＭＤ変調器
プロジェクタシステムにおいて、これらのシステムは急な勾配を持つ比較的小さいＰＳＦを有し得るが、これには精度の高いモデルを必要とし得る。ある実施形態において、それらのモデルを用いてスクリーン画像を表示する際に生じる誤差を評価することにより、既存のＰＳＦモデルを改善する処理として、ＰＳＦモデルの洗練化（ｒｅｆｉｎｅｍｅｎｔ）が可能であり得る。

ある実施形態において、１つのＰＳＦがカメラで撮像され得る。このＰＳＦ画像は、それを生成したハーフトーンピクセルについてのＰＳＦの仮のモデルとして用いられ得る。実際のＰＳＦを完全に表したものではない可能性があるので、これを用いてハーフトーン画像によって生成されるライトフィールドをモデリングした場合、そのライトフィールドは誤差を有し得る。

特定の画像について、ライトフィールドは、オンであるハーフトーンピクセルによって生成されたＰＳＦの全てを重ね合わせることによって形成され得る。このようなＰＳＦモデルの誤差は、ハーフトーン画像中のオンのピクセルの分布に依存してライトフィールドの誤差を生じ得る。いくつかの画像は、他の画像よりもＰＳＦの誤差の影響を受けやすい。一般に、比較的平坦なライトフィールドを生じる画像はＰＳＦモデルの誤差の影響を受けにくく、変化のあるライトフィールドを生じる画像はより影響を受けやすいといえる。

図７（Ａ）〜（Ｆ）は、ＰＳＦのモデリングおよび洗練化を説明する例示的な画像である。図７（Ａ）は、入力画像内で単一の領域が点灯している状態を示している。図７（Ｂ）は、本明細書中に開示する様々な実施形態による、図７（Ａ）の入力画像に応じて生成されるハーフトーン画像を示している。この例において、ハーフトーン画像はサンプルとしての２Ｋグリッド上に配置されている。なお、このハーフトーン画像は、ディスプレイシステムにとって実質的に既知である。図７（Ｃ）は、プレモッドグリッド上の単一のピクセルのＰＳＦ（光学系によってぼかされている）を示している。図７（Ｄ）は、図７（Ｂ）のハーフトーン画像をぼかした状態を示している。

図７（Ｅ）は、プライマリＤＭＤ補償画像を示している。なお、入力画像は明るい中心ドット／領域によって表され、ハローは、明るい中心ドット／領域を囲む環状の領域を形成して、ぼけたライトフィールドを補償している。図７（Ｆ）は、スクリーン画像を形成するために図７（Ｅ）の補償を適用した後に得られるスクリーン画像を示している。なお、システムは、前述のように２つの誤差を修正していることがあり得るので、スクリーン画像は放射対称でないこともある。スクリーン画像は、理想的には、入力画像と同じに見えるべきであるが、図７（Ｆ）におけるアーチファクトを呈する。この例では、プライマリＤＭＤの補償は正確であるものと仮定しており、アーチファクトは、不正確なＰＳＦモデルによって不適切にモデリングされたライトフィールドの結果である。

ＰＳＦ洗練化の実施形態
前述のように、目に見えるアーチファクトがカメラによって撮像されてしまうことがある。取得された画像がプレモッドライトフィールドおよびハーフトーン画像に整合していれば、それを、アーチファクトを低減し得るようなＰＳＦ修正を見出すために用い得る。アーチファクトの撮像画像もまた誤差を有し得るので、実際のアーチファクトを完全に表したものではない。従って、ＰＳＦの修正によりＰＳＦモデルを改善し得るが、アーチファクトが完全には除去されない可能性がある。改善されたＰＳＦを用いて画像を再処理すれば、スクリーン画像が呈するアーチファクトが低減するはずである。これらの工程を繰り返して、アーチファクトを、目に見えなくなるまで、反復的に低減することが可能である。

図８および９は、ＰＳＦモデル洗練化処理および／またはモジュールの１つの可能な実
施形態を示す。このようなＰＳＦモデル洗練化処理／モジュールは、１回だけ使用されてもよいし、複数回使用されてもよいし、あるいは処理を行っている間に所望の画像の描画の精度を改善し得るような、継続的な改善処理の一部として使用されてもよいことは言うまでもない。８０２においてシステムが開始すると、初期ＰＳＦモデル（８１３）を用いてスクリーン画像が表示され得る。本明細書中に開示する様々な実施形態に従い、入力画像データ８０１を用いて、８０４においてハーフトーン画像を算出して、ハーフトーン画像８０３が得られる。このハーフトーン画像を最新のＰＳＦモデル８１３と共に用いて、ライトフィールド画像８０５を算出および／またはモデリングし得る。ある実施形態において、このようなライトフィールド画像は、ＰＳＦおよびハーフトーン画像を畳み込むことによって生成し得る。ライトフィールド画像８０５を用いて、プライマリ画像を算出（８０８）、すなわち、プライマリ画像８０７を生成し得る。プライマリ画像を用いて、スクリーン画像を表示（８１０）、すなわち、スクリーン画像８０９を生成し得る。

スクリーン画像として画像が描画されると、８１２においてカメラピクチャが取得され得る。このスクリーン画像をプレモッドピクセルグリッドに整合させて（８１２）、整合済みスクリーン画像８１１を生成し得る。この整合済みスクリーン画像を用いて、入力画像との比較（８１４）が行われ得る。コントローラ／プロセッサは、８１６において、整合済みスクリーン画像と入力画像との間に何らかの差異があるかどうかを問い得る。これらの差異は、閾値処理され、かつ／または計算され、差異が望まれる量よりも大きい（例えば、スクリーン画像の観察者に見えてしまう）かどうかが判定され得る。あるいは、差異を人間の観察者が判断してもよい。大きくなかった場合、８２２で処理が終了し得る。あるいは、継続的な処理を実行するための補正処理として継続するか、所望の時点で実行されてもよい。

８１６で検出された差異があった場合、システムは、ＰＳＦ修正を見出し、かつ／または、算出して、８２０においてＰＳＦモデルを改善し得る。図９は、ＰＳＦ修正を算出する処理のある実施形態である。９０２において、処理／モジュールは、整合済みスクリーン画像をプライマリ画像で除算し得る。これにより、８０５においてライトフィールドの推定値を生成する。このライトフィールドの推定値は、その後、９０４においてライトフィールド画像と比較され得る。これにより、ライトフィールドの誤差推定値９０１が生成する。この推定値は、ハーフトーン画像とともにデコンボリューションされ、かつ／または、逆数として計算され、それにより、適切な修正後のＰＳＦが発見され得る（８１３）。このＰＳＦ修正により、その後、図８において用いられる新しいＰＳＦモデルを形成し得る。

一般に、カメラの撮像処理には不確実性があるので、カメラピクチャから求められた画像は推定値である。ライトフィールドは、ハーフトーン画像中の全てのオンピクセルのＰＳＦを重ね合わせることによって生成され得る。デコンボリューション処理は、アーチファクトに寄与する全てのオンピクセルについて同じＰＳＦだと仮定することにより、推定されたライトフィールドの誤差からＰＳＦ修正を発見しようとする。

競合する考慮事項からの代替的な実施形態
前述のように、特定の仮定および目的を用いて、本明細書に記載の新しい画像描画技術を生み出すことが可能である。前述のように、異なる仮定および目的により、代替的な実施形態につながり得る。このような代替的な実施形態は、ＤＭＤコントラスト比、ＰＳＦサイズおよびローカルコントラストに基づいていてもよい。例えば、第１の非ゼロプレモッドレベルは、ＰＳＦのフィールドを重ね合わせて比較的平坦なライトフィールドを実現することによって実現し得る。比較的平坦なフィールドは、ＰＳＦが十分に密に配置されている場合に実現し得る。ＰＳＦの間隔を空け過ぎると、所望のフィールドレベルに対して大きいピークおよび谷を有するフィールドになり得るからである。ＰＳＦのサイズおよ
び形状が与えられれば、比較的平坦なフィールドを生成するのに望ましいＰＳＦ間隔により、第１の非ゼロプレモッドレベルを実現するためにオンにされるハーフトーンピクセルの間隔が決定され得る。この間隔は、第１番目の非ゼロレベルおよび線形プレモッドレベルの個数を決定し得る。

例えば、１０×１０ピクセルグリッド上で繰り返されるＰＳＦで、比較的平坦なフィールドを実現するためには、１００個のプレモッドピクセルのうちの１つをオンにすることを必要とし得る。第１番目の非ゼロレベルは１／１００となり、ハーフトーンタイルサイズは１０×１０となり、レベルの個数は１０１となる。

「第１番目の非ゼロレベル」という名称は、第１番目のレベルであるゼロが、０／１００であることを間接的に示唆している。実際には、そうではない場合もある。あらゆる非ゼロレベルとは異なり、このレベルは、ハーフトーンの分数によっては決まらずに、プレモッドＤＭＤのコントラスト比（ＣＲ）によって決まり得る。このレベルは１／プレモッドＣＲであり、至適な性能が得られるようなレベルではない可能性が高い。

小さくて明るい特徴部におけるハローのサイズを制限するために、小さいＰＳＦおよび呼応して小さいハーフトーンタイルサイズが選択され得る。しかし、小さいタイルサイズは、プレモッドレベルの個数を制限する。このことは、比較的高いレベルでは問題ではないかもしれないが、比較的低いレベル、特に第１番目の非ゼロレベル未満のレベル、ではローカルコントラストを過度に制限する。ゼロレベルの使用はプレモッドＤＭＤのＣＲに依存するものであり、より高いＣＲがより良いとは限らない。また、第１番目の非ゼロレベルによっては、所望のフルシステムＣＲを実現し、黒を実現するために、ゼロレベルが必要となる可能性がある。

画像の特徴部のなかには、プレモッドライトフィールドによって表され得る空間周波数よりも高い空間周波数を有するものがあり得る。それらの画像特徴部については、プレモッドライトフィールドは一定であり、変調されなくてもよい。そのプレモッドライトフィールドのレベルは、画像特徴部の局所的な最大値によって決定され得る。ブライトクリッピングを回避するためには、そのレベルは、当該局所的な最大値よりも高い、別個の（ｄｉｓｃｒｅｔｅ）プレモッドレベルとされてもよい。プライマリＤＭＤは、プレモッドライトフィールドを低減することにより、当該局所的な画像特徴部の全レベルを生成し得る。プレモッドゼロレベル（プレモッドＣＲによって決まる）、第１番目の非ゼロレベル（ハーフトーンタイルサイズによって決まる）、および、プライマリＤＭＤのＣＲによっては、プライマリＤＭＤは最低のレベルを生成するのに十分なコントラストを有さず、その画像特徴部の見た目に影響するほどに局所的なコントラストを制限してしまう場合があり得る。

添付図面と共に読むことによって本発明の原理を示す、本発明の１つ以上の実施形態を詳細に説明した。それらの実施形態に関連して本発明を記載したのであって、本発明が実施形態のいずれにも限定されないことは言うまでも無い。本発明の範囲は請求項によってのみ限定されるものであり、本発明は多数の代替物、変形物および均等物を包含するものである。本発明を完全に理解できるように、多数の詳細事項を本明細書中に記載した。これらの詳細事項は例示のために記載したものであり、本発明は、これらの詳細事項の一部または全てが無くても、請求項に記載する通りに実施可能である。明瞭さのために、本発明が関する技術分野において既知の技術事項については、本発明が解りにくくならないように、詳細な説明を省略している。

図１は、マルチ変調ディスプレイシステムのある実施形態、および、本願のシステム、方法および技術が置かれ得る環境を示している。 図２は、図１に示したようなデュアル／マルチ変調器ディスプレイシステムによって実現し得る光学処理／画像処理の概略図のある実施形態を示している。 図３は、適切なバイナリハーフトーン画像を生成する方法のある実施形態を示している。 図４は、パルス幅ＤＭＤ補償画像を生成する技術のある実施形態を示している。 図５は、プレモッド−プライマリマップ、ライトフィールドモデルおよびプライマリ−プレモッドマップを用いてプライマリ整合済みライトフィールドを生成するフロー図のある実施形態である。 図６は、撮像され、モデリングされ、そして有色（例えば、赤、緑または青）のライトフィールドを算出するために使用され得るＰＳＦアレイを示している。 図７Ａは、本願の様々な処理モジュールを通した入力画像の描画例を示し ている。 図７Ｂは、本願の様々な処理モジュールを通した入力画像の描画例を示し ている。 図７Ｃは、本願の様々な処理モジュールを通した入力画像の描画例を示し ている。 図７Ｄは、本願の様々な処理モジュールを通した入力画像の描画例を示し ている。 図７Ｅは、本願の様々な処理モジュールを通した入力画像の描画例を示し ている。 図７Ｆは、本願の様々な処理モジュールを通した入力画像の描画例を示し ている。 図８は、一可能性として、システムを継続的に修正／改善するための画像描画処理および洗練化処理のある実施形態を示している。 図９は、一可能性として、システムを継続的に修正／改善するための画像描画処理および洗練化処理のある実施形態を示している。

Claims (12)

1. デュアルシリーズ変調された（ｄｕａｌ ｓｅｒｉｅｓ ｍｏｄｕｌａｔｅｄ）プロジェクタディスプレイシステムのキャリブレーションを行う方法であって、
   入力画像データを受け取ることと、
   直列に構成された１組の変調器のプレモッド変調器上に表示する画像を、前記入力画像データに基づいて算出することと、
   前記１組の変調器のうちの第２の変調器であるプライマリ変調器を光がどのように照射するかについての、前記１組の変調器のうちの第１から放たれた光のＰＳＦモデルに基づくライトフィールドモデルを、算出された前記画像に適用することであって、これにより、前記プライマリ変調器上の実際のライトフィールド画像を決定することと、
   前記プライマリ変調器のためのプライマリ画像を、前記実際のライトフィールド画像から算出することと、
   算出された前記プライマリ画像を用いて、前記プライマリ変調器からスクリーン画像を表示することと、
   表示される前記画像と、前記画像データに従って表示されるように意図された画像と、の差に基づいて前記ＰＳＦモデルを調整することと、
   を含む、方法。
2. 前記調整は、ライトフィールド誤差推定値を、前記算出された画像でデコンボリューションして、適用すべき前記ＰＳＦモデルを形成するＰＳＦ修正を算出することを含む、請求項１に記載の方法。
3. 前記撮像装置によって取得された目に見えるアーチファクトをさらに低減するように、各ステップを反復的に繰り返すことを含む、請求項１に記載の方法。
4. 取得された前記スクリーン画像をプレモッドピクセルグリッドに整合させる（Ｒｅｇｉｓｔｅｒｉｎｇ）ステップをさらに含み、前記整合させるステップは、前記取得されたスクリーンの各ピクセルと前記プレモッドピクセルグリッドの各ピクセルとのアライメントを行うことを含む、請求項１に記載の方法。
5. 前記プロジェクタは、レーザ原色（ｐｒｉｍａｒｙ ｌａｓｅｒ ｃｏｌｏｒｓ）を有するレーザプロジェクタを備え、前記ライトフィールドシミュレーションは、各レーザ色について別々のカラーベースのシミュレーションを含む、請求項１に記載の方法。
6. 前記ＰＳＦモデルは、液晶（ＬＣ）変調されたＰＳＦモデルを含む、請求項１に記載の方法。
7. 前記プレモッドとプライマリ変調器とは、アラインメントがずれている（ｍｉｓａｌｉｇｎｅｄ）、請求項１に記載の方法。
8. 前記プレモッド変調器は、コヒーレントレーザ光で照射される液晶（ＬＣ）変調器であり、前記プライマリ変調器を照射する前記実際のライトフィールドは、異なる位相を有する、請求項１に記載の方法。
9. 前記異なる位相は、前記モデルにおいて考慮されている、請求項８に記載の方法。
10. 前記プライマリ変調器は、振幅変調器である、請求項８に記載の方法。
11. 光源と、入力画像データを受け取り、制御信号を出力するコントローラと、前記コントローラからの制御信号および前記光源からの光を受けるプレモッド変調器と、前記プレモッド変調器を有する光学系と、前記コントローラからの制御信号および前記光学系からの光を受けるプライマリ変調器とを備えるプロジェクタディスプレイシステムの、キャリブレーションを行う方法であって、
    入力画像データを受け取ることと、
    プレモッドピクセルグリッド上に適用されるべき画像のエナジャイゼーションレベル（ｅｎｅｒｇｉｚａｔｉｏｎ ｌｅｖｅｌｓ）を、前記入力画像から算出することと、
    前記光学系の光相互作用モデルに基づくライトフィールドモデルを、前記プレモッド適用された画像に適用して、実際のライトフィールド画像を得ることと、
    プライマリピクセルグリッド上で表現される、前記プライマリ変調器のためのプライマリ画像を、前記実際のライトフィールド画像から算出することと、
    前記算出されたプライマリ画像を用いて、前記プライマリ変調器から、前記プライマリピクセルグリッド上で表現されるスクリーン画像を表示することと、
    を含み、
    撮像装置で前記スクリーン画像を取得することと、
    前記取得したスクリーン画像と前記入力画像データとを比較することと、
    差異が望まれる量よりも大きい場合に、前記光相互作用モデルの修正を算出することと、
    前記光相互作用モデルの修正によって修正された前記光相互作用モデルを含む、改善された光相互作用モデルを適用することと、を特徴とし、
    前記光相互作用モデルの修正を算出することは、
    −前記取得したスクリーン画像を、前記算出されたプライマリ画像で除算して、推定ライトフィールド画像を生成することと、
    −前記推定ライトフィールド画像を前記実際のライトフィールド画像と比較することと、
    −前記推定ライトフィールド画像と前記実際のライトフィールド画像との比較に基づいてライトフィールド誤差を推定することと、
    −ライトフィールド誤差推定値をデコンボリューションして、前記光相互作用修正を算出することと、
    を含む、方法。
12. 前記撮像装置によって取得された目に見えるアーチファクトをさらに低減するように、各ステップを反復的に繰り返すことを含む、請求項１１に記載の方法。

Images