JP2017161664A - レジストレーション量算出装置 - Google Patents

Abstract

【課題】ディスクリネーションなどの影響があった場合にでも高精度でレジストレーション量を算出できる方法および装置を実現すること。【解決手段】２次元撮像装置を使って表示装置のレジストレーション量を算出するレジストレーション算出装置において、レジストレーション算出装置と表示装置のいずれかの機能により特定画像を表示する表示機能と、画素を左右または上下に画素単位で移動させる機能とを有し、表示機能から表示された映像を撮像装置によって撮像し、撮像から直線を形成している部位を検出する直線領域検出手段と、直線領域検出手段によって検出された複数の直線情報から直線領域における断面を算出する直線断面像算出手段と、直線断面像算出手段から得られた複数の直線断面像からレジストレーション量を算出するレジストレーション算出手段を有することことを特徴とする。【選択図】図１

Description

本発明は、少なくとも２枚以上の光変調素子を用いてカラー画像を投射するプロジェクタ装置においてレジストレーション量を定量的に評価値する方法に関し、特にディスクリネーションの影響を加味したレジストレーション量を高精度に測定する方法および該方法を用いて調整をおこなう装置に関する。

従来から複数の光変調素子を使った液晶プロジェクタはよく知られている。特に２枚以上の光変調素子を用いたプロジェクタではレジストレーションと呼ばれる現象が発生することがある。レジストレーションとは光変調素子のメカ的な固着や光学的な色収差やディストーションの影響により、各光変調素子から投射されたスクリーン上の結像画像のそれぞれの位置がずれてしまことにより、本来白色として投影されるべきところで色がずれ見えてしまう現象を指している。

このレジストレーションを補正する方法として、それぞれの光変調素子へ設定する映像を画素単位で水平および垂直方向に画素単位でシフトさせることにより、前記レジストレーションを補正する方法はよく知られている。このレジストレーションを補正するための画像シフト量は人間の目視による主観によって手動で補正されることが多いが、ラインセンサーやカメラを使って自動的にレジストレーションを補正する方法や装置についても提案されている。

特許文献１は、二次元に画素が配列された一定画素数の表示領域の外周に、表示領域の外周より所定画素数分大きい表示マトリクス領域を設けた複数の液晶パネルが使用され、複数の液晶パネルの像を拡大してスクリーン上にカラー投影する液晶表示装置である。そしてスクリーン上で複数の液晶パネルの像が一致するように各液晶パネルの表示領域と同じ大きさを有する像を表示マトリクス領域の範囲内で、一画素単位でシフトさせるコントロール部を設けることにより、スクリーン上で複数の液晶パネルの像が一致するように各液晶パネルの表示領域と同じ大きさを有する像を表示マトリクス領域の範囲内で、一画素単位でシフトさせることにより複数の液晶パネルからの像の位置ずれを調整できるパネルおよび装置を開示している。

特許文献２には、スクリーンの４隅に縦（Ｙ）方向及び、横（Ｘ）方向に配置するラインセンサーよりの信号の各色（Ｒ，Ｇ，Ｂ）間の位相差および、色毎の信号の立ち上がり時間を検出し、前記位相差および、立ち上がり時間が最小または所定値以下となるように調整者、または調整装置が液晶プロジェクタの各色の液晶の位置関係を調整する装置が開示されている。

特許第３２２８７６７号公報 特開平８−２０１９３７号公報

しかしながら、上述の特許文献１に開示された技術は、画素単位で各パネルの像をシフトさせる手段についてのものであり、画素のずれ量は調整者の主観によるため定量的に情報を算出および評価することも出来ない。

また、特許文献２に開示された技術では、ラインセンサーを使うことにより各画素の照度分布を撮影し、その立ち上がり特性と立ち下がり特性からそれぞれのパネルから投射される画素幅を算出し、定量的に評価を実現しているが、光変調素子として液晶パネルを使った場合、液晶画素は隣接画素の駆動状態と液晶分子の配列状態によって画素内に光変調むらが発生してしまい、高精度にレジストレーションを算出することができない。

そこで、本発明は、レジストレーション評価指標をより人間の感覚に近い客観指標を算出する方法を提案し、また前記高精度算出手段を用いた高精度にレジストレーションを調整するレジストレーション算出装置を提供することを目的とする。

上記の目的を達成するために、本発明に係るレジストレーション算出装置は、
２次元撮像装置を使って表示装置のレジストレーション量を算出するレジストレーション算出装置において、
前記レジストレーション算出装置と前記表示装置のいずれかの機能により特定画像を表示する表示機能と、
画素を左右または上下に画素単位で移動させる機能とを有し、
前記表示機能から表示された映像を前記撮像装置によって撮像し、
前記撮像から直線を形成している部位を検出する直線領域検出手段と、
前記直線領域検出手段によって検出された複数の直線情報から前記直線領域における断面図を算出する直線断面像算出手段と、
前記直線断面像算出手段から得られた複数の直線断面像からレジストレーション量を算出するレジストレーション算出手段を有する
ことを特徴とする。

本発明に係るレジストレーション算出装置によれば、レジストレーション量をより定量的に扱うことが可能となり、高精度なレジストレーション補正を実現する事が可能となる。

本特許のレジストレーション量算出における概略のフロー図 本実施例の配置図の一例 レジストレーション量を算出する際に表示する際プロジェクタから投射する画像について説明した図 本発明の実施例１である液晶プロジェクタの光学構成の説明図 プロジェクタ装置内の構成要素を示したブロック図 本実施例で使用する画像の取得に関するフロー図 図６のフローで説明したxxM2.img と xxP2.img の画像の例 図６のフローで説明したxxM2.img と xxP2.img の画像の例 図７−１および図７−２の画像xxM2.img と xxP2.img から直線を検出するためのフローチャート スレッショルドを用いて２値化した値 スレッショルドを用いて２値化した値 スレッショルド０で処理を行った図 スレッショルド０で処理を行った図 処理を施した画像 処理を施した画像 xxP2.img 側の直線として検出されたところを黒線として示した図 カメラで撮影した画像の座標系に、図８で導出した直線のうち光変調素子Ｇに関連する直線をモデル的に描画した図 シフト座標系を示した図 射影変換行列Ｍを用いＲＨＰ２．ｉｍｇ、ＢＨＰ２．ｉｍｇの断面像を同時にグラフ化した図 射影変換行列Ｍを用いてシフト座標系に射影させた後、シフト量を仮のレジストレーション量としてその像をシフトさせた図 Ｇ断面を示した輝度分布に対して、Ｒ断面およびＢ断面の輝度分布を微小にシフトさせながらＧ断面とＲ断面およびＢ断面の内積を取ったグラフを最大値で１に正規化した上でグラフ化した図 図１６−１の最大評価値近傍に着目して拡大したグラフ レジストレーション量と定義してグラフ化した一例図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
図１を使って、本特許のレジストレーション量算出における概略のフローを、ＲＧＢ各１枚の計３枚の液晶パネルを使用した液晶プロジェクタを調整する場合について説明する。もちろん、本特許がＲＧＢパネルに限定する物ではない。

レジストレーション量を算出（＃１０１）するためには、各パネルから水平および垂直の直線を投射した画像をそれぞれ撮影し（＃１０２）、それらの画像から直線検出を行う。本実施例では、撮像装置で撮影する画像倍率は液晶プロジェクタ投射画像に対して十分高倍率であることを前提としているため光学的な各種収差（ディストーションなど）による影響を考慮していないが、ディストーションの影響が強いと判断される場合には画像取時（＃１０２）に画像フィルタリング処理により収差を予め取り除いておいても良い。

次に、前記画像取得（＃１０２）によって撮影された画像からそれぞれの画像に結像している光学変調素子の画素幅の直線を検出（＃１０３）する。ここで検出した直線から射影変換行列を算出（＃１０４）し、その射影変換に基づいて各直線の射影変換後の法線に対する断面像を作成すると共に、法線方向に於ける輝度を重みとした重心値を算出する（＃１０５）。この重心値および断面情報からレジストレーション補正量を算出する（＃１０６）。本アルゴリズムに関する詳細については後述する。

以上のフローにより、高精度で人間の主観的評価値に近い客観的なレジストレーション量の算出が可能となる。

図２は本実施例の配置図の一例である。構成要素は調整対象である液晶プロジェクタ（＃２０１）、液晶プロジェクタから像を投射するためのスクリーン（＃２０２）、スクリーンに投射された像（＃２０６）を撮像するためのカメラ（＃２０３）、液晶プロジェクタ（＃２０１）およびカメラ（＃２０３）を制御するためのＰＣ（＃２０４）、液晶プロジェクタ（＃２０１）とＰＣ（＃２０４）を接続するためのケーブル（＃２０５）、カメラ（＃２０３）とＰＣ（＃２０４）を接続するためのケーブルから成っている。

本配置は液晶プロジェクタ量産時には特定位置に予め配置され、場合によっては可動アームなどに接続され適宜移動される場合や、作業員が適当に配置する場合も想定している。

図３はレジストレーション量を算出する際に表示する際プロジェクタから投射する画像について説明した図である。明細書ではカラー画像の説明が出来ないため説明の中で明示していく。

＃３０１で示した画像は、カメラを手動で配置する際にプロジェクタから投射される画像である。この画像を含め図３において説明している画像は、必ずしもプロジェクタ投射像の中心に表示されるというわけではなく、例えば右下のレジストレーション量を計測したい場合には投射画像の右下に表示される。明示していない部分は黒表示でも水平垂直線のみ延長されていてもよい。本実施例では仮に水平垂直線のみ延長されているもとのとして説明する。

本テストパターンはＧパネルからの反射（もしくは透過）光のみが表示されることを想定しているが、もちろん実装においてはＲパネルからの光でもＢパネルからの光でも、全パネル像でも大して差はない。レジストレーションを目視で検査する場合は、本画像（＃３０１）を全パネルから投射してもよい。

＃３０２は、画像＃３０１から画像中央を横切る水平線部分以外の画素表示を消した画像であり、＃３０３は、画像＃３０１から画像中心を縦に伸びる垂直成分以外の画素表示を消した画像である。これらの画像をＲＧＢ各パネルから時間独立に投射し、また、後述する各パネル用の映像シフト回路の設定値を変化させながらカメラで画像を撮影することにより、正確なレジストレーション量を定量的に算出することを可能としている。

図２は調整時の配置について示したものである。主な構成要素としてはレジストレーションを調整する対象である液晶プロジェクタ＃２０１、液晶プロジェクタから映像を投射するスクリーン＃２０２、スクリーン＃２０２に投射された液晶プロジェクタ＃２０１からの映像を撮像するためのカメラ＃２０３、カメラ＃２０３から通信線＃２０７を通して得られた画像を元に液晶プロジェクタのレジストレーション量を算出するコンピュータ＃２０４から構成されている。本実施例ではプロジェクタ＃２０１から投射する映像はコンピュータ＃２０４からの映像として供給されることを前提に説明するがプロジェクタ内部の信号発生回路から同映像を供給しても同様の効果を得ることができる。

また、ＲＧＢパネルそれぞれのレジストレーション補正値やプロジェクタ＃２０１電源投入時にＲＧＢパネルそれぞれのレジストレーション補正値としてロードされる値はコマンドとしてパソコン＃２０４からプロジェクタ＃２０１に指示出来るとしている。これら映像信号とコマンド通信を行うコントロール線を＃２０５で示している。本特許ではレジストレーション補正値としてＲＧＢ液晶パネルそれぞれ左右と上下に＋２〜−２までの整数値が設定可能であり、レジストレーション補正値に対応して画素単位で画像が左右または上下にシフトするとしている。

プロジェクタ＃２０１から投射する映像は前述の通りパソコン＃２０４によって生成されるが、生成された映像が投射される範囲を＃２０６で示している。投射される映像＃２０６は、カメラ＃２０３の位置合わせのためのＲＧＢ共通の映像＃３０１、レジストレーション検出のためのＲＧＢの内任意の一色の画素幅１画素の横ライン＃３０２および縦ライン＃３０３、そして全黒画像＃３０４の４種類である。これらの映像はパソコン＃２０４から供給されることは前述したとおりであるが、スクリーン＃２０２へ投射されるまでにプロジェクタ＃２０１による解像度変換がされると正しいレジストレーション値の算出が出来なくなる。

本実施例では、予めプロジェクタ＃２０１による解像度変換はパソコン＃２０４からのコマンドで無効にしている、もしくはパネル解像度と対応した映像信号が入力映像信号として入っており解像度変換がされていないとして説明を行う。

以上が構成要素についての説明である。

図４には、本発明の実施例１である液晶プロジェクタの光学構成を示している。本実施例のプロジェクタの光学構成は、光源＃４０１と、照明光学系＃４０２と、色分離合成光学系＃４０３と、画像形成素子としての反射型の液晶パネルＧ＃４０６、液晶パネルＢ＃４０７、液晶パネルＲ＃４０８と、投射レンズ＃４０４とにより構成される。照明光学系＃４０２は、光源＃４０１の偏光光を液晶パネル＃４０６、＃４０７、＃４０８に導く光学系である。

前記液晶パネル＃４０６、＃４０７、＃４０８は反射型のRGBの液晶パネルであり、前記色分離合成系＃４０３は前記照明系＃４０２からの白色光をRGBに分離し、前記RGBの各パネルに導き、各パネルからの画像光を合成して投射光学系＃４０４に導く。前記投射光学系＃４０４は前記パネルの表示画像をスクリーン＃４０５に向けて投射する光学系である。光源＃４０１から出射された光は、無偏光であるが、照明系＃４０２に含まれる非図示の偏光変換素子により、P偏光となる。

色分離合成系＃４０３は、３つのプリズム形状の偏光ビームスプリッター（以下、PBSとする）から構成されている。以下では、＃４１０をG-PBS、＃４１１をRB-PBS、＃４１２を合成PBSとする。

色分離合成系＃４０３は、照明系＃４０２からの白色光のうち、ダイクロイックミラー＃４０９により、RedとBlueの光を反射させ、Greenの光は透過させることで、RB光路とG光路を分離している。また、RB光路において、ダイクロイックミラーで反射されたRB成分の光をRedとBlueに分離するために、波長選択性位相板＃４１５を設けている。波長選択性位相板により、Redの光はP偏光からS偏光へと偏光状態を変化させるが、Blueの光はP偏光のままである。波長選択性位相板透過後のRedの光はS偏光であり、RB-PBS＃４１１により反射され、Redパネル＃４０８に導かれる。

Redパネル＃４０８に導かれた光は、パネルで画像変調されてP偏光となり、RB-PBS＃４１１を透過し、合成PBS＃４１２に至る。一方、Blueの光はP偏光でRB-PBS１１に入射し、RB-PBS＃４１１を透過してBlueパネル＃４０７に導かれる。パネル＃４０７に入射した光は画像変調を受けて、S偏光となり、RB-PBS＃４１１で反射されて、合成PBS＃４１２に至る。合成PBS＃４１２はRedの光に対して偏光ビームスプリッターの機能を有しており、BlueとGreenに対しては、ダイクロ膜の機能を有したプリズム形状の光学素子である。

この合成PBSと前記RB-PBSの間には、Blueの光を検光する偏光板＃４１６を配置しており、Blueの光はこの偏光板で検光された後、合成PBS＃４１２に入射し、透過して投射系＃４０４に至る。また、Redの光は、合成PBS＃４１２の検光特性により検光されて透過し、投射系＃４０４に至る。

一方、ダイクロイックミラー＃４０９を透過したGreenの光は、P偏光であり、G-PBS＃４１０を透過してGreenパネル＃４０６に入射する。Greenパネル＃４０６に入射した光は、パネルにより画像変調を受けてS偏光となり、G-PBS＃４１０によって反射され、合成PBS＃４１２に入射する。合成PBS＃４１２とG-PBS＃４１０の間には、Greenの光を検光する偏光板を配置しており、これによりGreenの光を検光した後、合成PBS＃４１２によって反射させ、投射系＃４０４に導いている。

さて、液晶パネルは画素に印可する電圧によって液晶分子の配列を制御することにより、照射される偏光光に変調を加え、画素領域毎に反射率を制御する。しかしながら、隣接画素領域に異なった印加電圧を与えると画素境界の液晶分子配列が乱され、結果スクリーン＃４０５上に投射される該画素領域は特異な輝度分布となる。この現象はディスクリネーションとして知られている。ディスクリネーションは隣接する画素印加電圧および位置関係により様々な輝度分布を形成する。

図４を使って光学構成について説明してきたが、この光学構成ではスクリーン＃２０２に表示される像は、Greenパネル＃２０６およびBlueパネル＃２０６の像を基準にして考えるとRedパネル＃４０８の像は上下のみ反転してしまいうため、当然ディスクリネーションの影響はＲパネルのみ上下逆にでてしまう。もちろん、厳密に言えばパネル内の液晶分子の配列は個体差があり、さらに照射される波長帯域が大きく異なるためディスクリネーションの影響はパネルごとに違いは必ず出るがその影響は比較的少ないが０ではない。

本特許では、このようなディスクリネーションの影響による人間のレジストレーション主観評価に対して比較的近い評価値を得ることにより、より高精度なレジストレーション調整を実現することを目的としている。

以上が、本実施例における調整対象であるプロジェクタ装置の光学構成に対する詳説である。

図５はプロジェクタ装置（＃５１０）、前記プロジェクタ装置（＃５１０）の画像を投射するスクリーン（＃５５０）、前記スクリーン（＃５５０）に投射されたプロジェクタ装置の投射像をデジタル画像に変換する撮像装置（＃５６０）、前記撮像装置（＃５６０）で撮影したデジタル画像からレジストレーション量を算出する情報処理装置の大まかな信号の流れと、前記プロジェクタ装置（＃５１０）内の構成要素を示したブロック図である。以下、信号および制御の流れに則してブロック図の説明を行う。ここではあくまで個々の構成要素について説明することを目的としているため、信号処理フローの全てについての説明はしない。フローについての詳細は別途後述する。

情報処理装置（＃５７０）は、撮像装置（＃５６０）およびプロジェクタ装置（＃５１０）と通信を行う。撮像装置（＃５６０）との通信では、露出制御、フォーカス制御、ズーム制御、レリーズ制御、撮影画像受信、の一部または全てを行う。プロジェクタ装置（＃５１０）との通信では、ランプ制御、内部映像信号表示制御、各光電変換素子に駆動される映像位置を上下左右にシフトさせる映像シフト制御、不揮発領域に前記初期シフト量を保存する初期シフト量書き込み制御を行う。

これらの情報処理装置（＃５７０）からのプロジェクタ装置（＃５１０）制御信号は、プロジェクタ装置（＃５１０）の構成要素である制御装置（＃５１１）によって受信解読され、プロジェクタ装置（＃５１０）の各構要素を制御することにより依頼制御を実現する。本実施例を実現するに当たり、プロジェクタ装置（＃５１０）が実現すべき制御は主に２つである。図３で示された画像をスクリーン（＃５５０）に投射することと、図３で示された画像を上下左右にシフトさせる事である。

画像を表示する方法として内部で映像を生成する装置をプロジェクタに有している場合と映像処理装置（＃５６０）によって生成した外部映像信号をプロジェクタの外部映像信号（＃５１３）として入力し、それをスクリーン（＃５５０）に投射する方法があるが、本実施例ではプロジェクタ内部に信号発生器（＃５１２）があるとして説明をしている。信号発生器（＃５１２）は、図３で説明した画像をプロジェクタ内部の映像信号として生成する機能を有し、制御装置からの指示に従い、適宜画像を生成すると共に外部映像信号（＃５１３）と内部映像信号（＃５１４）との切り替え（＃５１５）も行う。

このように生成された映像信号は映像処理回路（＃５１６）によって各光変調素子（＃５１７、＃５１８、＃５１９）に設定するための情報に分解される。また、適宜目的階調で駆動するための画像処理を施すよう制御装置（＃５１１）から映像処理回路（＃５１６）に設定が行われる。このように各光学変調素子を駆動するための映像に分解されたデジタル映像信号は、それぞれ映像シフト回路（＃５２０、＃５２１、＃５２２）に伝達される。映像シフト回路では、前記映像処理回路によって生成されたデジタル映像信号を左右上下に画素単位でシフトさせる回路である。

本シフト処理によって表示エリアからシフトアウトした画素情報は捨てられ、逆にシフトインした画素情報は０または映像シフト回路に予め設定されているシフトイン画素情報が書かれる。映像シフト回路（＃５２０、＃５２１、＃５２２）によって再加工されたデジタル映像信号は光学変調素子駆動回路（＃５２３、＃５２４、＃５２５）によってそれぞれ光学変調素子（＃５１７、＃５１８、＃５１９）を駆動するためのアナログ駆動信号に変更され、それぞれの光学変調素子上に形成された画素毎に適切な偏光が施され投射イメージの形成を実現している。

光変調素子上に形成された投射イメージは光学ブロック（＃５２６）によってスクリーン（＃５５０）上にイメージを形成する。

以上がブロック図の概略説明である。

図６は本実施例で使用する画像の取得に関するフローである。以下詳細に説明する。本画像取得フローは情報処理装置（＃５７０）に於けるフローであり、各種条件を変更しながらＲＧＢ各４枚ずつの系１２枚の画像を撮影することにより後述の処理に必要な画像を取得する。本フローではカメラの配置を手動で行うことを前提で説明するがメカニカルな機構を使って自動化してもよい。さらに、カメラ配置後に再確認のための撮影を行い、正しくターゲットを捉えているか確認するシーケンスを入れても良い。

画像取得（＃６０１）では、作業者もしくは予め決められているレジストレーション量測定位置情報を情報処理装置（＃５７０）からプロジェクタ装置（＃５１０）に対して設定する。該位置を設定された制御装置（＃５１１）は信号発生器（＃５１２）に対してチャート表示座標の設定を行う。信号発生器（＃５１２）は、＃３０１から＃３０４で示した映像信号パターンを任意の階調情報で前記指定位置に配置した映像信号を生成する機能を有し、制御装置（＃５１１）からの設定に基づき生成した映像信号と外部映像信号（＃５１３）の切り替える事が可能であるよう実装されている。

ところで、本フローは１カ所のレジストレーション量を算出するために必要な画像撮影を行うフローであるが、複数の位置のレジストレーション量を計測するためには本フローを複数回、もしくは複数のカメラによって複数箇所を撮影する必要がある。本実施例では簡略化するために１カ所に於けるレジストレーション量を計測する方法について詳説するが、本フローを複数箇所同時に対応することも複数のカメラを用い同様な処理を行うことにより極めて容易に実現出来る。

＃６０２ではカメラの設置に拘わる処理を行っている。本処理は、情報処理装置（＃５７０）から制御処理装置（＃５１１）に対してカメラ位置決定のためのテストチャート（＃３０１）を表示するための制御を行っている。本実施例では撮像装置（＃５６０）の設置は人間が行うことを前提として記載しているが、もちろん適切なアクチュエータにより自動化しても構わない。前記テストチャート（＃３０１）の投射を確認した設置者は予め決められている配置手順に従い撮像装置（＃５６０）がテストチャート（＃３０１）の中心を決められた倍率で撮影可能な位置に設置する。

設置終了後、情報処理装置（＃５７０）に付属しているＨＩＤデバイスより撮像装置設置完了を入力する。この入力作業は撮像装置からのリアルタイム映像を使って自動的に判別しても良い。設置完了を受信した情報処理装置（＃５７０）は、撮像装置（＃５６０）の合焦制御を行う。

＃６１１では、＃６０２〜＃６１５によって表示されるチャート共通の露出設定を行う。＃６０２〜＃６１５まででプロジェクタから投射される映像はプロジェクタ装置固有のシェーディングなどの影響により多階調画像と見なすことも出来るが、各種光電変換素子駆動回路（＃５２３〜＃５２５）に設定されるデジタル値は２種類のみである。この２階調は例えばプロジェクタ装置としての各パネル毎の最小反射率（最小透過率）と最大反射率（最大透過率）を使っても良いし、反射率（透過率）１０％と反射率（透過率）９０％とを使っても良い。

ここでは、その光学変調素子Ｒを駆動するであろう２階調のうち明るい方のデジタル値で全画素を光学変調素子駆動回路（＃５２３）を駆動するためのテストパターン出力を信号発生器（＃５１２）を通して行う。この際、Ｒ以外の映像信号は、一般的には略最小反射率（最小反射率）に設定されていることが望ましい。この状態において、撮像装置の露出調整を行う。

＃６１２では、前述の予め決められた２階調によるテストパターン＃３０３表示をＲ信号に対して設定し、ＧＢ信号に対しては略最小反射率（最小透過率）の設定を行い、該当した映像信号を出力するための設定を信号発生器（＃５１２）に対して行う。また、垂直方向シフト量０、水平方向シフト量−２を映像シフト回路（＃５２０）に設定し、そのときプロジェクタ投射装置からの投射される映像のスクリーン（＃５５０）上の結像象を撮像装置（＃５６０）を使って撮影し、そのデジタル画像を RHM2.img として情報処理装置内（＃５７０）に保存する。

＃６１３では、＃６１２に於ける処理に対して、垂直方向シフト量と水平方向シフト量のみを、垂直方向シフト量０、水平方向シフト量＋２に変更された状態で結像象を撮影装置（＃５６０）を使って撮影し、そのデジタルが象を RMP2.img として情報処理装置内（＃５７０）に保存する。

＃６１４では、前述の予め決められた２階調によるテストパターン＃３０２表示をＲ信号に対して設定し、ＧＢ信号に対しては略最小反射率（最小透過率）の設定を行い、該当した映像信号を出力するための設定を信号発生器（＃５１２）に対して行う。また、垂直方向シフト量−２、水平方向シフト量０を映像シフト回路（＃５２０）に設定し、そのときプロジェクタ投射装置からの投射される映像のスクリーン（＃５５０）上の結像象を撮像装置（＃５６０）を使って撮影し、そのデジタル画像を RVM2.img として情報処理装置内（＃５７０）に保存する。

＃６１５では、＃６１４に於ける処理に対して、垂直方向シフト量と水平方向シフト量のみを、垂直方向シフト量＋２、水平方向シフト量０に変更された状態で結像象を撮影装置（＃５６０）を使って撮影し、そのデジタル画像を RVP2.img として情報処理装置内（＃５７０）に保存する。

以上の処理により、光変調素子駆動Ｒ（＃５１７）に関連したレジストレーション量を分析するための画像が整う。

＃６２１〜＃６２５までは＃６１１〜＃６１５までの処理の光変調素子Ｇに対応したフローであり、＃６３１〜＃６３５までの処理は光変調素子Ｂに対応したフローである。

さて、ここまでデジタル画像として説明してきたがこれらは輝度画像であって、カラー画像ではない。もしカラー画像を撮影するカメラを撮像装置として使う場合、必要に応じてガンマ変換とカラーマトリックス処理によって輝度画像として生成し直す必要がある。カラー画像から輝度画像を作成するにあたり本処理を簡略化したい場合には、投射像の色と最も近い色相の画像を使っても良いし、カラー画像のそれぞれのプレーンを加算した物を輝度画像として扱っても良い。本特許では、カメラから取得される色情報を使わない事として実施例の説明を行う。

以上１２枚の輝度画像を使い、レジストレーション量の算出を行う。図７−１と図７−２は図６のフローで説明したxxM2.img と xxP2.img の画像の例である。

本実施例で使った光変調素子は開口率は約９０％とし、各画素を構成している電極部の縦横長は同一で、画素間のギャップも一定を成している。ここで注意すべきは、このような正方画素で構成されている光学変調素子にもかかわらず、この画像から分かるようにスクリーン上で直線を形成している画素の法線ベクトル方向は方向ベクトル方向に比べ短くなっていることが分かる。また、この画素の輝度分布はあらゆる軸に対して対称になっていない。これは、ディスクリネーションと呼ばれている個々の画素電極を駆動する電圧の違いから画素電極間に横からの電界を受けてしまい、液晶分子の配置が乱されたためと、その影響が液晶分子の方向によって受ける影響が異なることによると考えられている。

また、各光変調素子Ｒ〜Ｂ（＃５１７、＃５１８、＃５１９）に照射されるスペクトル成分の構成は著しく異なるため、自ずと目的としている反射率（透過率）を設定する際に印加する画素電極電圧は異なった値となり、前記ディスクリネーションの影響は各光学変調素子によって異なる場合も多々ある。また、図４で説明したとおり、本実施例におけるＲパネル象は上下逆となっている。このように各光学変調素子からの画素象は様々な要因で輝度分布が変化してしまい、何をもってレジストレーション量と定義するかは非常に難しい問題で有り、本特許では、この問題を定量的に解析する方法について言及している。

光学的にパネルが上下逆に投射される構成になっているプロジェクタ装置において、前記映像シフト回路のシフト方向は上下逆に設定されるべきであり、実際そのように実装されることにより各光変調素子毎の像シフト方向は設定するシフト量に対して同方向であり、またシフト量も略同一である。というのは、ここでシフト量が各光学変調素子に対して著しく異なる場合、要は投射される像倍率が著しく異なることを意味し、こうなると一般的なプロジェクタ装置と言いがたい。本実施例ではこのような特殊な例は扱わない。

図８は図７−１および図７−２の画像xxM2.img と xxP2.img から直線を検出するためのフローチャートである。通常、画像中のから直線を検出する方法は画像からヒストグラムを作成し、そのヒストグラムの最小階調値と最大階調値と、０．０〜１．０の予め決められた定数ｋから
スレッショルド＝最小階調値＋（最大階調値−最小階調値）×ｋ
によってスレッショルドを計算し、該スレッショルド以上の画素から重み付き最小二乗法によって直線を検出する方法が考えられる。また、この処理の前段で背景差分処理を施す事により、固定パターンを除去する方法も従来技術として存在する。

本実施例では、これらのアプローチを少し改善した方法を採用している。以下、その方法について詳説する。直線検出（＃８０１）は、例えば図７−１および図７−２で示した画像を使ってそれらの画像に撮像された２直線を検出するフローの先頭である。これら２枚の画像の対応する座標の差分をとり、その差分値を対応する sub.img 画像の座標に設定する（＃８０２）。

sub.img＝xxP2.img−xxM2.img
この画像を使って２直線を算出する方法について説明する（＃８０４）。この sub.img 輝度画像の隣接する２つの輝度値の差分を取り、その差分値の集合から標準偏差を算出し、例えばその３倍の値をスレッショルドとし、その値以上を１とし、それ以外を０とした画像を xxP2_Mask.img、その−３倍の値をスレッショルドとし、その値以下を１とし、それ以外を０とした画像を xxM2_Mask.img とする。この処理が何をしているかと言えば、要は隣接がその差分を取った場合に検出されるのは極めて高周波な画像成分であり、その成分はsub.img 画像に重畳されているノイズ成分を少し大きめ（約１．５倍）に評価した信号を得ることが出来る。

その若干大きめに評価されたノイズ成分の約９９％を除去するのに必要なスレッショルドが差分信号から導出された標準偏差の３倍（通常３σと呼ばれる）ということになる。このスレッショルドを用いて２値化した値が図９−１と図９−２である。参考までにスレッショルド０で上記と同様の処理を行ったのが図１０−１と図１０−２である。多くのノイズ成分を効率良く除去できていることがお分かり頂けるかと思う。

上記演算によって２値化画像を生成したが、まだ幾分直線を構成していない領域が含まれている。この問題を解決するため、先ほどの２値化画像で１と判定した画素に着目し、上下左右の何れかに隣接している画素を１グループとして扱う。そのグループ毎に構成している画素数を数え、その最大画素数を有しているグループが直線を構成していると見なし、他のグループは０に設定する。この処理を施した画像が図１１−１と図１１−２である。上手く直線部分のみを検出出来ていることが分かる。ここで示したフローよりも効率の良い方法は存在する。例えば、sub.imgから最大および最小輝度を成す座標を検出し、その座標が含まれる前記グループをそれぞれの直線を形成しているグループと見なす方法である。この方法は若干の高速化が見込めるが、イレギュラーなノイズによって直線検出を失敗してしまう可能性があるためお勧めは出来ない。

さて、前記手段によって検出した直線を構成する画素グループの座標を使い、直線を検出する。その方法は一般的によく知られている重み付き最小二乗法を用いることにより実現する。若干詳細に説明すると、前記２値化画像から１を構成している座標を探し、sub.img の該座標の輝度値を参照する。この輝度値を重みと見なし、重み付き直線検出を行うことにより高精度な xxP2.img 側の直線検出が可能となる。

xxM2.img 側の直線検出は、該構成するグループの座標を検出するまでは前記方法と同じで、sub.imgから取得する重みが全てマイナスであるため、これの絶対値を取り（要は符号を正にするだけであるが）それを重さとした直線検出することにより xxM2.img 側の直線を検出することができる。図１１−３は、xxP2.img 側の直線として検出されたところを黒線として示した図である。この図を見ると高精度で直線の検出が出来ていることが分かる。

以上が２直線算出および直線検出フローの詳細であるが、ここで注意すべき事がある。それは、ここで検出したそれぞれの光学変調素子によって生成された水平および垂直方向にシフトした光学変調素子に対して垂直に並べられた画素像と水平に並べられた画素像から各パネルのレジストレーション量が算出できるかと言えば、ある程度の精度での分析は可能となる。

しかしながら、前述したように、各光学変調素子が成すスクリーン上の輝度分布は矩形を成しているわけではなく、さらに対称性を有しておらず、さらに、光学設計上の制約から、特定光学素子像が上下もしくは左右、さらには上下左右が反転しているために輝度分布が反転している場合も考えられ、前記検出した直線を持ってレジストレーション量算出が正確とは言えない。本特許はこの問題に鑑み考案されたものであり、本実施例によって本問題は抜本的に改善される。

図１２はカメラで撮影した画像の座標系（＃１２００）に、図８で導出した直線のうち光変調素子Ｇに関連する直線をモデル的に描画した図である。LineG_PO(x,y)＝0と記述した直線は水平方向の＋２シフトした垂直直線の検出結果であり、LineG_MO(x,y)＝0は水へ方向へ−２シフトさせた垂直直線の検出結果で、LineG_OM(x,y)＝0は垂直方向に−２シフトさせた水平直線の検出結果で、LineG_OP (x,y)＝0は垂直方向に＋２シフトさせた水平直線の検出結果である。ここで検出した直線情報から各交点をもとめる。
交点Ｐ_MPは直線LineG_MO(x,y)＝0と直線LineG_OP (x,y)＝0
交点Ｐ_MMは直線LineG_MO(x,y)＝0と直線LineG_OM (x,y)＝0
交点Ｐ_PMは直線LineG_PO(x,y)＝0と直線LineG_OM (x,y)＝0
交点Ｐ_PPは直線LineG_PO (x,y)＝0と直線LineG_OP (x,y)＝0
これらの交点をシフト座標系に射影変換するための射影行列を求める。図１３はシフト座標系を示した図である。図１２で示した交点Ｐ_MP、Ｐ_MM、Ｐ_PM、Ｐ_PPがそれぞれ(-2,+2)、(-2,-2)、(+2,-2)、(+2,+2)、に射影する射影変換行列Ｍを求める。この射影変換行列Ｍを求める方法は一般的に定式化されているためここで詳しく説明することは省く。

次に、上記方法によって求めた光学変調素子Ｇ像用のカメラ座標系からシフト座標系への射影変換行列Ｍを使って前記直線の断面像を作成する方法について説明する。ここでは sub.img と、この画像を使って求めたスレッショルドから直線領域を判別した２値情報を使う。先ず、直線領域を判別した２値画像から、直線領域と判別された画素座標を参照する。ここで得られた画素座標を前記射影変換行列Ｍを使ってシフト座標系に射影変換を行う。

例えば、ここで用いた直線がGHP2.imgであった場合、断面を分析するにあたり直線のシフト座標系においてはｈ座標軸の情報は必要とせず、シフト座標系におけるｖ座標軸の情報のみを使う。この断面方向に対する写像座標情報と、本写像変換まえのsub.imgに於ける輝度情報を用い、断面像を作成する。ｖ軸方向という１次元情報とその輝度情報から断面像を作成する方法は多々ある。適当なＰＳＦを施しながらなめらから断面像を作成することもあれば、補間処理を用いることにより高分解能像を推定することも可能である。

ここでは簡易的に予め断面像に必要な分解能を決めておき、前記注目画素情報のｖ座標値の射影先の度数情報と輝度情報をそれぞれ加算し、目的となる断面像を分析するときには、前記輝度情報を度数で割ることにより、シフト座標系に於ける直線の断面像を作成することが可能となる。ここでは説明を簡略化するために最も簡単な方法で説明したが、もちろんいろいろなアレンジは可能である。このようにして分析した断面像が図１４である。

図１４は前述に示したGHP2.img断面像と、前述の光学変調素子像Ｇを使って算出された射影変換行列Ｍを用い、RHP2.img、BHP2.imgの断面像も同時にグラフ化した物である。グラフの縦軸はｖ方向断面像に於ける正規化輝度であり、横軸はシフト座標系におけるｖ軸である。この断面情報から分かるように、各断面図共に本来画素幅はｖ軸の１と対応する幅になっているはずであるが、スレッショルドの切り方によって輝度分布が２画素にまたがっているとも見ることが出来るし半画素程度にやせているようにも解釈できる。

また、図１４中のグラフは略ベル型の分布になっているが明らかに左右対称になっていない。これは単に投射光学系におけるフォーカスの問題ではなく、ディスクリネーションの影響を受けている事に起因する。このディスクリネーションによる輝度分布の非対称性が分析者もしくは分析方法によってレジストレーション量の見積もりが異なってしまう原因となっている。本実施例はこの事実に基づき、より高精度なレジストレーション量の定量化を実現することを目的としている。以上が直線断面像作成に関する説明である。

図１５はRHP2.img、GHP2.img、BHP2.imgそれぞれ前述の射影変換行列Ｍを用いてシフト座標系に射影させた後、それぞれのｖ方向座標と輝度値を重みとした重心値をシフト量として算出し、Ｇの重心値とＲＢの重心値が同一になるシフト量をそれぞれ算出し、そのシフト量を仮のレジストレーション量とし、それぞれの像をシフトさせたものである。また、この演算でＧ基準となっているので、Ｇのシフト量は０と断面像をシフトしている。本処理によってかなり高い精度でレジストレーション量が算出されたかに見えるが、基準となる重心値と対象となる重心値の差がレジストレーション量と定義するのは早計であると考える。

最終的にレジストレーションとして認識されるのはあくまで人間で有り、この認識が重心値とさほど異ならないことは保証出来るがそれ以上ではありえない。以下の説明で、更なる精度のレジストレーション量算出方法について詳説する。

図１６−１はＧ断面を示した輝度分布に対して、Ｒ断面およびＢ断面の輝度分布を微小にシフトさせながらＧ断面とＲ断面およびＢ断面の内積を取ったものであり、そのグラフを最大値で１に正規化した上でグラフ化したものである。横軸がＲおよびＢの断面のシフト量、縦軸が正規化された内積評価値である。ここで内積演算を行っている理由は断面外形のマッチング度合いを評価値としているためである。ここでの内積は輝度分布に対して行っているが、目的に応じて前処理として各断面輝度分布に対して適切な評価値に変換するためのゲイン処理やオフセット処理、ガンマ処理などを行っても良い。

図１６−２は図１６−１の最大評価値近傍に着目して拡大したグラフである。Ｒのシフト量を０．０６、Ｂのシフト量として０．０４ほどシフトさせたとき最もＧの断面とのマッチングが良いことが分かる。前述の重心評価によるレジストレーション量にここで算出したレジストレーション量を加算した値が最終的なレジストレーション量ということになる。

以上、主に光変調素子平面上における画素幅１の水平線状画素列に対して光学変調素子Ｇに対するＲおよびＢの垂直方向レジストレーション量の評価方法について説明してきた。同方法は垂直線状画素列に対する水平方向レジストレーション算出を行う場合も同様に分析することが可能である。

本実施例により、従来の方法に比べ極めて高精度にレジストレーション量を算出することが可能となる。また、該レジストレーション量から誤差が最小となる映像シフト回路に設定すべき初期値を決定し、初期値としてプロジェクタ装置に記憶させることも可能である。

［実施例２］
実施例２では、実施例１で説明した処理とほぼ同じであるが、粗調整終了後の次工程である微調整を行う処理について別の実施例を提示する。

まず、それぞれの光学変調素子からの色を決める。この決定は撮像装置がカラーの場合は撮像画像から推定しても良いし、予めプロジェクタ機種名などから決められた値を指定しても良い。はたまた、プロジェクタ装置に予め原色の色度座標として登録されていても良い。もしくは、例えばｓＲＧＢだと見なしてその値を使っても良い。ここで、最後に例示したｓＲＧＢだと見なした方法を採用したとして実施例の説明を行う。

本実施例では、正規化された輝度分布に対して、前述の色度座標情報から、シミュレーション的に各断面を合成したときに発生する色をエラー量として評価を行う。本実施例では、各直線の断面情報の各位置に於ける発色を演算する。ここではｘｙ色度座標における評価方法について説明するが、場合によってはu’v’など他の表色系において同評価値を当てはめても良い。さて、色域がｓＲＧＢ出会った場合、各断面の各位置に於けるＲＧＢの発色を以下のように算出出来る。

この式に於けるＲＧＢは各断面の任意座標に於ける０〜１に正規化された輝度レベルである。ここで計算したＸＹＺ表色系の座標をｘｙ表色系の座標に変換する。

ｓＲＧＢ色空間における白のｘｙ色度座標は
（0.313,0.329）
であるため、この色差の絶対値をエラーとして計上する。ただし、重み付けとして前期色差情報にＹ値を掛ける。

この処理を断面のすべての座標に対して行い、その総和がＲおよびＢの断面に対してシフト処理を行ったときのエラー値となる。以上の処理を、ＲおよびＢの断面を細かくシフトさせながら、この色差合計値が最小になるシフト量をそれぞれ算出すると、それをレジストレーション量と定義する。これをグラフ化した一例が図１７である。これにより、人間の目が感じる色ずれを最小とするレジストレーション量を算出することが可能となる。

プロジェクタ装置におけるレジストレーション量の定量化とレジストレーション補正を自動で行うレジストレーション補正装置に関する。

＃２０１ 液晶プロジェクタ、＃２０２ スクリーン、＃２０３ カメラ、
＃２０４ ＰＣ、＃２０５ ケーブル、＃２０６ 投射された像

Claims (3)

1. ２次元撮像装置を使って表示装置のレジストレーション量を算出するレジストレーション算出装置において、
   前記レジストレーション算出装置と前記表示装置のいずれかの機能により特定画像を表示する表示機能と、
   画素を左右または上下に画素単位で移動させる機能とを有し、
   前記表示機能から表示された映像を前記撮像装置によって撮像し、
   前記撮像から直線を形成している部位を検出する直線領域検出手段と、
   前記直線領域検出手段によって検出された複数の直線情報から前記直線領域における断面を算出する直線断面像算出手段と、
   前記直線断面像算出手段から得られた複数の直線断面像からレジストレーション量を算出するレジストレーション算出手段を有する
   ことを特徴とするレジストレーション算出装置。
2. 前記レジストレーション算出手段は、基準となる断面像とレジストレーション量算出対象となる断面像の像外形の近似量を算出する近似量算出手段を有し、前期近似量算出手段を使い対象となる断面像にシフト処理を施しながら近似量を算出し、近似量が最大となったシフト量をレジストレーション量として出力することを特徴とする請求項１に記載のレジストレーション算出装置。
3. 前記レジストレーション算出手段は、基準となる断面像とレジストレーション量算出対象となる断面像の合成によって発生する色を算出する色算出手段を有し、前期色算出手段を使い対象となる断面像にシフト処理を施しながら発生する色を算出し、前記色が最小となるシフト量をレジストレーション量として出力することを特徴とする請求項１に記載のレジストレーション算出装置。