JP2016014712A

JP2016014712A - シェーディング補正値算出装置およびシェーディング補正値算出方法

Info

Publication number: JP2016014712A
Application number: JP2014135709A
Authority: JP
Inventors: 道寿柳; Michihisa Yanagi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-07-01
Filing date: 2014-07-01
Publication date: 2016-01-28

Abstract

【課題】表示画像と撮像装置との間に障害物がある場合でも、表示画像に対するシェーディングを良好に補正するための補正値を求める。
【解決手段】シェーディング補正値算出方法は、画像表示装置によって表示面Ｓに表示された第１の表示画像を撮像装置により撮影して取得した第１の撮影画像を用いて、撮影座標系からシェーディング補正座標系への第１の写像関係を求め、第１の写像関係のうち表示面と撮像装置との間に存在する物体に対応する部分を除去して第２の写像関係を求め、第２の表示画像を撮影して取得した第２の撮影画像に対して第２の写像関係を用いた写像変換を行ってシェーディング補正座標系の一部の第１の階調値を求め、シェーディング補正座標系のうち写像変換により階調値が得られない部分の第２の階調値を補間処理により求め、第１および第２の階調値を用いて補正値を算出する。
【選択図】図１

Description

本発明は、画像投射装置や直視型表示装置によって表示される画像の輝度むらおよび色むら、すなわちシェーディングを補正するために用いられる装置および方法に関する。

画像投射装置（以下、プロジェクタという）や直視型表示装置（以下、直視ディスプレイという）によって表示された画像の輝度むらや色むらを含むシェーディングを自動的に補正する方法として、以下のようなものがある。

例えば、特許文献１には、プロジェクタまたは直視ディスプレイによる表示画像を撮影した撮像装置により得られる撮影画像を用いて、表示画像のシェーディングを抑制する方法が開示されている。また、特許文献２には、プロジェクタによる表示画像を撮影した撮像装置から得られる撮影画像を用いて、表示画像における特に筋状のシェーディングを補正する方法が開示されている。

特開２０１１−１５０３４９号公報特開２００５−０１７７１５号公報

しかしながら、特許文献１，２にて開示された方法は、表示画像とこれを撮影する撮像装置との間に障害物（遮蔽物）が設置され、撮像装置によって得られた撮影画像に障害物が写り込んでいる場合までを考慮した方法ではない。

特許文献１にて開示された方法では、撮像装置により得られた撮影画像全体に対してバンドパスフィルタをかけるため、撮影画像内から障害物が消えるほどの強度のフィルタを用いると、撮影画像からシェーディングに関する情報までが損なわれる。この結果、撮影画像から表示画像のシェーディングを良好に補正するための補正値を生成することができなくなる。また、フィルタの強度が弱いと、撮影画像中に残存する障害物に対応して補正値が生成されるため、この補正値を表示画像における対応画像部分に適用すると、不要な補正が強くかかることになる。

シェーディング補正を行う補正回路は、通常はプロジェクタにおいて光を画像変調する光変調素子（液晶パネルやデジタルマイクロミラーデバイス〈ＤＭＤ〉等）の解像度に比べてかなり低い解像度を持つように構成されている。このため、補間処理によって補正回路の解像度を光変調素子の解像度に合わせる。このような補正回路によって高周波部分を含む表示画像の補正を行うと、高周波部分の補正が不十分になるとともに、低周波部分が障害物に引っ張られて逆に色が付いてしまったり、補間処理によって意図しない色が生成されてしまったりするおそれがある。

また、特許文献２に開示された方法において、撮影画像に障害物が写り込んでいる場合にも、同様の問題が生じてしまう。

本発明は、表示画像と撮像装置との間に障害物がある場合でも、表示画像に対するシェーディングを良好に補正するための補正値を求めることができるようにした装置および方法を提供する。

本発明の一側面としてのシェーディング補正値算出方法は、画像表示装置によって表示面に表示された表示画像を撮像装置により撮影して取得した撮影画像を用いて、画像表示装置においてシェーディング補正を行うための補正値を算出する。該方法は、画像表示装置により表示された第１の表示画像を撮像装置により撮影して取得した第１の撮影画像を用いて、撮像装置の撮影座標系から画像表示装置のシェーディング補正座標系への写像の関係を示す第１の写像関係を求め、第１の写像関係のうち表示面と撮像装置との間に存在する物体に対応する部分を検出して除去することで第２の写像関係を求め、画像表示装置により表示された第２の表示画像を撮像装置により撮影して取得した第２の撮影画像に対して第２の写像関係を用いた写像変換を行ってシェーディング補正座標系の一部の階調値である第１の階調値を求め、シェーディング補正座標系のうち写像変換により階調値が得られない部分の階調値である第２の階調値を第１の階調値を用いた補間処理により求め、第１および第２の階調値を用いて補正値を算出することを特徴とする。

本発明の他の一側面としてのシェーディング補正値算出方法は、画像表示装置によって表示面に表示された表示画像を撮像装置により撮影して取得した撮影画像を用いて、画像表示装置においてシェーディング補正を行うための補正値を算出する。該方法は、画像表示装置により表示された第１の表示画像を撮像装置により撮影して取得した第１の撮影画像を用いて、撮像装置の撮影座標系から画像表示装置のシェーディング補正座標系への写像の関係を示す第１の写像関係を求め、第１の写像関係のうち表示面と撮像装置との間に存在する物体に対応する部分を検出して除去することで第２の写像関係を求め、画像表示装置により表示された第２の表示画像を撮像装置により撮影して取得した第２の撮影画像に対して第２の写像関係を用いた写像変換を行ってシェーディング補正座標系での階調値である第１の階調値を求め、第１の階調値からシェーディング補正座標系の一部の補正値である第１の補正値を求め、シェーディング補正座標系のうち写像変換により階調値が得られない部分に対する補正値である第２の補正値を第１の補正値を用いた補間処理により求めることを特徴とする。

なお、コンピュータに上記シェーディング補正値算出方法に対応する処理を実行させるコンピュータプログラムとしてのシェーディング補正値算出プログラムも、本発明の他の一側面を構成する。

本発明の他の一側面としてのシェーディング補正値算出装置は、画像表示装置によって表示面に表示された表示画像を撮像装置により撮影して取得した撮影画像を用いて、前記画像表示装置においてシェーディング補正を行うための補正値を算出する。該装置は、画像表示装置により表示された第１の表示画像を撮像装置により撮影して取得した第１の撮影画像を用いて、撮像装置の撮影座標系から画像表示装置のシェーディング補正座標系への写像の関係を示す第１の写像関係を求める手段と、第１の写像関係のうち表示面と撮像装置との間に存在する物体に対応する部分を検出して除去することで第２の写像関係を求める手段と、画像表示装置により表示された第２の表示画像を撮像装置により撮影して取得した第２の撮影画像に対して第２の写像関係を用いた写像変換を行ってシェーディング補正座標系の一部の階調値である第１の階調値を求める手段と、シェーディング補正座標系のうち写像変換により階調値が得られない部分の階調値である第２の階調値を第１の階調値を用いた補間処理により求める手段と、第１および第２の階調値を用いて補正値を算出する手段とを有することを特徴とする。

本発明の他の一側面としてのシェーディング補正値算出装置は、画像表示装置によって表示面に表示された表示画像を撮像装置により撮影して取得した撮影画像を用いて、前記画像表示装置においてシェーディング補正を行うための補正値を算出する。該装置は、画像表示装置により表示された第１の表示画像を撮像装置により撮影して取得した第１の撮影画像を用いて、撮像装置の撮影座標系から画像表示装置のシェーディング補正座標系への写像の関係を示す第１の写像関係を求める手段と、第１の写像関係のうち表示面と撮像装置との間に存在する物体に対応する部分を検出して除去することで第２の写像関係を求める手段と、画像表示装置により表示された第２の表示画像を撮像装置により撮影して取得した第２の撮影画像に対して第２の写像関係を用いた写像変換を行ってシェーディング補正座標系での階調値である第１の階調値を求める手段と、第１の階調値からシェーディング補正座標系の一部の補正値である第１の補正値を求める手段と、シェーディング補正座標系のうち写像変換により階調値が得られない部分に対する補正値である第２の補正値を第１の補正値を用いた補間処理により求める手段とを有することを特徴とする。

本発明によれば、表示面とここに表示された表示画像を撮影する撮像装置との間に物体（障害物）がある場合や表示面に歪みや欠落がある場合でも、撮影画像を用いて表示画像のシェーディング（輝度むらや色むら）を良好に補正可能な補正値を算出することができる。

本発明の実施例１および実施例２のシェーディング補正値算出装置、画像投射装置および撮像装置の配置を示す図と、該画像投射装置の構成を示すブロック図。実施例１における複数のシェーディング補正プレーンおよび各シェーディング補正プレーン上での代表ポイントを示す図。実施例１における補正ポイントのシェーディング補正値を算出する補間処理と補正ポイント（３，３）にシェーディング補正値を設定した画像を示す図。実施例１において１，２，４または８画素列ごとに異なるシェーディング補正値を設定した投射パターンを示す図。実施例１において１，２，４または８画素行ごとに異なるシェーディング補正値を設定した投射パターンを示す図。実施例１のシェーディング補正値算出装置の処理を示すフローチャート。実施例１における調整中の画像を示す図。実施例１における画素位置と写像先との関係を示す表。実施例１における分析対象画像を示す図。図９の分析対象画像を写像変換して得られた画像の階調値を示すグラフ図と、写像変換の不整合を修正した修正画像の階調値を示すグラフ図。図１０の修正画像から写像関係の一部を削除した画像の階調値を示すグラフ図。図１１の画像のうち階調値が得られた部分から離れた部分を平面近似によって補間したときの階調値を示すグラフ図と、上記階調値が得られた部分に近い部分を歪み最小アルゴリズムによって補間したときの階調値を示すグラフ図。補間元の部分から離れた部分を平面近似補間値で補間し、残りを歪み最小アルゴリズムで補間したときの階調値を示すグラフ図。代表的な階調分布の基底およびＨ方向のランプ基底を示すグラフ図。他のＨ方向のランプ基底およびＶ方向のランプ基底を示すグラフ図。基底による補間と歪み最小による補間を併用したときの階調を示すグラフと、中央の補正ポイントの値を補間元の部分から離れた部分に適用し、残りを歪み最小アルゴリズムで補間したときの階調を示すグラフ図。実施例２のシェーディング補正値算出装置の処理を示すフローチャート。

以下、本発明の実施例について図面を参照して説明する。

図１（Ａ）には、画像表示装置としての画像投射装置（以下、プロジェクタという）１０１と、本発明の実施例１であるシェーディング補正値算出装置（以下、補正値算出装置という）１０５と、撮像装置（以下、カメラという）１０３とを示している。これらは画像投射システムを構成する。

プロジェクタ１０１は、入力画像に応じて後述する光変調素子を駆動し、該光変調素子で変調した光をスクリーン等の所定の被投射面（表示面）Ｓに投射することで表示画像としての投射画像１０２を表示する。

カメラ１０３は、被投射面Ｓ上の投射画像１０２を含む撮影範囲（画角）を撮影して撮影画像を生成する。

補正値算出装置１０５は、カメラ１０３から取得した撮影画像を用いて、投射画像１０２に含まれる輝度むらや色むらを含むシェーディングを補正するための補正値（以下、シェーディング補正値）を算出する。そして、本実施例の補正値算出装置１０５は、投射画像１０２が本来表示されるべき被投射面Ｓとカメラ１０３との間に物体（以下、障害物という）１０４が存在した場合でもシェーディングを良好に補正可能なシェーディング補正値を算出する。

なお、本実施例では、補正値算出装置１０５、カメラ１０３およびプロジェクタ１０１がそれぞれ独立した装置として構成されている。ただし、これらが一体の装置（プロジェクタ）として構成されていてもよい。

図１（Ｂ）には、プロジェクタ１０１の構成を示している。プロジェクタ１０１は、シェーディング補正に関する機能として、補正値算出装置１０５からの制御に応じて後述する特定画像を投射する。また、同機能として、プロジェクタ１０１は、赤（Ｒ）用のシェーディング補正回路２０１、緑（Ｇ）用のシェーディング補正回路２０２および青（Ｂ）用のシェーディング補正回路２０３にシェーディング補正値を書き込む。さらに、これらシェーディング補正回路２０１〜２０３の初期シェーディング補正値を記憶する。

シェーディング補正回路２０１〜２０３はそれぞれ、入力されたＲＧＢの各画像（映像信号）の画素の階調値（輝度値：以下、入力階調値という）とその入力階調値を有する画素位置（以下、ポイントという）とからＲＧＢごとのシェーディング補正値を算出する。この際、予め保持した代表的なポイント（以下、代表ポイントという）でのシェーディング補正値を用いた補間処理を行って、代表ポイント以外のポイントでのシェーディング補正値を算出する。それぞれシェーディング補正値が設けられる代表ポイントおよびそれ以外のポイントをまとめて補正ポイントという。そして、補正ポイントのうち代表ポイントの入力階調値に対してはその代表ポイントでの代表シェーディング補正値を、補正ポイントのうち代表ポイント以外のポイントの入力階調値に対しては補間処理により算出したシェーディング補正値をそれぞれ加算する。

このように各シェーディング補正回路は、全てのポイントに対するシェーディング補正値を予め保持するのではなく、所定数の代表ポイントでのシェーディング補正値を保持し、それを用いて他の補正ポイントでのシェーディング補正値を算出する。代表ポイントおよびそこでのシェーディング補正値はレジスタと呼ばれる揮発領域に保存され、バスを介してレジスタに対するシェーディング補正値の書き込みと読み出しが可能である。

Ｒ用のガンマ補正回路２０４、Ｇ用のガンマ補正回路２０５およびＢ用のガンマ補正回路２０６はそれぞれ、これらに入力された階調値を任意の階調値に変換する。各ガンマ補正回路は１次元ルックアップテーブル（１ＤＬＵＴ）をレジスタに有しており、バスを介して１ＤＬＵＴの情報を読み出したり書き換えたりすることが可能である。

光変調素子としてのＲ用の光変調パネル２０７、Ｇ用の光変調パネル２０８、Ｂ用の光変調パネル２０９はそれぞれ複数の画素を有し、画素ごとに不図示の光源からの光を変調する。光変調パネルとしては、透過型液晶パネル、反射型液晶パネルおよびＤＭＤ等が用いられる。光の変調は、透過型液晶パネルでは透過率を変化させることで、反射型液晶パネルでは反射率を変化させることで、ＤＭＤではＯＮデューティー比を変化させることで行われる。これら光変調パネル２０７，２０８，２０９により変調された光が、不図示の投射光学系を介して被投射面Ｓに投射される。なお、以下の説明では、光変調パネル２０７，２０８，２０９として反射型液晶パネルを用いた場合について説明する。

映像処理回路２１０は、不図示の映像入力端子からの入力画像（映像）をＲＧＢのそれぞれの階調値に変換する。映像処理回路２１０には、ラスタ生成回路２１１が内蔵されている。ラスタ生成回路２１１は、ＲＧＢのそれぞれにおいて任意の階調を有する特定画像としてのラスタ画像を生成し、これを映像処理回路２１０から出力することができる。

情報記録回路２１２は、ガンマ補正回路２０４，２０５，２０６の入力階調に対して光変調パネル２０７，２０８，２０９の反射率（以下、パネル反射率という）をリニア等の所定の関係で変化させる１ＤＬＵＴを保存している。また、補正値算出装置１０５によって算出されたＲ，Ｇ，Ｂ用のシェーディング補正値もここに保存され、これらのデータはプロジェクタ１０１の起動時にＲ，Ｇ，Ｂ用のシェーディング補正回路２０１，２０２，２０３のそれぞれに設定される。

通信回路２１３は、補正値算出装置１０５からプロジェクタ１０１を制御する際のコマンドの通信を行う。補正値算出装置１０５からプロジェクタ１０１へのコマンドには、ラスタ階調設定コマンド、ガンマ設定コマンド、シェーディング補正値書込みコマンドおよび初期シェーディング補正値書換えコマンド等がある。ラスタ階調設定コマンドは、ラスタ生成回路２１１に対してＲＧＢの階調を設定し、映像処理回路２１０から該階調を有するラスタ画像を出力させるためのコマンドである。ガンマ設定コマンドは、情報記録回路２１２に記録されている１ＤＬＵＴを、ガンマ補正回路２０４，２０５，２０６に設定させるためのコマンドである。シェーディング補正値書込みコマンドは、シェーディング補正回路２０１，２０２，２０３にシェーディング補正値を書き込ませるコマンドである。初期シェーディング補正値書換えコマンドは、シェーディング補正回路２０１，２０２，２０３に設定されるシェーディング補正値の初期値として情報記録回路２１２に保存されている初期シェーディング補正値を書き換えさせるコマンドである。

制御回路２１４は、補正値算出装置１０５からの上記コマンドを受けて、該コマンドに対応する処理を実行させるための制御を行う。また、制御回路２１４は、プロジェクタ１０１の画像投射開始時に、各回路の初期値を情報記録回路２１２から読み出して各回路に設定する。

図２（Ａ）には、シェーディング補正回路２０１，２０２，２０３での処理を模式的に示している。ｘは画像（映像信号）の水平方向でのポイントの座標を示し、ｙは画像の垂直方向でのポイントの座標を示す。また、図２における高さは階調を示している。図中に示されている平行四辺形は、各シェーディング補正回路のレジスタに保持された、複数の特定階調に配置されたシェーディング補正プレーンを示している。各シェーディング補正プレーンでは、画像の全画素数より少ない所定数の代表ポイントのそれぞれに対してシェーディング補正値（以下、代表シェーディング補正値という）が保持されている。

特定階調における代表ポイント以外の補正ポイントでのシェーディング補正値は、その特定階調においてその補正ポイントに近い２つ以上（例えば４つ）の代表ポイントでの代表シェーディング補正値を用いた補間処理により算出される。

また、特定階調以外の補正対象階調における補正ポイントでのシェーディング補正値は、以下のよう算出される。まず、補正対象階調を挟む２つの特定階調のシェーディング補正プレーンが選択される。次に、選択された２つのシェーディング補正プレーンのそれぞれにおいて補正ポイントに対応するポイントでのシェーディング補正値（代表シェーディング補正値または同プレーン上での補間処理により算出されたシェーディング補正値）が選択される。そして、選択された２つのシェーディング補正値およびこれらシェーディング補正値の階調である２つの特定階調と補正対象階調との比を用いた線形補間によって、補正対象階調における補正ポイントでのシェーディング補正値が算出される。

なお、最も低い特定階調のシェーディング補正プレーンより低い補正対象階調に対しては、最も低い階調のシェーディング補正値を０とした線形補間によってシェーディング補正値を求める。最も高い特定階調のシェーディング補正プレーンより高い補正対象階調に対しても、同様である。

図２（Ｂ）には、各シェーディング補正回路に設けられた１つのシェーディング補正プレーンを示している。図中においてメッシュで囲まれた領域には、白色の部分と灰色の部分とが含まれ、灰色の部分が光変調パネルの有効画素領域を示し、灰色の部分と白色の部分とを合わせた領域がシェーディング補正回路にてシェーディング補正値の算出が可能な領域を示す。白色の部分は、シェーディング補正値を演算するにあたって必要のない余分な領域と考えることもできるが、多くの場合、代表ポイントはメッシュ状に等間隔に配置されるため、必ずしも代表ポイントの間隔の整数倍が有効画素領域にならない。このため、一般的には有効画素領域よりも広い領域をシェーディング補正領域として準備することが多い。ここで示しているメッシュ状の線は、代表ポイントを明示するために示したものであり、実際に光変調パネル上に表示されるわけではない。メッシュの交点それぞれが代表ポイントの位置である。

この図では、１つのシェーディング補正プレーン上に、横１６個、縦１２個の計１９２個の代表ポイントが設けられ、それぞれの代表ポイントに対して代表シェーディング補正値が保持されている。前述したように、シェーディング補正プレーン上での代表ポイント以外の補正ポイントに対するシェーディング補正値は、この補正ポイントを囲む４つの代表ポイントでの代表シェーディング補正値から線形補間によって算出される。

図３（Ａ）は、シェーディング補正プレーン上での４つの代表ポイントでの代表シェーディング補正値から線形補間によって算出されるシェーディング補正値を示している。

ｃ_i,j，ｃ_i+1,j，ｃ_i,j+1，ｃ_i+1,j+1は、４つの代表ポイント（ｉ，ｊ），（ｉ＋１，ｊ），（ｉ，ｊ＋１），（ｉ＋１，ｊ＋１）での代表シェーディング補正値を示している。Ｈは水平方向における代表ポイントの配置間隔を、Ｖは垂直方向における代表ポイントの配置間隔をそれぞれ示している。ｘ′，ｙ′は、代表ポイントに対する補正ポイントの相対的なポイントを示している。補正ポイントでのシェーディング補正値は、

により算出することができる。

図３（Ｂ）には、任意の補正ポイントの階調に対するシェーディング補正値を示している。シェーディング補正プレーン上における補正ポイントでのシェーディング補正値は前述の計算によって求まる。図では、複数（ここでは５つとする）のシェーディング補正プレーンが配置された特定階調をそれぞれ、ｐ_１，ｐ_２，ｐ_３，ｐ_４，ｐ_５とし、それぞれの補正プレーンにおけるあるポイントでのシェーディング補正値を、ｃ_１，ｃ_２，ｃ_３，ｃ_４，ｃ_５としている。また、補正ポイントの階調をｐとし、この階調ｐを挟む２つのシェーディング補正プレーンの階調をｐ_ｎ，ｐ_ｎ＋１（ｐ_ｎ＜ｐ＜ｐ_ｎ＋１）とする。さらに、これら２つのシェーディング補正プレーンから得られたシェーディング補正値をｃ_ｎ，ｃ_ｎ＋１とする。
このとき、補正ポイントに対するシェーディング補正値は、

により算出される。

図３（Ｃ）には、補正ポイント（３，３）にプラスのシェーディング補正値を設定した際のシェーディング補正後の画像を示している。この画像は、ラスタ生成回路２１１から出力されたパネル反射率が５０％となる階調を有するラスタ画像の補正ポイント（３，３）にシェーディング補正値を加算した様子をシミュレーションしたものである。

図４（Ａ）〜（Ｅ）と図５（Ａ）〜（Ｅ）には、撮影画像から補正ポイントの階調を推定するためにプロジェクタ１０１に投射画像を表示させる際に各シェーディング補正回路に設定されるシェーディング補正値のパターン、つまりは投射パターンの例を示している。ここに示す投射パターンを有する投射画像をカメラ１０３で撮影し、撮影画像を分析することにより、カメラ１０３の撮影座標系とシェーディング補正回路の座標系（シェーディング補正座標系）との対応関係を確定することが可能となる。

この手法に近い手法として、グレイ・コード・パターンと呼ばれる２値画像から座標の対応関係を算出する手法が知られている。しかし、本実施例では既に実装されているシェーディング補正回路を使って投射パターンを表示することにより、簡単に複数の投射パターンを表示することができる。また、最終的にシェーディング補正値を求めたい補正ポイントと確実に対応がとれている画像を投射することもできる。さらに、シェーディング補正回路からの出力がなだらかに変化する投射パターンを有するため、背景差分によって得られた階調分布がそのまま確率と対応する。このため、どの補正ポイントと対応する領域かを分析する際に誤りを少なくすることができる。上記確率として不明確となった領域は、明確に属すると判定された部分からの距離を算出することにより、更に高精度に属する領域の判定が可能となる。本手法を用いることにより、シェーディング補正を施す際に必ずしも投射面は平面である必要がなくなり、曲面や不連続面に投射する場合でも良好なシェーディング補正を行うことが可能となる。また、補正ポイントに対応した階調分布が得られることから、撮影画像に障害物１０４が写り込んだ場合でも補間処理によって該障害物１０４が写り込んだ領域での本来の階調を推定することが可能となる。

図６のフローチャートには、本実施例における処理（シェーディング補正値算出方法）の流れを示している。本処理は、コンピュータプログラムとしてのシェーディング補正値算出プログラムに従って動作する補正値算出装置１０５と、該補正値算出装置１０５からコマンドを受けたプロジェクタ１０１およびカメラ１０３とにより実行される。

処理の全体的な流れは、以下の通りである。まず投射画像とその撮影画像、つまりはシェーディング補正値が設定される補正ポイントと撮影画像を構成する画素との対応関係（第１の写像関係）を分析する。次に、この分析結果から、撮影画像において障害物が写り込んだ領域（以下、障害物領域という）での上記対応関係を除去し、除去した対応関係以外の対応関係（第２の写像関係）を用いて、障害物領域内の補正ポイントの階調値を推定する。そして、全ての補正ポイントの階調値から各補正ポイントに与えるシェーディング補正値を算出する。シェーディング補正値の算出は、これが十分に収束するまで繰り返す。シェーディング補正値が十分に収束したとき又は算出の繰り返し回数が所定回となるまでにシェーディング補正値が十分に収束しなかったときは、処理を終了する。以下、本処理の詳細について説明する。

補正値算出装置１０５は、ステップＳ６０１で本処理を開始すると、ステップＳ６０２において、カメラ１０３にプロジェクタ１０１による投射画像を含む撮影範囲での撮影を行わせ、撮影画像（第１の撮影画像）を生成させる。この撮影は、カメラ１０３の撮影座標系、言い換えれば撮影画像における座標系と、シェーディング補正回路によるシェーディング補正座標系との対応関係である写像関係（第１の写像関係）を確定するために行われる。この際、補正値算出装置１０５は、プロジェクタ１０１に対して図４（Ａ）〜（Ｅ）と図５（Ａ）〜（Ｅ）で示した投射パターンに対応するシェーディング補正値を設定させるコマンドを送信する。これにより、上記投射パターンを有する複数の投射画像が撮影される。図７には、これら複数の投射画像の撮影によって得られる複数の撮影画像（第１の撮影画像）の例を示している。

また、上記投射パターン以外に、すべての補正ポイントのシェーディング補正値が０に設定された結果として得られる投射画像と、すべての補正ポイントのシェーディング補正値が０以外のある値に設定された結果として得られる投射画像も撮影する。以下、前者の投射画像の撮影により得られた撮影画像を補正値ＬＯ画像といい、後者の投射画像の撮影により得られた撮影画像を補正値ＨＩ画像とする。これら補正値ＨＩ画像および補正値ＬＯ画像も第１の撮影画像に含まれる。

ここで得られる撮影画像は前述した写像関係を確定するためのみに用いられる。このため、ＲＧＢごとのシェーディング補正回路２０１〜２０３と投射画像との座標関係がほぼ一対一であれば、例えばプロジェクタ１０１にＧの画像のみを投射させ、カメラ１０３から得られる撮影画像のうちＧ成分のみを使って分析してもよい。本実施例では、各シェーディング補正回路と投射画像の座標関係がほぼ一対一であるとして説明を続ける。

ステップＳ６０３では、補正値算出装置１０５は、ステップＳ６０２で得られた撮影画像をシェーディング補正回路の分解能に合った画像に変換して写像関係を確定する処理を行う。この写像関係は、撮影画像における画素のそれぞれを、シェーディング補正回路２０１〜２０３が有する補正ポイントのどれに写像するかを示すとともに、補正ポイントに写像された画素数を示す。

本実施例では、写像関係を、図４（Ａ）〜（Ｅ）と図５（Ａ）〜（Ｅ）で示した投射パターンを有する投射画像を撮影して得られた撮影画像の各画素値を、補正値ＬＯ画像と補正値ＨＩ画像を用いて０.０から１．０までの値に正規化する。この正規化の際に、
補正値ＨＩ画像の画素値−補正値ＬＯ画像の画素値
により算出された差分画素値が負または固定値である場合もしくは該差分画素値の分散から算出される閾値を下回る場合は、そもそも投射画像を構成する画素ではないとして写像関係を求める対象から外す。そして、それ以外の画素を投射画像を構成する画素であるとして写像関係を求める。

正規化された画素値をｘ_ｉ（ｉ＝１，２，３，．．．，ｎ）とし、これをまとめて、

とおく。
撮影画像の画素が写像されるべき補正ポイントのクラスをω_ｊとすると、該クラスω_ｊは以下の計算式で求めることができる。

ここで、Ｐ（ω_ｊ）、Ｐ（Ｘ｜ω_ｊ）、Ｐ（Ｘ）は正の値しかとらず、Ｐ（Ｘ）はｉに依存しない固定値であるため、各クラスに属する確率の大小関係を考える場合にはＰ（Ｘ）を考える必要がない。このことから、上式は下式のように変形できる。

また、計算を簡略化するため、Ｐ（ω_ｊ）を一定とすると、Ｐ（ω_ｊ）が正の定数となるため、

となる。
最後に、

と定義する。この式中のＨＩおよびＬＯは、各画像の画素値が写像先に対するビット情報と対応するように構成されているため、すべての画素位置に対する写像先を確定することが可能となる。この構造は、基本的にグレーコードと同じ構造をしている。また、必ずしもここで計算される写像先はシェーディング補正回路上の位置と対応している必要はなく、計算された写像先を改めてシェーディング補正回路上の位置に写像変換させてもよい。

この計算により、撮影画像の各画素が属する補正ポイントとその写像画素数を求めることができる。

以上のようにして写像関係が確定されるが、補正ポイントの境界では誤判定をしてしまう場合もある。図８には、例として、６２×３９の補正ポイントに対して上記処理を施して得られた写像関係の一部を表にして示している。２４１８と書かれた箇所が判定不能として処理された画素を示している。互いに隣接する画素で写像先が同じである複数の画素を含む領域を同写像先領域と称する場合に、この同写像先領域に含まれる画素数が所定値（例えば１０）以下であるものは判定不能画素として判定する。この処理により、判定不能画素と判定された画素に対しては、少なくともプロジェクタ１０１によって表示された投射画像内の画素である限り、いずれかの同写像先領域に属するよう処理を行う。例えば、２４１８の値が何処への写像先になっているかについて考える。まず、２４１８と表記された部分はエッジ状に分布しているため、補正ポイントの写像先としては適していないことが分かる。また、前述した通り補正ポイントの横幅が６２であることから、補正ポイントの位置を示している値として２４１８がここに存在することはあり得ない。つまり、３７６−３１４＝６２，３１４−２５２＝６２というように、補正位置は上下方向で見たときに６２又はこれに近い値となっているはずである。そこで、本来ならその隣接する写像先のうちの何れかになるべきだった箇所であることが想像できる。これを解決するために、２４１８が３１４か３７６の何れかであるとして判定する場合を考える。２４１８を２進数表記すると（１００１０１１１００１０）ｂであり、３１４は（０００１００１１１０１０）ｂであり、２４１８と比べると３ビット値が異なる。３７６は（０００１０１１１１０００）ｂであり、こちらも３ビット異なる。もし、変化したビット数が少ない方が存在した場合は、変化が少なかった方が本来与えられる値だったと分かるが、この場合は判別できない。逆にいえばどちらの値だったとしてもさほど影響がないとも言えるため、この場合はランダムに３１４か３７６を与えてもよい。本実施例では、各２４１８が与えられた周辺領域（本実施例では５×５画素）を構成する領域に存在する写像値の頻度を計数し、その値を写像値として置き換える。このような置き換えの方法は様々あり、いずれの置き換え方法を用いてもよい。
ここまでの処理で、撮影画像から補正ポイントへの写像関係と該補正ポイントに写像する画素数とを明確することができる。写像した画素値は階調に比例しており、この画素値の総和を写像する画素数で割ったものがその補正ポイントにおける相対的な階調値となる。

図９には写像元となる撮影画像の例を示している。図１０（Ａ）には、図９の撮影画像から補正ポイントへの写像を実行することで得られた水平方向Ｈと垂直方向Ｖにおける相対的な階調Ｖの分布を示している。なお、図９の撮影画像は図７の撮影画像に対して上下が逆になっているが、これは図１０（Ａ）における階調方向（下側ほど階調が低い）に対応させるためである。

図１０（Ａ）中において階調の変化が滑らかではない部分（凹凸部分や急激な階調変化部分）がいくつかあるが、これらは写像関係の誤判定の影響を受けた部分や急激な階調の低下を無理やり処理した部分である。そこで、まず複数の領域が同じ写像先を示している場合の処理について考える。２つ以上の領域が同じ写像先を示すのは、障害物によって補正ポイントが撮影画像上の２つ以上の領域に分断された場合と、誤判定によって本来は写像対象となっていない領域を含んだ場合である。本実施例では、２つ以上の領域に分断されている場合には、そのうち最も信頼性が高い領域以外の領域を削除する。具体的には、該２つ以上の領域のそれぞれに対して合理性判断を行う。
例えば、写像先領域が２ヶ所ある場合には、それぞれの領域（上下左右で同じ写像先を示している箇所を領域としてグループ化する）を構成している要素数が多い方のみを残す方法が考えられる。また、別の方法としては、３１４の写像先の周りには２５３，２５２，２５１，３１３，３１５，３７５，３７６，３７７が存在するはずであるから、これらの写像先を構成している位置の重さを１とした重心位置をそれぞれ算出する。この周りとして検出するそれぞれの領域が２ヶ所以上ある場合は、それぞれ重心位置を計算し、対象となっている３１４領域の重心に近いものを考えるものとする。このようにして、周辺の領域それぞれに対する距離を算出し、その合計を計算し、その値が小さい領域を主領域と考え、それ以外の３１４として検出された領域は削除する。なお、ここで示した合理性判断は例にすぎず、あらゆるバリエーションを用いてもよい。

また、写像される画素が存在しない補正ポイントの周辺の補正ポイントへの写像関係も削除する。この処理は、後に分散を算出する際の障害とならないようにするための処理である。また、後の補間処理において急激な階調変化に起因して極端なデータが生成されることを防ぐための処理でもある。

これらの処理を行った後の補正ポイントに対する相対階調値を図１０（Ｂ）に示している。この図から分かるように、図１０（Ａ）において見られた凹凸部分や急激な階調変化部分が除去されている。

次に、写像関係における障害物に対応する部分の検出および除去について説明する。本実施例では、基本的な考え方として、シェーディング補正回路で補正不可能な空間周波数以上の信号を検出した場所のシェーディング補正値は推定によって生成する。これは、急激な階調変化がある部分に空間周波数が低い回路で補正をすると弊害が多いことを意味している。

本実施例では、空間周波数が補正回路に対して高いと判断する指標として、補正ポイントごとに写像される画素値（階調値）に対してそのばらつき度を示す分散をとる。そして、補正ポイントごとの分散値のうち最小の分散値に対して所定の実数倍以上大きい分散値の補正ポイントに対する写像関係部分（つまりは他の部分よりも分散が大きい部分）を除去する。こうして障害物に対応する部分が除去された写像関係（第２の写像関係）が求められる。この写像関係を用いて処理を行った補正ポイントに対する相対階調を図１１に示す。この図から分かるように、障害物の領域が良好に除去できている。なお、画素値のばらつき度を示す指標として標準偏差を用いてもよい。また、単に周辺の画素値との差が大きな部分を除去するだけでも非常に効果的である。発明者による実験では、本実施例の構成においては約２％以上の輝度変化が見られる領域は、障害物の影響を受けたとして写像関係を除去すると良いと検討した。

ステップＳ６０４では、補正値算出装置１０５は、プロジェクタ１０１に明るい均一階調から暗い均一階調までの第２の表示画像としての無彩色画像を複数（例えば、１０画像）投射させる。そして、カメラ１０３に、シェーディング補正値の算出のために、それぞれの無彩色画像を撮影させる。補正値算出装置１０５は、カメラ１０３から得られた第２の撮影画像としての複数の撮影画像に対して背景差分処理を施す。

また、一般に、プロジェクタ１０１によって投射される原色の分光とカメラ１０３における各原色の分光感度とは異なっている。このため、本実施例では、予めプロジェクタ１０１からＲＧＢの各原色（単色）を投射させ、それに対するカメラ１０３の応答特性を分析しておく。そして、カメラ１０３により得られる各原色の撮影画像をプロジェクタ１０１が投射する各原色に対応させるカラーマトリックス変換を行う。これにより、シェーディング補正値の算出精度が向上する。

プロジェクタ１０１からＲＧＢの各原色を投射したときのカメラの応答が、

であるとする。また、任意のプロジェクタ投射光に対するカメラの応答が、

であるときのプロジェクタ１０１の相対的なパネル反射率としての

は、以下の式で表される。

相対的なパネル反射率としたのは、カメラ１０３からは信頼できる絶対的なパネル反射率を得ることが難しいためである。ただし、プロジェクタ１０１からの投射画像に対する正しいパネル反射率の情報は少なくとも投射画像の中心部に関しては分かっているため、この情報を組み合わせることにより、補正ポイントでのシェーディング補正値を十分に精度良く算出することができる。

ステップＳ６０５では、補正値算出装置１０５は、ステップＳ６０４で得られた背景差分処理およびカラーマトリックス変換後の撮影画像（第２の撮影画像）に対して、ステップＳ６０３で算出した写像関係（第２の写像関係）に従って写像変換を施す。これにより、シェーディング補正座標系（全補正ポイント）のうち一部の補正ポイントの階調値（第１の階調値）を求める。さらに、シェーディング補正座標系内の補正ポイントのうち写像される画素が存在しない部分、つまりは写像変換により階調値が得られない部分に対しては、写像関係により得られた階調値を用いた補間処理によって階調値（第２の階調値）を推定する。これにより、全補正ポイントに対して、写像変換又は補間処理によって階調値（第１および第２の階調値）が得られる。

すなわち、ステップＳ６０４で得られた撮影画像は原色ごとに写像変換が施され、図１１に相当する補正ポイントに対応した相対的な階調値に変換される。図１１で明るさが検出されていない部分が上記補間処理の対象部分となる。

補間方法は幾つも考えられ、最も単純な方法としては、図１２（Ａ）に示すように、得られた情報から平面近似する方法がある。しかし、これだけではあまり優れた補間方法とは言えない。図１２（Ｂ）には、別の補間方法による結果を示しており、こちらの方が人間の見た目にも優れた補間がなされていると分かる。図１２（Ｂ）では、階調の歪みを最小にする補間方法を採用した結果を示している。すなわち、

を最小にする補正ポイントの相対的階調ｃ（ｘ_ｉ，ｙ_ｉ）を求める。上記色において、Ｄ_１，Ｄ_２は、上記演算を行うに際して適した集合を示している。

また、他の補間方法には以下のものがある。補正ポイントの相対的階調値が与えられていない部分に対して、相対的階調値が与えられている部分からの距離を算出し、その距離が所定距離以上長い（離れた）部分に対しては、図１２（Ａ）に示した平面近似補間値（一定の補間値）で補間する。そして、上記距離が所定距離未満の部分に対しては、前述した階調の歪みを最小にするアルゴリズムを適用して図１３に示したような結果を得ることも考えられる。

さらに、別の補間方法としては、補正ポイントの相対的階調値が与えられているデータの列ベクトルＣを作成し、座標が対応している図１４（Ａ），（Ｂ）および図１５（Ａ），（Ｂ）に示す基底φ_１，φ_２，φ_３，φ_４を用いて、未知の係数Ｋを次式から求めてもよい。

この式を用いて演算した結果を、前述した平面を合成する代わりに用いて補間した結果を図１６（Ａ）に示す。

また、補正ポイントの相対的階調値が与えられていない部分に対して、相対的階調値が与えられている部分からの距離を算出し、その距離が所定距離以上である部分に対して中央の補正ポイントの諧調値をそのまま適用する方法もある。この方法では、結果的に算出される中央の補正ポイントのシェーディング補正値が０となることから、この値を前述の領域に割り当てることによって補正なしの状態を実現することができる。さらに、上記距離が所定距離未満の部分に対しては前述したアルゴリズムによって補間することで、誤りの少ないシェーディング補正値を算出することが可能となる。この方法の結果を図１６（Ｂ）に示す。

このように、補間方法や基底のとり方は数多くあり、いずれの補間方法や基底のとり方を用いてもよい。

こうして補正値算出装置１０５は、全補正ポイントに対するＲＧＢごとの相対的階調分布（第２の階調情報）を得る。そして、ステップＳ６０６では、補正値算出装置１０５は、これら相対的階調分布と情報記録回路２１２に記録されたガンマ情報とから、各シェーディング補正回路に設定するシェーディング補正値を算出する。

シェーディング補正値の算出方法の例について説明する。ここでは、プロジェクタ１０１においてＧについて最大パネル反射率が設定されたときのＧのシェーディング外形に他の階調およびＲおよびＢのすべての階調を近づける補正を行う場合について説明する。Ｇについて最大パネル反射率が設定されたときのシェーディングに合わせる理由は、プロジェクタ１０１からの投射画像をできるだけ明るく調整したいためである。

前述したステップＳ６０４では、補正値算出装置１０５は、カメラ１０３に、１００％のパネル反射率を含む複数のパネル反射率での白色画像を撮影させる。このため、これら複数の白色撮影画像において互いに対応する補正ポイントにおける相対的階調分布が得られている。そして、それぞれの相対的階調分布が得られたときのプロジェクタ１０１におけるパネル反射率は分かっているため、これらの情報から補正ポイントのそれぞれにおける相対的明るさの応答が分かる。また、前述したように、シェーディング外形としてのターゲットも分かっていることから、検出された誤差を補正するための補正値はそれぞれの補正ポイントごとに得られている応答特性から一意に求めることが可能となる。

ステップＳ６０７では、補正値算出装置１０５は、ステップＳ６０６で算出したシェーディング補正値のうち最大のシェーディング補正値と、ステップＳ６０４〜６０７のループ回数を監視する。そして、最大シェーディング補正値が所定値以下に収束し又はループ回数が所定回数に達すると、本処理を終了する。これらに該当しなければ、ステップＳ６０４に戻ってシェーディング補正値の算出を繰り返す。ステップＳ６０４〜６０７のループ１回で十分な精度が得られれば、該ループを繰り返す必要はない。

補正値算出装置１０５は、得られたシェーディング補正値を、プロジェクタ１０１の情報記録回路２１２にシェーディング補正回路２０１〜２０３に設定する初期シェーディング補正値として書き込む。

次に、本発明の実施例２について説明する。ここでは、シェーディング補正値の算出時の補間について説明する。本実施例において、実施例１と共通する構成要素には実施例１と同符号を付して説明に代える。

図１７のフローチャートには、本実施例における処理の流れを示している。本処理は、補正値算出装置１０５と、該補正値算出装置１０５からコマンドを受けたプロジェクタ１０１およびカメラ１０３とにより実行される。

補正値算出装置１０５は、ステップＳ１８０１で本処理を開始すると、実施例１（図６）のステップＳ６０２，Ｓ６０３およびＳ６０４と同様のステップＳ１８０２，Ｓ１８０３およびＳ１８０４での処理を行う。

ステップＳ１８０５では、補正値算出装置１０５は、実施例１のステップＳ６０５で行った補間処理を行わず、定義されている写像関係のみを処理し、写像関係が存在しない相対階調値は未定義のままとする。

ステップＳ１８０６では、補正値算出装置１０５は、ステップＳ１８０５で算出した相対的階調値（第１の階調値）と情報記録回路２１２に記録されたガンマ情報とから、各シェーディング補正回路（２０１〜２０３）に設定するシェーディング補正値を算出する。すなわち、ステップＳ１８０５で算出した相対的階調値からシェーディング補正座標系（全補正ポイント）のうち一部の補正ポイントのシェーディング補正値（第１の補正値）を求める。

この際、ガンマ情報（ガンマテーブル）は基本的に画像の中央の特性に対応しているため、補正ポイントに対応した相対的階調値として画像の中央の値が存在していない場合は正しい補正を行うことができない。このような場合の選択肢としては、エラーとして処理する方法と、できるだけ中央に近い相対的階調値を中央の相対的階調値とみなして処理を行う方法とがある。また、前述した実施例１の処理を行って画像の中央における相対的階調値を用いる方法もある。本実施例では、このような場合にはエラーとして処理する。

中央の補正ポイントの相対的階調値がステップＳ１８０５にて得られた場合の処理について引き続き説明する。補正値算出装置１０５は、記録情報回路２１２に記録されたガンマテーブルを用いて、補正ポイントの相対的階調値の正規化を行う。具体的には、補正値算出装置１０５は、相対的輝度値に対応した画像を撮影して得られた階調をガンマテーブルを用いてパネル反射率に変換する。そして、補正ポイントの相対的輝度値にパネル反射率／中央の相対的階調値を乗じることによって、補正ポイントの相対的輝度値をパネル反射率に換算した画像を得ることが可能となる。

なお、この計算で用いるパネル反射率は、光変調パネルを駆動した階調から逆演算するまでもない。多くの場合、パネル反射率は、特定のパネル反射率の画像を得ることを目的としてそもそも管理されており、そのパネル反射率に応じて階調値をガンマテーブルから算出してラスタ画像を投影するため、パネル反射率は予め分かっている。もちろん、階調値を特定する場合は、ガンマテーブルを用いてパネル反射率を換算する。

ここで算出された補正ポイントでの相対的パネル反射率は、補正ポイントごとに、例えばスプライン補間によって、あらゆる入力パネル反射率に対する実際のパネル反射率（以下、出力パネル反射率という）を推定することを可能とする。

補正値算出装置１０５は、このようにして得られた補正ポイントに対する相対的パネル反射率の情報から、各シェーディング補正回路に与えるシェーディング補正値を演算する。具体的には、中央の補正ポイントを基準とするため、該中央のシェーディング補正値は０に固定する。

また、例えばＧ用光変調パネルの１００％反射率でのシェーディング補正値は０とすると予め決めた場合、このＧ用光変調パネルの１００％反射率が設定された補正ポイントのパネル反射率を基準とする。この場合、光変調パネルおよび補正ポイントごとに、特定のパネル反射率（階調）に配置するシェーディング補正プレーンにおいて理想的なパネル反射率が得られるように、推定されたそれぞれの階調におけるパネル反射率に対する理想反射率算出する。そして、その理想反射率を満たすような補正値を既知のガンマ情報を用いて算出する。この処理により、該シェーディング補正プレーンに設定するシェーディング補正値が確定する。このような処理を各光変調パネルおよび各シェーディング補正プレーンに対して行い、色ごとのシェーディング補正値を決定する。

なお、シェーディング補正値は予めパネル反射率が算出できる補正ポイントしか決定できず、パネル反射率が算出できない補正ポイントはシェーディング補正値が未決定の補正ポイントとなる。本実施例では、このシェーディング補正値未決定の補正ポイントに対しては、実施例１で説明した階調値に対する補間処理と同様に、決定済みのシェーディング補正値を用いた補間処理によってシェーディング補正値（第２の補正値）を算出する。

例えば、補間処理においては、シェーディング補正値が得られた部分から該補間処理の対象となる部分までの距離を算出し、該距離が所定距離以上の部分は一定の補間値を用いた補間を行う。また、上記距離が所定距離未満の部分はシェーディング補正による階調の歪みを最小にする補間を行う。

ここで説明したシェーディング補正プレーンを配置する階調は、予めパネル反射率に対応して決めておいてもよいし、シェーディングのずれが多い階調に対して配置してもよい。

ステップＳ１８０７では、補正値算出装置１０５は、ステップＳ１８０６で算出したシェーディング補正値のうち最大シェーディング補正値が所定値以下に収束し又はステップＳ１８０４〜Ｓ１０８７のループ回数が所定回数に達すると本処理を終了する。ここにいう最大シェーディング補正値は、パネル反射率換算値が望ましいが、シェーディング補正値そのものでもよい。そして、これらに該当しなければ、ステップＳ１８０４に戻る。実施例１と同様に、ステップＳ１８０４〜１８０７のループ１回で十分な精度が得られれば、該ループを繰り返す必要はない。

上記各実施例では、画像表示装置として被投射面に画像を投射して画像を表示するプロジェクタを用いる場合について説明したが、各実施例にて説明したシェーディング補正値の算出方法は、直視型ディスプレイを用いる場合にも適用することができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１画像投射装置（プロジェクタ）
１０３撮像装置（カメラ）
１０５シェーディング補正値算出装置

Claims

画像表示装置によって表示面に表示された表示画像を撮像装置により撮影して取得した撮影画像を用いて、前記画像表示装置においてシェーディング補正を行うための補正値を算出するシェーディング補正値算出方法であって、
前記画像表示装置により表示された第１の表示画像を前記撮像装置により撮影して取得した第１の撮影画像を用いて、前記撮像装置の撮影座標系から前記画像表示装置のシェーディング補正座標系への写像の関係を示す第１の写像関係を求め、
前記第１の写像関係のうち前記表示面と前記撮像装置との間に存在する物体に対応する部分を検出して除去することで第２の写像関係を求め、
前記画像表示装置により表示された第２の表示画像を前記撮像装置により撮影して取得した第２の撮影画像に対して前記第２の写像関係を用いた写像変換を行って前記シェーディング補正座標系の一部の階調値である第１の階調値を求め、
前記シェーディング補正座標系のうち前記写像変換により前記階調値が得られない部分の階調値である第２の階調値を前記第１の階調値を用いた補間処理により求め、
前記第１および第２の階調値を用いて前記補正値を算出することを特徴とするシェーディング補正値算出方法。
画像表示装置によって表示面に表示された表示画像を撮像装置により撮影して取得した撮影画像を用いて、前記画像表示装置においてシェーディング補正を行うための補正値を算出するシェーディング補正値算出方法であって、
前記画像表示装置により表示された第１の表示画像を前記撮像装置により撮影して取得した第１の撮影画像を用いて、前記撮像装置の撮影座標系から前記画像表示装置のシェーディング補正座標系への写像の関係を示す第１の写像関係を求め、
前記第１の写像関係のうち前記表示面と前記撮像装置との間に存在する物体に対応する部分を検出して除去することで第２の写像関係を求め、
前記画像表示装置により表示された第２の表示画像を前記撮像装置により撮影して取得した第２の撮影画像に対して前記第２の写像関係を用いた写像変換を行って前記シェーディング補正座標系での階調値である第１の階調値を求め、
前記第１の階調値から前記シェーディング補正座標系の一部の前記補正値である第１の補正値を求め、
前記シェーディング補正座標系のうち前記写像変換により前記階調値が得られない部分に対する前記補正値である第２の補正値を前記第１の補正値を用いた補間処理により求めることを特徴とするシェーディング補正値算出方法。
前記第１の写像関係から、前記物体に対応する部分とその周辺の部分とを除去して前記第２の写像関係を求めることを特徴とする請求項１または２に記載のシェーディング補正値算出方法。
前記第２の撮影画像の取得から前記補正値の算出までの処理を、該補正値が所定値以下になるまで繰り返すことを特徴とする請求項１から３のいずれか一項に記載のシェーディング補正値算出方法。
前記物体に対応する部分を、前記第１の写像関係を用いた写像変換によって得られる階調値のばらつき度が他の部分より大きい部分として求めることを特徴とする請求項１から４のいずれか一項に記載のシェーディング補正値算出方法。
前記補間処理において、前記第１の階調値が得られた部分から該補間処理の対象となる部分までの距離を算出し、該距離が所定距離以上の部分に対しては一定の補間値を用いた補間を行い、前記距離が前記所定距離未満の部分に対しては階調の歪みを最小にする補間を行うことを特徴とする請求項１に記載のシェーディング補正値算出方法。
前記補間処理において、前記第１の補正値が得られた部分から該補間処理の対象となる部分までの距離を算出し、該距離が所定距離以上の部分に対しては一定の補間値を用いた補間を行い、前記距離が前記所定距離未満の部分に対しては階調の歪みを最小にする補間を行うことを特徴とする請求項２に記載のシェーディング補正値算出方法。
コンピュータに、画像表示装置によって表示面に表示された表示画像を撮像装置により撮影して取得した撮影画像を用いて、前記画像表示装置においてシェーディング補正を行うための補正値を算出させるコンピュータプログラムとしてのシェーディング補正値算出プログラムであって、
前記コンピュータに、
前記画像表示装置により表示された第１の表示画像を前記撮像装置により撮影して取得した第１の撮影画像を用いて、前記撮像装置の撮影座標系から前記画像表示装置のシェーディング補正座標系への写像の関係を示す第１の写像関係を求めさせ、
前記第１の写像関係のうち前記表示面と前記撮像装置との間に存在する物体に対応する部分を検出して除去することで第２の写像関係を求めさせ、
前記画像表示装置により表示された第２の表示画像を前記撮像装置により撮影して取得した第２の撮影画像に対して前記第２の写像関係を用いた写像変換を行って前記シェーディング補正座標系の一部の階調値である第１の階調値を求めさせ、
前記シェーディング補正座標系のうち前記写像変換により前記階調値が得られない部分の階調値である第２の階調値を前記第１の階調値を用いた補間処理により求めさせ、
前記第１および第２の階調値を用いて前記補正値を算出させることを特徴とするシェーディング補正値算出プログラム。
コンピュータに、画像表示装置によって表示面に表示された表示画像を撮像装置により撮影して取得した撮影画像を用いて、前記画像表示装置においてシェーディング補正を行うための補正値を算出させるコンピュータプログラムとしてのシェーディング補正値算出プログラムであって、
前記コンピュータに、
前記画像表示装置により表示された第１の表示画像を前記撮像装置により撮影して取得した第１の撮影画像を用いて、前記撮像装置の撮影座標系から前記画像表示装置のシェーディング補正座標系への写像の関係を示す第１の写像関係を求めさせ、
前記第１の写像関係のうち前記表示面と前記撮像装置との間に存在する物体に対応する部分を検出して除去することで第２の写像関係を求めさせ、
前記画像表示装置により表示された第２の表示画像を前記撮像装置により撮影して取得した第２の撮影画像に対して前記第２の写像関係を用いた写像変換を行って前記シェーディング補正座標系での階調値である第１の階調値を求めさせ、
前記第１の階調値から前記シェーディング補正座標系の一部の前記補正値である第１の補正値を求めさせ、
前記シェーディング補正座標系のうち前記写像変換により前記階調値が得られない部分に対する前記補正値である第２の補正値を前記第１の補正値を用いた補間処理により求めさせることを特徴とするシェーディング補正値算出プログラム。
画像表示装置によって表示面に表示された表示画像を撮像装置により撮影して取得した撮影画像を用いて、前記画像表示装置においてシェーディング補正を行うための補正値を算出するシェーディング補正値算出装置であって、
前記画像表示装置により表示された第１の表示画像を前記撮像装置により撮影して取得した第１の撮影画像を用いて、前記撮像装置の撮影座標系から前記画像表示装置のシェーディング補正座標系への写像の関係を示す第１の写像関係を求める手段と、
前記第１の写像関係のうち前記表示面と前記撮像装置との間に存在する物体に対応する部分を検出して除去することで第２の写像関係を求める手段と、
前記画像表示装置により表示された第２の表示画像を前記撮像装置により撮影して取得した第２の撮影画像に対して前記第２の写像関係を用いた写像変換を行って前記シェーディング補正座標系の一部の階調値である第１の階調値を求める手段と、
前記シェーディング補正座標系のうち前記写像変換により前記階調値が得られない部分の階調値である第２の階調値を前記第１の階調値を用いた補間処理により求める手段と、
前記第１および第２の階調値を用いて前記補正値を算出する手段とを有することを特徴とするシェーディング補正値算出装置。
画像表示装置によって表示面に表示された表示画像を撮像装置により撮影して取得した撮影画像を用いて、前記画像表示装置においてシェーディング補正を行うための補正値を算出するシェーディング補正値算出装置であって、
前記画像表示装置により表示された第１の表示画像を前記撮像装置により撮影して取得した第１の撮影画像を用いて、前記撮像装置の撮影座標系から前記画像表示装置のシェーディング補正座標系への写像の関係を示す第１の写像関係を求める手段と、
前記第１の写像関係のうち前記表示面と前記撮像装置との間に存在する物体に対応する部分を検出して除去することで第２の写像関係を求める手段と、
前記画像表示装置により表示された第２の表示画像を前記撮像装置により撮影して取得した第２の撮影画像に対して前記第２の写像関係を用いた写像変換を行って前記シェーディング補正座標系での階調値である第１の階調値を求める手段と、
前記第１の階調値から前記シェーディング補正座標系の一部の前記補正値である第１の補正値を求める手段と、
前記シェーディング補正座標系のうち前記写像変換により前記階調値が得られない部分に対する前記補正値である第２の補正値を前記第１の補正値を用いた補間処理により求める手段とを有することを特徴とするシェーディング補正値算出装置。
表示画像を被投射面に投射して表示する画像表示装置であって、
前記表示画像を撮影する撮像装置と、
請求項１０または請求項１１に記載のシェーディング補正値算出装置とを有することを特徴とする画像表示装置。