JP2007124083A - 表示画像撮像方法および装置 - Google Patents

Abstract

【課題】画像表示装置に周期的に更新されて表示される表示画像を、グローバルシャッタ方式の撮像素子によりハード的な同期信号を用いることなく、自由な位置からフリッカの発生を効果的に抑えて撮像できる表示画像撮像方法を提供する。
【解決手段】表示画像の本撮像に先立って、画像表示装置110に表示された所定画像を所定探索範囲内から選択された露出時間で撮像素子101により所定撮像周期でＮ回(N>2)撮像してＮ枚の撮像画像を得、そのＮ枚の撮像画像中の特定画像と他の画像との間で所定領域の差分和をＮ−１個算出してその変動幅からフリッカ振幅評価値を求め、所定探索範囲内の複数の露出時間に対応するフリッカ振幅評価値の中で極小となる少なくとも２つの露出時間からフリッカ無し露出時間を算出し、その後、算出したフリッカ無し露出時間に基づいて撮像素子101の露出時間を制御して画像表示装置110の表示画像を本撮像する。
【選択図】図１

Description

本発明は、画像表示装置に表示される表示画像を撮像する撮像方法および装置に関するものである。

画像表示装置として、複数台のプロジェクタによりスクリーン上に１つの画像を合成して投影表示するマルチプロジェクションシステムが知られている。このようなマルチプロジェクションシステムでは、複数台のプロジェクタから投影された各画像間の色差や輝度差、およびその継ぎ目が目立たないようにする等の対策を講じる必要がある。

そこで、本出願人は、スクリーン上にキャリブレーション用の画像を投影し、それをデジタルカメラ等の撮像手段で撮像して、得られた撮像データに基づいて各種の補正を行うようにした画像表示装置を既に提案している（例えば、特許文献１、特許文献２参照）。

特許文献１、２に開示の画像表示装置によると、撮像したキャリブレーション用の画像から、スクリーンと複数のプロジェクタとの相対位置関係、およびプロジェクタ間の色差や輝度差、プロジェクタ内の色むらや輝度むらを測定し、それらの測定データに基づいて幾何補正パラメータおよび色補正パラメータを算出して、その算出したパラメータを用いて画像補正を行うので、大画面のシームレスで高解像度、高画質な画像を投影することが可能となる。

ところで、このような画像表示装置に使用されるプロジェクタとしては、例えば単板の表示素子を用いた単板式プロジェクタや３板の表示素子を用いた３板式プロジェクタが知られている。

単板式プロジェクタは、例えば、白色光源と単板の表示素子（例えば、デジタル・マイクロミラー・デバイス（ＤＭＤ）や液晶等の空間光変調素子）との間に、少なくとも３つの原色光（赤、緑、青）をそれぞれ透過するカラーフィルタを備えるカラーホイールを配置し、このカラーホイールを所定周波数（例えば、２４０Ｈｚ）で回転させながら、その回転に同期して表示素子の各画素の変調度合いを制御することにより、各原色画像を面順次で表示するようにしている。ここで、人間の視覚は、網膜上に結像した所定時間の積分画像を認識しているので、その所定時間（積分時間）よりも面順次の表示周期を高速に設定することにより、観察者において３原色画像が合成されたフルカラー表示画像として認識される。

３板式プロジェクタは、３原色光をそれぞれ変調する表示素子を有しており、各表示素子で変調された３つの変調光を例えばクロスプリズム等で合成した後、投影するようにしている。この３板式プロジェクタは、単板式プロジェクタのようなカラーホイールは有していないが、表示素子の変調画像を所定周波数（例えば、６０Ｈｚ）で切り替えることにより、動画像表示が可能となっている。

また、画像表示装置のキャリブレーションの際に、スクリーン上に投影されたキャリブレーション用の画像を撮像するデジタルカメラとして、ＣＭＯＳ撮像素子を用いたものや、ＣＣＤ撮像素子を用いたものが知られている。

ＣＭＯＳ撮像素子を用いたデジタルカメラは、安価ではあるが、シャッタ方式として、一般にローリングシャッタ方式を採用している。このシャッタ方式では、例えば、所定露出時間で撮像した場合に、垂直方向に配置される各撮像ラインが同時に露出を開始するのではなく、露出開始時間が最上部の撮像ラインから最下部の撮像ラインへ所定時間ずれた状態で撮像されるため、撮像対象物が静止している場合には問題ないが、移動している場合には、その移動速度に依存して撮像ラインの撮像開始時間のずれによって歪んだ画像が撮像されることになる。

これに対して、ＣＣＤ撮像素子を用いたデジタルカメラは、シャッタ方式として、一般に、撮像エリア内で撮像開始時間が同時となるグローバルシャッタ方式を採用しているので、撮像画像内には撮像対象物の移動速度に依存した歪みは発生しないが、画像表示装置の周期的に切り替わる表示画像を撮像すると、グローバルシャッタ方式に伴う問題が発生することになる。

以下、このグローバルシャッタ方式に伴う問題について、画像表示装置が単板式プロジェクタを用いる場合を例にとって、図１２および図１３を参照しながら説明する。

ここでは、図１２（ａ）に示すように、単板式プロジェクタのカラーホイール１２０１が周波数αＨｚで回転し、均一な白画像をスクリーンに表示するものとする。この状態は、カラーホイール１２０１を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）フィルタが白色光源の光路上にある時間だけ、各フィルタに対応する色光のみがスクリーンを照明するので、スクリーン照度と時間との関係は、図１２（ｂ）にグラフ１２０２で示すようになり、スクリーン照度は、Ｒ、Ｇ、Ｂ、Ｗと時分割で領域区分され、その周期はβｍｓｅｃとなる。ここで、β＝１／αである。

また、説明を簡単にするために、例えば、均一赤（Ｒ）画像のみ表示する場合を考えると、この場合には、赤色以外の色光は表示素子で遮光制御されるので、スクリーン照度と時間との関係は、図１２（ｃ）にグラフ１２０３で示すようになり、その赤（Ｒ）光の周期は、グラフ１３０２の場合と同様に、βｍｓｅｃとなる。

図１３（ａ）および（ｂ）は、図１２（ｃ）のグラフ１２０３にＣＣＤ撮像素子に露光されている露出時間を重ねて示したもので、撮像開始タイミングｆ０、ｆ１、ｆ２、ｆ３による露出時間を斜線のハッチング領域１３０１、１３０２、１３０５、１３０６で示すとともに、各領域にスクリーン照度が高い期間Ｒが何本入るかを示しており、さらにハッチング領域１３０１、１３０２、１３０５、１３０６を積分した結果として得られる撮像画像１３０３、１３０４、１３０７、１３０８を示している。ここで、図１３（ａ）および（ｂ）はＣＣＤ撮像素子の露出時間が異なっており、図１３（ａ）は露出時間γｍsecがβｍsecの整数倍でない場合を示しており、図１３（ｂ）は露出時間がβｍsecの２倍の場合を示している。

図１３（ａ）の場合は、露出時間がβｍsecの整数倍で無いため、異なる撮像タイミングｆ０、ｆ１による露出時間が同一であるにも係わらず、Ｒの本数は領域１３０１では２本、領域１３０２では１本と異なっている。このため、積分値が異なり、撮像画像１３０３の方が、撮像画像１３０４よりも２倍明るい画像となる。つまり、撮像タイミングによって、撮像画像の明るさが変動することを意味している。

一方、図１３（ｂ）の場合は、露出時間がβｍsecの整数倍であるので、異なる撮像タイミングｆ２、ｆ３において領域１３０５、１３０６に含まれるＲの本数は共に２本となる。したがって、撮像画像１３０７、１３０８は、共に同一レベルの明るさの画像となる。これは、Ｒの面積と周期βｍsecが正確であるという条件のもとでは、任意の撮像タイミングで同様なことが言える。

以上のことから、ＣＣＤ撮像素子のデジタルカメラによって、周期的に駆動される画像表示装置の表示画像を撮像する場合には、表示切換周期に合った露出時間を選択する必要がある。

ここでは、上記の現象をフリッカと定義することとして、該フリッカの発生原因についてより詳細に説明する。

今、表示装置による表示画像の表示周期をβとし、撮像装置の撮像周期をγ、露出時間をＴとするとγ＝ｎβ±δ、Ｔ＝ｍβ±εの関係となる。ここで、δは表示周期と撮像周期との誤差で０≦γ≦β／２を、εは露出時間と表示周期との誤差で０≦ε≦β／２を表しており、ｎ、ｍは１以上の整数とする。つまり、撮像周期γの方が表示周期βよりも遅い一般的な撮像装置を利用した場合を考える。

このような条件でのフリッカ周期Ｆｐは、δとβとの最小公倍数をＭとすると、Ｆｐ＝Ｍβ／γで表現できる。ここで、γの定義域は［０,β/２］となるので、フリッカ周期Ｆｐは２β≦Ｆｐ≦∞となる。また、フリッカ振幅Ｆａはεの大きさとともに大きくなる。したがって、フリッカが発生しない条件はδ＝０、或いはε＝０の場合である。

上記のδ＝０は、表示周期βと撮像周期γとが整数倍の関係となることを意味し、撮像タイミングは全て同一位相となり、フリッカは発生しない（フリッカ周期が無限大）。また、ε＝０は、露出時間Ｔが表示周期βの整数倍となることを意味しており、上記図１３（ｂ）の説明の場合に相当し、フリッカ振幅Ｆａ＝０となり、やはりフリッカは発生しない。

したがって、少なくともδ＝０の条件を満たすには、表示装置の表示周期と撮像装置の撮像周期とを同期させる必要があり、その一例として表示装置と撮像装置との間で同期信号を介して同期を取ることが知られている（例えば、特許文献３参照）。

この特許文献３に開示の撮像方法は、画像表示装置であるディスプレイ装置の表示画像をカメラで撮像する際に、ディスプレイ装置の垂直同期信号に応じてシャッタ制御信号を生成し、このシャッタ制御信号によりカメラのシャッタを制御することで、カメラの撮像開始と終了のタイミングをディスプレイ装置の描画の開始と終了のタイミングに同期させて、横縞が発生するようなノイズが混入しない撮像画像データを得るようにしたものである。すなわち、この公知の方法は、同期信号によって、δ＝０で、且つε＝０を実現している。

なお、撮像装置がグローバルシャッタ方式ではなくＣＭＯＳ撮像素子に使用されているローリングシャッタ方式のもので、ε＝０の条件を満たす装置も知られている（例えば、特許文献４参照）。

この特許文献４に開示の撮像方法は、ラインセンサ駆動式の撮像装置で被写体を撮像する際に、被写体の照明光変化を検出して周波数解析を行い、その最も多い周波数成分の周期の整数倍をラインセンサの露出時間として設定することで、被写体の照明光変化の影響を低減するようにしている。

特開２００２−７２３５９号公報 特開２００２−１１６５００号公報 特開平１１−１８４４４５号公報 特開平７−３３６５８６号公報

上述したマルチプロジェクションシステムのような画像表示装置により周期的に更新される表示画像を、ＣＣＤ撮像素子等のグローバルシャッタ方式を採用するデジタルカメラで撮像する場合には、表示画像の切替周期（表示周期）に合った露出時間を精度良く決定する必要があるばかりか、スクリーン上に投影された画像全体を一度に撮像するため、スクリーンから十分離れた自由な位置にデジタルカメラを設置する必要がある。

ところが、特許文献３に開示の撮像方法にあっては、露出時間を精度良く画像表示装置に適応させることは可能であるが、画像表示装置と撮像装置との間に、画像表示装置から撮像装置に同期信号を伝送するためのケーブルを接続する必要があるため、撮像装置をスクリーンから十分離した自由な位置に設置するのが難しくなることが懸念される。

また、特許文献４に開示の撮像方法にあっては、被写体の照明光変化を周波数解析して、その最も多い周波数成分の周期の整数倍を露出時間とするので、この露出時間をローリングシャッタ方式で発生する横縞を利用して算出することも可能であるが、グローバルシャッタ方式では撮像画像に横縞が発生しないため、この方法を採用することはできない。

したがって、上記の点に鑑みてなされた本発明の目的は、画像表示装置に周期的に更新されて表示される表示画像を、グローバルシャッタ方式の撮像素子により、同期信号を用いることなく、自由な位置からフリッカの発生を効果的に抑えて撮像できる表示画像撮像方法および装置を提供することにある。

上記目的を達成する請求項１に係る表示画像撮像方法の発明は、周期的に画像表示する画像表示装置の表示画像をグローバルシャッタ方式の撮像素子で撮像するにあたり、
表示画像の本撮像に先立って、上記画像表示装置に所定画像を表示させて、その表示された所定画像を所定探索範囲内から選択された露出時間で上記撮像素子により所定撮像周期でＮ回（Ｎ＞２）撮像してＮ枚の撮像画像を得、そのＮ枚の撮像画像中の特定画像とその他の画像との間における所定領域の差分和またはその平均値をＮ−１個算出してその変動幅からフリッカ振幅評価値を求め、上記所定探索範囲内の複数の露出時間に対応する上記フリッカ振幅評価値の中で極小となる少なくとも２つの露出時間からフリッカ無し露出時間を算出し、その後、上記算出したフリッカ無し露出時間に基づいて上記撮像素子の露出時間を制御して、上記画像表示装置の表示画像を本撮像することを特徴とするものである。

請求項２に係る発明は、請求項１に記載の表示画像撮像方法において、上記Ｎは、上記所定撮像周期で予め決められた所定期間に上記所定画像を所定枚数Ｍ（Ｍ＞２）撮像した画像の所定領域における平均輝度の時間変動周期に基づいて算出することを特徴とするものである。

さらに、請求項３に係る表示画像撮像方法の発明は、周期的に画像表示する画像表示装置の表示画像をグローバルシャッタ方式の撮像素子で撮像するにあたり、
表示画像の本撮像に先立って、上記画像表示装置に所定画像を表示させて、その表示された所定画像を所定探索範囲内から選択された露出時間で上記撮像素子により所定撮像周期でＮ回（Ｎ＞２）撮像してＮ枚の撮像画像を得、そのＮ枚の撮像画像中の特定画像とその他の画像との間における所定領域の差分の絶対値和またはその平均値、或は差分の偶数乗和またはその平均値をＮ−１個算出してその変動幅からフリッカ振幅評価値を求め、上記所定探索範囲内の複数の露出時間に対応する上記フリッカ振幅評価値の中で極小となる少なくとも２つの露出時間からフリッカ無し露出時間を算出し、その後、上記算出したフリッカ無し露出時間に基づいて上記撮像素子の露出時間を制御して、上記画像表示装置の表示画像を本撮像することを特徴とするものである。

請求項４に係る発明は、請求項３に記載の表示画像撮像方法において、上記Ｎは、上記所定撮像周期で予め決められた所定期間に上記所定画像を所定枚数Ｍ（Ｍ＞２）撮像した画像の上記特定画像とその他の画像との間における所定領域の差分の絶対値和またはその平均値、或いは差分の偶数乗和またはその平均値をＭ−１個算出し、そのＭ−１個の算出値の時間変動周期に基づいて算出することを特徴とするものである。

請求項５に係る発明は、請求項１乃至４のいずれか一項に記載の表示画像撮像方法において、上記フリッカ無し露出時間を算出する少なくとも２つの露出時間は、上記フリッカ振幅評価値が極小となる露出時間で、且つ上記所定探索範囲内の上記極小となる露出時間を含む複数の露出時間に対するフリッカ振幅評価値の変動幅が所定閾値以上となるものであることを特徴とするものである。

さらに、上記目的を達成する請求項６に係る表示画像撮像装置の発明は、周期的に画像表示する画像表示装置の表示画像をグローバルシャッタ方式の撮像素子で撮像する表示画像撮像装置であって、
上記画像表示装置に表示された所定画像を所定探索範囲内から選択された露出時間により所定撮像周期でＮ回（Ｎ＞２）撮像するように上記撮像素子を制御する撮像制御手段と、
上記Ｎ回の撮像により上記撮像素子から得られるＮ枚の撮像画像中の特定画像とその他の画像との間における所定領域の差分和またはその平均値をＮ−１個算出してその変動幅からフリッカ振幅評価値を求めるフリッカ振幅評価値算出手段と、
上記所定探索範囲内の複数の露出時間に対応する上記フリッカ振幅評価値の中で極小となる少なくとも２つの露出時間からフリッカ無し露出時間を算出するフリッカ無し露出時間算出手段と、
を有することを特徴とするものである。

請求項７に係る発明は、請求項６に記載の表示画像撮像装置において、さらに、上記所定撮像周期で予め決められた所定期間に、上記所定画像を所定枚数Ｍ（Ｍ＞２）撮像した画像の所定領域における平均輝度の時間変動周期に基づいて上記Ｎを算出するフリッカ周期算出手段を有することを特徴とするものである。

さらに、請求項８に係る表示画像撮像装置の発明は、周期的に画像表示する画像表示装置の表示画像をグローバルシャッタ方式の撮像素子で撮像する表示画像撮像装置であって、
上記画像表示装置に表示された所定画像を所定探索範囲内から選択された露出時間により所定撮像周期でＮ回（Ｎ＞２）撮像するように上記撮像素子を制御する撮像制御手段と、
上記Ｎ回の撮像により上記撮像素子から得られるＮ枚の撮像画像中の特定画像とその他の画像との間における所定領域の差分の絶対値和またはその平均値、或は差分の偶数乗和またはその平均値をＮ−１個算出してその変動幅からフリッカ振幅評価値を求めるフリッカ振幅評価値算出手段と、
上記所定探索範囲内の複数の露出時間に対応する上記フリッカ振幅評価値の中で極小となる少なくとも２つの露出時間からフリッカ無し露出時間を算出するフリッカ無し露出時間算出手段と、
を有することを特徴とするものである。

請求項９に係る発明は、請求項８に記載の表示画像撮像装置において、さらに、上記所定撮像周期で予め決められた所定期間に、上記所定画像を所定枚数Ｍ（Ｍ＞２）撮像した画像の上記特定画像とその他の画像との間における所定領域の差分の絶対値和またはその平均値、或いは差分の偶数乗和またはその平均値として算出したＭ−１個の算出値の時間変動周期に基づいて上記Ｎを算出するフリッカ周期算出手段を有することを特徴とするものである。

請求項１０に係る発明は、請求項６乃至９のいずれか一項に記載の表示画像撮像装置において、上記フリッカ無し露出時間算出手段は、上記極小となるフリッカ振幅評価値の露出時間を含む上記所定露出時間探索範囲内のフリッカ振幅評価値の変動幅が所定閾値以上か否かを判定する手段を含むことを特徴とするものである。

請求項１の発明によると、画像表示装置に対する設置位置に自由度を持たせつつ、表示画像の撮像画像に発生するフリッカに伴う輝度変化を効果的に抑えることが可能となる。

請求項２の発明によると、画像表示装置との相対設置位置に自由度を持たせつつ、フリッカ振幅評価値を必要最低限の時間で且つ精度良く算出できるので、フリッカ無し露出時間を精度良く算出でき、これにより表示画像の撮像画像に発生するフリッカに伴う輝度変化をより効果的に抑えることが可能となる。

請求項３の発明によると、画像表示装置との相対設置位置に自由度を持たせつつ、非同期の複数表示装置の表示画像の撮像画像に発生するフリッカに伴う輝度変化を効果的に抑えることが可能となる。

請求項４の発明によると、画像表示装置との相対設置位置に自由度を持たせつつ、非同期の複数表示装置の表示画像のフリッカ振幅評価値を必要最低限の時間で且つ精度良く算出できるので、フリッカ無し露出時間を精度良く算出でき、これにより表示画像の撮像画像に発生するフリッカに伴う輝度変化をより効果的に抑えることが可能となる。

請求項５の発明によると、画像表示装置との相対設置位置に自由度を持たせつつ、フリッカ振幅評価値の所望極小位置の誤検出を低減できるので、フリッカ無し露出時間を精度良く算出でき、これにより表示画像の撮像画像に発生するフリッカに伴う輝度変化をより効果的に抑えることが可能となる。

請求項６の発明によると、画像表示装置に表示された所定画像を撮像素子によって所定探索範囲内から選択された露出時間により所定撮像周期でＮ回撮像させる撮像制御手段、そのＮ回の撮像によって得られるＮ枚の撮像画像に基づいてフリッカ振幅評価値を求めるフリッカ振幅評価値算出手段、およびそのフリッカ振幅評価値に基づいてフリッカ無し露出時間を算出するフリッカ無し露出時間算出手段を有する簡単な構成で、請求項１と同様の効果を得ることが可能となる。

請求項７の発明によると、さらに所定領域における撮像画像間の平均輝度の時間変動周期に基づいて撮像回数Ｎを算出するフリッカ周期算出手段を有する簡単な構成で、請求項２と同様の効果を得ることが可能となる。

請求項８の発明によると、画像表示装置に表示された所定画像を撮像素子によって所定探索範囲内から選択された露出時間により所定撮像周期でＮ回撮像させる撮像制御手段、そのＮ回の撮像によって得られるＮ枚の撮像画像に基づいてフリッカ振幅評価値を求めるフリッカ振幅評価値算出手段、およびそのフリッカ振幅評価値に基づいてフリッカ無し露出時間を算出するフリッカ無し露出時間算出手段を有する簡単な構成で、請求項３と同様の効果を得ることが可能となる。

請求項９の発明によると、さらに所定領域における撮像画像間の差分の絶対値和、或は差分の偶数乗和に関連する時間変動周期に基づいて撮像回数Ｎを算出するフリッカ周期算出手段を有する簡単な構成で、請求項４と同様の効果を得ることが可能となる。

請求項１０の発明によると、フリッカ無し露出時間算出手段が、所定露出時間探索範囲内のフリッカ振幅評価値の変動幅が所定閾値以上か否かを判定する手段を有する簡単な構成で、請求項５と同様の効果を得ることが可能となる。

以下、本発明の実施の形態について図面を参照して説明する。

（第１実施の形態）
図１は、本発明の第１実施の形態に係る撮像装置を用いる画像表示撮像システムの概略構成を示す模式図である。本実施の形態は、画像表示装置１１０による表示画像を撮像装置１１１で撮像するもので、画像表示装置１１０は、外部同期により同期して駆動される２台のプロジェクタ１０７および１０８を備えるリアプロジェクタ方式のマルチプロジェクションシステムを構成しており、１つの画像を２台のプロジェクタ１０７、１０８に分ける等の表示画像の制御を行う表示画像処理装置１０６、プロジェクタ１０７、１０８から射出される投影画像を表示するスクリーン１０９を有している。

また、撮像装置１１１は、スクリーン１０９上に表示された表示画像を撮像するカメラ１０１、その撮像画像をモニタリングするモニタ１０４、コンピュータ１０２を有しており、コンピュータ１０２は、カメラ１０１の露出時間等を制御するカメラ制御部１０３、撮像画像を用いて２台のプロジェクタ１０７、１０８間の色ズレおよび投影画像の幾何的ズレの補正情報を算出するキャリブレーションデータ算出部１０５を有している。

カメラ１０１は、例えば、図２に概略構成を示すように、ＣＣＤ撮像素子およびその駆動回路からなる撮像部２０１、撮像レンズ２０３、ターレット２０４、ターレット駆動モータ２０２を有している。ターレット２０４は、３刺激値のＸ、Ｙ、Ｚカラーフィルタ２０５、２０６、２０７、濃度の異なるＮＤフィルタ２０８、２０９、スルーホール２１０、遮光板２１１を同心円状に保持しており、ターレット駆動モータ２０２により回転駆動されて、各フィルタを撮像レンズ２０３の位置に移動させるようになっている。

図３は、図１に示したカメラ制御部１０３の構成を示す機能ブロック図である。このカメラ制御部１０３は、キャリブレーションデータ算出部１０５が所望する画像表示装置１１０の表示するテストパターンをカメラ１０１にて撮像して提供する機能を有するもので、撮像制御手段である露出制御部３０３、同期露出時間検出部３０４、フリッカ無し露出時間算出手段である同期露出時間決定部３０９、露出時間テーブル３１０を有しており、さらに同期露出時間検出部３０４は、検出エリア抽出部３０５、フリッカ周期算出手段であるフリッカ周期算出部３０６、フリッカ振幅評価値算出手段であるフリッカ振幅算出部３０７、最小値検出部３０８を有している。

先ず、画像表示装置１１０が表示するテストパターンを安定して撮像するために、画像表示装置１１０の画像更新周波数に対応するフリッカが発生しない露出時間のテーブルを作成する。

そのため、画像表示装置１１０における画像更新周波数が既知である場合には、その情報をキャリブレーション操作者によりコンピュータ１０２に入力して、カメラ制御部１０３の露出制御部３０３に入力する。

その後、露出制御部３０３は、画像表示装置１１０に対して単一原色（例えば赤）の均一輝度画像を表示するよう指示して表示させる。なお、単原色の均一輝度画像に代えて、輝度レベルが所定値以上で、時間的に変動しない任意のテストパターンであっても良い。

さらに、露出制御部３０３は、カメラ１０１に対して撮像する露出時間の探索範囲を設定する。この露出時間の探索範囲［Ｔshort(n)，Ｔlong(n)］は、画像表示装置１１０に対する画像更新周波数αＨｚ（単板プロジェクタで各色フィルタがＮ枚構成のカラーホイールの場合は、ホイールの回転周波数×Ｎを画像更新周波数）として、３つの範囲のＴshort(n)＝（n−γ）／αとＴlong(n)＝（n＋γ）／α（ここでｎは１、２、３で、γは探索範囲を調整する係数で０＜γ≦０．５）を求める。

これに対し、画像更新周波数αＨｚが未知である場合には、例えばα＝６０と仮決めして露出時間の範囲を設定する。この場合は、例えばＴshort＝０．５／α、Ｔlong＝３．５／αとして、最低でも３つの同期露出時間を探索できる１つの範囲を設定する。

画像更新周波数が既知の場合の同期露出時間探索範囲［Ｔshort(n),Ｔlong(n)］、或は画像更新周波数が未知の場合の［Ｔshort,Ｔlong］内の探索露出時間は、カメラ１０１自体の露出制御可能な最小時間の整数Ｍ倍の間隔とする。ここで、Ｍの値は算出する同期露出時間の検出精度と算出処理時間との兼ね合いで予め決定される。

次に、表示されている単一原色の均一輝度画像をカメラ１０１で撮像し、その撮像画像の表示エリアの例えば８×８画像ブロックにおける輝度レベル平均値の最大値が、所定階調レベル範囲（例えば２００±１０）となる条件で、露出時間Ｔlong(n)近傍となるＮＤフィルタ２０８、２０９、或いはスルー２１０のいずれかを選択し、ターレット２０４の位置を決定する。

なお、この際、撮像レンズ２０３の絞りを自動制御できる場合には、さらに絞りを含めて調整しても良い。さらに、これらの切り替えで調整しきれない場合には、画像表示装置１１０に対して輝度レベルの変更を要求する。

これらの具体的な処理としては、露出制御部３０３が、カメラ１０１の選択可能な初期状態の露出時間（露出制御部３０３内で保持している不図示のテーブル）に基づいて撮像を行わせ、その撮像画像に対して撮像画像内の表示エリアの最大値が所定階調レベル範囲内にあるかどうかを判断し、範囲外の場合にはＮＤフィルタ２０８、２０９等のフィルタ切換制御、さらには画像表示装置１１０の輝度レベル変更制御を行う。これにより同期露出時間を検出するための初期状態が決定される。

続いて、露出制御部３０３は、カメラ１０１に対して露出時間Ｔlong(n)にてフリッカ周期を決定するために所定回数の撮像を繰り返させ、それらの撮像画像を同期露出時間検出部３０４に出力する。なお、撮像所定回数は、検出したいフリッカ周期の上限値で決定する。

同期露出時間検出部３０４に入力された撮像画像は、検出エリア抽出部３０５において予め設定された所定領域である検出エリア内の撮像画像を抽出し、その抽出した検出エリアの撮像画像をフリッカ周期算出部３０６に入力する。

フリッカ周期算出部３０６では、順次の撮像画像における検出エリア内の画素の輝度平均値を算出して時系列に保持し、その極大値および／または極小値に基づいて撮像期間を算出し、その算出した撮像期間をフリッカ周期として露出制御部３０３に出力する。

本実施の形態では、２つのプロジェクタ１０７、１０８が外部同期により同期して駆動されることから、検出エリア内でのフリッカ位相が同一であると仮定して、検出エリア内での画素平均値の極大極小値に基づいてフリッカ周期を算出している。したがって、撮像した所定回数の期間内で、極大値および極小値を含む順次の３つの極値が検出された場合には、２つの同一極値の期間をフリッカ周期とし、極大値および極小値の２つの極値しか検出できない場合は、その期間の２倍をフリッカ周期とし、極大値或いは極小値の１つの極値しか検出されない場合は、上記の所定回数の２倍をフリッカ周期とする。

露出制御部３０３では、フリッカ周期算出部３０６からのフリッカ周期を用いて、フリッカ振幅を算出するための同一露出時間の撮像回数を、フリッカ周期＋１と設定する。したがって、この撮像回数は、最短のフリッカ周期が撮像周期の２倍となるので、３回以上となる。

続いて、上記決定した同期露出時間探索範囲［Ｔshort(3),Ｔlong(3)］内をＴlong(3)からＴshort(3)に向かって所定間隔Ｄ＝（Ｍ×露出制御可能な最小時間）でサンプルされた露出時間Ｔj（ｊ＝１〜Ｌ ; Ｌはサンプル数でＴ1＝ Ｔlong(3)、ＴL＝Ｔshort(3) ）でのフリッカ振幅算出のための撮像を行う。

そのための処理として、露出制御部３０３はカメラ１０１に対し上記同期露出時間探索範囲内の指定露出時間をセットして上記フリッカ周期により決定された撮像回数分の撮像を行わせ、その撮像画像を露出制御部３０３から検出エリア抽出部３０５に入力して、該検出エリア抽出部３０５で抽出された検出エリアをフリッカ振幅算出部３０７に入力する。

フリッカ振幅算出部３０７では、上記フリッカ周期により決定された撮像回数分の検出エリアの時間的な最大変動量を算出し、その最大変動量をフリッカ振幅として最小値検出部３０８に出力する。

最小値検出部３０８には、さらに露出制御部３０３からフリッカ振幅算出時の撮像露出時間を入力し、該露出時間とフリッカ振幅とを対応づけて最小値検出部３０８内の不図示のメモリに格納する。

上記の処理を同期露出時間探索範囲［Ｔshort(3),Ｔlong(3)］の全てについて行った後、最小値検出部３０８において格納されているフリッカ振幅の中の最小値を探索し、その対応する露出時間を同期露出時間候補Ｔsync3として同期露出時間決定部３０９に出力する。残り２つの同期露出時間探索範囲［Ｔshort(2),Ｔlong(2)］と［Ｔshort(1),Ｔlong(1)］についても、同様に同期露出時間候補Ｔsync2、Ｔsync1を決定し、同期露出時間決定部３０９に出力する。

同期露出時間決定部３０９は、同期露出時間と同期番号との線形関係に基づいて、Ｔsync1、Ｔsync2、Ｔsync3とそれらに対応するフリッカ振幅値とを用いて同期露出時間間隔βmを決定するとともに、そのβmの確信度レベルを算出し、該確信度レベルによりβmを使用するか判定する。この同期露出時間間隔βmおよび確信度レベルの算出方法の詳細については後述する。

同期露出時間決定部３０９での確信度レベルに基づく判定結果は、露出制御部３０３へ出力するとともに、確信度レベルが高いと判定された場合には、露出時間テーブル３１０にβm×Ｎ（ここでＮは１以上で、βm×Ｎがカメラ１０１のハード仕様としての最長露出時間を超えない整数）の露出時間を出力し、確信度レベルが低いと判定された場合には露出時間テーブル３１０には何も出力しない。

露出制御部３０３は、同期露出時間決定部３０９から確信度レベルが低いとの判定結果が入力された場合には、上記画像切替周波数を半分として探索範囲［Ｔshort(n),Ｔlong(n)］を再度設定し直して撮像回数およびフリッカ振幅を算出し、新しい３つの同期露出時間候補を決定する処理を繰り返す。この処理をプロジェクタの画像切替周波数が映像信号のフレーム周波数になるまで繰り返し、十分な確信度が得られない場合には映像信号のフレーム周波数の逆数をβmとして露出時間テーブルを作成する。こうすることで、たとえ精度の良い同期露出時間が得られない場合でも、無制限に露出時間を選択可能とするよりもフリッカを小さく抑えられる可能性が高められる。

以上の処理により、画像表示装置１１０が表示するテストパターン画像を撮像装置１１１にて撮像するための同期露出時間の設定が完了したことになる。これ以降は、露出制御部３０３により露出時間テーブル３１０に格納されている選択可能な同期露出時間を用いて最適露出時間を決定し、その決定された最適露出時間でカメラ１０１によりテストパターン画像を撮像して、その撮像画像をキャリブレーションデータ算出部１０５に送出する。

キャリブレーションデータ算出部１０５では、カメラ１０１からの撮像画像に基づいて画像表示装置１１０が最適な画像を表示できるようなキャリブレーションデータを算出し、算出したキャリブレーションデータを表示画像処理装置１０６に送出する。これにより、表示画像処理装置１０６では、キャリブレーションデータに基づいて入力された外部映像信号に対して幾何補正および色補正の画像処理を行ってプロジェクタ１０７、１０８に出力する。

なお、上記の同期露出時間を算出するにあたっての検出エリアは、撮像画像におけるスクリーン１０９の表示エリア全体とすることもできるが、処理時間の短縮化の点では、表示エリアの一部とするのが好ましい。

以下、同期露出時間検出部３０４について、更に詳細に説明する。

同期露出時間検出部３０４は、上述したように検出エリア抽出部３０５、フリッカ周期算出部３０６、フリッカ振幅算出部３０７および最小値検出部３０８を有している。

同期露出時間検出部３０４に入力される露出時間Ｔjの撮像画像は、検出エリア抽出部３０５に入力される。検出エリア抽出部３０５では、モニタ１０４に撮像画像を表示させ、手動で操作者に所定サイズの検出エリアを選定させるモードと、入力された撮像画像から表示画像の表示エリアを周辺との階調差から抽出して検出エリアとする自動抽出するモードとのどちらかのモードにより検出エリアが抽出され、該検出エリアがフリッカ周期算出部３０６、或はフリッカ振幅算出部３０７に出力される。

フリッカ周期算出部３０６は、所定検出エリアの画素平均値Σxyfn(x,y)/Ｎxy（ここでΣxyはx＝１〜Ｎx、y＝１〜Ｎyの和を示し、Ｎxy= Ｎx×Ｎyである）を算出し、その時系列変化を保持して極大値および極小値を含む合計３つの極値の最小間隔であるフリッカ周期Ｆpを求める。

図４は、フリッカ周期Ｆpと画素平均値Σxyfn(x,y)/ Ｎxyとの関係を示すものである。図４では、時間t0からt9の撮像タイミングで得られた検出エリアの輝度変化をハッチングした矩形で示し、それに対応する画素平均値と時間との関係をグラフ４０１で示してある。フリッカ周期Ｆpは、極大値から次の極大値まで、或は極小値から次の極小値までの期間であり、具体的にはΣxy{fn(x,y)−fn-1(x,y)}≧０で、 且つΣxy{fn(x,y)−fn+1(x,y)}≧０となるサンプル位置tnと、Σxy{fn(x,y)−fn-1(x,y)}≦０で、且つΣxy{fn(x,y)−fn+1(x,y)}≦０となるサンプル位置tnとの数をｎ＝１から探索し、どちらかが２つでどちらかが１つ見つかった時点で処理を終了する。この図４の例では、フリッカ周期Ｆp＝６である。

フリッカ振幅算出部３０７は、露出時間Ｔjで撮像された画像の上記所定検出エリアに対して算出した（フリッカ周期＋１）回数分の平均輝度レベルの最大変動量をフリッカ振幅Ｆa(Ｔj)として求める。

図５は、上記のフリッカ振幅を説明するための図である。図５において、ハッチング矩形f０からf６は時間t0からt6までの１フリッカ周期に渡り撮像した検出エリアを示し、グラフ５０１は検出エリアの画素平均値Σxyfn(x,y)/Ｎxyと時間との関係を示している。この場合のフリッカ振幅Ｆa(Ｔj)は以下の通りとする。
Ｆa(Ｔj)＝ＭＡＸ［Σxy{fn(x,y)−f0(x,y)}/Ｎxy ; n=１,..,Ｆp］
−ＭＩＮ［Σxy{fn(x,y)−f0(x,y)}/Ｎxy ; n=１,…,Ｆp］
ここで、ＭＡＸ［］はフレーム間差分の平均値Σxy{fn(x,y)−f0(x,y)}/Ｎxyのn=１,…,Ｆpでの最大値を示し、ＭＩＮ［］はフレーム間差分の平均値Σxy{fn(x,y)−f0(x,y)}/Ｎxyのn=１,…,Ｆpでの最小値を示す。

最小値検出部３０８は、画像更新周波数が既知の場合における３つの同期露出時間探索範囲［Ｔshort(n),Ｔlong(n)］（n＝１、２、３）に対する露出時間Ｔjのフリッカ振幅Ｆa(Ｔj)を保持する不図示のメモリを有しており、フリッカ振幅算出部３０７で算出された各探索範囲内の指定露出時間における全てのフリッカ振幅をメモリに保持した時点で、探索範囲毎にフリッカ振幅が最小となる１つの露出時間を探索する。

また、画像更新周波数が未知の場合には、同期露出時間探索範囲［Ｔshort,Ｔlong］に対する露出時間Ｔjのフリッカ振幅Ｆa(Ｔj)をメモリに保持し、フリッカ振幅算出部３０７で算出された各探索範囲内の指定露出時間における全てのフリッカ振幅をメモリに保持した時点で、フリッカ振幅が極小となる３つの露出時間を探索する。

フリッカ振幅の最小値および極小値の探索においては、撮像時の画像内ノイズの変動により間違った位置を最小値、或は極小値としないように、Ｆa(Ｔj)自体では無く、時間方向に任意のタップ数のローパスフィルタをかけたフリッカ振幅ＦaL(Ｔj)（例えばＦaL(Ｔj)＝{Ｆa(Ｔj-1)＋Ｆa(Ｔj)＋Ｆa(Ｔj+1)}/ 3）を用いてもよい。また、サンプル露出時間間隔より細かいサブサンプル位置を算出するには、最小値（或は極小値）の周辺複数のフリッカ振幅値を利用して補間算出することで求めることができる。

また、画像更新周波数が未知の場合の探索範囲［Ｔshort,Ｔlong］で極小となる３つの露出時間を探索する場合で、フリッカ振幅ＦaL(Ｔj)が時間とともに漸近的に減少、或いは増加し、微分がゼロで下に凸（つまり極小）となる位置が所望する３つの露出時間でしか発生しない場合は問題無いが、図６にグラフ６０１で示すように、フリッカ振幅と時間との関係が局所的に変動して極小値が多数あるような場合には、以下に説明する方法によって探索する。

まず、フリッカ振幅の最大最小比率［Ｔi;Ｔj］＝(ＦaLmax［Ｔi;Ｔj］−ＦaLmin［Ｔi;Ｔj］)/(ＦaLmax［Ｔi;Ｔj］＋ＦaLmin［Ｔi;Ｔj］)を定義し、探索範囲の例えばＴi＝ＴlongからＴjの位置での最大最小比率［Ｔi;Ｔj］を求める。ここで、ＦaLmax［Ｔi;Ｔj］は始点位置Ｔiから現探索位置Ｔjまでのフリッカ振幅の最大値、ＦaLmin［Ｔi;Ｔj］は始点位置Ｔiから現探索位置Ｔjまでのフリッカ振幅の最小値である。

そして、Ｔj=Ｔkの位置で最大最小比率［Ｔi;Ｔk］が所定閾値を超えた場合に、始点位置をＴi=Ｔkに変更した最大最小比率［Ｔk;Ｔj］が再度所定閾値を超える位置Ｔj=Ｔlまでの区間［Ｔk,Ｔl］で、フリッカ振幅が最小値を取る位置を所望の極小値とする。この極小値を決定した時点で、再度最大最小比率［Ｔi;Ｔj］の始点位置をＴi=Ｔ1に変更し、同様な処理で計３つの極小値を求める。これにより、極小値の誤検出を十分減らすことができる。

探索した３つの最小（或は極小値）フリッカ振幅の露出時間は、同期露出時間候補Ｔsync1、Ｔsync2、Ｔsync3として同期露出時間決定部３０９に出力されるとともに、３つのフリッカ振幅最小値（或は極小値）、および同期露出時間候補Ｔsync1、Ｔsync2、Ｔsync3を中心とした所定範囲でのフリッカ振幅の最大値がそれぞれ同期露出時間決定部３０９に出力される。

図７は、露出時間とフリッカ振幅との関係を示すグラフである。図７に示すグラフ７０１において、同期露出時間探索範囲［Ｔshort(n),Ｔlong(n)］（n＝１、２、３）がそれぞれ７０２、７０３、７０４に対応し、各範囲の最小値の位置がそれぞれ同期露出時間候補Ｔsync1、Ｔsync2、Ｔsync3である。

ここで、同期露出時間探索範囲７０４が一番広く、７０３、７０２へと順次狭くなっているのは、最初探索する探索範囲７０４のどの位置に最小値があるかを高い精度の予測ができないので、同期露出時間探索範囲７０４は例えば±０．４βの広い範囲として、求めた同期露出時間候補Ｔsync3により次に探索する同期露出時間探索範囲７０３をＴsync3×２／３を中心に±０．３βの範囲に狭くしても十分最小値を検出できるようになり、続いて同期露出時間探索範囲７０２ではさらに２つの同期露出時間候補Ｔsync3、Ｔsync2により（Ｔsync3／３＋Ｔsync2／２）／２を中心に±０．２βの範囲に狭くできる。こうすることにより、３つの探索範囲を同一とする場合に比べて、探索時間を短縮することができる。

同期露出時間決定部３０９では、図８に示したような同期露出時間と同期番号との線形関係に基づいて最適な傾きβmを決定し、この傾きβmを最短の同期露出時間とする。

すなわち、図８において、同期露出時間は原点を通る直線８０１上にあるという条件（Ｔsync＝０でフリッカは発生しない）から、３つの同期露出時間候補Ｔsync1、Ｔsync2、Ｔsync3と、それらの位置でのフリッカ振幅値の逆数を同期露出時間候補の重みとしたＷ1、Ｗ2、Ｗ3とから、誤差Ｅ＝Ｗ1(Ｔsync1−βm)²＋Ｗ2(Ｔsync2−2βm)²＋Ｗ3(Ｔsync3−3βm)²が最小となる同期露出時間間隔βmとその時の相関係数とを算出する。

また、３つの同期露出時間候補Ｔsync1、Ｔsync2、Ｔsync3周辺でのフリッカ振幅の最大最小比率＝(ＦaLmax−ＦaLmin) / (ＦaLmax＋ＦaLmin)をそれぞれ算出して、その３つの比率中の最小値と相関係数とを乗じて確信度レベルを定義し、その確信度レベルが所定閾値以上となれば、算出結果は正しいとして露出制御部３０３に出力し、βm×Ｎ（Ｎは１以上の整数でβm×Ｎがカメラ１０１のハードウエア仕様としての最長露出時間を超えない整数）の露出時間を露出時間テーブル３１０に格納する。

これに対し、確信度レベルが所定閾値未満の場合には、現時点の同期露出時間探索範囲に対応する画像更新周波数が映像信号のフレーム周波数より２倍以上であれば、算出結果は間違いとして露出制御部３０３に出力して画像更新周波数を半分とした同期露出時間探索範囲の変更を要求し、露出時間テーブル３１０を更新しない。また、半分にした画像更新周波数が映像信号のフレーム周波数と等しいかほぼ等しい場合には、露出制御部３０３に精度が悪い露出時間テーブルであるという状態信号を出力するとともに、映像信号のフレーム周波数の逆数をβmとしたβm×Ｎの露出時間を露出時間テーブル３１０に更新する。ここで、精度が悪い露出時間テーブルの状態となった場合には、キャリブレーションデータ算出部１０５で使用するテストパターン画像の繰り返し撮像回数を増やして平均化し、これにより発生する可能性のあるフリッカの影響を低減する。

なお、上記説明では３つの同期露出時間候補Ｔsync1、Ｔsync2、Ｔsync3から同期露出時間間隔βmを算出しているが、最低２つの同期露出時間候補Ｔsync1、Ｔsync2があれば同期露出時間間隔βmを算出できるのはいうまでもなく、同期露出時間候補の検出精度が十分である場合には十分な精度の同期露出時間間隔βmを得ることができる。また、同期露出時間候補の検出精度が十分でない場合でも、３つ以上の多数の同期露出時間候補を使用することで十分な精度の同期露出時間間隔βmを得ることができる。但し、この場合は検出時間が長くなるので、同期露出時間候補は算出精度との兼ね合いで設定する。

（第２実施の形態）
次に、本発明の第２実施の形態として、上述した第１実施の形態において、２つのプロジェクタ１０７、１０８が外部同期でつながっておらず、各プロジェクタの内部同期で動作する場合についてのフリッカ周期とフリッカ振幅との算出方法について説明する。

内部同期で動作している複数プロジェクタの表示画像の位相は一般に一致せず、また画像更新周波数も個体差により若干変動するため、複数プロジェクタの表示画像を一度に撮像する場合には、複数プロジェクタで最適な同期露出時間を決定する必要がある。

図９（ａ）乃至（ｃ）は、このような内部同期で動作している２つのプロジェクタの撮像状態を模式的に示したものである。図９（ａ）乃至（ｃ）において、モニタ１０４には、カメラ１０１が時系列に撮像したスクリーン１０９の領域９０４と、その中のプロジェクタ１０７の表示エリア９０１とプロジェクタ１０８の表示エリア９０２とが表示されており、図９（ａ）は時間t0での画像９０３ａを示しており、図９（ｂ）は時間t1での画像９０３ｂを示しており、図９（ｃ）は時間t2での画像９０３ｃを示している。

図９（ａ）乃至（ｃ）から明らかなように、フリッカ周期およびフリッカ振幅の検出エリア９０３として、２つの表示エリア９０１、９０２がオーバーラップする領域を含むエリアを指定した場合には、検出エリア９０３内の時間t0、t1、t2での変化がf0(８０３ａ)、f1(８０３ｂ)、f2(８０３ｃ)にあるように一様ではなく、明暗部が場所によって変化（つまりフリッカ位相が場所より異なる）してしまう。

したがって、このような状態の撮像画像では、第１実施の形態で説明した方法でフリッカ周期およびフリッカ振幅を算出するのは難しい。なぜなら、検出エリア内で平均化する処理が、エリア内での明暗部の平均化に使用され、時間的な変化を抽出できなくなるからである。

そこで、本実施の形態では、フリッカ周期ＦpＮを以下のように再定義する。すなわち、検出エリアのt0の撮像画像f0に対するt1、t2、．．．の撮像画像f1、f2、．．．との差分画像の画素絶対値の平均値ΣxyＡＢＳ{fn(x,y)−f0(x,y)}/Ｎxy（ここで、ＡＢＳ{}は絶対値を、ｎは１以上の整数、Σxyはx＝１〜Ｎx、y＝１〜Ｎyの和を示し、Ｎxy= Ｎx×Ｎyである）を算出し、その時系列変化を保持して所望の極大値および極小値を含む計３つの極値の間隔とする。

また、フリッカ振幅ＦaＮ(Ｔj)の定義も、フリッカ周期ＦpＮの算出と同様に、差分画像の画素絶対値の平均値を使用することで、フリッカ位相が検出エリア内で異なっていても、下記の式からフリッカ振幅を検出することができる。
ＦaＮ(Ｔj)＝Ｍａｘ［ΣxyＡＢＳ{fn(x,y)−f0(x,y)}/Ｎxy;n=1,..,ＦpＮ］
−Ｍｉｎ［ΣxyＡＢＳ{fn(x,y)−f0(x,y)}/Ｎxy;n=1,..,ＦpＮ］
なお、上式において、絶対値平均演算部分は、当然、２乗平均等の偶数乗平均とすることでも可能である。

この場合のフリッカ振幅ＦaＮ(Ｔj)と露出時間との関係は、図６に示したグラフ６０１のようになる。すなわち、フリッカ振幅ＦaＮ(Ｔj)は、最初に撮像した画像とのフレーム間差分の絶対値を取る関係上、撮像タイミングにより局所的に本来の振幅値から該振幅値の半分まで変化してしまう極小値を多数持ったものとなる。しかし、このような場合でも、同期露出時間では撮像ノイズやプロジェクタの光源変動等を無視すれば極小値がゼロと見なせるので、探索範囲からＦaＮ(Ｔj)の最小値を１つ求めて、この位置を同期露出時間とすることができる。

また、このような極小値を多数持ったグラフ６０１から、複数（３つ）の確からしい所望の極小値を求める場合には、第１実施の形態で説明したように、最大最小比率［Ｔi;Ｔj］と所定閾値判定により決定した区間で１つの最小値を求める方法を採用することで対応することができる。ここで、決定方法は、十分大きな値を閾値の初期値として、極小値が所望する数検出されるまで、閾値を小さくしながら検出を繰り返すというものである。

さらに、フリッカ周期の算出に使用する差分画像の画素絶対値の平均値ΣxyＡＢＳ{fn(x,y)−f0(x,y)}/Ｎxyは、図６と同じような局所的に極小値を多数持ったグラフ形状となるが、フリッカ周期を算出するための所望の２つの極小値の算出方法は、上記と同様に、最大最小比率［Ｔi;Ｔj］と所定閾値判定により決定した区間で１つの最小値を求める方法を採用することができる。

図１０は、本実施の形態のマルチプロジェクションシステムにおける同期露出時間を決定するまでの処理手順を示したフローチャートである。

同期露出時間算出処理を開始すると、まず、画像表示装置１１０に所定均一輝度の単原色を表示し（ステップＳ１００１）、続いて撮像装置１１１にてターゲット階調レベルとなる非同期状態での露出時間を求めて（ステップＳ１００２）、求めた露出時間が所定露出時間以上かを判定する（ステップＳ１００３）。

ここで、所定露出時間未満の場合には、撮像装置１１１が備えるＮＤフィルタを切換可能か判定し（ステップＳ１００４）、切換可能である場合にはＮＤフィルタを切り替えて（ステップＳ１００６）、ステップＳ１００２に戻り、ＮＤフィルタの切り替えが不可の場合には画像表示装置１１０の輝度レベルを下げる変更をして（ステップＳ１００５）、ステップＳ１００１に戻る。

これに対し、ステップＳ１００２で求めた露出時間が所定露出時間以上の場合には、所定期間内を一定時間間隔で撮像してフリッカ周期を算出して、フリッカ振幅を算出するための１露出時間当たりの撮像回数を決定する（ステップＳ１００７）。

続いて、画像表示装置１１０の画像更新周波数により同期露出時間探索範囲（探索開始露出時間と間隔および数）を決定して、最初に探索する露出時間をカメラにセットし（ステップＳ１００８）、セットされた露出時間での撮像回数がフリッカ周期により決定された回数未満かを判定（ステップＳ１００９）する。

ここで、撮像回数が未達の場合は、セットされている露出時間で表示画像を撮像し（ステップＳ１０１０）て、最初の撮像画像とｎ回目の撮像画像との差分を算出して指定領域内の画素の絶対値を取り、その積算値を算出する（ステップＳ１０１１）。

これに対し、撮像回数に達したら、その時点でステップＳ１０１１で算出した撮像回数分の積算値から１露出時間でのフリッカ振幅を算出する（ステップＳ１０１２）。

その後、探索露出時間について全てのフリッカ振幅の算出終了を判定し（ステップＳ１０１３）、終了していなければ探索露出時間を変更して（ステップＳ１０１４）、ステップＳ１００９に戻り、探索露出時間で全てのフリッカ振幅の算出が終わったら、探索露出時間のフリッカ振幅で最小となる同期露出時間候補を決定して（ステップＳ１０１５）、同期露出候補が所定数（例えば３つ）の決定が終了したかを判定する（ステップＳ１０１６）。

ここで、同期露出候補数が所定数に達していない場合は、ステップＳ１００８に戻り、所定数に達した場合には、所定数の同期露出時間候補から同期露出時間最小間隔βmと確信度レベルを算出して（ステップＳ１０１７）、その算出した確信度レベルが所定閾値より小さく、且つ同期露出時間最小間隔βmの整数倍と映像信号のフレーム周期との誤差が所定閾値より大きい場合には、同期露出時間が決定されていないとしてステップＳ１００８に戻る。

これに対し、確信度レベルが所定閾値より大きい、或いは同期露出時間最小間隔βmの整数倍と映像信号のフレーム周期との誤差が所定閾値より小さい場合には、同期露出時間が決定されたとして、同期露出時間最小間隔βm×Ｎ（Ｎは１以上の整数）の同期露出時間を露出時間テーブルに格納（ステップＳ１０１９）して同期露出時間算出処理を終了する。

なお、上述した第１実施の形態により同期露出時間を決定する場合には、ステップＳ１０１１において、最初の撮像画像とｎ回目の撮像画像との指定領域内の画素の差分和を取り、その積算値を算出すればよい。

図１１は、本実施の形態のマルチプロジェクションシステムにおけるキャリブレーションデータ作成までの処理手順を示したフローチャートである。

まず、テストパターン画像の撮像を行う前に、画像表示装置１１０に対する撮像装置１１１の使用可能な同期露出時間を算出して露出時間テーブルに格納する（ステップＳ１１０１）する。

続いて、テストパターン画像の撮像処理として、まず、テストパターン画像を表示して（ステップＳ１１０２）、ステップＳ１１０１で露出時間テーブルに格納された同期露出時間を用いて表示されているテストパターン画像の最適露出時間を同期露出時間の中から選択決定し（ステップＳ１１０３）、その選択決定した最適露出時間でテストパターン画像を撮像してファイルに保存する（ステップＳ１１０４）。

その後、キャリブレーションデータを算出するためのテストパターン画像を全て撮像したかを判定し（ステップＳ１１０５）、撮像するテストパターン画像がまだ残っている場合には、ステップＳ１１０２に戻って撮像されていない別のテストパターン画像を表示して撮像を繰り返し、全てのテストパターン画像の撮像を終了した場合は、ファイルに保存されている撮像画像をもとにキャリブレーションデータを算出して、そのキャリブレーションデータを表示画像処理装置に送信し（ステップＳ１１０６）、キャリブレーション処理を終了する。

なお、上述した第１実施の形態においても、図１１のフローチャートによりキャリブレーションデータを作成することができる。

以上説明した第１および第２実施の形態によれば、画像表示装置１１０の表示画像をＣＣＤ撮像素子のようなグローバルシャッタ方式を用いた撮像装置１１１で撮像する場合に、同期信号を使わずにフリッカが発生しない同期露出時間を精度良く算出することができる。したがって、マルチプロジェクションシステムのような大掛かりな画像表示装置１１０に使用するキャリブレーションデータ算出用テストパターンを撮像する撮像装置１１１を、物理的なケーブル長さに制限されることなく、自由な位置に設置することができる。さらに、カメラ１０１とコンピュータ１０２とを有線で接続しなくても、無線で通信するようにすれば、より自由度を増すことができる。

なお、上記各実施の形態では、マルチプロジェクションシステムをもとに説明したが、パソコンの液晶モニタ等、１台の表示装置においても、同様にして表示画像をフリッカの発生無く撮像することができる。また、グローバルシャッタ方式の撮像素子としてＣＣＤ撮像素子を例に説明したが、ＣＭＯＳ撮像素子であってもグローバルシャッタ方式のものであれば、本発明を同様に適用できるのは言うまでもない。さらに、フリッカ振幅を算出するにあたって、第１実施の形態では最初の撮像画像とｎ回目の撮像画像との指定領域内の画素差分和の平均値を算出するようにしたが、画素差分和の平均値を算出することなく画素差分和そのものを用いてフリッカ振幅を算出することもできる。同様に、第２実施の形態においても、フリッカ振幅を算出するにあたって、最初の撮像画像とｎ回目の撮像画像との指定領域内の画素差分絶対値和の平均値、或は画素差分の偶数乗和の平均値を算出するようにしたが、平均値を算出することなく画素差分の絶対値和、或は偶数乗和そのものを用いてフリッカ振幅を算出することもできる。

本発明の第１実施の形態に係るマルチプロジェクションシステムの構成を模式的に示した図である。 図１に示すカメラの概略構成を示す図である。 図１に示すカメラ制御部の構成を示す機能ブロック図である。 グローバルシャッタ方式の撮像装置にて撮像した露出時間と撮像画像に発生する輝度変化との関係を模式的に示した図である。 グローバルシャッタ方式の撮像装置にて撮像した露出時間と撮像画像に発生する輝度変化との関係を模式的に示した図である。 同期露出時間算出処理を説明するための図である。 同じく、同期露出時間算出処理を説明するための図である。 同じく、同期露出時間算出処理を説明するための図である。 本発明の第２実施の形態に係るマルチプロジェクションシステムで撮像画像に発生するフリッカを模式的に示した図である。 第２実施の形態の露出制御に係わる処理手順を示すフローチャートである。 同じく、キャリブレーション算出処理に係わる手順を説明するためのフローチャートである。 単板式プロジェクタの面順次表示を模式的に示した図である。 同じく、単板式プロジェクタの面順次表示とグローバルシャッタ方式の撮像時間の関係および撮像画像に発生するフリッカとを模式的に示した図である。

符号の説明

１０１ カメラ
１０２ コンピュータ
１０３ カメラ制御部
１０４ モニタ
１０５ キャリブレーションデータ算出部
１０６ 表示画像処理装置
１０７，１０８ プロジェクタ
１０９ スクリーン
１１０ 画像表示装置
１１１ 撮像装置
３０３ 露出制御部
３０４ 同期露出時間検出部
３０５ 検出エリア抽出部
３０６ フリッカ周期算出部
３０７ フリッカ振幅算出部
３０８ 最小値検出部
３０９ 同期露出時間決定部
３１０ 露出時間テーブル

Claims (10)

1. 周期的に画像表示する画像表示装置の表示画像をグローバルシャッタ方式の撮像素子で撮像するにあたり、
   表示画像の本撮像に先立って、上記画像表示装置に所定画像を表示させて、その表示された所定画像を所定探索範囲内から選択された露出時間で上記撮像素子により所定撮像周期でＮ回（Ｎ＞２）撮像してＮ枚の撮像画像を得、そのＮ枚の撮像画像中の特定画像とその他の画像との間における所定領域の差分和またはその平均値をＮ−１個算出してその変動幅からフリッカ振幅評価値を求め、上記所定探索範囲内の複数の露出時間に対応する上記フリッカ振幅評価値の中で極小となる少なくとも２つの露出時間からフリッカ無し露出時間を算出し、その後、上記算出したフリッカ無し露出時間に基づいて上記撮像素子の露出時間を制御して、上記画像表示装置の表示画像を本撮像することを特徴とする表示画像撮像方法。
2. 上記Ｎは、上記所定撮像周期で予め決められた所定期間に上記所定画像を所定枚数Ｍ（Ｍ＞２）撮像した画像の所定領域における平均輝度の時間変動周期に基づいて算出することを特徴とする請求項１に記載の表示画像撮像方法。
3. 周期的に画像表示する画像表示装置の表示画像をグローバルシャッタ方式の撮像素子で撮像するにあたり、
   表示画像の本撮像に先立って、上記画像表示装置に所定画像を表示させて、その表示された所定画像を所定探索範囲内から選択された露出時間で上記撮像素子により所定撮像周期でＮ回（Ｎ＞２）撮像してＮ枚の撮像画像を得、そのＮ枚の撮像画像中の特定画像とその他の画像との間における所定領域の差分の絶対値和またはその平均値、或は差分の偶数乗和またはその平均値をＮ−１個算出してその変動幅からフリッカ振幅評価値を求め、上記所定探索範囲内の複数の露出時間に対応する上記フリッカ振幅評価値の中で極小となる少なくとも２つの露出時間からフリッカ無し露出時間を算出し、その後、上記算出したフリッカ無し露出時間に基づいて上記撮像素子の露出時間を制御して、上記画像表示装置の表示画像を本撮像することを特徴とする表示画像撮像方法。
4. 上記Ｎは、上記所定撮像周期で予め決められた所定期間に上記所定画像を所定枚数Ｍ（Ｍ＞２）撮像した画像の上記特定画像とその他の画像との間における所定領域の差分の絶対値和またはその平均値、或いは差分の偶数乗和またはその平均値をＭ−１個算出し、そのＭ−１個の算出値の時間変動周期に基づいて算出することを特徴とする請求項３に記載の表示画像撮像方法。
5. 上記フリッカ無し露出時間を算出する少なくとも２つの露出時間は、上記フリッカ振幅評価値が極小となる露出時間で、且つ上記所定探索範囲内の上記極小となる露出時間を含む複数の露出時間に対するフリッカ振幅評価値の変動幅が所定閾値以上となるものであることを特徴とする請求項１乃至４のいずれか一項に記載の表示画像撮像方法。
6. 周期的に画像表示する画像表示装置の表示画像をグローバルシャッタ方式の撮像素子で撮像する表示画像撮像装置であって、
   上記画像表示装置に表示された所定画像を所定探索範囲内から選択された露出時間により所定撮像周期でＮ回（Ｎ＞２）撮像するように上記撮像素子を制御する撮像制御手段と、
   上記Ｎ回の撮像により上記撮像素子から得られるＮ枚の撮像画像中の特定画像とその他の画像との間における所定領域の差分和またはその平均値をＮ−１個算出してその変動幅からフリッカ振幅評価値を求めるフリッカ振幅評価値算出手段と、
   上記所定探索範囲内の複数の露出時間に対応する上記フリッカ振幅評価値の中で極小となる少なくとも２つの露出時間からフリッカ無し露出時間を算出するフリッカ無し露出時間算出手段と、
   を有することを特徴とする表示画像撮像装置。
7. さらに、上記所定撮像周期で予め決められた所定期間に、上記所定画像を所定枚数Ｍ（Ｍ＞２）撮像した画像の所定領域における平均輝度の時間変動周期に基づいて上記Ｎを算出するフリッカ周期算出手段を有することを特徴とする請求項６に記載の表示画像撮像装置。
8. 周期的に画像表示する画像表示装置の表示画像をグローバルシャッタ方式の撮像素子で撮像する表示画像撮像装置であって、
   上記画像表示装置に表示された所定画像を所定探索範囲内から選択された露出時間により所定撮像周期でＮ回（Ｎ＞２）撮像するように上記撮像素子を制御する撮像制御手段と、
   上記Ｎ回の撮像により上記撮像素子から得られるＮ枚の撮像画像中の特定画像とその他の画像との間における所定領域の差分の絶対値和またはその平均値、或は差分の偶数乗和またはその平均値をＮ−１個算出してその変動幅からフリッカ振幅評価値を求めるフリッカ振幅評価値算出手段と、
   上記所定探索範囲内の複数の露出時間に対応する上記フリッカ振幅評価値の中で極小となる少なくとも２つの露出時間からフリッカ無し露出時間を算出するフリッカ無し露出時間算出手段と、
   を有することを特徴とする表示画像撮像装置。
9. さらに、上記所定撮像周期で予め決められた所定期間に、上記所定画像を所定枚数Ｍ（Ｍ＞２）撮像した画像の上記特定画像とその他の画像との間における所定領域の差分の絶対値和またはその平均値、或いは差分の偶数乗和またはその平均値として算出したＭ−１個の算出値の時間変動周期に基づいて上記Ｎを算出するフリッカ周期算出手段を有することを特徴とする請求項８に記載の表示画像撮像装置。
10. 上記フリッカ無し露出時間算出手段は、上記極小となるフリッカ振幅評価値の露出時間を含む上記所定露出時間探索範囲内のフリッカ振幅評価値の変動幅が所定閾値以上か否かを判定する手段を含むことを特徴とする請求項６乃至９のいずれか一項に記載の表示画像撮像装置。

Images