JP2017130779A - プロジェクター、撮像装置、及び、撮像画像の補正方法 - Google Patents

Abstract

【課題】撮像装置の感度分布を補正する補正値を簡易に算出し、撮像装置を用いた補正の精度を維持する。
【解決手段】撮像部１４０と、撮像部１４０により校正用の被写体を撮像した撮像画像データに基づいて、撮像部１４０の撮像画像データを補正する補正値を算出する補正値算出部１７３と、表示部１１０が投射する投射画像を撮像部１４０で撮像した撮像画像データを、補正値算出部１７３が算出した補正値を用いて補正する補正処理部１７４とを備える。補正値算出部１７３は、撮像画像データにおいて選択される基準画素の画素値と、撮像画像データにおける基準画素とは異なる他の画素の画素値とに基づいて補正値を算出するプロジェクター１００。
【選択図】図１

Description

本発明は、プロジェクター、撮像装置、及び、撮像画像の補正方法に関する。

従来、投射部により投射される投射画像を撮像装置で撮像し、撮像された撮像画像を用いて投射画像を補正する技術が知られている（例えば、特許文献１参照）。特許文献１に開示の画像処理システムは、表示手段に表示されたキャリブレーション画像を撮像手段で撮像し、撮像された撮像情報に基づいて画像の色むらを、表示手段の分割された領域ごとに補正する。

投射画像の撮像に使用される撮像装置は、レンズ収差等の影響により、撮像装置の撮像素子が出力する画素値が、撮像素子の位置によって異なるという現象（以下、感度分布という）が生じる。このため撮像装置が撮像した撮像画像データに基づいて、投射対象に投射される画像を補正する場合に、投射された画像の輝度や色度の差を正確に測定することができず、誤差が生じる場合がある。
このような問題に対し、特許文献２の撮像手段の出力値補正方法は、所定光量の入力値に対する出力値を露光時間ごとに算出し、入力値と出力値との差分を撮像手段における感度特性として予め設定しておき、対象を撮像した出力輝度値を感度特性に基づいて補正する。
また、特許文献３のカラー表示装置の測色装置は、スクリーン上の計測対象領域に表示されたパターン内の任意点の色情報を測定する色情報測定手段と、スクリーン上の計測対象領域を撮像する撮像手段と、色情報測定手段により得られたパターンの色情報値と、撮像手段による同パターンの撮像結果との関係から撮像手段の特性補正を行う特性補正値算出手段とを備える。

特開２００４−２２８９４８号公報 特開２００８−１０２８１８号公報 特開２００２−２６７５７４号公報

ところで、撮像装置の感度分布は、レンズ表面にコーティングされた紫外線や、赤外線のカットフィルターの影響を受け、撮像装置が撮像する画像の色によっても異なる。従って、撮像装置の感度分布を補正する補正値は、撮像画像を構成する複数の原色ごとに算出する必要があるため、補正値はできるだけ簡易に算出できるのが望ましい。
本発明は上記事情に鑑みてなされたものであり、撮像装置の感度分布を補正する補正値を簡易に算出し、撮像装置を用いた補正の精度を維持することを目的とする。

上記目的を達成するために本発明のプロジェクターは、撮像部と、前記撮像部により校正用の被写体を撮像した第１の撮像画像に基づいて、前記撮像部の撮像画像を補正する補正値を算出する補正値算出部と、画像を投射する投射部と、前記投射部が投射する投射画像を前記撮像部で撮像した第２の撮像画像を、前記補正値算出部が算出した前記補正値を用いて補正する補正部と、を備え、前記補正値算出部は、前記第１の撮像画像において選択される基準画素の画素値と、前記第１の撮像画像における前記基準画素とは異なる他の画素の画素値とに基づいて前記補正値を算出することを特徴とする。
本発明によれば、補正値算出部が算出する補正値が、第１の撮像画像において選択された基準画素の画素値と、基準画素とは異なる他の画素の画素値とに基づいて算出される。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができる。また、補正値を用いて撮像装置の感度分布を補正することで、撮像装置により撮像される撮像画像を用いた補正の精度を維持することができる。

また、本発明は、上記プロジェクターにおいて、前記補正値算出部は、前記基準画素の画素値と、前記他の画素の画素値との比に基づいて前記補正値を算出することを特徴とする。
本発明によれば、基準画素の画素値と、他の画素の画素値との比に基づいて補正値が算出される。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができる。

また、本発明は、上記プロジェクターにおいて、前記補正値算出部は、前記基準画素及び前記他の画素の画素値と、前記基準画素と前記他の画素との撮像画像における画素位置とに基づいて、前記他の画素の画素値の前記基準画素の画素値からの低下率を算出し、算出した低下率を用いて前記補正値を算出することを特徴とする。
本発明によれば、他の画素の画素値の基準画素の画素値からの低下率に基づいて補正値を算出することができる。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができ、補正値のデータ量を削減することができる。

また、本発明は、上記プロジェクターにおいて、前記撮像部は、均一光源から射出される均一光が投射された投射対象を、前記校正用の被写体として撮像して前記第１の撮像画像を生成し、前記補正値算出部は、前記第１の撮像画像に基づいて前記補正値を算出することを特徴とする。
本発明によれば、均一光を撮像して第１の撮像画像が生成される。従って、撮像装置が撮像する撮像画像データが、撮像装置の感度分布を反映した画像データとなり、撮像装置の感度分布を補正する補正値の補正精度を高めることができる。

また、本発明は、上記プロジェクターにおいて、前記撮像部は、複数の原色で構成される撮像画像を生成し、前記投射部は、複数の色光を変調して生成される画像光を投射し、前記撮像部によって、前記投射部の複数の色光のそれぞれに対応する色の前記均一光が投射された前記投射対象を撮像して、前記複数の色光に対応する複数の前記第１の撮像画像が生成され、前記補正値算出部は、前記複数の色光に対応する複数の前記第１の撮像画像に基づいて、前記撮像部の前記撮像画像を構成する複数の原色の各々に対応した前記補正値を算出することを特徴とする。
本発明によれ、複数の色光に対応する複数の第１の撮像画像に基づいて、撮像部の撮像画像を構成する複数の原色の各々に対応した補正値が算出される。従って、補正値を用いた第２の撮像画像の補正精度を高めることができる。

本発明の撮像装置は、撮像部と、前記撮像部の撮像画像を補正する補正値であって、校正用の被写体を前記撮像部により撮像した第１の撮像画像に基づいて算出された前記補正値を記憶する記憶部と、前記撮像部が撮像した第２の撮像画像を、前記記憶部が記憶する前記補正値を用いて補正する補正部と、を備え、前記補正値は、前記第１の撮像画像において選択される基準画素の画素値と、前記第１の撮像画像における前記基準画素とは異なる他の画素の画素値とに基づいて算出されることを特徴とする。
本発明によれば、補正値算出部が算出する補正値が、第１の撮像画像において選択された基準画素の画素値と、基準画素とは異なる他の画素の画素値とに基づいて算出される。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができる。また、補正値を用いて撮像装置の感度分布を補正することで、撮像装置により撮像される撮像画像を用いた補正の精度を維持することができる。

本発明の撮像画像の補正方法は、校正用の被写体を撮像部により撮像した第１の撮像画像に基づいて、前記撮像部により撮像される撮像画像を補正する補正値を算出するステップと、投射された投射画像を前記撮像部により撮像した第２の撮像画像を、前記補正値を用いて補正するステップと、を有し、前記補正値を算出するステップは、前記第１の撮像画像において選択される基準画素の画素値と、前記第１の撮像画像における前記基準画素とは異なる他の画素の画素値とに基づいて前記補正値を算出することを特徴とする。
本発明によれば、補正値算出部が算出する補正値が、第１の撮像画像において選択された基準画素の画素値と、基準画素とは異なる他の画素の画素値とに基づいて算出される。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができる。また、補正値を用いて撮像装置の感度分布を補正することで、撮像装置により撮像される撮像画像を用いた補正の精度を維持することができる。

プロジェクターの構成図。 プロジェクターの動作を示すフローチャート。 撮像画像データの画素値の分布を示す図。

［第１実施形態］
以下、図面を参照して本発明の実施形態について説明する。
図１は、プロジェクター１００の構成を示す構成図である。
プロジェクター１００は、パーソナルコンピューターや各種映像プレーヤー等の外部の画像供給装置２００に接続され、画像供給装置２００から供給される画像信号に基づく画像を投射対象に投射する装置である。
画像供給装置２００には、ビデオ再生装置、ＤＶＤ（Digital Versatile Disk）再生装置、テレビチューナー装置、ＣＡＴＶ（Cable television）のセットトップボックス、ビデオゲーム装置等の映像出力装置、パーソナルコンピューター等を用いることができる。
また、投射対象は、建物や物体など、一様に平らではない物体であってもよいし、スクリーンＳＣや、建物の壁面等の平らな投射面を有するものであってもよい。本実施形態では平面のスクリーンＳＣに投射する場合を例示する。

プロジェクター１００は、画像入力インターフェース部（以下、画像入力Ｉ／Ｆ部と略記する）１５１を備える。画像入力Ｉ／Ｆ部１５１は、ケーブルを接続するコネクター及びインターフェース回路（いずれも図示略）を備え、ケーブルを介して接続された画像供給装置２００から供給される画像信号を入力する。画像入力Ｉ／Ｆ部１５１は、入力された画像信号を画像データに変換して画像処理部１５３に出力する。
画像入力Ｉ／Ｆ部１５１が備えるインターフェースは、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）、ＩＥＥＥ１３９４、ＵＳＢ等のデータ通信用のインターフェースであってもよい。また、画像入力Ｉ／Ｆ部１５１のインターフェースは、ＭＨＬ（登録商標）、ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ等の画像データ用のインターフェースであってもよい。
また、画像入力Ｉ／Ｆ部１５１は、コネクターとして、アナログ映像信号が入力されるＶＧＡ端子や、デジタル映像データが入力されるＤＶＩ（Digital Visual Interface）端子を備える構成であってもよい。さらに、画像入力Ｉ／Ｆ部１５１は、Ａ／Ｄ変換回路を備え、ＶＧＡ端子を介してアナログ映像信号が入力された場合、Ａ／Ｄ変換回路によりアナログ映像信号を画像データに変換し、画像処理部１５３に出力する。

プロジェクター１００は、光学的な画像の形成を行い、スクリーンＳＣに画像を投射（表示）する表示部１１０を備える。表示部１１０は、光源部１１１、光変調装置１１２及び投射光学系１１３を備える。表示部１１０は、本発明の「投射部」に相当する。

光源部１１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）又はレーザー光源等の光源を備える。また、光源部１１１は、光源が発した光を光変調装置１１２に導くリフレクター及び補助リフレクターを備えていてもよい。さらに、光源部１１１は、投射光の光学特性を高めるためのレンズ群、偏光板、又は光源が発した光の光量を光変調装置１１２に至る経路上で低減させる調光素子等（いずれも図示略）を備えていてもよい。

光源部１１１は、光源駆動部１２１により駆動される。光源駆動部１２１は、内部バス１８０に接続される。光源駆動部１２１は、制御部１７０の制御に従って、光源部１１１の光源を点灯及び消灯させる。

光変調装置１１２は、例えば赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の三原色に対応した３枚の液晶パネルを備える。光源部１１１が発する光はＲＧＢの３色の色光に分離され、対応する液晶パネルに入射される。３枚の液晶パネルは、透過型の液晶パネルであり、透過する光を変調して画像光を生成する。各液晶パネルを通過して変調された画像光は、クロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系１１３に射出される。

光変調装置１１２には、光変調装置駆動部１２２が接続される。光変調装置駆動部１２２は、内部バス１８０に接続される。
光変調装置駆動部１２２は、画像処理部１５３から入力される表示画像信号（後述する）に基づいてＲ，Ｇ，Ｂの画像信号を生成する。光変調装置駆動部１２２は、生成したＲ，Ｇ，Ｂの画像信号に基づいて、光変調装置１１２の対応する液晶パネルを駆動し、各液晶パネルに画像光を描画する。

投射光学系１１３は、光変調装置１１２により変調された画像光をスクリーンＳＣに投射して、スクリーンＳＣ上に結像させるレンズ群を備える。また、投射光学系１１３は、スクリーンＳＣの投射画像の拡大・縮小及び焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。

プロジェクター１００は、操作パネル１３１及び入力処理部１３３を備える。入力処理部１３３は、内部バス１８０に接続される。
ユーザーインターフェースとして機能する操作パネル１３１には、各種の操作キーや、液晶パネルにて構成された表示画面が表示される。入力処理部１３３は、操作パネル１３１に表示された操作キーが操作されると、操作されたキーに対応したデータを制御部１７０に出力する。また、入力処理部１３３は、制御部１７０の制御に従って、操作パネル１３１に各種画面を表示させる。
また、操作パネル１３１には、操作パネル１３１への接触を検出するタッチセンサーが重ね合わされて一体形成される。入力処理部１３３は、ユーザーの指等が接触した操作パネル１３１の位置を入力位置として検出し、検出した入力位置に対応したデータを制御部１７０に出力する。

また、プロジェクター１００は、ユーザーが使用するリモコン５から送信される赤外線信号を受光するリモコン受光部１３２を備える。リモコン受光部１３２は、入力処理部１３３に接続される。
リモコン受光部１３２は、リモコン５から送信される赤外線信号を受光する。入力処理部１３３は、リモコン受光部１３２が受光した赤外線信号をデコードして、リモコン５における操作内容を示すデータを生成し、制御部１７０に出力する。

プロジェクター１００は、撮像部１４０を備える。
撮像部１４０は、撮像光学系、撮像素子及びインターフェース回路等を有するカメラを備え、制御部１７０の制御に従って投射光学系１１３の投射方向を撮像し、撮像画像データを生成する。
撮像部１４０の撮像範囲、すなわち画角は、スクリーンＳＣとその周辺部とを含む範囲である。撮像部１４０は、生成した撮像画像データを制御部１７０に出力する。

プロジェクター１００は、無線通信部１４５を備える。無線通信部１４５は、内部バス１８０に接続される。無線通信部１４５は、図示しないアンテナやＲＦ（Radio Frequency）回路等を備え、制御部１７０の制御の下、外部の装置との間で無線通信を実行する。無線通信部１４５の無線通信方式は、例えば無線ＬＡＮ（Local Area Network）、Bluetooth（登録商標）、ＵＷＢ（Ultra Wide Band）、赤外線通信等の近距離無線通信方式、又は携帯電話回線を利用した無線通信方式を採用できる。

プロジェクター１００は、画像処理系を備える。画像処理系は、プロジェクター１００の全体を統括的に制御する制御部１７０を中心に構成され、この他に、画像処理部１５３、フレームメモリー１５５及び記憶部１６０を備える。制御部１７０、画像処理部１５３及び記憶部１６０は、内部バス１８０に接続される。

画像処理部１５３は、制御部１７０の制御に従って、画像入力Ｉ／Ｆ部１５１から入力される画像データをフレームメモリー１５５に展開し、展開した画像データに対して画像処理を実行する。画像処理部１５３が実行する画像処理には、例えば、解像度変換（スケーリング）処理、フレームレート変換処理、形状補正処理、ズーム処理、色調補正処理、輝度補正処理等が含まれる。また、これらのうち複数の処理を組み合わせて実行することも勿論可能である。

解像度変換処理は、画像処理部１５３が、画像データの解像度を、制御部１７０により指定された解像度、例えば光変調装置１１２の液晶パネルの表示解像度に合わせて変換する処理である。
フレームレート変換処理は、画像処理部１５３が、画像データのフレームレートを、制御部１７０により指定されたフレームレートに変換する処理である。
形状補正処理は、画像処理部１５３が、制御部１７０から入力される補正パラメーターに従って画像データを変換して、スクリーンＳＣに投射する画像の形状を補正する処理である。
ズーム処理は、リモコン５や操作パネル１３１の操作によりズームが指示された場合に、画像処理部１５３が、画像を拡大／縮小する処理である。
色調補正処理は、画像データの色調を変換する処理であり、画像処理部１５３は、制御部１７０により指定された色調に合わせて画像データに含まれる各画素のデータを変更する。この処理において、プロジェクター１００は、映画鑑賞に適した色調、スクリーンＳＣが明るい環境に設置された場合に適した色調、黒板などの非白色のスクリーンＳＣに投射する場合に適した色調等を実現できる。色調補正処理に加え、コントラスト調整等を行ってもよい。
輝度補正処理は、画像処理部１５３が、画像データの輝度を補正する処理である。輝度補正処理により、画像データの輝度が、光源部１１１の発光状態やプロジェクター１００が設置された環境の明るさ等に対応した輝度に補正される。
画像処理部１５３が実行する上記の処理の内容、パラメーター、及び処理の開始、終了のタイミングは制御部１７０により制御される。
画像処理部１５３は、処理後の画像データをフレームメモリー１５５から読み出し、表示画像信号として光変調装置駆動部１２２に出力する。

記憶部１６０は、フラッシュメモリー、ＥＥＰＲＯＭ等の不揮発性のメモリーにより構成される。記憶部１６０は、制御部１７０が処理するデータや制御部１７０が実行する制御プログラムを不揮発的に記憶する。また、記憶部１６０は、画像処理部１５３が実行する各種処理の設定値や、制御部１７０が参照するテーブルを記憶する。
また、記憶部１６０は、制御部１７０により生成された補正値を記憶する。この補正値は、撮像部１４０により撮像された撮像画像データを補正する補正値である。補正値の詳細については後述する。
さらに、記憶部１６０は、補正値の算出の際にスクリーンＳＣ等の投射対象に投射されるキャリブレーション画像データを記憶する。キャリブレーション画像データには、例えば、Ｒ，Ｇ，Ｂ単色のラスター画像データを用いることができる。

制御部１７０は、ＣＰＵ、ＲＯＭ及びＲＡＭ（いずれも図示略）等のハードウェアを備える。ＲＯＭは、フラッシュＲＯＭ等の不揮発性の記憶装置であり、制御プログラムやデータを格納する。ＲＡＭは、ＣＰＵのワークエリアを構成する。ＣＰＵは、ＲＯＭや記憶部１６０から読み出した制御プログラムをＲＡＭに展開し、ＲＡＭに展開された制御プログラムを実行してプロジェクター１００の各部を制御する。

また、制御部１７０は、機能ブロックとして、投射制御部１７１と、撮像制御部１７２と、補正値算出部１７３とを備える。これらの機能ブロックは、ＲＯＭや記憶部１６０に記憶された制御プログラムをＣＰＵが実行することで実現される。

投射制御部１７１は、表示部１１０における画像の表示態様を調整し、スクリーンＳＣへの画像の投射を実行する。
具体的には、投射制御部１７１は、画像処理部１５３を制御して、画像入力Ｉ／Ｆ部１５１により変換された画像データに対する画像処理を実施させる。この際、投射制御部１７１は、画像処理部１５３が処理に必要なパラメーターを記憶部１６０から読み出して、画像処理部１５３に出力してもよい。
また、投射制御部１７１は、光源駆動部１２１を制御して光源部１１１の光源を点灯させ、光源の輝度を調整させる。これにより、光源が発光し、光変調装置１１２が変調する画像光が投射光学系１１３によりスクリーンＳＣに投射される。

撮像制御部１７２は、撮像部１４０に撮像を実行させ、撮像部１４０が生成した撮像画像データを取得する。撮像制御部１７２は、取得した撮像画像データを補正値算出部１７３に出力する。

補正値算出部１７３は、撮像部１４０により撮像される撮像画像データを補正する補正値を生成する。
補正値算出部１７３が生成する補正値は、撮像部１４０の感度分布の補正に用いられる。撮像部１４０は、レンズ収差等の影響により、撮像部１４０の撮像素子が出力する画素値が、撮像素子の位置によって異なるという感度分布が生じる。この感度分布は、特に、撮像画素の中心部よりも周辺部において、撮像画素から出力される画素値が低下する。このため、撮像部１４０が撮像した撮像画像データに基づいて投射対象に投射される画像を補正する場合に、投射された画像の輝度や色度の差を正確に測定することができず、誤差が生じる場合がある。また、撮像部１４０の感度分布は、レンズ表面にコーティングされた紫外線や、赤外線のカットフィルターの影響を受け、撮像部１４０が撮像する画像の色によっても異なる。従って、撮像部１４０の感度分布を補正する補正値は、撮像画像データを構成する複数の原色ごとに算出する必要がある。
そこで、本実施形態では、補正値算出部１７３が、投射制御部１７１及び撮像制御部１７２を制御してキャリブレーションを実行し、撮像部１４０が生成する撮像画像データの画素値を補正する補正値を生成する。

キャリブレーションが開始されると、補正値算出部１７３は、投射制御部１７１を制御して、スクリーンＳＣ等の投射対象にキャリブレーション画像（校正用の被写体）を投射させる。このキャリブレーション画像は、記憶部１６０に記憶されたキャリブレーション画像データに基づく画像であり、Ｒ，Ｇ，Ｂの単色のラスター画像である。

補正値算出部１７３は、キャリブレーション画像がスクリーンＳＣに投射されると、撮像制御部１７２に撮像を実行させ、キャリブレーション画像を撮像した撮像画像データ（第１の撮像画像）を生成する。補正値算出部１７３は、生成された撮像画像データに基づいて、撮像部１４０の撮像画像データを補正する補正値を生成する。補正値算出部１７３は、生成した補正値を記憶部１６０に記憶させる。

補正処理部１７４は、撮像制御部１７２により生成された撮像画像データを、補正値算出部１７３により生成された補正値を用いて補正する。補正処理部１７４は、本発明の「補正部」に相当する。

撮像部１４０、記憶部１６０及び制御部１７０は、撮像装置３００を構成する。また、撮像装置３００として撮像部１４０、記憶部１６０及び制御部１７０以外の他の構成を備えていてもよい。

図２は、制御部１７０の動作を示すフローチャートである。
制御部１７０は、入力処理部１３３からの入力を監視し、キャリブレーションの実行指示が入力されたか否かを判定する（ステップＳ１）。入力処理部１３３は、操作パネル１３１又はリモコン５に設けられたスイッチやボタンが押下されると、押下されたスイッチ又はボタンに対応した操作信号を制御部１７０に出力する。
制御部１７０は、入力処理部１３３から入力される操作信号に基づいて、キャリブレーションの実行指示が入力されたか否かを判定する。

制御部１７０は、キャリブレーションの実行指示が入力されていないと判定した場合（ステップＳ１／ＮＯ）、入力処理部１３３から入力された操作信号に対応した処理を実行して、ステップＳ１の判定に戻る。
また、キャリブレーションの実行指示が入力された場合（ステップＳ１／ＹＥＳ）、補正値算出部１７３が、投射制御部１７１にキャリブレーション画像のスクリーンＳＣへの投射を指示する。

投射制御部１７１は、スクリーンＳＣに投射するキャリブレーション画像の色を選択する。次に、投射制御部１７１は、選択した色のキャリブレーション画像データを記憶部１６０から読み出し、画像処理部１５３に出力する。画像処理部１５３は、入力されるキャリブレーション画像データをフレームメモリー１５５に展開し、展開したキャリブレーション画像に基づいて表示画像信号を生成する。画像処理部１５３は、生成した表示画像信号を表示部１１０に出力する。

表示部１１０は、画像処理部１５３から入力される表示画像信号に基づく画像光を生成する。表示部１１０により生成された画像光は、投射光学系１１３により投射され、プロジェクター１００の前面に配置された積分球（図示略）に入射される。積分球は、本発明の「均一光源」に相当する。
積分球は、内面に拡散反射面が形成され、入射された投射光を拡散反射面で繰り返し拡散反射して、輝度及び色度が均一化された投射光を生成する（ステップＳ２）。積分球により輝度及び色度が均一化された投射光は、積分球から出射され、投射対象であるスクリーンＳＣに投射される（ステップＳ２）。

次に、補正値算出部１７３は、撮像制御部１７２に撮像画像データの生成を指示する。撮像制御部１７２は、撮像部１４０を制御して、投射対象に投射された投射画像を撮像し、撮像画像データを生成する（ステップＳ３）。撮像制御部１７２は、生成した撮像画像データを記憶部１６０に記憶させる。

次に、補正値算出部１７３は、Ｒ，Ｇ，Ｂの各色に対応した撮像画像データを生成したか否かを判定する（ステップＳ４）。すなわち、補正値算出部１７３は、Ｒ，Ｇ，Ｂの各色に対応したキャリブレーション画像をスクリーンＳＣに投射し、撮像部１４０で撮像して撮像画像データを生成したか否かを判定する。
Ｒ，Ｇ，Ｂの各色に対応した撮像画像データを生成していないと判定した場合（ステップＳ４／ＮＯ）、補正値算出部１７３は、ステップＳ２及びＳ３の処理を繰り返し行って撮像画像データを生成する。Ｒ，Ｇ，Ｂの各色に対応した撮像画像データを生成したと判定した場合（ステップＳ４／ＹＥＳ）、補正値算出部１７３は、撮像画像データに基づいて補正値を算出する（ステップＳ５）。

まず、補正値算出部１７３は、Ｒ，Ｇ，Ｂの撮像画像データからいずれか１つを選択し、選択した撮像画像データを読み出す。以下では、Ｒのキャリブレーション画像を撮像した撮像画像データを撮像画像データ（Ｒ）と表記し、Ｇのキャリブレーション画像を撮像した撮像画像データを撮像画像データ（Ｇ）と表記する。また、Ｂのキャリブレーション画像を撮像した撮像画像データを撮像画像データ（Ｂ）と表記する。以下では、撮像画像データ（Ｒ）が選択された場合について説明する。

補正値算出部１７３は、まず、選択した撮像画像データ（Ｒ）の中心に位置する画素（以下、中心画素という）を基準画素として選択する。補正値算出部１７３は、選択した中心画素のＲ，Ｇ，Ｂの色ごとの画素値を取得する。画素値は、画素のＲ，Ｇ，Ｂの色ごとの輝度を示す値である。また、以下では、Ｒの画素値をＲ値、Ｇの画素値をＧ値、Ｂの画素値をＢ値と表記する。次に、補正値算出部１７３は、撮像画像データ（Ｒ）を構成する画素から処理の対象となる画素（以下、処理画素という）を選択し、選択した処理画素のＲ，Ｇ，Ｂの色ごとの画素値を取得する。処理画素は、基準画素として選択した中心画素とは異なる画素である。
処理画素の画素値を取得すると、補正値算出部１７３は、中心画素の画素値と、処理画素の画素値とに基づいて補正値を算出する。具体的には、補正値算出部１７３は、中心画素の画素値と、処理画素の画素値とのＲ，Ｇ，Ｂの色ごとの比を求める。
補正値算出部１７３は、撮像画像データ（Ｒ）を構成し、中心画素以外のすべての画素を処理画素として選択し、中心画素と処理画素との画素値の比をＲ，Ｇ，Ｂの色ごとの比を求める。

図３は、撮像画像データの画素値の分布を示す図である。より詳細には、撮像画像データのＹ軸方向の中心（Ｙｃ）を通り、Ｘ軸に平行する方向での画素値の分布を示す。撮像画像データの水平方向をＸ軸方向といい、撮像画像データの垂直方向をＹ軸方向という。
図３には、中心画素のＲ，Ｇ，Ｂ値と、処理画素のＲ，Ｇ，Ｂ値とを示す。中心画素のＲ，Ｇ，Ｂ値をそれぞれＲｒ（Ｘｃ，Ｙｃ）、Ｇｒ（Ｘｃ，Ｙｃ）、Ｂｒ（Ｘｃ，Ｙｃ）と表記する。また、図３において、処理画素の座標を（Ｘ１，Ｙｃ）と表記し、処理画素のＲ，Ｇ，Ｂ値をそれぞれＲｒ（Ｘ１，Ｙｃ）、Ｇｒ（Ｘ１，Ｙｃ）、Ｂｒ（Ｘ１，Ｙｃ）と表記する。

投射対象には、積分球により輝度及び色度が均一化された画像光が投射され、撮像部１４０は、輝度及び色度が均一化された画像光を撮像する。従って、撮像部１４０が撮像する画像光の光量及び波長は、投射対象の領域によらず一定となる。従って、撮像部１４０が撮像する撮像画像データの画素値は、撮像部１４０の感度分布を反映させた値となる。
補正値算出部１７３は、基準画素として選択した中心画素と、処理対象として選択した処理画素との画素値の比をＲ，Ｇ，Ｂの色成分ごとに算出して、算出した画素値の比を処理画素における補正値とする。

撮像画像データ（Ｒ）から選択した処理画素のＲ，Ｇ，Ｂ値をＲｒ（Ｘ，Ｙ）、Ｇｒ（Ｘ，Ｙ）、Ｂｒ（Ｘ，Ｙ）と表記し、中心画素のＲ値と、処理画素のＲ値との比をＫｒ（Ｒ）と表記する。
中心画素のＲ値と、処理画素のＲ値との比Ｋｒ（Ｒ）は、以下の式（１）により表される。
Ｋｒ（Ｒ）＝Ｒｒ（Ｘｃ，Ｙｃ）／Ｒｒ（Ｘ，Ｙ）・・・（１）

同様に中心画素のＧ値と、処理画素のＧ値との比をＫｒ（Ｇ）と表記し、中心画素のＢ値と、処理画素のＢ値との比をＫｒ（Ｂ）と表記すると、Ｋｒ（Ｇ）及びＫｒ（Ｂ）は、以下の式（２）及び（３）により表される。
Ｋｒ（Ｇ）＝Ｇｒ（Ｘｃ，Ｙｃ）／Ｇｒ（Ｘ，Ｙ）・・・（２）
Ｋｒ（Ｂ）＝Ｂｒ（Ｘｃ，Ｙｃ）／Ｂｒ（Ｘ，Ｙ）・・・（３）

補正値算出部１７３は、選択していない他の撮像画像データ（Ｇ）、撮像画像データ（Ｂ）についても同様に補正値を算出する。撮像画像データ（Ｇ）から算出される補正値を以下の式（４）〜（６）に示し、撮像画像データ（ｂ）から算出される補正値を以下の式（７）〜（９）に示す。
Ｋｇ（Ｒ）＝Ｒｇ（Ｘｃ，Ｙｃ）／Ｒｇ（Ｘ，Ｙ）・・・（４）
Ｋｇ（Ｇ）＝Ｇｇ（Ｘｃ，Ｙｃ）／Ｇｇ（Ｘ，Ｙ）・・・（５）
Ｋｇ（Ｂ）＝Ｂｇ（Ｘｃ，Ｙｃ）／Ｂｇ（Ｘ，Ｙ）・・・（６）
Ｋｂ（Ｒ）＝Ｒｂ（Ｘｃ，Ｙｃ）／Ｒｂ（Ｘ，Ｙ）・・・（７）
Ｋｂ（Ｇ）＝Ｇｂ（Ｘｃ，Ｙｃ）／Ｇｂ（Ｘ，Ｙ）・・・（８）
Ｋｂ（Ｂ）＝Ｂｂ（Ｘｃ，Ｙｃ）／Ｂｂ（Ｘ，Ｙ）・・・（９）

補正値算出部１７３は、すべての撮像画像データ（Ｒ），（Ｇ），（Ｂ）で補正値を算出すると、算出した補正値を記憶部１６０に記憶させる（ステップＳ６）。

上述の説明では、撮像画像データを構成するすべての画素で補正値を算出する場合を説明したが、撮像画像データを構成するすべての画素で補正値を算出しなくもてよい。
例えば、撮像画像データを構成する画素から、処理画素を所定画素の間隔で選択して補正値を算出してもよい。補正値を算出していない画素については、隣接する画素の補正値に基づく線形補間により、補正値を算出してもよい。
例えば、撮像部１４０が生成する撮像画像データの解像度がフルＨＤ（１９２０×１０８０）であった場合、撮像画像データの１画素につき９個（３×３）の補正値を持つことになるが、所定画素ごとに補正値を算出することで、キャリブレーション値として記憶部１６０に記憶させるデータ量を削減することができる。
また、上述した説明では、基準画素として撮像画像データの中心に位置する中心画素を選択したが、基準画素は中心画素に限定されるものではない。また、例えば、基準画素として複数の画素を選択してもよい。例えば、撮像画像データを複数の領域に分割し、分割した各領域の中心画素を基準画素として選択してもよい。

補正処理部１７４は、リモコン５又は操作パネル１３１が操作され、スクリーンＳＣに投射された投射画像の画質を補正する画質補正の指示が入力されると、撮像制御部１７２に、撮像画像データの生成を指示する。撮像制御部１７２は、撮像部１４０を制御して、スクリーンＳＣに投射された投射画像を撮像し、撮像画像データ（第２の撮像画像）を生成する。撮像制御部１７２は、生成した撮像画像データを補正処理部１７４に出力する。

補正処理部１７４は、撮像制御部１７２から撮像画像データが入力されると、記憶部１６０から補正値を読み出して、入力された撮像画像データを構成する各画素の画素値を補正する。
補正処理部１７４は、撮像画像データを構成する画素のＲ値を、上述した式（１）に示すＫｒ（Ｒ）と、式（４）に示すＫｇ（Ｒ）と、式（７）に示すＫｂ（Ｒ）とを用いて補正する。同様に、補正処理部１７４は、撮像画像データを構成する画素のＧ値を、上述した式（２）に示すＫｒ（Ｇ）と、式（５）に示すＫｇ（Ｇ）と、式（８）に示すＫｂ（Ｇ）とを用いて補正する。また、補正処理部１７４は、撮像画像データを構成する画素のＢ値を、上述した式（３）に示すＫｒ（Ｂ）と、式（６）に示すＫｇ（Ｂ）と、式（９）に示すＫｂ（Ｂ）とを用いて補正する。

補正処理部１７４により補正された撮像画像データは、制御部１７０の他の機能ブロック（図示略）に入力され、撮像画像データの輝度や色度が画素単位、又は所定サイズの領域ごとに算出される。そして制御部１７０は、算出した撮像画像データの輝度や色度に基づいて、画像処理部１５３が補正に使用するパラメーターを選択し、画像処理部１５３に出力する。

以上説明したように本発明のプロジェクター及び撮像画像の補正方法を適用した第１実施形態は、補正値算出部１７３が、撮像部１４０により校正用の被写体としてのキャリブレーション画像を撮像した撮像画像データに基づいて、撮像部１４０の撮像画像データを補正する補正値を算出する。また、補正値算出部１７３は、キャリブレーション画像を撮像した撮像画像データにおいて選択される基準画素の画素値と、撮像画像データにおける基準画素とは異なる他の処理画素の画素値とに基づいて補正値を算出する。従って、撮像部１４０の感度分布を補正する補正値を、簡易に算出することができる。
プロジェクター１００は、表示部１１０が投射する投射画像を撮像部１４０で撮像した撮像画像データを、補正値算出部１７３が算出した補正値を用いて補正する補正処理部１７４を備える。撮像部１４０により撮像される撮像画像を用いた補正の精度を維持することができる。

また、補正値算出部１７３は、基準画素の画素値と、処理画素の画素値との比に基づいて補正値を算出する。従って、撮像部１４０の感度分布を補正する補正値を、簡易に算出することができる。

また、撮像部１４０は、均一光源としての積分球から射出される均一光が投射された投射対象を撮像して撮像画像データを生成する。補正値算出部１７３は、撮像された撮像画像データに基づいて補正値を算出する。従って、撮像部１４０が撮像する撮像画像データが、撮像部１４０の感度分布を反映した画像データとなり、撮像部１４０の感度分布を補正する補正値の補正精度を高めることができる。

また、投射対象に投射されたＲ，Ｇ，Ｂそれぞれの色光を撮像部１４０で撮像して撮像画像データ（Ｒ）、（Ｇ）及び（Ｂ）をそれぞれに生成する。生成した撮像画像データ（Ｒ）、（Ｇ）及び（Ｂ）のそれぞれから、撮像画像データを構成するＲ，Ｇ，Ｂの各々に対応する補正値を算出する。従って、撮像部により撮像される撮像画像データの補正精度を高めることができる。

［第２実施形態］
第２実施形態の構成は、上述した第１実施形態の構成と同一であるため、構成の説明は省略する。
上述した第１実施形態では、撮像画像データから基準画素を選択し、選択した基準画素の画素値と、撮像画像データを構成する各画素の画素値との比を補正値として算出した。
第２実施形態の補正値算出部１７３は、Ｒ，Ｇ，Ｂの色ごとに撮像画像データを生成すると、基準画素と、撮像画像データを構成する処理画素との画素値に基づいて、画素値の低下率（以下、低下率をαと表記する）を算出する。なお、第２実施形態においても、撮像画像データの中心画素を基準画素として選択する場合について説明する。

補正値算出部１７３は、例えば、中心画素のＲ，Ｇ，Ｂ値と、処理画素として選択した各画素のＲ，Ｇ，Ｂ値との比をそれぞれに算出して、Ｒ，Ｇ，Ｂの色ごとに画素値の低下率αを算出する。低下率αは、例えば、処理画素の画素値を、中心画素の画素値で除算した値である。

次に、補正値算出部１７３は、算出した低下率αと、中心画素と処理画素との距離（以下、ｒと表記する）とに基づいて、低下係数（以下、Ｌと表記する）を算出する。低下係数Ｌの算出式を以下の式（１０）に示す。補正値算出部１７３は、Ｒ，Ｇ，Ｂの色ごとに低下係数Ｌを算出する。また、距離ｒは、撮像画像データにおける中心画素及び処理画素の座標に基づいて算出される。
Ｌ＝α／ｒ^２・・・（１０）

補正値算出部１７３は、上述した第１実施形態と同様に、撮像画像データ（Ｒ）からＲ，Ｇ，Ｂの色ごとに低下係数Ｌを算出する。また、補正値算出部１７３は、他の撮像画像データ（Ｇ）及（Ｂ）についてもＲ，Ｇ，Ｂの色ごとに低下係数Ｌを算出する。すなわち、補正値算出部１７３は、投射画像の原色数と、撮像画像データの原色数との積である９個の低下係数Ｌを算出する。
補正値算出部１７３は、この低下係数Ｌを撮像画像データの画素ごとに算出してもよいし、所定画素ごとに算出してもよい。補正値算出部１７３は、算出した低下係数Ｌを、撮像画像データにおける各画素の座標に対応付けて記憶部１６０に記憶させる。

補正処理部１７４は、リモコン５又は操作パネル１３１が操作され、スクリーンＳＣに投射された投射画像の画質を補正する画質補正の指示が入力されると、撮像制御部１７２に、撮像画像データの生成を指示する。撮像制御部１７２は、撮像部１４０を制御して、スクリーンＳＣに投射された投射画像を撮像し、撮像画像データを生成する。撮像制御部１７２は、生成した撮像画像データを補正処理部１７４に出力する。

補正処理部１７４は、撮像制御部１７２から撮像画像データが入力されると、入力された撮像画像データを構成する各画素の画素値を補正する補正値を算出する。
まず、補正処理部１７４は、撮像画像データを構成する画素の中から処理対象となる画素を選択する。選択された画素を選択画素という。
補正処理部１７４は、撮像画像データにおける中心画素と選択画素との座標に基づいて、中心画素と選択画素との距離ｒを算出する。補正値算出部１７３は、上述した式（１０）に、算出した距離ｒと、記憶部１６０から読み出した選択画素の低下係数Ｌとを代入し、選択画素における低下率αを算出する。補正値算出部１７３は、算出した低下率αの逆数（１／α）を、補正値として算出する。

補正処理部１７４により補正された撮像画像データは、制御部１７０の他の機能ブロック（図示略）に入力され、撮像画像データの輝度や色度が画素単位、又は所定サイズの領域ごとに算出される。そして制御部１７０は、算出した撮像画像データの輝度や色度に基づいて、画像処理部１５３が補正に使用するパラメーターを選択し、画像処理部１５３に出力する。

以上説明したように第２実施形態の補正値算出部１７３は、中心画素及び処理画素の画素値と、中心画素と処理画素との撮像画像における画素位置とに基づいて、処理画素の画素値の中心画素の画素値からの低下率αを算出する。補正値算出部１７３は、算出した低下率αを用いて補正値を算出する。従って、撮像部１４０の感度分布を補正する補正値を、簡易に算出することができ、補正値のデータ量を削減することができる。

上述した第１及び第２実施形態は、本発明の好適な実施の形態である。ただし、上述した第１及び第２実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した第１及び第２実施形態では、撮像装置３００として、プロジェクター１００内に搭載された撮像装置を例に説明したが、撮像装置３００は、プロジェクター１００に搭載されている必要はなく、プロジェクター１００とは別個の装置として構成することもできる。

また、上述した第１及び第２実施形態は、校正用の被写体として、表示部１１０が投射対象に投射したキャリブレーション画像を例に説明したが、校正用の被写体は、キャリブレーション画像に限定されない。例えば、スクリーンＳＣや部屋の壁を校正用の被写体として撮像し、撮像画像データを生成してもよい。

また、上述した第１及び第２実施形態では、１台のプロジェクター１００によりキャリブレーション画像の投射と、撮像画像データの生成とを行ったが、キャリブレーション画像の投射を別のプロジェクター１００により行ってもよい。
この場合、キャリブレーション画像を投射するプロジェクター１００が備える光源を、撮像画像データを生成するプロジェクター１００が備える光源に一致させる必要がある。すなわち、光源から射出される光のスペクトルを、撮像画像データを生成するプロジェクター１００が備える光源と同一にする必要がある。光源から射出される光のスペクトルが同一でないと、投射光学系１１３のレンズによるレンズ収差によって生じる誤差が一致しないからである。また、キャリブレーション画像を投射するプロジェクター１００が備える投射レンズを、撮像画像データを生成するプロジェクター１００が備える投射レンズに一致させる必要がある。投射光学系１１３のレンズによるレンズ収差を一致させるためである。

また、上述した第１及び第２実施形態では、光源が発した光を変調する光変調装置１１２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。

また、上述した第１及び第２実施形態では、プロジェクター１００として、スクリーンＳＣの前方から投射するフロントプロジェクション型のプロジェクター１００を示したが、本発明はこれに限定されない。
また、図１に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１００の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

５…リモコン、１００…プロジェクター、１１０…表示部、１１１…光源部、１１２…光変調装置、１１３…投射光学系、１２１…光源駆動部、１２２…光変調装置駆動、１３１…操作パネル、１３２…リモコン受光部、１３３…入力処理部、１４０…撮像部、１４５…無線通信部、１５１…画像入力Ｉ／Ｆ部、１５３…画像処理部、１５５…フレームメモリー、１６０…記憶部、１７０…制御部、１７１…投射制御部、１７２…撮像制御部、１７３…補正値算出部、１７４…補正処理部（補正部）、１８０…内部バス、２００…画像供給装置、３００…撮像装置、ＳＣ…スクリーン。

Claims (7)

1. 撮像部と、
   前記撮像部により校正用の被写体を撮像した第１の撮像画像に基づいて、前記撮像部の撮像画像を補正する補正値を算出する補正値算出部と、
   画像を投射する投射部と、
   前記投射部が投射する投射画像を前記撮像部で撮像した第２の撮像画像を、前記補正値算出部が算出した前記補正値を用いて補正する補正部と、を備え、
   前記補正値算出部は、前記第１の撮像画像において選択される基準画素の画素値と、前記第１の撮像画像における前記基準画素とは異なる他の画素の画素値とに基づいて前記補正値を算出する、ことを特徴とするプロジェクター。
2. 前記補正値算出部は、前記基準画素の画素値と、前記他の画素の画素値との比に基づいて前記補正値を算出する、ことを特徴とする請求項１記載のプロジェクター。
3. 前記補正値算出部は、前記基準画素及び前記他の画素の画素値と、前記基準画素と前記他の画素との撮像画像における画素位置とに基づいて、前記他の画素の画素値の前記基準画素の画素値からの低下率を算出し、算出した低下率を用いて前記補正値を算出する、ことを特徴とする請求項１記載のプロジェクター。
4. 前記撮像部は、均一光源から射出される均一光が投射された投射対象を、前記校正用の被写体として撮像して前記第１の撮像画像を生成し、
   前記補正値算出部は、前記第１の撮像画像に基づいて前記補正値を算出する、ことを特徴とする請求項１から３のいずれかに記載のプロジェクター。
5. 前記撮像部は、複数の原色で構成される撮像画像を生成し、
   前記投射部は、複数の色光を変調して生成される画像光を投射し、
   前記撮像部によって、前記投射部の複数の色光のそれぞれに対応する色の前記均一光が投射された前記投射対象を撮像して、前記複数の色光に対応する複数の前記第１の撮像画像が生成され、
   前記補正値算出部は、前記複数の色光に対応する複数の前記第１の撮像画像に基づいて、前記撮像部の前記撮像画像を構成する複数の原色の各々に対応した前記補正値を算出する、ことを特徴とする請求項４記載のプロジェクター。
6. 撮像部と、
   前記撮像部の撮像画像を補正する補正値であって、校正用の被写体を前記撮像部により撮像した第１の撮像画像に基づいて算出された前記補正値を記憶する記憶部と、
   前記撮像部が撮像した第２の撮像画像を、前記記憶部が記憶する前記補正値を用いて補正する補正部と、を備え、
   前記補正値は、前記第１の撮像画像において選択される基準画素の画素値と、前記第１の撮像画像における前記基準画素とは異なる他の画素の画素値とに基づいて算出される、ことを特徴とする撮像装置。
7. 校正用の被写体を撮像部により撮像した第１の撮像画像に基づいて、前記撮像部により撮像される撮像画像を補正する補正値を算出するステップと、
   投射された投射画像を前記撮像部により撮像した第２の撮像画像を、前記補正値を用いて補正するステップと、を有し、
   前記補正値を算出するステップは、前記第１の撮像画像において選択される基準画素の画素値と、前記第１の撮像画像における前記基準画素とは異なる他の画素の画素値とに基づいて前記補正値を算出する、ことを特徴とする撮像画像の補正方法。

Images