JP2015022043A - 画像処理装置及び画像処理システム - Google Patents

Abstract

【課題】電源投入後等に、焦点調整及び歪補正等を実施して画像が投影可能になるまでの時間を短縮する画像処理装置を提供することを目的とする。【解決手段】画像処理装置は、画像を投影するための光源と、パラメータを用いて前記画像を投影する投影手段と、前記投影手段によって投影された画像を取得する取得手段と、前記光源が点灯を開始した時点から、前記光源の特性に応じた時間を経過した後に前記取得された画像に基づいて、前記パラメータを補正するパラメータ補正手段と、を有する。【選択図】図３

Description

本発明は、画像処理装置及び画像処理システムに関する。

プロジェクタにより投影したパターンをカメラ等で撮影して、フォーカスを合わせる技術や、歪（台形歪み、非線形歪み）補正を行う技術がある。例えば、カメラでスクリーン面を撮影して測距することにより、オートフォーカスを行う技術が知られている（例えば、特許文献１参照）。また、カメラでスクリーン面を撮影して測距することにより、台形補正を行う技術が知られている（例えば、特許文献２参照）。

また、焦点調整を迅速に行うために、電源投入直後にアクティブ方式の自動合焦によりフォーカスをおおよそ合わせた後、テストパターンを投影して撮像し、フォーカスの調整を行う投影装置が知られている（例えば、特許文献３参照）。

特許文献１、及び２に記載の技術では、電源投入直後には、ランプ光源が十分に明るくなってから、補正用のパターン画像を投影して、ユーザ操作等を経て、焦点調整や歪補正等を行うまでには時間がかかっていた。また、特許文献３の技術では、焦点調整以外の歪補正等を高速化することはできなかった。

本発明の実施の形態は、上記問題点を鑑みてなされたものであって、電源投入後等に、焦点調整及び歪補正等を実施して画像が投影可能になるまでの時間を短縮する画像処理装置を提供することを目的とする。

上記課題を解決するため、一実施の形態に係る画像処理装置は、画像を投影するための光源と、パラメータを用いて前記画像を投影する投影手段と、前記投影手段によって投影された画像を取得する取得手段と、前記光源が点灯を開始した時点から、前記光源の特性に応じた時間を経過した後に前記取得された画像に基づいて、前記パラメータを補正するパラメータ補正手段と、を有する。

本実施の形態によれば、電源投入後等に、焦点調整及び歪補正等を実施して画像が投影可能になるまでの時間を短縮する画像処理装置を提供することができる。

第１の実施の形態に係る画像投影装置の外観のイメージを示す図である。 第１の実施の形態に係る画像投影装置のハードウェア構成図である。 第1の実施の形態に係る画像投影装置の機能構成図である。 第1の実施の形態に係る画像投影装置の電源投入時の処理の流れを示すフローチャートである。 補正用のパターン画像の一例を示す図である。 投影面までの距離を測る原理を説明するための図である。 第1の実施の形態に係る画像投影装置のパラメータ補正後の消灯処理の流れを示すフローチャートである。 第1の実施の形態に係る画像投影装置の画像入力検出処理の流れを示すフローチャートである。 第２の実施の形態に係る画像投影装置のハードウェア構成図である。 第２の実施の形態に係る画像投影装置電源投入時の処理の流れを示すフローチャートである。 第２の実施の形態に係る画像投影装置の画像入力検出処理の流れを示すフローチャートである。 第３の実施の形態に係る画像投影システムの構成図である。 第３の実施の形態に係る画像投影装置のハードウェア構成図である。 第３の実施の形態に係る画像投影装置の電源投入時の処理の流れを示すフローチャート。 第３の実施の形態に係る外部カメラの動作の一例を示すフローチャートである。 第４の実施の形態に係る画像投影装置の電源投入時の処理の流れを示すフローチャートである。 第５の実施の形態に係る画像投影システムの構成図である。 第５の実施の形態に係る制御装置の機能構成図である。 第５の実施の形態に係る画像投影システムの電源投入時等の処理の流れを示すフローチャートである。 第５の実施の形態に係る第１投影装置による投影のイメージを示す図である。 第５の実施の形態に係る第２投影装置による投影のイメージを示す図である。 第５の実施の形態に係る２つの投影装置による投影のイメージを示す図である。 第６の実施の形態に係る画像投影装置の機能構成図である。 第６の実施の形態に係るパターン画像の一例を示す図である。 第６の実施の形態に係る画像投影装置の処理の流れを示すフローチャートである。 その他の実施の形態に係る画像投影装置の処理の流れを示すフローチャートである。 ランプ光源の場合の準備期間のイメージを示す図である。 固体光源の場合の準備期間のイメージを示す図である。

以下に、本発明の実施の形態について、添付の図面を参照して説明する。

［第１の実施の形態］
＜ハードウェア構成＞
図１は、第１の実施の形態に係る画像投影装置（プロジェクタ）１００の外観のイメージを示す図である。画像投影装置１００は、本発明に係る画像処理装置の一例である。画像投影装置１００は、例えば、画像投影装置１００の筐体１０１の一側面に投影用のレンズ１０２及び撮像用のレンズ１０３が設けられている。画像投影装置１００は、投影用のレンズ１０２をスクリーン等の投影面に向けて画像を投影し、その投影した画像を撮像用のレンズ１０３を解して撮像することができる構成となっている。尚、図１の構成は、好適な一例であり、投影用のレンズ１０２と撮像用のレンズ１０３は、必ずしも同一面に設けられていなくても良い。

次に、図２は、画像投影装置１００のハードウェア構成を示す図である。画像投影装置１００は、一般的なコンピュータの構成を含んでおり、例えば、ＣＰＵ（Central Processing Unit）２０１、メモリ２０２、ビデオＲＡＭ（Random Access Memory）２０３、操作部２０４、入出力コネクタ２０５、入出力Ｉ／Ｆ（Interface）２０６、電源スイッチ２０７、電源制御部２０８、光源２０９、光源制御部２１０、ＤＭＤ（Digital Mirror Device）２１１、カラーホイール２１２、投影レンズ２１３、モーター２１４、撮像レンズ２１５、撮像素子２１６、及びシステムバス２１７等を有している。

メモリ２０２は、例えば、ＣＰＵ２０１のワークエリア等として使用される揮発性のメモリであるＲＡＭ、及び画像投影装置１００のプログラムやデータ等を格納する不揮発性のメモリであるＲＯＭ（Read Only Memory）等を含む。尚、ＲＯＭは、フラッシュＲＯＭや、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等であっても良い。

ＣＰＵ２０１は、メモリ２０２のフラッシュＲＯＭ等からプログラムやデータを読出し、処理を実行することで画像投影装置１００が備える各機能を実現する演算装置である。ＣＰＵ２０１及びメモリ２０２は、制御部２１８として、画像投影装置１００のプログラムを実行することによって、後述する各手段を実現する。

ビデオＲＡＭ２０３は、投影する画像データ等を一時的に記憶する。操作部２０４は、ユーザが画像投影装置１００の操作を行うための入力部である。入出力Ｉ／Ｆ２０６は、入出力コネクタ２０５に接続された外部機器とのデータの入出力を行うためのインタフェースで、例えば、パーソナルコンピュータ等の情報機器から入力される投影用の画像データを入力する。電源制御部２０８は、電源スイッチ２０７の操作等に応じて、画像投影装置１００の電源を制御する。

光源２０９は、画像投影装置１００が画像を投影するための光源である。画像投影装置用の光源として、従来は、高圧水銀ランプ等のランプ光源が標準的な光源として使用されていたが、本実施の形態では固体光源を使用する。固体光源は、半導体のｐ／ｎ接合による発光現象等を用いた光源であり、例えば、レーザー光源、ＬＥＤ（Light Emitting Diode）等である。

レーザー光源は、半導体レーザーからの光を画像投影装置の光源として使用するもので、波長の揃った波であることが特徴である。レーザー光源は、帯域幅は狭いが、光源に発光のための電流が流れると、ｍｓｅｃオーダー、或いはｎｓｅｃオーダーで最大光量をえることができる。尚、半導体レーザーで緑色を出すことはまだ難しく、その場合は、青色のレーザーを蛍光体と組み合わせて緑色の光を得ることも行われている。

ＬＥＤ光源は、発光ダイオード（ＬＥＤ）からの光を画像投影装置の光源として使用するもので、ランプ光源と同様に帯域が広い普通の光を得ることができる。ＬＥＤ光源で、大容量の光を得ることはまだ技術的に難しい。そのため、例えば、赤をＬＥＤ、レーザー光源と蛍光体で青と緑、等といった構成で画像投影装置の光を構成するハイブリッド光源も実用化されている。ＬＥＤ光源及びハイブリッド光源についても、光源に発光のための電流が流れると、ｍｓｅｃオーダー、或いはｎｓｅｃオーダーで最大光量を得ることができる。従って、半導体光源を光源２０９として使用することによって、高圧水銀ランプ等のランプ光源の立ち上がり時間（最大光量に達するまでの時間は、例えば５分）と比較して、短い時間で、投影に十分な明るさを得ることができる。

光源制御部２１０は、制御部２１８、又は電源スイッチ２０７、操作部２０４等の操作に応じて、光源２０９の点灯及び消灯を制御する。ＤＭＤ２１１は、多数の微小鏡面（マイクロミラー）を平面に配置した表示素子である。カラーホイール２１２は、例えば、赤青、緑の３色に色分けされた円板等を高速で回転させ、透過させることにより色づけを行う。尚、ＤＭＤ２１１及びカラーホイール２１２は、表示素子２１９の一例である。

光源２０９から出た光は、投影対象の画像によって、画素毎にその向きが制御されるＤＭＤ２１１で反射し、カラーホイール２１２で色づけされ、投影レンズ２１３を通して投影面に照射されて像を結ぶ。モーター２１４は、投影レンズ２１３を駆動するモーターで、ズーム、フォーカス等の調整を行う。

また、投影面に投影された画像は、撮像レンズ２１５及び撮像素子２１６によって撮像され、撮像された画像はメモリ２０２等に記憶される。

＜機能構成＞
次に、画像投影装置１００の機能構成を説明する。図３は、第１の実施の形態に係る画像投影装置１００の機能構成図である。画像投影装置１００は、撮影制御手段（取得手段）３０１、パラメータ補正手段３０２、投影制御手段（投影手段）３０３、画像入力検知手段３０４、点灯制御手段３０５、及び記憶手段３０６を有する。尚、撮影制御手段３０１、パラメータ補正手段３０２、投影制御手段３０３、画像入力検知手段３０４、及び点灯制御手段３０５は、少なくともその一部が、制御部２１８で動作するプログラムによって実現される。

投影制御手段（投影手段）３０３は、パラメータを用いて画像を投影する制御を行う。具体的には、投影制御手段３０３は、パラメータ補正手段３０２等が補正した画像処理パラメータに基づいて、例えば、ビデオＲＡＭ２０３又は記憶手段３０６に記憶された投影用の画像に、例えば、歪補正等の所定の画像処理を行う。また、画像処理された画像を、ＤＭＤ２１１、カラーホイール２１２等を制御して投影面に投影する。さらに、投影制御手段３０３は、パラメータ補正手段３０２等によって設定されたパラメータに基づいて、モーター２１４を制御し、投影画像のフォーカスの調整等を行う。

撮影制御手段３０１は、投影制御手段３０３によって投影面に投影された画像を取得する制御を行う。例えば、撮影制御手段３０１は、投影面に投影された画像を所定のタイミングで静止画として撮像する。或いは、撮影制御手段３０１は、投影面に投影された画像を連続的な静止画、又は動画等として撮像し、所定のタイミングで画像を切り出し、画像データとして取得するものであっても良い。

本実施の形態では、撮影制御手段３０１は、光源２０９が点灯を開始した時点から、光源２０９の特性に応じた時間を経過した後に、投影面に投影された画像を取得する。また、撮影制御手段３０１によって取得された画像データは、記憶手段３０６等に記憶される。

尚、光源２０９の特性に応じた時間とは、光源２０９の点灯を開始した時点から、光源２０９が投影に十分な明るさに達するまでの時間であり、例えば、実験的に求めることができる。この光源２０９の特性に応じた時間は、光源により大きく異なる。例えば、前述した高圧水銀ランプ等のランプ光源では、数分間（例えば、５分間）必要であるが、レーザー光源、ＬＥＤ光源等の固体光源では、ｍｓｅｃオーダー、或いはｎｓｅｃオーダーで、所定の明るさを得ることができる。従って、例えば、電源の投入後に自動的に画像の補正を行う場合、光源の点灯後、光源の特性に応じて予め定められた時間が経過したときに補正用の画像を取得することによって、画像の補正に要する時間を短縮することができる。

パラメータ補正手段３０２は、光源２０９が点灯を開始した時点から、光源２０９の特性に応じて予め定められた時間を経過した後に撮影制御手段３０１によって取得された画像データに基づいて、投影制御手段３０３の各種パラメータを算出し、補正する。補正するパラメータの例として、例えば、投影制御手段３０３がフォーカス調整等に使用する投影面までの距離、及び各種歪補正のためのパラメータ等である。尚、上記パラメータは一例であり、他のパラメータであっても良い。

画像入力検知手段３０４は、画像投影装置１００に、投影対象となる画像が入力されているか否かを判断する手段である。点灯制御手段３０５は、光源２０９の点灯及び消灯を制御する手段である。また、記憶手段３０６は、画像投影装置１００で使用する各種情報や、データ等を記憶する手段で、例えば、パラメータ補正に使用するパターン画像、撮影制御手段３０１が取得した画像等のデータを記憶する。

図４は、第１の実施の形態に係る画像投影装置１００の電源投入時の処理の流れを示すフローチャートである。例えば、ユーザが、電源スイッチ２０７等の操作により画像投影装置１００の電源を投入する（ステップＳ４０１）。電源が投入されると、制御部２１８が起動し、制御部２１８は、各部の初期設定を行う。一方、点灯制御手段３０５は、光源２０９を点灯する（ステップＳ４０２）。また、投影制御手段３０３は、補正用のパターン画像を記憶手段３０６から読出し（ステップＳ４０３）、読み出したパターン画像を投影する（ステップＳ４０４）。このとき、投影制御手段３０３は、例えば、予め画像装置に記憶された初期設定値、又は前回投影を行った時に使用したパラメータ等に基づいて、フォーカス等の調整を行い、画像を投影する。

次に、例えば、光源の点灯（ステップＳ４０２）から、光源２０９の特性に応じて予め定められた時間（例えば、１０ｍｓｅｃ）が経過するのを待って（ステップＳ４０５）、撮影制御手段３０１は、投影されたパターン画像を撮影又は取得する（ステップＳ４０６）。パラメータ補正手段３０２は、撮影制御手段３０１が取得した画像に基づいて、投影制御手段３０３の各種パラメータの補正を行う（ステップＳ４０７）。以後、投影制御手段３０３は、パラメータ補正手段３０２によって補正されたパラメータに基づいて、画像の投影を行う。

このように、本実施の形態では、画像投影装置１００の電源が投入されると、光源２０９の点灯から、光源２０９の特性に応じて予め定められた時間をおいて、自動的に補正用のパターン画像の撮影を行い、投影用のパラメータの補正が行われる。

ここで、パラメータの補正の一例について概要を説明する。パラメータの補正に使用するパターン画像としては様々なものがあるが、ここでは、図５に示すような、円形パターンを縦横に並べたパターン画像５０１を用いるものする。また、補正するパラメータについても、種々のものがあるが、ここでは、投影面までの距離を算出するものとする。

投影面までの距離を測る手順として、まず、パターン画像５０１を投影制御手段３０３により投影面に投影し、投影された画像を撮影制御手段３０１により取得する。また、取得した画像を二値化する。

二値化した画像から円形パターンのそれぞれを抽出する。投影面が遠くにあると円形パターン自体の投影サイズが大きくなり、また、遠くにある円形パターンは小さく見えることから、カメラから見た円形パターンの大きさは、距離によらず、およそ一定となる。円形パターンは、二値化した画像の連結成分のサイズで判別できる。

次に、円形パターンの撮影した画像上での重心座標を求める。そして、投影元の画像の円形パターンの重心座標との対応関係を求め、その関係により、画像投影装置１００から投影面にある円形パターンまでの距離を求める。投影面までの距離は、三角測量の原理で求めることができる。図６は、距離を測る原理を説明するための図である。

投影光学系、撮影光学系をピンホールモデルで近似すると、投影レンズ２１３及び撮像レンズ２１５を通る光線は、図６に示すように、それぞれ１点を必ず通る。

投影する円形パターンのそれぞれが、表示素子２１９のどこに物理的に位置するかを予め実測で求めておく。（投影光学系の内部パラメータを求めることに相当する。）
また、撮像したパターン画像上の座標で円形パターンそれぞれの位置を求める。円形パターンの位置は、撮像素子２１６の物理的な位置に対応できるよう、予め実測で求めておく（撮像光学系の内部パラメータを求めることに相当する）。

表示素子２１９上の円形パターンの座標値、及び対応する円形パターンの撮像素子２１６上での座標値、さらに、各レンズまでの距離、及び表示素子２１９と撮像素子２１６までの距離から、投影面までの距離が三角測量の原理により算出できる。

尚、プロジェクタとカメラを使った距離測定については、例えば、特許文献４等にも開示されている。また、画像投影装置１００から投影面までの距離がわかれば、台形補正や非線形の歪補正等が可能になる。尚、対応点の組から距離を測定し、補正を行う方法は、例えば、非特許文献１等に記載されている。

投影制御手段３０３は、例えば、パラメータ補正手段３０２が、上記手法により算出した投影面までの距離に基づいて、投影フォーカスが合うようにモーター２１４を駆動し、投影レンズ２１３の位置を調整する。また、パラメータ補正手段によって補正されたパラメータに基づいて、投影対象となる画像データに、例えば、台形補正や、非線形の歪補正等の画像補正を行い、補正後の画像を投影する。尚、投影された補正用のパターン画像の複数の円形パターン毎に、算出された距離が異なる場合には、中央に位置する円形パターンの値、平均値、又は中央値等を用いると良い。

次に、図７は、第１の実施の形態に係る画像投影装置１００のパラメータ補正後の処理の流れを示すフローチャートである。図４のパラメータ補正（ステップＳ４０７）が終わると、画像入力検知手段３０４は、入出力Ｉ／Ｆ２０６等に投影用の画像が入力されているかどうかを検知し（ステップＳ７０１）、投影対象となる画像入力の有無を判断する（ステップＳ７０２）。尚、画像入力用のインタフェースが複数ある場合には、画像入力検知手段３０４は、複数の画像入力用のインタフェースのそれぞれについて、画像入力の有無を判断すると良い。尚、画像入力検知手段３０４は、例えば、ビデオＲＡＭ２０３に投影対象の画像があるか否かにより、画像入力の有無を判断するものであっても良い。

投影対象となる画像が入力されていない場合、点灯制御手段３０５は、光源２０９を消灯する（ステップＳ７０３）。一方、投影対象の画像が入力されている場合には、光源２０９の消灯を行わない。以後も、画像入力検知手段３０４は、継続的に画像入力の有無を検知し、点灯制御手段３０５は、画像入力検知手段３０４の検知結果に基づいて、光源２０９の点灯又は消灯を行う。

図８は、第１の実施の形態に係る画像投影装置１００の画像入力検出処理の流れを示すフローチャートである。画像入力検知手段３０４は、投影対象の画像が入力されているか否かを検知し（ステップＳ８０１）、画像入力の有無を判断する（ステップＳ８０２）。投影対象の画像が入力されている場合、点灯制御手段３０５は、光源２０９が消灯しているか否かを確認し（ステップＳ８０３）、光源２０９が消灯している場合には、光源２０９を点灯する（ステップＳ８０４）。本実施の形態では、光源２０９として固体光源を使用しているため、投影に適した明るさになるまでの時間が短いので、画像が入力されるまで、光源２０９を消灯しておいても実用上問題ない。

光源２０９を点灯した後、投影制御手段３０３は、ビデオＲＡＭ２０３に格納された投影対象の画像を記憶手段３０６に読込み、パラメータ補正手段３０２が算出したパラメータに基づいて、投影用の画像を補正する（ステップＳ８０５）。投影制御手段３０３は、補正した画像をビデオＲＡＭ２０３に書き込み、投影する（ステップＳ８０６）。一方、ステップＳ８０３において、光源２０９が点灯している場合、そのまま画像の投影を継続する（ステップＳ８０６）。

また、ステップＳ８０２において、画像の入力がない場合、点灯制御手段３０５は、光源２０９が点灯しているか否かを確認し（ステップＳ８０７）、光源２０９が点灯している場合には、光源２０９を消灯する（ステップＳ８０８）。

尚、フローチャートには記載がないが、電源がＯＦＦになれば、全ての投影、撮像、パラメータの補正等の処理は終了する。

以上、本実施の形態によれば、画像投影装置１００の電源が投入されると、光源２０９の点灯から、光源２０９の特性に応じた時間をおいて、自動的に補正用のパターン画像の撮影を行い、投影用のパラメータの補正が行われる。

また、光源２０９として、固体光源を使用しており、さらに、光源の点灯から、光源の特性に応じた時間が経過したときに、自動的に補正用の画像を取得するため、電源投入後、画像の投影が可能になるまでの時間を短縮することができる。

さらに、画像入力が無いときには、光源２０９を消灯するため、省電力効果が大きい。また、画像が入力されたときには、光源２０９を点灯させるが、固体光源を使用しているため、画像の投影が可能になるまでの時間を短縮することができる。

[第２の実施の形態]
電源の投入に応じて、パラメータの補正を行うことは、固体光源の特性を生かした、設定時間の短縮につながる手法である。ただし、ユーザが、画像投影装置１００の電源を投入した後に、設置位置の調整等を行うと、補正用のパラメータを求めた後にプロジェクタが動いてしまうことになる。そのため、算出した補正用のパラメータが有効に利用できない場合がある。

そこで、第２の実施の形態に係る画像投影装置１００は、第１の実施の形態の構成に加えて、加速度センサ等の移動検出手段を有している。図９は、第２の実施の形態に係る画像投影装置１００のハードウェア構成図である。第２の実施の形態に係る画像投影装置１００は、図２の構成に加えて、加速度センサ９０１を有している。尚、加速度センサ９０１は、画像投影装置１００が静止状態にあるか否かを検出する移動検出手段の一例であって、加速度センサ９０１以外の手段を用いても良い。例えば、カメラにより取得した動画の画像解析等によって、移動の有無を判断するものであっても良い。

図１０は、第２の実施の形態に係る画像投影装置１００の電源投入時の処理の流れを示すフローチャートである。図４に示した第１の実施の形態のユーザが電源を投入するステップＳ４０１の後に、加速度センサ９０１により、加速度情報を検知する処理（ステップＳ１００１）と、変動量が所定の範囲内であるか否かを判断する処理（ステップＳ１００２）が追加されている。そして、画像投影装置１００の筐体１０１の加速度の変化（変動）が所定の範囲内となったときに、点灯制御手段３０５が、光源２０９を点灯させる（ステップＳ４０２）。

加速度の変動が小さくなれば画像投影装置１００の設置が終了したと判断することができるので、その時点から光源２０９の点灯、補正用のパターン画像の投影等を開始すれば良い。尚、ステップＳ４０２以降の処理は、第１の実施の形態と同じである。

また、図１１は、第２の実施の形態に係る画像投影装置１００の画像入力検出処理の流れを示すフローチャートである。図１１において、図８に示した第１の実施の形態の画像投影を行う処理（ステップＳ８０６）の後に、加速度情報を検知する処理（ステップＳ１１０１）及び加速度の変動量が所定の範囲内か否かを判断する処理（ステップＳ１１０２）が追加されている。

図１１のステップ１１０２では、加速度の変動量が所定の範囲内の場合、ステップＳ７０１に戻り、画像入力検出の処理を行う。一方、加速度の変動量が所定の範囲を超えた場合、図１０のステップＳ２００２以降の処理を行う。すなわち、加速度の変動量が所定の範囲内になるのを待ってから(ステップＳ１００２)、光源の点灯（ステップＳ４０２）以降の一連の補正処理を再実行する。この処理により、画像投影装置１００を動かした場合に、自動的に補正がかかるため、投影中の移動によるパターン補正の手順が軽減される。

以上、本実施の形態によれば、画像投影装置１００は、加速度センサの検出結果に基づいて、パラメータの補正を行う。具体的には、電源投入後、画像投影装置１００の筐体１０１の加速度の変動が小さくなった後に、パターン画像の投影及び撮影と、パラメータ補正を自動的に実行することができる。従って、画像投影装置１００の配置が安定してから、投影画像のパラメータ補正を実行することができる。さらに、投影中に画像投影装置１００が移動された場合に、投影画像のパラメータ補正を自動的に再実行することができる。

[第３の実施の形態]
第１、及び第２の実施の形態では、画像投影装置１００の筐体１０１の内部にカメラ（撮像レンズ２１５及び撮像素子２１６）を有するものとして説明を行ったが、カメラは、必ずしも同一の筐体内に設ける必要はない。

図１２は、第３の実施の形態に係る画像投影システム１２００の構成図である。図１２において、画像投影装置１２０１は、ＰＣ（Personal Computer）１２０４等から入力された投影対象画像を、投影面１２０３に投影する。また、外部カメラ１２０２は、投影面１２０３に投影された画像を撮像して、画像投影装置１２０１へ送信する構成となっている。尚、外部カメラ１２０２は、スマートフォンやタブレット端末等のカメラ機能を有する情報処理装置であっても良い。

図１３は、第３の実施の形態に係る画像投影装置１２０１のハードウェア構成図である。図１３において、画像投影装置１２０１は、図２の第１の実施の形態のハードウェア構成の、撮像レンズ２１５及び撮像素子２１６に代えて、通信部１３０１及び表示部１３０２を有している。また、外部カメラ１２０２には、撮像レンズ１３０３、撮像素子１３０４、及び通信部１３０５を有している。外部カメラ１２０２は、画像投影装置１２０１の外部に設けられており、通信部１３０５により画像投影装置１２０１の通信部１３０１を介して、画像投影装置１２０１とデータの送受信が可能である。

通信部１３０１及び１３０５は、例えば、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ultra Wide Band）、又はＮＦＣ（Near Field Communication）等の無線による通信手段である。また、通信部１３０１は、ＵＳＢ（Universal Serial Bus）等の有線による通信手段であっても良い。

表示部１３０２は、画像投影装置１２０１の光源２０９の点灯から、光源２０９の特性に応じて予め定められた時間を経過したことを表示する。例えば、表示部１３０２は、「投影画像を撮影して、プロジェクタへ送信して下さい。」等のメッセージを表示する液晶パネルであっても良い。又は、表示部１３０２は、画像投影装置１２０１の光源２０９の点灯から、光源２０９の特性に応じて予め定められた時間を経過したことを、所定の点灯パターン等で表示する発光ダイオード等であっても良い。

図１４は、第３の実施の形態に係る画像投影システム１２００の電源投入時の処理の流れを示すフローチャートである。画像投影装置１２０１の電源を投入後（ステップＳ４０１）、画像投影装置１２０１の光源２０９の点灯から、光源２０９の特性に応じて予め定められた時間を経過したことを判断するステップ（ステップＳ４０５）までは、第１の実施の形態と同じである。

ステップＳ４０５において、予め定められた時間を経過したと判断した場合、画像投影装置１２０１は、投影面に投影された補正用のパターン画像の撮影が可能になったことを、例えば、表示部１３０２に表示する（ステップＳ１４０１）。その後、画像投影装置１２０１は、外部カメラから画像データが入力されるのを待ち（ステップＳ１４０２）、外部カメラ１２０２から画像データが入力されると、入力された画像データに基づいて投影画像のパラメータ補正を行う（ステップＳ１４０３）。

尚、ステップＳ１４０１の投影面に投影された補正用のパターン画像の撮影が可能になったことを示す表示は、通信部１３０１を介して外部カメラ１２０２へ送信する所定のメッセージ等の通知であっても良い。

一方、例えば、表示部１３０２に投影された補正用のパターン画像の撮影が可能になったことが表示されると、ユーザは、外部カメラ１２０２を使って投影面の正面から、投影された画像を撮像する。また、撮像した画像を、通信部１３０５を介して画像投影装置１２０１へ送信する。

尚、外部カメラ１２０２は、通信部１３０５により受信した、補正用のパターン画像の撮影が可能になったことを示す通知に応じて、投影面の画像を撮像するものであっても良い。また、外部カメラ１２０２は、撮像した画像を自動的に画像投影装置１２０１へ送信するものであっても良い。図１５は、第３の実施の形態に係る外部カメラ１２０２の動作の一例を示すフローチャートである。尚、外部カメラ１２０２は、投影面の正面に投影面の方向へ向けて配置されているものとする。

図１５において、外部カメラ１２０２は、画像投影装置１２０１からの通知を待つ（ステップＳ１５０１）。画像投影装置１２０１から、補正用のパターン画像の撮影が可能になったことが通知されると、外部カメラ１２０２は、投影されたパターン画像を撮像する（ステップＳ１５０２）。また、撮像した画像を、通信部１３０５を介して、画像投影装置１２０１へ送信する（ステップ１５０３）。外部カメラからの画像を受信した画像投影装置１２０１は、図１４のステップＳ１４０３の処理を実行する。

尚、本実施の形態では、画像投影装置１２０１から投影面までの距離を測ることはできないため、画像投影装置１２０１のフォーカスは、別途、手動等で合わせるものとする。

また、本実施の形態では、スクリーン正面から撮像することにより、投影面上の点との距離を測る必要はなくなり、正面から撮像した画像が歪まないように、画像を変形するパラメータを求めれば良い。

以上、本実施の形態によれば、画像投影装置１２０１がカメラを備えていない場合であっても、ユーザが所有するカメラ、スマートフォン等を使って画像投影装置２１０１の補正を高速化することができる。

［第４の実施の形態］
第１〜第３の実施の形態では、補正用のパターン画像を投影、撮像して、投影用のパラメータを補正するものとして説明を行ったが、投影対象となる入力画像を使って補正を行うこともできる。

図１６は、第４の実施の形態に係る画像投影装置１００の電源投入時の処理の流れを示すフローチャートである。尚、画像投影装置１００のハードウェア構成及び機能構成は、第１の実施の形態と同じで良い。図１６についても、基本的な動作は第１の実施の形態と同じなので、ここでは差分を中心に説明を行う。

図１６において、ユーザが画像投影装置１００の電源を投入し、光源２０９を点灯した後、画像入力検知手段３０４は、投影対象の画像が入力されているか否かを判断する（ステップＳ１６０１）。画像入力検知手段３０４が、投影対象の画像が入力されていると判断した場合、入力されている画像を投影する（ステップＳ１６０２）。一方、画像入力検知手段３０４が、投影対象の画像が入力されていないと判断した場合、第１の実施の形態と同様に、補正用のパターン画像を読出し、投影する（ステップＳ４０３、Ｓ４０４）。その後、投影された画像を撮像し、投影対象の画像（または補正用のパターン画像）との対応関係から、投影用のパラメータを算出し、補正する。

尚、投影対象の入力画像を使って補正を行う場合には、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）等の技術を用いて、特徴となる点を画像から抽出する。そして、投影対象の画像と撮像した画像の双方から、同じと思われる特徴点のペアを求め、対応点の組とすれば良い。対応点の組を決めた後は、第１の実施の形態と同様に処理を行うことができる。

さらに好適な例として、第２の実施の形態と同様に、画像投影装置１００に加速度センサを備えていても良い。例えば、投影対象の画像を投影中に、画像投影装置１００を移動した場合、加速度センサにより移動を検知し、図１６のＳ１６０１以降の処理を行う。この場合、投影対象の画像で補正を行うことができるので、投影画像を補正用のパターン画像を表示する必要がなく、ユーザに違和感を与えることなく、補正を行うことができる。

［第５の実施の形態］
第１〜第４の実施の形態では、画像投影装置が１台の場合について説明を行ったが、本発明は、２台以上の画像投影装置が協働して１つの画面を投影するマルチプロジェクションにおいても適用できる。

図１７は、第５の実施の形態に係る画像投影システム１７００の構成図である。画像投影システム１７００は、第１投影装置１７０１、第２投影装置１７０２、カメラ１７０３、制御装置１７０４、及びスクリーン１７０５を有している。画像投影システム１７００は、第１投影装置１７０１の投影画面と、第２投影装置１７０２の投影画面を連結して大画面化する連結投影を行うものとする。画像投影システム１７００は、別のプロジェクタで投影された画像同士がずれなく、隙間無く連結するように、重複した投影領域１７０６を有している。

そのため、補正用のパターン画像等を第１投影装置１７０１と第２投影装置１７０２が同時に投影すると、重複した投影領域１７０６において、補正用のパターン画像が重なり、どちらのプロジェクタから投影されたパターン画像かわからなくなってしまう。本実施の形態に係る画像投影システム１７００では、各投影装置の画像の投影と撮影をスケジューリングする制御装置１７０４を設け、投影装置毎に順次パターン画像の投影及び撮影を行う。尚、制御装置１７０４は、一般的なコンピュータの構成を有する情報処理装置であり、例えば、パーソナルコンピュータ等である。

図１８は、制御装置１７０４の機能構成図である。制御装置１７０４は、例えば、第１の実施の形態に係る画像投影装置１００と同様の機能構成を有している。

また、図１９は、第５の実施の形態に係る画像投影システム１７００の電源投入時の処理の流れを示すフローチャートである。画像投影システム１７００の電源を投入すると、或いは、制御装置１７０４から画像投影システム１７００の起動を指示すると（ステップＳ１８０１）、制御装置１７０４の点灯制御手段１８０５は、第１投影装置１７０１の光源を点灯させる（ステップＳ１９０２）。次に、制御装置１７０４は、第１投影装置１７０１に補正用のパターン画像を投影させる。また、制御装置１７０４は、第１投影装置１７０１の光源の点灯から光源の特性に応じて予め定められた第１の時間を経過した後、カメラ１７０３に投影されたパターン画像を撮像させる（ステップＳ１９０３）。

このときの第１投影装置１７０１による補正用のパターン画像の投影イメージを図２０に示す。この状態で、投影面を撮像することによって、第２投影装置１７０２の影響を受けることなく、第１投影装置１７０１の補正用の画像を取得することができる。

また、カメラ１７０３によるパターン画像の撮像後、制御装置１７０４は、第１投影装置１７０１の光源を消灯させる（ステップＳ１９０４）。

点灯制御手段１８０５は、第２投影装置１７０２の光源を点灯させる（ステップＳ１９０５）。次に、制御装置１７０４は、第２投影装置１７０２に補正用のパターン画像を投影させる。また、制御装置１７０４は、第２投影装置１７０２の光源の点灯から光源の特性に応じて予め定められた第２の時間を経過した後、カメラ１７０３に投影されたパターン画像を撮像させる（ステップＳ１９０６）。

このときの第２投影装置１７０２による補正用のパターン画像の投影イメージを図２１に示す。この状態で、投影面を撮像することによって、第１投影装置１７０１の影響を受けることなく、第２投影装置１７０２の補正用の画像を取得することができる。

また、カメラ１７０３の撮像後、点灯制御手段１８０５は、第２投影装置１７０２の光源を消灯する（ステップＳ１９０７）。

次に、制御装置１７０４のパラメータ補正手段１８０２は、カメラ１７０３が撮像した２つの補正用パターン画像に基づいて、第１投影装置１７０１及び第２投影装置１７０２の補正用のパラメータを算出する（ステップＳ１９０８）。

制御装置１７０４は、第１投影装置１７０１及び第２投影装置１７０２の光源を点灯させ（ステップＳ１９０９）、さらに、第１投影装置１７０１及び第２投影装置１７０２に画像を投影させる（ステップＳ１９１０）。第１投影装置１７０１及び第２投影装置１７０２は、制御装置１７０４のパラメータ補正手段１８０２が算出したパラメータに基づいて。投影対象の画像を投影する。

このときの第１投影装置１７０１及び第２投影装置１７０２による、投影対象の画像の投影イメージを図２２に示す。

以上、本実施の形態によれば、複数の投影装置によるマルチプロジェクションにおいても、本発明を適用することができる。

尚、マルチプロジェクションには、複数の投影画面を連結して大画面化する上記連結投影の他にも、同一内容を重畳して投影して明るさを増すスタック投影等があるが、スタック投影においても本実施の形態を適用することができる。

［第６の実施の形態］
第１〜第５の実施の形態では、光源２０９が点灯を開始した時点から、光源２０９の特性に応じて予め定められた時間を経過した後に、撮影制御手段３０１によって取得された画像データに基づいて、パラメータの補正を行うものとして説明を行った。しかし、これは、好適な一例であって、本発明の範囲を限定するものではない。例えば、「光源２０９の特性に応じた時間」は、必ずしも予め定められていなくても良い。

本実施の形態では、別の好適な一例として、撮影制御手段３０１によって取得した画像を利用して、投影された画像又はスクリーンの明るさ等を検出することによって、パラメータの補正に必要な明るさの画像が投影されるまで待つ場合の例について説明する。

図２３は、第６の実施の形態に係る画像投影装置１００の機能構成図である。本実施の形態に係る画像投影装置１００は、図３に示した第1の実施の形態の機能構成に加えて、明るさ算出手段２３０１を有している。明るさ算出手段２３０１は、撮影制御手段３０１が取得した画像から投影光の明るさを算出する。そして、パラメータ補正手段３０２は、明るさ算出手段２３０１が算出した明るさが、所定の明るさ以上になるのを待った後に、撮影制御手段３０１が取得した画像に基づいて、パラメータの補正を行う。

図２４は、明るさ算出手段２３０１による明るさの算出に用いるパターン画像の一例である。図２４において、投影面２４０１に、パターン画像である複数の黒色円形パターン２４０２が投影されている。撮影制御手段３０１で取得した画像の画角２４０３の中央付近は投影面２４０１と推定できるので、明るさ算出手段２３０１は、定められた画像領域内２４０４内の画素値から明度値を求め、その平均値等を算出する。これにより、投影面２４０１に投影された画像が十分な明るさであるか否かを判断することができる。

図２５は、第６の実施の形態に係る画像処理装置の処理の流れを示すフローチャートである。図２５において、ユーザが、電源スイッチ２０７等の操作により画像投影装置１００の電源を投入する（ステップＳ２５０１）。電源が投入されると、点灯制御手段３０５は、光源２０９を点灯する（ステップＳ２５０２）。また、投影制御手段３０３は、例えば、図２４に示すパターン画像を記憶手段３０６から読出し（ステップＳ２５０３）、読み出したパターン画像を投影する（ステップＳ２５０４）。

次に、撮影制御手段３０１は、投影されたパターン画像を撮影又は取得する（ステップＳ２５０５）。明るさ算出手段２３０１、撮影制御手段３０１が取得した画像に基づいて、投影面２４０１の明るさを算出する（ステップＳ２５０６）。明るさ算出手段３０１が算出した明るさが所定の明るさ以上である場合、パラメータ補正手段３０２は、取得された画像に基づいて、各種パラメータの補正を行う（ステップ２５０８）。一方、取得した画像に基づいて、投影面２４０１の明るさを算出する（ステップＳ２５０６）。明るさ算出手段３０１が算出した明るさが所定の明るさに達していない場合、ステップＳ２５０５に戻って、上記動作を繰り返す。

上記動作により、光源２０９が点灯を開始した時点から、光源２０９の特性に応じた時間、すなわち、光源２０９が所定の明るさになるまでの所定の時間を経過した後に、取得された画像データに基づいて、パラメータの補正を行うことができる。

尚、上記光源２０９の特性に応じた時間は、ランプ、固体光源等の種類によって大きく異なる。さらに、光源の個体差や周囲温度等によって、ばらつきもある。本実施の形態によれば、この光源２０９の特性に応じた時間を、取得した画像の明るさにより算出することにより、電源投入後等に、焦点調整及び歪補正等を実施して画像が投影可能になるまでの時間をより効果的に短縮することができる。

尚、図２４に示すパターン画像を用いて、明度値を測定する方法は、明るさの算出方法の一例であって、本発明の範囲を制限するものではない。例えば、パターン画像ではなく、無地の白色光を投影して明るさを測定するもの等であっても良い。

［その他の実施の形態］
第１〜第６の実施の形態において、電源投入後に投影画像の各種補正を自動的に行うものとして説明を行ったが、画像投影装置１００は、例えば、機器の設定情報等により、電源投入時の自動補正を行うか否かを設定可能であっても良い。この場合、例えば、図２６のフローチャートのように、電源投入（ステップＳ２６０１）の後に、モード情報を取得するステップと（ステップＳ２６０２）、電源投入時の自動調整を行うか否かを判断するステップを追加すると良い（ステップＳ２６０３）。この場合、画像投影装置は、ステップＳ２６０３の判断結果に応じて、電源投入時の自動調整を行う。

また、例えば、第１の実施の形態では、光源２０９を点灯した後、光源２０９の特性に応じて予め定められた時間を経過後に、自動的に投影されたパターン画像を撮像するものとして説明を行った。しかし、ユーザがパターン画像を撮影するタイミングを指定できるように、例えばプロジェクタに設けられた所定のボタンや、リモコン等により、撮像を指示するものであっても良い。この場合、例えば、図２６のフローチャートのように、パターン画像投影（ステップＳ２６０４）後、予め定められた時間を経過（ステップＳ２６０５）後に、撮影指示信号を待つ処理（ステップＳ２６０６、Ｓ２６０７）を追加すると良い。

また、画像投影装置には、アナログ入力、ＨＤＭＩ（登録商標）入力、無線入力、ＵＳＢ入力等、いろいろな入力経路があるため、入力画像の有無を確認する際には、複数の入力インタフェースを順次サーチを繰り返しても良い（ステップＳ２６１１、２６１２）。

また、上記各実施の形態において、光源が固体光源であるものとして説明を行ったが、本発明は光源がランプ光源の場合にも適用可能である。図２７は、ランプ光源の場合の、電源投入後に、焦点調整及び歪補正等を実施して画像が投影可能になるまでの時間（準備期間）のイメージを示す図である。

図２７の時刻Ｔ１において、画像投影装置１００の電源を投入すると、システムが起動し、時刻Ｔ２において、ランプ光源の点灯を開始する。ランプ光源の明るさは、時刻Ｔ３に、パラメータ補正が可能な所定の明るさに達するが、ランプ光源が所定の明るさに達するまでの時間（時刻Ｔ２〜Ｔ３）は数分（例えば、５分）を要する。本願の実施の形態では、図２７の下側に示すように、時刻Ｔ３において、自動的にパラメータ補正が開始されるので、画像投影装置１００は、時刻Ｔ４に画像を投影可能な状態になる。

一方、手動でパラメータ補正を開始させる場合には、図２７の上側に示すように、ユーザはどのタイミングでパラメータ補正を開始すれば良いかがわからないため、無駄な待ち時間（時刻Ｔ３〜Ｔ５）が発生する場合がある。このため、パラメータ補正が完了するまで（時刻Ｔ６）に時間がかかる。また、早くパラメータ補正を開始するために、時刻Ｔ３より前に補正を開始してしまうと、パラメータ補正に失敗するため、さらに無駄な時間を要する恐れがある。

このように、本発明は、ランプ光源においても、電源投入後等に、焦点調整及び歪補正等を実施して画像が投影可能になるまでの時間を短縮する効果が期待できる。

さらに、光源を固体光源とした場合の、電源投入後に、焦点調整及び歪補正等を実施して画像が投影可能になるまでの時間（準備期間）のイメージを図２８に示す。固体光源の場合、光源を点灯した後、所定の明るさに達するまでの時間２８０１は、ｍｓｅｃオーダー、或いはｎｓｅｃオーダーになる。そのため、電源投入後等に、焦点調整及び歪補正等を実施して画像が投影可能になるまでの時間（時刻Ｔ１〜Ｔ４）をより効果的に短縮することができる。

１００ 画像投影装置（画像処理装置）
２０９ 光源（固体光源）
３０１ 撮影制御手段（取得手段）
３０２ パラメータ補正手段
３０３ 投影制御手段（投影手段）
３０４ 画像入力検知手段
３０５ 点灯制御手段
９０１ 加速度センサ
１２００、１７００ 画像投影システム（画像処理システム）
１３０２ 表示部１３０２
１３０１、１３０５ 通信部
２３０１ 明るさ算出手段

特開２０１３−０４１１６６号公報 特開２０１３−０４２４１１号公報 特開２００５−０２４７４１号公報 特開２００６−２４２８９７号公報

「投影画像の幾何補正に関する実験的検討」（計測自動制御学会東北支部第２３５回研究集会、２００７．５．１８ 資料番号２３５−５）

Claims (10)

1. 画像を投影するための光源と、
   パラメータを用いて前記画像を投影する投影手段と、
   前記投影手段によって投影された画像を取得する取得手段と、
   前記光源が点灯を開始した時点から、前記光源の特性に応じた時間を経過した後に前記取得された画像に基づいて、前記パラメータを補正するパラメータ補正手段と、
   を有する画像処理装置。
2. 前記光源が固体光源である請求項１に記載の画像処理装置。
3. 加速度センサを有し、
   前記加速度センサの検出結果に基づいて前記パラメータの補正を開始する請求項１又は２に記載の画像処理装置。
4. 前記パラメータを補正した後に投影対象となる画像が入力されていない場合、前記光源を消灯する請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 投影対象となる画像が入力されている場合、前記投影対象となる画像を用いて前記パラメータの補正を行う請求項１乃至３のいずれか一項に記載の画像処理装置。
6. 複数の画像入力手段を有し、
   前記複数の画像入力手段のそれぞれについて、前記投影対象となる画像が入力されているか否かを判断する請求項４又は５に記載の画像処理装置。
7. ユーザからの設定に基づいて、前記画像処理装置の電源を投入したときに前記パラメータの補正を行うか否かを決定する請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記光源が点灯を開始した時点から、前記光源の特性に応じた時間を経過したときに、所定の通知又は表示を行う請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記取得手段によって取得された画像に基づいて、投影された前記画像又は投影面の明るさを算出する算出手段を有し、
   算出手段によって算出された明るさに基づいて前記パラメータの補正を開始する請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 請求項１乃至９のいずれか一項に記載の画像処理装置を複数有し、
    前記複数の画像処理装置が協働して一の画面を投影する画像処理システムであって、
    前記複数の画像処理装置の前記パラメータの補正に係る画像の投影及び撮影を制御する手段を有する画像処理システム。