JP2014179698A - プロジェクタ及びプロジェクタの制御方法、並びに、その制御方法のプログラム及びそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】投影対象物とプロジェクタとの相対的な位置関係が変化したときの補正と、投影対象物の形状に対応する補正とを実施することができるプロジェクタ又はプロジェクタの制御方法を提供すること。
【解決手段】投影画像を投影対象物に投影する投影手段と、投影対象物を含む投影された領域を撮像する撮像手段と、撮像手段が撮像した撮像画像を用いて補正パラメータを算出する算出手段と、補正パラメータを用いて投影画像を補正する補正手段とを有し、算出手段は撮像画像に基づいて、補正パラメータとして、歪みパラメータと動きパラメータとを算出し、補正手段は歪みパラメータを用いて投影対象物の形状に対応する補正をし、動きパラメータを用いて投影手段又は投影対象物の移動に対応する補正をする。
【選択図】図４

Description

本発明は、プロジェクタ及びプロジェクタの制御方法に関する。

プロジェクタは、画像（投影画像）をスクリーン等の投影対象物に投影する装置である。プロジェクタには、画像を投影する際に投影対象物までの距離を測定し、その距離に基づいて投影する画像のフォーカスを調整するものがある。また、プロジェクタには、投影した画像を撮像し、撮像した画像（撮像画像）に基づいてフォーカスなどを調整するものがある。

特許文献１には、光学投影装置（プロジェクタ）の位置が変化した場合（例えば手ぶれの場合）であっても、スクリーン（投影対象物）における投影像（投影画像）の位置ずれを補正し、安定的に映像（投影画像）を投影する技術を開示している。

しかしながら、特許文献１に開示されている技術では、撮像画像の全体を補正するため、例えば投影対象物の外形によって撮像画像に局所的な歪みがある場合に、手ぶれ（位置ずれ）を補正することができない場合がある。また、特許文献１には、投影対象物とプロジェクタとの相対的な位置関係が変化したときの補正と、投影対象物の形状（の歪み）に対応する補正とを同時に行う技術の記載がない。

本発明は、このような事情の下に為され、投影対象物とプロジェクタとの相対的な位置関係が変化したときの補正と、投影対象物の形状に対応する補正とを実施することができるプロジェクタ又はプロジェクタの制御方法を提供することを目的とする。

本発明の一の態様によれば、投影画像が投影されている投影対象物を撮像し、撮像した撮像画像を用いて前記投影画像を補正するプロジェクタであって、前記投影画像を前記投影対象物に投影する投影手段と、前記投影対象物を含む投影された領域を撮像する撮像手段と、前記撮像手段が撮像した前記撮像画像を用いて、前記投影された領域に関する三次元データを算出し、算出した前記三次元データを用いて補正パラメータを算出する算出手段と、前記算出手段が算出した前記補正パラメータを用いて、前記投影画像を補正する補正手段とを有し、前記算出手段は、撮像した前記撮像画像に基づいて、前記補正パラメータとして、歪みパラメータと動きパラメータとを算出し、前記補正手段は、算出した前記歪みパラメータを用いて前記投影対象物の形状に対応する補正をし、算出した前記動きパラメータを用いて前記投影手段及び／又は前記投影対象物の移動に対応する補正をする、ことを特徴とするプロジェクタが提供される。

本発明の他の態様によれば、投影画像が投影されている投影対象物を撮像し、撮像した撮像画像を用いて前記投影画像を補正するプロジェクタの制御方法であって、前記投影画像を前記投影対象物に投影する投影ステップと、撮像手段を用いて、前記投影対象物を含む投影された領域を撮像する撮像ステップと、撮像した前記撮像画像を用いて、前記投影された領域に関する三次元データを算出し、算出した前記三次元データを用いて補正パラメータを算出する算出ステップと、算出した前記補正パラメータを用いて、前記投影画像を補正する補正ステップとを含み、前記算出ステップは、撮像した前記撮像画像に基づいて、前記補正パラメータとして、歪みパラメータと動きパラメータとを算出し、前記補正ステップは、算出した前記歪みパラメータを用いて前記投影対象物の形状に対応する補正をし、次いで、算出した前記動きパラメータを用いて前記投影手段及び／又は前記投影対象物の移動に対応する補正をし、前記投影ステップは、補正された前記投影画像を投影する、ことを特徴とするプロジェクタの制御方法が提供される。また、本発明のその他の態様によれば、前記制御方法をコンピュータに実行させるためのプログラムであってもよい。また、本発明のその他の態様によれば、前記プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。

本発明に係るプロジェクタ又はプロジェクタの制御方法によれば、投影対象物とプロジェクタとの相対的な位置関係が変化したときの補正と、投影対象物の形状に対応する補正とを実施することができる。

プロジェクタの一例を示す概略外観図である。 プロジェクタの動作の一例を説明する説明図である。 プロジェクタが投影画像を補正する動作の一例を説明する説明図である。 プロジェクタが補正した投影画像（補正画像）を投影する動作の一例を説明する説明図である。 第一の実施形態に係るプロジェクタの構成の一例を説明する概略構成図である。 第一の実施形態に係るプロジェクタの機能の一例を説明する機能ブロック図である。 プロジェクタが投影した投影画像の歪みの一例を説明する説明図である。 第一の実施形態に係るプロジェクタの算出手段が算出する補正パラメータ（動きパラメータ）の一例を説明する説明図である 第一の実施形態に係るプロジェクタの動作（投影動作）の一例を説明するフローチャート図である。 第一の実施形態に係るプロジェクタの動作（補正動作）の一例を説明するフローチャート図である。 第一の実施形態に係るプロジェクタの特徴点を抽出する動作の一例を説明する説明図である。 第一の実施形態に係るプロジェクタがパターンを投影する動作の一例を説明する説明図である。 第一の実施形態に係るプロジェクタがパターンを投影したときの撮像画像の一例を説明する説明図である。 第二の実施形態に係るプロジェクタの動作（投影動作及び補正動作）の一例を説明するフローチャート図である。 実施例１に係るプロジェクタの一例を示す概略外観図である。 実施例２に係るプロジェクタの手ぶれの動作の一例を説明する説明図である。 実施例３に係るプロジェクタの投影動作（移動対象物に投影する動作）の一例を説明する説明図である。 実施例４に係るプロジェクタの動作の一例を説明するフローチャート図である。 実施例４に係るプロジェクタの投影動作の一例を説明する説明図である。

投影画像が投影されている投影対象物を撮像し、撮像した撮像画像を用いて投影画像を補正するプロジェクタを用いて、本発明の限定的でない例示の実施形態について説明する。本発明は、以後に説明するプロジェクタ以外でも、投影撮影装置、投影装置、投射装置、撮像装置及びその他画像を投影し、投影した画像を撮像するもの（装置、機器、ユニットシステムなど）であれば、いずれのものにも用いることができる。

ここで、画像とは、静止画、動画、映像などを含む。画像を投影するとは、投射、投写、映写、照射などを含む。画像を撮像するとは、撮影、取得などを含む。また、投影対象物には、スクリーン、壁、及び、ホワイトボート、建物の外壁などの外形表面、並びに、移動する物体の表面で画像を投影することができるものを含む。

なお、以後の説明において、添付の全図面の記載の同一又は対応する部材又は部品には、同一又は対応する参照符号を付し、重複する説明を省略する。また、図面は、部材もしくは部品間の相対比を示すことを目的としない。したがって、具体的な寸法は、以下の限定的でない実施形態に照らし、当業者により決定することができる。

本発明の一実施形態に係るプロジェクタを用いて、下記に示す順序で本発明を説明する。

１．プロジェクタ、並びに、投影動作及び撮像動作
２．第一の実施形態
３．第二の実施形態
４．プログラム及び記録媒体
５．実施例（実施例１乃至実施例４）
［プロジェクタ、並びに、投影動作及び撮像動作］
図１乃至図４を用いて、本発明に係るプロジェクタ１００を説明する。

図１（ａ）及び図１（ｂ）は、本発明に係るプロジェクタ１００の一例を示す前面の概略外観図及び背面の概略外観図である。図２は、プロジェクタ１００の投影動作の一例を説明する説明図である。図３（ａ）は、プロジェクタ１００（後述する算出手段１４）が補正パラメータを算出する動作の一例を説明する説明図である。図３（ｂ）は、プロジェクタ１００（後述する補正手段１５）が投影画像を補正する動作の一例を説明する説明図である。図４は、プロジェクタ１００が補正した投影画像（補正画像）を投影する動作の一例を説明する説明図である。

図１（ａ）に示すように、プロジェクタ１００は、プロジェクタ１００の前面に、投影画像を投影する投影部１００ＰＪと、投影画像を投影された領域を撮像する撮像部１００ＣＭと、を有する。また、図１（ｂ）に示すように、プロジェクタ１００は、プロジェクタ１００の背面に、ユーザーが所望の動作の実施タイミングを入力する開始ボタン１００Ｂａと、ユーザーが所望の動作を設定する設定ボタン１００Ｂｂと、ユーザーが所望の情報を選択する選択ボタン１００Ｂｃと、を有する。

なお、本発明を用いることができるプロジェクタの外観等は図１に示すものに限定されるものではない。例えば後述する図１５に示すプロジェクタ１１０（実施例１）又はその他投影部及び撮像部を有する外観等であればよい。

図２に示すように、プロジェクタ１００は、スクリーン等（以下、「投影対象物」という。）に画像を投影する。プロジェクタ１００は、例えばユーザーが開始ボタン１００Ｂａを押下したときに、画像を投影することを開始する。図２では、プロジェクタ１００は、投影部１００ＰＪ（図１（ａ））を用いて、投影領域Ｒｎｇ−ＰＪに画像を投影している。

また、図２では、プロジェクタ１００は、撮像部１００ＣＭ（図１（ａ））を用いて、撮像領域Ｒｎｇ−ＣＭ（投影された領域）を撮像している。プロジェクタ１００は、例えばユーザーが開始ボタン１００Ｂａ（図１（ｂ））を押下したときに、画像を撮像することを開始する。

更に、図２では、プロジェクタ１００は、投影画像を投影させる領域として、投影対象領域Ｒｎｇ−Ｔｇを選択することができる。プロジェクタ１００は、例えばユーザーによって選択ボタン１００Ｂｃ（図１（ｂ））を用いて投影対象領域Ｒｎｇ−Ｔｇの大きさ及び位置を選択され、設定ボタン１００Ｂｂ（図１（ｂ））を用いて投影対象領域Ｒｎｇ−Ｔｇを設定される。

図３（ａ）に示すように、プロジェクタ１００は、撮像部１００ＣＭ（図１）を用いて撮像領域Ｒｎｇ−ＣＭ（図２）を撮像した場合に、例えば図に示す撮像画像Ｉｍｇ−ＣＭを撮像する。すなわち、撮像部１００ＣＭは、投影対象物の形状（例えば外形）に対応して変形される撮像画像Ｉｍｇ−ＣＭを撮像する。このとき、プロジェクタ１００（後述する算出手段１４）は、撮像画像Ｉｍｇ−ＣＭが撮像画像Ｉｍｇ−ＣＭｒとなるように、補正パラメータ（後述する射影変換行列Ｈ）を算出する。

図３（ｂ）に示すように、プロジェクタ１００（後述する補正手段１５）は、算出した補正パラメータ（射影変換行列Ｈ）を用いて、投影画像Ｉｍｇ−ＰＪを補正して、補正画像Ｉｍｇ−ＲＶを新たに生成する。プロジェクタ１００は、例えばユーザーが開始ボタン１００Ｂａ（図１（ａ））を押下したときに補正パラメータ（後述する射影変換行列Ｈ）を算出し、ユーザーが開始ボタン１００Ｂａを更に押下したときに補正した補正画像Ｉｍｇ−ＲＶを投影してもよい。

図４に示すように、プロジェクタ１００は、投影画像Ｉｍｇ−ＰＪとして、新たに生成した補正画像Ｉｍｇ−ＲＶを用いる。すなわち、プロジェクタ１００は、補正画像Ｉｍｇ−ＲＶを投影することによって、投影対象物の形状に対応する変形を相殺する投影画像Ｉｍｇ−ＰＪを投影する。

以後に、本発明の実施形態に係るプロジェクタの構成、機能及び動作を具体的に説明する。

［第一の実施形態］
［プロジェクタの構成］
図５を用いて、本発明の第一の実施形態のプロジェクタ１００の構成を説明する。ここで、図５は、第一の実施形態に係るプロジェクタ１００の構成の一例を説明する概略構成図である。

図５に示すように、本実施形態に係るプロジェクタ１００は、プロジェクタ１００の動作を制御する制御手段１０と、投影画像Ｉｍｇ−ＰＪを生成する画像生成手段１１と、生成した投影画像Ｉｍｇ−ＰＪを投影する投影手段１２と、を有する。また、プロジェクタ１００は、撮像領域Ｒｎｇ−ＣＭ（図２）を撮像する撮像手段１３と、補正パラメータを算出する算出手段１４と、投影画像Ｉｍｇ−ＰＪを補正する補正手段１５と、を有する。更に、プロジェクタ１００は、プロジェクタ１００外部と情報の入出力を行う入出力手段１６と、プロジェクタ１００の動作に関する情報を記憶する記憶手段１７と、を含んでもよい。

プロジェクタ１００は、画像生成手段１１を用いて、入出力手段１６によって入力された情報に基づいて、投影画像Ｉｍｇ−ＰＪを生成する。また、プロジェクタ１００は、本実施形態では、投影手段１２を用いて、生成した投影画像Ｉｍｇ−ＰＪを投影対象物に投影する。更に、プロジェクタ１００は、撮像手段１３を用いて、投影画像Ｉｍｇ−ＰＪが投影された投影対象物を含む撮像領域Ｒｎｇ−ＣＭ（図２）を撮像する。

本実施形態に係るプロジェクタ１００は、算出手段１４を用いて、撮像手段１３が撮像した撮像画像Ｉｍｇ−ＣＭに基づいて、補正パラメータ（後述する歪みパラメータ、動きパラメータ）を算出する。また、本実施形態に係るプロジェクタ１００は、補正手段１５を用いて、算出手段１４が算出した補正パラメータに基づいて、補正画像Ｉｍｇ−ＲＶを生成する。更に、本実施形態に係るプロジェクタ１００は、投影手段１２を用いて、補正画像Ｉｍｇ−ＲＶを投影画像Ｉｍｇ−ＰＪとして投影する。これにより、本実施形態に係るプロジェクタ１００によれば、投影対象物とプロジェクタとの相対的な位置関係が変化したときの補正と、投影対象物の形状に対応する補正とを実施することができる。

制御手段１０は、プロジェクタ１００の各構成に動作を指示し、各構成の動作を制御する手段である。制御手段１０は、例えば画像生成手段１１等の動作を制御する。また、制御手段１０は、（例えば記憶手段１７に）予め記憶されているプログラム（制御プログラム、アプリケーション等）を用いて、プロジェクタ１００の動作を制御することができる。更に、制御手段１０は、入出力手段１６（操作部１６Ｐ）から入力された情報等に基づいて、プロジェクタ１００の動作を制御してもよい。また、制御手段１０は、入出力手段１６（操作部１６Ｐなど）を用いて、プロジェクタ１００に関する情報（動作情報、処理情報、補正情報、撮像画像など）を出力してもよい。

画像生成手段１１は、投影する画像を生成する手段である。画像生成手段１１は、入出力手段１６（投影画像取得手段１６Ｍ）から入力された情報等に基づいて、投影画像Ｉｍｇ−ＰＪを生成する。また、画像生成手段１１は、例えば画像補正時（又は動作校正時）にパターンを投影する場合には、入出力手段１６から入力された情報等に基づいて、パターン画像を生成してもよい。

投影手段１２は、画像を投影する手段である。投影手段１２は、生成した投影画像Ｉｍｇ−ＰＪを投影対象物に投影する。また、投影手段１２は、例えば画像補正時（又は動作校正時）にパターンを投影する場合には、画像生成手段１１が生成したパターン画像を投影してもよい。投影手段１２は、光源、レンズ、投影光加工部、投影画像格納部等を含む。

撮像手段１３は、撮像画像（撮像データ）を撮像（取得）する手段である。撮像手段１３は、撮像領域Ｒｎｇ−ＣＭ（図２）の像を撮像素子（イメージセンサ）に結像し、撮像素子の画素出力信号を撮像データ（撮像画像Ｉｍｇ−ＣＭ）として取得する。撮像手段１３は、本実施形態では、撮像するタイミングが異なる複数の撮像画像Ｉｍｇ−ＣＭを撮像する。また、撮像手段１３は、ステレオカメラを用いる。

ここで、ステレオカメラとは、２つの撮像レンズ及び２つの撮像素子を備え、投影対象物を２つの撮像レンズで同時に撮影するものである。なお、撮像レンズとは、投影対象物の像を撮像素子に入射するものである。撮像素子とは、複数の受光素子（画素）が格子状に配列された受光面を有し、撮像レンズを通して入射された投影対象物を含む領域の像をその受光面上に結像するものである。撮像素子には、固体撮像素子、有機撮像素子等を用いることができる。

算出手段１４は、補正パラメータを算出する手段である。算出手段１４は、撮像手段１３が撮像した複数の撮像画像を用いて、投影された領域に関する三次元データを算出する。また、算出手段１４は、算出した三次元データを用いて、補正パラメータを算出する。

具体的には、算出手段１４は、ステレオカメラ（撮像手段１３）が同時に撮像した２つの撮像画像Ｉｍｇ−ＣＭを用いて、三角測量の原理に基づいて、プロジェクタ１００から投影対象物までの距離及び投影対象物の形状（以下、「三次元データ」という。）を算出する。

また、算出手段１４は、算出した三次元データを用いて、補正パラメータとして、歪みパラメータと動きパラメータとを算出する。ここで、算出手段１４は、撮像した複数の撮像画像のうちの一つの撮像画像を用いて、歪みパラメータを算出する。また、算出手段１４は、撮像した複数の撮像画像のうちの二つの撮像画像を用いて、動きパラメータを算出する。すなわち、算出手段１４は、投影対象物と撮像手段１３との相対的な位置関係が変化した場合に、相対的な位置関係が変化する前の一の撮像画像と、相対的な位置関係が変化した後の他の撮像画像とを用いて、動きパラメータを算出する。また、算出手段１４は、算出した動きパラメータを用いて、歪みパラメータを更新する。

ここで、歪みパラメータとは、投影対象物の形状に対応する補正（拡大縮小及び台形補正などの画像処理、以下、「歪み補正」という。）をするためのパラメータである。すなわち、プロジェクタ１００は、歪みパラメータを用いて、投影対象物（スクリーンなど）が歪んでいる場合、投影対象物と撮像手段１３（プロジェクタ１００）とが正対していない場合などに投影した画像がユーザーから見える歪みを補正する。

動きパラメータとは、投影手段１２及び／又は投影対象物の移動に対応する補正（平行移動及び回転などの画像処理、以下、「動き補正」という。）をするためのパラメータである。すなわち、プロジェクタ１００は、動きパラメータを用いて、投影対象物及び／又は撮像手段１３（プロジェクタ１００）が移動したときに、ユーザーから見える投影する画像の動きを補正する。プロジェクタ１００は、動きパラメータを用いて、例えば撮像手段１３（プロジェクタ１００）が手ぶれしたときに、ユーザーから見える投影する画像の動きを例えば停止させる。

補正パラメータ（歪みパラメータ、動きパラメータ）は後述する［プロジェクタの機能］で説明する。

補正手段１５は、投影する画像を補正する手段である。補正手段１５は、補正パラメータを用いて、投影画像Ｉｍｇ−ＰＪを補正する。

具体的には、補正手段１５は、算出手段１４が算出した歪みパラメータを用いて、投影対象物の歪み補正をする。また、補正手段１５は、算出手段１４が算出した動きパラメータを用いて、投影手段１２及び／又は投影対象物の動き補正をする。補正手段１５が補正パラメータ（歪みパラメータ、動きパラメータ）を用いて補正する動作は後述する［画像を投影する動作］で説明する。

入出力手段１６は、プロジェクタ１００外部と情報（例えば電気信号）の入出力を行う手段である。入出力手段１６は、本実施形態では、操作部１６Ｐ及び投影画像取得手段１６Ｍを含む。操作部１６Ｐは、ユーザーが操作する操作パネル（ユーザーインターフェース）である。操作部１６Ｐは、プロジェクタ１００を使用するユーザーによる投影及び撮像の条件の入力、並びに、ユーザーに対して動作条件及び動作状態の情報の出力などを行う。投影画像取得手段１６Ｍは、外部のＰＣ等から投影する画像に関するデータ等を入力する手段（コンピュータインタフェース）である。

記憶手段１７は、プロジェクタ１００の動作に関する情報を記憶する手段である。記憶手段１７は、プロジェクタ１００の動作中及び待機時などの処理状態に関する情報（投影画像、撮像画像など）等を記憶する。記憶手段１７には、公知の技術を用いることができる。

［プロジェクタの機能］
図６を用いて、本発明の第一の実施形態のプロジェクタ１００の機能を説明する。ここで、図６は、第一の実施形態に係るプロジェクタ１００の機能の一例を説明する機能ブロック図である。

図６に示すように、本実施形態に係るプロジェクタ１００は、ブロックＢ０１において、ユーザーによる入出力手段１６（操作部１６Ｐ等）の動作指示の入力によって、「画像の投影に関する情報（投影する画像に関する情報及び投影の開始に関する情報など）」を取得する。このとき、入出力手段１６（プロジェクタ１００）は、取得した「画像の投影に関する情報」を制御手段１０に出力する。

制御手段１０は、ブロックＢ０２において、入力された「画像の投影に関する情報」に基づいて、「画像生成指示」を画像生成手段１１に出力する。また、制御手段１０は、入力された「画像の投影に関する情報」に基づいて、「投影指示」を投影手段１２に出力する。更に、制御手段１０は、入力された「画像の投影に関する情報」に基づいて、「撮像指示」を撮像手段１３に出力する。

本実施形態に係る制御手段１０は、後述する算出手段１４が算出した「算出データ（例えば三次元データ）」に基づいて、歪み補正及び／又は動き補正を実施するか否かを判断する。歪み補正及び／又は動き補正を実施すると判断した場合には、制御手段１０は、後述する画像形成手段１１及び補正手段１５に「補正指示（不図示）」を出力する。

画像生成手段１１は、ブロックＢ０３において、入力された「画像生成指示」に基づいて、入出力手段１６が取得した「画像の投影に関する情報（投影する画像に関する情報）」を用いて、画像データ（投影画像Ｉｍｇ−ＰＪ）を生成する。また、画像生成手段１１は、生成した「画像データ（投影画像Ｉｍｇ−ＰＪ）」を投影手段１２に出力する。

本実施形態に係る画像生成手段１１は、制御手段１０（ブロックＢ０２）から「補正指示（不図示）」を入力された場合に、後述する補正手段１５（ブロックＢ０７）に生成した「画像データ（投影画像Ｉｍｇ−ＰＪ）」を投影手段１２に出力する。また、画像生成手段１１は、生成した「画像データ（投影画像Ｉｍｇ−ＰＪ）」に替えて、補正手段１５から入力される「補正データ（補正画像Ｉｍｇ−ＲＶ）」を投影手段１２に出力する。

投影手段１２は、ブロックＢ０４において、入力された「投影指示」に基づいて、画像生成手段１１から入力された「画像データ（投影画像Ｉｍｇ−ＰＪ）」を投影する。

本実施形態に係る投影手段１２は、画像生成手段１１等が制御手段１０（ブロックＢ０２）から「補正指示（不図示）」を入力された場合に、画像生成手段１１から入力される「補正データ（補正画像Ｉｍｇ−ＲＶ）」を投影する。

撮像手段１３は、ブロックＢ０５において、入力された「撮像指示」に基づいて、投影領域Ｒｎｇ−ＣＭ（図２）の「撮像データ（撮像画像Ｉｍｇ−ＣＭ）」を取得（撮像）する。また、撮像手段１３は、取得（撮像）した「撮像データ（撮像画像Ｉｍｇ−ＣＭ）」を算出手段１４に出力する。ここで、撮像手段１３は、ステレオカメラによって、投影対象物を含む領域の像を撮像し、２つの撮像データを取得する。

算出手段１４は、ブロックＢ０６において、入力された２つの「撮像データ」に基づいて、投影対象物の外形表面上の複数の位置（以下、「特徴点」という。）に対応する「算出データ（三次元データ）」を算出する。また、算出手段１４は、「算出データ（三次元データ）」を制御手段１０に出力する。ここで、「算出データ（三次元データ）」とは、プロジェクタ１００（撮像手段１３）から投影対象物（対応点）までの距離に関するデータである。

本実施形態に係る算出手段１４は、制御手段１０（ブロックＢ０２）から「補正指示（不図示）」を入力された場合に、補正パラメータ（歪みパラメータ、動きパラメータ）を算出する。また、算出手段１４は、算出した補正パラメータを後述する補正手段１５（ブロックＢ０７）に出力する。

図７に、プロジェクタが投影した投影画像の歪みの一例を説明する説明図を示す。図７（ａ）は、短焦点（又は、超短焦点）のプロジェクタが投影対象物Ｓｃｒに投影画像を投影している例を示す。図７（ｂ）は、短焦点（又は、超短焦点）のプロジェクタが投影対象物Ｓｃｒに投影した投影画像を投影対象物Ｓｃｒと正対して撮像した撮像画像の例を示す。図７（ｃ）は、通常の焦点（又は、焦点距離）でプロジェクタが投影対象物Ｓｃｒに投影画像を投影している例を示す。図７（ｄ）は、通常の焦点（又は、焦点距離）でプロジェクタが投影対象物Ｓｃｒに投影した投影画像を投影対象物Ｓｃｒと正対して撮像した撮像画像の例を示す。

図７（ａ）に示すように、短焦点のプロジェクタでは、投影対象物の投影面に投影光（投影画像）Ｌ１、Ｌ２、Ｌ３を照射（投影）する場合に、投影対象物の投影面の形状（歪み）によって、投影光Ｌ２が反射光Ｌ２ｒａで反射する。すなわち、短焦点のプロジェクタでは、投影対象物の投影面の形状（歪み）によって、投影光Ｌ２の反射位置がずれて、反射光Ｌ２ｒａではなく、反射光Ｌ２ｒで反射する。これにより、図７（ｂ）に示すように、短焦点のプロジェクタでは、投影対象物Ｓｃｒと正対した位置で、（例えば視覚者が）撮像画像Ｉｍｇ−ＣＭの局所的な部分がＬ２ｒａからＬ２ｒに歪む。なお、プロジェクタでは、特に短焦点の場合に投影光の入射角が小さくなるため、投影面のわずかな歪みでも反射位置のずれ（画像の歪み）が大きくなる。

本実施形態に係るプロジェクタ１００は、算出手段１４を用いて、補正パラメータとして、撮像画像Ｉｍｇ−ＣＭの局所的な部分の歪みを相殺する歪みパラメータを算出する。すなわち、算出手段１４は、撮像される図７（ｂ）の歪みＬ２ｒをＬ２ｒａとなるように変形する歪みパラメータを算出する。

一方、図７（ｃ）に示すように、通常の焦点距離のプロジェクタでは、投影対象物の投影面に投影光（投影画像）Ｌａ、Ｌｂ、Ｌｃを照射（投影）する場合に、反射光Ｌａｒ、Ｌｂｒ、Ｌｃｒで反射する。すなわち、通常のプロジェクタでは、図７（ｄ）に示すように、投影対象物の投影面の形状（歪み）の影響をあまり受けない。

先ず、算出手段１４（プロジェクタ１００）は、歪みパラメータを算出するために、投影対象物を含む撮像領域Ｒｎｇ−ＣＭの三次元形状を求める。ここで、算出手段１４は、撮像領域Ｒｎｇ−ＣＭの中心位置を三次元座標（以下、「プロジェクタ座標」という。）の原点として、撮像領域Ｒｎｇ−ＣＭの夫々の位置の三次元座標を算出する。算出手段１４は、本実施形態では、撮像領域Ｒｎｇ−ＣＭを複数の微小領域（例えば画素、メッシュなど）に分割して、微小領域毎に三次元座標（及び補正パラメータ）を算出する。

また、算出手段１４は、予め記憶手段１７（後述）に記憶されているプロジェクタ１００の内部パラメータ（アスペクト比、焦点距離、キーストーンなど）、及び、投影対象物に対する外部パラメータ（姿勢、位置など）を更に用いて、三次元座標を算出してもよい。なお、プロジェクタ１００の投影光が円形の場合には、円形の中心位置を三次元座標の原点としてもよい。

本実施形態に係る算出手段１４は、歪みパラメータ（補正パラメータ）として、撮像領域Ｒｎｇ−ＣＭの法線方向（又は、視聴するユーザーの方向）に対応する射影変換行列Ｈを算出する。射影変換行列Ｈは、次式で示すように、８つの係数（ｈ１乃至ｈ８）で定義することができる。

ここで、プロジェクタ１００が撮像領域Ｒｎｇ−ＣＭの分割した微小領域の中心点（ｘｐ０，ｙｐ０）を（ｘｐ１，ｙｐ１）に変換する場合には、ｈ１乃至ｈ８を次式で算出することができる。

算出手段１４は、分割したすべての微小領域について、射影変換行列Ｈ（係数ｈ１乃至ｈ８）を夫々算出する。また、算出手段１４は、算出した射影変換行列Ｈ（歪みパラメータ）を補正パラメータとして記憶手段１７（図５）で記憶させる。

次に、算出手段１４（プロジェクタ１００）は、動きパラメータを算出するために、撮像手段１３から入力された「撮像データ（撮像画像Ｉｍｇ−ＣＭ）」の画像中に含まれる特徴点を抽出する。ここで、特徴点を抽出する動作の例は後述する［特徴点を抽出する動作の例］で説明する。

本実施形態に係る算出手段１４は、投影対象物と撮像手段１３（プロジェクタ１００）との相対的な位置関係が変化した場合に、変化前後の「撮像データ（撮像画像）」を用いて、動きパラメータを算出する。算出手段１４は、相対的な位置関係が変化する前の「一の撮像データ（一の撮像画像Ｉｍｇ−ＣＭ、例えば参照用画像）」と、相対的な位置関係が変化した後の「他の撮像データ（他の撮像画像Ｉｍｇ−ＣＭ、例えば検知用画像）」とを用いて、動きパラメータを算出する。すなわち、算出手段１４は、抽出した特徴点をマッチングすることで、相対的な位置関係の変化に対応した微小領域（画素、メッシュ）の動きを表す行列Ｐｍを算出する。また、算出手段１４は、相対的な位置関係の変化前後に、「撮像データ（撮像画像Ｉｍｇ−ＣＭの全体）」に対して行列Ｐｍを１つ算出する。

ここで、行列Ｐｍは、回転行列Ｒ（３×３行列）、並進ベクトルｔ（３次元）で表すことができる。算出手段１４は、自由度が回転（３次元）及び並進（３次元）の６次元であるため、３点の対応点（特徴点のマッチング）で行列Ｐｍを算出することができる。なお、算出手段１４は、４点以上の対応点（特徴点のマッチング）を用いて、最小二乗法などにより行列Ｐｍの算出精度を向上してもよい。

図８に、補正パラメータ（動きパラメータ）の一例を説明する説明図を示す。図８では、プロジェクタ１００Ａ及びカメラ１００Ｂ（及び仮想カメラ１００Ｃ）が投影対象物Ｓｃｒａに画像を投影しているときのプロジェクタ１００Ａ又はカメラ１００Ｂの移動を示す。

図８に示すように、投影手段１２と撮像手段１３とが一体になったプロジェクタ１００Ａ及びカメラ１００Ｂでは、プロジェクタ１００Ａ又はカメラ１００Ｂの位置が変わると、透視投影行列Ｐｐ又はＰｃだけ変位する。このため、ｍｐとＭとの関係及びｍｃとＭとの関係は、それぞれの透視投影行列Ｐｐ及びＰｃの積で表される。また、仮想カメラ１００Ｃも同様に、ｍｃ'とＭとの関係は、透視投影行列Ｐｃ'の積で表される。

すなわち、相対的な位置関係の変化した後のｍｐｒが、ｍｐとＭとの関係を満たすように、行列Ｐｍ（動きパラメータ）を算出する。あるいは、相対的な位置関係の変化した後のｍｃｒが、ｍｃとＭとの関係を満たすように、行列Ｐｍ（動きパラメータ）を算出する。

図６に戻って、補正手段１５は、ブロックＢ０７において、制御手段１０（ブロックＢ０２）から入力された「補正指示（不図示）」に基づいて、画像生成手段１１（ブロックＢ０３）から入力された「画像データ」を補正する。ここで、補正手段１５は、算出手段１４（ブロックＢ０６）から入力された「算出データ（補正パラメータ）」を用いて、投影画像Ｉｍｇ−ＰＪを画像処理（補正）する。また、補正手段１５は、補正した「補正データ（補正画像Ｉｍｇ−ＲＶ）」を画像生成手段１１に出力する。

本実施形態に係る補正手段１５は、制御手段１０からの「補正指示」が歪み補正に関する指示の場合に、算出手段１４が算出した歪みパラメータ（射影変換行列Ｈ）を用いて、投影画像Ｉｍｇ−ＰＪを画像処理（補正）する。また、補正手段１５は、「補正指示」が動き補正に関する指示の場合に、算出手段１４が算出した動きパラメータ（行列Ｐｍ）を用いて歪みパラメータ（射影変換行列Ｈ）を更新し、更新した歪みパラメータを用いて投影画像Ｉｍｇ−ＰＪを画像処理（補正）する。

［画像を投影する動作］
図９及ぶ図１０を用いて、本発明の第一の実施形態に係るプロジェクタ１００が画像（投影画像、補正画像）を投影する動作を説明する。ここで、図９は、本実施形態に係るプロジェクタ１００の動作（投影動作）の一例を説明するフローチャート図である。図１０は、プロジェクタ１００の動作（歪みパラメータの算出及び更新）の一例を説明するフローチャート図である。

本実施形態に係るプロジェクタ１００は、先ず、画像投影時に、図９のステップＳ９０１乃至ステップＳ９１３を実施する。ここで、プロジェクタ１００は、図１０のステップＳ１００１乃至ステップＳ１００５を予め実施しておいて、歪みパラメータ（補正パラメータ）を算出している。以後に、図９及び図１０を具体的に説明する。

図９に示すように、本実施形態に係るプロジェクタ１００は、ステップＳ９０１において、投影部１００ＰＪ（図１）を用いて、投影画像Ｉｍｇ−ＰＪを投影対象物を含む投影領域Ｒｎｇ−ＰＪ（図２）に投影している（投影ステップ）。このとき、プロジェクタ１００は、ユーザーによって開始ボタン（校正ボタン）１００Ｂａ（図１（ｂ））を押下され、撮像部１００ＣＭ（図１）によって撮像画像Ｉｍｇ−ＣＭを取得する（撮像ステップ）。また、プロジェクタ１００は、ユーザーによって選択ボタン１００Ｂｃ（図１（ｂ））を押下され、且つ、設定ボタン１００Ｂｂ（図１（ｂ））を押下されて投影対象領域Ｒｎｇ−Ｔｇ（図２）を選択される。ここで、投影対象領域Ｒｎｇ−Ｔｇの座標はプロジェクタ座標で算出される。

その後、プロジェクタ１００は、ステップＳ９０２に進む。

ステップＳ９０２において、プロジェクタ１００は、制御手段１０（図５）を用いて、補正パラメータの再読み込みのタイミングか否かを判断する。ここで、制御手段１０は、例えば所定の時間を経過している場合に、補正パラメータの再読み込みのタイミングであると判断してもよい。また、制御手段１０は、ユーザーによって開始ボタン（校正ボタン）１００Ｂａを押下された場合に、補正パラメータの再読み込みのタイミングであると判断してもよい。

なお、所定の時間は、プロジェクタ１００の仕様又は使用状況に応じた時間とすることができる。また、所定の時間は、実験又は計算で予め定められる時間としてもよい。

補正パラメータの再読み込みのタイミングであると判断した場合には、プロジェクタ１００は、ステップＳ９０３に進む。それ以外の場合には、プロジェクタ１００は、ステップＳ９０４に進む。

ステップＳ９０３において、プロジェクタ１００は、制御手段１０を用いて、補正パラメータの再読み込みを実施する。ここで、制御手段１０は、記憶手段１７（図５）に記憶している補正パラメータを読み込む。その後、プロジェクタ１００は、ステップＳ９０４に進む。

また、本実施形態に係るプロジェクタ１００は、ステップＳ９０３において、図１０に示す補正パラメータ（歪みパラメータ）の更新（算出）を実施してもよい（算出ステップ）。

具体的には、プロジェクタ１００は、ステップＳ１００１において、ユーザーによって選択ボタン１００Ｂｃを押下され、且つ、設定ボタン１００Ｂｂを押下されて投影対象領域Ｒｎｇ−Ｔｇを選択される。次いで、プロジェクタ１００は、ステップＳ１００２において、投影部１００ＰＪを用いて、校正用のパターン光を照射する。このとき、プロジェクタ１００は、撮像部１００ＣＭを用いて、校正用のパターン光を含む領域を撮像する。

次に、プロジェクタ１００は、ステップＳ１００４において、算出手段１４を用いて、校正用のパターン光を含む領域を撮像した撮像画像に基づいて、歪みパラメータを算出する（算出ステップ）。また、プロジェクタ１００は、ステップＳ１００５において、記憶手段１７を用いて、算出した歪みパラメータで上書き保存（更新）する。

その後、プロジェクタ１００は、図９のステップＳ９０３に戻る。

次に、図９のステップＳ９０４において、プロジェクタ１００は、補正手段１５（図５）を用いて、投影画像Ｉｍｇ−ＰＪを補正する（補正ステップ）。ここで、補正手段１５は、歪みパラメータ（補正パラメータ）を用いて、投影画像Ｉｍｇ−ＰＪを画像処理（補正）し、補正画像Ｉｍｇ−ＲＶを生成する。また、補正手段１５は、生成した補正画像Ｉｍｇ−ＲＶを投影手段１２に出力する。

その後、プロジェクタ１００は、ステップＳ９０４に進む。

ステップＳ９０５において、プロジェクタ１００は、投影手段１２（図５）を用いて、投影画像Ｉｍｇ−ＰＪを投影する（投影ステップ）。ここで、投影手段１２は、ステップＳ９０４で補正した補正画像Ｉｍｇ−ＲＶを投影画像Ｉｍｇ−ＰＪとして投影する。

投影開始後、プロジェクタ１００は、ステップＳ９０６に進む。

ステップＳ９０６において、プロジェクタ１００は、制御手段１０を用いて、撮像タイミングか否かを判断する。ここで、制御手段１０は、投影対象物と撮像手段との相対的な位置関係が変化した場合に、撮像タイミングであると判断することができる。また、制御手段１０は、ユーザーによって開始ボタン（校正ボタン）１００Ｂａを押下された場合に、撮像タイミングであると判断してもよい。

撮像タイミングであると判断した場合には、プロジェクタ１００は、ステップＳ９０７に進む。それ以外の場合には、プロジェクタ１００は、ステップＳ９１３に進む。

なお、ステップＳ９０７からステップＳ９１２において、プロジェクタ１００は、並列処理でサブルーチンＳｕｂ＿Ａを実施してもよい。この場合には、プロジェクタ１００は、新たに処理スレッドを立ち上げ、サブルーチンＳｕｂ＿Ａの処理を終了したときに、その処理スレッドを消滅する。

次に、ステップＳ９０７において、プロジェクタ１００は、撮像手段１３（図５）を用いて、投影対象物を含む投影領域Ｒｎｇ−ＰＪを撮像する（撮像ステップ）。また、撮像手段１３は、撮像した撮像画像Ｉｍｇ−ＣＭを算出手段１４（図５）に出力する。

その後、プロジェクタ１００は、ステップＳ９０８に進む。

ステップＳ９０８において、プロジェクタ１００は、算出手段１４を用いて、対応点（特徴点）を抽出する（算出ステップ）。ここで、算出手段１４は、以前に撮像した撮像画像Ｉｍｇ−ＣＭの特徴点に対応する特徴点（以下、「対応点」という。）を抽出する。

その後、プロジェクタ１００は、ステップＳ９０９に進む。

ステップＳ９０９において、プロジェクタ１００は、算出手段１４を用いて、動き量を算出する（算出ステップ）。ここで、算出手段１４は、ステップＳ９０８で抽出した対応点を用いて、プロジェクタ１００と投影対象物の相対的な位置関係の変化量を算出する。

その後、プロジェクタ１００は、ステップＳ９１０に進む。

ステップＳ９１０において、プロジェクタ１００は、記憶手段１７を用いて、参照用情報を更新する。ここで、記憶手段１７は、ステップＳ９０７で撮像した撮像画像Ｉｍｇ−ＣＭ及びステップＳ９０８で抽出した特徴点（対応点）を参照用情報として更新される。

その後、プロジェクタ１００は、ステップＳ９１１に進む。

ステップＳ９１１において、プロジェクタ１００は、算出手段１４を用いて、動きパラメータを算出する（算出ステップ）。また、プロジェクタ１００は、算出手段１４が算出した動きパラメータを記憶手段１７で記憶（更新）する。ここで、算出手段１４は、ステップＳ９０９で算出した変化量を用いて、動きパラメータを算出することができる。

その後、プロジェクタ１００は、ステップＳ９１２に進む。

ステップＳ９１２において、プロジェクタ１００は、算出手段１４を用いて、補正パラメータを更新する（算出ステップ）。ここで、算出手段１４は、ステップＳ９１２で算出した動きパラメータを用いて、歪みパラメータを更新する。

その後、プロジェクタ１００は、ステップＳ９１３に進む。

ステップＳ９１３において、プロジェクタ１００は、制御手段１０を用いて、画像を投影する動作を終了するか否かを判断する。ここで、制御手段１０は、入出力手段１６によって入力された情報に基づいて、画像を投影する動作を終了するか否かを判断してもよい。

画像を投影する動作を終了すると判断した場合には、プロジェクタ１００は、図中のＥＮＤに進み、画像を投影する動作を終了する。それ以外の場合には、プロジェクタ１００は、ステップＳ９０１に戻る。

［特徴点を抽出する動作の例］
図１１乃至図１３を用いて、本発明の第一の実施形態に係るプロジェクタ１００が特徴点を抽出する動作を説明する。

ここで、図１１は、本実施形態に係るプロジェクタ１００の特徴点を抽出する動作の一例を説明する説明図である。図１１（ａ）は、相対的な位置関係が変化する前の特徴点を示す。図１１（ｂ）は、相対的な位置関係が変化した後の特徴点を示す。図１２は、プロジェクタ１００がパターンを投影する動作の一例を説明する説明図である。図１３は、プロジェクタ１００がパターンを投影したときの撮像画像Ｉｍｇ−ＣＭの一例を説明する説明図である。

図１１（ａ）に示すように、本実施形態に係るプロジェクタ１００は、相対的な位置関係が変化する前の特徴点を予め抽出している。すなわち、プロジェクタ１００は、参照用画像Ｉｍｇ−ＣＭｒにおける特徴点を抽出している。図１１（ａ）では、プロジェクタ１００は、投影対象物（スクリーン）外の物体も撮像する。プロジェクタ１００は、例えば壁の模様や壁に取り付けられたスイッチ、掛け時計、飾られた賞状や絵画などを含む領域を撮像する。

ここで、プロジェクタ１００は、投影対象物Ｓｃｒに対応する領域内の特徴点を抽出してもよい。また、プロジェクタ１００は、投影対象物Ｓｃｒに対応する領域外の特徴点を抽出してもよい。更に、プロジェクタ１００は、ユーザーによって選択されたマッチング除外領域Ｒｎｇ−Ｔｏ以外の領域の特徴点を抽出してもよい。

図１１（ｂ）に示すように、本実施形態に係るプロジェクタ１００は、相対的な位置関係が変化した後の特徴点を抽出する。すなわち、プロジェクタ１００は、検知用画像Ｉｍｇ−ＣＭｏにおける特徴点を抽出する。次いで、プロジェクタ１００は、図１１（ａ）で抽出した特徴点と図１１（ｂ）で抽出した特徴点とをマッチング（ペアリング）する。プロジェクタ１００は、例えば図１１（ａ）及び図１１（ｂ）に示すようにｆ１乃至ｆ６のマッチングを実施する。

ここで、プロジェクタ１００は、掛け時計の特徴点（ｆ４、ｆ５）がマッチング除外領域Ｒｎｇ−Ｔｏ以外となっているため、対象外としてもよい。また、プロジェクタ１００は、表彰状の左端が撮像画像Ｉｍｇ−ＣＭｏに含まれないため、対象外としてもよい。

なお、プロジェクタ１００は、算出手段１４では３点の対応点（特徴点のマッチング）で行列Ｐｍを算出するため、３点の特徴点のマッチングだけを実施してもよい。また、プロジェクタ１００は、好ましくは投影する枠の外、さらに好ましくは投影可能領域を超えた広い範囲で特徴点のマッチングを実施するとよい。これにより、プロジェクタ１００は、動き補正（例えば手ぶれ）の精度を向上することができる。

更に、プロジェクタ１００は、投影する時間（又は、写真を撮る時間）、動き補正の内容（例えば手ぶれの許容範囲など）に対応して、特徴点のマッチングの実施内容を定めてもよい。また、プロジェクタ１００は、対応点を求める際に、画素値のピーク位置の代わりにＳＩＦＴ、ＳＵＲＦなどの手法を用いて、対応関係を見出してもよい。

以上により、本実施形態に係るプロジェクタ１００が特徴点を抽出する動作を終了する。すなわち、算出手段１４が動きパラメータを算出するために必要な特徴点を抽出する動作を終了する。

一方、図１２及び図１３に示すように、本実施形態に係るプロジェクタ１００は、パターン光を照射して特徴点を抽出してもよい。なお、図１２及び図１３では円形のパターン光を照射した例を示すが、本発明に用いることができるパターン光は円形に限定されるものではない。すなわち、特徴点を抽出することができる形状、濃淡、色彩などのパターン光であれば、いずれのパターン光も用いることができる。

図１２に示すように、プロジェクタ１００は、投影対象物Ｓｃｒを含む投影領域Ｒｎｇ−ＰＪに、円形のパターン光を照射する。また、プロジェクタ１００は、円形のパターン光を照射された撮像領域Ｒｎｇ−ＣＭ（図１３のＩｍｇ−ＣＭｒ）を撮像する。これにより、プロジェクタ１００は、パターン光の円形のいずれかを選択して、特徴点（対応点）を抽出することができる。

以上より、本発明の第一の実施形態に係るプロジェクタ１００によれば、プロジェクタ１００を手持ちで投影した場合に発生する投影画像のゆれ（手ぶれ）を画像処理で補正することができる。また、本実施形態に係るプロジェクタ１００によれば、投影対象物が移動する場合も含めて対応できるので、移動する物体に投影画像を投影することができる。更に、本実施形態に係るプロジェクタ１００によれば、単に投影画像を移動（シフト）するだけでなく、歪み補正も同時に行うことができる。

また、本発明の第一の実施形態に係るプロジェクタ１００によれば、撮像手段（カメラ）で撮った撮像画像から投影対象物（と同じ動きをするもの）を抽出することができる。また、本実施形態に係るプロジェクタ１００によれば、投影対象物（と同じ動きをするもの）を抽出することができるので、移動する投影対象物の位置に投影画像の位置を合わせる（フィッティング）することができる。更に、本実施形態に係るプロジェクタ１００によれば、撮像手段（カメラ）の動きを表す動きパラメータを更新し、動きパラメータを用いて歪みパラメータも更新することができる。プロジェクタ１００は、例えば１／３０秒から１／６０秒の範囲内の時間間隔で、補正パラメータ（歪みパラメータ及び／又は動きパラメータ）を更新してもよい。

［第二の実施形態］
［プロジェクタの構成］及び［プロジェクタの機能］
図５乃至図８に、本発明の第二の実施形態のプロジェクタの一例を示す。本実施形態に係るプロジェクタの構成及び機能は、第一の実施形態のプロジェクタ１００の構成及び機能と基本的に同様のため、説明を省略する。

［画像を投影する動作］
図１４を用いて、本実施形態に係るプロジェクタが画像（投影画像、補正画像）を投影する動作を説明する。ここで、図１４は、本実施形態に係るプロジェクタの動作（投影動作）の一例を説明するフローチャート図である。

本実施形態に係るプロジェクタは、第一の実施形態のプロジェクタ１００の動作と比較して、投影面の変形情報の更新のタイミングを判断（図１４のステップＳ１４０７）する点で異なる。以後に、図１４を用いて、具体的に説明する。

図１４に示すように、本実施形態に係るプロジェクタは、ステップＳ１４０１乃至ステップＳ１４０６において、第一の実施形態のプロジェクタ１００の動作のステップＳ９０１乃至ステップＳ９０６（図９）と同様の動作を実施する。その後、プロジェクタは、ステップＳ１４０７に進む。

なお、本実施形態に係るプロジェクタは、並列処理でサブルーチンＳｕｂ＿Ｂ（ステップＳ１４０８からステップＳ１４１３）及びサブルーチンＳｕｂ＿Ｃ（ステップＳ１４１４からステップＳ１４１７）を実施してもよい。この場合には、プロジェクタは、新たに処理スレッドを立ち上げ、サブルーチンＳｕｂ＿Ｂ又はサブルーチンＳｕｂ＿Ｃの処理を終了したときに、その処理スレッドを消滅する。

次に、ステップＳ１４０７において、プロジェクタは、本実施形態では、投影面の変形情報の更新のタイミングを判断する。すなわち、プロジェクタは、サブルーチンＳｕｂ＿Ｂで動きパラメータを更新するのか、又は、サブルーチンＳｕｂ＿Ｃで歪みパラメータを更新するのかを選択する。ここで、プロジェクタは、所定の時間間隔で投影面の変形情報の更新する設定の場合に、所定の時間を経過しているか否かで投影面の変形情報の更新のタイミングであるか否かを判断することができる。また、プロジェクタは、投影面の変形情報として撮像画像Ｉｍｇ−ＣＭ（撮像手段１３）を用いて算出される三次元データ（算出手段１４）に基づいて、動きパラメータを更新するのか、又は、歪みパラメータを更新するのかを選択してもよい。プロジェクタは、例えば投影対象物がスクリーンであり、スクリーンが風などで揺らぐ場合に、歪みパラメータを更新してもよい。

投影面の変形情報の更新のタイミングでない（動きパラメータを更新する）と判断した場合には、プロジェクタは、ステップＳ１４０８に進む。それ以外の場合には、プロジェクタは、ステップＳ１４１４に進む。

ステップＳ１４０８乃至ステップＳ１４１３において、プロジェクタは、第一の実施形態のプロジェクタ１００の動作のステップＳ９０７乃至ステップＳ９１２（図９）と同様の動作を実施する。すなわち、プロジェクタは、動きパラメータ（補正パラメータ）を更新する。その後、プロジェクタは、ステップＳ１４１８に進む。

一方、ステップＳ１４１４乃至ステップＳ１４１７において、プロジェクタは、第一の実施形態のプロジェクタ１００の動作のステップＳ１００２乃至ステップＳ１００５（図１０）と同様の動作を実施する。すなわち、プロジェクタは、歪みパラメータ（補正パラメータ）を更新する。その後、プロジェクタは、ステップＳ１４１８に進む。

ステップＳ１４１８において、プロジェクタは、制御手段１０を用いて、画像を投影する動作を終了するか否かを判断する。ここで、制御手段１０は、入出力手段１６によって入力された情報に基づいて、画像を投影する動作を終了するか否かを判断してもよい。

画像を投影する動作を終了すると判断した場合には、プロジェクタは、図中のＥＮＤに進み、画像を投影する動作を終了する。それ以外の場合には、プロジェクタは、ステップＳ１４０１に戻る。

以上より、本発明の第二の実施形態に係るプロジェクタによれば、第一の実施形態に係るプロジェクタ１００と同様の効果を得ることができる。

［プログラム、及び、プログラムを記録した記録媒体］
本発明のプログラムＰｒは、投影画像が投影されている投影対象物を撮像し、撮像した撮像画像を用いて前記投影画像を補正するプロジェクタの制御方法において、前記投影画像を前記投影対象物に投影する投影ステップと、撮像手段を用いて、前記投影対象物を含む投影された領域を撮像する撮像ステップと、撮像した前記撮像画像を用いて、前記投影された領域に関する三次元データを算出し、算出した前記三次元データを用いて補正パラメータを算出する算出ステップと、算出した前記補正パラメータを用いて、前記投影画像を補正する補正ステップとを含み、前記算出ステップは、撮像した前記撮像画像に基づいて、前記補正パラメータとして、歪みパラメータと動きパラメータとを算出し、前記補正ステップは、算出した前記歪みパラメータを用いて前記投影対象物の形状に対応する補正をし、次いで、算出した前記動きパラメータを用いて前記投影手段及び／又は前記投影対象物の移動に対応する補正をし、前記投影ステップは、補正された前記投影画像を投影する、ことを特徴とするプロジェクタの制御方法を実行する。また、前記算出ステップは、前記投影対象物と前記撮像手段との相対的な位置関係が変化した場合に、前記相対的な位置関係が変化する前の一の撮像画像と前記相対的な位置関係が変化した後の他の撮像画像とを用いて前記動きパラメータを算出し、算出した前記動きパラメータを用いて前記歪みパラメータを更新し、前記補正ステップは、更新した前記歪みパラメータを用いて、前記投影画像を補正する、ことを特徴とするプロジェクタの制御方法を実行するものであってもよい。これらによれば、本発明の実施形態に係るプロジェクタ１００、１１０と同等の効果が得られる。

また、本発明は、上記プログラムＰｒを記録したコンピュータによって読み取り可能な記録媒体Ｍｄとしてもよい。上記プログラムＰｒを記録した記録媒体Ｍｄは、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−ＲＯＭ）、ＣＤ−Ｒ（ＣＤ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）及びその他コンピュータ読み取り可能な媒体、並びに、フラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリ、メモリカード、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）及びその他コンピュータ読み取り可能なものを用いることができる。

なお、上記プログラムＰｒを記録した記録媒体Ｍｄには、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリに一時的に保持しているものも含むものとする。ここで、ネットワークとは、インターネット等のネットワークや電話回線等の通信回線を含む。また、揮発性メモリとは、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。更に、記録媒体Ｍｄに記録された上記プログラムＰｒには、コンピュータシステムにすでに記録されているプログラムとの組み合わせで機能を実現する所謂差分ファイルであってもよい。

実施例に係るプロジェクタを用いて、本発明を説明する。

［実施例１］
本発明の実施例１に係るプロジェクタ１１０を用いて、本発明を説明する。

［プロジェクタの外観］
図１５（ａ）及び図１５（ｂ）に、本実施例に係るプロジェクタ１１０の外観を示す。ここで、図１５（ａ）及び図１５（ｂ）は、プロジェクタ１１０の一例を示す前面の概略外観図及び背面の概略外観図である。

図１５（ａ）及び図１５（ｂ）に示すように、本実施例に係るプロジェクタ１１０は、投影部１００ＰＪ（図５の投影手段１２）と撮像部１００ＣＭ（図５の撮像手段１３）とが一体の装置でない。また、投影部１００ＰＪは、投影時及び撮像時に、投影部１００ＰＪに撮像部１００ＣＭを取り付けて使用される。すなわち、本実施例に係るプロジェクタ１１０は、投影部１００ＰＪを備え、脱着可能の撮像部１００ＣＭを利用する構成である。

なお、本発明に用いることができるプロジェクタは、図６に示す機能を夫々備える複数の装置を有線及び／又は無線で相互に接続したプロジェクタシステムであってもよい。プロジェクタシステムは、例えば投影部１００ＰＪ（図５の投影手段１２）の機能を備える投影装置及び撮像部１００ＣＭ（図５の撮像手段１３）の機能を備える撮像装置を含むシステムであってもよい。更に、プロジェクタシステムは、通信手段により有線及び／又は無線で相互に通信することができるシステム（例えばクラウドコンピューティングなど）を利用するシステムであってもよい。

［プロジェクタの構成］、［プロジェクタの機能］及び［画像を投影する動作］
本実施例に係るプロジェクタ１１０の構成等は、第一の実施形態に係るプロジェクタ１００の構成等と同様のため、説明を省略する。

以上より、本発明の実施例１に係るプロジェクタ１１０によれば、第一の実施形態に係るプロジェクタ１００と同様の効果を得ることができる。

また、本発明の実施例１に係るプロジェクタ１１０によれば、外部装置（撮像装置、画像処理装置など）を用いることにより、プロジェクタにおける処理量を低減でき、プロジェクタを小型化、軽量化、及び、簡素化することができる。

更に、本発明の実施例１に係るプロジェクタ１１０によれば、ＰＣ等の撮像部を利用することができる。例えばプロジェクタ１１０を用いて発表等する場合では、発表時に使用するＰＣ等を利用することができる。

［実施例２］
本発明の実施例２に係るプロジェクタを用いて、本発明を説明する。

［プロジェクタの外観］、［プロジェクタの構成］及び［プロジェクタの機能］
本実施例に係るプロジェクタの外観等は、第一の実施形態に係るプロジェクタ１００の外観等と同様のため、説明を省略する。

［画像を投影する動作］
図１６に、本実施例に係るプロジェクタが画像を投影する動作を示す。ここで、図１６は、本実施例に係るプロジェクタの手ぶれの動作の一例を説明する説明図である。

図１６に示すように、本実施例に係るプロジェクタは、ユーザーＰｓｎによって保持され、任意の表面に投影画像Ｉｍｇ−Ｂを投影される。このとき、プロジェクタでは、ユーザーＰｓｎの手ぶれによって、投影している投影画像Ｉｍｇ−Ｂが移動する（例えば、ぶれる）場合がある。

本実施例に係るプロジェクタは、画像投影時に、先ず、ユーザーＰｓｎによって選択ボタン１００Ｂｃ（図１）を押下され、且つ、設定ボタン１００Ｂｂ（図１）を押下されて投影対象領域Ｒｎｇ−Ｔｇ（図２）を設定される。次に、プロジェクタは、投影対象領域Ｒｎｇ−Ｔｇに投影画像Ｉｍｇ−ＰＪを投影するため、算出手段１４を用いて投影画像Ｉｍｇ−ＰＪを変形（拡大縮小及び台形補正など）する補正パラメータ（歪みパラメータ）を算出する。次いで、プロジェクタは、算出した補正パラメータを用いて、投影画像Ｉｍｇ−ＰＪを補正（変形）する。また、プロジェクタは、補正した投影画像Ｉｍｇ−ＰＪを投影する。すなわち、プロジェクタは、投影対象領域Ｒｎｇ−Ｔｇに投影画像Ｉｍｇ−ＰＪを投影する。

また、本実施例に係るプロジェクタは、画像投影時且つ手ぶれ時に、投影対象領域Ｒｎｇ−Ｔｇに投影画像Ｉｍｇ−ＰＪを投影するため、算出手段１４を用いて投影画像Ｉｍｇ−ＰＪを移動（回転、平行移動）する補正パラメータ（動きパラメータ）を算出する。次いで、プロジェクタは、算出した補正パラメータを用いて、投影画像Ｉｍｇ−ＰＪを補正（移動）する。また、プロジェクタは、補正した投影画像Ｉｍｇ−ＰＪを投影する。すなわち、プロジェクタは、手ぶれが発生しても、それをキャンセルする画像処理により、一定の位置（投影対象領域Ｒｎｇ−Ｔｇ）に画像（映像など）を投影し続けることができる。また、プロジェクタは、投影対象位置（投影対象領域Ｒｎｇ−Ｔｇの外形表面）が歪んでいても、補正パラメータ（歪みパラメータ及び動きパラメータ）を用いて、リアルタイムで投影画像Ｉｍｇ−ＰＪを補正し、歪みのない状態で投影し続けることができる。

以上より、本発明の実施例２に係るプロジェクタによれば、第一の実施形態に係るプロジェクタ１００と同様の効果を得ることができる。

［実施例３］
本発明の実施例３に係るプロジェクタを用いて、本発明を説明する。

［プロジェクタの外観］、［プロジェクタの構成］及び［プロジェクタの機能］
本実施例に係るプロジェクタの外観等は、第一の実施形態に係るプロジェクタ１００の外観等と同様のため、説明を省略する。

［画像を投影する動作］
図１７に、本実施例に係るプロジェクタが画像を投影する動作を示す。ここで、図１７は、本実施例に係るプロジェクタの投影動作（移動対象物に投影する動作）の一例を説明する説明図である。

図１７に示すように、本実施例に係るプロジェクタは、移動対象物（投影対象物）ＴＧが動いた場合でも、これに追随して投影し続けることができる。ここで、移動対象物とは、例えば自動車、バス、飛行機などがある。

具体的には、本実施例に係るプロジェクタは、先ず、ユーザーによって投影のタイミングを入力される。このとき、プロジェクタは、図１７（ａ）に示すように、投影時に一瞬だけ投影を停止して、投影対象物（移動対象物）ＴＧを撮像する。ここで、一瞬とは、例えば１００分の１秒とする。これにより、プロジェクタは、人間の目にはほとんど目立たない動作（一瞬だけ投影を停止する動作）で、投影対象物（移動対象物）ＴＧの像（形状）を撮像（取得）することができる。

また、本実施例に係るプロジェクタは、算出手段１４（図５）を用いて、撮像した結果に基づいて、投影対象物（移動対象物）ＴＧの特徴点を抽出する。更に、プロジェクタは、投影対象物（移動対象物）ＴＧに対応する領域に投影対象領域Ｒｎｇ−Ｔｇを設定する。

次に、本実施例に係るプロジェクタは、図１７（ｂ）に示すように、投影対象物（移動対象物）ＴＧに投影画像Ｉｍｇ−ＰＪを投影する。次いで、プロジェクタは、図１７（ｃ）に示すように、所定の時間間隔で投影対象物（移動対象物）ＴＧを上記同様に撮像し、特徴点をマッチングすることによって投影対象物（移動対象物）ＴＧの動き量（移動量）を算出する。また、プロジェクタは、算出手段１４を用いて、算出した動き量に基づいて動きパラメータ（補正パラメータ）を算出する。

更に、本実施例に係るプロジェクタは、算出した補正パラメータを用いて投影画像をリアルタイムで補正する。その後、プロジェクタは、図１７（ｄ）に示すように、投影手段１２を用いて補正した投影画像を投影対象領域Ｒｎｇ−Ｔｇに投影する。

以上より、本発明の実施例３に係るプロジェクタによれば、第一の実施形態に係るプロジェクタ１００と同様の効果を得ることができる。

また、本発明の実施例３に係るプロジェクタによれば、投影するプロジェクタのみならず、投影対象物の動きにも追随できるため、移動物体（動物体など）に投影することも可能になる。更に、本実施例に係るプロジェクタによれば、撮像した撮像画像の中で背景そのものが変化した場合、又は、撮像手段との位置関係が変化した場合でも、投影対象物だけを把握して追従することができる。これにより、本実施例に係るプロジェクタによれば、動く物体に対しても、その相対位置が変わることなく投影することができる。また、本実施例に係るプロジェクタによれば、投影対象領域Ｒｎｇ−Ｔｇが撮像領域Ｒｎｇ−ＣＭの範囲外になったときに、投影画像の投影を中止することができる。

［実施例４］
本発明の実施例４に係るプロジェクタを用いて、本発明を説明する。

［プロジェクタの外観］、［プロジェクタの構成］及び［プロジェクタの機能］
本実施例に係るプロジェクタの外観等は、第一の実施形態に係るプロジェクタ１００の外観等と同様のため、説明を省略する。

［補正パラメータを更新する動作］
図１８及び図１９を用いて、本実施例に係るプロジェクタが補正パラメータを更新する動作を説明する。ここで、図１８は、プロジェクタの動作の一例を説明するフローチャート図である。図１９は、プロジェクタが投影する動作の一例を説明する説明図である。

図１９に示すように、本実施例に係るプロジェクタは、ステップＳ１９０１において、ユーザーによって投影部１００ＰＪ（図１）から投影画像Ｉｍｇ−ＰＪを投影対象物を含む投影領域Ｒｎｇ−ＰＪ（図２）に投影している。このとき、プロジェクタは、ユーザーによって開始ボタン（校正ボタン）１００Ｂａを押下され、撮像部１００ＣＭ（図１）によって撮像画像Ｉｍｇ−ＣＭを取得する。また、プロジェクタは、ユーザーによって選択ボタン１００Ｂｃ（図１）を押下され、且つ、設定ボタン１００Ｂｂ（図１）を押下されて投影対象領域Ｒｎｇ−Ｔｇ（図２）を選択される。

その後、プロジェクタは、ステップＳ１９０２に進む。

ステップＳ１９０２において、本実施例に係るプロジェクタは、制御手段１０（図５）を用いて、投影手段１２が赤色の光を投影するタイミングを検出する。

具体的には、本実施例に係るプロジェクタは、ＤＬＰ方式で投影画像を投影している場合に、図１９に示すように、カラーホイールＣＷを回転させて、時分割で赤、緑、青の色の光を夫々投影している。制御手段１０（プロジェクタ）は、投影手段１２（図５）が赤色の光を投影するタイミングを検出する。

その後、プロジェクタは、ステップＳ１９０３に進む。

ステップＳ１９０３において、本実施例に係るプロジェクタは、投影手段１２を用いて、赤色の光を投影する。このとき、プロジェクタは、ステップＳ１９０４において、撮像手段１３を用いて、赤色の光を投影された撮像領域Ｒｎｇ−ＣＭ（図２）を撮像し、撮像画像Ｉｍｇ−ＣＭｒを取得する。その後、プロジェクタは、ステップＳ１９０５に進む。

ステップＳ１９０５において、本実施例に係るプロジェクタは、算出手段１４を用いて、撮像した撮像画像Ｉｍｇ−ＣＭｒから赤色成分を抽出する。その後、プロジェクタは、ステップＳ１９０６に進む。

ステップＳ１９０６において、本実施例に係るプロジェクタは、算出手段１４を用いて、抽出した赤色成分に基づいて、補正パラメータ（歪みパラメータ）を算出する。また、プロジェクタは、算出した補正パラメータを用いて、補正パラメータを更新する。その後、プロジェクタは、図中のＥＮＤに進み、補正パラメータを更新する動作を終了する。

以上より、本発明の実施例４に係るプロジェクタによれば、第一の実施形態に係るプロジェクタ１００と同様の効果を得ることができる。

また、本発明の実施例４に係るプロジェクタによれば、投影画像（コンテンツなど）の投影を一瞬中断するが、赤色の光の投影時に投影画像の代わりにパターン光を投影する。これにより、本実施例に係るプロジェクタによれば、投影画像の投影時間がカラーホイールＣＷの回転数に基づいて１００分の１秒程度になるので、ユーザーからは違和感なしにパターン光を投影することができる。また、本実施例に係るプロジェクタによれば、青、緑の成分は同一の投影画像（コンテンツフレーム）を投影するので、色味は変わるがその瞬間の投影画像（コンテンツ情報）はある程度視認できる。このため、本実施例に係るプロジェクタによれば、断続感を少なくすることができる。

更に、本発明の実施例４に係るプロジェクタによれば、投影されるパターンの色が既知であるため、パターンの抽出精度を向上することができる。つまり、本実施例に係るプロジェクタによれば、撮影後の写真から赤色成分だけを取り出すことで、パターン以外のノイズが重畳していた場合でも、青色や緑色の成分を多く含む色のノイズを容易に除外することができる。

以上のとおり、本発明の好ましい実施形態及び実施例について説明したが、本発明は上述した実施形態及び実施例に制限されるものではない。また、本発明は、添付の特許請求の範囲に照らし、種々に変形又は変更することが可能である。

１００，１１０ ： プロジェクタ（投影装置、撮像装置など）
１００ＰＪ ： 投影部
１００ＣＭ ： 撮像部
１００Ｂａ ： 開始ボタン（校正ボタン）
１００Ｂｂ ： 設定ボタン
１００Ｂｃ ： 選択ボタン
１０ ： 制御手段
１１ ： 画像生成手段
１２ ： 投影手段
１３ ： 撮像手段
１４ ： 算出手段
１５ ： 補正手段
１６ ： 入出力手段
１７ ： 記憶手段
Ｐｒ ： プログラム
Ｍｄ ： プログラムを記録した記録媒体
Ｉｍｇ−ＣＭ ： 撮像画像
Ｉｍｇ−ＰＪ ： 投影画像
Ｉｍｇ−ＲＶ ： 補正画像

特開２０１１−１７０１７４号公報

Claims (10)

1. 投影画像が投影されている投影対象物を撮像し、撮像した撮像画像を用いて前記投影画像を補正するプロジェクタであって、
   前記投影画像を前記投影対象物に投影する投影手段と、
   前記投影対象物を含む投影された領域を撮像する撮像手段と、
   前記撮像手段が撮像した前記撮像画像を用いて、前記投影された領域に関する三次元データを算出し、算出した前記三次元データを用いて補正パラメータを算出する算出手段と、
   前記算出手段が算出した前記補正パラメータを用いて、前記投影画像を補正する補正手段と
   を有し、
   前記算出手段は、撮像した前記撮像画像に基づいて、前記補正パラメータとして、歪みパラメータと動きパラメータとを算出し、
   前記補正手段は、算出した前記歪みパラメータを用いて前記投影対象物の形状に対応する補正をし、算出した前記動きパラメータを用いて前記投影手段及び／又は前記投影対象物の移動に対応する補正をする、
   ことを特徴とするプロジェクタ。
2. 前記撮像手段は、撮像するタイミングが異なる複数の前記撮像画像を撮像し、
   前記算出手段は、撮像した複数の前記撮像画像のうちの一つの撮像画像を用いて前記歪みパラメータを算出し、撮像した複数の前記撮像画像のうちの二つの撮像画像を用いて前記動きパラメータを算出する、
   ことを特徴とする、請求項１に記載のプロジェクタ。
3. 前記算出手段は、前記投影対象物と前記撮像手段との相対的な位置関係が変化した場合に、前記相対的な位置関係が変化する前の一の撮像画像と、前記相対的な位置関係が変化した後の他の撮像画像とを用いて前記動きパラメータを算出し、算出した前記動きパラメータを用いて前記歪みパラメータを更新し、
   前記補正手段は、更新した前記歪みパラメータを用いて、前記投影画像を補正し、
   前記投影手段は、補正した前記投影画像を投影する、
   ことを特徴とする、請求項１又は請求項２に記載のプロジェクタ。
4. 前記算出手段は、撮像した前記撮像画像に含まれる特徴点を抽出し、抽出した前記特徴点を用いて前記動きパラメータを算出する、
   ことを特徴とする、請求項１乃至請求項３のいずれか一項に記載のプロジェクタ。
5. 前記補正手段は、前記投影対象物が移動する場合に、前記算出手段が抽出した前記特徴点を用いて移動している該投影対象物の所定の位置を特定し、前記補正パラメータを用いて前記所定の位置に前記投影画像が投影されるように該投影画像を補正する、
   ことを特徴とする、請求項４に記載のプロジェクタ。
6. 前記撮像手段は、前記投影手段が前記投影画像を赤色、青色及び緑色の光に分割して投影する場合で、前記算出手段が前記特徴点を抽出するときに、赤色、青色又は緑色の画像のいずれか一つの画像を撮像し、
   前記算出手段は、前記撮像手段が撮像した画像に基づいて、前記特徴点を抽出する、
   ことを特徴とする、請求項４又は請求項５に記載のプロジェクタ。
7. 投影画像が投影されている投影対象物を撮像し、撮像した撮像画像を用いて前記投影画像を補正するプロジェクタの制御方法であって、
   前記投影画像を前記投影対象物に投影する投影ステップと、
   撮像手段を用いて、前記投影対象物を含む投影された領域を撮像する撮像ステップと、
   撮像した前記撮像画像を用いて、前記投影された領域に関する三次元データを算出し、算出した前記三次元データを用いて補正パラメータを算出する算出ステップと、
   算出した前記補正パラメータを用いて、前記投影画像を補正する補正ステップと
   を含み、
   前記算出ステップは、撮像した前記撮像画像に基づいて、前記補正パラメータとして、歪みパラメータと動きパラメータとを算出し、
   前記補正ステップは、算出した前記歪みパラメータを用いて前記投影対象物の形状に対応する補正をし、次いで、算出した前記動きパラメータを用いて前記投影手段及び／又は前記投影対象物の移動に対応する補正をし、
   前記投影ステップは、補正された前記投影画像を投影する、
   ことを特徴とするプロジェクタの制御方法。
8. 前記算出ステップは、前記投影対象物と前記撮像手段との相対的な位置関係が変化した場合に、前記相対的な位置関係が変化する前の一の撮像画像と前記相対的な位置関係が変化した後の他の撮像画像とを用いて前記動きパラメータを算出し、算出した前記動きパラメータを用いて前記歪みパラメータを更新し、
   前記補正ステップは、更新した前記歪みパラメータを用いて、前記投影画像を補正する、
   ことを特徴とする、請求項７に記載のプロジェクタの制御方法。
9. 請求項７又は請求項８に記載のプロジェクタの制御方法をコンピュータに実行させるためのプログラム。
10. 請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。