JP2022092215A - 投写方法、投写システム、及びプログラム - Google Patents

Abstract

【課題】プロジェクターとは別体、且つ未固定の撮像装置を用いて、プロジェクターと被投写物との位置関係の変化に対応して投写画像を補正できるようにする。【解決手段】情報処理装置２０は、プロジェクター座標系とカメラ座標系との第１対応関係を特定しておく。プロジェクターと被投写物との位置関係の変化した場合、情報処理装置２０は、プロジェクター座標系とカメラ座標系との第２対応関係を特定する。情報処理装置２０は、位置関係の変化が生じる前の撮像装置２２０による被投写物ＳＣの撮像画像を第１対応関係によりプロジェクター座標系に変換した第３画像における第１特徴点と、変化後の撮像画像を第２対応関係によりプロジェクター座標系に変換した第４画像において第１特徴点に対応する第２特徴点とに基づいて補正情報を生成し、この補正情報を用いて補正済の投写画像をプロジェクター１０に投写させる。【選択図】図１

Description

本開示は、投写方法、投写システム、及びプログラム、に関する。

特許文献１には、プロジェクターからスクリーンに投写される投写画像を、プロジェクターとスクリーンとの位置関係の変化に対応して生成する技術が開示されている。特許文献１に開示のプロジェクターは、撮像装置を備える。特許文献１に開示のプロジェクターは、移動後のスクリーンを撮像装置で撮像することによって、移動後のスクリーンの位置を示す位置情報を取得する。特許文献１に開示のプロジェクターは、取得した位置情報に基づいてスクリーンの位置及び向きを特定し、特定したスクリーンの位置及び向きに応じた適切な投写画像を生成する。

特開２０１６－８５３７９号公報

ユーザーが手に持った状態で使用するスマートフォン又はタブレット等の端末に付属する撮像装置等、自由に位置を変更可能な撮像装置を用いて、移動後のスクリーンを撮像できると便利である。しかし、特許文献１では、プロジェクターとは別体かつ未固定の撮像装置を用いることは考慮されていない。

上記課題を解決するために、本開示の投写方法は、プロジェクターから被投写物に投写画像を投写する投写方法において、前記投写画像の投写に先立って、前記被投写物に対して第１画像を前記プロジェクターに投写させること、前記第１画像を投写されている状態の前記被投写物を撮像装置により撮像して得られた第１撮像画像を記憶すること、前記第１撮像画像と前記第１画像とから、前記プロジェクターから投写される画像上の位置を示すプロジェクター座標系と前記撮像装置により撮像される画像上の位置を示すカメラ座標系との第１対応関係を特定すること、前記第１撮像画像を記憶した後に、前記プロジェクターと前記被投写物との位置関係に変化が生じたことを示す制御信号を受信したことを契機として、第２画像を前記被投写物に対して前記プロジェクターに投写させること、前記第２画像を投写されている状態の前記被投写物を前記撮像装置により撮像して得られる第２撮像画像を記憶すること、前記第２撮像画像と前記第２画像とに基づいて、前記プロジェクター座標系と前記カメラ座標系との第２対応関係を特定すること、記憶済の前記第１撮像画像を前記第１対応関係に基づいて前記プロジェクター座標系に変換して得られる第３画像における１又は複数の第１特徴点と、記憶済の前記第２撮像画像を前記第２対応関係に基づいて前記プロジェクター座標系に変換して得られる第４画像において１又は複数の前記第１特徴点に対応する１又は複数の第２特徴点とに基づいて、前記位置関係の変化に応じた補正量を表す補正情報を生成すること、及び、前記補正情報に従って補正済の前記投写画像を前記プロジェクターに投写させること、を含む。

また、上記課題を解決するために、本開示の投写方法は、プロジェクターから被投写物に投写画像を投写する投写方法において、前記投写画像の投写に先立って、前記被投写物に対して第１画像を前記プロジェクターに投写させること、前記第１画像を投写されている状態の前記被投写物を、第１の位置から 撮像装置により撮像して得られた第１撮像画像を記憶すること、前記第１撮像画像と前記第１画像とから、前記プロジェクターから投写される画像上の位置を示すプロジェクター座標系と前記撮像装置により撮像される画像上の位置を示すカメラ座標系との第１対応関係を特定すること、前記第１撮像画像を記憶した後に、前記プロジェクターと前記被投写物との位置関係に変化が生じたことを示す制御信号を受信したことを契機として、第２画像を前記被投写物に対して前記プロジェクターに投写させること、 前記第２画像を投写されている状態の前記被投写物を、第２の位置から 前記撮像装置により撮像して得られる第２撮像画像を記憶すること、前記第２撮像画像と前記第２画像とに基づいて、前記プロジェクター座標系と前記カメラ座標系との第２対応関係を特定すること、前記制御信号を受信したことを契機として、前記第２画像を前記被投写物に対して前記プロジェクターに投写させる前に、前記被投写物を前記第１の位置から撮像装置により撮像して得られた第３撮像画像を記憶すること、前記制御信号を受信したことを契機として、前記第２画像を前記被投写物に対して前記プロジェクターに投写させた後に、前記被投写物を前記第２の位置から撮像装置により撮像して得られた第４撮像画像を記憶すること、 記憶済の前記第３撮像画像を前記第１対応関係に基づいて前記プロジェクター座標系に変換して得られる第５画像における1又は複数の第１特徴点と、記憶済の前記第２撮像画像を前記第２対応関係に基づいて前記プロジェクター座標系に変換して得られる第６画像において1又は複数の前記第１特徴点に対応する1又は複数の第２特徴点とに基づいて、前記位置関係の変化に応じた補正量を表す補正情報を生成すること、及び、前記補正情報に従って補正済の前記投写画像を前記プロジェクターに投写させること、を含む。

また、上記課題を解決するために、本開示の投写システムは、被投写物に投写画像を投写するプロジェクターと、前記プロジェクターを制御する情報処理装置と、を含む。この情報処理装置は、撮像装置と、記憶装置と、処理装置と、を含む。そして、この処理装置は、前記投写画像の投写に先立って、前記被投写物に対して第１画像を前記プロジェクターに投写させること、前記第１画像を投写されている状態の前記被投写物を前記撮像装置により撮像して得られた第１撮像画像を前記記憶装置に記憶させること、前記第１撮像画像と前記第１画像とから、前記プロジェクターから投写される画像上の位置を示すプロジェクター座標系と前記撮像装置により撮像される画像上の位置を示すカメラ座標系との第１対応関係を特定すること、前記第１撮像画像を前記記憶装置に記憶させた後に、前記プロジェクターと前記被投写物との位置関係に変化が生じたことを示す制御信号を受信したことを契機として、第２画像を前記被投写物に対して前記プロジェクターに投写させること、前記第２画像を投写されている状態の前記被投写物を前記撮像装置により撮像して得られる第２撮像画像を前記記憶装置に記憶させること、前記第２撮像画像と前記第２画像とに基づいて、前記プロジェクター座標系と前記カメラ座標系との第２対応関係を特定すること、記憶済の前記第１撮像画像を前記第１対応関係に基づいて前記プロジェクター座標系に変換して得られる第３画像における１又は複数の第１特徴点と、記憶済の前記第２撮像画像を前記第２対応関係に基づいて前記プロジェクター座標系に変換して得られる第４画像において１又は複数の前記第１特徴点に対応する１又は複数の第２特徴点とに基づいて、前記位置関係の変化に応じた補正量を表す補正情報を生成すること、及び、前記補正情報に従って補正済の前記投写画像を前記プロジェクターに投写させること、を実行する。

また、上記課題を解決するために、本開示のプログラムは、被投写物に対して投写画像を投写するプロジェクターを制御するコンピューターに、前記投写画像の投写に先立って、前記被投写物に対して第１画像を前記プロジェクターに投写させること、前記第１画像を投写されている状態の前記被投写物を撮像装置により撮像して得られた第１撮像画像を記憶装置に記憶させること、前記第１撮像画像と前記第１画像とから、前記プロジェクターから投写される画像上の位置を示すプロジェクター座標系と前記撮像装置により撮像される画像上の位置を示すカメラ座標系との第１対応関係を特定すること、前記第１撮像画像を前記記憶装置に記憶させた後に、前記プロジェクターと前記被投写物との位置関係に変化が生じたことを示す制御信号を受信したことを契機として、第２画像を前記被投写物に対して前記プロジェクターに投写させること、前記第２画像を投写されている状態の前記被投写物を前記撮像装置により撮像して得られる第２撮像画像を前記記憶装置に記憶させること、前記第２撮像画像と前記第２画像とに基づいて、前記プロジェクター座標系と前記カメラ座標系との第２対応関係を特定すること、前記記憶装置に記憶済の前記第１撮像画像を前記第１対応関係に基づいて前記プロジェクター座標系に変換して得られる第３画像における１又は複数の第１特徴点と、前記記憶装置に記憶済の前記第２撮像画像を前記第２対応関係に基づいて前記プロジェクター座標系に変換して得られる第４画像において１又は複数の前記第１特徴点に対応する１又は複数の第２特徴点とに基づいて、前記位置関係の変化に応じた補正量を表す補正情報を生成すること、及び、前記補正情報に従って補正済の前記投写画像を前記プロジェクターに投写させること、を実行させる。

本開示の実施形態に係る投写システム１の構成例を示すブロック図である。 投写システム１に含まれるプロジェクター１０が被投写物ＳＣに投写する画像ＧＣ１の一例を示す図である。 被投写物ＳＣとプロジェクター１０から投写される画像ＧＣ１と領域ＳＣ１との位置関係の一例を示す図である。 被投写物ＳＣとプロジェクター１０から投写される画像ＧＣ１と領域ＳＣ１との位置関係の一例を示す図である。 画像ＧＰの一例を示す図である。 生成部２４４が実行する生成処理を説明するための図である。 補正部２４５が実行する補正処理を説明するための図である。 被投写物ＳＣとプロジェクター１０から投写される画像ＧＣ２との位置関係の一例を示す図である。 処理装置２４０がプログラム２３１に従って実行する初期設定処理の流れを示すフローチャートである。 処理装置２４０がプログラム２３１に従って実行する調整処理の流れを示すフローチャートである。

以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。

１．実施形態
図１は、本開示の一実施形態に係る投写システム１の構成例を示す図である。図１に示すように投写システム１は、プロジェクター１０と、情報処理装置２０と、を含む。図１に示す投写システム１では、プロジェクター１０は、情報処理装置２０による制御の下、被投写物ＳＣを装飾するための画像を被投写物ＳＣに投写する。情報処理装置２０は、プロジェクター１０を制御するための装置である。投写システム１では、情報処理装置２０は、被投写物ＳＣに投写する画像を表す画像データをプロジェクター１０に供給する画像供給装置の役割を果たす。本実施形態の情報処理装置２０は、例えば、撮像機能を備えたスマートフォンである。ユーザーは、情報処理装置２０を用いて任意の位置から被投写物ＳＣを撮像することができる。情報処理装置２０は、スマートフォンには限定されず、撮像機能を備えたタブレット端末、又は撮像機能を備えたパーソナルコンピューターであってもよい。

プロジェクター１０は、例えば、画像を投写するための液晶ライトバルブと、投写レンズと、液晶駆動部と、光源として超高圧水銀ランプと、を備える。プロジェクター１０における光源はメタルハライドランプであってもよい。プロジェクター１０は、例えばケーブルによって情報処理装置２０と通信可能に接続される。プロジェクター１０は、被投写物ＳＣに投写する画像を表す画像データを、ケーブルを介した通信により情報処理装置２０から取得する。本実施形態において、プロジェクター１０と情報処理装置２０との間の通信は、例えば、イーサネットやＵＳＢ（Universal Serial Bus）等の規格に準拠した有線通信である。なお、イーサネットは登録商標である。プロジェクター１０と情報処理装置２０との間の通信は、Ｗｉ－Ｆｉ等の規格に準拠した無線通信であってもよい。プロジェクター１０は、取得した画像データの示す画像を被投写物ＳＣへ投写する。

図１に示すように、本実施形態における被投写物ＳＣは、文字Ｅが立体状に形成された領域ＳＣ１を有するスクリーンである。また、被投写物ＳＣは、領域ＳＣ１の右下隅の近傍に三角形を描くことで区画された領域ＳＣ２を有する。図２は、情報処理装置２０による制御の下でプロジェクター１０が被投写物ＳＣに対して投写する画像ＧＣ１の一例を示す図である。画像ＧＣ１は、所定の色で塗りつぶされた文字Ｅの画像Ｇ１を含む。図２では、上記所定の色がハッチングで示されている。

本実施形態では、被投写物ＳＣに対してプロジェクター１０に画像ＧＣ１を投写させた場合に、図３に示すように、画像Ｇ１が領域ＳＣ１と重なるように、プロジェクター１０と被投写物ＳＣとの位置関係が設定されている。このため、例えば被投写物ＳＣに外力が加わる等して被投写物ＳＣが移動することによってプロジェクター１０と被投写物ＳＣとの位置関係が変化すると、図４に示すように、画像Ｇ１が領域ＳＣ１と重ならなくなる。本実施形態では、ユーザーは、自由に位置を変更可能な情報処理装置２０を用いて、移動後の被投写物ＳＣを撮像し、その撮像結果に基づいて画像Ｇ１と領域ＳＣ１とのずれを補正することができる。以下、本実施形態の特徴を顕著に示す情報処理装置２０を中心に説明する。

図１に示すように、情報処理装置２０は、通信装置２１０、撮像装置２２０、記憶装置２３０、及び処理装置２４０を有する。通信装置２１０には、ケーブルを介してプロジェクター１０が接続される。通信装置２１０は、処理装置２４０から与えられる画像データをプロジェクター１０へ送信する。

撮像装置２２０は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備える。撮像装置２２０は、処理装置２４０による制御の下で画像を撮像する。撮像装置２２０は、撮像した画像を表す画像データを処理装置２４０へ出力する。以下では、説明を簡略化するため、撮像装置２２０は、静止画像を撮像するものとする。

記憶装置２３０は、処理装置２４０が読み取り可能な記録媒体である。記憶装置２３０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Radom Access Memory）である。

記憶装置２３０の不揮発性メモリーには、処理装置２４０によって実行されるプログラム２３１が予め記憶される。プログラム２３１は、「アプリケーションプログラム」、「アプリケーションソフトウェア」又は「アプリ」とも称され得る。プログラム２３１は、例えば、通信装置２１０を介して不図示のサーバー等から取得され、その後、記憶装置２３０に記憶される。記憶装置２３０の揮発性メモリーはプログラム２３１を実行する際のワークエリアとして処理装置２４０によって利用される。記憶装置２３０の揮発性メモリーには、撮像装置２２０により撮像された画像を表す画像データが記憶される。

記憶装置２３０の不揮発性メモリーには、図２に示す画像ＧＣ１を表す画像データが記憶されている。なお、画像ＧＣ１を表す画像データは、記憶装置２３０の揮発性メモリーに記憶されてもよい。また、記憶装置２３０の不揮発性メモリーには、プロジェクター座標系とカメラ座標系との対応関係を特定するための画像を表す画像データが記憶されている。プロジェクター座標系とは、プロジェクター１０の投写画像内の位置を示す座標系である。プロジェクター座標系の具体例としては、プロジェクター１０の投写画像の左上隅を原点とする２次元座標系が挙げられる。カメラ座標系とは、撮像装置２２０の撮像画像内の位置を示す座標系である。カメラ座標系の具体例としては、撮像装置２２０の撮像画像の左上隅を原点とする２次元座標系が挙げられる。本実施形態においてプロジェクター座標系とカメラ座標系との対応関係を特定するための画像は、図５に示すように、４隅にマーカーＭが配置された白色の画像ＧＰである。画像ＧＰの４隅に配置されるマーカーＭは、本開示における第１、第２、第３及び第４マーカーの一例である。

処理装置２４０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサー、即ちコンピューターを含んで構成される。処理装置２４０は、単一のコンピューターで構成されてもよいし、複数のコンピューターで構成されてもよい。処理装置２４０は、プログラム２３１の実行開始を指示する操作が不図示の入力装置に対して為されたことを契機としてプログラム２３１を不揮発性メモリーから揮発性メモリーに読み出す。入力装置は、例えば情報処理装置２０に備わるタッチパネル、又は押下式のボタンである。また、入力装置は、情報処理装置２０と有線接続、又は無線接続により通信可能なリモコン又はキーボードを用いても良い。処理装置２４０は、読み出されたプログラム２３１を実行する。プログラム２３１に従って作動中の処理装置２４０は、図１に示す投写制御部２４１、撮像制御部２４２、特定部２４３、生成部２４４、及び補正部２４５として機能する。図１に示す投写制御部２４１、撮像制御部２４２、特定部２４３、生成部２４４、及び補正部２４５は、処理装置２４０をプログラム２３１に従って動作させることで実現されるソフトウェアモジュールである。投写制御部２４１、撮像制御部２４２、特定部２４３、生成部２４４、及び補正部２４５の各々が担う機能は次の通りである。

投写制御部２４１は、画像データをプロジェクター１０に与えることによって、画像をプロジェクター１０に投写させる。例えば、画像ＧＣ１をプロジェクター１０に投写させることを不図示の入力装置に対する入力により指示された場合には、投写制御部２４１は、画像ＧＣ１を表す画像データを記憶装置２３０から読み出し、読み出した画像データを通信装置２１０を介してプロジェクター１０に送信する。また、プロジェクター座標系とカメラ座標系との対応関係を特定するための画像をプロジェクター１０に投写させる場合、投写制御部２４１は、画像ＧＰを表す画像データを記憶装置２３０から読み出し、読み出した画像データを通信装置２１０を介してプロジェクター１０に送信する。

撮像制御部２４２は、画像ＧＰを投写されている状態の被投写物ＳＣを撮像装置２２０に撮像させる。そして、撮像制御部２４２は、撮像装置２２０の撮像画像を表す画像データを記憶装置２３０に書き込むことによって、撮像画像を記憶装置２３０に記憶させる。

特定部２４３は、プロジェクター座標系とカメラ座標系との対応関係を特定する。特定部２４３は、画像ＧＰを投写されている状態の被投写物ＳＣの撮像画像における４つのマーカーＭの位置と、画像ＧＰにおける４つのマーカーＭの位置とを相互に変換する変換行列を算出することにより、プロジェクター座標系とカメラ座標系との対応関係を特定する。

詳細については後述するが、本実施形態では、プロジェクター１０と被投写物ＳＣとの位置関係が初期設定された時点で、被投写物ＳＣに対する画像ＧＣ１の投写に先立って、投写制御部２４１による画像ＧＰの投写、撮像制御部２４２による撮像画像の記憶、及び特定部２４３による対応関係の特定が実行される。被投写物ＳＣに対する画像ＧＣ１の投写に先立って、投写制御部２４１による制御の下で投写される画像ＧＰは本開示における第１画像の一例である。被投写物ＳＣに対する画像ＧＣ１の投写に先立って、撮像制御部２４２による制御の下で撮像される画像は本開示における第１撮像画像の一例である。そして、被投写物ＳＣに対する画像ＧＣ１の投写に先立って、特定部２４３により特定される対応関係は本開示における第１対応関係の一例である。

また、本実施形態では、プロジェクター１０と被投写物ＳＣとの位置関係に変化が生じたことを示す制御信号を不図示の入力装置から受信したことを契機として、投写制御部２４１による画像ＧＰの投写、撮像制御部２４２による撮像画像の記憶、及び特定部２４３による対応関係の特定が実行される。制御信号の受信を契機として、投写制御部２４１がプロジェクター１０に投写せる画像ＧＰは本開示における第２画像の一例である。制御信号の受信を契機として、撮像制御部２４２が撮像装置２２０に撮像させる画像は本開示における第２撮像画像の一例である。そして、制御信号の受信を契機として、特定部２４３が特定する対応関係は、本開示における第２対応関係の一例である。

生成部２４４は、プロジェクター１０と被投写物ＳＣの位置関係の変化に応じた画像ＧＣ１の補正量を表す補正情報を生成する。生成部２４４は、まず、第１撮像画像を第１対応関係に基づいてプロジェクター座標系における画像に変換する。第１対応関係に基づく変換後の画像は本開示における第３画像の一例である。第１撮像画像を第１対応関係に基づいて第３画像に変換する理由は、次の通りである。

ここで、例えば被投写物ＳＣに対してプロジェクター１０が正対しており、且つ被投写物ＳＣに対して撮像装置２２０が正対している状況を想定する。この状況下で撮像された第１撮像画像には画像ＧＰが歪みなく写る。なお、被投写物ＳＣに対してプロジェクター１０が正対しているとは、プロジェクター１０からの投写光の光軸と被投写物ＳＣの平坦な部分の法線とが平行であることをいう。同様に、被投写物ＳＣに対して撮像装置２２０が正対しているとは、撮像装置２２０における撮像レンズの中心軸と被投写物ＳＣの平坦な部分の法線とが平行であることをいう。一方、被投写物ＳＣに対してプロジェクター１０が正対していない状況で撮像された第１撮像画像に写っている画像ＧＰにはプロジェクター１０と被投写物ＳＣとの位置関係に応じた第１の歪みが現れる。同様に、被投写物ＳＣに対して撮像装置２２０が正対していない状況下で撮像された第１撮像画像に写っている画像ＧＰには撮像装置２２０と被投写物ＳＣとの位置関係に応じた第２の歪みが現れる。第３画像はプロジェクター座標系の画像であるから、撮像装置２２０と被投写物ＳＣとの位置関係には依存しない。つまり、第３画像は、撮像装置２２０と被投写物ＳＣとの位置関係に応じた第２の歪みを含まない。第１撮像画像データの表す画像を第３画像に変換するのは、変換前の画像に含まれる第１の歪み及び第２の歪みのうちの第２の歪みを除去するためである。

次いで、生成部２４４は、第２撮像画像を第２対応関係に基づいてプロジェクター座標系における画像に変換する。第２対応関係に基づく変換後の画像は本開示における第４画像の一例である。第２撮像画像を第２対応関係に基づいてプロジェクター座標系における画像に変換することで、変換前の画像に含まれる第１の歪み及び第２の歪みのうちの第２の歪みが除去される。

次いで、生成部２４４は、第３画像と第４画像とに基づいて、プロジェクター１０と被投写物ＳＣの位置関係の変化に応じた補正量を表す補正情報を生成する。前述したように、第３画像には、撮像装置２２０と被投写物ＳＣとの位置関係に応じた第２の歪みは含まれていない。同様に、第４画像にも、撮像装置２２０と被投写物ＳＣとの位置関係に応じた第２の歪みは含まれていない。このため、第３画像と第４画像とから、第１の歪みの変化量が算出可能である。第１の歪みの変化量は、第１撮像画像を撮像した時点のプロジェクター１０と被投写物ＳＣの位置関係と第２撮像画像を撮像した時点の当該位置関係との差分に応じた歪みである。生成部２４４は当該歪みを相殺する補正情報を第３画像及び第４画像から生成する。

より詳細に説明すると、生成部２４４は、第３画像から抽出されるＮ個の第１特徴点の当該画像における位置と、第４画像から抽出され、且つＮ個の第１特徴点に一対一に対応するＮ個の第２特徴点の当該画像における位置と、に基づいて補正情報を生成する。なお、Ｎは１以上の整数である。本実施形態における第１特徴点及び第２特徴点は、色彩に基づいて抽出される自然特徴点である。生成部２４４は、第３画像を構成する各画素の輝度値に基づいてＮ個の第１特徴点を当該第３画像から抽出する。同様に、生成部２４４は、第４画像を構成する各画素の輝度値に基づいてＮ個の第２特徴点を当該第４画像から抽出する。そして、生成部２４４は、Ｎ個の第２特徴点の各々について、特徴点の分布における位置関係等が類似する第１特徴点を対応付けることにより、Ｎ個の第１特徴点とＮ個の第２特徴点とを一対一に対応付ける。なお、第１特徴点及び第２特徴点の抽出、及び第１特徴点と第２特徴点との対応付けを実現するアルゴリズムとしては、ＡＫＡＺＥ又はＳＵＲＦ等の既存のアルゴリズムが用いられる。例えば、図６に示すように、第３画像である画像ＧＡから領域ＳＣ１の右上隅に対応する特徴点ＰＡ１と領域ＳＣ２の頂点の一つに対応する特徴点ＰＡ２とからなる２個の第１特徴点が抽出され、同様に第４画像である画像ＧＢから特徴点ＰＢ１と特徴点ＰＢ２とからなる２個の第２特徴点が上記アルゴリズムに従って抽出されたとする。この場合、生成部２４４は、特徴点ＰＡ１と特徴点ＰＡ２との位置関係、及び特徴点ＰＢ１と特徴点ＰＢ２との位置関係に基づいて、特徴点ＰＡ１と特徴点ＰＢ１とを対応付け、特徴点ＰＡ１と特徴点ＰＢ１とを対応付ける。

Ｎ＝１の場合、生成部２４４は、第１特徴点を第２特徴点に平行移動させる行列を補正情報として生成する。Ｎ＝２の場合、生成部２４４は、２個の第１特徴点と２個の第２特徴点との間の線形変換を表す行列を補正情報として生成する。Ｎ＝３の場合、生成部２４４は、３個の第１特徴点と３個の第２特徴点との間のアフィン変換を表す行列を補正情報として生成する。Ｎ≧４の場合、生成部２４４は、Ｎ個の第１特徴点とＮ個の第２特徴点との間の射影変換を表す行列を補正情報として生成する。

補正部２４５は、図７に示すように、補正情報に応じた補正を画像ＧＣ１に施して画像ＧＣ２を生成する。そして、補正部２４５は、補正済みの画像、即ち画像ＧＣ２をプロジェクター１０に投写させる。なお、画像ＧＣ２をプロジェクター１０に投写させる際に、画像ＧＰがプロジェクター１０から被投写物ＳＣに投写されている場合には、補正部２４５は、画像ＧＰに代えて画像ＧＣ２をプロジェクター１０に投写させる。より詳細に説明すると、補正部２４５は、記憶装置２３０から画像ＧＣ１の画像データを読み出し、読み出した画像データの表す各画素の位置を補正情報に基づいて移動させて画像ＧＣ２を表す画像データを生成する。そして、補正部２４５は、画像ＧＣ２を表す画像データをプロジェクター１０に与えることで、プロジェクター１０に画像ＧＣ２を投写させる。被投写物ＳＣに対してプロジェクター１０から画像ＧＣ２が投写される結果、図８に示すように、領域ＳＣ１と画像Ｇ１とのずれが補正される。

また、プログラム２３１に従って作動している処理装置２４０は、本開示の投写方法を実行する。本開示の投写方法には、図９のフローチャートに示す初期設定処理と、図１０のフローチャートに示す調整処理とが含まれる。

図９のフローチャートに示す初期設定処理は、被投写物ＳＣに対する投写画像の投写に先立って実行される処理である。情報処理装置２０のユーザーは、プロジェクター１０と被投写物ＳＣの位置関係が決定すると、不図示の入力装置に対する操作により初期設定処理の実行指示を入力する。プログラム２３１に従って作動している処理装置２４０は、初期設定理の実行指示を入力装置から受け取ったことを契機として、図９のフローチャートに示す初期設定処理を実行する。図９に示すように初期設定処理は、第１投写処理ＳＡ１１０、第１撮像処理ＳＡ１２０、及び第１特定処理ＳＡ１３０を含む。

第１投写処理ＳＡ１１０では、処理装置２４０は投写制御部２４１として機能する。第１投写処理ＳＡ１１０では、処理装置２４０は、画像ＧＰをプロジェクター１０に投写させる。第１撮像処理ＳＡ１２０では、処理装置２４０は撮像制御部２４２として機能する。第１撮像処理ＳＡ１２０では、処理装置２４０は、不図示の入力装置に対する操作により撮像指示を与えられたことを契機として、画像ＧＰを投写されている状態の被投写物ＳＣを撮像装置２２０に撮像させ、この撮像画像を表す第１撮像画像データを記憶装置２３０に記憶させる。第１撮像処理ＳＡ１２０が実行される時点の情報処理装置２０の位置、換言すれば撮像装置２２０の位置は本開示における第１の位置の一例である。第１特定処理ＳＡ１３０では、処理装置２４０は特定部２４３として機能する。第１特定処理ＳＡ１３０では、処理装置２４０は、第１撮像画像における４つのマーカーＭの位置と、画像ＧＰにおける４つのマーカーの位置とを相互に変換する第１変換行列を算出することにより、プロジェクター座標系とカメラ座標系との第１対応関係を特定する。なお、処理装置２４０は、第１対応関係を表す第１変換行列を記憶装置２３０に記憶させる。

以上に説明した初期設定処理が実行されることによって、被投写物ＳＣに対する画像ＧＣ１の投写に先立って決定されたプロジェクター１０と被投写物ＳＣとの位置関係に応じた第１対応関係を示す第１変換行列が記憶装置２３０に記憶される。

プロジェクター１０から被投写物ＳＣに画像ＧＣ１を投写している状態において、被投写物ＳＣに何らかの外力が加わる等して両者の位置関係に変化が生じ、図４に示すように、画像Ｇ１が領域ＳＣ１からずれて投写されたとする。画像Ｇ１と領域ＳＣ１とのずれを視認したユーザーは、不図示の入力装置に対する操作により、プロジェクター１０と被投写物ＳＣとの位置関係に変化が生じたことを入力する。例えば、情報処理装置２０に備わる入力装置としてのタッチパネル上に表示される再調整開始と記載された項目を選択する操作が、プロジェクター１０と被投写物ＳＣとの位置関係に変化が生じたことを入力する入力装置に対する操作として採用され得る。入力装置は、この入力に応じて制御信号を処理装置２４０へ出力する。この制御信号の受信を契機として、処理装置２４０は、図１０のフローチャートに示す調整処理を実行する。図１０に示すように、更新処理は、第２投写処理ＳＢ１１０、第２撮像処理ＳＢ１２０、第２特定処理ＳＢ１３０、生成処理ＳＢ１４０、及び補正処理ＳＢ１５０を含む。

第２投写処理ＳＢ１１０では、処理装置２４０は投写制御部２４１として機能する。第２投写処理ＳＢ１１０では、処理装置２４０は、画像ＧＣ１に代えて画像ＧＰをプロジェクター１０に投写させる。第２撮像処理ＳＢ１２０では、処理装置２４０は撮像制御部２４２として機能する。第２撮像処理ＳＢ１２０では、処理装置２４０は、不図示の入力装置に対する操作により撮像指示を与えられたことを契機として、画像ＧＰを投写されている状態の被投写物ＳＣを撮像装置２２０に撮像させ、この撮像画像を表す第２撮像画像データを記憶装置２３０に記憶させる。第２撮像処理ＳＢ１２０が実行される時点の情報処理装置２０の位置、換言すれば撮像装置２２０の位置は本開示における第２の位置の一例である。第２特定処理ＳＢ１３０では、処理装置２４０は特定部２４３として機能する。第２特定処理ＳＢ１３０では、処理装置２４０は、第２撮像画像における４つのマーカーＭの位置と、画像ＧＰにおける４つのマーカーＭの位置とを相互に変換する第２変換行列を算出することにより、プロジェクター座標系とカメラ座標系との第２対応関係を特定する。処理装置２４０は、第２対応関係を表す第２変換行列を記憶装置２３０に記憶させる。

生成処理ＳＢ１４０では、処理装置２４０は、生成部２４４として機能する。生成処理ＳＢ１４０では、処理装置２４０は、まず、第１撮像画像データの表す画像を第１対応関係に基づいてプロジェクター座標系における第３画像に変換する。次いで、処理装置２４０は、第２撮像画像データの表す画像を第２対応関係に基づいてプロジェクター座標系における第４画像に変換する。そして、処理装置２４０は、第３画像と第４画像とに基づいて、プロジェクター１０と被投写物ＳＣの位置関係の変化に応じた補正量を表す補正情報を生成する。

補正処理ＳＢ１５０では、処理装置２４０は補正部２４５として機能する。補正処理ＳＢ１５０では、処理装置２４０は、補正情報に応じた補正を画像ＧＣ１に施して画像ＧＣ２を生成する。そして、処理装置２４０は、画像ＧＰに代えて、補正済みの画像、即ち画像ＧＣ２をプロジェクター１０に投写させる。被投写物ＳＣに対してプロジェクター１０から画像ＧＣ２が投写される結果、前掲図８に示すように、領域ＳＣ１と画像Ｇ１とのずれが補正される。

以上に説明した調整処理が実行されることによって、プロジェクター１０と被投写物ＳＣとの位置関係に変化が生じても、当該変化を相殺する補正を施した画像ＧＣ２をプロジェクター１０に投写させることが可能になる。前述したように本実施形態における撮像装置２２０は、プロジェクター１０とは別体の情報処理装置２０に含まれている。また、ユーザーは情報処理装置２０を手に持って使用するため、情報処理装置２０は未固定である。このため、第１の位置と第２の位置とが一致するとは限らないが、本実施形態では第３画像及び第４画像に基づいて補正情報が生成されるため、第１の位置と第２の位置とが一致しなくても問題は生じない。このように、本実施形態によれば、プロジェクター１０とは別体、且つ未固定の撮像装置２２０を用いて被投写物ＳＣを撮像することにより、プロジェクター１０から被投写物ＳＣに投写される投写画像を、プロジェクター１０と被投写物ＳＣの位置関係の変化に対応して生成することが可能になる。

２．変形例
上記実施形態は、以下のように変更されてもよい。
（１）上記実施形態では、プロジェクター座標系とカメラ座標系との対応関係を特定するための第１画像及び第２画像は、第１、第２、第３及び第４マーカーが四隅に配置された画像であった。しかし、第１画像及び第２画像は、バイナリーコードパターン、グレイコードパターン、及び位相シフトパターンの何れかを表すパターン画像であってもよい。また、第３画像における第１画素の輝度と第４画像において第１画素に対応する第２画素の輝度との差が閾値以上である場合、補正情報が生成されてもよい。第１画素の輝度と第２画素の輝度との差が閾値未満であるということは、プロジェクター１０と被投写物ＳＣの位置関係の変化に起因する投写画像の位置のずれは小さいことを意味するからである。

また、第１画像の種類と第２画像の種類とが異なってもよい。例えば、第１画像が第１、第２、第３及び第４マーカーが四隅に配置された画像であり、第２画像がバイナリーコードパターンの画像であってもよい。第１対応関係の特定の際には第２画像及び第２画像を投写されている状態の被投写物ＳＣの撮像画像は用いられないので、第２画像の種類が第１画像の種類と異なっていても、第１対応関係の特定には支障は生じないからである。同様に、第２画像の種類が第１画像の種類と異なっていても、第２対応関係の特定にも支障は生じない。従がって、第１画像の種類と第２画像の種類とが異なっていてもよい。

（２）上記実施形態では、生成部２４４は、第３画像からＮ個の第１特徴点を抽出した。しかし、生成部２４４は、第１撮像画像からＮ個の自然特徴点を抽出し、これらＮ個の自然特徴点を第１対応関係に基づいてプロジェクター座標系に変換することでＮ個の第１特徴点を抽出してもよい。第２特徴点も同様である。また、上記実施形態では、生成部２４４は、Ｎ個の第１特徴点と、Ｎ個の第１特徴点に一対一に対応するＮ個の第２特徴点と、を抽出した。しかし、ＭをＮよりも大きい整数とした場合、生成部２４４は、Ｍ個の第１特徴点と、Ｍ個の第１特徴点に一対一に対応するＭ個の第２特徴点とを抽出し、Ｍ個の第１特徴点のうちのＮ個と、当該Ｎ個の第１特徴点に一対一に対応するＮ個の第２特徴点とを用いて補正情報を生成してもよい。Ｍ個の第１特徴点のうちのＮ個については、ユーザーが選択してもよい。また、生成部２４４は、第３画像にエッジ抽出等を施すことによって第３画像において領域ＳＣ１に対応する第１領域を特定し、第４画像にエッジ抽出等を施すことによって第４画像において領域ＳＣ１に対応する第２領域を特定してもよい。そして、生成部２４４は、Ｍ個の第１特徴点のうち第１領域に位置する１又は複数の第１特徴点と、Ｍ個の第２特徴点のうち第２領域に位置する１又は複数の第２特徴点とを用いて、補正情報を生成してもよい。

（３）上記実施形態では、プロジェクター１０と被投写物ＳＣの位置関係の変化を示す制御信号が、ユーザーの操作を受け付ける入力装置から出力された。しかし、プロジェクター１０と被投写物ＳＣの少なくも一方に振動を検出するセンサーが設けられ、プロジェクター１０と被投写物ＳＣの位置関係の変化を示す制御信号は当該センサーから処理装置２４０へ送信されてもよい。

（４）上記実施形態では、第１特定処理ＳＡ１３０が初期設定処理に含まれていたが、第１特定処理ＳＡ１３０は、調整処理に含まれてもよい。また、第１特定処理ＳＡ１３０が調整処理に含まれる場合、第１特定処理ＳＡ１３０は、生成処理ＳＢ１４０より先に実行されればよく、第２投写処理ＳＢ１１０、第２撮像処理ＳＢ１２０、及び第２特定処理ＳＢ１３０の各処理との実行順は任意である。具体的には、第１特定処理ＳＡ１３０は、第２投写処理ＳＢ１１０に先立って実行されてもよく、第２特定処理ＳＢ１３０の後に実行されてもよい。また、上記実施形態では、情報処理装置２０が画像供給装置の役割を果たしたが、情報処理装置２０とは別個に画像供給装置が設けられてもよい。情報処理装置２０とは別個に画像供給装置を設ける態様では、補正処理ＳＢ１５０は、生成処理ＳＢ１４０にて生成した補正情報をプロジェクター１０又は画像供給装置へ送信し、この補正情報に従って投写画像をプロジェクター１０又は画像供給装置に補正させる処理となる。また、上記実施形態では、プロジェクター１０から被投写物ＳＣに画像ＧＣ１を投写している状態において、プロジェクター１０と被投写物ＳＣとの位置関係に変化が生じたこと示す制御信号の受信を契機として調整処理が実行された。しかし、調整処理は、プロジェクター１０から被投写物ＳＣに画像ＧＣ１を投写しているか否かを問わず、第１撮像画像データを記憶した後であれば、上記制御信号の受信を契機として実行されてもよい。

（５）プログラム２３１を記憶装置２３０に書き込み済の情報処理装置２０が単体で製造又は販売されてもよい。また、上記実施形態では、プログラム２３１が情報処理装置２０の記憶装置２３０に記憶済であった。しかし、プログラム２３１が単体で製造又は配布されてもよい。プログラム２３１の具体的な配布方法としては、フラッシュＲＯＭ（Read Only Memory）等のコンピューター読み取り可能な記録媒体に上記プログラム２３１を書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより配布する態様が考えられる。

（６）上記実施形態における投写制御部２４１、撮像制御部２４２、特定部２４３、生成部２４４、及び補正部２４５はソフトウェアモジュールであった。しかし、投写制御部２４１、撮像制御部２４２、特定部２４３、生成部２４４、及び補正部２４５の一部又は全部がハードウェアであってもよい。このハードウェアの一例としては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）が挙げられる。投写制御部２４１、撮像制御部２４２、特定部２４３、生成部２４４、及び補正部２４５の一部又は全部がハードウェアであっても、上記実施形態と同一の効果が奏される。

（７）上記実施形態では、生成部２４４は、第１撮像画像データの表す画像を第１対応関係に基づいて変換した第３画像からＮ個の第１特徴点を抽出した。しかし、生成部２４４は、第１撮像画像を撮像させた時点のプロジェクター１０と被投写物ＳＣと撮像装置２２０の位置関係と同じ位置関係において、 撮像装置２２０に被投写物ＳＣを撮像させた、第１撮像画像とは異なる第３撮像画像からＮ個の第１特徴点を抽出してもよい。例えば、特定部２４３は、プロジェクター１０に画像ＧＰを投写させている状態の被投写物ＳＣを撮像装置２２０により撮像して得られた第１撮像画像と画像ＧＰとから第１対応関係を特定する。生成部２４４は、第１撮像画像を撮像した時点のプロジェクター１０と被投写物ＳＣと撮像装置２２０の位置関係と同じ位置関係において、プロジェクター１０に黒色画像を投写させている状態の被投写物ＳＣを撮像装置２２０に撮像させることにより得られた第３撮像画像を取得する。そして、生成部２４４は、第３撮像画像を第１対応関係に基づいて変換した第５画像からＮ個の第１特徴点を抽出してもよい。ここで、第１撮像画像を撮像した時点のプロジェクター１０と被投写物ＳＣと撮像装置２２０の位置関係となる撮像装置２２０の位置は、第１の位置に対応する。また、生成部２４４は、第１撮像画像を撮像した時点のプロジェクター１０と被投写物ＳＣと撮像装置２２０の位置関係と同じ位置関係において、プロジェクター１０から画像を投写させていない状態の被投写物ＳＣを撮像装置２２０により撮像して得られた第３撮像画像を取得してもよい。そして、生成部２４４は、当該第３撮像画像を第１対応関係に基づいて変換した第５画像からＮ個の第１特徴点を抽出してもよい。第３撮像画像は、第１撮像画像を撮像した時点のプロジェクター１０と被投写物ＳＣと撮像装置２２０の位置関係と同じ位置関係において撮像されることで、第１対応関係に基づきプロジェクター座標系に変換した第５画像を得ることができる。プロジェクター座標系である第５画像からＮ個の第１特徴点を抽出することができる。

（８）上記実施形態では、生成部２４４は、第２撮像画像データの表す画像を第２対応関係に基づいて変換した第４画像からＮ個の第２特徴点を抽出した。しかし、生成部２４４は、第２撮像画像を撮像させた時点のプロジェクター１０と被投写物ＳＣと撮像装置２２０の位置関係と同じ位置関係において、撮像装置２２０に被投写物ＳＣを撮像させた、第２撮像画像とは異なる第４撮像画像からＮ個の第２特徴点を抽出してもよい。例えば、特定部２４３は、プロジェクター１０に画像ＧＰを投写させている状態の被投写物ＳＣを撮像装置２２０に撮像させることにより得られた第２撮像画像と画像ＧＰとから第２対応関係を特定する。生成部２４４は、第２撮像画像を撮像した時点のプロジェクター１０と被投写物ＳＣと撮像装置２２０の位置関係と同じ位置関係において、プロジェクター１０に黒色画像を投写させている状態の被投写物ＳＣを撮像装置２２０に撮像させることにより得られる第４撮像画像を取得する。そして、生成部２４４は、第４撮像画像を第２対応関係に基づいて変換した第６画像からＮ個の第２特徴点を抽出してもよい。ここで、第２撮像画像を撮像した時点のプロジェクター１０と被投写物ＳＣと撮像装置２２０の位置関係となる撮像装置２２０の位置は、第２の位置に対応する。また、生成部２４４は、第２撮像画像を撮像した時点のプロジェクター１０と被投写物ＳＣと撮像装置２２０の位置関係と同じ位置関係において、プロジェクター１０から画像を投写させていない状態の被投写物ＳＣを撮像装置２２０に撮像させることにより得られた第４撮像画像を取得してもよい。そして、生成部２４４は、当該第４撮像画像を第２対応関係に基づいて変換した第６画像からＮ個の第２特徴点を抽出してもよい。第４撮像画像は、第２撮像画像を撮像した時点のプロジェクター１０と被投写物ＳＣと撮像装置２２０の位置関係と同じ位置関係において撮像されることで、第２対応関係に基づきプロジェクター座標系に変換した第６画像を得ることができ、プロジェクター座標系である第６画像からＮ個の第２特徴点を抽出することができる。

３．実施形態及び各変形例の少なくとも１つから把握される態様
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

上述の課題を解決するために本開示の投写方法は、プロジェクター１０から被投写物ＳＣに投写画像を投写する投写方法であって、以下の第１投写処理ＳＡ１１０、第１撮像処理ＳＡ１２０、第１特定処理ＳＡ１３０、第２投写処理ＳＢ１１０、第２撮像処理ＳＢ１２０、第２特定処理ＳＢ１３０、生成処理ＳＢ１４０、及び補正処理ＳＢ１５０、を含む。

第１投写処理ＳＡ１１０及び第１撮像処理ＳＡ１２０は、投写画像である画像ＧＣ１の被投写物ＳＣに対する投写に先立って実行される。第１投写処理ＳＡ１１０では、処理装置２４０は、画像ＧＰをプロジェクター１０から被投写物ＳＣに投写させる。第１撮像処理ＳＡ１２０では、処理装置２４０は、画像ＧＰを投写されている状態の被投写物ＳＣを撮像装置２２０により撮像して得られた第１撮像画像を表す第１撮像画像データを記憶装置２３０に記憶させる。第１撮像処理ＳＡ１２０における撮像装置２２０の位置は本開示における第１の位置の一例である。第１特定処理ＳＡ１３０では、処理装置２４０は、第１撮像画像データの表す第１撮像画像と画像ＧＰとから、プロジェクター座標系とカメラ座標系との第１対応関係を特定する。

第２投写処理ＳＢ１１０、第２撮像処理ＳＢ１２０は、第２特定処理ＳＢ１３０、生成処理ＳＢ１４０、及び補正処理ＳＢ１５０は、第１撮像画像データを記憶装置２３０に記憶させた後に、プロジェクター１０と被投写物ＳＣとの位置関係に変化が生じたことを示す制御信号を、通信装置２１０を介して処理装置２４０が受信したことを契機として実行される。第２撮像処理ＳＢ１２０では、処理装置２４０は、画像ＧＰをプロジェクター１０から被投写物ＳＣに投写させる。第２撮像処理ＳＢ１２０における撮像装置２２０の位置は本開示における第２の位置の一例である。次いで、第２撮像処理ＳＢ１２０では、処理装置２４０は、画像ＧＰを投写されている状態の被投写物ＳＣを撮像装置２２０により撮像して得られる第２撮像画像を表す第２撮像画像データを記憶装置２３０に記憶させる。そして、第２特定処理ＳＢ１３０では、処理装置２４０は、第２撮像画像データの表す第２撮像画像と画像ＧＰとに基づいて、プロジェクター座標系とカメラ座標系との第２対応関係を特定する。

生成処理ＳＢ１４０では、処理装置２４０は、プロジェクター１０と被投写物ＳＣとの位置関係の変化に応じた画像ＧＣ１の補正量を表す補正情報を生成する。処理装置２４０は、以下の１又は複数の第１特徴点と１又は複数の第２特徴点とに基づいて補正情報を生成する。１又は複数の第１特徴点は、記憶済の第１撮像画像を第１対応関係に基づいてプロジェクター座標系に変換して得られる第３画像における自然特徴点である。１又は複数の第２特徴点は、１又は複数の第１特徴点に対応する。１又は複数の第２特徴点は、記憶済の第２撮像画像を第２対応関係に基づいてプロジェクター座標系に変換して得られる第４画像における自然特徴点である。

補正処理ＳＢ１５０では、処理装置２４０は、補正情報に応じた補正を画像ＧＣ１に施すことにより、補正済み画像である画像ＧＣ２を生成する。そして、処理装置２４０は、画像ＧＣ２をプロジェクター１０に投写させる。

本態様の投写方法によれば、プロジェクター１０とは別体、且つ未固定の撮像装置２２０を用いて被投写物ＳＣを撮像することにより、プロジェクター１０から被投写物ＳＣに投写される投写画像を、プロジェクター１０と被投写物ＳＣの位置関係の変化に対応して生成することが可能になる。

より好ましい態様の投写方法において、補正情報は、第３画像から抽出される第１特徴点の第３画像における位置と、第４画像から抽出され、且つ第１特徴点に対応する第２特徴点の第４画像における位置と、に基づいて生成されてもよい。

更に好ましい態様の投写方法において、第１特徴点は、第３画像を構成する各画素の輝度の値に基づいて抽出されてもよい。同様に第２特徴点は、第４画像を構成する各画素の輝度の値に基づいて抽出されてもよい。

更に好ましい態様の投写方法において、補正情報は、複数の第１特徴点と複数の第２特徴点とに基づいて生成されてもよい。

別の好ましい態様の投写方法は、複数の第１特徴点のうち補正情報の生成に用いる１又は複数の特徴点をユーザーに選択させること、を含んでもよい。補正情報の生成に用いる１又は複数の特徴点をユーザーに選択させる態様では、補正情報は、ユーザーにより選択された１又は複数の第１特徴点と、ユーザーにより選択された１又は複数の第１特徴点に一対一に対応する１又は複数の第２特徴点と、に基づいて生成されればよい。

別の好ましい態様の投写方法では、補正情報は、複数の第１特徴点のうち第３画像において第１領域に位置する１又は複数の前記第１特徴点と、第４画像において第１領域に対応する第２領域に位置する１又は複数の第２特徴点と、に基づいて生成されてもよい。

別の好ましい態様において、第１画像と第２画像との少なくとも一方は、第１、第２、第３及び第４マーカーを含む画像であってもよい。第１画像が第１、第２、第３及び第４マーカーを含む画像である場合、第１対応関係は、第１画像における第１、第２、第３及び第４マーカーを、第１撮像画像に写っている第１、第２、第３及び第４マーカーに一対一に対応付ける第１変換行列により表される。第２画像が第１、第２、第３及び第４マーカーを含む画像である場合、第２対応関係は、第２画像における第１、第２、第３及び第４マーカーを、第２撮像画像に写っている第１、第２、第３及び第４マーカーに一対一に対応付ける第２変換行列により表される。

別の好ましい態様において、第１画像と第２画像との少なくとも一方は、バイナリーコードパターン、グレイコードパターン、及び位相シフトパターンの何れかを表すパターン画像であってもよい。第１画像がパターン画像である場合、第１対応関係は、第１画像の表すパターンを、第１撮像画像に写っているパターンに対応付ける第１変換行列により表される。第２画像がパターン画像である場合、第２対応関係は、第２画像の表すパターンを、第２撮像画像に写っているパターンに対応付ける第２変換行列により表される。

別の好ましい態様の投写方法では、補正情報は、第３画像における第１画素の輝度と第４画像において第１画素に対応する第２画素の輝度との差が閾値以上である場合に生成されてもよい。

別の好ましい態様の投写方法では、プロジェクター１０と被投写物ＳＣの少なくも一方に、振動を検出するセンサーが設けられてもよい。プロジェクター１０と被投写物ＳＣの少なくも一方に当該センサーが設けられる態様では、制御信号は当該センサーの出力信号であってもよい。

また、上記課題を解決するために本開示の投写方法は、プロジェクター１０から被投写物ＳＣに投写画像を投写する投写方法において、以下の第１投写処理、第１撮像処理、第１特定処理、第２投写処理、第２撮像処理、第２特定処理、第３撮像処理、第４撮像処理、生成処理、及び補正処理、を含む。第１投写処理では、投写画像の投写に先立って、被投写物ＳＣに対して第１画像がプロジェクター１０から投写される。第１撮像処理では、第１画像を投写されている状態の被投写物ＳＣを第１の位置から撮像装置２２０により撮像して得られた第１撮像画像が記憶される。第１特定処理では、第１撮像画像と第１画像とから、プロジェクター１０から投写される画像上の位置を示すプロジェクター座標系と撮像装置２２０により撮像される画像上の位置を示すカメラ座標系との第１対応関係が特定される。第２投写っ処理は、第１撮像画像を記憶した後に、プロジェクター１０と被投写物ＳＣとの位置関係に変化が生じたことを示す制御信号を受信したことを契機として実行される。第２投写処理では、第２画像が被投写物ＳＣに対してプロジェクター１０から投写される。第２撮像処理では、第２画像を投写されている状態の被投写物ＳＣを第２の位置から撮像装置２２０により撮像して得られる第２撮像画像が記憶される。第２特定処理では、第２撮像画像と第２画像とに基づいて、プロジェクター座標系とカメラ座標系との第２対応関係が特定される。第３撮像処理は、前記制御信号を受信したことを契機として、第２画像を被投写物ＳＣに対してプロジェクター１０に投写させる前に実行される。第３撮像処理では、被投写物ＳＣを第１の位置から撮像装置２２０により撮像して得られた第３撮像画像が記憶される。第４撮像処理は、前記制御信号を受信したことを契機として、第２画像を被投写物ＳＣに対してプロジェクター１０に投写させた後に実行される。第４撮像処理では、被投写物ＳＣを第２の位置から撮像装置２２０により撮像して得られた第４撮像画像が記憶される。生成処理では、記憶済の第３撮像画像を第１対応関係に基づいてプロジェクター座標系に変換して得られる第５画像における１又は複数の第１特徴点と、記憶済の第２撮像画像を第２対応関係に基づいてプロジェクター座標系に変換して得られる第６画像において１又は複数の第１特徴点に対応する１又は複数の第２特徴点とに基づいて、位置関係の変化に応じた補正量を表す補正情報が生成される。補正処理は、補正情報に従って補正済の投写画像をプロジェクター１０に投写させる処理である。

また、上述の課題を解決するために本開示の投写システム１は、被投写物ＳＣに投写画像を投写するプロジェクター１０と、プロジェクター１０を制御するための情報処理装置２０と、を含む。情報処理装置２０は、撮像装置２２０と、記憶装置２３０と、処理装置２４０とを含む。処理装置２４０は、前述の第１投写処理ＳＡ１１０、第１撮像処理ＳＡ１２０、第１特定処理ＳＡ１３０、第２投写処理ＳＢ１１０、第２撮像処理ＳＢ１２０、第２特定処理ＳＢ１３０、生成処理ＳＢ１４０、及び補正処理ＳＢ１５０、を実行する。本態様の投写システム１によれば、プロジェクター１０とは別体、且つ未固定の撮像装置２２０を用いて被投写物ＳＣを撮像することにより、プロジェクター１０から被投写物ＳＣに投写される投写画像を、プロジェクター１０と被投写物ＳＣの位置関係の変化に対応して生成することが可能になる。

また、上述の課題を解決するために本開示のプログラム２３１は、被投写物ＳＣに対して投写画像を投写するプロジェクター１０を制御するコンピューターである処理装置２４０に、前述の第１投写処理ＳＡ１１０、第１撮像処理ＳＡ１２０、第１特定処理ＳＡ１３０、第２投写処理ＳＢ１１０、第２撮像処理ＳＢ１２０、第２特定処理ＳＢ１３０、生成処理ＳＢ１４０、及び補正処理ＳＢ１５０、を実行させる。本態様のプログラム２３１によれば、プロジェクター１０とは別体、且つ未固定の撮像装置２２０を用いて被投写物ＳＣを撮像することにより、プロジェクター１０から被投写物ＳＣに投写される投写画像を、プロジェクター１０と被投写物ＳＣの位置関係の変化に対応して生成することが可能になる。

１…投写システム、１０…プロジェクター、２０…情報処理装置、２１０…通信装置、２２０…撮像装置、２３０…記憶装置、２３１…プログラム、２４０…処理装置、２４１…投写制御部、２４２…撮像制御部、２４３…特定部、２４４…生成部、２４５…補正部、ＳＣ…被投写物。

また、上記課題を解決するために、本開示の投写方法は、プロジェクターから被投写物に投写画像を投写する投写方法において、前記投写画像の投写に先立って、前記被投写物に対して第１画像を前記プロジェクターに投写させること、前記第１画像を投写されている状態の前記被投写物を、第１の位置から 撮像装置により撮像して得られた第１撮像画像を記憶すること、前記第１撮像画像と前記第１画像とから、前記プロジェクターから投写される画像上の位置を示すプロジェクター座標系と前記撮像装置により撮像される画像上の位置を示すカメラ座標系との第１対応関係を特定すること、前記第１撮像画像を記憶した後に、前記プロジェクターと前記被投写物との位置関係に変化が生じたことを示す制御信号を受信したことを契機として、第２画像を前記被投写物に対して前記プロジェクターに投写させること、 前記第２画像を投写されている状態の前記被投写物を、第２の位置から 前記撮像装置により撮像して得られる第２撮像画像を記憶すること、前記第２撮像画像と前記第２画像とに基づいて、前記プロジェクター座標系と前記カメラ座標系との第２対応関係を特定すること、前記制御信号を受信したことを契機として、前記第２画像を前記被投写物に対して前記プロジェクターに投写させる前に、前記被投写物を前記第１の位置から撮像装置により撮像して得られた第３撮像画像を記憶すること、前記制御信号を受信したことを契機として、前記第２画像を前記被投写物に対して前記プロジェクターに投写させた後に、前記被投写物を前記第２の位置から撮像装置により撮像して得られた第４撮像画像を記憶すること、 記憶済の前記第３撮像画像を前記第１対応関係に基づいて前記プロジェクター座標系に変換して得られる第５画像における1又は複数の第１特徴点と、記憶済の前記第４撮像画像を前記第２対応関係に基づいて前記プロジェクター座標系に変換して得られる第６画像において1又は複数の前記第１特徴点に対応する1又は複数の第２特徴点とに基づいて、前記位置関係の変化に応じた補正量を表す補正情報を生成すること、及び、前記補正情報に従って補正済の前記投写画像を前記プロジェクターに投写させること、を含む。

記憶装置２３０は、処理装置２４０が読み取り可能な記録媒体である。記憶装置２３０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。

より詳細に説明すると、生成部２４４は、第３画像から抽出されるＮ個の第１特徴点の当該画像における位置と、第４画像から抽出され、且つＮ個の第１特徴点に一対一に対応するＮ個の第２特徴点の当該画像における位置と、に基づいて補正情報を生成する。なお、Ｎは１以上の整数である。本実施形態における第１特徴点及び第２特徴点は、色彩に基づいて抽出される自然特徴点である。生成部２４４は、第３画像を構成する各画素の輝度値に基づいてＮ個の第１特徴点を当該第３画像から抽出する。同様に、生成部２４４は、第４画像を構成する各画素の輝度値に基づいてＮ個の第２特徴点を当該第４画像から抽出する。そして、生成部２４４は、Ｎ個の第２特徴点の各々について、特徴点の分布における位置関係等が類似する第１特徴点を対応付けることにより、Ｎ個の第１特徴点とＮ個の第２特徴点とを一対一に対応付ける。なお、第１特徴点及び第２特徴点の抽出、及び第１特徴点と第２特徴点との対応付けを実現するアルゴリズムとしては、ＡＫＡＺＥ又はＳＵＲＦ等の既存のアルゴリズムが用いられる。例えば、図６に示すように、第３画像である画像ＧＡから領域ＳＣ１の右上隅に対応する特徴点ＰＡ１と領域ＳＣ２の頂点の一つに対応する特徴点ＰＡ２とからなる２個の第１特徴点が抽出され、同様に第４画像である画像ＧＢから特徴点ＰＢ１と特徴点ＰＢ２とからなる２個の第２特徴点が上記アルゴリズムに従って抽出されたとする。この場合、生成部２４４は、特徴点ＰＡ１と特徴点ＰＡ２との位置関係、及び特徴点ＰＢ１と特徴点ＰＢ２との位置関係に基づいて、特徴点ＰＡ１と特徴点ＰＢ１とを対応付け、特徴点ＰＡ２と特徴点ＰＢ２とを対応付ける。

プロジェクター１０から被投写物ＳＣに画像ＧＣ１を投写している状態において、被投写物ＳＣに何らかの外力が加わる等して両者の位置関係に変化が生じ、図４に示すように、画像Ｇ１が領域ＳＣ１からずれて投写されたとする。画像Ｇ１と領域ＳＣ１とのずれを視認したユーザーは、不図示の入力装置に対する操作により、プロジェクター１０と被投写物ＳＣとの位置関係に変化が生じたことを入力する。例えば、情報処理装置２０に備わる入力装置としてのタッチパネル上に表示される再調整開始と記載された項目を選択する操作が、プロジェクター１０と被投写物ＳＣとの位置関係に変化が生じたことを入力する入力装置に対する操作として採用され得る。入力装置は、この入力に応じて制御信号を処理装置２４０へ出力する。この制御信号の受信を契機として、処理装置２４０は、図１０のフローチャートに示す調整処理を実行する。図１０に示すように、調整処理は、第２投写処理ＳＢ１１０、第２撮像処理ＳＢ１２０、第２特定処理ＳＢ１３０、生成処理ＳＢ１４０、及び補正処理ＳＢ１５０を含む。

第２投写処理ＳＢ１１０、第２撮像処理ＳＢ１２０、第２特定処理ＳＢ１３０、生成処理ＳＢ１４０、及び補正処理ＳＢ１５０は、第１撮像画像データを記憶装置２３０に記憶させた後に、プロジェクター１０と被投写物ＳＣとの位置関係に変化が生じたことを示す制御信号を、通信装置２１０を介して処理装置２４０が受信したことを契機として実行される。第２投写処理ＳＢ１１０では、処理装置２４０は、画像ＧＰをプロジェクター１０から被投写物ＳＣに投写させる。次いで、第２撮像処理ＳＢ１２０では、処理装置２４０は、画像ＧＰを投写されている状態の被投写物ＳＣを撮像装置２２０により撮像して得られる第２撮像画像を表す第２撮像画像データを記憶装置２３０に記憶させる。第２撮像処理ＳＢ１２０における撮像装置２２０の位置は本開示における第２の位置の一例である。そして、第２特定処理ＳＢ１３０では、処理装置２４０は、第２撮像画像データの表す第２撮像画像と画像ＧＰとに基づいて、プロジェクター座標系とカメラ座標系との第２対応関係を特定する。

また、上記課題を解決するために本開示の投写方法は、プロジェクター１０から被投写物ＳＣに投写画像を投写する投写方法において、以下の第１投写処理、第１撮像処理、第１特定処理、第２投写処理、第２撮像処理、第２特定処理、第３撮像処理、第４撮像処理、生成処理、及び補正処理、を含む。第１投写処理では、投写画像の投写に先立って、被投写物ＳＣに対して第１画像がプロジェクター１０から投写される。第１撮像処理では、第１画像を投写されている状態の被投写物ＳＣを第１の位置から撮像装置２２０により撮像して得られた第１撮像画像が記憶される。第１特定処理では、第１撮像画像と第１画像とから、プロジェクター１０から投写される画像上の位置を示すプロジェクター座標系と撮像装置２２０により撮像される画像上の位置を示すカメラ座標系との第１対応関係が特定される。第２投写っ処理は、第１撮像画像を記憶した後に、プロジェクター１０と被投写物ＳＣとの位置関係に変化が生じたことを示す制御信号を受信したことを契機として実行される。第２投写処理では、第２画像が被投写物ＳＣに対してプロジェクター１０から投写される。第２撮像処理では、第２画像を投写されている状態の被投写物ＳＣを第２の位置から撮像装置２２０により撮像して得られる第２撮像画像が記憶される。第２特定処理では、第２撮像画像と第２画像とに基づいて、プロジェクター座標系とカメラ座標系との第２対応関係が特定される。第３撮像処理は、前記制御信号を受信したことを契機として、第２画像を被投写物ＳＣに対してプロジェクター１０に投写させる前に実行される。第３撮像処理では、被投写物ＳＣを第１の位置から撮像装置２２０により撮像して得られた第３撮像画像が記憶される。第４撮像処理は、前記制御信号を受信したことを契機として、第２画像を被投写物ＳＣに対してプロジェクター１０に投写させた後に実行される。第４撮像処理では、被投写物ＳＣを第２の位置から撮像装置２２０により撮像して得られた第４撮像画像が記憶される。生成処理では、記憶済の第３撮像画像を第１対応関係に基づいてプロジェクター座標系に変換して得られる第５画像における１又は複数の第１特徴点と、記憶済の第４撮像画像を第２対応関係に基づいてプロジェクター座標系に変換して得られる第６画像において１又は複数の第１特徴点に対応する１又は複数の第２特徴点とに基づいて、位置関係の変化に応じた補正量を表す補正情報が生成される。補正処理は、補正情報に従って補正済の投写画像をプロジェクター１０に投写させる処理である。

Claims (12)

1. プロジェクターから被投写物に投写画像を投写する投写方法において、
   前記投写画像の投写に先立って、前記被投写物に対して第１画像を前記プロジェクターに投写させること、
   前記第１画像を投写されている状態の前記被投写物を撮像装置により撮像して得られた第１撮像画像を記憶すること、
   前記第１撮像画像と前記第１画像とから、前記プロジェクターから投写される画像上の位置を示すプロジェクター座標系と前記撮像装置により撮像される画像上の位置を示すカメラ座標系との第１対応関係を特定すること、
   前記第１撮像画像を記憶した後に、前記プロジェクターと前記被投写物との位置関係に変化が生じたことを示す制御信号を受信したことを契機として、第２画像を前記被投写物に対して前記プロジェクターに投写させること、
   前記第２画像を投写されている状態の前記被投写物を前記撮像装置により撮像して得られる第２撮像画像を記憶すること、
   前記第２撮像画像と前記第２画像とに基づいて、前記プロジェクター座標系と前記カメラ座標系との第２対応関係を特定すること、
   記憶済の前記第１撮像画像を前記第１対応関係に基づいて前記プロジェクター座標系に変換して得られる第３画像における１又は複数の第１特徴点と、記憶済の前記第２撮像画像を前記第２対応関係に基づいて前記プロジェクター座標系に変換して得られる第４画像において１又は複数の前記第１特徴点に対応する１又は複数の第２特徴点とに基づいて、前記位置関係の変化に応じた補正量を表す補正情報を生成すること、及び、
   前記補正情報に従って補正済の前記投写画像を前記プロジェクターに投写させること、
   を含む投写方法。
2. 前記第１特徴点は、前記第３画像を構成する各画素の輝度の値に基づいて抽出され、前記第２特徴点は、前記第４画像を構成する各画素の輝度の値に基づいて抽出される、請求項１に記載の投写方法。
3. 前記補正情報は、複数の前記第１特徴点と複数の前記第２特徴点とに基づいて生成される、請求項１又は請求項２に記載の投写方法。
4. 複数の前記第１特徴点のうち前記補正情報の生成に用いる１又は複数の前記第１特徴点をユーザーに選択させること、を含み、
   前記補正情報は、前記ユーザーにより選択された１又は複数の前記第１特徴点と、前記ユーザーにより選択された１又は複数の前記第１特徴点に一対一に対応する１又は複数の前記第２特徴点と、に基づいて生成される、請求項３に記載の投写方法。
5. 前記補正情報は、複数の前記第１特徴点のうち前記第３画像における第１領域に位置する１又は複数の前記第１特徴点と、第４画像において第１領域に対応する第２領域に位置する１又は複数の第２特徴点と、に基づいて生成される、請求項３に記載の投写方法。
6. 前記第１画像と前記第２画像との少なくとも一方は、第１、第２、第３及び第４マーカーを含む画像であり、
   前記第１画像が前記第１、前記第２、前記第３及び前記第４マーカーを含む画像である場合、前記第１対応関係は、前記第１画像における前記第１、前記第２、前記第３及び前記第４マーカーを、前記第１撮像画像に写っている前記第１、前記第２、前記第３及び前記第４マーカーに一対一に対応付ける第１変換行列により表され、
   前記第２画像が前記第１、前記第２、前記第３及び前記第４マーカーを含む画像である場合、前記第２対応関係は、前記第２画像における前記第１、前記第２、前記第３及び前記第４マーカーを、前記第２撮像画像に写っている前記第１、前記第２、前記第３及び前記第４マーカーに一対一に対応付ける第２変換行列により表される、請求項１乃至５のうちの何れか１項に記載の投写方法。
7. 前記第１画像と前記第２画像との少なくとも一方は、バイナリーコードパターン、グレイコードパターン、及び位相シフトパターンの何れかを表すパターン画像であり、
   前記第１画像が前記パターン画像である場合、前記第１対応関係は、前記第１画像の表すパターンを、前記第１撮像画像に写っているパターンに対応付ける第１変換行列により表され、
   前記第２画像が前記パターン画像である場合、前記第２対応関係は、前記第２画像の表すパターンを、前記第２撮像画像に写っているパターンに対応付ける第２変換行列により表される、請求項１乃至６のうちの何れか１項に記載の投写方法。
8. 前記補正情報は、前記第３画像における第１画素の輝度と前記第４画像において前記第１画素に対応する第２画素の輝度との差が閾値以上である場合に生成される、請求項１乃至７のうちの何れか１項に記載の投写方法。
9. 前記プロジェクターと前記被投写物の少なくも一方に、振動を検出するセンサーが設けられ、前記制御信号は前記センサーから出力される、請求項１乃至８のうちの何れか１項に記載の投写方法。
10. プロジェクターから被投写物に投写画像を投写する投写方法において、
    前記投写画像の投写に先立って、前記被投写物に対して第１画像を前記プロジェクターに投写させること、
    前記第１画像を投写されている状態の前記被投写物を、第１の位置から撮像装置により撮像して得られた第１撮像画像を記憶すること、
    前記第１撮像画像と前記第１画像とから、前記プロジェクターから投写される画像上の位置を示すプロジェクター座標系と前記撮像装置により撮像される画像上の位置を示すカメラ座標系との第１対応関係を特定すること、
    前記第１撮像画像を記憶した後に、前記プロジェクターと前記被投写物との位置関係に変化が生じたことを示す制御信号を受信したことを契機として、第２画像を前記被投写物に対して前記プロジェクターに投写させること、
    前記第２画像を投写されている状態の前記被投写物を、第２の位置から前記撮像装置により撮像して得られる第２撮像画像を記憶すること、
    前記第２撮像画像と前記第２画像とに基づいて、前記プロジェクター座標系と前記カメラ座標系との第２対応関係を特定すること、
    前記制御信号を受信したことを契機として、前記第２画像を前記被投写物に対して前記プロジェクターに投写させる前に、前記被投写物を前記第１の位置から撮像装置により撮像して得られた第３撮像画像を記憶すること、
    前記制御信号を受信したことを契機として、前記第２画像を前記被投写物に対して前記プロジェクターに投写させた後に、前記被投写物を前記第２の位置から撮像装置により撮像して得られた第４撮像画像を記憶すること、
    記憶済の前記第３撮像画像を前記第１対応関係に基づいて前記プロジェクター座標系に変換して得られる第５画像における１又は複数の第１特徴点と、記憶済の前記第２撮像画像を前記第２対応関係に基づいて前記プロジェクター座標系に変換して得られる第６画像において１又は複数の前記第１特徴点に対応する１又は複数の第２特徴点とに基づいて、前記位置関係の変化に応じた補正量を表す補正情報を生成すること、及び、
    前記補正情報に従って補正済の前記投写画像を前記プロジェクターに投写させること、
    を含む投写方法。
11. 被投写物に投写画像を投写するプロジェクターと、
    前記プロジェクターを制御する情報処理装置と、を含み、
    前記情報処理装置は、
    撮像装置と、
    記憶装置と、
    処理装置と、を含み、
    前記処理装置は、
    前記投写画像の投写に先立って、前記被投写物に対して第１画像を前記プロジェクターに投写させること、
    前記第１画像を投写されている状態の前記被投写物を前記撮像装置により撮像して得られた第１撮像画像を前記記憶装置に記憶させること、
    前記第１撮像画像と前記第１画像とから、前記プロジェクターから投写される画像上の位置を示すプロジェクター座標系と前記撮像装置により撮像される画像上の位置を示すカメラ座標系との第１対応関係を特定すること、
    前記第１撮像画像を前記記憶装置に記憶させた後に、前記プロジェクターと前記被投写物との位置関係に変化が生じたことを示す制御信号を受信したことを契機として、第２画像を前記被投写物に対して前記プロジェクターに投写させること、
    前記第２画像を投写されている状態の前記被投写物を前記撮像装置により撮像して得られる第２撮像画像を前記記憶装置に記憶させること、
    前記第２撮像画像と前記第２画像とに基づいて、前記プロジェクター座標系と前記カメラ座標系との第２対応関係を特定すること、
    記憶済の前記第１撮像画像を前記第１対応関係に基づいて前記プロジェクター座標系に変換して得られる第３画像における１又は複数の第１特徴点と、記憶済の前記第２撮像画像を前記第２対応関係に基づいて前記プロジェクター座標系に変換して得られる第４画像において１又は複数の前記第１特徴点に対応する１又は複数の第２特徴点とに基づいて、前記位置関係の変化に応じた補正量を表す補正情報を生成すること、及び、
    前記補正情報に従って補正済の前記投写画像を前記プロジェクターに投写させること、を実行する、
    投写システム。
12. 被投写物に対して投写画像を投写するプロジェクターを制御するコンピューターに、
    前記投写画像の投写に先立って、前記被投写物に対して第１画像を前記プロジェクターに投写させること、
    前記第１画像を投写されている状態の前記被投写物を撮像装置により撮像して得られた第１撮像画像を記憶装置に記憶させること、
    前記第１撮像画像と前記第１画像とから、前記プロジェクターから投写される画像上の位置を示すプロジェクター座標系と前記撮像装置により撮像される画像上の位置を示すカメラ座標系との第１対応関係を特定すること、
    前記第１撮像画像を前記記憶装置に記憶させた後に、前記プロジェクターと前記被投写物との位置関係に変化が生じたことを示す制御信号を受信したことを契機として、第２画像を前記被投写物に対して前記プロジェクターに投写させること、
    前記第２画像を投写されている状態の前記被投写物を前記撮像装置により撮像して得られる第２撮像画像を前記記憶装置に記憶させること、
    前記第２撮像画像と前記第２画像とに基づいて、前記プロジェクター座標系と前記カメラ座標系との第２対応関係を特定すること、
    前記記憶装置に記憶済の前記第１撮像画像を前記第１対応関係に基づいて前記プロジェクター座標系に変換して得られる第３画像における１又は複数の第１特徴点と、前記記憶装置に記憶済の前記第２撮像画像を前記第２対応関係に基づいて前記プロジェクター座標系に変換して得られる第４画像において１又は複数の前記第１特徴点に対応する１又は複数の第２特徴点とに基づいて、前記位置関係の変化に応じた補正量を表す補正情報を生成すること、及び、
    前記補正情報に従って補正済の前記投写画像を前記プロジェクターに投写させること、
    を実行させるプログラム。

Images