JP2020042099A - 投影制御装置、投影制御方法、及び、プログラム - Google Patents

Abstract

【課題】画像を所望の形状で容易に投影できる技術を提供する。【解決手段】本発明の投影制御装置は、投影面を撮像した撮像画像から、前記投影面に配置された複数のマーカーを検出する検出手段と、前記複数のマーカーの種類と数と位置に基づいて第１画像を変形する処理を少なくとも行うことにより、前記第１画像から第２画像を生成する変形手段と、前記第２画像を前記投影面に投影するように制御する制御手段と、を有することを特徴とする。【選択図】図６

Description

本発明は、投影制御装置、投影制御方法、及び、プログラムに関する。

画像を投影面（スクリーンなど）に投影する投影装置（プロジェクタ）は広く知られている。ユーザ操作（ユーザによるボタン操作など）により、投影面の形状に合わせて画像を変形して投影する投影装置も広く知られている。また、投影面に照射されたマーカーを検出して、そのマーカーに合わせて画像をスケーリングして投影する投影装置が提案されている（特許文献１）。

特開２００５−３９５１８号公報

しかしながら、従来技術では、投影面の形状に合わせて画像を変形して投影するために、ユーザは操作を繰り返さなければならないことがある。例えば、ユーザは、画像の頂点を選択して移動するという操作を、各頂点に対して個別に行わなければならないことがある。また、外的要因（温度の変化、投影装置のずれ、投影面の変形など）により画像が変形する度に、ユーザは画像の形状を再調整しなければならない。また、特許文献１に開示の投影装置でも、画像のスケーリングが行われるに過ぎず、上述した課題は発生する。

本発明は、画像を所望の形状で容易に投影できる技術を提供することを目的とする。

本発明の第１の態様は、
投影面を撮像した撮像画像から、前記投影面に配置された複数のマーカーを検出する検出手段と、
前記複数のマーカーの種類と数と位置に基づいて第１画像を変形する処理を少なくとも行うことにより、前記第１画像から第２画像を生成する変形手段と、
前記第２画像を前記投影面に投影するように制御する制御手段と、
を有することを特徴とする投影制御装置である。

本発明の第２の態様は、
投影面を撮像した撮像画像から、前記投影面に配置された複数のマーカーを検出する検出ステップと、
前記複数のマーカーの種類と数と位置に基づいて第１画像を変形する処理を少なくとも行うことにより、前記第１画像から第２画像を生成する変形ステップと、
前記第２画像を前記投影面に投影するように制御する制御ステップと、
を有することを特徴とする投影制御方法である。

本発明の第３の態様は、コンピュータを上述した投影制御装置の各手段として機能させるためのプログラムである。

本発明によれば、画像を所望の形状で容易に投影できる。

本実施形態に係るプロジェクタの構成例を示すブロック図である。 本実施形態に係る投影の様子の一例を示す模式図である。 本実施形態に係るマーカー検出処理に関するフロー図および模式図である。 本実施形態に係るマーカー補完処理に関するフロー図および模式図である。 本実施形態に係るマーカーエリアの一例を示す模式図である。 本実施形態に係る変形決定処理の一例を示すフロー図である。 本実施形態に係る変形処理とタイルの一例を示す模式図である。 本実施形態の効果の一例を示す模式図である。 本実施形態の効果の一例を示す模式図である。 本実施形態の効果の一例を示す模式図である。

以下、本発明の実施形態について説明する。以下では、本実施形態に係る投影制御装置が、投影面に画像を投影可能な投影装置（プロジェクタ）である例について説明するが、投影制御装置は、プロジェクタとは別体の装置であってもよい。例えば、投影制御装置は、プロジェクタを制御可能なパーソナルコンピュータ（ＰＣ）であってもよい。

図１は、本実施形態に係るプロジェクタ１００の構成例を示すブロック図である。制御部１５０は、プロジェクタ１００の各部を制御する。

画像入力端子１１１は、プロジェクタ１００の外部から画像データ（画像信号）を取得し、当該画像データを入力処理部１１２へ出力する。入力処理部１１２は、画像入力端子１１１から出力された画像データを、所定の画像処理を施して、画像処理部１１３へ出力する。入力処理部１１２で行われる画像処理は、例えば、画像処理部１１３で処理可能な画素数（解像度）やフレームレートを有する画像データへの変換処理などである。画像処理部１１３は、入力処理部１１２から出力された画像データを、所定の画像処理を施して、画像変形部１１４へ出力する。画像処理部１１３で行われる画像処理は、例えば、投影に適した階調や色を有する画像データへの変換処理などである。

画像変形部１１４は、画像処理部１１３から出力された画像データを、後述の変形情報に基づいて画像を変形する画像処理（変形処理）を施して、光変調器駆動部１１５へ出力する。なお、画像変形部１１４は、変形処理の前や後に他の画像処理（階調変換、輝度変換、色変換など）をさらに行って、光変調器駆動部１１５へ出力する画像データを生成してもよい。他の画像処理は、画像変形部１１４とは異なる処理部によって行われてもよい。光変調器駆動部１１５は、画像変形部１１４から出力された画像データに基づいて、光変調器１２２を駆動する。

光源１２１は、光変調器１２２に光を照射する。光変調器１２２は、光変調器駆動部１１５によって駆動され、光源１２１から発せられた光を変調する。光変調器１２２において光源１２１からの光が画像変形部１１４からの画像データに応じた光（画像を表す光）に変調されるように、光変調器駆動部１１５は光変調器１２２を駆動する。光変調器１２２は、例えば、１つ以上の液晶パネルを有し、光源１２１からの光を画像変形部１１４からの画像データに応じた透過率で透過する。投影光学系１２３は、１つ以上の投影レンズを有し、光変調器１２２による変調後の光を、投影レンズで光学的な変化を与えて、不図示の投影面（スクリーンなど）に投影する。これにより、画像変形部１１４からの画像データによって表された画像が投影面に投影される。投影レンズは、例えば、投影画像（投影面に投影（表示）された画像）を拡大するためのズームレンズや、投影画像の焦点を調整するためのフォーカスレンズなどである。

撮像部１３１は、撮像素子（撮像センサ；ＣＣＤやＣＭＯＳ素子など）や撮像レンズなどを有し、投影面を撮像することにより撮像画像データを生成し、撮像画像データをマーカー検出部１３２へ出力する。なお、撮像部１３１は、プロジェクタ１００や投影制御装置とは別体の撮像装置であってもよい。マーカー検出部１３２は、撮像部１３１から出力された撮像画像（撮像画像データによって表された画像）から、投影面に配置された複数のマーカーを検出する。そして、マーカー検出部１３２は、複数のマーカーの検出結果（検出された複数のマーカーの種類、数、位置など）を示すマーカー情報を、マーカー補完部１３３へ出力する。なお、マーカーの検出方法は特に限定されない。例えば、マーカー検出部１３２は、パターンマッチングなどによって撮像画像からマーカーを検出する。

マーカー補完部１３３は、マーカー検出部１３２から出力されたマーカー情報に情報の一時的な欠落などがある場合に、マーカー情報を補完し、補完後のマーカー情報を変形決定部１３５へ出力する。また、マーカー補完部１３３は、マーカー情報の補完を行わない場合には、マーカー検出部１３２から出力されたマーカー情報をそのまま変形決定部１３５へ出力する。マーカー記憶部１３４は、マーカー情報の補完のためにマーカー補完部１３３によって使用される補完用情報を記憶する。変形決定部１３５は、マーカー補完部１３３から出力されたマーカー情報に基づいて、投影画像の目標エリア（形状を含む）に関する変形情報を生成する。そして、変形決定部１３５は、変形情報を画像変形部１１４へ出力する。このように、変形情報は、検出された複数のマーカーの種類、数、位置などを示すマーカー情報に基づいて生成される。そのため、変形情報に基づいて画像を変形する処理（画像変形部１１４によって行われる変形処理）は、「検出された複数のマーカーの種類、数、位置などに基づいて画像を変形する処理」と言える。

なお、マーカーは、所定の形状、所定のサイズ、所定の色（波長）、所定の模様などによって、投影面に描かれた画像（投影画像や他の画像など）と区別されることが好ましい。これにより、マーカーが高精度に検出できるようになる。また、マーカーは、磁石、粘着テープ、シールなどであってもよいが、コーナーキューブや不可視画像（赤外線などの不可視光で投影された画像）などであることが好ましい。例えば、マーカーとして不可視画像を用いることにより、マーカーによる投影画像の視認性の低下を抑制できる。また、複数のマーカーにおいて、種類の異なる２つ以上のマーカーが混在していてもよい。また、撮像部１３１が撮像を行うタイミングは特に限定されないが、撮像部１３１が投影画像のブランキング期間に撮像を行うようにしてもよい。

図２は、プロジェクタ１００がホワイトボード２１１に画像を投影している様子の一例を示す。範囲２５１は、撮像部１３１によって撮像される撮像範囲であり、範囲２５２は、プロジェクタ１００が投影可能な投影可能範囲（プロジェクタ１００が投影する上限範囲）であり、範囲２５３は、プロジェクタ１００が投影する投影範囲である。図２の例では、ホワイトボード２１１（投影可能範囲２５２）に、４つのマーカー２２１〜２２４が配置されている。撮像範囲２５１は投影可能範囲２５２を含むため、撮像部１３１は４つのマーカー２２１〜２２４を撮像する。そして、プロジェクタ１００は、４つのマーカー２２１〜２２４（マーカーの種類と数と位置）に基づいて、投影範囲２５３を決定する。なお、撮像範囲２５１は投影可能範囲２５２と一致してもよい。

図３（Ａ）は、マーカー検出部１３２のマーカー検出処理の一例を示すフローチャートであり、図３（Ｂ）は、撮像部１３１によって生成された撮像画像３５０の一例を示す模式図である。撮像画像３５０には、６つのマーカー３５１〜３５６が写っている。図３（Ａ），３（Ｂ）を用いて、マーカー検出処理の一例について説明する。

ステップＳ３０１にて、マーカー検出部１３２は、撮像画像３５０から６つのマーカー
３５１〜３５６を検出する。

ステップＳ３０２にて、マーカー検出部１３２は、ステップＳ３０１で検出した６つのマーカー３５１〜３５６のそれぞれを、採用マーカーまたは不採用マーカーに選別する。採用マーカーは、画像変形部１１４の変形処理で考慮されるマーカーであり、不採用マーカーは、変形処理で考慮されないマーカーである。なお、ステップＳ３０２の処理は省略されてもよいが、ステップＳ３０２の処理により変形処理の精度を向上できる。具体的には、意図せぬマーカーによる画像の変形を抑制できる。

本実施形態では、マーカー検出部１３２は、マーカーの間隔に基づいて、採用マーカーや不採用マーカーを決定する。具体的には、変形処理で考慮すべきでない予備のマーカーなどは、短い間隔で配置されている可能性が高いため、マーカー検出部１３２は、所定の閾値以下の間隔で配置されたマーカーを不採用マーカーとして選択する。図３（Ｂ）において、マーカー３５１〜３５４の間隔は比較的長く、マーカー３５５，３５６の間隔は比較的短い（マーカー３５５とマーカー３５６は互いに隣接する）。そのため、マーカー３５１〜３５４のそれぞれが採用マーカーとして選択され、マーカー３５５，３５６のそれぞれが不採用マーカーとして選択される。

なお、マーカー検出部１３２は、投影面における所定のエリアや、現在の投影範囲などに基づいて、採用マーカーや不採用マーカーを決定してもよい。例えば、マーカー検出部１３２は、所定のエリアの外側に配置されたマーカーを不採用マーカーとして選択してもよい。所定のエリアは、予備のマーカーなどが配置される可能性の高いエリアであり、例えば、撮像画像（撮像範囲）の縁部、投影可能範囲の縁部、現在の投影範囲の縁部などである。また、ステップＳ３０１で多数のマーカーが検出された場合などにおいて、マーカー検出部１３２は、現在の投影範囲の縁に近いマーカーを、当該縁から遠いマーカーよりも優先して採用マーカーとして選択してもよい。そして、マーカー検出部１３２は、所定の条件を満たす複数の採用マーカーが決定された場合に、残りのマーカーを不採用マーカーとして選択してもよい。

ステップＳ３０３にて、マーカー検出部１３２は、ステップＳ３０２で決定された採用マーカー３５１〜３５４の数と位置（座標）と種類を示すマーカー情報を生成して出力する。

マーカー検出部１３２は、上述したマーカー検出処理（ステップＳ３０１〜Ｓ３０３の処理）を繰り返し実行する。

図４（Ａ）は、マーカー補完部１３３のマーカー補完処理の一例を示すフローチャートである。図４（Ｂ）は、前回のマーカー検出処理で使用された撮像画像４５０の一例を示す模式図であり、図４（Ｃ）は、今回のマーカー検出処理で使用された撮像画像４６０の一例を示す模式図である。前回のマーカー検出処理では４つのマーカー４５１〜４５４が検出されるが、今回のマーカー検出処理では、マーカー４５４が撮像画像４６０に写っていないため、マーカー４５４は検出されず、３つのマーカー４５１〜４５３のみが検出される。例えば、撮像部１３１と投影面の間の障害物の発生などによって、マーカー４５４が撮像画像４６０に写らなくなる。なお、撮像画像４５０，４６０から検出されたマーカーは全て採用マーカーであり、後述するマーカーは全て採用マーカーである。

図４（Ａ）〜４（Ｃ）を用いて、マーカー補完処理の一例について説明する。ここでは、マーカー記憶部１３４が、前回のマーカー検出処理で生成されたマーカー情報を補完用情報として記憶しているとする。

ステップＳ４０１にて、マーカー補完部１３３は、マーカー検出部１３２からのマーカー情報（今回のマーカー情報）と、マーカー記憶部１３４が記憶している補完用情報（前回のマーカー情報）とを比較し、マーカー数が減少したか否かを判定する。マーカー数（検出されたマーカーの数）が減少したと判定された場合はステップＳ４０２へ進み、そうでない場合はステップＳ４０３へ進む。

ステップＳ４０２にて、マーカー補完部１３３は、今回のマーカー情報と前回のマーカー情報とを比較し、前回は検出されたが今回は検出されていないマーカーを特定する。そして、マーカー補完部１３３は、特定したマーカーの座標と種類を示す情報を、前回のマーカー情報から今回のマーカー情報に転記することにより、今回のマーカー情報を補完する。このように、本実施形態では、検出された複数のマーカーの少なくともいずれかが検出されなくなった場合に、そのマーカーが前回検出された位置に存在するとみなされる。具体的には、撮像画像４６０において、マーカー４５４が、撮像画像４５０におけるマーカー４５４の位置と同じ位置に存在するとみなされる。

ステップＳ４０３にて、マーカー補完部１３３は、今回のマーカー情報を次回のマーカー補完処理の補完用情報として使用するために、マーカー記憶部１３４が記憶している補完用情報を今回のマーカー情報で更新する。ここで、マーカーが投影面から意図的に除かれたことにより、当該マーカーが非一時的に検出されなくなることがある。そして、そのような場合には、検出されなくなったマーカーが存在するとみなすべきではない。そのため、マーカー情報の補完（ステップＳ４０２の処理）が行われた場合に、マーカー補完部１３３は、補完前のマーカー情報で補完用情報を更新する。なお、マーカー補完部１３３は、補完用情報で示されたマーカーが検出されない状況が同じマーカーについて所定回数継続した場合に、補完前のマーカー情報で補完用情報を更新し、そうでない場合に、補完後のマーカー情報で補完用情報を更新してもよい。

ステップＳ４０４にて、マーカー補完部１３３は、今回のマーカー情報を出力する。ステップＳ４０２の処理が行われた場合には、マーカー補完部１３３は、補完後のマーカー情報を出力する。

マーカー補完部１３３は、上述したマーカー補完処理（ステップＳ４０１〜Ｓ４０４の処理）を繰り返し実行する。マーカー補完処理は省略されてもよいが、マーカー補完処理により変形処理の精度を向上できる。具体的には、マーカーが一時的に（意図せず）検出されないことによる画像の変形を抑制できる。

図５（Ａ）〜５（Ｃ）は、検出された複数のマーカーを繋いで形成されるエリア（マーカーエリア）の一例を示す。マーカーエリアの形成方法は特に限定されないが、本実施形態では、マーカーエリアは、少なくとも以下の条件１〜３を満たすように形成されたエリアである。
条件１：第１の種類のマーカー（円形のマーカー）が頂点となる。
条件２：第１の種類のマーカー同士が直線で繋がれる。
条件３：第１の種類のマーカーと第２の種類のマーカー（四角形のマーカー）とが曲線で繋がれる。

本実施形態では、マーカーエリアに対応して画像が投影されるように、変形決定部１３５が変形情報を生成し、画像変形部１１４が画像を変形する。そして、本実施形態では、マーカーエリアに対応するような投影は、投影エリア（投影範囲）がマーカーエリアに一致するような投影である。そのため、マーカーエリアは「投影画像の目標エリア」とも言える。

なお、マーカーエリアに対応するような投影は、投影エリアがマーカーエリアに一致するような投影でなくてもよい。即ち、目標エリアはマーカーエリアと異なってもよい。例えば、マーカーエリアに対応するような投影は、投影エリアとマーカーエリアの間で位置と向きと形状が一致するような他の投影であってもよい。マーカーエリアに対応するような投影は、マーカーエリアの輪郭と投影エリアの輪郭と間隔が略均一となるような他の投影であってもよい。マーカーに投影画像が重ならないように、マーカーエリアの内側に目標エリアが設定されてもよい。

また、マーカーの種類の違いは、マーカーの形状の違いでなくてもよい。例えば、マーカーの種類の違いは、マーカーのサイズの違い、マーカーの色の違い、マーカーの模様の違い、等の少なくともいずれかを含んでもよい。

図５（Ａ）では、第１の種類の６つのマーカーが配置されている。この場合には、変形決定部１３５は、６つのマーカーを頂点とする六角形のエリアを、目標エリア（マーカーエリア）として設定する。以後、図５（Ａ）に示す目標エリアのタイプを「二面型」と記載する。二面型の目標エリアは、例えば、部屋などの角を形成する２つの壁にわたって画像を投影する場合に設定される。

図５（Ｂ）では、第１の種類の４つのマーカーと、当該４つのマーカーを頂点とする四角形の内側に配置された第２の種類の２つのマーカーとを含む６つのマーカーが配置されている。この場合には、変形決定部１３５は、６つのマーカーに接する糸巻き形のエリアを、目標エリアとして設定する。以後、図５（Ｂ）に示す目標エリアのタイプを「糸巻き型」と記載する。糸巻き型の目標エリアは、例えば、或る方向（横方向など）に湾曲する曲面に画像を投影する場合に設定される。

図５（Ｃ）では、第１の種類の４つのマーカーが配置されている。この場合には、変形決定部１３５は、４つのマーカーを頂点とする四角形のエリアを、目標エリアとして設定する。以後、図５（Ｃ）に示す目標エリアのタイプを「四角型」と記載する。四角型の目標エリアは、例えば、平面に画像を投影する場合に設定される。

画像変形部１１４による画像の変形方法は特に限定されない。画像変形部１１４による画像の変形方法として、従来提案された様々な方法を使用できる。例えば、特開２０１４−１９２６８８号公報に開示の方法を用いて、二面型の目標エリアに画像を投影するための変形が行われてもよい。特開２０１３−０７７９８８号公報に開示の方法を用いて、糸巻き型の目標エリアに画像を投影するための変形が行われてもよい。特開２０１０−２５００４１号公報に開示の方法を用いて、四角型の目標エリアに画像を投影するための変形が行われてもよい。

図６は、変形決定部１３５の変形決定処理の一例を示すフローチャートである。変形決定部１３５は変形決定処理を繰り返し実行する。変形決定処理を省略し、画像変形部１１４が、マーカー情報を使って画像を変形してもよい。

ステップＳ６１０にて、変形決定部１３５は、マーカー補完部１３３から出力されたマーカー情報を用いて、検出された複数のマーカーが第１の種類の６つのマーカーであるか否かを判定する。検出された複数のマーカーが第１の種類の６つのマーカーであると判定された場合はステップＳ６１１へ進み、そうでない場合はステップＳ６２０へ進む。

ステップＳ６１１にて、変形決定部１３５は、目標エリアのタイプが二面型であると判断し、目標エリアの６つの位置（マーカーが存在する位置；目標位置）を決定し、撮像画像から投影画像の６つの位置（座標；投影位置）を検出する。投影位置は、投影画像の複
数の位置のうち、最終的に目標位置に一致させる位置である。ステップＳ６１２にて、変形決定部１３５は、６つの目標位置と６つの投影位置とから、６つの変形位置を算出する。変形位置は、１回の変形で投影位置を移動させる位置である。本実施形態では、変形決定部１３５は、目標位置と投影位置の加重平均を変形位置として算出する。また、変形決定処理の繰り返しにおいて、変形決定部１３５は、変形位置が目標位置に一致するまで、目標位置の重みを徐々に上げる。これにより、変形位置が目標位置に徐々に近づき、投影エリアが目標エリアに徐々に近づくようになる。なお、目標位置が更新された場合には、変形決定部１３５は重みを初期値に戻す。ステップＳ６１３にて、変形決定部１３５は、目標エリアのタイプとして二面型を示し且つステップＳ６１２で算出した６つの変形位置を示す変形情報を生成して出力する。

ステップＳ６２０にて、変形決定部１３５は、マーカー補完部１３３から出力されたマーカー情報を用いて、検出された複数のマーカーが図５（Ｂ）に示すような６つのマーカーであるか否かを判定する。即ち、変形決定部１３５は、検出された複数のマーカーが、第１の種類の４つのマーカーと、当該４つのマーカーを頂点とする四角形の内側に配置された第２の種類の２つのマーカーとを含む６つのマーカーであるか否かを判定する。検出された複数のマーカーが図５（Ｂ）に示すような６つのマーカー（第１の種類の４つのマーカーと第２の種類の２つのマーカー）であると判定された場合はステップＳ６２１へ進み、そうでない場合はステップＳ６３０へ進む。

ステップＳ６２１にて、変形決定部１３５は、目標エリアのタイプが糸巻き型であると判断し、６つの目標位置を決定し、撮像画像から６つの投影位置を検出する。ステップＳ６２２にて、変形決定部１３５は、６つの目標位置と６つの投影位置とから、６つの変形位置を算出する。算出方法は、ステップＳ６１２と同じである。ステップＳ６２３にて、変形決定部１３５は、目標エリアのタイプとして糸巻き型を示し且つステップＳ６２２で算出した６つの変形位置を示す変形情報を生成して出力する。

ステップＳ６３０にて、変形決定部１３５は、マーカー補完部１３３から出力されたマーカー情報を用いて、検出された複数のマーカーが第１の種類の４つのマーカーであるか否かを判定する。検出された複数のマーカーが第１の種類の４つのマーカーであると判定された場合はステップＳ６３１へ進み、そうでない場合はステップＳ６９０へ進む。

ステップＳ６３１にて、変形決定部１３５は、目標エリアのタイプが四角型であると判断し、４つの目標位置を決定し、撮像画像から４つの投影位置を検出する。ステップＳ６３２にて、変形決定部１３５は、４つの目標位置と４つの投影位置とから、４つの変形位置を算出する。算出方法は、ステップＳ６１２と同じである。ステップＳ６３３にて、変形決定部１３５は、目標エリアのタイプとして四角型を示し且つステップＳ６３２で算出した４つの変形位置を示す変形情報を生成して出力する。

ステップＳ６９０にて、変形決定部１３５は、目標エリアのタイプとして標準型を示し且つ複数の変形位置として複数の標準位置を示す変形情報を出力する。それにより、例えば、投影可能範囲の全体に画像が投影されるようになる。なお、変形決定部１３５は、変形を行わないことを示す変形情報を出力してもよい。

なお、ステップＳ６１１，Ｓ６２１，Ｓ６３１において、マーカーの位置から投影画像の中心方向に所定距離だけ移動させた位置が、目標位置として決定されてもよい。これにより、マーカーに重ならないように投影画像を変形できる。また、１回の変形で投影エリアが目標エリアに一致するように、ステップＳ６１２，Ｓ６２２，Ｓ６３２において、目標位置と投影位置の加重平均ではなく、目標位置と同じ位置が変形位置として決定されてもよい。

図７（Ａ）は、画像変形部１１４による変形処理の一例を示す。画像７００は変形前の画像（元画像）であり、画像７１０は変形後の画像（変形画像）である。ここでは、元画像７００の解像度も、変形画像７１０の解像度も、水平方向１９２０ドット×垂直方法１０８０ドット（水平方向１９２０画素×垂直方法１０８０画素）であるとする。そして、変形画像の全体エリアを構成する複数のタイル（分割エリア）が予め定められており、各タイルのサイズは水平方向１２０ドット×垂直方法１２０ドットであるとする。そのため、複数のタイルは、水平方向１７個×垂直方向１０個の合計１７０個の頂点（タイル頂点）により構成される。図７（Ｂ）は複数のタイルの一例を示す。点Ｘ０Ｙ０〜Ｘ１６Ｙ１０は、複数のタイルを構成する頂点である。

画像変形部１１４は、変形決定部１３５から出力された変形情報に基づいて、タイルを構成する４つの頂点（変形画像７１０の座標）に対応する元画像７００の４つの座標を算出する。そして、画像変形部１１４は、タイルの他の各座標について、算出した４つの座標（元画像７００の座標）を用いた補間処理により、タイルの座標に対応する元画像７００の座標を算出する。これにより、１つのタイルについての変形が実現される。例えば、図７（Ａ）に示すように、元画像７００のエリア７０１が変形画像７１０のエリア７１１に変形（変換）される。エリア７１１は１つのタイルと同じである。

なお、上記補間処理では、目標エリアのタイプが考慮される。例えば、図５（Ａ）に示すような目標エリア（二面型）の場合には、元画像の上辺と下辺のそれぞれが３点を繋いだ折れ線となるように補間処理が行われる。図５（Ｂ）に示すような目標エリア（糸巻き型）の場合には、元画像の上辺と下辺のそれぞれが３点を繋いだ曲線となるように補間処理が行われる。

画像変形部１１４は、全てのタイルについて同様の変形を行うことで画像全体を変形し、変形後の画像を出力する。なお、タイル間で頂点が共通することがある。画像変形部１１４は、タイルについての変形を行う際に、他のタイルについての変形で算出済みの座標（元画像の座標）を改めて算出しなくてもよい。

本実施形態の効果の一例について、図８（Ａ），８（Ｂ），９（Ａ），９（Ｂ），１０（Ａ），１０（Ｂ）を用いて説明する。

図８（Ａ）では、プロジェクタ１００がホワイトボード８１０に画像８２０を投影している。ホワイトボード８１０には、第１の種類の４つのマーカー８３１〜８３４が配置されている。ここで、図８（Ｂ）に示すように、ホワイトボード８１０が後方に移動するなどした場合を考える。本実施形態によれば、プロジェクタ１００は、ホワイトボード８１０が後方に移動するなどした場合に、ホワイトボード８１０の移動（具体的にはマーカー８３１〜８３４の移動）に追従するように画像８２０を画像８４０に自動で変形できる。換言すれば、プロジェクタ１００は、マーカー８３１〜８３４との位置関係が維持されるように、画像８２０を画像８４０に自動で変形できる。

図９（Ａ）では、プロジェクタ１００が曲面の黒板９１０に画像９２０を投影している。黒板９１０には、第１の種類の４つのマーカー９３１〜９３４が配置されており、画像９２０は、マーカー９３１〜９３４に合わせて投影されている。しかしながら、画像９２０には垂直方向（上下方向）の歪みが発生している。本実施形態によれば、図９（Ｂ）に示すように、第２の種類の２つのマーカー９４１，９４２を追加するだけで、プロジェクタ１００は、マーカー９４１，９４２を検出して、歪みが低減するように画像９２０を画像９５０に変形できる。

図１０（Ａ）では、プロジェクタ１００が、部屋の角を形成する２つの壁１０１０，１０１１にわたって画像１０２０を投影している。壁１０１０，１０１１には、第１の種類の４つのマーカー１０３１〜１０３４が配置されており、画像１０２０は、マーカー１０３１〜１０３４に合わせて投影されている。しかしながら、画像１０２０には垂直方向（上下方向）の歪みが発生している。本実施形態によれば、図１０（Ｂ）に示すように、部屋の角に第１の種類の２つのマーカー１０４１，１０４２を追加するだけで、プロジェクタ１００は、マーカー１０４１，１０４２を検出して、歪みが低減するように画像１０２０を画像１０５０に変形できる。

なお、制御部１５０は、以下の３つの方法１〜３の少なくともいずれかを含む複数の方法の間で、投影方法を切り替えてもよい。これにより利便性が向上する。方法３において、画像を変形して投影する処理は、例えば、所定時間だけ行わたり、投影エリアが目標エリアに一致するまで行われたり、ユーザによる操作が行われている期間にだけ行われたりする。
方法１：画像を変形せずに投影する方法（変形オフ状態）
方法２：画像を変形して投影する処理を常に行うことで、マーカーの移動や変更に追従して画像を投影する方法（変形オン状態）
方法３：画像を変形して投影する処理を一時的に行う方法（一時的変形オン状態）

以上述べたように、本実施形態によれば、所望の形状に対応する種類と数と位置でマーカーを配置するだけで、画像を所望の形状で容易に投影できる。また、マーカーに追従して画像を変形できるため、画像を所望の形状で投影し続けることができる。
上記４つ調整モードとは異なる調整モードを含んでもよい。

なお、上述した各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

なお、本実施形態はあくまで一例であり、本発明の要旨の範囲内で本実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：プロジェクタ １１４：画像変形部 １１５：光変調器駆動部
１３２：マーカー検出部 １５０：制御部

Claims (13)

1. 投影面を撮像した撮像画像から、前記投影面に配置された複数のマーカーを検出する検出手段と、
   前記複数のマーカーの種類と数と位置に基づいて第１画像を変形する処理を少なくとも行うことにより、前記第１画像から第２画像を生成する変形手段と、
   前記第２画像を前記投影面に投影するように制御する制御手段と、
   を有することを特徴とする投影制御装置。
2. 前記検出手段は、前記複数のマーカーを繰り返し検出し、
   前記変形手段は、前記検出手段による今回の検出結果と前回の検出結果とに基づいて、前記複数のマーカーの少なくともいずれかが検出されなくなった場合に、そのマーカーが前回検出された位置に存在するとみなして、前記第１画像を変形する
   ことを特徴とする請求項１に記載の投影制御装置。
3. 前記変形手段は、第１の種類のマーカーが頂点となり且つ前記第１の種類のマーカー同士が直線で繋がれ且つ前記第１の種類のマーカーと第２の種類のマーカーとが曲線で繋がれるように前記複数のマーカーを繋いで形成されるエリアに対応して前記第２画像が投影されるように、前記第１画像を変形する
   ことを特徴とする請求項１または２に記載の投影制御装置。
4. 前記第１の種類の４つのマーカーが前記複数のマーカーとして検出された場合に、前記変形手段は、当該４つのマーカーを頂点とする四角形のエリアに対応して前記第２画像が投影されるように、前記第１画像を変形する
   ことを特徴とする請求項３に記載の投影制御装置。
5. 前記第１の種類の６つのマーカーが前記複数のマーカーとして検出された場合に、前記変形手段は、当該６つのマーカーを頂点とする六角形のエリアに対応して前記第２画像が投影されるように、前記第１画像を変形する
   ことを特徴とする請求項３または４に記載の投影制御装置。
6. 前記第１の種類の４つのマーカーと、当該４つのマーカーを頂点とする四角形の内側に配置された前記第２の種類の２つのマーカーとを含む６つのマーカーが前記複数のマーカーとして検出された場合に、前記変形手段は、当該６つのマーカーに接する糸巻き形のエリアに対応して前記第２画像が投影されるように、前記第１画像を変形する
   ことを特徴とする請求項３〜５のいずれか１項に記載の投影制御装置。
7. 前記変形手段は、前記投影面における所定のエリアの外側に配置されたマーカーを考慮しない
   ことを特徴とする請求項１〜６のいずれか１項に記載の投影制御装置。
8. 前記変形手段は、所定の閾値以下の間隔で配置されたマーカーを考慮しない
   ことを特徴とする請求項１〜７のいずれか１項に記載の投影制御装置。
9. 前記複数のマーカーは、前記投影面に不可視光で投影される
   ことを特徴とする請求項１〜８のいずれか１項に記載の投影制御装置。
10. 前記投影面を撮像する撮像手段、をさらに有する
    ことを特徴とする請求項１〜９のいずれか１項に記載の投影制御装置。
11. 前記投影制御装置は、前記投影面に前記第２画像を投影可能な投影装置である
    ことを特徴とする請求項１〜１０のいずれか１項に記載の投影制御装置。
12. 投影面を撮像した撮像画像から、前記投影面に配置された複数のマーカーを検出する検出ステップと、
    前記複数のマーカーの種類と数と位置に基づいて第１画像を変形する処理を少なくとも行うことにより、前記第１画像から第２画像を生成する変形ステップと、
    前記第２画像を前記投影面に投影するように制御する制御ステップと、
    を有することを特徴とする投影制御方法。
13. コンピュータを請求項１〜１１のいずれか１項に記載の投影制御装置の各手段として機能させるためのプログラム。