JP2019148654A - 制御装置、画像投影装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】変化する投影対象物へ画像を投影する画像投影装置を制御する制御装置であって、投影画像の視認性の低下を抑制できる制御装置を提供する。【解決手段】本発明の制御装置は、投影対象物に対し投影を行う画像投影装置を制御する制御装置であって、基準状態からの前記投影対象物の変化を判定する変化判定手段と、前記投影対象物の変化が所定の変化であれば、前記投影対象物の変化に応じた追従投影を行わないと判定し、前記投影対象物の変化が前記所定の変化でなければ、前記追従投影を行うと判定する追従判定手段と、を備え、前記所定の変化は、前記投影対象物の位置の回帰的な変化、または、前記投影対象物の前記基準状態からの変形度が第１閾値以下である形状の変化である、ことを特徴とする。【選択図】図２

Description

本発明は、制御装置、画像投影装置、制御方法、およびプログラムに関する。

画像投影装置が投影対象物に対して所望のコンテンツ画像を投影する技術としてプロジェクションマッピングと呼ばれる技術が知られている。このプロジェクションマッピングの技術は、コンピュータで作成した画像を建物等の投影対象物へ投影するため、ショーやサイネージなどの用途で行われることが多い。

近年、プロジェクションマッピングは、投影対象物が固定された建物等だけでなく、人や乗り物などの動く投影対象物へ追従しながら画像を投影する機会が増えてきている。動く投影対象物へ画像を投影することで、人の目を惹きやすくなるため、その利用が期待されている。

そこで、例えば、移動する投影対象物に対し追従して画像を投影する特許文献１などの技術が提案されている。一方で、形状変化（歪み）が発生する投影対象物を撮影して、各画素で計測した内容をリアルタイムに画像を投影することで、形状変化する投影対象物に対して好適にプロジェクションマッピングを行う特許文献２などの技術が提案されている。

特許第４６１１９３２号公報 特開２０１７−１５８７２号公報

上述の特許文献に開示された技術では、変化する投影対象物の位置や形状をリアルタイムに計測し、投影対象物を追従しながら画像を投影する。しかしながら、変化する投影対象物に追従しながら画像を投影すると、投影画像も変化して見えてしまうため視認性が低下する場合があるという課題があった。例えば、特許文献１であれば、投影対象物の位置変化にあわせて投影画像の投影される位置が変化し、特許文献２であれば、投影対象物の形状変化にあわせて投影画像の形状が変化する。これらの変化が著しい場合は投影画像の視認性が低下してしまう。

そこで本発明の目的は、変化する投影対象物へ画像を投影する画像投影装置を制御する制御装置であって、投影画像の視認性の低下を抑制できる制御装置を提供することである。

本発明の第１様態は、
投影対象物に対し投影を行う画像投影装置を制御する制御装置であって、
基準状態からの前記投影対象物の変化を判定する変化判定手段と、
前記投影対象物の変化が所定の変化であれば、前記投影対象物の変化に応じた追従投影を行わないと判定し、前記投影対象物の変化が前記所定の変化でなければ、前記追従投影を行うと判定する追従判定手段と、
を備え、
前記所定の変化は、前記投影対象物の位置の回帰的な変化、または、前記投影対象物の前記基準状態からの変形度が第１閾値以下である形状の変化である、
ことを特徴とする制御装置である。

本発明の第２様態は、
投影対象物に対し投影を行う画像投影装置を制御する制御装置の制御方法であって、
基準状態からの前記投影対象物の変化を判定する変化判定工程と、
前記投影対象物の変化が所定の変化であれば、前記投影対象物の変化に応じた追従投影を行わないと判定し、前記投影対象物の変化が前記所定の変化でなければ、前記追従投影を行うと判定する追従判定工程と、
を含み、
前記所定の変化は、前記投影対象物の位置の回帰的な変化、または、前記投影対象物の前記基準状態からの変形度が第１閾値以下である形状の変化である、
ことを特徴とする制御装置の制御方法である。

本発明の第３様態は、
投影対象物に対し投影を行う画像投影装置であって、
基準状態からの前記投影対象物の変化を判定する変化判定手段と、
前記投影対象物の変化が所定の変化であれば、前記投影対象物の変化に応じた追従投影を行わないと判定し、前記投影対象物の変化が前記所定の変化でなければ、前記追従投影を行うと判定する追従判定手段と、
前記追従判定手段の前記判定に応じて、画像の投影を行う投影手段と、
を備え、
前記所定の変化は、前記投影対象物の位置の回帰的な変化、または、前記投影対象物の前記基準状態からの変形度が第１閾値以下である形状の変化である
ことを特徴とする画像投影装置である。

本発明によれば、変化する投影対象物へ画像を投影する画像投影装置を制御する制御装置において、投影画像の視認性の低下を抑制できる。

実施形態１に係る画像投影システムの概略図 実施形態１に係る画像投影装置の構成図 実施形態１に係る画像投影装置の動作フローチャート 実施形態１に係る撮影画像を示す例の図 実施形態１に係る投影対象物が揺れている状態を示した図 実施形態１に係る投影対象物の変化を判定するフローチャート 実施形態１に係る投影対象物の位置変化に応じた画像投影を示した図 実施形態２に係る画像投影装置の構成図 実施形態２に係る画像投影装置の動作フローチャート 実施形態２に係る投影対象物が基準状態から歪んでいる様子を示した図 実施形態２に係る投影対象物の変形度を説明するための図 実施形態２に係る投影対象物の形状変化に応じた画像投影を示した図 変形例１に係る画像投影装置の動作フローチャート

以下、添付図面を参照して本発明の実施形態を説明するが、この発明は以下の実施の形態に限定されるものではない。

＜実施形態１＞
以下、本発明の実施形態１について説明する。実施形態１では、投影対象物の変化が「揺れ（所定の変化）」である場合に画像投影装置は追従投影を行わないことで、投影画像の視認性の低下を抑制する。投影対象物の変化が「揺れ」であれば、投影画像の投影位置を変化させなくとも、投影対象物の中に投影画像を投影し続けられるため、投影画像自体が移動することによる視認性の低下を抑制できる。なお、投影対象物の変化が「揺れ以外の移動」であれば、従来どおりに、画像投影装置は追従投影を行う。ここで、「揺れ」は、追従投影する方が追従投影しないときよりも投影画像の視認性が低い場合の投影対象物の位置の変化であり、「揺れ以外の移動」は、追従投影する方が追従投影しないときよりも投影画像の視認性が高い場合の投影対象物の位置の変化である。具体的には、本実施形態では、「揺れ」は、所定の条件における投影対象物の回帰的な位置の変化であり、「揺れ以外の移動」は、投影対象物の位置の変化のうち「揺れ」以外のものである。ここで、所定の条件とは、基準状態からの投影対象物の移動量に応じた条件などである。

［画像投影システムの概略］
図１は、実施形態１に係る投影対象物に対し画像を投影する画像投影システムの概略図である。画像投影システムは、画像投影装置１０、画像出力装置１０１、ケーブル１０２、投影対象物１０３、移動体１０４から構成される。また、画像投影システムは、投影画像１０５を投影する。なお、画像投影システムでは、画像投影装置１０と画像出力装置１０１をケーブル１０２で接続されている。

画像投影装置１０は、画像出力装置１０１から入力される入力画像を投影対象物１０３へ投影する。このとき、画像投影装置１０は、例えば、移動する移動体１０４から吊られた投影対象物１０３を追従しながら投影する。また、画像投影装置１０の内部動作の詳細については、後述する。

画像出力装置１０１は、入力画像を画像投影装置１０へ出力する。なお、本実施形態では、画像出力装置１０１はＰＣとするが、入力画像を出力できればよいため、スマートフォンやタブレット型端末、デジタルカメラなどでもよい。

ケーブル１０２は、画像出力装置１０１から入力される入力画像を画像投影装置１０へ出力する。ただし、ケーブル１０２を用いた有線通信での出力でなく、画像出力装置１０１と画像投影装置１０との間の無線通信で入力画像が出力されてもよい。

投影対象物１０３は、平面の形状をしたスクリーンであり、複数のマーカー（目印）が埋め込まれている。マーカーは投影画像１０５の追従投影をする際に使用される。また、投影対象物１０３は移動体１０４から吊られているため、移動体１０４の移動に伴い投影対象物１０３も移動する。なお、本実施形態において投影対象物１０３は平面形状として説明するがその限りでなく、どのような形状であってもよい。なお、マーカーについては後述にて詳細な説明を行う。

移動体１０４は、投影対象物１０３を移動させるために使用する。本実施形態では、移動体１０４は、飛行して自由に移動するものや、風等の影響で静止状態から細かく揺れるものを想定している。また、移動体１０４は、飛行するドローンを想定しているが、これに限定されるものではなく、飛行している必要もない。例えば、移動体１０４は、バルーンや人、動物、ロボットであってもよい。なお、移動するものに投影対象物１０３が吊るされている必要はなく、例えば壁や天井に投影対象物１０３が吊るされていてもよい。

投影画像１０５は、画像投影装置１０から投影される入力画像である。投影画像１０５は、画像投影装置１０にて、追従投影の処理が必要に応じて施されている。

［画像投影装置の全体構成］
次に、図２を用いて画像投影装置１０の構成を説明する。図２は、実施形態１の画像投影装置１０の構成図を示す。本構成図を用いた説明では、構成要素と概略機能の説明を行い、詳細な処理内容は後述する。

画像投影装置１０は、制御装置１１、撮像部２００、投影部２０６から構成される。制御装置１１は、座標生成部２０１、変化判定部２０２、追従判定部２０３、投影位置決定部２０４、画像入力部２０５を有する。なお、本実施形態では、画像投影装置１０が制御装置１１を有するが、それに限らず、制御装置１１は画像投影装置１０の外部にあってもよい。例えば、画像出力装置１０１が制御装置１１を有していてもよい。以下に、画像投影装置１０が有する機能部の機能を説明する。

撮像部２００は、レンズとＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ)な
どの撮像センサによって構成される。撮像部２００は、投影対象物１０３とその周囲を撮影し、撮影画像を座標生成部２０１へ出力する。

座標生成部２０１は、撮像部２００から入力される撮影画像を基に、投影対象物１０３の座標情報を生成する。座標生成部２０１は、生成した座標情報を変化判定部２０２と投影位置決定部２０４へ出力する。ここで、投影対象物１０３の座標情報とは、投影対象物１０３に埋め込まれた各マーカーの位置を示す情報である。なお、投影対象物１０３の座標情報は、必ずしも撮影画像を基に生成される必要はなく、例えば、投影対象物１０３が周囲の物体との距離を測定して、その距離情報に基づき座標生成部２０１が座標情報を生成してもよい。また、投影対象物１０３がＧＰＳや加速度センサに基づいた自身の座標情報を保持しており、その座標情報が制御装置１１に入力されてもよい。

変化判定部２０２は、座標生成部２０１から入力される座標情報を基に、投影対象物１０３の変化が「揺れ」か「揺れ以外の移動」かを判定する。判定結果は変化情報として追従判定部２０３へ出力する。なお、変化を判定する具体的な処理内容は後述する。

追従判定部２０３は、変化判定部２０２から入力される変化情報を基に、投影対象物１０３に対し追従投影を実施するか否かを判定する。投影対象物１０３の変化が「揺れ以外の移動」であれば、追従投影すると判定され、投影対象物１０３の変化が「揺れ」であれば追従投影しないと判定される。判定した情報は追従投影情報として投影位置決定部２０４へ出力する。

投影位置決定部２０４は、座標生成部２０１から入力される座標情報と追従判定部２０３から入力される追従投影情報を基に、画像を投影範囲内のどの位置に投影するかを示す投影位置情報を生成する。ここで投影範囲は、投影部２０６が投影画像１０５を投影することが可能な範囲を示す。投影位置決定部２０４は、投影位置情報と入力画像を投影部２０６へ出力する。

画像入力部２０５は、画像出力装置１０１から入力画像を入力される。伝送方式はＨＤＭＩ（登録商標：Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＤＰ（Ｄｉｓｐｌａｙ Ｐｏｒｔ）、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等の汎用的な映像信号伝送規格を用いてもよいし独自で定義した伝送方式でも良い。画像入力部２０５は、入力画像を投影位置決定部２０４へ出力する。

投影部２０６は、入力画像を色合成された合成光に変換し、投影位置情報に応じた位置
に投影画像１０５を投影する。また、投影部２０６は、複数のレンズ、レンズ駆動用のアクチュエータから構成され、レンズをアクチュエータにより駆動することで、投影画像１０５の台形補正、拡大、縮小、焦点調整などを行うことができる。以上が、実施形態１に係る画像投影装置１０の構成である。

［画像投影装置の動作フロー］
次に、図３から図５を用いて、実施形態１の画像投影装置１０の基本動作を説明する。図３は、実施形態１に係る画像投影装置の基本動作を示したフローチャートである。以下、フローチャートを用いて基本動作の説明をする。基本動作の開始の状態は、画像出力装置１０１から画像投影装置１０へ入力画像を出力している状態である。

（Ｓ３００）
まず、撮像部２００は、投影対象物１０３とその周囲を撮影（撮像）する。図４（Ａ）は、撮影画像４００を示した例の図である。たとえば、図４（Ａ）のように、撮影画像４００では投影範囲４０１と投影対象物１０３と２５個のマーカー４０２が撮影される。ここで、撮影画像４００内に投影範囲４０１があり、その投影範囲４０１内に投影対象物１０３があり、投影対象物１０３は複数のマーカー４０２を含む。つまり、撮影画像４００の大きさである撮像部２００が撮影できる範囲は、投影範囲４０１よりも大きい。撮像部２００は、撮影画像を座標生成部２０１へ出力する。

本実施形態では、投影対象物１０３に、縦に５個、横に５個の合計２５個の位置が判定できるマーカー４０２（目印）が埋め込まれている。人が投影画像１０５を鑑賞する際に妨害とならないように、マーカー４０２は人の目に不可視であることが望ましい。なお、本実施形態の説明ではマーカー４０２は円形の点になっているが、マーカー４０２の形状はこれに限定されず四角形でも三角形でも任意の形でよい。また、マーカー４０２の数は、２５個に限らず、たとえば１個でもよいし、２５個より多くてもよい。

（Ｓ３０１）
座標生成部２０１は、撮像部２００から入力される撮影画像を基に、各マーカー４０２の座標情報を生成する。座標生成部２０１は、生成した座標情報を変化判定部２０２と投影位置決定部２０４へ出力する。

図４（Ｂ）は、撮影画像４００と座標系の対応図である。まず、図４（Ｂ）が示すように、座標生成部２０１は、撮影画像４００の左上に対応する位置を原点（０，０）とする（ｘ，ｙ）座標系で各マーカー４０２の座標を算出する。これは、追従等が行われても撮影画像４００に対応する位置の座標の変化がないためである。次に（ｘ，ｙ）座標系を、各マーカー４０２のうち最も左上に位置するマーカーの位置を原点（０，０）とする座標系（ｍ，ｎ）に変換する。以下、座標系（ｍ，ｎ）を座標情報とよぶ。なお、原点（０，０）とする位置は上述の左上に限らず、右上、左下、右上などでもよい。

（Ｓ３０２）
ユーザーは図示しないユーザーインターフェース部（ＵＩ部）を操作し、変化の閾値を任意に設定する。変化の閾値とは、投影対象物１０３の変化が「揺れ」か「揺れ以外の移動」かを検出するための閾値である。そして、変化判定部２０２は、座標生成部２０１から入力される座標情報と変化の閾値に基づき、基準状態からの投影対象物１０３の変化が「揺れ」か「揺れ以外の移動」かを判定し、判定結果を変化情報として追従判定部２０３へ出力する。

本実施形態では、投影対象物１０３に埋め込まれた各マーカー４０２から任意に選定されたマーカーの座標情報から投影対象物１０３の変化が判定される。なお、変化の閾値は
ユーザーからの設定に限らず、投影対象物１０３の大きさに応じて変化判定部２０２が変化の閾値を決定してもよい。

［Ｓ３０２において投影対象物の変化を判定する方法］
ここで、図５（Ａ）、図５（Ｂ）および図６を用いて、投影対象物１０３の変化を判定する方法を説明する。図５（Ａ）は、投影対象物１０３が揺れている状態を示した図である。以下、例として、撮像部２００が６回のフレームに分け撮影をした状態を説明に用いる。変化判定部２０２は、１フレーム目の投影対象物１０３が基準状態であるとして、投影対象物１０３がどのような変化をしているか判定する。また、１フレーム目における、最も左上に位置するマーカー５００を座標情報（ｍ，ｎ）＝（０，０）として設定し、例えば、変化の閾値はｔとする。図５（Ａ）の場合、マーカー５００が１フレーム目の座標情報を基準に上下にｔ’の移動量で移動したとする。ここで、０＜ｔ’≦ｔの関係であるとする。図５（Ａ）の場合、２フレーム目でのマーカー５００の座標情報は（０，ｔ’）であり、４フレーム目でのマーカー５００の座標情報は（０，−ｔ’）である。ここでは投影対象物１０３の上下の移動で説明しているが、左右の移動が含まれる場合も同様である。

図５（Ｂ）は、図５（Ａ）のマーカー５００の移動を示したグラフである。図５（Ｂ）はマーカー５００の座標変化と時間の関係を示したグラフである。図５（Ｂ）の縦軸はマーカー５００の座標変化である。マーカー５００の座標変化とは、基準状態の座標情報からのマーカー５００の座標情報の変化の量を示したものである。横軸は時間軸であり、フレームごとの時間を示している。なお、図５（Ｂ）に示すように、マーカー５００は閾値５０１および閾値５０２の間で位置を変化するとする。

図５（Ａ）および図５（Ｂ）が示すような投影対象物１０３の変化の具体的な判定方法を図６のフローチャートを用いて説明する。このフローチャートでは、基準状態から再び基準状態に戻るまでに投影対象物１０３が位置変化をした量を示す変化量を、ある閾値（変化の閾値）と比較することで「揺れ」か「揺れ以外の移動」かを判定する例を示している。

まず、変化判定部２０２は、投影対象物１０３に含まれるマーカーの中から任意に、１つのマーカー５００を抽出する。図５（Ａ）の場合は、全てのマーカーのうち最も左上のマーカーが抽出されている。次に、変化判定部２０２は、基準状態（ｆ０フレーム目の時点）での投影対象物１０３の位置の、マーカー５００の座標情報を座標生成部２０１から取得する（Ｓ６００）。図５（Ａ）の場合では、ｆ０＝１であり、ｆ０フレーム目でのマーカー５００の座標情報は（０，０）である。

変化判定部２０２は、投影対象物１０３の動きが「揺れ」か「揺れ以外の移動」かを判定するための値である投影対象物１０３の変化量を初期値０に設定し、マーカー５００の判定処理の対象の時点を示すフレームｆをｆ０に設定する（Ｓ６０１）。図５（Ａ）の場合は、１フレーム目が基準状態であるため、ｆ＝１（もしくは、ｆ＝３、ｆ＝５）に設定される。

続いて、変化判定部２０２は、処理対象のフレームを次のフレームとするためにｆ＝ｆ＋１として（Ｓ６０２）、ｆフレーム目のマーカー５００の座標情報を取得する（Ｓ６０３）。その後、取得した座標情報を基に、ｆフレーム目にマーカー５００が基準状態の位置に戻っているか否かを判定する（Ｓ６０４）。つまり、Ｓ６０４では、ｆフレーム目で投影対象物１０３が基準状態の位置に戻るかを判定している。図５の場合は、ｆフレーム目にマーカー５００の座標情報が、基準状態での座標情報（０，０）をとるか否かで判定される。

ｆフレーム目で投影対象物１０３が基準状態の位置に戻っていない場合（Ｓ６０４ＮＯ）、ｆフレーム目のマーカー５００の移動量Ａｍ（ｆ）を算出する（Ｓ６０５）。ここで、移動量とは、マーカー５００の座標変化の絶対値（距離）を示す。図５の場合では、ｆ＝１であればＡｍ（１）＝０、ｆ＝２であればＡｍ（２）＝ｔ’、・・・、ｆ＝４であればＡｍ（４）＝｜−ｔ’｜＝ｔ’、・・・である。さらに、変化判定部２０２は、変化量にＡｍ（ｆ）の値を足す（Ｓ６０６）。そして、処理工程はＳ６０２に戻り、再びＳ６０２〜Ｓ６０４の工程が行われる。

ｆフレーム目で投影対象物１０３が基準状態の位置に戻っている場合（Ｓ６０４ＹＥＳ）、変化判定部２０２は、算出された変化量が変化の閾値ｔ以下であるか否かで投影対象物１０３の変化を判定する（Ｓ６０７）。変化量が変化の閾値ｔ以下であれば（Ｓ６０７ＹＥＳ）、投影対象物１０３の変化は「揺れ」であると判定される（Ｓ６０８）。変化量が変化の閾値ｔより大きければ（Ｓ６０７ＮＯ）、投影対象物１０３の変化は「揺れ以外の移動」であると判定される（Ｓ６０８）。ここで、最終的に算出される変化量は、原点（０，０）からスタートして再び原点（０，０）に戻るまでの期間（揺れ期間）の各フレームのマーカー５００の移動量の総和である。つまり、投影対象物１０３の変化量は、揺れ期間でのフレームごとの投影対象物１０３と基準状態の投影対象物１０３との距離の総和であると言える。図５（Ｂ）においては、変化量５０３＝ｔ’であり、１フレーム目から３フレーム目までのマーカー５００の移動量の和である。また、同様に、変化量５０４＝ｔ’である。なお、Ｓ６０６において、変化量を算出した時点で、変化の閾値ｔを超えていれば、その時点で、投影対象物１０３の変化を「揺れ以外の移動」と判定してもよい。

このような処理により、変化判定部２０２は、図５（Ｂ）に示す場合は、変化量５０３や変化量５０４が変化の閾値ｔ以下であるため、投影対象物１０３の変化を「揺れ」と判定する。一方、マーカー５００が閾値５０１および閾値５０２の外にも位置変化を行うとする。つまり、ｔ’＞ｔであって、２フレーム目でのマーカー５００の座標情報は（０，ｔ’）であり、４フレーム目でのマーカー５００の座標情報は（０，−ｔ’）であり、その他のフレームは図５の場合と同じ座標情報とする。このとき、変化量５０３や変化量５０４はｔ’であり変化の閾値ｔより大きいため、変化判定部２０２は投影対象物１０３の変化を「揺れ以外の移動」と判定する。また、上述の揺れ期間の間に、投影対象物１０３が投影範囲外へ位置を変化させた場合は、「揺れ以外の移動」と判定されるとよい。これは、例えば、全てのマーカーのうち１つでも、投影範囲外へ位置変化したら「揺れ以外の移動」と判定される。

［投影対象物の変化を判定するその他の方法］
なお、本実施形態では、任意の１つのマーカー５００における移動量に基づいて変化を判定するが、それに限らず、例えば、全てのマーカーにおける移動量の平均値や中央値から変化を判定してもよい。また、変化判定部２０２は、マーカー５００の座標が閾値５０１と閾値５０２との間で変化する場合には、変化量を考慮せずに、投影対象物１０３の変化を「揺れ」と判定してもよい。さらに、変化判定部２０２は、マーカー５００が基準状態のマーカー５００の座標から位置の変化を行い、再び基準状態のマーカー５００の座標に戻る場合には、変化量を考慮せずに、投影対象物１０３の変化を「揺れ」と判定してもよい。つまり、ある位置から位置変化を始め、その位置に戻ってくるような変化（回帰的な変化）であれば、投影対象物１０３の変化を「揺れ」と判定してもよい。また、上述の揺れ期間と揺れ期間におけるマーカー５００の移動量の最大値とに応じて投影対象物１０３の変化を判定してもよい。例えば、揺れ期間と揺れ期間におけるマーカー５００の移動量の最大値との積が所定の閾値以下であれば「揺れ」、所定の閾値より大きければ「揺れ以外の移動」と判断されてもよい。以上、変化判定部２０２が投影対象物１０３の変化を
判定する方法である。

（Ｓ３０３）
追従判定部２０３は、変化情報から投影対象物１０３に対し追従投影を実施するか否かを判定する。変化情報が「揺れ」である場合は、追従投影を実施しないと判定されＳ３０４へ遷移する。変化情報が「揺れ以外の移動」である場合は、追従投影を実施すると判定されＳ３０５へ遷移する。

（Ｓ３０４）
投影位置決定部２０４は、変化情報が「揺れ」である場合、追従投影しないように投影位置を決める。そして、画像入力部２０５から入力される入力画像と投影位置情報を投影部２０６へ出力する。

図７を用いて、投影位置が決定される例を説明する。図７は、投影対象物１０３が揺れていると判定されたときの投影位置を示した図である。投影対象物１０３が上下に移動し、投影画像１０５が投影対象物１０３に投影されている状態である。１から６フレーム目までは追従投影を実施している。７フレーム目で投影対象物１０３の変化が「揺れ」であると判定され、追従投影を実施する投影から追従投影を実施しない投影に切り替えられている。そのため、７フレーム目以降は、投影画像１０５は常に一定の位置に投影されている。

（Ｓ３０５）
投影位置決定部２０４は、変化情報が「揺れ以外の移動」である場合、追従投影するように投影位置を決める。そして、投影位置決定部２０４は、入力画像と投影位置情報を投影部２０６へ出力する。

（Ｓ３０６）
投影部２０６は、投影位置情報に従い投影対象物１０３の所望の位置に投影画像１０５を投影する。

［効果］
以上より、実施形態１によれば、投影対象物へ投影する画像投影装置において、投影対象物が揺れているときに追従投影しないことで、投影画像の視認性の低下を抑制することができる。また、投影対象物の変化が「揺れ以外の移動」である場合、投影対象物の位置の変化に応じて必要な追従を行うため、投影対象物に投影画像が投影されないということは起こらない。

＜実施形態２＞
以下で、本発明に係る実施形態２について説明する。実施形態１では、常に一定の形状を保ちながら上下左右に位置が変化する投影対象物へ投影する画像投影装置について述べた。しかし、位置が変化していなくても、形状が変化する投影対象物に対して追従投影しない場合には、投影画像が大きく変形し視認性が悪いことがある。そこで本実施形態では、形状が変化する投影対象物へ投影する画像投影装置において、投影対象物の形状の変化によって追従投影するか否かを制御することで投影画像の視認性を向上させる。つまり、投影対象物の形状が大きく変わる「変形」であるか、小さく変わる「歪み（所定の変化）」であるかで、追従投影の実施をするか否かを切り替える。

なお、本実施形態に係る画像投影システムの構成については、図１における画像投影装置１０を画像投影装置７０と置き換えた構成と同じであるため、説明は省略する。つまり、本実施形態に係る画像投影システムは、画像投影装置７０、画像出力装置１０１、ケー
ブル１０２、投影対象物１０３、移動体１０４から構成される。

［画像投影装置の全体構成］
図８を用いて画像投影装置７０の構成を説明する。図８は、実施形態２の画像投影装置７０の構成図である。本構成図を用いた説明では、構成要素と概略機能の説明を行い、詳細な処理内容は後述する。

画像投影装置７０は、制御装置７１、撮像部２００、投影部２０６を有する。制御装置７１は、座標生成部７０１、歪み量算出部７０２、変化判定部７０３、追従判定部７０４、投影位置決定部７０５、補正処理部７０６、画像入力部２０５を有する。実施形態１と同様の機能をもち同様の動作を行う機能部は、実施形態１の同名の機能部と同一符号を付しており説明は省略する。

座標生成部７０１は、撮像部２００から入力される撮影画像を基に、マーカーの座標情報を生成する。生成した座標情報を歪み量算出部７０２と投影位置決定部７０５へ出力する。座標情報とは、投影対象物１０３に埋め込まれた各マーカーの位置を示す情報である。

歪み量算出部７０２は、座標生成部７０１から入力される座標情報を基に、投影対象物１０３の歪み量を算出する。歪み量算出部７０２は、算出した歪み量を変化判定部７０３と補正処理部７０６へ出力する。歪み量とは、画像投影装置１０と投影対象物１０３が正対、かつ投影対象物１０３が平面である状態を基準状態とし、その基準状態からの各マーカー（目印）の移動量を指す。歪み量算方法の詳細については、後述する。

変化判定部７０３は、歪み量算出部７０２から入力される歪み量を基に、投影対象物１０３の形状の変形度（歪み敏感度）を算出する。ここで、変形度とは、投影対象物１０３の形状の変化の度合いを示し、変形度が大きいほど投影対象物１０３の形状が大きく変化していることを示す。なお、変形度は所定期間における歪み量の最大値（単位時間当たりの歪み量）である。変化判定部７０３は、ユーザーが設定する変形閾値（歪み敏感度の閾値）よりも変形度が大きいか、変形度が変形閾値以下であるかを判定する。ここで、変形閾値とは、追従投影を行うか（追従投影を行わないことを許容できるか）否かを判定するための閾値である。変化判定部７０３は、変形度が変形閾値よりも大きい場合は、投影対象物１０３の変化を「変形」と判定し、変形度が変形閾値以下である場合は、投影対象物１０３の変化を「歪み」と判定する。判定結果は変化情報として追従判定部７０４へ出力する。変形度の判定方法については、後述する。

追従判定部７０４は、変化判定部７０３から入力される変化情報を基に、投影対象物１０３に対し追従投影を実施するか否かを判定する。投影対象物１０３の変化が「変形」であれば、追従投影すると判定され、投影対象物１０３の変化が「歪み」であれば追従投影しないと判定される。判定した情報は追従投影情報として投影位置決定部７０５へ出力する。

投影位置決定部７０５は、座標生成部７０１から入力される座標情報と追従判定部７０４から入力される追従投影情報を基に、画像を投影範囲内のどの位置に投影するかの投影位置情報を生成し、投影位置情報を補正処理部７０６へ出力する。

補正処理部７０６は、入力画像と投影位置情報と歪み量算出部７０２から入力される歪み量とを基に、判定された変化に応じて投影対象物１０３の形状変化に追従させるための画像処理を行い補正画像を生成する。補正処理部７０６は、生成した補正画像を投影部２０６へ出力する。

撮像部２００と画像入力部２０５と投影部２０６は、実施形態１と同様な機能および動作を行うため、説明を省略する。以上が、実施形態２の画像投影装置７０の構成である。

［画像投影装置の動作フロー］
次に、図９を用いて、実施形態２の画像投影装置７０の基本動作を説明する。図９は、実施形態２の基本動作を示したフローチャートであり、以下、フローチャートを用いて基本動作の説明をする。基本動作の開始の状態は、画像出力装置１０１から画像投影装置７０へ画像を出力している状態である。

（Ｓ３００）
まず、撮像部２００は、投影対象物１０３とその周囲を撮影する。実施形態１のＳ３００と同様の処理であるため、説明は省略する。

（Ｓ８０１）
座標生成部７０１は、撮像部２００から入力される撮影画像を基に、投影対象物１０３に埋め込まれた各マーカーの座標情報を生成する。生成した座標情報を歪み量算出部７０２と投影位置決定部７０５へ出力する。各マーカーの座標情報の生成方法は、実施形態１の座標生成部２０１が行う生成方法と同様である。

（Ｓ８０２）
歪み量算出部７０２は、座標生成部７０１から入力される座標情報（歪み座標情報）を基に、投影対象物１０３の歪み量を算出する。ここで、投影対象物１０３の歪み量とは、投影対象物１０３に含まれる各マーカーの移動量を示す。歪み量算出部７０２は、各マーカーの基準状態での座標情報（基準座標情報）と歪み座標情報の差分をとることで各マーカーの移動量を算出する。なお、画像投影システムを設置する際に、ユーザーが事前に基準座標情報を取得しておくとよい。歪み量算出部７０２は、算出した歪み量を変化判定部７０３と補正処理部７０６へ出力する。

［Ｓ８０２において各マーカーの移動量を算出する方法］
ここで、図１０（Ａ）および図１０（Ｂ）を用いて、各マーカーの移動量を算出する方法を説明する。図１０（Ａ）および図１０（Ｂ）は投影対象物１０３の形状が基準状態から形状が変化する様子を示した図である。基準状態とは、本実施形態では、図１に示すように画像投影装置１０と投影対象物１０３が正対、かつ投影対象物１０３が平面である状態を示す。

図１０（Ａ）は投影対象物１０３の形状が基準状態であることを示している。図１０（Ｂ）は投影対象物１０３の形状が風等により基準状態から形状が変化した状態であることを示している。

まず、事前に、投影対象物１０３を基準状態にし、埋め込まれた各マーカーの座標情報を取得しておく。この座標情報が基準座標情報である。次に、歪み量算出部７０２は、風等により形状が変化した状態の各マーカーの座標情報を座標生成部７０１から取得する。この座標情報が歪み座標情報である。

歪み量算出部７０２は、基準座標情報と歪み座標情報の差分をとることで各マーカーの移動量を算出する。例えば、図１０（Ａ）に示す黒丸のマーカーの基準座標情報が（ｏ,
ｐ）であり、図１０（Ｂ）に示す黒丸のマーカーの歪み座標情報が（ｑ，ｒ）であるとする。このとき、ｘ座標同士およびｙ座標同士の差分をとると、移動量は水平方向（横方向）に｜ｏ−ｑ｜と垂直方向（縦方向）に｜ｐ−ｒ｜である。なお、水平方向の移動量、垂
直方向の移動量を算出する場合、その２つの移動量のうち大きい方を当該マーカーの移動量とするとよい。なお、水平方向、垂直方向に別々に移動量を算出する必要はなく、例えば、基準座標情報と歪み座標情報との距離＝｛（（ｏ−ｑ）^２＋（ｐ−ｒ）^２）の平方根｝を移動量としてもよい。

なお、この例では投影対象物１０３が旗である場合を説明しているが、これに限定されるものではなく、バルーンのような球状の形状である投影対象物であってもよい。以上が、移動量を算出する方法の説明である。

（Ｓ８０３）
変化判定部７０３は、ユーザーが予め設定した変形閾値を基準に、歪み量算出部７０２から入力される投影対象物１０３の歪み量（各マーカーの移動量）から投影対象物１０３の変形度を判定する。変化判定部７０３は、投影対象物１０３の変形度が変形閾値より大きければ、投影対象物１０３の変化が「変形」であると判定し、変形度が変形閾値以下であれば、投影対象物１０３の変化が「歪み」であると判定する。判定結果は変化情報として追従判定部７０４へ出力される。

［Ｓ８０３において投影対象物１０３の変化を判定する方法］
まず、変化判定部７０３は、全てのマーカーから、所定期間における移動量の最大値が最も大きな値をとるマーカーを選択する。本実施形態では、この選択されたマーカーの移動量の所定期間における最大値を投影対象物１０３の変形度とよぶ。そして、変化判定部７０３は変形度が変形閾値以下であれば、投影対象物１０３の変化を「歪み」と判定し、変形度が変形閾値より大きければ、投影対象物１０３の変化を「変形」と判定する。なお、変化判定部７０３は、全てのマーカーから所定期間における移動量の最大値が最も大きな値をとるマーカーを選択しているが、全てのマーカーから選択する必要はなく、所定の数のマーカーから選択してもよい。なお、本実施形態では、変形閾値はユーザーからの入力により設定されるが、変化判定部７０３が投影対象物１０３のサイズが大きいほど大きな値に設定してもよいし、変化判定部７０３が投影対象物１０３の形状に応じ設定してもよい。

以下にて、マーカーＰ１，Ｐ２，Ｐ３の移動量ｄが歪み量算出部７０２から入力された場合の投影対象物１０３の変化の判定方法を図１１を用いて示す。図１１は、マーカーＰ１，Ｐ２，Ｐ３の所定期間０〜ｔ１での移動量ｄの遷移を示しており、縦軸が移動量ｄ、横軸が時間を示している。図１１では、直線がマーカーＰ１の移動量ｄの変化、破線がマーカーＰ２の移動量ｄの変化、一点破線がマーカーＰ３の移動量ｄの変化を示している。また、図１１の場合において、変形閾値はｓであるとする。このとき、所定期間０〜ｔ１での、マーカーＰ１の移動量ｄの最大値はｄ１であり、同じ期間におけるマーカーＰ２，Ｐ３の移動量ｄの最大値ｄ２，ｄ３よりも大きい。したがって、変化判定部７０３は、マーカーＰ１の移動量の最大値ｄ１を投影対象物１０３の変形量として決定する。

そして、変化判定部７０３は、変形量ｄ１と変形閾値ｓを比較する。図１１に示すように、変形量ｄ１は変形閾値ｓよりも大きいため、変化判定部７０３は投影対象物１０３の変化を「変形」と判定する。

なお、投影対象物１０３の形状の変化を判定する方法は上述の例に限らない。例えば、あるフレームでの全マーカー（または所定の数のマーカー）の移動量のうち最大のものを変形度としてもよい。横方向、縦方向ごとにマーカーの移動量を算出している場合は、全マーカーの横方向の移動量の中で最も大きなものと全マーカーの縦方向の移動量の中で最も大きなものとの２つのうち大きい方を、変形度としてもよい。また、変形度を利用せずに、例えば、投影対象物１０３が含むマーカーのうち最も右上のマーカーと最も左下のマ
ーカーとの距離が所定の値以下をとったら投影対象物１０３の変化は「変形」、それ以外であれば「歪み」と判定されても良い。この判定方法では、投影対象物１０３が位置変化している場合においても、投影対象物１０３の形状の変化を判定できる。なお、所定の距離は、例えば、基準状態における最も右上のマーカーと最も左下のマーカーとの距離に所定の係数（８０％など）を乗じた値にするとよい。また、上述のように基準状態において最も離れているマーカー同士である最も右上と左下のマーカーに限らず、任意の２つのマーカー同士の距離を用いて判定が行われてもよい。

（Ｓ８０４）
追従判定部２０３は、変化情報から、投影対象物１０３に対し追従投影を実施するか否かを判定する。変化情報が「変形」である場合は、Ｓ８０５へ遷移する。変化情報が「歪み」である場合は、Ｓ８０６へ遷移する。

（Ｓ８０５）
投影位置決定部７０５は、変化情報が「変形」である場合、追従投影を実施するように投影位置を決め、投影位置情報を補正処理部７０６へ出力する。例えば、図１２（Ａ）は、投影対象物１０３の形状変化が大きいときの画像投影を示した図である。投影対象物１０３が形状変化し、投影画像１０５を追従投影している状態である。図１２（Ａ）が示すような場合は、変形度が大きいため、投影位置決定部７０５は、投影対象物１０３の形状に合わせるように投影画像１０５の投影位置を決めている。

（Ｓ８０６）
投影位置決定部７０５は、変化情報が「歪み」である場合、追従投影しないように投影位置を決め、投影位置情報を補正処理部７０６へ出力する。例えば、図１２（Ｂ）は投影対象物１０３の形状変化が小さいときの画像投影を示した図である。図１２（Ｂ）が示すような場合は、変形度が小さいため、投影位置決定部７０５は、追従投影を実施しないように制御している。

（Ｓ８０７）
補正処理部７０６は、追従投影を行う場合は、投影位置決定部７０５で決定された投影位置や入力画像に対し補正を行う。この補正は、自由曲面補正などの投影対象物１０３の形状変化に追従させるための画像処理である。補正処理部７０６は、この補正に対応した画像を投影部２０６へ出力し、投影部２０６は、投影対象物１０３へ画像を投影する。

［効果］
以上、実施形態２によれば、形状が変化する投影対象物へ投影する画像投影装置において、投影対象物の形状の変化が少ない場合には、追従投影を行わないことで投影画像の視認性を向上することができる。

［変形例１］
実施形態１では投影対象物１０３の変化は位置の変化であることを前提に、実施形態２では投影対象物１０３の変化は形状の変化であることを前提に、追従投影の実行を判断している。しかし、本変形例では、投影対象物１０３の変化が、位置の変化であるか形状の変化であるかが事前に不明である場合の追従投影の実行の判断について説明する。

図１３は、本変形例の画像投影装置の基本動作のフローチャートである。図１３における、Ｓ８０１〜Ｓ８０７は図９、Ｓ３０２〜Ｓ３０６は図３の同名のステップと同じ処理を行うために説明は省略する。本変形例では、Ｓ８０２において各マーカー（目印）の移動量を検出した後にＳ１２０１の処理が行われる。

Ｓ１２０１では、まず、取得した各マーカーの移動量（基準状態からの移動量）を比較する。比較して各マーカーのそれぞれの移動量が等しければ、投影対象物１０３の変化は位置の変化であると判断され、Ｓ３０２に遷移する。つまり、Ｓ３０２に遷移し、投影対象物１０３の変化が「揺れ」か「揺れ以外の移動」かの判定がされる。各マーカーのそれぞれの移動量が異なっていれば、投影対象物１０３の変化は形状の変化であると判断され、実施形態２と同様に投影対象物１０３の変化が「変形」か「歪み」かが判定される。このとき、各マーカーの移動量の差が小さい場合（例えば各マーカーの移動量の平均値から所定の閾値以内）であっても、各マーカーの移動量が等しい（同じである）としてもよい。また、この比較は投影対象物１０３の全てのマーカーを対象に行われる必要はなく、任意の数のマーカーで行われてもよい。また、所定期間内で各マーカーの移動量が等しい状態を持続している場合にのみ、Ｓ３０２に遷移してもよい。なお、投影対象物の変化が位置変化か形状変化かの判断は、マーカー同士の距離によって判断されてもよい。例えば、基準状態でのマーカー同士の平均距離と投影対象物の変化後のマーカー同士の平均距離との差が所定の閾値以内であれば位置変化、所定の閾値より大きければ形状変化と判断してもよい。

以上より、各マーカーの移動量が等しいか否かで、投影対象物の変化が形状であるか位置であるかが判断できるため、投影対象物の変化が事前に形状なのか位置なのかが不明であっても、変化に応じて追従投影を行うか否かを判定することができる。よって、投影対象物の位置の変化、形状の変化が共に起こりえる場合に、柔軟に投影対象物への追従投影を行うか否かを切り替えることができる。

なお、本変形例では投影対象物１０３の変化が「揺れ」か「揺れ以外の移動」かの位置の変化の判定と、「歪み」か「変形」かの形状の変化の判定とのうち１つの判定のみを行ったが、２つの判定を両方おこなってもよい。その場合、投影対象物１０３の変化が「揺れ」であり、かつ、「歪み」であると判定された場合に、追従投影を行わず、それ以外の場合は追従投影を行うとよい。投影対象物１０３の位置または形状の変化のうち一方が「揺れ以外の移動」もしくは「変形」であると判定された場合は、他方の変化がどのようなものであっても追従投影する方が望ましいからである。これにより、位置の変化または形状の変化のみの判定を行うよりも、投影対象物１０３の変化に対応した追従投影の制御ができる。

なお、上記の各実施形態の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサーと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサーがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１： 制御装置
２０２： 変化判定部
２０３： 追従判定部

Claims (14)

1. 投影対象物に対し投影を行う画像投影装置を制御する制御装置であって、
   基準状態からの前記投影対象物の変化を判定する変化判定手段と、
   前記投影対象物の変化が所定の変化であれば、前記投影対象物の変化に応じた追従投影を行わないと判定し、前記投影対象物の変化が前記所定の変化でなければ、前記追従投影を行うと判定する追従判定手段と、
   を備え、
   前記所定の変化は、前記投影対象物の位置の回帰的な変化、または、前記投影対象物の前記基準状態からの変形度が第１閾値以下である形状の変化である、
   ことを特徴とする制御装置。
2. 前記所定の変化は、前記投影対象物の位置の回帰的な変化、かつ、前記投影対象物の前記基準状態からの変形度が第１閾値以下である形状の変化である、
   ことを特徴とする請求項１に記載の制御装置。
3. 投影対象物が撮影された撮影画像が入力される入力手段と、
   前記撮影画像から前記投影対象物の座標情報を生成する座標生成手段と、
   を更に備え、
   前記変化判定手段は、前記座標情報に応じて前記投影対象物の変化を判定する、
   ことを特徴とする請求項１または請求項２に記載の制御装置。
4. 前記変化判定手段は、
   前記投影対象物が前記基準状態から位置を変えて再び前記基準状態の位置に戻る場合に、前記投影対象物が位置の回帰的な変化をしていると判定する、
   ことを特徴とする請求項１から３のいずれか１項に記載の制御装置。
5. 前記変化判定手段は、前記基準状態から位置を変えて再び前記基準状態の位置に戻るまでの揺れ期間での前記投影対象物の変化量が第２閾値以下であれば、前記投影対象物が位置の回帰的な変化をしていると判定し、
   前記変化量は、フレームごとの前記投影対象物と前記基準状態の前記投影対象物との距離の前記揺れ期間の中での総和である、
   ことを特徴とする請求項４に記載の制御装置。
6. 前記変化判定手段は、
   前記変化量が前記第２閾値以下であっても、前記揺れ期間の中で前記画像投影装置の投影範囲外に前記投影対象物が位置する場合があれば、前記投影対象物が位置の回帰的な変化をしていないと判定する、
   ことを特徴とする請求項５に記載の制御装置。
7. 前記変化判定手段は、
   前記投影対象物が前記基準状態から位置を変えて再び前記基準状態の位置に戻るまでの揺れ期間と、前記揺れ期間での前記投影対象物と前記基準状態の前記投影対象物との距離の最大値とに応じて、前記投影対象物が位置の回帰的な変化をしているか否かを判定する、
   ことを特徴とする請求項４に記載の制御装置。
8. 前記変化判定手段は、
   前記投影対象物に含まれる１つの目印の前記基準状態からの移動量を、前記基準状態から位置を変えた前記投影対象物と前記基準状態の前記投影対象物との距離として、前記投
   影対象物の変化を判定する、
   ことを特徴とする請求項５から７のいずれか１項に記載の制御装置。
9. 前記変化判定手段は、
   前記投影対象物に含まれる複数の目印の前記基準状態からの移動量の中で最も大きなものを、前記変形度と決定する、
   ことを特徴とする請求項１から８のいずれか１項に記載の制御装置。
10. 前記変化判定手段は、
    前記投影対象物に含まれる複数の目印の前記基準状態からの横方向の移動量の中で最も大きなものと前記複数の目印の前記基準状態からの縦方向の移動量の中で最も大きなものとの２つのうち大きい方を、前記変形度と決定する、
    ことを特徴とする請求項１から８のいずれか１項に記載の制御装置。
11. 投影対象物に対し投影を行う画像投影装置であって、
    基準状態からの前記投影対象物の変化を判定する変化判定手段と、
    前記投影対象物の変化が所定の変化であれば、前記投影対象物の変化に応じた追従投影を行わないと判定し、前記投影対象物の変化が前記所定の変化でなければ、前記追従投影を行うと判定する追従判定手段と、
    前記追従判定手段の前記判定に応じて、画像の投影を行う投影手段と、
    を備え、
    前記所定の変化は、前記投影対象物の位置の回帰的な変化、または、前記投影対象物の前記基準状態からの変形度が第１閾値以下である形状の変化である、
    ことを特徴とする画像投影装置。
12. 前記投影対象物を撮影する撮像手段を更に備える、
    ことを特徴とする請求項１１に記載の画像投影装置。
13. 投影対象物に対し投影を行う画像投影装置を制御する制御方法であって、
    基準状態からの前記投影対象物の変化を判定する変化判定工程と、
    前記投影対象物の変化が所定の変化であれば、前記投影対象物の変化に応じた追従投影を行わないと判定し、前記投影対象物の変化が前記所定の変化でなければ、前記追従投影を行うと判定する追従判定工程と、
    を含み、
    前記所定の変化は、前記投影対象物の位置の回帰的な変化、または、前記投影対象物の前記基準状態からの変形度が第１閾値以下である形状の変化である、
    ことを特徴とする制御方法。
14. 請求項１３に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images