JP2015045751A - 投影装置 - Google Patents

Abstract

【課題】対象物の多くの面へ適切に投影すること。
【解決手段】投影装置は、対象物１００へ直接投影する第１領域Ｃ、および対象物１００へ反射部材４０、３０を介して投影する第２領域Ｌ、Ｒを有する投影画像１０Ａを生成する投影画像生成部２０と、投影画像１０Ａを対象物１００および反射部材４０、３０へ向けて投影する投影部１０と、を備え、投影画像生成部２０は、反射部材４０、３０の位置、向きに基づいて投影画像１０Ａにおける第２領域Ｌ、Ｒを決める。
【選択図】図３

Description

本発明は、投影装置に関する。

レンジセンサによって対象物の形状を測定し、それをトラッキングしながら動く対象物に画像を投影するプロジェクションマッピング技術が知られている（特許文献１参照）。

特表２００５−５００７１９号公報

一般に、プロジェクションマッピングでは、プロジェクタの投影光が当たる対象物の面にのみ投影され、投影光が当たらない対象物の面は陰になるという問題があった。

請求項１に記載の投影装置は、対象物へ直接投影する第１領域、および対象物へ反射部材を介して投影する第２領域を有する投影画像を生成する投影画像生成部と、投影画像を対象物および反射部材へ向けて投影する投影部と、を備え、投影画像生成部は、反射部材の位置、向きに基づいて投影画像における第２領域を決めることを特徴とする。
請求項１０に記載の投影装置は、対象物へ直接投影する第１領域、および対象物へ反射部材を介して投影する第２領域を有する投影画像を生成する投影画像生成部と、投影画像を対象物および反射部材へ向けて投影する投影部と、対象物および対象物の像を映す反射部材を撮像する撮像部と、を備え、投影画像生成部は、撮像部で撮像された画像から反射部材に映る対象物の像の位置、形状を推定し、推定結果に応じて第２領域を決めることを特徴とする。

本発明による投影装置では、対象物の多くの面へ適切に投影できる。

本発明の第一実施形態による投影装置の使用場面を例示する図である。 図１の制御装置およびプロジェクタの要部構成を説明するブロック図である。 本発明の第二実施形態による投影装置の使用場面を例示する図である。 図４(a)、(b)は、反射ミラーを例示する図である。図４(c)は、フレーム画像を例示する図である。 図３の制御装置、カメラ、およびプロジェクタの要部構成を説明するブロック図である。 ３Ｄモデルの回転を説明する図である。 図７(a)、(b)は、反射ミラーを例示する図である。図７(c)は、フレーム画像を例示する図である。 第四実施形態におけるカメラ、制御装置、およびプロジェクタの要部構成を説明するブロック図である。 カメラで撮像されたフレーム画像を例示する図である。

以下、図面を参照して本発明を実施するための形態について説明する。
（第一実施形態）
＜使用場面の説明＞
図１は、本発明の第一実施形態による投影装置の使用場面を例示する図である。プロジェクタ１０は、対象物１００（本例ではカメラ）に向けて、所定の画像を投影する。所定の画像は、対象物１００の表面に描画したり、文字等を付したり、着色したり、表面の質感を表現したりするための絵、色地、地紋、パターン、文字や記号、テクスチャ素材等を含む画像である。

図１において、プロジェクタ１０から見て対象物１００の左に反射ミラー４０が配置され、対象物１００の右に反射ミラー３０が配置されている。反射ミラー４０および反射ミラー３０はそれぞれ、プロジェクタ１０からの投影光を反射し、プロジェクタ１０からの投影光が直接届かない対象物１００の面へ投影光を導くように、その位置および向きがあらかじめ調節され、固定されている。これにより、プロジェクタ１０による投影像が、プロジェクタ１０と対向する対象物１００の面（本例ではカメラの右側面）へ直接投影されるとともに、対象物１００の他の面（本例ではカメラの正面と背面）に対しては、反射ミラー４０および反射ミラー３０を介して間接的に投影される。

＜投影制御の説明＞
図１において、プロジェクタ１０から見た対象物１００の位置、および反射ミラー４０および反射ミラー３０の位置が既知でないと、対象物１００に対して画像を投影することが困難である。そこで、第一実施形態では、対象物１００の位置を示す情報と、反射ミラー４０および反射ミラー３０の位置および向きを示す情報とが、あらかじめ制御装置２０Ｃ内に記録される。

図１の制御装置２０Ｃは、例えば、パーソナルコンピュータやタブレット型コンピュータ等によって構成される。制御装置２０Ｃは、上記制御装置２０Ｃ内に記録されている情報に基づいてプロジェクタ１０が投影する投影画像１０Ａを生成する。図１の右下部に、投影画像１０Ａを例示する。投影画像１０Ａは、反射ミラー４０へ向けて投影される領域Ｌと、対象物１００へ向けて直接投影される領域Ｃと、反射ミラー３０へ向けて投影される領域Ｒとを含む。

＜ブロック図の説明＞
図２は、図１の制御装置２０Ｃとプロジェクタ１０の要部構成を説明するブロック図である。制御装置２０Ｃは、投影像生成部２３と、制御部２４と、記憶部２５とを含む。第一実施形態では、記憶部２５にあらかじめ記録されている情報に基づく対象物１００の位置、反射ミラー４０と反射ミラー３０の位置および向きに応じて、投影像生成部２３が、上記領域Ｃ、領域Ｌ、領域Ｒに含める画像を決定する。投影像生成部２３は、領域Ｃに直接投影する画像を含め、領域Ｌおよび領域Ｒに、間接的に投影する画像を含める。

例えば、投影像生成部２３は、記憶部２５に記録されている位置情報に基づいて、投影画像１０Ａにおける領域Ｃ、領域Ｌ、領域Ｒの位置をそれぞれ決定する。投影画像１０Ａにおける領域Ｃ、領域Ｌ、領域Ｒのサイズは、対象物１００の大きさや、反射ミラー３０および反射ミラー４０の大きさに合わせて、所定サイズの初期値が定められている。投影像生成部２３は、投影画像１０Ａのうち領域Ｃ、領域Ｌおよび領域Ｒ以外の他の領域に対しては、例えば黒画像を生成することによって、何も投影しないようにする。

また、投影像生成部２３は、記憶部２５に記録されている反射ミラー４０および反射ミラー３０の向きの情報に基づいて、投影画像１０Ａにおける領域Ｌ、領域Ｒのサイズを調節する。例えば、反射ミラー４０の正面が対象物１００側に向くほど領域Ｌの水平方向のサイズを短くし、反射ミラー４０の正面がプロジェクタ１０側に向くほど領域Ｌの水平方向のサイズを長くする。同様に、反射ミラー３０の正面が対象物１００側に向くほど領域Ｒの水平方向のサイズを短くし、反射ミラー３０の正面がプロジェクタ１０側に向くほど領域Ｒの水平方向のサイズを長くする。

制御部２４は、制御装置２０Ｃの各部に対する制御の他、制御装置２０Ｃとプロジェクタ１０との間の通信を行う。記憶部２５は、上述した所定の画像（対象物１００の表面に描画したり、文字等を付したり、着色したり、表面の質感を表現したりするための絵、色地、地紋、パターン、文字や記号、テクスチャ素材等を含む画像）や、上述した対象物１００の位置、反射ミラー４０と反射ミラー３０の位置および向きの情報を格納する。

以上の制御装置２０Ｃは、必ずしもプロジェクタ１０と分離させておく必要がなく、プロジェクタ１０に制御装置２０Ｃを内蔵させて、プロジェクタ１０と一体に構成してもよい。また、例えば、プロジェクタ１０の内部に、制御装置２０Ｃを含む構成としてもよい。つまり、図２に例示した投影装置の構成は、ユーザの要望に合わせて適宜変更して構わない。

プロジェクタ１０は、投影光学系１１と、変調素子１２と、光源１３と、制御部１４とを含む。光源１３は、変調素子１２を照明する。変調素子１２は、例えばデジタルマイクロミラーデバイス（ＤＭＤ）によって構成され、制御装置２０からの映像信号に基づいて照明光を変調する。投影光学系１１は、変調素子１２によって変調された光の像を投影する。

変調素子１２のミラー駆動面（不図示）は、上記投影画像１０Ａ（図１）に対応させて、形式的に複数の領域に分割される。例えば、領域Ｌに対応させて照明光を変調する第１領域と、領域Ｃに対応させて照明光を変調する第２領域と、領域Ｒに対応させて照明光を変調する第３領域と、に分けられる。

以上説明した第一の実施形態によれば、以下の作用効果が得られる。
（１）投影装置は、対象物１００へ直接投影する領域Ｃ、および対象物１００へ反射ミラー４０、３０を介して投影する領域Ｌ、Ｒを含む投影画像１０Ａを生成する投影像生成部２３と、投影画像１０Ａを対象物１００および反射ミラー４０、３０へ向けて投影するプロジェクタ１０と、を備え、投影像生成部２３は、反射ミラー４０、３０の位置、向きに基づいて、投影画像１０Ａにおける領域Ｌ，Ｒの位置、大きさおよび形状を決めるようにした。これにより、対象物１００において、従来は陰となっていた部分など多くの面へ投影できる。また、対象物１００から外れた位置へ反射する無駄な投影を避け、適切に投影を行える。

（２）反射ミラー４０、３０の位置、向きの情報を、あらかじめ記憶部２５に記憶させておくようにした。反射ミラー３０、４０の位置、向きが既知となることで、反射ミラー３０、４０の位置、向きを推定しなくてよいので、投影処理の高速化に役立つ。

（３）投影像生成部２３は、記憶部２５にあらかじめ記録されている情報に基づく対象物１００の位置に応じて、投影画像１０Ａにおける領域Ｃに含める画像を決定するようにした。これにより、対象物１００から外れた位置へ反射する無駄な投影を避け、適切に投影を行える。

（第二実施形態）
第二実施形態では、カメラ５０で撮像したフレーム画像５０ｃに含まれる対象物１００、反射ミラー４０および反射ミラー３０の像に基づいて、対象物１００の位置、反射ミラー４０および反射ミラー３０の向きおよび位置を推定する。

図３は、本発明の第二実施形態による投影装置の使用場面を表す図である。第一の実施形態（図１）と比べて、デジタルカメラ５０が追加される点、反射ミラー３０に代えて反射ミラー３０ｃが用いられる点、反射ミラー４０に代えて反射ミラー４０ｃが用いられる点、および制御装置２０Ｃに代えて制御装置２０が用いられる点が異なる。

カメラ５０は、プロジェクタ１０の近傍（図３の例ではプロジェクタ１０の上）に配置される。カメラ５０は、被写体像を所定のフレームレート（例えば６０ｆｐｓ）で撮像し、撮像したフレーム画像を通信によって制御装置２０へ送信する。通信は、無線通信でも有線通信でもよい。カメラ５０は、なるべくプロジェクタ１０に近い位置へ配置することが好ましい。カメラ５０の撮像光学系とプロジェクタ１０の投影光学系との間の視差が抑えられるからである。

図４(a)は、反射ミラー３０ｃを例示する図であり、図４(b)は、反射ミラー４０ｃを例示する図である。反射ミラー３０ｃおよび反射ミラー４０ｃには、それぞれ所定のマークＭ（例えばＡＲマーカ）が四隅に付されている。ＡＲマーカについては、“Marker tracking and hmdcalibration for a video-based augmented reality conferencing system.", In Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality (IWAR 99), October 1999)”に開示される。

なお、マークＭは、その形状が正方形など既知の形状であればよいので、ＡＲマーカの代わりにＧＲコード（登録商標）を付してもよい。

図４(c)は、カメラ５０で撮像されたフレーム画像５０ｃを例示する図である。図４(c)において、対象物１００の左側に配された反射ミラー４０ｃの像に、図４(b)のマークＭが映っている。また、対象物１００の右側に配された反射ミラー３０ｃの像に、図４(a)のマークＭが映っている。

＜ブロック図の説明＞
図５は、図３のカメラ５０、制御装置２０、およびプロジェクタ１０の要部構成を説明するブロック図である。カメラ５０は、撮像光学系５１と、撮像素子５２と、画像処理部５３と、制御部５４とを含む。撮像光学系５１は、撮像素子５２の撮像面上に被写体像（対象物１００および左右の反射ミラー４０ｃ、反射ミラー３０ｃ）を結像させる。撮像素子５２は、例えばベイヤ配列されたカラーフィルタを通して被写体像を撮像し、ＲＧＢ表色系で表された画像データを出力する。画像処理部５３は、画像データに所定の画像処理（例えば、輪郭強調など）を行う。制御部５４は、カメラ５０の各部に対する制御、および制御装置２０との間の通信を行う。

制御装置２０は、マッチング処理部２１と、推定部２２と、投影像生成部２３と、制御部２４と、記憶部２５とを含む。マッチング処理部２１は、カメラ５０から取得したフレーム画像５０ｃのデータに基づいてオブジェクトマッチング処理を行う。具体的には、フレーム画像５０ｃのデータに含まれる対象物１００（本例ではカメラの右側面）について、記憶部２５にあらかじめ記録されている対象物１００の３Ｄモデルとの間で、オブジェクトマッチング処理を行う。３Ｄモデルは、対象物１００の３次元形状を表すデータである。マッチング処理部２１は、図６に例示するように３Ｄモデルを回転させながら、カメラ５０で取得された画像と一致する条件（例えば、３Ｄモデルの回転角度）を探す。

推定部２２は、マッチング処理部２１による処理結果（３Ｄモデルの回転角度）に基づいて、プロジェクタ１０の投影先となる対象物１００の姿勢、および位置を推定する。第二実施形態では、推定部２２で推定された対象物１００の姿勢、位置に基づいて、投影像生成部２３が、領域Ｃに含める画像を決定する。例えば、投影像生成部２３は、推定された対象物１００の位置に基づいて、投影画像１０Ａにおける領域Ｃの位置を決定し、推定された対象物１００の姿勢における対象物１００の輪郭形状に合わせて、投影画像１０Ａにおける領域Ｃのサイズや形状をそれぞれ決定する。

推定部２２はさらに、フレーム画像５０ｃのデータに含まれるマークＭの向きに基づいて、反射ミラー４０ｃおよび反射ミラー３０ｃの向きおよび位置を推定する。第二実施形態では、推定部２２で推定された反射ミラー４０ｃおよび反射ミラー３０ｃの向き、位置に基づいて、投影像生成部２３が、領域Ｌおよび領域Ｒに含める画像を決定する。

例えば、反射ミラー４０ｃおよび反射ミラー３０ｃの向きおよび位置がわかると、反射ミラー４０ｃおよび反射ミラー３０ｃと上記対象物１００との位置関係がわかる。これにより、反射ミラー４０ｃの位置から対象物１００を見る方向（角度）が明らかになるので、この角度情報を上記３Ｄモデルに適用することで、反射ミラー４０ｃの位置から見える対象物１００の輪郭形状を推定できる。同様に、反射ミラー３０ｃの位置から対象物１００を見る方向（角度）がわかるので、この角度情報を上記３Ｄモデルに適用することで、反射ミラー３０ｃの位置から見える対象物１００の輪郭形状を推定できる。投影像生成部２３は、上記推定された対象物１００の輪郭形状に合わせて、投影画像１０Ａにおける領域Ｌおよび領域Ｒのサイズや形状をそれぞれ決定する。

また、投影像生成部２３は、推定部２２により推定された反射ミラー４０ｃおよび反射ミラー３０ｃの位置に合わせて、投影画像１０Ａにおける領域Ｌ、領域Ｒの位置をそれぞれ決定する。

投影像生成部２３は、例えば対象物１００が回転するなどして静止していない場合において、リアルタイムに変化する対象物１００の位置および姿勢（輪郭形状）に応じてテクスチャ素材等の投影サイズや形状、および投影位置をリアルタイムに移動させるように、所定のフレームレート（例えば６０ｆｐｓ）で撮像されるフレーム画像５０ｃに基づいて、投影する画像を逐次変更する。このような処理により、投影画像１０Ａの生成が対象物１００の動きに合わせてリアルタイムに行われる。投影像生成部２３で生成された投影画像１０Ａは、プロジェクタ１０から投影させるため、制御部２４によってプロジェクタ１０へ送出される。

制御部２４は、制御装置２０の各部に対する制御の他、制御装置２０とカメラ５０との間、および制御装置２０とプロジェクタ１０との間の通信を行う。記憶部２５は、上述した所定の画像（対象物１００の表面に描画したり、文字等を付したり、着色したり、表面の質感を表現したりするための絵、色地、地紋、パターン、文字や記号、テクスチャ素材等を含む画像）や、対象物１００の３Ｄモデルデータを格納する。

以上の制御装置２０は、必ずしもプロジェクタ１０と分離させておく必要がなく、プロジェクタ１０に制御装置２０を内蔵させて、プロジェクタ１０と一体に構成してもよい。また、例えば、プロジェクタ１０の内部に、カメラ５０や制御装置２０を含む構成としてもよい。つまり、図３に例示した投影装置の構成は、ユーザの要望に合わせて適宜変更して構わない。プロジェクタ１０は、第一実施形態で用いるものと同様であるので、説明を省略する。

上述した推定部２２が、プロジェクタ１０の投影先となる対象物１００の姿勢および位置を推定する際に、より推定精度を高めるために、キネクト（Kinect(商標)）センサと呼ばれる３Ｄ情報を取得できるデバイスを用いてもよい。推定部２２は、このセンサで取得される３次元形状情報に基づいて、対象物１００の位置や姿勢を得る。キネクトセンサは、ＲＧＢ方式カメラに加えて、奥行き（センサからの距離）測定用の赤外光カメラを備えており、対象物１００の各部位についての３次元形状情報を取得する。なおこの場合は、形状を測定するために、カメラとプロジェクタとの距離を所定の距離だけ離して配置することが好ましい。

また、３次元形状情報を取得するために、視認が困難なランダムパターン（表面形状が表われるパターン）を埋め込んだ投影画像をプロジェクタ１０から対象物１００に投影し、これを撮像したフレーム画像５０ｃに基づいて、画像に含まれるパターンを解析することによって対象物１００の３次元形状情報を取得するようにしてもよい。この場合にも、対象物１００の姿勢および位置を推定する際の推定精度を高めることができる。この技術は、“Making any planar surface into a touch-sensitive display by a mere projector and camera, PROCAMS, 2012, pp.35-42”に記載されている。上述したような視認が困難なランダムパターンを投影画像に埋め込む一例として、プロジェクタ１０から赤外光によるランダムパターン画像を投影させるようにしてもよい。ランダムパターンが目立ってユーザにとって目障りになることを防止できる。

上記反射ミラー３０ｃおよび反射ミラー４０ｃに付されたマークＭは、目立ち過ぎるとユーザにとって目障りな存在となる。この場合には、プロジェクタ１０からの投影によって、マークＭを見づらくすることが望ましい。例えば、“Appearance control using projection with model predictive control. In Proc. of International, Conference on Pattern Recognition, pages 2832-2835, Los Alamitos, CA, USA, 2010. IEEE Computer Society”を応用するとよい。

以上説明した第二実施形態によれば、第一の実施形態に比べて、次の作用効果が得られる。
（１）投影装置は、対象物１００および対象物１００の像を映す反射ミラー４０ｃ、３０ｃを撮像するカメラ５０を備え、投影像生成部２３は、カメラ５０で撮像された画像から反射ミラー４０ｃ、３０ｃの位置、向きを推定し、推定結果に応じて領域Ｌ、Ｒの位置、大きさ、形状を決めるようにしたので、対象物１００から外れた位置へ反射される無駄な投影を避け得る。

（２）投影像生成部２３は、カメラ５０で撮像された画像から、反射ミラー４０ｃ、３０ｃに付されたマークＭに基づいて反射ミラー４０ｃ、３０ｃの位置、向きを推定し、推定結果に応じて領域Ｌ、Ｒの位置、大きさ、形状を決めるようにしたので、投影画像１０Ａにおける領域Ｌ、Ｒを適切に決定できる。

（３）投影像生成部２３は、カメラ５０で撮像された画像から、対象物１００の位置、形状を推定し、推定結果に応じて領域Ｃを決めるようにしたので、投影画像１０Ａにおける領域Ｃを適切に決定し、対象物１００から外れた位置への無駄な投影を避け得る。

（４）プロジェクタ１０は、対象物１００の表面形状を表すランダムパターンを投影し、投影像生成部２３は、カメラ５０で撮像されたランダムパターンを含む画像から対象物１００の位置、形状を推定し、推定結果に応じて領域Ｃの位置、大きさ、形状を決めるようにしたので、対象物１００から外れた位置への無駄な投影を避けることができる。また、対象物１００の位置、形状の推定精度も高められる。

（５）ランダムパターンを赤外光で投影することで、ランダムパターンが目立ってユーザにとって目障りになることを防止できる。

（第三実施形態）
第二実施形態では、反射ミラー３０ｃおよび反射ミラー４０ｃの四隅にそれぞれマークＭを付したが、第三実施形態では、反射ミラー３０ｃおよび反射ミラー４０ｃに代えて、フレーム（枠）を有する反射ミラー３０ｄおよび反射ミラー４０ｄを備える。

本発明の第三実施形態による投影装置の使用場面は、第二実施形態と同様に図３で表すことができる。ただし、反射ミラー３０ｃに代えて反射ミラー３０ｄを用い、反射ミラー４０ｃに代えて反射ミラー４０ｄを用いる。

図７(a)は、反射ミラー３０ｄを例示する図であり、図７(b)は、反射ミラー４０ｄを例示する図である。反射ミラー３０ｄおよび反射ミラー４０ｄには、それぞれ端部にフレームＦが設けられている。

図７(c)は、カメラ５０で撮像されたフレーム画像５０ｄを例示する図である。図７(c)において、対象物１００の左側に配された反射ミラー４０ｄの像に、フレームＦが映っている。また、対象物１００の右側に配された反射ミラー３０ｄの像に、フレームＦが映っている。

第三実施形態では、第二実施形態と同様に、フレーム画像５０ｃのデータに含まれる対象物１００（本例ではカメラの右側面）に対してのみ、記憶部２５にあらかじめ記録されている対象物１００の３Ｄモデルとの間でオブジェクトマッチング処理を行う。オブジェクトマッチング処理自体は、第二実施形態と同様である。

推定部２２は、マッチング処理部２１による処理結果（３Ｄモデルの回転角度）に基づいて、プロジェクタ１０の投影先となる対象物１００の姿勢、および位置を推定する。そして、推定部２２で推定された対象物１００の姿勢、位置に基づいて、投影像生成部２３が、領域Ｃに含める画像を決定する。領域Ｃに対する画像の決定は、第二実施形態の場合と同様である。

推定部２２はさらに、フレーム画像５０ｄのデータに含まれるフレームＦの向きに基づいて、反射ミラー４０ｄおよび反射ミラー３０ｄの向きおよび位置を推定する。第三実施形態では、推定部２２で推定された反射ミラー４０ｄおよび反射ミラー３０ｄの向き、位置に基づいて、投影像生成部２３が、領域Ｌおよび領域Ｒに含める画像を決定する。反射ミラー４０ｄおよび反射ミラー３０ｄの向きおよび位置を推定した後の処理内容は、第二の実施形態と同様である。すなわち、推定部２２が、推定した反射ミラー４０ｄ（反射ミラー３０ｄ）の位置から対象物１００を見る方向（角度）を３Ｄモデルに適用して対象物１００の輪郭形状を求め、投影像生成部２３が、対象物１００の輪郭形状に合わせて投影画像１０Ａにおける領域Ｌ（領域Ｒ）のサイズや形状を決定する。

また、投影像生成部２３は、推定部２２により推定された反射ミラー４０ｄおよび反射ミラー３０ｄの位置に合わせて、投影画像１０Ａにおける領域Ｌ、領域Ｒの位置をそれぞれ決定する。

上述した推定部２２が、フレーム画像５０ｄのデータに含まれるフレームＦに基づいて、反射ミラー３０ｄおよび反射ミラー４０ｄの向きおよび位置を推定する際に、より精度を高めるために、上記キネクト（Kinect(商標)）センサと呼ばれる３Ｄ情報を取得できるデバイスを用いてもよい。

以上説明した第三実施形態によれば、第一の実施形態に比べて、次の作用効果が得られる。
（１）投影像生成部２３は、カメラ５０で撮像された画像から反射ミラー４０ｄ、３０ｄの位置、向きを推定し、推定結果に応じて領域Ｌ、Ｒの位置、大きさ、形状を決めるようにしたので、対象物１００から外れた位置へ反射される無駄な投影を避け得る。

（２）投影像生成部２３は、カメラ５０で撮像された画像から、反射ミラー４０ｄ、３０ｄに付された枠Ｆに基づいて反射ミラー４０ｄ、３０ｄの位置、向きを推定し、推定結果に応じて領域Ｌ、Ｒの位置、大きさ、形状を決めるようにしたので、投影画像１０Ａにおける領域Ｌ、Ｒを適切に決定できる。

（第四実施形態）
第一実施形態から第三実施形態では、反射ミラー３０（３０ｃまたは３０ｄ）および反射ミラー４０（４０ｃまたは４０ｄ）をあらかじめ適切な位置、向き（角度）にて固定しておく例を説明したが、第四実施形態では、反射ミラー３０および反射ミラー４０の向きをそれぞれ変更可能に構成する点が異なる。

本発明の第四実施形態による投影装置の使用場面は、第二実施形態と同様に図３で表すことができる。ただし、第四実施形態では、反射ミラー３０を駆動するアクチュエータ３０ｅ（図８）と、反射ミラー４０を駆動するアクチュエータ４０ｆ（図８）と、ミラーコントローラ６０（図８）が追加され、図３の制御装置２０に代えて制御装置２０Ｂが設けられる。

＜ブロック図の説明＞
図８は、第四実施形態におけるカメラ５０、制御装置２０Ｂ、およびプロジェクタ１０の要部構成を説明するブロック図である。カメラ５０は、図５を参照して説明したカメラ５０と同様なので説明を省略する。制御装置２０Ｂは、図５を参照して説明した制御装置２０と比べて、ミラー駆動指示部２６が追加されている点が異なる。ミラー駆動指示部２６は、推定部２２によって推定された対象物１００の位置へ正しく画像を投影するように、ミラーコントローラ６０に対して反射ミラー３０および反射ミラー４０の駆動指示を送出する。推定部２２が対象物１００の位置をオブジェクトマッチング処理によって推定する手法は、上述した第二実施形態や第三実施形態と同様である。

ミラーコントローラ６０は、アクチュエータ３０ｅに対する制御信号と、アクチュエータ４０ｆに対する制御信号とを出力する。アクチュエータ３０ｅは、ミラーコントローラ６０からの制御信号に応じて反射ミラー３０の位置および向き（角度）を変化させる。アクチュエータ４０ｆは、ミラーコントローラ６０からの制御信号に応じて反射ミラー４００の位置および向き（角度）を変化させる。

ミラーコントローラ６０は、駆動後のアクチュエータ３０ｅから、反射ミラー３０の位置および向き（角度）を示す情報を読み出してミラー駆動指示部２６へ送出する。また、ミラーコントローラ６０は、駆動後のアクチュエータ４０ｆから、反射ミラー４０の位置および向き（角度）を示す情報を読み出してミラー駆動指示部２６へ送出する。

第四の実施形態では、上述したように、反射ミラー３０および反射ミラー４０の位置および向き（角度）の情報を制御装置２０Ｂによって読み取り可能に構成することで、カメラ５０で取得されるフレーム画像のデータを解析しなくても、反射ミラー３０および反射ミラー４０の位置および向きを検出し得る。

推定部２２は、マッチング処理部２１による処理結果（３Ｄモデルの回転角度）に基づいて、プロジェクタ１０の投影先となる対象物１００の姿勢、および位置を推定する。そして、推定部２２が推定した対象物１００の姿勢、位置に基づいて、投影像生成部２３が、領域Ｃに含める画像を決定する。領域Ｃに対する画像の決定は、第二実施形態や第三実施形態の場合と同様である。

ミラー駆動指示部２６は、推定部２２によって推定された対象物１００の位置へ正しく画像を投影するように、ミラーコントローラ６０に対して反射ミラー３０および反射ミラー４０の駆動を指示する。これにより、対象物１００の正面と背面に対して、反射ミラー４０および反射ミラー３０を介して画像が適切に投影される。

推定部２２はさらに、反射ミラー４０の位置および向き（角度）を示す情報、反射ミラー３０の位置および向き（角度）を示す情報をミラー駆動指示部２６から受け取る。これにより、反射ミラー３０の位置から対象物１００を見る方向（角度）が明らかになるので、この角度情報を上記３Ｄモデルに適用することで、反射ミラー３０の位置から見える対象物１００輪郭形状を推定できる。同様に、反射ミラー４０の位置から対象物１００を見る方向（角度）がわかるので、この角度情報を上記３Ｄモデルに適用することで、反射ミラー４０の位置から見える対象物１００の輪郭形状を推定できる。投影像生成部２３は、上記推定した対象物１００の輪郭形状に合わせて、投影画像１０Ａにおける領域Ｌおよび領域Ｒのサイズや形状をそれぞれ決定する。

また、投影像生成部２３は、ミラー駆動指示部２６から受け取った反射ミラー４０および反射ミラー３０の位置に合わせて、投影画像１０Ａにおける領域Ｌ、領域Ｒの位置をそれぞれ決定する。

以上説明した第四実施形態によれば、第二の実施形態に比べて、次の作用効果が得られる。
（１）反射ミラー４０、３０の位置、向きの情報は、反射ミラー４０、３０の位置、向きを制御するミラーコントローラ６０から取得するようにしたので、反射ミラー４０、３０の位置、向きを推定する処理が不要となり、処理時間の短縮が可能となる。

（２）また、反射ミラー４０、３０の位置、向きを調節できる構成にしたので、反射ミラー４０、３０が固定で動かせない場合に比べて、反射ミラー４０、３０の大きさ（面積）にマージンを含めなくてよい。これにより、反射ミラー４０、３０の大きさを小さく抑えたり、より大きな対象物に対応させたりすることが可能となる。

また、反射ミラー４０、３０の位置、向きが既知となることで、第二実施形態や第三実施形態に比べて反射ミラー４０、３０の位置、向きを推定する処理負担が軽減され、投影処理の高速化が可能となる。

（第五実施形態）
第五実施形態では、投影像生成部２３が、反射ミラー４０、反射ミラー３０の位置、向きを求めることなしに、領域Ｌ、領域Ｒに含める画像を決定する。このためにマッチング処理部２１が、フレーム画像５０ｃに含まれる対象物１００（本例ではカメラの右側面）、フレーム画像５０ｃに含まれる反射ミラー４０に映る対象物１００の正面像１００ｆ、およびフレーム画像５０ｃに含まれる反射ミラー３０に映る対象物１００の背面像１００ｒに対し、３回のオブジェクトマッチング処理を行う。

本発明の第五実施形態による投影装置の使用場面は、第二実施形態と同様の図３で表すことができる。ただし、反射ミラー３０ｃに代えて反射ミラー３０を用い、反射ミラー４０ｃに代えて反射ミラー４０を用いる。

図９は、カメラ５０で撮像されたフレーム画像５０ｃを例示する図である。図９において、対象物１００の左側に配された反射ミラー４０に、対象物１００の正面像１００ｆが映っている。また、対象物１００の右側に配された反射ミラー３０に、対象物１００の背面像１００ｒが映っている。

＜ブロック図の説明＞
第五実施形態におけるカメラ５０、制御装置２０Ｂ、およびプロジェクタ１０の要部構成は、第二実施形態と同様の図５で表すことができる。マッチング処理部２１は、フレーム画像５０ｃに含まれる対象物１００（本例ではカメラの右側面）、フレーム画像５０ｃに含まれる反射ミラー４０に映る対象物１００の正面像１００ｆ、およびフレーム画像５０ｃに含まれる反射ミラー３０に映る対象物１００の背面像１００ｒに対し、３回のオブジェクトマッチング処理を行う。

対象物１００（本例ではカメラの右側面）に対するオブジェクトマッチング処理は、第二実施形態と同様である。マッチング処理部２１はさらに、フレーム画像５０ｃに含まれる反射ミラー４０に映る対象物１００の正面像１００ｆ、およびフレーム画像５０ｃに含まれる反射ミラー３０に映る対象物１００の背面像１００ｒに対しても、それぞれ記憶部２５にあらかじめ記録されている対象物１００の３Ｄモデルとの間で、オブジェクトマッチング処理を行う。図６に例示するように３Ｄモデルを回転させながら、正面像１００ｆ、背面像１００ｒと一致する条件（例えば、３Ｄモデルの回転角度）を探す。

推定部２２は、マッチング処理部２１による処理結果（３Ｄモデルの回転角度）に基づいて、プロジェクタ１０の投影先となる対象物１００の姿勢、位置、正面像１００ｆの姿勢、位置、および背面像１００ｒの姿勢、位置を推定する。第五実施形態では、推定部２２で推定された対象物１００の姿勢、位置に基づいて、投影像生成部２３が、領域Ｃに含める画像を決定する。また、推定部２２で推定された正面像１００ｆの姿勢、位置に基づいて、投影像生成部２３が、領域Ｌに含める画像を決定する。さらに、推定部２２で推定された背面像１００ｒの姿勢、位置に基づいて、投影像生成部２３が、領域Ｒに含める画像を決定する。

例えば、投影像生成部２３は、推定された対象物１００の位置に基づいて、投影画像１０Ａにおける領域Ｃの位置を決定し、対象物１００の輪郭形状に合わせて、投影画像１０Ａにおける領域Ｃのサイズや形状をそれぞれ決定する。

同様に、投影像生成部２３は、推定された正面像１００ｆ（背面像１００ｒ）の位置に基づいて、投影画像１０Ａにおける領域Ｌ（領域Ｒ）の位置を決定し、正面像１００ｆ（背面像１００ｒ）の輪郭形状に合わせて、投影画像１０Ａにおける領域Ｌ（領域Ｒ）のサイズや形状をそれぞれ決定する。

一般に、図９のフレーム画像５０ｃにおいて、反射ミラー４０に映る対象物１００の正面像１００ｆから外れた位置のミラー４０上へ投影光を投影すると、その投影光は対象物１００を挟んで反対側の反射ミラー３０に向けて反射され、無駄になる。また、フレーム画像５０ｃにおいて、中央に位置する対象物１００から外れた位置へ投影光を投影すると、その投影光は背景に向かって進み、無駄になる。さらにまた、フレーム画像５０ｃにおいて、反射ミラー３０に映る対象物１００の背面像１００ｒから外れた位置のミラー３０上に投影光を投影すると、その投影光は対象物１００を挟んで反対側の反射ミラー４０に向けて反射され、無駄になる。

投影像生成部２３は、上述した無駄な投影を避けるため、例示した投影画像１０Ａの領域Ｌ、領域Ｃ、および領域Ｒの全域に画像を投影するのではなく、フレーム画像５０ｃに含まれている対象物１００（本例ではカメラの右側面）、反射ミラー４０に映る正面像１００ｆ、および反射ミラー３０に映る背面像１００ｒに対応する範囲にのみ投影画像を投影するように、領域Ｌ、領域Ｃ、および領域Ｒに含める画像を決める。対象物１００（右側面）、正面像１００ｆおよび背面像１００ｒに対応しない他の領域に対しては、例えば黒画像を生成することによって、何も投影しないようにする。

なお、例えば対象物１００が静止していない場合は、投影像生成部２３は、リアルタイムに変化する対象物１００の位置および姿勢（輪郭形状）に応じてテクスチャ素材等の投影サイズや形状、および投影位置をリアルタイムに移動させるように、上記６０ｆｐｓで撮像されるフレーム画像５０ｃに基づいて、投影する画像を逐次変更する。このような処理により、投影画像１０Ａの生成が対象物１００の動きに合わせてリアルタイムに行われる。投影像生成部２３で生成された投影画像１０Ａは、プロジェクタ１０から投影させるため、制御部２４によってプロジェクタ１０へ送出される。

以上説明した第五実施形態によれば、次の作用効果が得られる。すなわち、投影装置は、対象物１００へ直接投影する領域Ｃ、および対象物１００へ反射ミラー４０、３０を介して投影する領域Ｌ、Ｒを含む投影画像１０Ａを生成する投影像生成部２３と、投影画像１０Ａを対象物１００および反射ミラー４０、３０へ向けて投影するプロジェクタ１０と、対象物１００および対象物１００の像を映す反射ミラー４０、３０を撮像するカメラ５０を備え、投影像生成部２３は、カメラ５０で撮像された画像から反射ミラー４０、３０に映る対象物１００の像１００ｆ、１００ｒの位置、形状を推定し、推定結果に応じて投影画像１０Ａにおける領域Ｌ，Ｒの位置、大きさおよび形状を決めるようにしたので、対象物１００から外れた位置へ反射する無駄な投影を避け、適切に投影を行える。

（変形例）
上述した説明では、対象物１００の左右に反射ミラーを配置する例を説明したが、対象物１００の上側にも反射ミラーを設けてよい。対象物１００の上方に反射ミラーを設けることで、対象物１００の上面にも画像を投影することができる。具体的には、投影画面１０Ａにおいて領域Ｃの上側に領域Ｕを設け、対象物１００の輪郭形状に合わせて、領域Ｕに含める投影像のサイズや形状を決定すればよい。対象物１００の位置情報や、輪郭形状の情報を、上述した領域Ｌや領域Ｒの場合と同様に、カメラ画像に基づいて推定したり、あらかじめ記憶部２５に記憶させたりすることができる。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。各実施形態および変形例において述べた技術事項は、適宜組み合わせてもよい。

１０…プロジェクタ
１０Ａ…投影画像
２０、２０Ｂ、２０Ｃ…制御装置
２１…マッチング処理部
２２…推定部
２３…投影像生成部
２４…制御部
２５…記憶部
３０、４０、３０ｃ、４０ｃ、３０ｄ、４０ｄ…反射ミラー
３０ｅ、４０ｆ…アクチュエータ
５０…カメラ
５０ｃ、５０ｄ…フレーム画像
６０…ミラーコントローラ
１００…対象物
１００ｆ…正面像
１００ｒ…背面像
Ｆ…フレーム
Ｍ…マーク

Claims (10)

1. 対象物へ直接投影する第１領域、および前記対象物へ反射部材を介して投影する第２領域を有する投影画像を生成する投影画像生成部と、
   前記投影画像を前記対象物および前記反射部材へ向けて投影する投影部と、を備え、
   前記投影画像生成部は、前記反射部材の位置、向きに基づいて前記投影画像における前記第２領域を決めることを特徴とする投影装置。
2. 請求項１に記載の投影装置において、
   前記対象物および前記対象物の像を映す前記反射部材を撮像する撮像部を備え、
   前記投影画像生成部は、前記撮像部で撮像された画像から前記反射部材の位置、向きを推定し、推定結果に応じて前記第２領域を決めることを特徴とする投影装置。
3. 請求項２に記載の投影装置において、
   前記投影画像生成部は、前記撮像部で撮像された画像から、前記反射部材に付された所定マークに基づいて前記反射部材の位置、向きを推定し、推定結果に応じて前記第２領域を決めることを特徴とする投影装置。
4. 請求項２に記載の投影装置において、
   前記投影画像生成部は、前記撮像部で撮像された画像から、前記反射部材に付された枠に基づいて前記反射部材の位置、向きを推定し、推定結果に応じて前記第２領域を決めることを特徴とする投影装置。
5. 請求項２〜４のいずれか一項に記載の投影装置において、
   前記投影画像生成部は、前記撮像部で撮像された画像から前記対象物の位置、形状を推定し、推定結果に応じて前記第１領域を決めることを特徴とする投影装置。
6. 請求項２〜５のいずれか一項に記載の投影装置において、
   前記投影部は、前記対象物の表面形状を表す所定パターンを投影し、
   前記投影画像生成部は、前記撮像部で撮像された前記所定パターンを含む画像から前記対象物の位置、形状を推定し、推定結果に応じて前記第１領域を決めることを特徴とする投影装置。
7. 請求項６に記載の投影装置において、
   前記所定パターンは、赤外光で投影されることを特徴とする投影装置。
8. 請求項１に記載の投影装置において、
   前記反射部材の位置、向きの情報は、あらかじめ記憶部材に記憶されていることを特徴とする投影装置。
9. 請求項１に記載の投影装置において、
   前記反射部材の位置、向きの情報は、前記反射部材の位置、向きを制御する制御部から取得することを特徴とする投影装置。
10. 対象物へ直接投影する第１領域、および前記対象物へ反射部材を介して投影する第２領域を有する投影画像を生成する投影画像生成部と、
    前記投影画像を前記対象物および前記反射部材へ向けて投影する投影部と、
    前記対象物および前記対象物の像を映す前記反射部材を撮像する撮像部と、を備え、
    前記投影画像生成部は、前記撮像部で撮像された画像から前記反射部材に映る前記対象物の像の位置、形状を推定し、推定結果に応じて前記第２領域を決めることを特徴とする投影装置。
    

Images