JP2021158447A - 画像投影装置、画像投影方法及びプログラム - Google Patents

Abstract

【課題】投影される画像に新たな価値を付与すること。【解決手段】画像投影装置は、複数の投影画像が同一領域で重複した重複画像を形成するように、異なる画像投影角度から投影する複数の投影部と、複数の投影部の各々と組になるよう設けられて、それぞれの投影部の画像投影角度に対応する角度から同一領域を撮像して撮像画像を生成する複数の撮像部と、撮像画像に基づいて、投影部と同一領域との間の障害物の画像及び障害物により重複画像に生じた影領域、並びに障害物の画像を撮像した撮像部と組になる投影部を特定する特定部と、撮像画像に含まれる障害物の画像を抽出する抽出部と、抽出された障害物の画像を影領域に対応する位置及び大きさに補正した補正画像を生成する画像補正部と、障害物の画像を撮像した撮像部と組になる投影部と異なる投影部を制御して補正画像を投影させる制御部とを備える。【選択図】図８

Description

本発明は、画像投影装置、画像投影方法及びプログラムに関する。

一つの被投影対象に対して複数の画像投影装置から画像を投影して画像を形成する所謂プロジェクションマッピング技術が知られている（例えば、特許文献１）。特許文献１では、画像を投影する光が遮られる領域が生じる場合、係る領域に対する光の投影を禁止するよう画像投影装置を制御している。

特表２００７−５２０９４５号公報

画像を投影する光の射線上に位置する出演者等のように、射線上の障害物に応じて投影される画像の内容を柔軟に変更することで新たな価値を付与することは、特許文献１記載の技術では不可能であった。そこで、画像の内容の柔軟な変更に対応可能な技術が求められていた。

本発明は、投影される画像に新たな価値を付与することができる画像投影装置、画像投影方法及びプログラムを提供することを目的とする。

本発明の画像投影装置は、複数の投影画像が同一領域で重複した重複画像を形成するように、異なる画像投影角度から投影する複数の投影部と、前記複数の投影部の各々と組になるよう設けられて、それぞれの投影部の画像投影角度に対応する角度から前記同一領域を撮像して撮像画像を生成する複数の撮像部と、前記撮像画像に基づいて、前記投影部と前記同一領域との間の障害物の画像及び障害物により前記重複画像に生じた影領域、並びに前記障害物の画像を撮像した撮像部と組になる投影部を特定する特定部と、前記撮像画像に含まれる前記障害物の画像を抽出する抽出部と、抽出された前記障害物の画像を前記影領域に対応する位置及び大きさに補正した補正画像を生成する画像補正部と、前記障害物の画像を撮像した撮像部と組になる投影部と異なる投影部を制御して前記補正画像を投影させる制御部とを備えることを特徴とする。

本発明の画像投影方法は、複数の投影画像が同一領域で重複した重複画像を形成するように、異なる画像投影角度から投影する複数の投影装置の各々と組になるよう設けられて、それぞれの投影装置の画像投影角度に対応する角度から前記同一領域を撮像する複数の撮像装置が生成した撮像画像に基づいて、前記投影装置と前記同一領域との間の障害物の画像及び障害物により前記重複画像に生じた影領域、並びに前記障害物の画像を撮像した撮像装置と組になる投影装置を特定するステップと、前記撮像画像に含まれる前記障害物の画像を抽出するステップと、抽出された前記障害物の画像を前記影領域に対応する位置及び大きさに補正した補正画像を生成するステップと、前記障害物の画像を撮像した撮像装置と組になる投影装置と異なる投影装置を制御して前記補正画像を投影させるステップとを含むことを特徴とする。

本発明のプログラムは、複数の投影画像が同一領域で重複した重複画像を形成するように、異なる画像投影角度から投影する複数の投影装置の各々と組になるよう設けられて、それぞれの投影装置の画像投影角度に対応する角度から前記同一領域を撮像する複数の撮像装置が生成した撮像画像に基づいて、前記投影装置と前記同一領域との間の障害物の画像及び障害物により前記重複画像に生じた影領域、並びに前記障害物の画像を撮像した撮像装置と組になる投影装置を特定するステップと、前記撮像画像に含まれる前記障害物の画像を抽出するステップと、抽出された前記障害物の画像を前記影領域に対応する位置及び大きさに補正した補正画像を生成するステップと、前記障害物の画像を撮像した撮像装置と組になる投影装置と異なる投影装置を制御して前記補正画像を投影させるステップとをコンピュータに実行させる。

本発明によれば、投影される画像に新たな価値を付与することができる。

図１は、本発明の第１実施形態に係る画像投影システムの構成を示す機能ブロック図である。 図２は、図１に示す機能ブロックを実現する構成の一例を示すブロック図である。 図３は、複数の投影装置による画像の投影及び複数の撮像装置による撮像を行うための被投射体と投影装置と撮像装置との位置関係の一例を示す図である。 図４は、第１投影画像と、第２投影画像と、投影画像と、第１撮像画像と、第２撮像画像との関係の一例を示す図である。 図５は、投影装置による投影の画角内及び撮像装置による撮像の画角内に障害物ＯＢがある場合の一例を示す図である。 図６は、第１投影画像と、第２投影画像と、投影画像と、第１撮像画像と、第２撮像画像との関係の一例を示す図である。 図７は、補正画像が投影される場合の第１投影画像と、第２投影画像と、投影画像と、第１撮像画像と、第２撮像画像との関係の一例を示す図である。 図８は、障害物及び影領域の検知に係る処理の流れを示すフローチャートである。 図９は、本発明の第２実施形態における被投射体と投影装置と撮像装置との位置関係を示す図である。 図１０は、第１投影画像と、第２投影画像と、投影画像と、裏面画像と、第１撮像画像と、第２撮像画像との関係の一例を示す図である。 図１１は、第２実施形態において投影装置による投影の画角内及び撮像装置による撮像の画角内に障害物ＯＢがある場合の一例を示す図である。 図１２は、第１投影画像と、第２投影画像と、投影画像と、裏面画像と、第１撮像画像と、第２撮像画像との関係の一例を示す図である。 図１３は、補正画像が投影される場合の第１投影画像と、第２投影画像と、投影画像と、裏面画像と、第１撮像画像と、第２撮像画像との関係の一例を示す図である。 図１４は、１つの組Ｐ１として扱われる投影装置と撮像装置の各々の光軸の関係の一例を示す模式図である。 図１５は、ハーフミラー９０を介して投影装置が画像を投射する光軸と撮像装置が重複領域を撮像する光軸とが重なるよう設けられる構成の仕組みを示す模式図である。

以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

［第１実施形態］
図１は、本発明の第１実施形態に係る画像投影システム１の構成を示す機能ブロック図である。画像投影システム１は、複数の投影部と、複数の撮像部と、記憶部１１と、画像取得部１２と、特定部１３と、抽出部１４と、画像補正部１５と、制御部１６とを備える。図１及び後述する図１１では、複数の投影部として、投影部２１と投影部２２とを例示している。また、図１及び後述する図１１では、複数の撮像部として、撮像部３１と撮像部３２とを例示している。

図２は、図１に示す機能ブロックを実現する構成の一例を示すブロック図である。図２に示すように、画像投影システム１は、例えば複数の投影装置と、複数の撮像装置と、情報処理装置５０とを備える。なお、図１及び図２並びに後述する図１１及び図１２では、情報処理装置５０内のデータフローの流れを実線の矢印で示し、光学的な投影及び撮像を破線の矢印で示している。

情報処理装置５０は、所謂コンピュータである。情報処理装置５０と複数の投影装置６１，６２との接続及び情報処理装置５０と複数の撮像装置７１，７２との接続形態は、有線によるものであってもよいし、無線によるものであってもよいし、有線と無線とが混在したものによってもよい。また、具体的な接続形態は、例えばＵＳＢ（Universal Serial Bus）のようなバスインタフェースであってもよいし、ネットワーク通信回線であってもよいし、専用に設けられた接続形態であってもよい。

図２に示す各投影装置は、１つの投影部を備える。図２及び後述する図１２では、複数の投影装置として、投影装置６１と投影装置６２とを例示している。投影装置６１，６２は所謂プロジェクタであり、画像を被投射体８０に投影する。被投射体８０は、所謂スクリーンである。被投射体８０は、例えば、拡散型、反射型又は回帰型のスクリーンであり、被投射面が視認されることを想定して設けられている。被投射体８０は、透過型のスクリーンのように、被投射面の裏面が視認されることを想定して設けられていてもよい。

投影装置６１は、投影部２１を備える。投影装置６２は、投影部２２を備える。投影部２１，２２はそれぞれ、表示素子、表示素子に光を照射する光源、表示素子が反射又は透過した光を被投射体８０に画像として収束させるレンズ等の光学部材、外部から入力される画像データに応じて表示素子を動作させる制御回路等を備える。表示素子の例として、エルコス(ＬＣＯＳ：Liquid Crystal On Silicon)デバイスやデジタル・ミラー・デバイス（ＤＭＤ：Digital Mirror Device）又は液晶デバイスが挙げられるが、これらに限られるものでなく、適宜変更可能である。

図２に示す各撮像装置は、１つの撮像部を備える。図２及び後述する図１２では、複数の撮像装置として、撮像装置７１と撮像装置７２とを例示している。撮像装置７１は、撮像部３１を備える。撮像装置７２は、撮像部３２を備える。撮像部３１，３２はそれぞれ、所謂デジタルカメラとして機能する撮像素子、撮像素子の出力に基づいて画像を生成して撮像画像として出力する回路等を備える。撮像素子の例として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサが挙げられるが、これらに限られるものでなく、適宜変更可能である。

図３は、複数の投影装置による画像の投影及び複数の撮像装置による撮像を行うための被投射体８０と投影装置６１，６２と撮像装置７１，７２との位置関係の一例を示す図である。図２及び図３に示すように、投影装置６１と撮像装置７１とは、１つの組Ｐ１として扱われる。すなわち、投影部２１と撮像部３１とは組Ｐ１になるよう設けられる。また、投影装置６２と撮像装置７２とは、他の１つの組Ｐ２として扱われる。すなわち、投影部２２と撮像部３２とは組Ｐ２になるよう設けられる。

図３では、投影装置６１による投影の画角を、２つの実線Ｌ１が形成する鋭角内の範囲で示している。また、投影装置６２による投影の画角を、２つの実線Ｌ２が形成する鋭角内の範囲で示している。図３に示すように、投影装置６１と投影装置６２は、被投射体８０の重複領域８１で各々の投影画像が重複して重複画像を形成するようにそれぞれ異なる画像投影角度から画像を投影するよう設置される。すなわち、図１及び図２に示す投影部２１が投影する投影画像と投影部２２が投影する投影画像による複数の投影画像が同一領域で重複した重複画像を形成するように、複数の投影部２１，２２は、それぞれ異なる画像投影角度から投影する。ここで、重複領域８１は、当該同一領域として機能する。

図３では、撮像装置７１による撮像の画角を、２つの破線Ｌ３が形成する鋭角内の範囲で示している。また、撮像装置７２による撮像の画角を、２つの破線Ｌ４が形成する鋭角内の範囲で示している。図３に示す撮像装置７１は、投影装置６１と組になるよう設けられて組になる投影装置６１の画像投影角度に対応する角度から重複領域８１を撮像して撮像画像を生成する。また、撮像装置７２は、投影部２２と組になるよう設けられて組になる投影装置６２の画像投影角度に対応する角度から重複領域８１を撮像して撮像画像を生成する。すなわち、図１及び図２に示す撮像部３１は、投影部２１と組になるよう設けられて組になる投影部２１の画像投影角度に対応する角度から重複領域８１を撮像して撮像画像を生成する。また、撮像部３２は、投影部２２と組になるよう設けられて組になる投影部２２の画像投影角度に対応する角度から重複領域８１を撮像して撮像画像を生成する。

以下の説明では、特筆しない限り、投影部２１によって投影される画像を第１投影画像とする。また、投影部２２によって投影される画像を第２投影画像とする。また、投影された画像によって被投射体８０の重複領域８１で形成される画像を投影画像とする。また、撮像部３１による撮像画像を第１撮像画像とする。また、撮像部３２による撮像画像を第２撮像画像とする。

図４は、第１投影画像と、第２投影画像と、投影画像と、第１撮像画像と、第２撮像画像との関係の一例を示す図である。図４に示す関係は、図３に示す配置に対応する関係である。なお、被投射体８０に対して投影装置６１，６２が斜めから画像を投影し、撮像装置７１，７２が斜めから撮像することにより発生する画像の台形歪については、予め適切に補正されているものとする。例えば、図２の投影装置６１の投影部２１は、第１投影画像に対して設置位置に応じた所定の台形歪補正処理を行うように構成してもよい。また、図２の撮像装置７１の撮像部３１は、第１撮像画像に対して設置位置に応じた所定の台形歪補正処理を行うように構成してもよい。また、図２の投影装置６２は投影装置６１、撮像装置７２は撮像装置７１と同様に構成してもよい。ここで、所定の台形歪補正処理は、一般的に用いられる台形歪補正処理であればよい。

投影部２１と投影部２２は、後の記載で説明する画像補正部１５による補正画像の生成が行われない限り、一方が画像の投影を行う。図４等では、記憶部１１に記憶されている投影画像データ１１ｂ（図２参照）に対応する画像を投影部２１が投影している場合を例示している。実施形態の説明では、記憶部１１が記憶している投影画像データ１１ｂに対応する画像が投影される場合を例としているが、投影される画像はこれに限られるものでない。画像投影システム１に接続された外部の記憶装置から読み出された投影画像データ、画像投影システム１に接続された外部の情報処理装置から入力された投影画像データ等に対応した画像が投影されてもよい。

図３に示すように、投影の画角内に障害物がない場合、図４に示す投影画像Ｖ１のように、投影部２１によって投影された画像と同様の画像が重複領域８１に形成される。また、投影の画角内に障害物がないのと同様、撮像画像の画角内にも障害物がない場合、図４に示す第１撮像画像３１ａ及び第２撮像画像３２ａのように、撮像部３１と撮像部３２による撮像画像は、投影画像Ｖ１と同様の画像になる。

なお、後述する画像補正部１５による補正画像の生成がない限り、投影部２２は、画像を投影しない（図４参照）。図４等では、第２投影画像を黒の塗りつぶし矩形ＮＬとすることで投影部２２が画像を投影しないことを図示している。

図５は、投影装置６１による投影の画角内及び撮像装置７１による撮像の画角内に障害物ＯＢがある場合の一例を示す図である。図６は、第１投影画像と、第２投影画像と、投影画像と、第１撮像画像と、第２撮像画像との関係の一例を示す図である。図６に示す関係は、図５に示す配置に対応する関係である。

図５に示すように、投影装置６１による投影の画角内及び撮像装置７１による撮像の画角内に障害物ＯＢがある場合、障害物ＯＢが投影装置６１による画像の投影のための投射光の一部を遮る。このため、図６に示す投影画像Ｖ２のように、障害物ＯＢによって遮られた光に対応した影領域ＤＡを含む画像が重複領域８１に形成される。このように、投影部２１と重複領域８１との間に障害物ＯＢがある場合、障害物ＯＢによって投影画像Ｖ２に影領域ＤＡが生じる。

また、撮像装置７１による撮像の画角内に障害物ＯＢがあるため、図６に示す第１撮像画像３１ｂのように、影領域ＤＡの内側に障害物ＯＢが位置する画像が撮像部３１によって撮像される。一方、撮像装置７２による撮像の画角内には障害物ＯＢはない。従って、図６に示す第２撮像画像３２ｂのように、撮像部３２による撮像画像は、投影画像Ｖ２と同様の画像になる。

なお、投影部２１から重複領域８１に画像を投影する光は、投影部２１の光学素子を介して重複領域８１側に向かって広がるように投射される。従って、第１撮像画像３１ｂが示すように、影領域ＤＡは、障害物ＯＢの画像よりも大きくなる。

情報処理装置５０は、撮像部３１，３２による撮像画像に基づいて、投影部２１，２２による画像の投影に係る処理を行う。

図２に示すように、情報処理装置５０は、記憶部１１と、演算部５１とを備える。記憶部１１は、ソフトウェア・プログラム（以下、単にプログラムと記載）及びデータを記憶可能な記憶装置を備える。記憶部１１が備える記憶装置の例として、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ等が挙げられるが、これらに限られるものでなく、適宜変更可能である。記憶部１１は、光ディスク等の記録媒体の読出装置と当該読出装置にセットされた記録媒体との組み合わせによってもよい。図２に示すように、記憶部１１は、画像投影プログラム１１ａと、投影画像データ１１ｂとを記憶する。画像投影プログラム１１ａは、演算部５１が読み出して実行するプログラムである。

演算部５１は、ＣＰＵ（Central Processing Unit）のように、プログラムを読み出して実行処理することで各種の機能を実現する演算回路を備える。第１実施形態の演算部５１は、画像投影プログラム１１ａを読み出して実行することで、図１及び図２に示す画像取得部１２、特定部１３、抽出部１４、画像補正部１５及び制御部１６として機能する。

画像取得部１２は、投影部２１によって投影される画像を取得する。具体的には、画像取得部１２は、例えば記憶部１１から投影画像データ１１ｂを読み出して取得する。画像取得部１２によって取得された投影画像データ１１ｂは、特定部１３、画像補正部１５による参照が可能になる。

特定部１３は、撮像画像に基づいて、投影部２１と重複領域８１との間の障害物の画像及び障害物により重複画像に生じた影領域を特定する。具体的には、特定部１３は、撮像部３１，３２による撮像画像の内容と画像取得部１２が取得した画像の内容とを比較する画像解析を行う。より具体的には、特定部１３は、投影画像データ１１ｂの内容に対応した輝度分布の傾向を基準として、撮像部３１，３２による撮像画像の内容の輝度分布の傾向において輝度が低下している部分領域が生じていた場合、当該部分領域を影領域として特定する。一例として、影領域を特定する処理である画像解析は、第１撮像画像の影領域を特定する場合には、画像取得部１２により第１投影画像を取得し、第１撮像画像と第１投影画像との差分を行い、差分信号を生成する。この差分信号に基づいて、輝度が一定量低下した部分領域を特定するように構成するとよい。同様に、第２撮像画像の影領域を特定する場合は、第２投影画像との差分から、輝度が一定量低下した部分領域を特定するように構成するとよい。また、当該影領域の内側にさらに輝度低下とは異なる輝度の変化や色の変化等の特徴的変化がある部分領域がある場合、当該部分領域を障害物の画像として特定する。例えば、第１撮像画像と第１投影画像との差分信号において、差分信号の差分量があり、輝度が一定量低下した部分の特徴とは異なる差分信号の部分領域を特定し、障害物の画像領域として特定するように構成してもよい。係る影領域及び障害物の画像の抽出によって、撮像部３１による撮像画像と３２による撮像画像のいずれに障害物が含まれているか判定可能になる。係る判定は、特定部１３が行ってもよいし、制御部１６が行ってもよい。また、特定部１３において影領域を特定する際に、更に、影領域を生じさせる障害物を含む撮像画像を撮像する撮像部と組になる投影部を特定するように構成するとよい。撮像画像を撮像する撮像部に対応づけられている投影部は１つの組として構成されるため、撮像部が特定できれば、対応する投影部を容易に特定することができる。係る特定は、特定部１３が行ってもよいし、制御部１６が行ってもよい。更に、特定された投影部に関する情報を、記憶部１１に記憶するようにしてもよい。

抽出部１４は、撮像画像に含まれる障害物の画像を抽出する。具体的には、抽出部１４は、特定部１３によって障害物の画像として特定された領域を抽出する。抽出部１４によって抽出された障害物の画像は、画像補正部１５によって利用される。

画像補正部１５は、抽出された障害物の画像を影領域に対応する位置及び大きさに補正した補正画像を生成する。具体的には、画像補正部１５は、抽出部１４によって抽出された障害物ＯＢの画像の大きさを影領域ＤＡの大きさに対応させるよう拡大する。拡大された障害物ＯＢの大きさは、影領域ＤＡ以上であればよく、完全に厳密に影領域ＤＡの大きさに一致していることは必須でない。また、画像補正部１５は、拡大された障害物ＯＢの画像の投影位置が影領域ＤＡの位置になり、かつ、視認可能な他の画像が拡大された障害物ＯＢの画像の周囲に投影されないよう処理された画像を補正画像として生成して出力する。より具体的には、画像補正部１５は、拡大された障害物ＯＢの画像の周囲に透過処理が施された画像であって、投影画像データ１１ｂと同じ縦横画素数を有する画像を補正画像として生成する。なお、画像補正部１５が行う処理における影領域ＤＡの位置及び大きさの基準は、第２撮像画像３２ｂによってもよいし、第１撮像画像３１ｂによってもよいし、これらに微細な相違があった場合に平均化する等の処理を行うようにしてもよい。

制御部１６は、画像投影システム１の各構成及び各機能構成を統括制御する。具体的には、第１実施形態の制御部１６は、投影部に補正画像を投影させる。ここで、制御部１６は、特定された影領域を生じさせる投影の画角内に障害物を含む撮像画像を撮像する撮像部と組になる投影部とは異なる投影部により、補正画像を投影させるようにするとよい。

図７は、補正画像が投影される場合の第１投影画像と、第２投影画像と、投影画像と、第１撮像画像と、第２撮像画像との関係の一例を示す図である。図７に示す関係は、図５に示す配置に対応する関係である。また、図７は、図６に示す影領域ＤＡ及び障害物ＯＢの画像が抽出された結果を受けて補正画像１５ａが生成された場合を想定している。図７等では、補正画像１５ａに含まれる、影領域に対応する位置及び大きさに補正された障害物ＯＢの画像を拡大画像ＢＯＢとして図示している。

図７に示すように、制御部１６は、補正画像１５ａを第２投影画像として投影部２２に投影させる。なお、制御部１６は、投影部２１には投影画像データ１１ｂの内容を投影させる。これによって、投影部２１による投影画像データ１１ｂに対応した投影に障害物ＯＢが生じさせる影領域に重なるように、補正画像１５ａに含まれる拡大画像ＢＯＢが投影される。従って、図７に示す投影画像Ｖ３のように、投影画像Ｖ２における影領域ＤＡ（図６参照）が拡大画像ＢＯＢで置換された内容の画像が重複領域８１に描画される。

また、図７に示す第１撮像画像３１ｃ及び第２撮像画像３２ｃが示すように、図６に示す第１撮像画像３１ｂ及び第２撮像画像３２ｂで撮像されていた影領域ＤＡが拡大画像ＢＯＢで置換された撮像画像が得られる。制御部１６は、係る第１撮像画像３１ｃ及び第２撮像画像３２ｃに基づいて、影領域の補正が正常に行われたことを確認できる。

なお、図１及び後述する図１１では、出力される画像のデータフローが画像取得部１２から画像補正部１５を介して投影部２１に至るよう図示されているが、これに限られるものでない。画像取得部１２から直接投影部２１に至るデータフローがあってもよい。図１及び後述する図１１で例示する構成では、画像補正部１５は、投影部２１に対しては、画像取得部１２が取得した画像の内容に対応した出力をそのまま行う。

図８は、障害物及び影領域の検知に係る処理の流れを示すフローチャートである。係る処理が行われる前提として、画像取得部１２が取得した画像に対応した投影部２１による画像の投影が行われている。

まず、撮像部３１，３２が、重複領域８１を撮像することで複数の撮像画像を取得する（ステップＳ１）。特定部１３は、ステップＳ１の処理で取得された撮像画像に基づいて、影領域及び障害物の画像を検知する（ステップＳ２）。ステップＳ２の処理で、影領域及び障害物の画像が検知されなかった場合（ステップＳ２；Ｎｏ）、処理は終了する。

ステップＳ２の処理で、影領域及び障害物の画像が検知された場合（ステップＳ２；Ｙｅｓ）、抽出部１４が、検知された障害物の画像を抽出する（ステップＳ３）。また、ステップＳ３の処理で抽出された障害物の画像を画像補正部１５がステップＳ２の処理で検知された影領域の位置及び大きさに補正して補正画像を生成する（ステップＳ４）。そして、制御部１６は、ステップＳ４の処理で生成された補正画像を投影部２２に投影させる（ステップＳ５）。

その後も、ステップＳ１と同様、複数の撮像画像の取得が行われる。制御部１６は、係る複数の撮像画像に基づいて、補正画像による障害物の画像が影領域にあてはめられたか判定する（ステップＳ６）。ステップＳ６の処理で、補正画像による障害物の画像が影領域にあてはめられたかと判定された場合（ステップＳ６；Ｙｅｓ）、処理は終了する。一方、ステップＳ６の処理で、補正画像による障害物の画像が影領域にあてはめられていないと判定された場合（ステップＳ６；Ｎｏ）、ステップＳ３の処理に戻る。

上述のとおり、第１実施形態では、影領域を生じさせた障害物に対応した画像を投影できる。すなわち、投影部２１と被投射体８０との間の障害物に応じて、予め投影が想定された画像の内容から変更された内容の画像を投影できる。従って、投影される画像に新たな価値を付与することができる。

より具体的な例を挙げると、投影部２１と被投射体８０との間に出演者等の動体が介在する場合であっても、投射される画像に単に影ができるような描画とは異なり、当該動体の態様に応じた内容を含む画像を投影できる。

［第２実施形態］
次に、第１実施形態とは異なる第２実施形態について説明する。第２実施形態の説明に係り、第１実施形態と同様の構成については同じ符号を付して説明を省略する。

図９は、本発明の第２実施形態における被投射体８５と投影装置６１，６２と撮像装置７１，７２との位置関係を示す図である。図９に示すように、第２実施形態では、被投射体８５が採用される。被投射体８５は、透過スクリーンのように、一面側から投影された画像をその裏面側から視認することを想定して設けられる。図９に示す投影装置６１と被投射体８５の位置関係によって、組Ｐ１の投影装置６１が備える投影部２１から投影された画像は、被投射体８５を挟んで投影部２１の反対側に面する被視認面８６で裏面画像として視認される。また、被投射体８５を挟んで組Ｐ１の反対側には、組Ｐ２が設けられる。すなわち、組Ｐ１と組Ｐ２とは被投射体８５を挟んで対向するよう配置される。

なお、図９及び図１１では撮像装置７１，７２の画角の図示を省略しているが、第２実施形態でも第１実施形態と同様、撮像装置７１の画角が投影装置６１の画角に対応し、撮像装置７２の画角が投影装置６２の画角に対応するよう設けられる。

図１０は、第１投影画像と、第２投影画像と、投影画像と、裏面画像と、第１撮像画像と、第２撮像画像との関係の一例を示す図である。図１０に示す関係は、図９に示す配置に対応する関係である。図１０の裏面画像Ｖ４Ｒが示すように、被投射体８５を挟んで投影部２１の反対側に面する被視認面８６で視認される裏面画像の内容は、投影部２１が投影する投影画像データ１１ｂの内容に対応する投影画像Ｖ４を左右反転した内容になる。また、図１０の第２撮像画像３２ｄと裏面画像Ｖ４Ｒとの対応関係が示すように、第２撮像画像の内容は、裏面画像の内容に対応する。それ以外の点では、第２実施形態における第１投影画像と、第２投影画像と、投影画像と、第１撮像画像と、第２撮像画像との関係は、図４を参照して説明した第１実施形態におけるこれらの関係と同様である。

図１１は、第２実施形態において投影装置６１による投影の画角内及び撮像装置７１による撮像の画角内に障害物ＯＢがある場合の一例を示す図である。図１２は、第１投影画像と、第２投影画像と、投影画像と、裏面画像と、第１撮像画像と、第２撮像画像との関係の一例を示す図である。図１２に示す関係は、図１１に示す配置に対応する関係である。

図１１に示すように、投影装置６１による投影の画角内及び撮像装置７１による撮像の画角内に障害物ＯＢがある場合、障害物ＯＢが投影装置６１による画像の投影のための投射光の一部を遮る。このため、図１１に示す投影画像Ｖ５のように、障害物ＯＢによって遮られた光に対応した影領域ＤＡを含む画像が重複領域８１に形成される。また、図１１に示す裏面画像Ｖ５Ｒのように、裏面画像の内容は、投影画像Ｖ５を左右反転した内容になる。従って、裏面画像Ｖ５Ｒにおける影領域ＤＡの位置及び形状は、投影画像Ｖ５における影領域ＤＡの位置及び形状を左右反転したものとなる。

図１２に示す例では、投影画像Ｖ５と裏面画像Ｖ５Ｒとの間で影領域ＤＡの位置のみが反転しているように見えるが、これは障害物ＯＢが投影部２１の光軸に対して左右対称の形状であることによる。障害物ＯＢが左右非対称である場合、裏面画像Ｖ５Ｒにおける影領域ＤＡの形状も、投影画像Ｖ５における影領域ＤＡの形状を左右反転したものとなる。

また、撮像装置７１による撮像の画角内に障害物ＯＢがあるため、図１２に示す第１撮像画像３１ｅのように、影領域ＤＡの内側に障害物ＯＢが位置する画像が撮像部３１によって撮像される。一方、図１２に示す第２撮像画像３２ｅのように、撮像部３２による撮像画像は、裏面画像Ｖ５Ｒと同様の画像になる。

図１３は、補正画像が投影される場合の第１投影画像と、第２投影画像と、投影画像と、裏面画像と、第１撮像画像と、第２撮像画像との関係の一例を示す図である。図１３に示す関係は、図５に示す配置に対応する関係である。また、図１３は、図１２に示す影領域ＤＡ及び障害物ＯＢの画像が抽出された結果を受けて補正画像１５ａが生成された場合を想定している。

第２実施形態の画像補正部１５は、補正画像の生成に際して、さらに、拡大した障害物の画像を左右反転して反転画像とする。また、第２実施形態の画像補正部１５が行う処理における影領域ＤＡの位置及び大きさの基準は、図１２に示す第２撮像画像３２ｅのように、撮像部３２の撮像内容に基づいたものとなる。係る第２実施形態の画像補正部１５の処理は、第２実施形態の制御部１６が行ってもよい。

図１３では、障害物ＯＢに基づいて生成された反転画像ＭＯＢを例示している。図１３では、障害物ＯＢに付された１本の対角線の向きと反転画像ＭＯＢに付された１本の対角線の向きとが左右対称になっていることで、反転画像ＭＯＢが障害物ＯＢを左右反転して拡大したものであることを示している。

また、図９を参照して説明したように、組Ｐ１と組Ｐ２とは被投射体８５を挟んで対向するよう配置される。従って、投影部２２は、被投射体８５を挟んで投影部２１の反対側、すなわち、被視認面８６に正対する側から補正画像を投影する。ここで、拡大された障害物の画像が反転画像とされ、影領域ＤＡの位置及び大きさの基準が撮像部３２の撮像内容に基づいたものとなっている。このため、補正画像Ｍに含まれる反転画像Ｍの位置及び形状は、図１２に示す投影画像Ｖ５及び図１３に示す投影画像Ｖ６における影領域ＤＡの位置及び形状を左右反転したものに対応する。これによって、図１３の裏面画像Ｖ６Ｒが示すように、組Ｐ１と組Ｐ２とが被投射体８５を挟んで対向するよう配置される第２実施形態の構成においても、影領域に対応するよう拡大された障害物の画像があてはめられた画像を投影できる。

上述のとおり、第２実施形態のように、第１実施形態と異なる投影部及び撮像部の配置によっても、第１実施形態と同様の効果を奏することができる。

なお、各実施形態において、１つの組として扱われる投影部と撮像部とは、投影部による画像の投影の光軸と撮像部による画像の撮像の光軸とができるだけ一致していることが望ましい。

図１４は、１つの組Ｐ１として扱われる投影装置６１と撮像装置７１の各々の光軸の関係の一例を示す模式図である。図１４では、投影装置６１による重複領域８１への画像の投影の光軸と撮像装置７１による重複領域８１の撮像の光軸とが対応するように投影装置６１と撮像装置７１とを並べて配置している。これによって投影装置６１の画角と撮像装置７１の画角とを整合させることができる。

図１５は、ハーフミラー９０を介して投影装置６１が画像を投射する光軸と撮像装置７１が重複領域８１を撮像する光軸とが重なるよう設けられる構成の仕組みを示す模式図である。図１５に示すように、ハーフミラー９０を投影装置６１が画像を投射する光軸に設けることで、投影装置６１が画像の投射のために発する光を透過させると共に、重複領域８１からの反射光の一部を反射して当該光軸とは異なる角度に向けることができる。具体的には、図１５に示すように、ハーフミラー９０が重複領域８１からの反射光の一部を反射する反射角に対応するよう撮像装置７１を配置する。これによって、重複領域８１とハーフミラー９０との間における投影装置６１が画像を投射する光軸と撮像装置７１が重複領域８１を撮像する光軸とを一致させることができる。これによって、投影装置６１の画角と撮像装置７１の画角とをより高精度に整合させることができる。

なお、図１４及び図１５を参照した説明では、組Ｐ１を例としているが、組Ｐ２や図示しない３つ目以上の組がある場合についても同様の構成を取れる。

このように、ハーフミラー９０を採用することで、投影装置６１の画角と撮像装置７１の画角とをより高精度に整合させることができる。

なお、図１では２つの投影部２１，２２が例示されているが、投影部の数は３以上であってもよい。すなわち、図２等に示す構成において投影装置は３つ以上であってもよい。また、図１では２つの撮像部３１，３２が例示されているが、撮像部の数は３以上であってもよい。撮像部の数及び配置は投影部の数に対応する。

また、図１に示す画像投影システム１に示す機能構成は、１つの装置が備える機能構成であってもよい。すなわち、本発明は、図２に示すような複数の装置の組み合わせによるシステム構成に限らず、図１に示す機能を備える１つの装置によって実現されてもよい。すなわち、符号１が付された構成は、画像投影装置であってもよい。具体例を挙げると、符号１が付された構成は、所謂プロジェクションテレビのように設けられた一体の装置であってもよい。ただし、被投影体は、当該装置から離隔された位置に設けられる。すなわち、障害物が当該装置と被投影体との間に介在できるよう当該装置が構成される。

また、図４等で例示した投影画像データ１１ｂの内容や図６等で例示した障害物ＯＢ、影領域ＤＡの位置及び形状、図７で例示した補正画像１５ａの内容はあくまで一例であってこれに限られるものでない。本発明は、任意の内容の画像を投影できる。また、本発明は、投影の画角内にある障害物の形状に対応して生じた影領域に応じた補正画像の生成が可能である。

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１ 画像投影システム
１１ａ 画像投影プログラム
１２ 画像取得部
１３ 特定部１３
１４ 抽出部１４
１５ 画像補正部１５
１６ 制御部
２１，２２ 投影部
３１，３２ 撮像部
５０ 情報処理装置
６１，６２ 投影装置
７１，７２ 撮像装置

Claims (5)

1. 複数の投影画像が同一領域で重複した重複画像を形成するように、異なる画像投影角度から投影する複数の投影部と、
   前記複数の投影部の各々と組になるよう設けられて、それぞれの投影部の画像投影角度に対応する角度から前記同一領域を撮像して撮像画像を生成する複数の撮像部と、
   前記撮像画像に基づいて、前記投影部と前記同一領域との間の障害物の画像及び障害物により前記重複画像に生じた影領域、並びに前記障害物の画像を撮像した撮像部と組になる投影部を特定する特定部と、
   前記撮像画像に含まれる前記障害物の画像を抽出する抽出部と、
   抽出された前記障害物の画像を前記影領域に対応する位置及び大きさに補正した補正画像を生成する画像補正部と、
   前記障害物の画像を撮像した撮像部と組になる投影部と異なる投影部を制御して前記補正画像を投影させる制御部とを備えることを特徴とする画像投影装置。
2. 両面から映像を投影可能な透過性を有するスクリーンと、
   前記スクリーンの同一領域に対して第１面側から投影画像を投影する第１面側投影部及び第２面側から投影画像を投影する第２面側投影部と、
   前記第１面側投影部及び前記第２面側投影部の各々と組になるように設けられて、それぞれの投影部の画像投影角度に対応する角度から前記同一領域を撮像して撮像画像を生成する撮像部と、
   前記撮像画像に基づいて、前記第１面側投影部または前記第２面側投影部と前記同一領域との間の障害物の画像及び障害物により重複画像に生じた影領域、並びに前記障害物の画像を撮像した撮像部と組になる投影部を特定する特定部と、
   前記撮像画像に含まれる前記障害物の画像を抽出する抽出部と、
   前記障害物の画像を撮像した撮像部と組になる投影部と異なる投影部を制御して補正画像を投影させる制御部とを備えることを特徴とする画像投影装置。
3. 組になる投影部と撮像部とは、ハーフミラーを介して当該投影部が画像を投射する光軸と当該投影部が重複画像を撮像する光軸とが重なるよう設けられることを特徴とする請求項１又は２に記載の画像投影装置。
4. 複数の投影画像が同一領域で重複した重複画像を形成するように、異なる画像投影角度から投影する複数の投影装置の各々と組になるよう設けられて、それぞれの投影装置の画像投影角度に対応する角度から前記同一領域を撮像する複数の撮像装置が生成した撮像画像に基づいて、前記投影装置と前記同一領域との間の障害物の画像及び障害物により前記重複画像に生じた影領域、並びに前記障害物の画像を撮像した撮像装置と組になる投影装置を特定するステップと、
   前記撮像画像に含まれる前記障害物の画像を抽出するステップと、
   抽出された前記障害物の画像を前記影領域に対応する位置及び大きさに補正した補正画像を生成するステップと、
   前記障害物の画像を撮像した撮像装置と組になる投影装置と異なる投影装置を制御して前記補正画像を投影させるステップとを含むことを特徴とする画像投影方法。
5. 複数の投影画像が同一領域で重複した重複画像を形成するように、異なる画像投影角度から投影する複数の投影装置の各々と組になるよう設けられて、それぞれの投影装置の画像投影角度に対応する角度から前記同一領域を撮像する複数の撮像装置が生成した撮像画像に基づいて、前記投影装置と前記同一領域との間の障害物の画像及び障害物により前記重複画像に生じた影領域、並びに前記障害物の画像を撮像した撮像装置と組になる投影装置を特定するステップと、
   前記撮像画像に含まれる前記障害物の画像を抽出するステップと、
   抽出された前記障害物の画像を前記影領域に対応する位置及び大きさに補正した補正画像を生成するステップと、
   前記障害物の画像を撮像した撮像装置と組になる投影装置と異なる投影装置を制御して前記補正画像を投影させるステップとをコンピュータに実行させるプログラム。

Images