JP2007295399A - 撮影投影制御装置、画像入出力装置、撮影投影制御方法及びプログラム - Google Patents

Abstract

【課題】撮影装置と投影装置とについて光軸を一致させた場合に、撮影装置による撮影画像の認識精度を向上させる。
【解決手段】本発明の一態様において、撮影投影制御装置８は、撮影装置４と投影装置５とについて光軸一致機構６を持つ画像入出力装置１を制御する。
撮影投影制御装置８は、撮影装置４による画像取得タイミングＴと、投影装置５による投影タイミングＴ−１とが異なるタイミングとなるように、画像取得タイミングＴと投影タイミングＴ−１とを制御する。
【選択図】 図１

Description

本発明は、投影装置と撮影装置とについて光軸一致機構を持つ投影撮影装置を制御する撮影投影制御装置、画像入出力装置、撮影投影制御方法及びプログラムに関する。

従来より、プロジェクタなどの映像投影装置により実空間上に映像を投影し、この投影された映像の映像情報を撮影装置により取得して種々の処理を行う映像入出力装置が開発されている。
このような従来の映像入出力装置は、映像を撮影するカメラと映像を投影するプロジェクタとを各光軸が直交するように配置し、この光軸の交点にハーフミラーを配置する構成を採用している（特許文献１、特許文献２参照）。

このような構成により、光軸が一致するため投影対称面までの距離などに依存せずに投影映像と撮影映像とを関連付けた処理を行うことができる。つまり、投影映像の処理及び撮影映像の処理時に投影映像と撮影映像の位置合わせを行う必要がない。

特開２００１−２１１３７２号公報

特開２００４−２３３１２６号公報

実空間上の認識対象物と投影装置によって投影された投影対象画像とを撮影装置で撮影したデータに基づいて、認識対象物の画像認識を行う場合、投影対象画像が画像認識におけるノイズとなる場合がある。
本発明は、以上のような実情に鑑みてなされたもので、認識対象物の画像認識において投影対象画像が画像認識のノイズとなることを防止する圧榮投影制御装置、撮影投影装置、撮影投影制御方法及びプログラムを提供することを目的とする。

本発明の第１例に係る撮影投影制御装置は、撮影装置と投影装置とについて光軸一致機構を持つ画像入出力装置を制御する。この撮影投影制御装置は、撮影装置による画像取得タイミングと、投影装置による投影タイミングとが異なるタイミングとなるように、画像取得タイミングと投影タイミングとを制御する。

本発明の第２例に係る画像入出力装置は、撮影装置と、投影装置と、撮影装置と投影装置との光軸を一致させるための光軸一致機構と、撮影装置による画像取得タイミングと、投影装置による投影タイミングとが異なるタイミングとなるように、画像取得タイミングと投影タイミングとを制御する撮影投影制御手段とを具備する。

上記第１例又は第２例により、投影タイミングと画像取得タイミングとが異なるタイミングに制御されるため、撮影装置と投影装置とについて光軸一致機構を持つ画像入出力装置を用いる場合に、認識対象物の画像認識において投影対象画像がノイズとなることを防止することができる。

本発明の第３例に係る画像入出力装置は、上記第２例において、画像取得タイミングにおいて撮影装置によって取得された撮影画像データを記憶する第１記憶手段と、第１記憶手段に記憶されている撮影画像データに基づいて、認識対象物の位置を示す認識位置データを求める画像認識手段と、認識位置データを記憶する第２記憶手段と、投影タイミングにおいて投影装置によって投影された投影画像データにおける投影対象画像の位置を示す投影位置データを予め記憶する第３記憶手段と、第２記憶手段の認識位置データと第３記憶手段の投影位置データとに基づいて、認識対象物の位置と投影対象画像の位置との一致性を判断する一致判断手段とをさらに具備する、としている。

上記第３例により、撮影装置と投影装置とについて光軸一致機構を持つ画像入出力装置を用いる場合に、投影装置によって投影された投影対象画像が認識対象物の画像認識におけるノイズとなることがなく、認識対象物の位置と投影対象画像の位置との一致性を高精度で判断することができる。

本発明の第４例に係る画像入出力装置は、上記第３例において、第２記憶手段は、画像取得タイミングと認識位置データとを関連付けて記憶し、第３記憶手段は、投影タイミングと投影位置データと投影対象画像を示す投影コンテンツとを関連付けて記憶し、投影装置は、投影タイミングにおいて、投影位置データの示す位置に、投影コンテンツで示される投影対象画像を投影し、一致判断手段は、画像取得タイミングと投影タイミングとが隣接関係にある認識位置データと投影位置データとに基づいて、認識対象物の位置と投影対象画像の位置との一致性を判断する、としている。

上記第４例においては、認識位置データと画像取得タイミングとが関連付けされ、投影コンテンツと投影位置データと投影タイミングとが関連付けされている。上記第４例では、認識対象物の位置と、この認識対象物の撮影された画像取得タイミングに近い投影タイミングで投影された投影対象画像の位置とを比較することができる。

本発明の第５例に係る画像入出力装置は、上記第２例乃至第４例のいずれかにおいて、投影タイミングにおいて開状態となり、画像取得タイミングにおいて閉状態となる投影側液晶シャッターをさらに具備する、としている。
この投影側液晶シャッターにより、画像取得タイミングにおいて投影対象画像が投影されることを防止することができる。

本発明の第６例に係る画像入出力装置は、上記第５例において、画像取得タイミングにおいて開状態となり、撮影タイミングにおいて閉状態となる撮影側液晶シャッターをさらに具備する、としている。
この撮影側液晶シャッターにより、投影タイミングにおいて投影対象画像が取得されることを防止することができる。

本発明の第７例に係る画像入出力装置は、上記第２例において、画像取得タイミングにおいて撮影装置によって取得された撮影画像データを記憶する第１記憶手段と、第１記憶手段に記憶されている撮影画像データに基づいて、認識対象物の位置を示す位置データを求める画像認識手段と、認識位置データを記憶する第２記憶手段と、第２記憶手段に記憶されている認識位置データに基づいて、投影対象画像の投影位置を決定し、投影タイミングにおいて投影装置により投影対象画像を投影位置に投影するための投影画像データを作成する投影画像作成手段とをさらに具備する、としている。

上記第７例においては、認識対象物の画像認識において投影対象画像がノイズとなることを防止しつつ、認識対象物の位置に応じた位置に、投影対象画像を表示させることができる。
なお、上記の第１例乃至第７例は装置として表現されている。しかしながら、これに限らず、上記第１例乃至第７例は、方法、プログラム、コンピュータ読み取り可能な記憶媒体などで表現されるとしてもよい。

本発明により、投影装置から投影された投影対象画像が、投影装置と光軸の一致している撮影装置によって撮影され、認識対象物の画像認識において、投影対象画像が撮影領域に写りこんで変色などにより認識を妨げることを防止することができる。

以下、図面を参照しながら本発明の実施の形態について説明する。なお、以下の各図において同様の機能を実現する部分については同一の符号を付して説明を省略する。
（第１の実施の形態）
図１は、本実施の形態に係る画像入出力装置の一例を示すブロック図である。

図２は、本実施の形態に係る画像入出力装置によって撮影及び投影される実空間の状態の一例を示す概念図である。なお、この図２では、撮影と投影とを行うという概念を分かりやすく説明するために、光軸一致機構６を省略した状態で撮影装置４と投影装置５とを図示している。しかしながら、本実施の形態においては、例えば下記図３に示すような手法により、光軸一致機構６を用いて撮影装置４の光軸と投影装置５の光軸との一致化が図られているとする。

画像入出力装置１は、本体２と、制御部３とを具備する。本体２は、撮影装置４、投影装置５、光軸一致機構６、駆動部７を具備し、制御部３は、撮影投影制御部８、投影画像記憶装置９、撮影画像記憶装置１０、画像認識部１１、認識位置記憶装置１２、投影位置記憶装置１３、一致判断部１４、投影画像作成部１５を具備する。

撮影装置４は、例えばカメラであり、画像取得タイミングＴにおける実空間の撮影画像データ１６を取得する。
投影装置５は、例えばプロジェクタであり、投影タイミングＴ−１において投影画像記憶装置９に記憶されている投影画像データ１７に基づく画像を投影する。

光軸一致機構６は、撮影装置４と投影装置５とについて光軸及び画角を一致させるための機構である。例えば、図３に示すように、投影装置５の光軸５ａがハーフミラー１８を経由し、撮影装置４の光軸４ａがハーフミラー１８によって反射されることで、光軸４ａ，５ａを一致させることができる。この図３では、光軸一致機構６としてハーフミラー１８が用いられている。撮影装置４と投影装置５とを各光軸４ａ，５ａが直交するように配置し、この光軸４ａ，５ａの交点にハーフミラー１８が配置されている。

駆動部７によって、撮影装置４、投影装置５、光軸一致機構６は自由に移動可能であり、光軸４ａ，５ａの方向（撮影方向、投影方向）を変更可能である。駆動部７は、例えば無線又は有線による操作にしたがって動作する。
撮影投影制御部８は、撮影装置４による画像取得タイミングと、投影装置５による投影タイミングとが異なるタイミングとなるように、画像取得タイミングと投影タイミングとを制御する。例えば、画像取得タイミングを…，Ｔ−２，Ｔ、Ｔ＋２，…とし、投影タイミングを…，Ｔ−１，Ｔ＋１，…とする。

撮影画像記憶装置１０は、撮影装置４によって撮影された撮影画像データ１６を記憶する。
画像認識部１１は、撮影画像記憶装置１０の撮影画像データ１６に基づいて、認識対象物１９ａ，１９ｂ（図２の例では、人の手１９a、実体物１９ｂ、あるいは実体物１９ｂに触れた状態の人の手１９ａなど）を認識し、この認識された認識対象物１９ａ，１９ｂの位置を示す認識位置データ２０を求める。

認識位置記憶装置１２は、画像取得タイミングＴを、この画像取得タイミングＴに対応する認識位置データ２０と関連付けて記憶する。
投影位置記憶装置１３は、投影タイミングＴ−１と、この投影タイミングＴ−１における投影対象画像２１の投影位置を示す投影位置データ２２とを関連付けて記憶するとともに、投影対象画像２１を示す投影コンテンツ２３を記憶する。

なお、投影対象画像２１とは、例えば、図４に示すように、投影される画像の一部分に表示される文字、図形、記号、これらの組み合わせなどである。
一致判断部１４は、認識位置記憶装置１２の認識位置データ２０と、この認識位置データ２０に関連付けられている画像取得タイミングＴとを読み出し、投影位置記憶装置１３の投影位置データ２２と、この投影位置データ２２に関連付けられている投影タイミングＴ−１と一致時の処理コマンドを読み出す。

そして、一致判断部１４は、隣接したタイミングの関係にある画像取得タイミングＴの認識位置データ２０と投影タイミングＴ−１の投影位置データ２２とに基づいて、認識対象物１９ａ，１９ｂの位置と投影対象画像２１の位置との一致性を判断し、一致していると判断された場合に、この投影位置データ２２に関連付けられている処理コマンドを実行する。ここでは、画像取得タイミングＴにおける認識対象物１９ａ，１９ｂの位置と、この画像取得タイミングＴより１ステップ前の投影タイミングＴ−１における投影対象画像２１との位置とが比較され、一致性が判断されるとしている。

投影画像作成部１５は、次の投影タイミングＴ＋１において、投影装置５により、投影コンテンツ２３を示す投影対象画像２１を投影位置データ２２の示す投影位置に投影するための投影画像データ１７を作成し、投影画像記憶装置９に記憶する。
図５は、本実施の形態に係る画像取得タイミングと投影タイミングとの関係の一例を示す図である。

画像取得タイミングＴ，Ｔ＋２においては、投影装置５からの投影対象画像２１の投影が行われない。したがって、撮影装置４により、実空間に存在する認識対象物１９ａ，１９ｂの撮影画像が、投影画像がノイズとしてうつり込むことなく取得される。
投影タイミングＴ＋１においては、投影装置５からの投影対象画像２１の投影が行われる。このため、実空間には、認識対象物１９ａ，１９ｂが存在するとともに、投影対象画像２１が映される。しかしながら、この投影タイミングＴ＋１において取得された画像に基づいて認識対象物１９ａ，１９ｂが画像認識されることはないため、投影対象画像２１が認識対象物１９ａ，１９ｂの画像認識においてノイズとなることを防止することができる。

図６は、本実施の形態に係る撮影装置４の撮影面と投影装置５の投影面との関係の一例を示す図である。
本実施の形態においては、撮影装置４と投影装置５との光軸と画角が一致しているとする。この場合、撮影装置４の撮影面における座標系（Ｘc，Ｙc）と、投影装置５の投影面における座標系（Ｘp，Ｙp）とは一致する。したがって、座標系を整合させるための処理を除くことができ、一致判断部１４による処理量を低減させることができ、処理を簡略化できる。

図７は、本実施の形態に係る認識位置データ２０と投影位置データ２２との一致判断の一例を示す図である。
この図７において、画像取得タイミングＴ−２における認識対象物１９ａ，１９ｂの認識座標（認識位置）は（ｘａ１，ｙａ１）であり、画像取得タイミングＴにおける認識対象物１９ａ，１９ｂの認識座標（認識位置）は（ｘａ２，ｙａ２）である。

また、投影タイミングＴ−１における投影対象画像２１の投影座標（投影位置）は（ｘｂ１，ｙｂ１）である。
本実施の形態において、一致判断部１４は、タイミングが隣り合う関係の認識座標（ｘａ２，ｙａ２）と投影座標（ｘｂ１，ｙｂ１）とが一致と判断される範囲に含まれるか判断する。

図８は、本実施の形態に係る投影位置記憶装置１３の記憶内容の一例を示す図である。
この投影位置記憶装置１３においては、投影対象画像２１Ａ，２１Ｂごとに、投影コンテンツ２３Ａ，２３Ｂ、投影位置（ｘｂ１，ｙｂ１），（ｘｂ２，ｙｂ２）、投影タイミングＴ＋１，Ｔ＋３、一致判断部１４において一致と判断された場合に実行する処理のコマンドＡ，Ｂが管理されている。なお、この投影位置記憶装置１３の記憶内容は、テーブルとして管理してもよく、互いに関連するデータがリンクされているとしてもよい。

図９は、本実施の形態に係る画像入出力装置１の制御部３の動作の一例を示すフローチャートである。なお、この図９において、撮影投影制御部８と画像認識部１１と一致判断部１４とは、マルチスレッドにより並列に動作可能とする。
ステップＳ１において、投影位置記憶装置１３は、投影タイミングＴ−１、投影位置データ２２、投影コンテンツ２３、一致時の処理コマンドを関連付けて記憶する。

ステップＳ２において、投影画像作成部１５は、投影位置記憶装置１３に記憶されている投影位置データ２２と投影コンテンツ２３とに基づいて、投影画像データ１７を作成し、投影画像記憶装置９に記憶する。
ステップＳ３において、撮影投影制御装置８は、投影装置５による投影タイミングＴ−１における投影画像データ１７の投影を許可する。

ステップＳ４において、撮影投影制御部８は、投影タイミングＴ−１における投影画像データ１７の投影からＴｐ時間経過したか判断する。
投影開始からＴｐ時間経過していない場合、処理は、ステップＳ３に戻る。
投影開始からＴｐ時間経過した場合、ステップＳ５において、撮影投影制御部８は、投影装置５による投影画像データ１７の投影を止める。

ステップＳ６において、撮影投影制御部８は、撮影装置４による画像取得タイミングＴにおける撮影画像データ１６の撮影を許可する。
ステップＳ７において、撮影画像記憶装置１０は、画像取得タイミングＴにおける撮影画像データ１６を記憶する。
ステップＳ８において、撮影投影制御部８は、撮影をしている間の時間Ｔｒが経過したか否か判断する。

撮影をしている間の時間Ｔｒが経過していない場合、処理は、ステップＳ７に戻る。
撮影をしている間の時間Ｔｒが経過した場合、ステップＳ９において、撮影投影制御部８は、投影装置５の投影を終了するか判断する。投影を終了する場合は、処理が終了する。

投影が終了されない場合は、処理は、ステップＳ３に戻る。
ここで、上記ステップＳ７において撮影画像データ１６が記憶された場合、ステップＴ１において、画像認識部１１は、認識位置データ２０を求め、画像取得タイミングＴと認識位置データ２０とを関連付けて認識位置記憶装置１２に記憶する。

ステップＴ２において、一致判断部１４は、認識位置記憶装置１２に記憶されている認識位置データ２０と画像取得タイミングＴとを読み出すとともに、投影位置記憶装置１３に記憶されている投影位置データ２２と投影タイミングＴ−１とを読み出す。
ステップＴ３において、一致判断部１４は、互いに隣接する関係の画像取得タイミングＴと投影タイミングＴ−１とに関連付けられている認識位置データ２０と投影位置データ２２との差異が所定範囲内か否か判断する。

差異が所定範囲内の場合には、一致判断部１４は、投影位置記憶装置１３における投影位置データ２２に関連付けられている一致時の処理コマンドを実行する。
差異が所定範囲内ではない場合には、+処理コマンドは実行されない。
以上説明した本実施の形態においては、撮影装置４と投影装置５とに対して光軸一致機構６が適用されるため、撮影面の座標系（Ｘｃ，Ｙｃ）と投影面の座標系（Ｘｐ，Ｙｐ）との一致性を確保できる。これにより、画像入出力装置１において座標系を一つにして管理することができ、処理の簡略化、高速化を実現することができる。

また、本実施の形態においては、画像取得タイミングと投影タイミングとが一致しないように制御されるため、投影装置５によって投影された投影対象画像２１が撮影装置４に撮影されることにより画像認識のノイズとなることを防止することができ、認識対象物１９ａ，１９ｂの認識精度を向上させることができる。

なお、本実施の形態においては、撮影装置４による１回の撮影時間は、撮影装置４の露光時間を内包するように、１回の撮影時間又は露光時間が設定される。
本実施の形態において、撮影装置４の光軸４ａと投影装置５の光軸５ａとは、一致していることが好ましいが、例えば装置又はユーザが許容する範囲でほぼ一致の状態であるとしてもよい。

（第２の実施の形態）
本実施の形態においては、上記第１の実施の形態の変形例であり、閉状態の場合に投影装置による画像出力を阻止し、開状態の場合に投影装置による画像出力を許可する投影側液晶シャッターを具備する画像入出力装置について説明する。

図１０は、本実施の形態に係る画像入出力装置の一例を示すブロック図である。
この画像入出力装置２４において、投影側液晶シャッター２５は、投影装置５に対して設置されている。
投影側液晶シャッター２５は、投影タイミングにおいて開状態となり投影を許可し、画像取得タイミングにおいて閉状態となり投影を阻止する。

撮影投影制御装置２６は、投影側液晶シャッター２５を、投影タイミングにおいて開状態とし、画像取得タイミングにおいて閉状態とする制御を行う。
図１１は、画像入出力装置２４の動作の一例を示すフローチャートである。
ステップＳ２ａにおいて、投影画像作成部１５は、投影位置記憶装置１３に記憶されている投影位置データ２２と投影コンテンツ２３とに基づいて、投影画像データ１７を作成し、投影画像記憶装置９に記憶する。また、投影装置５は、投影画像データ１７に基づく投影を行う。

ステップＳ３ａにおいて、撮影投影制御装置２６は、投影側液晶シャッター２５を開ける。
ステップＳ５ａにおいて、撮影投影制御装置２６は、投影側液晶シャッター２５を閉める。
本実施の形態では、投影側液晶シャッター２５を用いて、画像取得タイミングと投影タイミングとが一致しないように制御することができる。

（第３の実施の形態）
本実施の形態においては、上記第２の実施の形態の変形例であり、閉状態の場合に撮影装置による画像入力を阻止し、開状態の場合に撮影装置による画像入力を許可する撮影側液晶シャッターを具備する画像入出力装置について説明する。

図１２は、本実施の形態に係る画像入出力装置の一例を示すブロック図である。
この画像入出力装置２７において、撮影側液晶シャッター２８は、撮影装置４に対して設置されている。
撮影側液晶シャッター２８は、画像取得タイミングにおいて開状態となり撮影を許可し、投影タイミングにおいて閉状態となり撮影を阻止する。

撮影投影制御装置２９は、撮影側液晶シャッター２８を、画像取得タイミングにおいて開状態とし、投影タイミングにおいて閉状態とする制御を行う。
図１３は、画像入出力装置２７の動作の一例を示すフローチャートである。
ステップＳ３１ａにおいて、撮影投影制御装置２９は、撮影側液晶シャッター２８を閉める。

ステップＳ３２ａにおいて、撮影投影制御装置２９は、投影側液晶シャッター２５を開ける。
ステップＳ５ａにおいて、撮影投影制御装置２９は、投影側液晶シャッター２５を閉める。
ステップＳ６ａにおいて、撮影投影制御装置２９は、撮影側液晶シャッター２８を開ける。

本実施の形態では、投影側液晶シャッター２５及び撮影側液晶シャッター２８を用いて、画像取得タイミングと投影タイミングとが一致しないように制御することができる。
本実施の形態においては、例えば、図１４に示すように、撮影側液晶シャッター２８は、撮影装置４の受光口側に設置され、投影側液晶シャッター２５は、投影装置５の投影口側に設置されるとしてもよい。

（第４の実施の形態）
本実施の形態においては、撮影装置４によって撮影された撮影画像ストリームを逐次的かつ一次的にバッファに記憶し、投影装置５による投影コンテンツの投影が中止されている時点においてバッファから撮影画像データを読み出すことで、画像取得タイミングと投影タイミングとが異なるタイミングとなるように制御する場合について説明する。

図１５は、本実施の形態に係る画像入出力装置の一例を示すブロック図である。
本実施の形態に係る画像入出力装置３０の制御部３１は、バッファ３２、撮影投影制御部３３、画像認識部３４、出力制御部３５に特徴があり、他の部分については上記各実施の形態と同様である。

バッファ３２は、撮影装置４による撮影によって得られる撮影画像ストリームを、逐次的かつ一時的に記憶する。本実施の形態においては、このバッファ３２に記憶されているデータを、撮影画像データ１６とする。
そして、バッファ３２は、撮影投影制御部３３から撮影画像データ１６の提供許可通知を受けた場合に、撮影画像データ１６を画像認識部３４に提供し、撮影投影制御部３３から撮影画像データ１６の提供不許可通知を受けた場合に、画像認識部３４への撮影画像データ１６の提供を停止する。

撮影投影制御部３３は、投影タイミングにおいて、撮影画像データ１６の提供不許可通知をバッファ３２に提供するとともに、投影許可通知を出力制御部３５に提供する。
また、撮影投影制御部３３は、画像取得タイミングにおいて、投影不許可通知を出力制御部３５に提供するとともに、撮影画像データ１６の提供許可通知をバッファ３２に提供する。

画像認識部３４は、バッファ３２から撮影画像データ１６を受けた場合に、撮影画像データ１６に基づいて、認識位置データ２０を求める。
出力制御部３５は、撮影投影制御部３３から投影許可通知を受けた場合に、投影画像記憶装置９に記憶されている投影画像データ１７を、投影装置５に提供する。

一方、出力制御部３５は、撮影投影制御部３３から投影不許可通知を受けた場合に、投影画像記憶装置９に記憶されている投影画像データ１７の投影装置５への提供を停止する。
図１６〜１８は、本実施の形態に係る画像入出力装置３０の動作の一例を示すフローチャートである。

ステップＵ１ａにおいて、撮影装置４は、撮影を開始する。
ステップＵ２ａにおいて、バッファ３２は、撮影装置４から得られた撮影画像ストリームを逐次的かつ一次的に記憶する。
ステップＵ１ｂにおいて、画像認識部３４及び一致判断部１４は、待機状態となる。

ステップＵ２ｂにおいて、画像認識部３４は、バッファ３２から撮影画像データ１６を受けたか否か判断する。画像認識部３４が撮影画像データ１６を受けていない場合、処理は上記ステップＵ１ｂに戻る。
画像認識部３４が撮影画像データ１６を受けた場合、ステップＵ３ｂにおいて、画像認識部３４は、認識位置データ２０を求め、認識位置データ２０を認識位置記憶装置１２に記憶する。

ステップＵ４ｂにおいて、一致判断部２４は、認識位置データ２０と投影位置データ２２との差異が所定範囲内か否か判断する。
差異が所定範囲内の場合には、一致判断部１４は、投影位置記憶装置１３における投影位置データ２２に関連付けられている一致時の処理コマンドを実行し、処理は上記ステップＵ１ｂに戻る。

差異が所定範囲内ではない場合には、処理コマンドは実行されず、処理は上記ステップＵ１ｂに戻る。
ステップＵ１ｃにおいて、投影位置記憶装置１３は、投影タイミング、投影位置データ２２、投影コンテンツ２３、一致時の処理コマンドを関連付けて記憶する。

ステップＵ２ｃにおいて、投影画像作成部１５は、投影位置記憶装置１３に記憶されている投影位置データ２２と投影コンテンツ２３とに基づいて、投影画像データ１７を作成し、投影画像記憶装置９に記憶する。
ステップＵ３ｃにおいて、撮影投影制御装置３３は、バッファ３２に対して、撮影画像データ１６の提供不許可通知を与える。これにより、バッファ３２から画像認識部３４への撮影画像データ１６の提供が停止される。

ステップＵ４ｃにおいて、撮影投影制御装置３３は、出力制御部３５に対して、投影許可通知を与える。これにより、投影画像データ１７の投影が開始される。
ステップＵ５ｃにおいて、撮影投影制御部３３は、投影開始からＴｐ時間経過したか判断する。本実施の形態において、Ｔｐ時間は投影間隔を表す。

投影開始からＴｐ時間経過していない場合、処理は投影開始からＴｐ時間経過するまで待ち状態となる。
投影開始からＴｐ時間経過した場合、ステップＵ６ｃにおいて、撮影投影制御部３３は、出力制御部３５に対して、投影不許可通知を与える。これにより、投影装置５による投影画像データ１７の投影が停止される。

ステップＵ７ｃにおいて、撮影投影制御部３３は、バッファ３２に対して、撮影画像データ１６の提供許可通知を与える。これにより、バッファ３２から画像認識部３４への撮影画像データ１６の提供が開始される。
ステップＵ８ｃにおいて、撮影投影制御部３３は、撮影画像データ１６の提供開始からＴｇ時間経過したか判断する。本実施の形態において、Ｔｇ時間は撮影画像データ１６の提供実行時間を表す。

撮影画像データ１６の提供開始からＴｇ時間経過していない場合、処理はＴｇ時間経過するまで待ち状態となる。
撮影画像データ１６の提供開始からＴｇ時間経過した場合、処理は上記ステップＵ３ｃに戻る。
（第５の実施の形態）
本実施の形態においては、上記第４の実施の形態の変形例について説明する。

図１９は、本実施の形態に係る画像入出力装置の一例を示すブロック図である。
本実施の形態に係る画像入出力装置３６の制御部３７は、投影画像作成部３８と撮影投影制御部３９に特徴があり、他の部分については上記第４の実施の形態と同様である。

投影画像作成部３８は、上記各実施の形態に係る投影画像作成部１５と同様の処理に加えて、投影状態から撮影状態に切り替える時点において、例えば図２０，２１に示すような特徴画像を含む投影画像データ１７を作成する。
撮影投影制御部３９は、撮影装置４からの撮影画像ストリームにおいて特徴画像が提示された場合に、出力制御部３５に投影不許可通知を与え、バッファ３２に撮影画像データ１６の提供許可通知を与える。

本実施の形態に係る画像入出力装置３６は、上記図１６，１７に示す処理を実行するとともに、図２２に示す処理を実行する。
図２２のステップＶ１ｃ〜Ｖ４ｃまでは、上記図１８のステップＵ１ｃ〜Ｕ４ｃと同様である。
ステップＶ５ｃにおいて、投影画像作成部３８は、投影開始からＴｐ時間経過したか判断する。本実施の形態において、Ｔｐ時間は投影間隔を表す。

投影開始からＴｐ時間経過していない場合、処理は投影開始からＴｐ時間経過するまで待ち状態となる。
投影開始からＴｐ時間経過した場合、ステップＶ６ｃにおいて、投影画像作成部３８は、特徴画像を含む投影画像データ１７を作成する。これにより、特徴画像を含む投影画像が投影装置５によって投影される。

ステップＶ７ｃにおいて、撮影投影制御部３９は、撮影装置４によって得られた撮影画像ストリームより特徴画像を認識する。
特徴画像が認識されると、ステップＶ８ｃにおいて、撮影投影制御部３９は、出力制御部３５に対して、投影不許可通知を与える。これにより、投影装置５による投影画像データ１７の投影が停止される。

ステップＶ９ｃにおいて、撮影投影制御部３９は、バッファ３２に対して、撮影画像データ１６の提供許可通知を与える。これにより、バッファ３２から画像認識部３４への撮影画像データ１６の提供が開始される。
ステップＶ１０ｃにおいて、撮影投影制御部３９は、撮影画像データ１６の提供開始からＴｇ時間経過したか判断する。本実施の形態において、Ｔｇ時間は撮影画像データ１６の提供実行時間を表す。

撮影画像データ１６の提供開始からＴｇ時間経過していない場合、処理はＴｇ時間経過するまで待ち状態となる。
撮影画像データ１６の提供開始からＴｇ時間経過した場合、処理は上記ステップＶ３ｃに戻る。
上記第４及び第５の実施の形態においては、撮影投影制御装置３３，３９がバッファ３２に撮影画像データ１６の提供許可通知又は提供不許可通知を与えるとしているが、これに代えて、撮影投影制御装置３３，３９が画像認識部３４に画像認識許可通知又は画像認識不許可通知を与えるように変更してもよい。この場合、バッファ３２は撮影画像データ１６を逐次画像認識部３４に提供し、画像認識部３４は、画像認識が許可された場合に、画像認識処理を実行する。

また、本実施の形態においては、撮影投影制御装置３３，３９が一致判断部１４に一致判断許可通知又は一致判断不許可通知を与えるように変更してもよい。この場合、バッファ３２は撮影画像データ１６を画像認識部３４に随時提供するとともに画像認識部３４は画像認識処理を随時実行し、一致判断部１４は、一致判断処理が許可された場合に、一致判断処理を実行する。

また、本実施の形態においては、撮影投影制御装置３３，３９が出力制御部３５に投影許可通知又は投影不許可通知を与えるとしているが、これに代えて、撮影投影制御装置３３，３９が投影画像作成部１５，３８に、投影コンテンツ組込通知又は投影コンテンツ不要通知を与えるように変更してもよい。この場合、出力制御部３５を除去することができる。投影画像作成部１５，３８は、投影コンテンツ組込通知を受けた場合に、投影コンテンツ２３を投影位置データ２２の示す投影位置に組み込んだ投影画像データ１７を作成し、投影コンテンツ不要通知を受けた場合に、投影コンテンツ２３を含まない投影画像データ１７を作成する。投影装置５は、投影画像データ１７に基づいて投影を行う。

上記各実施の形態においては、同一の機能が実現可能であれば、様々に変更してもよい。例えば、投影画像記憶装置９、撮影画像記憶装置１０、認識位置記憶装置１２、投影位置記憶装置１３は、自由に統合又は分割することができる。
また、撮影投影制御装置８，２６，２９，３３，３９、画像認識部１１、一致判断部１４、投影画像作成部１５，３８の各処理も、自由に統合又は分割することができる。

上記各実施の形態に係る制御部は、上記各実施の形態に係る本体に搭載されるとしてもよい。また、制御部と本体との間は、無線又は有線によりデータ送受信可能としてもよい。
上記第２及び第３の実施の形態において、投影側液晶シャッター２５は、投影装置５に組み込まれる構成を用いるとしてもよい。また、本実施の形態において、撮影側液晶シャッター２８は、撮影装置４に組み込まれる構成を用いるとしてもよい。

上記各実施の形態に係る制御部の機能は、例えばプログラムによって制御されるプロセッサにより実現されるとしてもよい。
この場合におけるプログラムは、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記憶媒体に書き込んで、プロセッサを持つコンピュータに適用可能である。また、プログラムは、通信媒体により伝送してコンピュータに適用することも可能である。コンピュータは、プログラムを読み込み、このプログラムによって動作が制御されることにより、上記各実施の形態に係る制御部としての機能を実現する。プログラムは、複数のコンピュータに分散して配置され、複数のコンピュータ間で互いに連携しつつ処理が実行されるとしてもよい。

本発明の第１の実施の形態に係る画像入出力装置の一例を示すブロック図。 第１の実施の形態に係る画像入出力装置によって撮影及び投影される実空間の状態の一例を示す概念図。 光軸一致機構の一例を示すブロック図。 投影対象画像の投影されている状態を示す図。 第１の実施の形態に係る画像取得タイミングと投影タイミングとの関係の一例を示す図。 第１の実施の形態に係る撮影装置の撮影面と投影装置の投影面との関係の一例を示す図。 第１の実施の形態に係る認識位置データと投影位置データとの一致判断の一例を示す図。 第１の実施の形態に係る投影位置記憶装置の記憶内容の一例を示す図。 第１の実施の形態に係る画像入出力装置の制御部の動作の一例を示すフローチャート。 本発明の第２の実施の形態に係る画像入出力装置の一例を示すブロック図。 第２の実施の形態に係る画像入出力装置の動作の一例を示すフローチャート。 本発明の第３の実施の形態に係る画像入出力装置の一例を示すブロック図。 第３の実施の形態に係る画像入出力装置の動作の一例を示すフローチャート。 撮影側液晶シャッターと投影側液晶シャッターとの設置例を示す図。 本発明の第４の実施の形態に係る画像入出力装置の一例を示すブロック図。 第４の実施の形態に係る画像入出力装置の第１の動作の一例を示すフローチャート。 第４の実施の形態に係る画像入出力装置の第２の動作の一例を示すフローチャート。 第４の実施の形態に係る画像入出力装置の第３の動作の一例を示すフローチャート。 本発明の第５の実施の形態に係る画像入出力装置の一例を示すブロック図。 特徴画像の第１の例を示す図。 特徴画像の第２の例を示す図。 第５の実施の形態に係る画像入出力装置の動作の一例を示すフローチャート。

符号の説明

１，２４，２７，３０，３６…画像入出力装置、２…本体、３，３１，３７…制御部、４…撮影装置、５…投影装置、６…光軸一致機構、７…駆動部、８，２６，２９，３３，３９…撮影投影制御部、９…投影画像記憶装置、１０…撮影画像記憶装置、１１，３４…画像認識部、１２…認識位置記憶装置、１３…投影位置記憶装置、１４…一致判断部、１５，３８…投影画像作成部、１６…撮影画像データ、１７…投影画像データ、１８…ハーフミラー、１９ａ，１９ｂ…認識対象物、２０…認識位置データ、２１…投影対象画像、２２…投影位置データ、２３…投影コンテンツ、２５…投影側液晶シャッター、２８…撮影側液晶シャッター、Ｔ…画像取得タイミング、Ｔ−１…投影タイミング、３２…バッファ、３５…出力制御部

Claims (9)

1. 撮影装置と投影装置とについて光軸一致機構を持つ画像入出力装置を制御する撮影投影制御装置において、
   前記撮影装置による画像取得タイミングと、前記投影装置による投影タイミングとが異なるタイミングとなるように、前記画像取得タイミングと前記投影タイミングとを制御することを特徴とする撮影投影制御装置。
2. 撮影装置と、
   投影装置と、
   前記撮影装置と前記投影装置との光軸を一致させるための光軸一致機構と、
   前記撮影装置による画像取得タイミングと、前記投影装置による投影タイミングとが異なるタイミングとなるように、前記画像取得タイミングと前記投影タイミングとを制御する撮影投影制御手段と
   を具備することを特徴とする画像入出力装置。
3. 請求項２記載の画像入出力装置において、
   前記画像取得タイミングにおいて前記撮影装置によって取得された撮影画像データを記憶する第１記憶手段と、
   前記第１記憶手段に記憶されている前記撮影画像データに基づいて、認識対象物の位置を示す認識位置データを求める画像認識手段と、
   前記認識位置データを記憶する第２記憶手段と、
   前記投影タイミングにおいて前記投影装置によって投影された投影画像データにおける投影対象画像の位置を示す投影位置データを予め記憶する第３記憶手段と、
   前記第２記憶手段の前記認識位置データと前記第３記憶手段の前記投影位置データとに基づいて、前記認識対象物の位置と前記投影対象画像の位置との一致性を判断する一致判断手段と
   をさらに具備することを特徴とする画像入出力装置。
4. 請求項３記載の画像入出力装置において、
   前記第２記憶手段は、前記画像取得タイミングと前記認識位置データとを関連付けて記憶し、
   前記第３記憶手段は、前記投影タイミングと前記投影位置データと前記投影対象画像を示す投影コンテンツとを関連付けて記憶し、
   前記投影装置は、前記投影タイミングにおいて、前記投影位置データの示す位置に、前記投影コンテンツで示される投影対象画像を投影し、
   前記一致判断手段は、前記画像取得タイミングと前記投影タイミングとが隣接関係にある前記認識位置データと前記投影位置データとに基づいて、前記認識対象物の位置と前記投影対象画像の位置との一致性を判断する
   ことを特徴とする画像入出力装置。
5. 請求項２乃至請求項４のいずれか１項に記載の画像入出力装置において、
   前記投影タイミングにおいて開状態となり、前記画像取得タイミングにおいて閉状態となる投影側液晶シャッターをさらに具備することを特徴とする画像入出力装置。
6. 請求項５記載の画像入出力装置において、
   前記画像取得タイミングにおいて開状態となり、前記投影タイミングにおいて閉状態となる撮影側液晶シャッターをさらに具備することを特徴とする画像入出力装置。
7. 請求項２記載の画像入出力装置において、
   前記画像取得タイミングにおいて前記撮影装置によって取得された撮影画像データを記憶する第１記憶手段と、
   前記第１記憶手段に記憶されている前記撮影画像データに基づいて、認識対象物の位置を示す認識位置データを求める画像認識手段と、
   前記認識位置データを記憶する第２記憶手段と、
   前記第２記憶手段に記憶されている前記認識位置データに基づいて、投影対象画像の投影位置を決定し、前記投影タイミングにおいて前記投影装置により前記投影対象画像を前記投影位置に投影するための投影画像データを作成する投影画像作成手段と
   をさらに具備することを特徴とする画像入出力装置。
8. 撮影装置と投影装置とについて光軸一致機構を持つ画像入出力装置を制御する撮影投影制御方法であって、
   投影タイミングにおいて前記投影装置によって投影された投影画像データにおける投影対象画像の位置を示す投影位置データを投影位置記憶装置に記憶し、
   前記投影タイミングと異なる画像取得タイミングにおいて前記撮影装置によって取得された撮影画像データを撮影画像記憶装置に記憶し、
   前記撮影画像記憶装置に記憶されている前記撮影画像データに基づいて、認識対象物の位置を示す認識位置データを求め、前記認識位置データを認識位置記憶装置に記憶し、
   前記投影位置記憶装置の前記投影位置データと、前記認識位置記憶装置の前記認識位置データとに基づいて、前記認識対象物の位置と前記投影対象画像の位置との一致性を判断する
   ことを特徴とする撮影投影制御方法。
9. 撮影装置と投影装置とについて光軸一致機構を持つ画像入出力装置を制御するプログラムであって、
   コンピュータを、
   投影タイミングにおいて前記投影装置によって投影された投影画像データにおける投影対象画像の位置を示す投影位置データを投影位置記憶装置に記憶する手段、
   前記投影タイミングと異なる画像取得タイミングにおいて前記撮影装置によって取得された撮影画像データを撮影画像記憶装置に記憶する手段、
   前記撮影画像記憶装置に記憶されている前記撮影画像データに基づいて、認識対象物の位置を示す撮影位置データを求め、前記認識位置データを認識位置記憶装置に記憶する手段、
   前記投影位置記憶装置の前記投影位置データと、前記認識位置記憶装置の前記認識位置データとに基づいて、前記認識対象物の位置と前記投影対象画像の位置との一致性を判断する手段
   として機能させるためのプログラム。

Images