JP2019213051A

JP2019213051A - 画像投影装置

Info

Publication number: JP2019213051A
Application number: JP2018107580A
Authority: JP
Inventors: 寛人加納; Hiroto Kano; 渡辺　和宏; Kazuhiro Watanabe; 和宏渡辺; 武司中田; Takeshi Nakada; 哲也関根; Tetsuya Sekine
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-06-05
Filing date: 2018-06-05
Publication date: 2019-12-12

Abstract

【課題】パノラマ画像及び２次元の向きを有する画像の双方を適切に投影することができる画像投影装置を提供する。【解決手段】本発明に係る画像投影装置１００は、投影面Ｗ、Ｔに画像を投影する投影部と、投影面Ｗ、Ｔを含む範囲を撮像する撮像部と、投影部及び撮像部を制御する制御部とを有し、制御部は、投影部に２次元の向きを有する第一の画像Ｄ１、Ｄ２を、撮像により取得された範囲の画像に基づいて投影面Ｗ、Ｔ内且つ第一のユーザーＵ１、Ｕ２の視野内の第一の領域Ａ１、Ａ２に表示させ、且つ、２次元の向きを有さない第二の画像Ｓを、投影面Ｗ、Ｔ内の第一のユーザーＵ１、Ｕ２の視野外の領域を含む第二の領域Ｗに表示させることを特徴とする。【選択図】図１

Description

本発明は、画像投影装置に関する。

従来、ユーザーが臨場感を感じられるように風景等のパノラマ画像を装置の全周に投影する画像投影装置が知られている（特許文献１）。

特開２００７−２１８９４５号公報

しかしながら、特許文献１に開示されている画像投影装置は、風景等のパノラマ画像を投影する場合には適しているが、文字や図表等の２次元の向きを有する画像を投影する場合には適していない。
そこで本発明は、パノラマ画像及び２次元の向きを有する画像の双方を適切に投影することができる画像投影装置を提供することを目的とする。

本発明に係る画像投影装置は、投影面に画像を投影する投影部と、投影面を含む範囲を撮像する撮像部と、投影部及び撮像部を制御する制御部とを有し、制御部は、投影部に２次元の向きを有する第一の画像を、前記撮像により取得された前記範囲の画像に基づいて投影面内且つ第一のユーザーの視野内の第一の領域に表示させ、且つ、２次元の向きを有さない第二の画像を、投影面内の第一のユーザーの視野外の領域を含む第二の領域に表示させることを特徴とする。

本発明によれば、パノラマ画像及び２次元の向きを有する画像の双方を適切に投影することができる画像投影装置を提供することができる。

第一実施形態に係る画像投影装置の使用様態の一例を示した図。第一実施形態に係る画像投影装置のハードウェア構成を示すブロック図。第一実施形態に係る画像投影装置によって実行される画像投影処理のフローチャート。２次元の向きを有する画像及び２次元の向きを有さない画像それぞれの例を示した図。第一実施形態に係る画像投影装置の概略断面図。第一実施形態に係る画像投影装置の画像投影時及び画像撮像時それぞれにおける光路図。第二実施形態に係る画像投影装置の使用様態の一例を示した図。第三実施形態に係る画像投影装置によって実行される画像投影処理のフローチャート。第四実施形態に係る画像投影装置によって実行される画像投影処理のフローチャート。第五実施形態に係る画像投影装置の使用様態の一例を示した図。

［第一実施形態］
以下、本実施形態に係る画像投影装置について図面に基づいて説明する。なお、以下に示す図面は、本実施形態を容易に理解できるようにするために、実際とは異なる縮尺で描かれている場合がある。

図１は、第一実施形態に係る画像投影装置１００の使用様態の一例を示している。
以下に示すように、本実施形態に係る画像投影装置１００は、装置の周囲３６０度に画像を投影することができる画像投影手段と、装置の周囲３６０度（範囲）を撮像することができる撮像手段と、撮像して得られた画像中のユーザーを検知するユーザー検知手段とを有している。
そして、文書画像Ｄ等の２次元の「向き」を有する画像については、ユーザー検知手段によって検知されたユーザーＵの前面の位置に判読容易な向きに表示制御し、一方で、風景画像Ｓ等の２次元の「向き」を有さない画像については、そのような表示制御を行わない。

図１に示されているように、使用様態の一例においては、画像投影装置１００は、テーブルＴ上に設置されており、周囲の壁ＷやテーブルＴに向けて文書画像Ｄ１及びＤ２や風景画像Ｓを投影している。
文書画像Ｄ１及びＤ２（第一の画像）はそれぞれ、ユーザーＵ１及びＵ２（第一のユーザー）の前面の位置に判読容易な向きで投影表示されている。ここで、ユーザーＵ１及びＵ２それぞれの前面の位置とは、投影面である周囲の壁Ｗ及びテーブルＴ内且つユーザーＵ１及びＵ２の視野内の第一の領域Ａ１及びＡ２を意味している。

一方、風景画像Ｓ（第二の画像）は、ユーザーＵ１及びＵ２の位置に関わらず、投影面内のユーザーＵ１及びＵ２の視野外の領域を含む第二の領域である周囲の壁Ｗの一面に投影表示されている。
これにより、ユーザーは、あたかも自然の中にいるかのような雰囲気で臨場感よくミーティングを行うことができる。

図２は、本実施形態に係る画像投影装置１００のハードウェア構成を示すブロック図である。
図２に示されているように、ＣＰＵ１０１は、各種処理のための演算や論理判断などを行い、システムバス１０８に接続された各構成要素を制御する。

ＲＯＭ１０２は、プログラムメモリであって、ＣＰＵ１０１による制御のためのプログラムを格納する。
ＲＡＭ１０３は、データメモリであり、ＣＰＵ１０１によって実行される制御プログラムのワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域などを有する。
記憶装置１０４は、ハードディスクや外部に接続された記憶装置などからなり、画像ファイルや文書ファイルなどの各種データやプログラムを記憶する。

撮像部１０５は、ユーザーや紙書類など画像投影装置１００が設置された空間に存在する対象物、画像や空間そのもののイメージを撮像し、入力データとする。
投影部１０６は、風景画像Ｓ、文書画像Ｄ、ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）等を含む画像や映像を投影する。
Ｉ／Ｆ１０７は、画像投影装置１００と外部機器やネットワークとを接続するためのインターフェースである。

本実施形態に係る画像投影装置１００では、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、記憶装置１０４及びＩ／Ｆ１０７によって、制御部９０７が構成される。
また、本実施形態に係る画像投影装置１００の撮像部１０５及び投影部１０６の詳細な構成については後述する。

図３は、本実施形態に係る画像投影装置１００の制御部９０７によって実行される画像投影処理のフローチャートを示している。
具体的には、図３に示されるフローチャートによって、画像投影装置１００によって撮像される画像中のユーザーＵを検知し、文書画像Ｄは検知されたユーザーＵの前面の位置にそのユーザーＵに向けて表示するようにし、一方、風景画像Ｓはそのような表示をしないように判断及び処理を行う。

図３に示されているように、画像投影装置１００は、動作を開始（Ｓ３００）した後、まず、Ｉ／Ｆ１０７を通して画像データの入力があったかどうかを判定する（Ｓ３０１）。
次に、画像データの入力があったときは（Ｓ３０１のＹｅｓ）、その画像データが文書画像Ｄ等の２次元の「向き」を有する画像のデータか、それ以外の画像（例えば風景画像Ｓ）のデータかを判定する（Ｓ３０２）。

なお、ここでいう文書画像Ｄ等の２次元の「向き」を有する画像と風景画像Ｓ等のそれ以外の画像とはそれぞれ、図４（ａ）及び（ｂ）に示されているようなものを指す。
図４（ｂ）に示されているように、風景画像Ｓはドーナツ形状の画像となるので、風景画像Ｓのデータの周囲及び中心の所定の部分が黒画像かどうかを判定することで、風景画像Ｓを識別することができる。

次に、入力された画像データが２次元の向きを有する画像のデータであったときは（Ｓ３０２のＹｅｓ）、撮像部１０５によって画像投影装置１００の周囲の略全周を撮像し、撮像データを得る（Ｓ３０３）。
そして、既知のアルゴリズムを用いて、得られた撮像データ中の各ユーザーの位置（座標）及び向き（ベクトル）を取得する（Ｓ３０４）。

次に、取得された各ユーザーの中から、２次元の向きを有する画像に対して予め設定されている初期表示位置（座標）に近いユーザーを決定する（Ｓ３０５）。そして、決定されたユーザーの位置（座標）に対して、ユーザーの前面となる位置（座標）に、２次元の向きを有する画像の表示を行い（Ｓ３０６）、処理を終了する（Ｓ３０８）。

一方、入力された画像データが２次元の向きを有さない画像のデータであったときは（Ｓ３０２のＮｏ）、２次元の向きを有さない画像に対して予め設定されている初期表示中心位置を中心として全周表示を行い（Ｓ３０７）、処理を終了する（Ｓ３０８）。

図５は、本実施形態に係る画像投影装置１００の概略断面図を示している。
本実施形態に係る画像投影装置１００は、プロジェクター９０２、カメラ９０３、第一の光学系９０４、第二の光学系９０５、共通光学系９０６、制御部９０７、電源部９０８及び冷却部９０９を有しており、それらは筐体９０１の内部に格納されている。

筐体９０１は、略筒形で、一部が透明素材で構成されており、この透明部分を透過して筐体内部から投影光を画像投影装置１００の周囲の略全周に投影し、また、略全周にわたる撮像イメージが筐体内部に入光する。
プロジェクター９０２は、制御部９０７の画像信号によって生成された画像を投影するものであり、液晶プロジェクター、ＤＭＤ（ＤｉｇｉｔａｌＭｉｃｒｏｍｉｒｒｏｒＤｅｖｉｃｅ）プロジェクター等の方式のものを使用することができる。
カメラ９０３は、ＣＣＤ（ＣｈａｒｇｅｄＣｏｕｐｌｅｄＤｅｖｉｃｅｓ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えており、光学イメージを電気信号に変換して制御部９０７に出力する。

第一の光学系９０４は、ミラーから構成されており、プロジェクター９０２から上方に出射された光線を画像投影装置１００の周囲の略全周に投影する。
第二の光学系９０５は、レンズ及びミラーから構成されており、画像投影装置１００の周囲の略全周からの光線を、カメラ９０３の撮像素子上に集光させるものである。
共通光学系９０６は、レンズ及び絞りから構成されており、投影光学系８０４と撮像光学系８０５とで共有される光学系である。

従って、本実施形態に係る画像投影装置１００では、第一の光学系９０４及び共通光学系９０６によって、投影光学系８０４が構成されている。
また、第二の光学系９０５及び共通光学系９０６によって、撮像光学系８０５が構成されている。
そして、プロジェクター９０２及び投影光学系８０４によって、投影部１０６が構成されている。
また、カメラ９０３及び撮像光学系８０５によって、撮像部１０５が構成されている。

制御部９０７は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｆ等からなり、撮像部１０５や投影部１０６の動作を制御し、また、プロジェクター９０２への投影画像信号の送信やカメラ９０３からの撮像信号の受信を行う。
さらに、制御部９０７は、投影画像データや撮像画像データを演算、処理して新たなデータの生成やデータ間の対応付け、及び外部機器やネットワークとのデータ送受信を行う。
画像投影装置１００の電力は、電源部９０８によって供給され、プロジェクター９０２や制御部９０７等の発熱部材は、冷却ファン等を内蔵する冷却部９０９によって冷却される。

図６（ａ）及び（ｂ）はそれぞれ、本実施形態に係る画像投影装置１００の画像投影時及び画像撮像時における光路図を示している。

図６（ａ）及び（ｂ）に示されているように、本実施形態に係る画像投影装置１００は、パネル面ＰＮＬ、受光面ＩＭＧ、偏向面ＢＳ、絞りＡＰ、凹面反射面Ｒｅｆｌ１、反射面Ｒｅｆｌ２、屈折光学系ＬＮを備えている。
なお、パネル面ＰＮＬ及び受光面ＩＭＧはそれぞれ、液晶表示素子やＤＭＤ素子等の表示面及び撮像素子の受光面に一致する。

画像投影時においては、図６（ａ）に示されているように、パネル面ＰＮＬ上の像から共通光学系９０６によって中間像ＲＩが形成され、そして第一の光学系９０４である凹面反射面Ｒｅｆｌ１によって投影面上に画像が投影される。
一方、画像撮像時においては、図６（ｂ）に示されているように、撮像面上の像から第二の光学系９０５である反射面Ｒｅｆｌ２及び屈折光学系ＬＮによって中間像ＲＩが形成され、そして共通光学系９０６及び偏向面ＢＳによって受光面ＩＭＧ上に受光される。

凹面反射面Ｒｅｆｌ１は、共通光学系９０６の光軸に対して回転対称であり、且つ共通光学系９０６の光軸を含む中央部がくり貫かれた形状となっている。また、凹面反射面Ｒｅｆｌ１の中央部は、空気または透過面となっている。
図６（ａ）及び（ｂ）に示されているように、画像投影時には、凹面反射面Ｒｅｆｌ１の反射部によって光線が反射され、画像撮像時には、凹面反射面Ｒｅｆｌ１の中央部を光線が通過する。
また、反射面Ｒｅｆｌ２は、投影面に対して略垂直の面が撮像可能であるように配置されている。なお、別途駆動系を設けて、反射面Ｒｅｆｌ２の傾きを変更可能に構成しても構わない。

偏向面ＢＳは、半透過フィルター、偏光フィルターやダイクロイックミラー等の光学素子で構成される。なお、偏向面ＢＳは、画像撮像時と画像投影時とを時分割し、画像撮像時においてのみ光路上に繰り出されるように構成してもよい。
絞りＡＰは、画像投影時と画像撮像時とで絞り径が異なるように構成される。具体的には、画像投影時には、より明るい光を投影させるために絞り径を大きくしており、一方、画像撮像時には、被写界深度を得るために絞り径を小さくしている。
また、光度の調整を行うために、絞りＡＰとＮＤ（ＮｅｕｔｒａｌＤｅｎｓｉｔｙ）フィルターとを組み合わせても構わない。
また、投影光学系８０４及び撮像光学系８０５それぞれの焦点距離や画像投影装置１００の用途に応じて、画像投影時における絞りＡＰの絞り径を画像撮影時より小さくしても構わない。

本実施形態に係る画像投影装置１００では、第一の光学系９０４は、凹面反射面Ｒｅｆｌ１から構成される。しかしながら、これに限らず、少なくとも１つの屈折光学素子、複数の反射面、もしくは屈折光学素子と反射面との組み合わせによって構成しても構わない。
また、第二の光学系９０５は、複数の屈折光学素子ＬＮ及び反射面Ｒｅｆｌ２から構成される。しかしながら、これに限らず、複数の反射面によって構成しても構わない。
また、共通光学系９０６は、複数の屈折光学素子及び絞りＡＰから構成される。しかしながら、これに限らず、複数の屈折光学素子、絞りＡＰ及び反射面の組み合わせによって構成しても構わない。

次に、本実施形態に係る画像投影装置１００の各光学系の諸元値を以下の表１、表２及び表３、表４に示す。

なおここで、ｉは投影面または撮像面側から数えた面の順序（面番号）である。Ｒは第ｉ面の曲率半径、Ｄは第ｉ面と第ｉ＋１面との面間隔、Ｎｄはｄ線における第ｉ面と第ｉ＋１面との間の屈折光学素子の屈折率である。νｄは以下の式（１）によって求められる第ｉ面と第ｉ＋１面との間の屈折光学素子のアッベ数である。

ここで、Ｎ_ＦはＦ線における屈折率、Ｎ_ＣはＣ線における屈折率である。

また、面番号に「*」が付された光学面は非球面、Ｍが付された光学面は反射面、ＡＰが付された光学面は絞りを意味している。
また、非球面形状については、共通光学系９０６の光軸に垂直な方向における該光軸からの距離をｒとしたとき、距離ｒにおける光軸方向の面位置Ｈ（ｒ）は以下の式（２）によって表される。

なおここで、Ｋは離心率、Ｃ_４、Ｃ_６、Ｃ_８、Ｃ_１０、Ｃ_１２は非球面係数であり、「Ｅ−Ｎ」は「×１０^−Ｎ」を意味している。
また、ｆは投影光学系８０４または撮像光学系８０５の焦点距離、Ｆｎｏは投影光学系８０４または撮像光学系８０５の縮小側Ｆ値である。

本実施形態に係る画像投影装置１００における各光学系が備える各光学素子は、共通光学系９０６の光軸に対して回転対称な形状を有している。しかしながら、これに限らず、収差補正等の要請に応じて、偏心配置させたり自由曲面に形成されてもよい。その場合には、偏心配置若しくは自由曲面の光学素子を含む全光学素子及び絞りのうち、最も多くの光学素子及び絞りの共通の光軸を画像投影装置１００の光軸とすればよい。
また、各光学系において折り返しミラー等を配置してもよいし、反射面をプリズムで構成しても構わない。
また、防塵対策等のために、各光学系においてカバーガラスや保護膜等を配置しても構わない。

また、本実施形態に係る画像投影装置１００では、投影光学系８０４と撮像光学系８０５とで共通する光学系、すなわち共通光学系９０６を設けている。
これは、部品点数削減による装置の小型化や製造コスト低減に資すると共に、以下のような特有の効果ももたらす。

まず、プロジェクター９０２の投影素子の座標系とカメラ９０３の撮像素子の座標系とを対応させて、共役関係を取り易くすることができる。
これにより、高度な演算処理を必要とせずにデータ空間上における撮像画像の座標系と投影画像の座標系とを合わせることができ、例えば、撮像画像上で検出されたユーザーＵの位置や向きに合わせて文書画像Ｄの表示位置や向きを決定するといった処理を高速に行なうことが可能となる。

また、熱や振動、またはその他の要因によって、撮像光学系に歪みが生じていると、実空間上における座標と、撮像光学系を通過して取得された撮像イメージのデータ空間上における座標との間にズレが生じる。
従って、撮像イメージのデータ空間上における座標に基づいて決定された、投影イメージのデータ空間上における座標も、実空間上における座標とズレることになる。

例えば、撮像イメージのデータ空間上において検出されたユーザーＵの座標が実空間上におけるユーザーＵの座標とズレていると、投影イメージのデータ空間上において、ユーザーＵの前面の位置にユーザーＵに正対するように生成された文書画像Ｄの位置や向きも、本来、光学系に歪みが生じていない場合に生成されるべき文書画像Ｄの位置や向きとズレることになる。
しかしながら、本実施形態に係る画像投影装置１００のように投影光学系８０４と撮像光学系８０５とで共通する共通光学系９０６を設けると、投影光学系８０４と撮像光学系８０５とで同様の歪みが生じることになる。そのため、撮像時における光線の入射と投影時における光線の出射とで歪みが相殺され、その結果、実空間上の好適な位置（ユーザーＵに正対する位置）に文書画像Ｄ等を投影することが可能となる。

以上のように、本実施形態に係る画像投影装置１００によれば、撮像イメージのデータ空間上の座標と投影イメージのデータ空間上の座標とのズレを低減しつつ、パノラマ画像や風景画像等の２次元の「向き」を有さない画像は装置の周囲の略全周に投影可能であり、文字や図表等の２次元の「向き」を有する画像はユーザーの前面の好適な位置に判読容易な向きで高速に投影可能である画像投影装置を実現することができる。

［第二実施形態］
第二実施形態に係る画像投影装置２００は、制御部９０７が実行する制御を除いて、第一実施形態に係る画像投影装置１００と同一の構成であるため、同一の部材には同一の符番を付して説明を省略する場合がある。

図７（ａ）乃至（ｄ）は、第二実施形態に係る画像投影装置２００の使用様態の一例を示している。

本実施形態に係る画像投影装置２００は、投影表示した２次元の「向き」を有する文書画像Ｄを含む周囲の画像を撮像し、得られた周囲画像中の２次元の「向き」を有する文書画像ＤとユーザーＵとの位置関係に基づき、文書画像Ｄの表示位置や表示向きを調整する（フィードバックする）。

本実施形態に係る画像投影装置２００は、図７（ａ）に示されているように、まず、２次元の「向き」を有する文書画像Ｄを、ユーザーＵの位置に関わらず、予め設定されている初期表示位置Ｐ_０に、初期表示向きＶ_０で表示する。
次に、図７（ｂ）に示されているように、画像投影装置２００は、撮像部１０５により画像投影装置２００の周囲を撮像し、周囲画像Ｉを得る。
そして、周囲画像ＩにおけるユーザーＵの位置Ｐ_ｕ及び向きＶ_ｕと、文書画像Ｄの位置Ｐ_ｇ及び向きＶ_ｇとを取得する。

次に、画像投影装置２００は、図７（ｃ）に示されているように、取得されたユーザーＵの位置Ｐ_ｕ及び向きＶ_ｕに基づいて、文書画像Ｄを、ユーザーＵにより近い位置Ｐ_１に、ユーザーＵに対して、より正対する表示向きＶ_１で表示する。
そして、図７（ｄ）に示されているように、再び撮像部１０５により画像投影装置２００の周囲を撮像し、周囲画像Ｉを得て、周囲画像ＩにおけるユーザーＵの位置Ｐ_ｕ及び向きＶ_ｕと、文書画像Ｄの位置Ｐ_ｇ’及び向きＶ_ｇ’とを取得する。

以上の処理をユーザーＵの位置Ｐ_ｕと文書画像Ｄの位置Ｐ_ｇとが対応し、且つユーザーＵの向きＶ_ｕと文書画像Ｄの向きＶ_ｇとが平行になるまで繰り返すことにより、最終的に、文書画像ＤはユーザーＵの前面の位置に、ユーザーＵに正対する向きで表示されることとなる。

このように、本実施形態に係る画像投影装置２００は、投影されている文書画像Ｄを確認しながら、文書画像Ｄの投影表示を行っている。
これにより、種々の要因に応じて、文書画像Ｄのデータ空間上における位置や向きが実空間上の文書画像Ｄの投影位置や投影向きに対してズレている場合であっても、ユーザーＵの前面の位置に、ユーザーＵに正対する向きで文書画像Ｄを表示することが可能となる。

［第三実施形態］
第三実施形態に係る画像投影装置は、制御部９０７が実行する制御を除いて、第一実施形態に係る画像投影装置１００と同一の構成であるため、同一の部材には同一の符番を付して説明を省略する場合がある。

図８は、第三実施形態に係る画像投影装置の制御部９０７によって実行される画像投影処理のフローチャートを示している。

本実施形態に係る画像投影装置では、撮像した画像中に装置に記憶されていない文書を検出したとき、その文書の画像を、最も近傍に検知されたユーザーＵに対応付けて記憶する。

上で説明したように、本実施形態に係る画像投影装置は、パノラマ画像や風景画像等を周囲の壁の一面に表示しつつ、文書画像等をユーザーの前面に判読容易な向きで表示することができる。
これにより、ユーザーは、あたかも自然の中にいるかのような雰囲気で臨場感よくミーティングを行うことができる。

このようなミーティングにおいては、実際には紙文書等データ化されていない文書が持ち込まれることがあり、そうした文書であっても画像データとして取り込んだ後にユーザーに対して判読容易な向きで表示できれば極めて便利である。

図８に示されているように、本実施形態に係る画像投影装置は、動作を開始（Ｓ６００）した後、まず撮像部１０５により装置の周囲の略全周を撮像し、撮像データを取得する（Ｓ６０１）。
次に、既知のアルゴリズムを用いて、取得した撮像データ中の各文書画像を検出し（Ｓ６０２）、それ以外の画像を捨象し、各文書画像のみからなる切り取り画像データを生成する（Ｓ６０３）。

次に、切り取り画像データと装置に記憶されている文書画像データとを比較することにより、未記憶の文書の画像（すなわち、投影表示された文書画像Ｄではない実在の文書の画像、第三の画像）を抽出する（Ｓ６０４）。
そして、抽出された未記憶の文書の画像の位置（座標）を取得する（Ｓ６０５）。

次に、Ｓ６０１で取得した撮像データ中の各ユーザーの位置（座標）を取得する（Ｓ６０６）。そして、Ｓ６０５で取得した未記憶の文書の画像の位置（座標）に最も近いユーザーＵ（第二のユーザー）の撮像イメージに対応付けて、文書の画像を記録し（Ｓ６０７）、処理を終了する（Ｓ６０８）。

なお、切り取り画像データにおける未記憶の文書の画像は、撮像部１０５により撮像された撮像データをトリミングして取得することができる。
しかしながら、撮像部１０５の撮像解像度等によっては、未記憶の文書の画像をユーザーに投影表示して判読させるに足る十分な画質で得られない可能性もある。
このような問題を回避するために、例えば、検出された未記憶の文書の画像に対応付けられたユーザーＵに対して、撮像部１０５に文書を装置に近づけるように促すメッセージを表示し、所定の画質で撮像できる程度まで近づけられた時に文書イメージを取り込むようにしても構わない。
または、予めユーザーＵに対応付けて登録されているスマートフォン等の通信機器にメッセージを通知し、予めその通信機器にインストールされているアプリケーションプログラムを起動し、ユーザーＵを促してそのアプリケーションプログラムにより文書イメージの取り込みを行なわせてもよい。あるいは、文書取り込み用のスキャナーを別途設けてもよい。

本実施形態に係る画像投影装置によれば、紙文書等の未記憶のデータ化されていない実在の文書が持ち込まれても、ユーザーと対応付けてデータ化し、ユーザーが判読容易であるように表示することが可能となる。
これにより、ユーザーの文書に対する利便性を向上させることができる。

［第四実施形態］
第四実施形態に係る画像投影装置は、制御部９０７が実行する制御を除いて、第一実施形態に係る画像投影装置１００と同一の構成であるため、同一の部材には同一の符番を付して説明を省略する場合がある。

図９は、第四実施形態に係る画像投影装置の制御部９０７によって実行される画像投影処理のフローチャートを示している。

本実施形態に係る画像投影装置は、ユーザーＵの顔を識別する顔識別手段を有しており、Ｉ／Ｆ１０７を介して入力され、ユーザーＵに対応付けられた文書画像Ｄを投影表示する際には、ユーザーＵとして識別された顔の前面の位置にその顔に向けて表示するように制御する。
それにより、その文書画像Ｄの近傍にＧＵＩを表示したとき、ユーザーＵが文書画像Ｄに対して操作を行うことができるようになるため、文書画像Ｄの内容を編集したり、他のユーザーのために複製等を作成したりすることができ、極めて便利である。

図９に示されているように、本実施形態に係る画像投影装置は、動作を開始（Ｓ７００）した後、まず、Ｉ／Ｆ１０７を介して２次元の「向き」を有する文書画像Ｄの入力があったか否かを判定する（Ｓ７０１）。
もし、２次元の「向き」を有する文書画像Ｄの入力があったときは（Ｓ７０１のＹｅｓ）、その文書画像ＤがユーザーＵ（第三のユーザー）に対応付けられた文書画像Ｄ（第四の画像）か否かを判定する（Ｓ７０２）。
もし、その文書画像ＤがユーザーＵに対応付けられた文書画像Ｄであったときは（Ｓ７０２のＹｅｓ）、その文書画像Ｄに対応付けられたユーザーＵを識別するためのデータ（例えば、ユーザーＵの顔の画像や、その顔画像の特徴についてコード化されたデータ）を取得する（Ｓ７０３）。

次に、撮像部１０５により画像投影装置の周囲の略全周を撮像し、撮像データを得る（Ｓ７０４）。そして、既知のアルゴリズムを用いて、撮像データ中の各ユーザーＵの顔画像を切り出す（Ｓ７０５）。
次に、Ｓ７０５で抽出された顔画像とＳ７０３で取得された顔画像（または顔画像の特徴をコード化した情報）とを比較し（Ｓ７０６）、マッチングが得られたか否かを判定する（Ｓ７０７）。

もし、マッチングが得られたときには（Ｓ７０７のＹｅｓ）、そのマッチングが得られたユーザーＵの顔の前面の位置（すなわち、投影面内且つユーザーＵの視野内の第三の領域）に、入力された文書画像Ｄをその顔に向けて投影表示し（Ｓ７０８）、処理を終了する（Ｓ７１０）。
一方、マッチングが得られなかったとき（Ｓ７０７のＮｏ）や入力された文書画像ＤがユーザーＵに対応付けられた文書画像Ｄではなかったとき（Ｓ７０２のＮｏ）には、「装置の周囲のユーザーには対応付けられていない画像が入力された」旨のメッセージ表示を行い（Ｓ７０９）、処理を終了する（Ｓ７１０）。

本実施形態に係る画像投影装置によれば、ユーザーＵに対応付けられた文書画像ＤをそのユーザーＵの前面の位置にユーザーＵに向けて投影表示することが可能となる。
これにより、ユーザーの文書に対する利便性を向上させることができる。

［第五実施形態］
第五実施形態に係る画像投影装置５００は、制御部９０７が実行する制御を除いて、第一実施形態に係る画像投影装置１００と同一の構成であるため、同一の部材には同一の符番を付して説明を省略する場合がある。

図１０（ａ）及び（ｂ）は、第五実施形態に係る画像投影装置５００の使用様態の一例を示している。

本実施形態に係る画像投影装置５００は、ユーザーＵの操作（例えば、ジェスチャー）により文書画像Ｄの表示位置を変更する表示位置変更手段を有しており、ユーザーＵにより文書画像Ｄの表示位置を変更するように指示が出されたときには、変更される表示位置と検出されたユーザーの位置とに基づいて、文書画像Ｄの向きを変更する。

具体的には、図１０（ａ）に示されているように、文書画像Ｄ（第五の画像）がユーザーＵ１（第四のユーザー）の前面の位置にユーザーＵ１に正対する向きで表示されているとする。
ここで、投影表示面に対するユーザーのタッチジェスチャー、具体的には、投影表示されている文書画像Ｄがユーザーによってタッチされ、さらにドラッグされたことを検知したときには、文書画像Ｄの表示位置をジェスチャーに従って変更する。

例えば、図１０（ｂ）に示されているように、ユーザーＵ１が文書画像Ｄをタッチし、ユーザーＵ２の前面に移動させるようにドラッグ操作を行なうと、文書画像Ｄの向きがユーザーＵ２に正対するように変更される。

なお、タッチジェスチャーの検知手段としては、別途レーザー光源を設けて、そのレーザー光源から出射してユーザーによって反射される反射光を検出する機構を用いることができる。
また、それに限らず、タッチジェスチャーの検知手段として、撮像部１０５により画像投影装置５００の周囲画像を経時的に撮像し、取得された各画像を解析する機構を用いることもできる。

本実施形態に係る画像投影装置５００によれば、２次元の「向き」を有する文書画像Ｄの表示位置がユーザーの操作によって変更されたとき、ユーザーに正対するように文書画像Ｄの表示向きも変更される。
それにより、ユーザーに対して文字や図表などの文書画像を判読容易に表示すると共に、ユーザーの操作により文書画像の表示位置を適宜変更することができ、ユーザーの文書に対する利便性を向上させることができる。

１００画像投影装置
１０５撮像部
１０６投影部
９０７制御部
Ｄ１、Ｄ２文書画像（第一の画像）
Ｓ風景画像（第二の画像）
Ｕ１、Ｕ２ユーザー（第一のユーザー）

Claims

投影面に画像を投影する投影部と、
前記投影面を含む範囲を撮像する撮像部と、
前記投影部及び前記撮像部を制御する制御部とを有し、
前記制御部は、前記投影部に２次元の向きを有する第一の画像を、前記撮像により取得された前記範囲の画像に基づいて前記投影面内且つ第一のユーザーの視野内の第一の領域に表示させ、且つ、２次元の向きを有さない第二の画像を、前記投影面内の前記第一のユーザーの視野外の領域を含む第二の領域に表示させることを特徴とする画像投影装置。
前記制御部は、前記投影部に前記第一の画像を前記第一の領域において所定の向きで表示させることを特徴とする請求項１に記載の画像投影装置。
前記制御部は、前記範囲の画像から検出される前記第一の領域の前記第一の画像の投影位置と前記第一のユーザーの位置とに基づいて、前記第一の画像の投影位置及び向きを変更することを特徴とする請求項１または２に記載の画像投影装置。
前記制御部は、前記範囲の画像において検出された未記憶の２次元の向きを有する第三の画像を、該第三の画像の最も近傍に検出された第二のユーザーに対応付けて記憶することを特徴とする請求項１乃至３のいずれか一項に記載の画像投影装置。
前記制御部は、前記範囲の画像において第三のユーザーの顔を識別し、前記投影部に該第三のユーザーに対応付けられた２次元の向きを有する第四の画像を、前記投影面内且つ前記顔の視野内の第三の領域において前記顔に向けて表示させることを特徴とする請求項１乃至４のいずれか一項に記載の画像投影装置。
前記制御部は、前記範囲の画像において第四のユーザーのジェスチャーを検出し、前記投影部に該ジェスチャーに基づいて、投影している２次元の向きを有する第五の画像の向きを変更することを特徴とする請求項１乃至５のいずれか一項に記載の画像投影装置。
前記投影部は、該投影部の投影光学系の光軸を中心として３６０度の方向に画像を投影することができ、
前記撮像部は、該撮像部の撮像光学系の光軸を中心として３６０度の方向を撮像することができることを特徴とする請求項１乃至６のいずれか一項に記載の画像投影装置。
前記投影部の投影光学系の一部と前記撮像部の撮像光学系の一部とは互いに共通していることを特徴とする請求項１乃至７のいずれか一項に記載の画像投影装置。