JP2007166548A

JP2007166548A - 映像提示システム

Info

Publication number: JP2007166548A
Application number: JP2005364011A
Authority: JP
Inventors: Masanori Kashiwagi; 正徳柏木; Kiyotaka Takehara; 清隆竹原
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2005-12-16
Filing date: 2005-12-16
Publication date: 2007-06-28
Anticipated expiration: 2025-12-16
Also published as: JP4654905B2

Abstract

【課題】煩わしい特別な操作をすることなく、利用者自身を様々な方向から視認した映像を提示する。
【解決手段】利用者の顔面に正対するよう配されたハーフミラー１１と、利用者を相異なる所定の方向からそれぞれ撮影する複数のカメラ１３と、カメラ１３によって撮影された映像、又はカメラ１３によって撮影された映像に基づき生成された映像をスクリーンに投影するプロジェクタ１４又は２２を備え、ハーフミラー１１に正対した利用者のハーフミラー１１に対する相対的な位置に応じて、ハーフミラー１１によって反射される利用者の反射像、又はハーフミラー１１によって透過されるスクリーンに投影された映像を選択的に提示することで実現する。
【選択図】図３

Description

本発明は、利用者が直接視認しにくい方向からの利用者自身の映像を撮影して提示する映像提示システムに関する。

姿見などの鏡により提示される自身の反射像を視認することの限界を補うために、死角となる位置から撮影装置によって利用者自身を撮影し、撮影した映像を提示する装置が考案されている。

例えば、伸縮、回転が自在なアームを介して取り付けられたＣＣＤカメラにより、様々なカメラアングルで被写体を撮影し、撮影した映像をハーフミラーに接合された液晶表示板を介して提示する技術が開示されている（特許文献１参照。）。この特許文献１で開示されている技術は、上述したように液晶表示板を接合したハーフミラーを採用することで、利用者の正面反射像を提示する鏡としての機能と、利用者の死角領域を提示する映像提示装置としての機能とを切り替えることができるようになっている。
特開平５−１９２２３３号公報

一般に、姿見などの鏡を使用する際、利用者は、髪を整えるためにブラシやヘアードライヤーなどを保持するといったように、両手を塞がれた状態で使用されることが多い。三面鏡を用いた場合、このように両手を塞がれた状態であっても平面鏡では死角となってしまう領域を視線の移動や上体の移動により容易に視認することができる。しかしながら、このような三面鏡は、その原理から利用者が視認できる範囲が限られてしまうといった問題がある。

特許文献１で開示されている技術では、撮影した映像の提示により、このような三面鏡では原理的に限られてしまう視認範囲を広げることをできるとしているが、利用者の正面反射像を提示する鏡としての機能と、利用者の死角領域を提示する映像提示装置としての機能とを切り替えるためには、液晶表示板のオフ、オフを切り替えるなんらかの煩わしい操作が必要となってしまう。したがって、例えば、外出前などの限られた時間内において、煩わしい操作をすることなく容易に自身の姿を様々な方向から見たいという要求を満たすことができないといった問題がある。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、煩わしい特別な操作をすることなく、利用者自身を様々な方向から視認した映像を提示することができる映像提示システムを提供することを目的とする。

本発明の映像提示システムは、上述した課題を解決するために、利用者の顔面に正対するよう配されたハーフミラーと、利用者を相異なる所定の方向からそれぞれ撮影する複数の撮影手段と、前記撮影手段によって撮影された映像、又は前記撮影手段によって撮影された映像に基づき生成された映像を投影する映像投影手段と、前記映像投影手段によって映像が投影されるスクリーンとを備え、前記ハーフミラーに正対した利用者の前記ハーフミラーに対する相対的な位置に応じて、前記ハーフミラーによって反射される前記利用者の反射像、又は前記ハーフミラーによって透過される前記スクリーンに投影された映像を選択的に提示する。

本発明によれば、煩わしい特別な操作を要求することなく、利用者自身を様々な方向から視認した映像を容易に提示することを可能とする。

以下、本発明の実施の形態について図面を参照して説明する。

［第１の実施の形態］
まず、図１、図２を用いて、本発明の第１の実施の形態として示す映像提示システム１０について説明をする。図１は、映像提示システム１０を搭載した洗面台１の外観の様子を示した図であり、図２は、洗面台１に搭載された映像提示システム１０の構成を示した図である。このような、洗面台１に対して、図１に示すように利用者は、着座しながら洗顔、洗髪などをすることができる。

図２に示すように、映像提示システム１０は、光の透過率と反射率がほぼ等分な鏡であるハーフミラー１１と、再帰性反射スクリーン１２と、ハーフミラー１１に対して左右に配された１対のカメラ１３（カメラ１３Ｌ、１３Ｒ）と、ハーフミラー１１と再帰性反射スクリーン１２との間に配された２台のプロジェクタ１４（プロジェクタ１４Ｌ、１４Ｒ）とを備えている。

このような構成の映像提示システム１０は、ハーフミラー１１に対する利用者の相対的な位置に応じて、このハーフミラー１１の正面に正対した利用者の反射像を映し出したり、プロジェクタ１４によって再帰性反射スクリーン１２に投影された映像をハーフミラー１１で透過させて提示することができる。

再帰性反射スクリーン１２は、映像を投影する映像投影面が再帰性反射材で形成されている。この再帰性反射スクリーン１２は、プロジェクタ１４からハーフミラー１１を介して投影された映像を再帰反射してハーフミラー１１から透過させる。

再帰性反射材は、入射角に拘わらず光源からの入射光を再び光源に反射する機能（再帰性）を持った構造材料であり、例えば、複数のガラスビーズをシート上に配することで再帰性を得るようにした材料である。なお、再帰性反射スクリーン１２に用いられる再帰性反射材は、再帰性が得られ、且つ、投影された映像光の再現性が高ければどのようなものであってもよく、上述したガラスビーズを用いるものの他にも、プリズム式の再帰性反射材など様々なものを使用することができる。

カメラ１３は、例えば、ＣＣＤ（Charge Coupled Device）撮像素子を搭載した小型形状のビデオカメラであり、利用者がハーフミラー１１に向かって正対した際に、利用者の左右の横顔をそれぞれ、撮影できる位置に配されたカメラ１３Ｌ、１３Ｒよりなる。カメラ１３が撮影する画像は、基本的には動画像であるが静止画像であってもよい。静止画像とする場合には、所定の時間間隔毎に撮影することで、利用者の状態の時間的な変化に撮影画像が追従するようにする。カメラ１３Ｒ、１３Ｌによって撮影された映像は、後述するプロジェクタ１４Ｒ、１４Ｌにそれぞれ出力される。

プロジェクタ１４は、オフィスのプレゼンテーションなどで一般的に用いられている小型形状の液晶プロジェクタやＤＬＰ（Digital Light Processing）プロジェクタなどである。プロジェクタ１４は、解像度がＸＧＡ（eXtended Graphics Array）に対応し、明るさが米国規格協会（ANSI：American National Standards Institute）で定められたプロジェクタの光源の発する光束の単位であるＡＮＳＩルーメンに換算して１０００ＡＮＳＩルーメン程度のものである。

映像提示システム１０では、このプロジェクタ１４として、カメラ１３Ｒ、１３Ｌから出力された映像をそれぞれ入力するプロジェクタ１４Ｒ、１４Ｌを備えている。プロジェクタ１４Ｒ、１４Ｌは、それぞれカメラ１３Ｒ、１３Ｌと接続され撮影された映像が入力される。

このプロジェクタ１４Ｒとプロジェクタ１４Ｌは、それぞれハーフミラー１１と再帰性反射スクリーン１２との間に、映像を投影する光学系が、図１に示したハーフミラー１１の垂直方向に伸びる中心線である中心線Ａから、それぞれ左右方向に所定の距離だけ離れ、且つ投影角を考慮して利用者が着座した際の正面目線よりも上方からハーフミラー１１側を向き、上下反転するように配置される。

より具体的には、プロジェクタ１４Ｒ、１４Ｌは、図３に示すように、中心線Ａよりも右側の位置Ｂ、左側の位置Ｃへと、利用者の視点位置が移動した場合に、それぞれの投影の原点と光学的に等価となるようにハーフミラー１１に対して配されることになる。つまり、利用者の姿を反射像として映すように固定的に設置されるハーフミラー１１により、プロジェクタ１４Ｒ、プロジェクタ１４Ｌから投影された映像光の向きが変えられ、再帰性反射スクリーン１２に投影された場合に、それぞれの投影の原点と、位置Ｂ、又は位置Ｃに移動した利用者の視点とが光学的に等価となるようにプロジェクタ１４Ｒ、プロジェクタ１４Ｌを固定的に設置する。

映像提示システム１０をカメラ１３Ｒが配された方向から眺めると、プロジェクタ１４から投影される映像光の光路は、図４に示すようになる。プロジェクタ１４から投影された映像光は、ハーフミラー１１で反射され再帰性反射スクリーン１２に投影される。再帰性反射スクリーン１２は、ハーフミラー１１で反射された映像光を再帰反射するため、利用者は、所定の位置に視点位置を移動した場合にのみプロジェクタ１４から投影された映像を視認することができる。

なお、図４に示すように、ハーフミラー１１、再帰性反射スクリーン１２、プロジェクタ１４とを配置させた際に、ハーフミラー１１と再帰性反射スクリーン１２との距離が必要となり、洗面台１の奥行きが実用的な上限を超えてしまうような場合には、ハーフミラー１１と再帰性反射スクリーン１２との距離が短くなるような光学系を適宜付加して新たな光路を確保する。

このような構成の映像提示システム１０は、利用者が洗面台１の中央位置、つまり図３に示したハーフミラー１１の中心線Ａ近傍に位置している場合には、ハーフミラー１１が鏡として機能するため利用者の反射像を図５（ａ）に示すように、そのまま映し出す。

一方、カメラ１３Ｒ、１３Ｌは、常に、利用者の右横顔、左横顔を常に撮影して、それぞれプロジェクタ１４Ｒ、１４Ｌに撮影した映像を出力している。プロジェクタ１４Ｒ、１４Ｌは、この映像をハーフミラー１１へ向けて常に投影しており、ハーフミラー１１で反射された映像光が再帰性反射スクリーン１２で再帰反射される。再帰性反射スクリーン１２で再帰反射された映像光は、その指向性により、固定的に設置されたハーフミラー１１に対する再帰性反射スクリーン１２、プロジェクタ１４Ｒ、１４Ｌの光学的配置で決まる所定の位置でのみ視認可能となっている。利用者は、この位置、例えば、図３に示す位置Ｂ、位置Ｃに視線を僅かに移動させた場合にはいつでも、プロジェクタ１４Ｒ、１４Ｌより投影された映像、つまり、カメラ１３Ｒ、１３Ｌで撮影された図５（ｂ）に示すような自身の右横顔の鏡像、図５（ｃ）に示すような左横顔の鏡像をハーフミラー１１越しに視認することができる。

［第１の実施の形態の効果］
このように、第１の実施の形態として示す映像提示システム１０は、利用者のハーフミラー１１に対する相対的な位置が所定の位置となった場合にのみ、プロジェクタ１４から投影される映像の投影の原点位置と利用者の視点位置とを光学的に等価とするように、ハーフミラー１１に対する再帰性反射スクリーン１２と、映像を投影するプロジェクタ１４との光学的配置を決定しているため、利用者が視線位置を変えるという簡便な動作によって、カメラ１３で撮影した映像の利用者への提示、鏡として機能したハーフミラー１１で反射された反射像の利用者への提示を瞬時に切り替えることができる。

したがって、通常の平面鏡では困難であった視線を正面へ向けたままでの、自身の横顔などの視認を容易に行うことができるため、身だしなみなどのチェックを正面視線で極めて自然に実行することができる。

また、再帰性反射スクリーン１２による高い反射指向性を利用することで、プロジェクタ１４から投影された映像を利用者の視点位置に応じて選択的に視認できるようにしているため、利用者がハーフミラー１１に対して現在どの位置にいるかなどを検出する必要がなく、非常に簡便なシステム構成で低コストとしながらも、極めて自然に提示映像を切り替えることができる。

［第２の実施の形態］
続いて、図６、図７を用いて、本発明の第２の実施の形態として示す映像提示システム２０について説明をする。図６は、映像提示システム２０を搭載した洗面台２の外観の様子を示した図であり、図７は、洗面台２に搭載された映像提示システム２０の構成を示した図である。このような洗面台２に対して、図６に示すように利用者は、着座しながら洗髪、洗顔などをすることができる。なお、以下の説明において、上述した第１の実施の形態として示した映像提示システム１０と重複する機能部については同一符号を付し説明を省略する。

図７に示すように、映像提示システム２０は、ハーフミラー１１と、ハーフミラー１１の後方に配された透過型スクリーン２１と、ハーフミラー１１に対して上下左右、４箇所に配されたカメラ１３（カメラ１３Ｕ、１３Ｄ、１３Ｌ、１３Ｒ）と、透過型スクリーン２１の背面から映像を投影するプロジェクタ２２と、ＰＣ（Personal Computer）２３とを備えている。

このような構成の映像提示システム２０は、利用者のハーフミラー１１に対する相対的な位置を検出し、検出した利用者の位置に応じて、図８に示すように、ハーフミラー１１により正面に正対した利用者の反射像を映し出したり、カメラ１３で撮影した映像を利用者に提示することができる。

カメラ１３は、第１の実施の形態でも使用した利用者がハーフミラー１１に向かって正対した際に、利用者の左右の横顔を、それぞれ撮影できる位置に配されたカメラ１３Ｒ、１３Ｌに加えて、利用者を上方から撮影できる位置に配されたカメラ１３Ｕ、利用者を下方から撮影できる位置に配されたカメラ１３Ｄよりなる。カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄによって撮影された映像は、後述するＰＣ２３に出力される。

プロジェクタ２２は、オフィスのプレゼンテーションなどで一般的に用いられている小型形状の液晶プロジェクタやＤＬＰ（Digital Light Processing）プロジェクタなどである。プロジェクタ２２は、解像度がＸＧＡ（eXtended Graphics Array）に対応し、明るさが米国規格協会（ANSI：American National Standards Institute）で定められたプロジェクタの光源の発する光束の単位であるＡＮＳＩルーメンに換算して２０００ＡＮＳＩルーメン程度のものである。プロジェクタ２２は、ＰＣ２３と接続され、ＰＣ２３から供給される映像を投影する。

プロジェクタ２２は、ＰＣ２３によって映像の投影が制御されているため、ハーフミラー１１を介して透過した映像光が利用者に到達すればよく、配置レイアウトも比較的自由に決定することができる。ハーフミラー１１の後方に配置するスクリーンの種別、例えば、透過型スクリーンを使用するのか、反射型スクリーン使用するのかなどは、プロジェクタ２２をどのように配置するかに応じて適宜最適なものを選択して用いることになる。

本発明の第２の実施の形態として示す映像提示システム２０では、ハーフミラー１１の背面方向から映像を投影するようにプロジェクタ２２を配する。このようにプロジェクタ２２を配置させる場合、映像光を投影させるスクリーンとしては、透過型スクリーンを選択することができ、図７に示すように、ハーフミラー１１の後方、且つプロジェクタ２２の投影方向前方に透過型スクリーン２１が配されることになる。このとき、ハーフミラー１１の鏡としての機能を向上させる目的で、不要な外光を遮る指向性を有するフィルムをハーフミラー１１と透過型スクリーン２１との間に挟むようにしてもよい。

また、プロジェクタ２２は、投影角を考慮して映像を投影する光学系が、利用者が着座した際の正面目線よりも上方からハーフミラー１１側を向き、上下反転するように配置される。

なお、図８に示すように、ハーフミラー１１、透過型スクリーン２１、プロジェクタ２２とを配置させた際に、ハーフミラー１１とプロジェクタ２２との距離が必要となり、洗面台２の奥行きが実用的な上限を超えてしまうような場合には、ハーフミラー１１とプロジェクタ２２との距離が短くなるような光学系を適宜付加して新たな光路を確保する。

ＰＣ２３は、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄで撮影された映像を取り込み、利用者のハーフミラー１１に対する相対的な位置、詳しくは利用者の顔のハーフミラー１１に対する相対的な位置に応じた映像をプロジェクタ２２へと出力して投影させるよう制御する。利用者のハーフミラー１１に対する相対的な位置は、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄで撮影される映像に基づくＰＣ２３の画像処理により検出される。ＰＣ２３は、利用者のハーフミラー１１に対する相対的な位置を検出するにあたり、まず利用者が洗面台２に着座した際に自然に顔が定位する位置検出の基準となる図６に示すような中心位置Ａを設定する。この中心位置Ａは、システムの初期設定として利用者により任意に設定することが可能である。例えば、洗面台２のように利用者が着座して使用する以外にも、利用者が立った状態での使用も想定される場合には、この中心位置Ａを複数セッティングできるようにしてもよい。

ＰＣ２３は、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄで撮影された映像に基づく画像処理により、この中心位置Ａ近傍に利用者の顔の中心があるのか、中心位置Ａから上下左右に数センチ程度移動した位置Ｂ、Ｃ、Ｄ、Ｅ近傍に利用者の顔の中心があるのかを判断することで利用者のハーフミラー１１に対する相対的な位置を検出する。

ＰＣ２３は、利用者の顔の中心が中心位置Ａ近傍に位置していると判断した場合、プロジェクタ２２を停止させ、プロジェクタ２２からの映像を投影することなく、ハーフミラー１１を鏡として機能させる。また、ＰＣ２３は、利用者の顔の中心が、位置Ｂ、Ｃ、Ｄ、Ｅ近傍に位置していると判断した場合、プロジェクタ２２を起動し、それぞれカメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄで撮影された映像に切り替えて投影させる。

また、利用者のハーフミラー１１に対する相対的な位置は、上述したように、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄで撮影された映像に基づくＰＣ２３の画像処理により検出する以外にも、例えば、人感センサなどの位置検出センサにより検出するようにしてもよい。このとき、上述したように、利用者の顔の中心が、中心位置Ａ近傍、位置Ｂ、Ｃ、Ｄ、Ｅ近傍にあるかどうかを判断できるように位置検出センサの数、設置位置などを決定する。

位置検出センサにて利用者のハーフミラー１１に対する相対的な位置を検出する場合には、位置検出のためにカメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄを起動させておく時間を大幅に短縮することができるため、部品点数増加によるコストアップが見込まれるものの消費電力を削減することができる。

このような構成の映像提示システム２０は、利用者が洗面台２の中央位置、つまり図６に示したハーフミラー１１の中心位置Ａ近傍に利用者の顔の中心が位置していることが検出された場合には、ＰＣ２３の制御によりプロジェクタ２２が停止されハーフミラー１１が鏡として機能するため利用者の反射像を図９（ａ）に示すように、そのまま映し出す。

一方、利用者の顔の中心が中心位置Ａよりも上下左右の位置Ｂ、Ｃ、Ｄ、Ｅ近傍のいずれかにあることが検出された場合には、ＰＣ２３は、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄで、それぞれ撮影された利用者の右横顔、左横顔、頭頂部、顎部の映像を検出された位置に応じてプロジェクタ２２へと出力し、プロジェクタ２２から投影させる。

これにより、利用者は、例えば、位置Ｂ近傍に向けて顔を移動させた場合、図９（ｂ）に示すような自身の右横顔の鏡像をハーフミラー１１越しに視認することができる。同様に、位置Ｃ、Ｄ、Ｅ近傍に向けて顔を移動させた場合、それぞれ図９（ｃ）、（ｄ）、（ｅ）に示すような自身の左横顔の鏡像、自身の頭頂部の鏡像、自身の顎部の鏡像をハーフミラー１１越しに視認することができる。

［第２の実施の形態の効果］
このように、第２の実施の形態として示す映像提示システム２０は、利用者のハーフミラー１１に対する相対的な位置を検出し、検出した位置に応じたＰＣ２３の制御により、プロジェクタ２２を停止させハーフミラー１１を鏡として機能させるのか、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄで撮影された映像をプロジェクタ２２から投影させるのかを瞬時に切り替えることができる。

したがって、利用者は、通常の平面鏡では困難であった視線を正面へ向けたままでの自身の横顔といった様々な角度から見た自身の状態を、あたかも鏡で反射されたかのような縮尺スケールの映像として容易に視認できるため、身だしなみなどのチェックを正面視線で極めて自然に実行することができる。

また、顔の位置の移動による視認位置の僅かな移動といった三面鏡を使用した場合のように極めて直感的な操作により、様々な方向から利用者を撮影した映像を切り替えて提示することができるため、平面鏡でありながら利用者の両手の自由度が得られるなど、利用者の利便性を大幅に向上させることができる。

［第３の実施の形態］
続いて、図１０、図１１を用いて、本発明の第３の実施の形態として示す映像提示システム３０について説明をする。図１０は映像提示システム３０を搭載した洗面台３の外観の様子を示した図であり、図１１は、洗面台３に搭載された映像提示システム３０の構成を示した図である。このような洗面台３に対して、図１０に示すように利用者は、着座しながら洗髪、洗顔などをすることができる。

第３の実施の形態として示した映像提示システム３０は、上述した第２の実施の形態として示した映像提示システム２０のプロジェクタ２２から投影する映像を、利用者のハーフミラー１１に対する相対的な位置の変化に追従するようにしたものである。したがって、以下の説明において、上述した第２の実施の形態として示した映像提示システム２０と重複する機能部については同一符号を付し説明を省略する。

図１１に示すように、映像提示システム３０は、ハーフミラー１１と、反射型スクリーン３１と、ハーフミラー１１に対して上下左右、４箇所に配されたカメラ１３（カメラ１３Ｕ、１３Ｄ、１３Ｌ、１３Ｒ）と、ハーフミラー１１と反射型スクリーン３１との間に配されハーフミラー１１へ映像を投影するプロジェクタ２２と、ＰＣ２３とを備えている。

また、映像提示システム３０は、ハーフミラー１１の略中央位置に、利用者の正面からの顔を撮影するカメラ１３Ｃを備える。このカメラ１３Ｃは、プロジェクタ２２で投影する映像を画像処理により生成するために設けられている。例えば、カメラ１３Ｃは、ハーフミラー１１の裏面において、利用者が着座した場合に、利用者の視線に直接入らないような位置でありながら、利用者の正面の顔を撮影することができる位置に設置される。このとき、カメラ１３Ｃの撮像レンズと重なるハーフミラー１１の領域を他の領域と比較して反射率を下げるように加工することで、撮像レンズに充分な光量が入射するようにする。

このような構成の映像提示システム３０は、利用者のハーフミラー１１に対する相対的な位置を検出し、検出した利用者の位置に応じたＰＣ２３の制御により、図１２に示すように、ハーフミラー１１の正面に正対した利用者の反射像を映し出したり、カメラ１３で撮影した映像、さらに撮影した映像から画像処理により生成した映像を提示することができる。

上述した第２の実施の形態として示した映像提示システム２０では、検出された利用者のハーフミラー１１に対する相対的な位置に応じて、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄで撮影された映像を、プロジェクタ２２からそのまま投影するようにしていた。

これに対し、第３の実施の形態として示す映像提示システム３０では、図１０に示す図６に示した中心位置Ａと同じ中心位置Ａを原点としたハーフミラー１１に対する利用者の相対的な位置を検出し、利用者のハーフミラー１１に対する相対的な位置の変化に追従して、利用者を撮影する撮影方向が滑らかに変化するような映像をカメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄ、１３Ｃで撮影された映像を画像処理することで生成してプロジェクタ２２から投影させる。

このように、第３の実施の形態として示す映像提示システム３０は、第２の実施の形態として示す映像提示システム２０と同様に、ＰＣ２３によって映像の投影が制御されているため、ハーフミラー１１を介して透過した映像光が利用者に到達すればよく、配置レイアウトも比較的自由に決定することができる。

本発明の第３の実施の形態として示す映像提示システム３０では、ハーフミラー１１の背面方向から映像を投影するようにプロジェクタ２２を配し、その後方に反射型スクリーン３１を配するような配置レイアウトを採用しているが、上述した第２の実施の形態として示した映像提示システム２０におけるプロジェクタ２２と、透過型スクリーン２１を用いた配置レイアウトを採用してもかまわない。

ＰＣ２３は、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄで撮影された映像に基づく画像処理により、中心位置Ａを原点とするハーフミラー１１に対する利用者の相対的な位置を検出する。

ＰＣ２３は、利用者の顔の中心が中心位置Ａに位置していると判断した場合、プロジェクタ２２を停止させ、プロジェクタ２２からの映像を投影することなく、ハーフミラー１１を鏡として機能させる。また、ＰＣ２３は、利用者の顔の中心が、位置Ｂ、Ｃ、Ｄ、Ｅに位置していると判断した場合、プロジェクタ２２を起動し、それぞれカメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄで撮影された映像に切り替えて投影させる。

また、ＰＣ２３は、利用者の顔の中心が、中心位置Ａと位置Ｂの間、中心位置Ａと位置Ｃとの間、中心位置Ａと位置Ｄとの間、又は中心位置Ａと位置Ｅとの間というような過渡的な位置にある場合、カメラ１３Ｃで撮影された映像と、カメラ１３Ｒ、１３Ｌ、１３Ｕ又は１３Ｄで撮影された映像とを合成して補完生成した映像を生成する。これにより、ＰＣ２３は、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄ、１３Ｃからは、固定的な方向から利用者を撮影した画像しか取得できなかったが、利用者を任意の方向から撮影した映像を取得することができる。

そして、ＰＣ２３は、利用者のハーフミラー１１に対する相対的な位置の変化に追従して、利用者を撮影する撮影方向が滑らかに変化する映像となるように、生成した任意の方向から撮影した映像と利用者のハーフミラーに対する相対的な位置とを対応付け、検出された利用者のハーフミラー１１に対する相対的な位置に応じて、対応付けた映像をプロジェクタ２２より投影させる。

ＰＣ２３が実行する映像の合成による補完手法としては、例えば、複数の画像の特徴点を結び内挿するモーフィングや、複数画像から立体モデルを生成しておき視点位置と視野とを設定して映像化するというような、広く一般的に用いられている画像処理手法を利用することができる。

このような構成の映像提示システム３０は、利用者が洗面台３の中央位置、つまり図１０に示したハーフミラー１１の中心位置Ａ近傍に利用者の顔の中心が位置していることが検出された場合には、ＰＣ２３の制御によりプロジェクタ２２を停止させハーフミラー１１を鏡として機能させるため利用者の反射像を図１３（ａ）に示すようにそのまま映し出す。

一方、ＰＣ２３は、利用者の顔の中心が中心位置Ａ近傍からずれた位置であることを検出した場合、この位置に、利用者のハーフミラー１１に対する相対的な位置の変化に追従して、利用者を撮影する撮影方向が滑らかに変化するように対応付けられたカメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄ、カメラ１３Ｃで撮影された映像を合成して補完生成した映像をプロジェクタ２２から投影させる。

これにより、利用者が、例えば、位置Ｂへと顔を移動させた場合、ハーフミラー１１越しに視認される映像は、図１３（ｂ）→図１３（ｃ）に示すようになり、利用者のハーフミラー１１に対する相対的な位置の変位に応じて、あたかも撮影方向が滑らかに変化したかのような映像が提示される。同様に、位置Ｃ、Ｄ、Ｅへと利用者の顔を移動させた場合は、それぞれ図１３（ｄ）→図１３（ｅ）、図１３（ｆ）→図１３（ｇ）、図１３（ｈ）→図１３（ｉ）に示すように提示される。

なお、図１３（ｂ）、図１３（ｄ）、図１３（ｆ）、図１３（ｈ）は、それぞれ、位置Ｂ、Ｃ、Ｄ、Ｅへと移動する際の、ある過渡的な位置で提示される映像を示しているだけであり、ＰＣ２３は、検出される利用者のハーフミラー１１に対する相対的な位置に応じて滑らかで連続性のある映像をプロジェクタ２２を介して投影させる。

また、第３の実施の形態として示す映像提示システム３０においても、第２の実施の形態として示した映像提示システム２０と同様に、利用者のハーフミラー１１に対する相対的な位置を、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄで撮影された映像に基づくＰＣ２３の画像処理により検出する以外にも、例えば、人感センサなどの位置検出センサにより検出するようにしてもよい。このとき、上述したように、利用者の顔の中心が、中心位置Ａを原点とするハーフミラー１１に対してどの位置にあるかを判断できるように位置検出センサの数、設置位置などを決定する。

位置検出センサにて利用者の位置を検出する場合には、位置検出のためにカメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄを起動させておく時間を大幅に短縮することができるため、部品点数増加によるコストアップが見込まれるものの消費電力を削減することができる。

［第３の実施の形態の効果］
このように、第３の実施の形態として示す映像提示システム３０は、利用者のハーフミラー１１に対する相対的な位置を検出し、検出した位置に応じたＰＣ２３の制御により、プロジェクタ２２を停止させハーフミラー１１を鏡として機能させるのか、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄ、１３Ｃで撮影された映像からＰＣ２３で合成して補完生成した映像を投影させるのかを瞬時に切り替えることができる。

また、顔の位置の移動による視認位置の僅かな移動といった三面鏡を使用した場合のように極めて直感的な操作により、任意の方向から利用者を撮影したかのような映像へと切り替えて提示することができるため、平面鏡でありながら利用者の両手の自由度が得られるなど、利用者の利便性を大幅に向上させると共に、プロジェクタ２２により投影される映像が切り替わる際の違和感を低減させ、より自然な映像を提示することができる。

［第４の実施の形態］
続いて、図１４、図１５を用いて、本発明の第４の実施の形態として示す映像提示システム４０について説明をする。図１４は映像提示システム４０を搭載した洗面台４の外観の様子を示した図であり、図１５は、洗面台４に搭載された映像提示システム４０の構成を示した図である。このような洗面台４に対して、図１４に示すように利用者は、着座しながら洗髪、洗顔などをすることができる。

第４の実施の形態として示した映像提示システム４０では、上述した第３の実施の形態として示した映像提示システム３０において、利用者のハーフミラー１１に対する相対的な位置の変化に追従して、利用者を撮影する撮影方向が滑らかに変化するような映像をプロジェクタ２２から提示する手法に基づき、さらに利用者が自身の動きに呼応して提示される映像が変化することを直感的且つ容易に認識できるようにしている。したがって、以下の説明において、上述した第３の実施の形態として示した映像提示システム３０と重複する機能部については同一符号を付し説明を省略する。

図１５に示すように、映像提示システム４０は、ハーフミラー１１と、反射型スクリーン３１と、ハーフミラー１１に対して上下左右、４箇所に配されたカメラ１３（カメラ１３Ｕ、１３Ｄ、１３Ｌ、１３Ｒ）と、ハーフミラー１１と反射型スクリーン３１との間に配され反射型スクリーン３１へ直接、映像を投影するプロジェクタ２２と、ＰＣ２３とを備えている。また、映像提示システム４０は、ハーフミラー１１の略中央位置に、利用者の正面からの顔を撮影するカメラ１３Ｃを備える。

このような構成の映像提示システム４０は、利用者のハーフミラー１１に対する相対的な位置を検出し、検出した利用者の位置に応じたＰＣ２３の制御により、図１６に示すように、ハーフミラー１１の正面に正対した利用者の反射像を映し出したり、カメラ１３で撮影した映像、さらに撮影した映像から画像処理により生成した映像を利用者に提示することができる。

このように、第４の実施の形態として示す映像提示システム４０は、第３の実施の形態として示す映像提示システム３０と同様に、ＰＣ２３によって映像の投影が制御されているため、ハーフミラー１１を介して透過した映像光が利用者に到達すればよく、配置レイアウトも比較的自由に決定することができる。

本発明の第４の実施の形態として示す映像提示システム４０では、ハーフミラー１１の後方に配された反射型スクリーン３１に対して、直接、映像を投影するようにプロジェクタ２２を配した配置レイアウトを採用しているが、上述した第２の実施の形態として示した映像提示システム２０におけるプロジェクタ２２と、透過型スクリーン２１を用いた配置レイアウトや、第３の実施の形態として示した映像提示システム３０におけるプロジェクタ２２と、反射型スクリーン３１を用いた配置レイアウトを採用してもかまわない。

ＰＣ２３は、第３の実施の形態として示した映像提示システム３０と同様に、中心位置Ａを原点とするハーフミラー１１に対する利用者の相対的な位置を、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄによって撮影された画像より検出する。このとき、カメラ１３Ｃを用いることでより高い精度で利用者のハーフミラー１１に対する相対的な位置を検出することができる。例えば、カメラ１３Ｃで撮影された映像を利用することにより、ハーフミラー１１に対して水平方向、垂直方向となる利用者の位置ばかりではなく、ハーフミラー１１へ近付いたり、ハーフミラー１１から遠ざかったりする前後方向への移動によって変位する位置も高い精度で検出することができる。

第４の実施の形態として示す映像提示システム４０では、中心位置Ａを原点とするハーフミラー１１に対する水平方向、垂直方向の移動によって変位する利用者の位置に加えて、このハーフミラー１１に対する前後方向の移動によって変位する利用者の位置を検出する。

ＰＣ２３は、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄ、１３Ｃで撮影された映像を用いた画像処理により、中心位置Ａに位置している利用者を撮影する撮影方向が滑らかに水平回転、又は垂直回転した際に撮影される映像を生成する。そして、ＰＣ２３は、利用者のハーフミラー１１に対する水平方向、又は垂直方向への相対的な位置の変化に追従して、原点である中心位置Ａに位置している利用者を撮影する方向が、滑らかに水平回転、又は垂直回転した映像となるように、生成した映像と利用者のハーフミラー１１に対する相対的な位置とを対応付ける。

また、ＰＣ２３は、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄ、１３Ｃで撮影された映像、特にカメラ１３Ｃで撮影された映像を用いて拡大及び縮小した映像を画像処理により生成する。そして、ＰＣ２３は、利用者のハーフミラー１１に対する前後方向への相対的な位置の変化に追従して、原点である中心位置Ａに位置している利用者を撮影する位置が、滑らかに前後へ移動した映像となるように、生成した拡大及び縮小した映像と利用者のハーフミラー１１に対する相対的な位置とを対応付ける。このとき、必要に応じて視野角の大小も考慮して映像を拡大、縮小させる。

そして、ＰＣ２３は、上述したようにして検出された利用者のハーフミラー１１に対する相対的な位置に応じて、対応付けた映像をプロジェクタ２２より投影させる。

このような構成の映像提示システム４０は、利用者が洗面台４の中央位置、つまり図１４に示したハーフミラー１１の中心位置Ａ近傍に利用者の顔の中心が位置していることが検出された場合には、ＰＣ２３の制御によりプロジェクタ２２が停止されハーフミラー１１が鏡として機能するため利用者の反射像を図１７（ｃ）、図１８（ｃ）に示すように、そのまま映し出す。

ＰＣ２３は、利用者の顔の中心が中心位置Ａ近傍から水平方向へ移動した位置であることを検出した場合、この位置に、利用者のハーフミラー１１に対する水平方向への相対的な位置の変化に追従して、利用者を撮影する方向が、滑らかに水平回転するように対応付けられた、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄ、カメラ１３Ｃで撮影された映像から生成した映像をプロジェクタ２２から投影させる。

これにより、利用者が、例えば、右方向へと顔を移動させた場合には、ハーフミラー１１越しに視認される映像は、図１７（ｃ）の状態から図１７（ｄ）→図１７（ｅ）に示すようになり、左方向へと顔を移動させた場合には、図１７（ｂ）→図１７（ａ）に示すようになり、利用者のハーフミラー１１に対する相対的な位置の水平方向への変位に応じて、あたかも撮影方向が滑らかに水平回転しているかのような映像が提示される。

また、ＰＣ２３は、利用者の顔の中心が中心位置Ａ近傍から垂直方向へ移動した位置であることを検出した場合、この位置に、利用者のハーフミラー１１に対する垂直方向への相対的な位置の変化に追従して、利用者を撮影する方向が、滑らかに垂直回転するように対応付けられた、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄ、カメラ１３Ｃで撮影された映像から生成した映像をプロジェクタ２２から投影させる。

これにより、利用者が、例えば、上方向へと顔を移動させた場合には、ハーフミラー１１越しに視認される映像は、図１８（ｃ）の状態から図１８（ｂ）→図１８（ａ）に示すようになり、下方向へと顔を移動させた場合には、図１８（ｄ）→図１８（ｅ）に示すようになり、利用者のハーフミラー１１に対する相対的な位置の垂直方向への変位に応じて、あたかも撮影方向が滑らかに垂直回転しているかのような映像が提示される。

さらに、ＰＣ２３は、利用者の顔の位置がハーフミラー１１に対して前後方向へ移動した位置であることを検出した場合、この位置に、利用者のハーフミラー１１に対する前後方向への相対的な位置の変化に追従して、利用者を撮影する位置が、滑らかに前後へ移動するように対応付けられた拡大又は縮小された映像をプロジェクタ２２から投影させる。

また、第４の実施の形態として示す映像提示システム４０においても、第３の実施の形態として示した映像提示システム３０と同様に、利用者の位置は、上述したように、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄで撮影された映像に基づくＰＣ２３の画像処理により検出する以外にも、例えば、人感センサなどの位置検出センサにより検出するようにしてもよい。このとき、上述したように、利用者の顔の中心が、中心位置Ａを原点とするハーフミラー１１に対して水平方向、垂直方向、前後方向のどの位置にあるかを判断できるように位置検出センサの数、設置位置などを決定する。

［第４の実施の形態の効果］
このように、第４の実施の形態として示す映像提示システム４０は、利用者のハーフミラー１１に対する水平方向、垂直方向、前後方向での相対的な位置を検出し、検出した位置に応じたＰＣ２３の制御により、プロジェクタ２２を停止させハーフミラー１１を鏡として機能させるのか、カメラ１３Ｒ、１３Ｌ、１３Ｕ、１３Ｄ、１３Ｃで撮影された映像からＰＣ２３にて生成した映像を投影させるのかを瞬時に切り替えることができる。

また、顔の位置の移動による視認位置の僅かな移動といった三面鏡を使用した場合のように極めて直感的な操作により、様々な方向から利用者を撮影した映像、さらにはカメラの撮影方向に依存しない方向からの映像を切り替えて提示することができるため、平面鏡でありながら利用者の両手の自由度が得られるなど、利用者の利便性を大幅に向上させると共に、プロジェクタ２２により投影される映像が切り替わる際の違和感を低減させ、より自然に映像を提示することができる。

そして、水平方向、垂直方向への移動に追従した滑らかな回転映像の提示や、ハーフミラー１１に対する前後方向まで含めた利用者の移動に追従した拡大又は縮小映像の提示を可能とすることで、鏡のアナロジーとしての整合性がより高まるため利用者のさらなる操作性の向上を実現することができる。

なお、本発明の第１乃至第４の実施の形態として示した映像提示システム１０、２０、３０、４０は、それぞれ洗面台１乃至４に搭載される場合について説明をしているが、本発明は、これに限定されるものではなく、自身の姿を鏡を使用して視認する用途に広く適用することができる。特に、本人のみが存在する空間や、煩わしい操作が好まれない場面において使用される場合、非常に有効に機能する。

また、第１乃至第４の実施の形態の各映像提示システムで示した、利用者を撮影するカメラ１３の配置位置は一例であって、上述した位置以外にも、例えば利用者を背後から撮影するような位置や斜め方向から撮影する位置など様々な箇所に配置することができる。例えば、第２乃至第４の実施の形態で示した各映像提示システムにおいて、カメラ１３の数を増やすと、システムのコストが増加してしまうが、画像処理により生成する映像の精度を高くすることができるという利点がある。

さらにまた、第３の実施の形態、第４の実施の形態として示した映像提示システムにおいて、プロジェクタ２２から投影する画像処理された映像は、利用者のハーフミラー１１に対する相対的な位置に応じて、撮影方向、撮影位置が段階的に変化するような映像であってもよい。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施の形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

本発明の第１の実施の形態として示す映像提示システムが搭載された洗面台の外観を示した図である。前記第１の実施の形態として示す映像提示システムの構成について説明するための図である。前記第１の実施の形態として示す映像提示システムにおいて、利用者の視認位置に応じて提示される映像が切り替わる原理について説明するための図である。前記第１の実施の形態として示す映像提示システムにおいて、再帰性反射スクリーンにより再帰反射されるプロジェクタから投影された映像光の光路を示した図である。前記第１の実施の形態として示す映像提示システムにおいて利用者の視線位置に応じて視認される反射像並びに映像の一例を示した図である。本発明の第２の実施の形態として示す映像提示システムが搭載された洗面台の外観を示した図である。前記第２の実施の形態として示す映像提示システムの構成について説明するための図である。前記第２の実施の形態として示す映像提示システムにおいて、利用者の視認位置に応じて提示される映像が切り替わる原理について説明するための図である。前記第２の実施の形態として示す映像提示システムにおいて利用者の視線位置に応じて視認される反射像並びに映像の一例を示した図である。本発明の第３の実施の形態として示す映像提示システムが搭載された洗面台の外観を示した図である。前記第３の実施の形態として示す映像提示システムの構成について説明するための図である。前記第３の実施の形態として示す映像提示システムにおいて、利用者の視認位置に応じて提示される映像が切り替わる原理について説明するための図である。前記第３の実施の形態として示す映像提示システムにおいて利用者の視線位置に応じて視認される反射像並びに映像の一例を示した図である。本発明の第４の実施の形態として示す映像提示システムが搭載された洗面台の外観を示した図である。前記第４の実施の形態として示す映像提示システムの構成について説明するための図である。前記第４の実施の形態として示す映像提示システムにおいて、利用者の視認位置に応じて提示される映像が切り替わる原理について説明するための図である。前記第４の実施の形態として示す映像提示システムにおいて利用者の視線位置に応じて視認される反射像並びに映像の一例を示した図である。前記第４の実施の形態として示す映像提示システムにおいて利用者の視線位置に応じて視認される反射像並びに映像の一例を示した図である。

符号の説明

１０映像提示システム
１１ハーフミラー
１２再帰性反射スクリーン
１３カメラ
１４プロジェクタ
２０映像提示システム
２１透過型スクリーン
２２プロジェクタ
２３ＰＣ（Personal Computer）
３０映像提示システム
３１反射型スクリーン
４０映像提示システム

Claims

利用者の顔面に正対するよう配されたハーフミラーと、
利用者を相異なる所定の方向からそれぞれ撮影する複数の撮影手段と、
前記撮影手段によって撮影された映像、又は前記撮影手段によって撮影された映像に基づき生成された映像を投影する映像投影手段と、
前記映像投影手段によって映像が投影されるスクリーンとを備え、
前記ハーフミラーに正対した利用者の前記ハーフミラーに対する相対的な位置に応じて、前記ハーフミラーによって反射される前記利用者の反射像、又は前記ハーフミラーによって透過される前記スクリーンに投影された映像を選択的に提示すること
を特徴とする映像提示システム。
前記スクリーンは、再帰性反射材にて形成された映像投影面を有し、
利用者の前記ハーフミラーに対する相対的な位置が所定の位置となった場合にのみ、利用者の視点と前記映像投影手段による投影の原点とが光学的に等価となるように、前記ハーフミラーに対する前記映像投影手段と、前記スクリーンとの光学的配置を決定すること
を特徴とする請求項１記載の映像提示システム。
利用者の前記ハーフミラーに対する相対的な位置を検出する位置検出手段と、
前記位置検出手段によって検出された利用者の前記ハーフミラーに対する相対的な位置が所定の位置となったことに応じて、前記所定の位置に対応付けられた前記撮影手段によって撮影された映像を前記スクリーンに投影するよう前記映像投影手段を制御する制御手段をとを備えること
ことを特徴とする請求項１記載の映像提示システム。
利用者の前記ハーフミラーに対する相対的な位置を検出する位置検出手段と、
前記複数の撮影手段によって撮影された映像から、前記利用者を任意の方向から撮影した映像を画像処理により生成する映像生成手段と、
利用者の前記ハーフミラーに対する相対的な位置の変化に追従して、利用者を撮影する撮影方向が変化した映像となるよう、前記映像生成手段で生成される利用者を任意の方向から撮影した映像と利用者の前記ハーフミラーに対する相対的な位置とを対応付け、前記位置検出手段によって検出された利用者の前記ハーフミラーに対する相対的な位置に応じて、前記対応付けられた映像を前記スクリーンに投影するよう前記映像投影手段を制御する制御手段とを備えること
を特徴とする請求項１記載の映像提示システム。
前記映像生成手段は、前記複数の撮影手段によって撮影された映像を拡大又は縮小した映像を画像処理により生成し、
前記制御手段は、利用者の前記ハーフミラーに対する水平方向、又は垂直方向への相対的な位置の変化に追従して、利用者を撮影する撮影方向が、それぞれ水平回転、又は垂直回転した映像となるよう、前記映像生成手段で生成される利用者を任意の方向から撮影した映像と利用者の前記ハーフミラーに対する相対的な位置とを対応付け、
利用者の前記ハーフミラーに対する前後方向への相対的な位置の変化に追従して、利用者を撮影する撮影位置が前後へ移動した映像となるように、前記映像生成手段で生成される拡大又は縮小した映像と利用者の前記ハーフミラーに対する相対的な位置とを対応付け、
前記位置検出手段によって検出された利用者の前記ハーフミラーに対する相対的な位置に応じて、前記対応付けられた映像を前記スクリーンに投影するよう前記映像投影手段を制御すること
を特徴とする請求項４記載の映像提示システム。