JP2009169109A - ミラーシステム - Google Patents

Abstract

【課題】ユーザの鏡像にあわせて映像表示するにあたり処理の複雑さを軽減することが可能なミラーシステムを提供する。
【解決手段】ミラーシステム１は、目位置検出部４１ａと、特定部位検出部４１ｂと、表示位置制御部４１ｄ１と、表示面積制御部４１ｄ２とを備えている。特定部位検出部４１ｂは、正面カメラ３０により撮像された画像内におけるユーザＨの特定部位を検出し、表示位置制御部４１ｄ１は、目位置検出部４１ａにより検出された目の上下左右位置及び特定部位検出部４１ｂにより検出された特定部位に基づいて映像光の投射基準位置を決定すし、表示面積制御部４１ｄ２は、正面カメラ３０により撮像された撮像画像内におけるユーザＨの大きさから、映像光の投射幅を決定する。
【選択図】図２

Description

本発明は、ミラーシステムに関する。

従来、ユーザの鏡像を映し出すハーフミラーと、ハーフミラーのユーザ反対側に設けられた拡散層に投射光を投射して情報等を表示する情報表示機能付きミラーシステムが知られている。このミラーシステムによると、鏡像の他に、鏡像として映るユーザに対応して、小鳥や犬などの映像を映し出すことができ、ユーザ自身の鏡像と映像とが一体となった表示を行うことができる（特許文献１参照）。
特開２００６−３３００１１号公報（段落[００４３]から[００４４]参照）

しかし、従来システムでは、ユーザの鏡像にあわせて映像表示するにあたり、処理が複雑であった。特許文献１に記載のシステムの場合、カメラにより撮影された人の形と大きさから、表示装置に対する人の位置と距離を計算して鏡に反射されている人の鏡像を推定し、推定された鏡像に応じて、小鳥や犬などの映像の位置や大きさを決定している。このため、ユーザの鏡像を推定するという複雑な処理が必要となってしまう。

本発明は、上記問題点を解決するために成されたものであり、その目的とするところは、ユーザの鏡像にあわせて映像表示するにあたり処理の複雑さを軽減することが可能なミラーシステムを提供することである。

本発明に係るミラーシステムは、映像光を投射する投光手段と、投光手段に投射された映像光を映して映像をユーザに視認可能とさせると共に、ユーザ自身の鏡像を表示可能な表示部と、ユーザを撮像するカメラと、ユーザの表示部に対する目の位置を検出する目位置検出手段と、カメラにより撮像された撮像画像、及び、目位置検出手段により検出された目の位置に応じて投光手段から投射される映像光を制御する制御手段と、カメラにより撮像された画像内におけるユーザの特定部位を検出する特定部位検出手段と、を備え、制御手段は、目位置検出手段により検出された目の位置及び特定部位検出手段により検出された特定部位に基づいて映像光の投射の基準位置となる投射基準位置を決定し、この投射基準位置に投光手段からの映像光の光軸が一致するように制御する投射位置制御手段と、カメラにより撮像された撮像画像内におけるユーザの大きさから、光軸を中心とした映像光の投射幅を決定して制御する投射幅制御手段と、を有する。

このミラーシステムによれば、カメラにより撮像された画像内におけるユーザの特定部位を検出する。このため、ユーザの顔、足下及び胴体などの特定部位を検出することができる。また、目位置検出手段により目の位置を検出し、特定部位と目の位置とに基づいて投射基準位置を決定する。ここで、ユーザの鏡像に映像を合致させるためには、ユーザの目の位置の情報と、映像を合致させたい対象であるユーザの特定部位との情報があれば足りる。すなわち、ユーザと表示部との距離とは無関係に、ユーザの目の位置と特定部位との中間点には鏡像が映し出される表示部が必ず存在するため、その中間点近傍に映像光を投射すれば、ユーザの鏡像と映像とを合致させることができる。加えて、カメラにより撮像された撮像画像内におけるユーザの大きさから、映像光の投射幅を決定するため、大人では小さく表現される映像（例えば人の顔に表示させた小さな星などの映像）であっても子供では大きく表現されてしまうことが防止される（例えば小さな星が巨大な星の映像で表現されてしまうことが防止される）。従って、ユーザの鏡像にあわせて映像表示するにあたり処理の複雑さを軽減することができる。

また、本発明に係るミラーシステムにおいて、投射位置制御手段は、目位置検出手段により検出された目の位置と、特定部位検出手段により検出された特定部位との中間位置に対応する表示部上の位置に投射基準位置を決定し、この投射基準位置に投光手段からの映像光の光軸が一致するように制御することが好ましい。

このミラーシステムによれば、検出された目の位置と、検出された特定部位との中間位置に対応する表示部上の位置に投射基準位置を決定する。ここで、画像上において目の位置と特定部位の位置とが検出されれば、画像上において両者の中間位置を求めることは処理が複雑でなく、比較的容易に中間位置を求めることができる。このため、求めた中間位置と表示部上の位置との対応関係を示す演算式や対応表などを予め求めておけば、これら演算式や対応表に従って、比較的容易に投射基準位置を決定することができる。従って、一層処理の複雑さを軽減することができる。

また、本発明に係るミラーシステムにおいて、特定部位検出手段は、ユーザの顔を特定部位として検出し、投射位置制御手段は、特定部位として検出された顔と目位置検出手段により検出された目の位置との中間位置に対応する表示部上の位置に投射基準位置を決定し、この投射基準位置に投光手段からの映像光の光軸が一致するように制御することで、映像光がユーザの顔の所定位置に重なってユーザに視認されるように、映像光を投射させることが好ましい。

このミラーシステムによれば、特定部位として検出された顔の所定位置に重なってユーザに視認されるように、投射基準位置を決定して投射させるため、ユーザの顔をどのようにマッサージすべきかを示すマッサージラインや、ユーザの顔の部位毎に水分量表示などを行うことができる。ここで、ミラーは、顔の手入れや顔の状態の確認を行うために用いられるケースが多い。よって、そのような顔を対象に詳細情報等を提示し、利便性を向上させることができる。

また、本発明に係るミラーシステムにおいて、ユーザの身体状態を検出するユーザ状態検出手段をさらに備え、特定部位検出手段は、予め記憶された身体状態と関連する特定部位を検出し、投射位置制御手段は、特定部位と、目位置検出手段により検出された目の位置との中間位置に対応する表示部上の位置に投射基準位置を決定し、この投射基準位置に、ユーザ状態検出手段により検出されたユーザの身体状態に応じた映像光の光軸が一致するように制御することで、ユーザの身体状態に応じた映像光ユーザの特定部位に重なってユーザに視認されるように映像光を投射させることが好ましい。

このミラーシステムによれば、ユーザの身体状態に応じた映像が、ユーザの特定部位に重なってユーザに視認されるように映像光を投射させるため、例えばユーザの体重が増加した場合には、ユーザの特定部位である胴体をふくらませるなど表現でき、表示部の視認だけでユーザに身体状態を分かりやすく提供することができる。

また、本発明に係るミラーシステムにおいて、カメラにより撮像された画像内におけるユーザの身体部位の移動を検出する移動検出手段をさらに備え、投射位置制御手段は、移動検出手段により検出されたユーザの身体部位の移動が特定部位の移動である場合、特定部位検出手段により検出された特定部位に重なって視認されるように投射された映像光の投射基準位置を、特定部位の移動にあわせて移動させることが好ましい。

このミラーシステムによれば、特定部位に重なって視認されるように投射された映像光の投射基準位置を、特定部位の移動にあわせて移動させる。このため、例えばユーザの右手に太鼓の映像を表示し、ユーザが右手を動かすことにより太鼓自体の映像を連動させることができる。また、ユーザの足下にあるボールをユーザが蹴る動作をした場合にボールの映像を動かすことなどもできる。従って、より面白味ある映像を提供することができる。

また、本発明に係るミラーシステムにおいて、制御手段は、移動検出手段により検出されたユーザの身体部位の移動が、特定部位に重ね合わせて視認されるように投射された映像光によって映し出された映像に対応した動作である場合には、その動作に応じて予め定められた制御を行うことが好ましい。

このミラーシステムによれば、検出されたユーザの身体部位の移動が、特定部位に重ね合わせて投射された映像光によって映し出された映像に対応した動作である場合には、その動作に応じて予め定められた制御を行う。このため、ユーザの右手に太鼓の映像を表示し、ユーザが左手（身体部位の一例）を右手側に移動させた場合に、太鼓の音を鳴らすことなどができ、より面白味あるミラーシステムを提供することができる。

また、本発明に係るミラーシステムにおいて、カメラにより撮像された撮像画像内におけるユーザの大きさが大きくなるに従って投射幅を大きくすると共に、撮像画像内におけるユーザの大きさが小さくなるに従って投射幅を小さくする演算式を記憶した演算式記憶手段をさらに備え、投射幅制御手段は、カメラにより撮像された撮像画像内におけるユーザの大きさと、演算式記憶手段により記憶された演算式に従って、投射幅を決定することが好ましい。

このミラーシステムによれば、ユーザの大きさが大きくなるに従って投射幅を大きくすると共に、撮像画像内におけるユーザの大きさが小さくなるに従って投射幅を小さくする演算式を記憶し、カメラにより撮像された撮像画像内におけるユーザの大きさと記憶された演算式に従って、投射幅を決定する。このため、投射幅を算出するにあたり、ユーザの大きさの情報を演算式に代入するだけでよく、一層処理の複雑さを軽減することができる。

また、本発明に係るミラーシステムにおいて、カメラとは異なる角度からユーザを撮像する第２カメラをさらに備え、投射幅制御手段は、カメラにより検出されたユーザの大きさにあわせて、第２カメラにより撮像されたユーザの映像が表示部に表示されるように投射幅を決定することが好ましい。

このミラーシステムによれば、カメラとは異なる角度からユーザを撮像する第２カメラをさらに備え、投射幅制御手段は、カメラにより検出されたユーザの大きさにあわせて、第２カメラにより撮像されたユーザの映像が表示部に表示されるように投射幅を決定する。このため、表示部には、ユーザの鏡像のみならず、鏡像と同じ大きさのユーザの映像を表現することができる。これにより、例えばユーザの正面（鏡像）と側方（映像）とを表示して、正面及び側方の双方からユーザの姿勢が正しいかなどをユーザに違和感少なく確認させることができ、しかも、ユーザの姿勢が正しいときに正面及び側方が表示されるユーザに対して正しい旨の映像表示することも可能となる。従って、より利便性を向上させることができる。

また、本発明に係るミラーシステムにおいて、目位置検出手段は、カメラにより撮像された撮像画像に映るユーザ画像に基づいて、目の上下左右位置を検出することが好ましい。

このミラーシステムによれば、カメラにより撮像された撮像画像に映るユーザ画像に基づいて、目の上下左右位置を検出するため、目の上下左右位置を検出するためのセンサ等を表示部の近傍などに設置する必要が無く、構成を簡略化することができる。

本発明に係るミラーシステムよれば、ユーザの鏡像にあわせて映像表示するにあたり処理の複雑さを軽減することができる。

以下、図面を参照して、本発明の実施の形態を説明する。図１は、本発明の実施形態に係るミラーシステムを示す外観構成図である。ミラーシステム１は、ユーザＨの鏡像を映し出すと共に、この鏡像に対応した映像を表示するものである。このミラーシステム１は、プロジェクタ（投光手段）１０と、表示部２０と、正面カメラ（カメラ）３０と、コンピュータ（制御手段）４０と、体重計（ユーザ状態検出手段）５０と、側方カメラ（第２カメラ）６０とを備えている。なお、図１では、ユーザＨが表示部２０の表示面に対して正対している例を図示している。

プロジェクタ１０は、映像光を投射するものである。表示部２０は、プロジェクタ１０によって投射された映像光を映して映像をユーザＨに視認可能とさせると共に、ユーザＨ自身の鏡像を表示可能なものである。正面カメラ３０は、ユーザＨを撮像するものである。コンピュータ４０は、正面カメラ３０により撮像された撮像画像に応じてプロジェクタ１０から投射される映像光を制御するものである。体重計５０は、ユーザＨの身体状態の１つである体重を検出するものである。側方カメラ６０は、正面カメラ３０とは異なる角度からユーザＨを撮像するものである。以下、各部について詳細に説明する。

プロジェクタ１０は、表示部２０の裏側ＢＳに設置され、映像光を表示部２０の裏側ＢＳから投射するものである。このプロジェクタ１０は、コンピュータ４０から映像ケーブル或いは無線通信により映像データを受信し、この受信した映像データに基づいて映像光を投射する構成となっている。

表示部２０は、プロジェクタ１０が投射する映像光を拡散する拡散層２１と、入射する光の一部を反射し、一部を透過するハーフミラー２３と、拡散層２１とハーフミラー２３の間に位置する透明板２２とを備えている。すなわち、表示部２０は、拡散層２１及びハーフミラー２３を透明板２２を介して重ね合わせることにより構成されている。

拡散層２１は、例えばシート状の拡散部材で形成されており、透明板２２に貼り付けられて設置されている。なお、拡散層２１は、透明板２２の一部に研磨加工などを施して透明板２２の裏側ＢＳの主面に拡散機能を持たせることにより形成されていてもよい。

透明板２２はアクリル又はガラスを材料として構成されている。なお、透明板２２は、これに限らず、透明材料であれば他の材料により構成されていてもよい。ハーフミラー２３は、半透過膜シートを透明板２２の表面に貼り付けて構成されている。また、ハーフミラー２３は、透明板２２の表面に金属膜を金属蒸着させて構成されていてもよい。

また、表示部２０は、透明板２２を有さず、拡散層２１とハーフミラー２３とを直接貼り合わせたものであってもよい。なお、透明板２２を有する方が有さない場合よりも表示部２０の平面度を保つ点で有利である。さらに、表示部２０は、表側ＦＳからみて、拡散層２１、透明板２２及びハーフミラー２３の順に配置されていなくともよく、ハーフミラー２３、拡散層２１及び透明板２２の順に配置されていてもよいし、透明板２２、ハーフミラー２３及び拡散層２１の順に配置されていてもよい。

正面カメラ３０は、表示部２０の裏側ＢＳに配置され、ハーフミラー２３の上記性質（一部光を透過する性質）を利用することにより、表示部２０を介してユーザＨを撮像するものである。また、正面カメラ３０は、例えば、ＵＳＢケーブルにより通信が可能なＵＳＢカメラにより構成されている。この場合、正面カメラ３０は、コンピュータ４０とＵＳＢケーブルにより接続されることとなる。

体重計５０は、ユーザＨの体重を検出するものである。この体重計５０はコンピュータ４０に接続されており、検出した体重の情報をコンピュータ４０に送信する構成となっている。なお、本実施形態では、体重計５０を例に挙げているが、特に体重計５０に限らず、ユーザＨの身体状態を検出できれば、身長計や血圧計などであってもよい。

側方カメラ６０は、表示部２０の表側ＦＳにおいて、表示部２０に正対したユーザＨを側方から撮像するものである。この側方カメラ６０は、正面カメラ３０と同様に、例えば、ＵＳＢケーブルにより通信が可能なＵＳＢカメラにより構成され、コンピュータ４０とＵＳＢケーブルにより接続されることとなる。

図２は、図１に示したコンピュータ４０の詳細を示す構成図である。コンピュータ４０は、データの演算処理機能を備える処理演算部（ＣＰＵ）４１と、データを格納するデータベース４２と、体重計５０、プロジェクタ１０、正面カメラ３０及び側方カメラ６０との間でデータの入出力を制御する入出力部４３を備える。

処理演算部４１は、正面カメラ３０が撮影したユーザＨの映像からユーザＨの目の上下左右位置を検出する目位置検出部（目位置検出手段）４１ａと、正面カメラ３０により撮像された画像内におけるユーザの特定部位（例えば顔、胴体及び手など）を検出する特定部位検出部（特定部位検出手段）４１ｂと、正面カメラ３０により撮像された画像内におけるユーザの身体部位の移動を検出する移動検出部４１ｃと、プロジェクタ１０の動作を制御するプロジェクタ制御部４１ｄとを備える。

目位置検出部４１ａは、正面カメラ３０により撮像された画像を処理し、画像内から目を抽出し、その目の上下左右位置を特定するものである。具体的に、目位置検出部４１ａは、まず画像内からユーザＨの顔を特定する。次いで、目位置検出部４１ａは、顔の画像を２値化処理し、顔の暗い部分（例えば、眉、アイライン、鼻の穴、上唇と下唇との境界）を抽出する。その後、目位置検出部４１ａは、顔の暗い部分の配置関係から、目の位置を特定する。なお、目の位置の検出については、種々の方法があり、目位置検出部４１ａは、テンプレートマッチングや濃淡画像マッチングなど他の方法により、目の位置を検出してもよい。

特定部位検出部４１ｂは、正面カメラ３０により撮影された画像から、ユーザＨの特定部位（例えば顔、胴体及び手など）を検出するものである。例えば、特定部位検出部４１ｂは、体の輪郭や、及びユーザの身体画像のうち、肌色の部分などから特定部位を検出する。なお、特定部位検出部４１ｂが顔を特定部位として検出する場合、目位置検出部４１ａが顔を特定する処理と、特定部位検出部４１ｂが顔を特定する処理とは共通化されることとなる。また、特定部位検出部４１ｂは、特定部位までの距離を求める必要が無く、上下左右位置だけ求めることができればよい。

移動検出部４１ｃは、正面カメラ３０により撮影された画像から、ユーザＨの身体部位（例えば右手など）の移動を検出するものである。この移動検出部４１ｃは、特定部位検出部４１ｂと同様に、体の輪郭や、及びユーザの身体画像のうち、肌色の部分などからユーザＨの身体部位を検出し、検出した身体部位を追跡することにより、移動を検出する構成となっている。

プロジェクタ制御部４１ｄは、表示位置制御部（投射位置制御手段）４１ｄ１と、表示面積制御部（投射幅制御手段）４１ｄ２とを有している。

表示位置制御部４１ｄ１は、目位置検出部４１ａにより検出された目の上下左右位置、及び、特定部位検出部４１ｂにより検出された特定部位に基づいて映像光の投射の基準位置となる投射基準位置を決定し、この投射基準位置にプロジェクタ１０からの映像光の光軸が一致するように制御するものである。

図３は、図２に示した目位置検出部４１ａの検出対象及び表示位置制御部４１ｄ１の制御の詳細を示す側面図である。図３に示すように、ユーザＨは、ユーザＨの目からハーフミラー２３の反射面までの距離αの２倍離れた位置に自己の目の位置を視認することができる。また、ユーザＨは、ユーザＨの目からハーフミラー２３の反射面までの距離α’の２倍離れた位置に自己の足下の位置を視認することができる。そして、ユーザＨは、自己の鏡像Ｒを図３で示すＭの範囲内で視認することとなる。

このため、ユーザＨと同じ大きさの物体等をユーザＨに視認させる場合、鏡像Ｒの大きさの約１／２の大きさＭとなるように、映像光を投射すれば、ユーザＨに自己の鏡像Ｒと同じ大きさの映像を提供することができる。このときの映像光の投射基準位置は、Ｍの中間に位置する点Ｍ’となる。

ここで、距離Ｍの大きさは、表示部２０に対するユーザＨの距離に拘わらず同じである。ユーザＨが表示部２０（具体的にはハーフミラー２３）から離れると、鏡像Ｒの目の位置や足下の位置も同様に離れることとなり、中間点には必ず表示部２０が位置するからである。このように、中間点に必ず表示部２０が位置する関係から、距離Ｍは、表示部２０に対するユーザＨの距離に拘わらず、ほぼ一定となる。よって、目位置検出部４１ａは、表示部２０に対するユーザＨの目までの距離を検出する必要が無く、目の上下左右位置のみを検出することとなる。なお、目位置検出部４１ａは、特に表示部２０に対するユーザＨの目までの距離を検出する必要が無いだけであり、ユーザＨの目までの距離を検出する構成であっても問題はない。

さらに、上記のような関係を有することから、ユーザＨの鏡像Ｒに映像を一致させる場合にも同様のことがいえる。すなわち、表示位置制御部４１ｄ１が鏡像Ｒに適切に映像を一致させるためには、ユーザＨの目の上下左右位置の情報と、映像を一致させたい対象であるユーザＨの特定部位との情報があれば足りる。具体的に、ユーザＨと表示部２０との距離とは無関係に、ユーザＨの目の位置と特定部位（例えば、足下など）との中間点には鏡像Ｒが映し出される表示部２０が必ず存在する。このため、その中間点近傍（例えば、ユーザＨの目の位置と鏡像Ｒの足下との中間点近傍）に映像光を投射すれば、ユーザＨの鏡像Ｒ（特に足下の鏡像）と映像とを一致させることができる。

より具体的に説明すると、表示位置制御部４１ｄ１は、正面カメラ３０により撮影された画面内における目の位置と、画面内における特定部位の位置とを求め、画面上においてその中間位置を求める。そして、表示位置制御部４１ｄ１は、その中間位置に対応する表示部２０上の位置を求める。これにより、上記中間点を求めることができ、表示位置制御部４１ｄ１は、この中間位置に映像光を投射させれば、ユーザＨの鏡像Ｒに映像を一致させることができる。

再度、図２を参照する。表示面積制御部４１ｄ２は、正面カメラ３０により撮像された撮像画像内におけるユーザＨの大きさから、光軸を中心とした映像光の投射幅を決定するものである。図３に示す例において、例えば、ユーザＨの身長が高くなれば、距離Ｍは長くなり、ユーザＨの身長が低くなれば、距離Ｍは短くなる。よって、投射幅に違いが生じることとなる。このため、表示面積制御部４１ｄ２は、ユーザＨの大きさから投射幅を変更させることとなる。これにより、大人では小さく表現される映像（例えば人の顔に表示させた小さな星などの映像）であっても子供では大きく表現されてしまうことが防止される（例えば小さな星が巨大な星の映像で表現されてしまうことが防止される）。

より具体的に説明すると、後述のプログラムデータ部４２ｂには、正面カメラ３０により撮像された撮像画像内におけるユーザＨの大きさが大きくなるに従って投射幅を大きくすると共に、撮像画像内におけるユーザＨの大きさが小さくなるに従って投射幅を小さくする演算式を記憶している。そして、表示面積制御部４１ｄ２は、正面カメラ３０により撮像された撮像された画像内におけるユーザＨの大きさと、プログラムデータ部４２ｂに記憶された演算式に従って、投射幅を決定する構成となっている。これにより、表示面積制御部４１ｄ２は、投射幅を算出するにあたり、ユーザの大きさの情報を演算式に代入するだけでよく、一層処理の複雑さを軽減することができる。

なお、図３において、正面カメラ３０は、ユーザＨの目線の位置に配置されているが、実際にはプロジェクタ１０からの投射光を遮ってしまうため、実際には図１に示すように、表示部２０の下方側など、プロジェクタ１０からの投射光を遮らない位置に設けられている。しかしながら、正面カメラ３０は、ユーザＨの目線の位置に配置されていることが望ましい。これにより、目の上下左右位置の検出が容易となるからである。図１に示す位置に配置されている場合、目の上下左右位置の検出にあたり、ユーザＨの目線の位置に正面カメラ３０が配置されているように撮像画像を変換する処理を行うこともあるが、図３に示すように配置されていれば、撮像画像の変換処理が必要なく、処理負荷の観点から望ましい。

以上の表示位置制御部４１ｄ１及び表示面積制御部４１ｄ２の説明から明らかなように、本実施形態では、ユーザＨの鏡像Ｒ自体を推定する構成と有していない。このため、複雑な処理を必要とせず、処理を軽減させたうえで、ユーザＨの鏡像Ｒに映像を合致させることができる。なお、本実施形態では、ユーザＨの鏡像Ｒを推定していないが、上記構成に加えて、ユーザＨの鏡像Ｒを推定する構成を備えていてもよい。これにより、ユーザＨの鏡像Ｒを推定する必要性が高い場合にのみユーザＨの鏡像Ｒを推定し、そうでない場合には、ユーザＨの鏡像Ｒを推定しないことができるからである。

再度、図２を説明する。データベース４２は、映像データ格納部４２ａと、プログラムデータ部（演算式記憶手段）４２ｂとを備えている。映像データ格納部４２ａは、プロジェクタ１０から投射される映像光のデータを格納しており、例えば木の映像データや、矢印の映像データや、太鼓の映像データなどを格納している。プログラムデータ部４２ｂは、処理演算部４１が行う演算処理のアルゴリズムを規定したコンピュータプログラムのデータを格納したものである。コンピュータプログラムには、正面カメラ３０で撮影した映像をプロジェクタ１０で表示部２０に投影するためのアプリケーションソフトウェア（ＦＬＡＳＨ、Ｃ＋＋などのプログラミング言語で記述されたもの）やオペレーティングシステム（ＯＳ）等の基本ソフトウェアが含まれる。また、上記したように、プログラムデータ部４２ｂは、投射幅を算出するための演算式も記憶されている。

次に、本実施形態に係るミラーシステム１の各種の表示例を説明する。図４は、図１に示したミラーシステム１の第１の表示例を示す平面図であり、（ａ）は初期状態を示し、（ｂ）は最終状態を示している。図４（ａ）に示すように、表示部２０には、ユーザＨの鏡像Ｒが映っている。また、表示部２０には、側方カメラ６０によって撮像されたユーザＨの映像Ｉ１がプロジェクタ１０からの投射光によって映し出されている。この映像Ｉ１は、正面カメラ３０により検出されたユーザＨの大きさにあわせて表示させられている。すなわち表示面積制御部４１ｄ２は、正面カメラ３０により検出されたユーザＨの大きさにあわせて、側方カメラ６０によって撮像されたユーザＨが表示部２０に表示されるように、投射幅を決定することとなる。これにより、映像Ｉ１は、鏡像Ｒと同じ大きさで映し出されることとなる。加えて、表示部２０には、鏡像Ｒの背面に木の映像Ｉ２がプロジェクタ１０からの投射光によって映し出されている。

このような状態において、ユーザＨが木の映像Ｉ２に対して傾くことなく真っ直ぐに立つと、図４（ｂ）に示すように、木の映像Ｉ２は、側方カメラ６０によって撮像されたユーザＨの映像Ｉ１の位置に移動する。そして、側方カメラ６０によって撮像されたユーザＨの映像Ｉ１の背中が木の映像Ｉ２の幹部分に一致すると、プロジェクタ１０は、小鳥の映像Ｉ３を映し出す。また、コンピュータ４０は、音声出力部（図示せず）から小鳥がさえずる音声を出力させ、且つ、プロジェクタ１０に小鳥のさえずりを示す音符の映像Ｉ４を表示させる。

これにより、ミラーシステム１は、ユーザＨに姿勢矯正を促すことができる。なお、この場合において、木の映像Ｉ２は、図３を参照して説明したように、ユーザＨの目の位置と、ユーザＨの特定部位（この場合は全身）とに基づいて、投射位置が決定されている。また、大人が表示部２０の前に立っているため、大人の大きさにあわせた投射幅で、映像光は投射されている。これにより、鏡像を推定することなく、ユーザＨの鏡像に合致した映像を提供できることとなる。

図５は、図１に示したミラーシステム１の第２の表示例を示す平面図であり、（ａ）は初期状態を示し、（ｂ）は最終状態を示している。図５（ａ）に示すように、表示部２０には、ユーザＨの鏡像Ｒが映っている。この状態において、体重計５０からの情報を読み込み、ユーザＨの体重が昨日（又は数日前や数ヶ月前や数年前）よりも増加している場合、コンピュータ４０は、図５（ｂ）に示すように、ユーザＨが太ったことを示す胴体の映像Ｉ５をプロジェクタ１０からの投射光によって映し出させる。このとき、特定部位検出部４１ｂは、予め記憶された体重と関連する特定部位である胴体の位置を検出しており、表示位置制御部４１ｄ１は、ユーザＨが太ったことを示す胴体の映像Ｉ５が、ユーザＨの胴体の位置に重なって視認されるように映像光の投射基準位置を決定している。

これにより、ミラーシステム１は、ユーザＨが太ったことを簡便にユーザＨに伝えることができる。なお、この場合において、胴体の映像Ｉ５は、図３を参照して説明したように、ユーザＨの目の位置と、ユーザＨの特定部位（この場合は胴体）とに基づいて、投射位置が決定されている。また、大人が表示部２０の前に立っているため、大人の大きさにあわせた投射幅で、映像光は投射されている。これにより、鏡像を推定することなく、ユーザＨの鏡像に合致した映像を提供できることとなる。

図６は、図１に示したミラーシステム１の第３の表示例を示す平面図である。図６に示すように、表示部２０には、ユーザＨの鏡像Ｒが映っている。また、表示部２０には、矢印の映像Ｉ６が映っている。矢印の映像Ｉ６は、ユーザＨ自身の鏡像Ｒのうち、顔の鏡像の所定位置（頬の位置）に重なって映し出されている。このとき、特定部位検出部４１ｂは、ユーザＨの顔（特に頬）を特定部位として検出しており、表示位置制御部４１ｄ１は、ユーザＨ自身の鏡像Ｒのうち、顔の鏡像の頬の位置に重なってユーザＨに視認されるように、投射光の投射基準位置を決定する。

これにより、ミラーシステム１は、ユーザＨの顔のマッサージ方法を簡便にユーザＨに伝えることができる。なお、この場合において、矢印の映像Ｉ６は、図３を参照して説明したように、ユーザＨの目の位置と、ユーザＨの特定部位（この場合は頬）とに基づいて、投射位置が決定されている。また、大人が表示部２０の前に立っているため、大人の大きさにあわせた投射幅で、映像光は投射されている。これにより、鏡像を推定することなく、ユーザＨの鏡像に合致した映像を提供できることとなる。

ここで、コンピュータ４０は、矢印の映像Ｉ６を変化させることが好ましい。具体的に、コンピュータ４０は、顔のマッサージの速度（すなわち顔に手をあて動かす速度）を矢印の大きさや太さにより表現することが好ましい。これにより、より詳細にマッサージ方法をユーザＨに分かりやすく伝えることができるからである。

さらに、ユーザＨの顔の各部位に引き出し線の映像と、引き出し線の終端位置に水分量などを表示するようにしてもよい。これによっても、ユーザＨの顔の各部位について水分量を簡便にユーザＨに伝えることができるからである。なお、水分量については、体重計５０に代えて、水分量計測計などを用いて水分量の情報を取得しておけばよい。

図７は、図１に示したミラーシステム１の第４の表示例を示す平面図であり、（ａ）は初期状態であり、（ｂ）は最終状態を示している。図７に示すように、表示部２０には、ユーザＨの鏡像Ｒが映っている。また、表示部２０には、ユーザＨの右手位置に太鼓の映像Ｉ７が映っている。

このような状態において、図７（ｂ）に示すように、ユーザＨが右手をやや左手方向に動かしたとする。この場合、移動検出部４１ｃは、正面カメラ３０により撮像された画像内におけるユーザの右手の移動を検出する。そして、表示位置制御部４１ｄ１は、検出された右手の移動が特定部位の移動であるかを判断する。次いで、表示位置制御部４１ｄ１は、特定部位検出部４１ｂの移動であると判断した場合に、映像光の投射基準位置を右手の移動にあわせて移動させる。これにより、太鼓の映像Ｉ７は、やや左手方向に移動することとなる。

さらに、図７（ｂ）に示すように、ユーザＨが左手を太鼓の映像Ｉ７の位置に移動させたとする。この場合において、移動検出部４１ｃはユーザの左手の移動を検出し、コンピュータ４０は、移動検出部４１ｃにより検出された左手の動作が、太鼓の映像Ｉ７に対応した動作（太鼓をたたくような動作）である場合には、その動作に応じて予め定められた制御、すなわち太鼓音をならす制御を行う。これにより、ミラーシステム１は、面白味ある映像と効果音をユーザＨに提供することとなる。

なお、図７に示す例に限らず、例えば、表示部２０にサッカーボールなどの映像を表示し、ユーザＨがサッカーボールを蹴る動作を行った場合に、サッカーボールが移動するようにし、且つ、サッカーボールが蹴られた音を出力するようにしてもよいし、他の表現を行うようにしてもよい。これによっても、ミラーシステム１は、面白味ある映像と効果音をユーザＨに提供することができるからである。

また、上記の場合において、太鼓の映像Ｉ７は、図３を参照して説明したように、ユーザＨの目の位置と、ユーザＨの特定部位（この場合は右手）とに基づいて、投射位置が決定されている。また、大人が表示部２０の前に立っているため、大人の大きさにあわせた投射幅で、映像光は投射されている。これにより、鏡像を推定することなく、ユーザＨの鏡像に合致した映像を提供できることとなる。

次に、本実施形態に係るミラーシステム１の映像光の投射についての制御方法を説明する。図８は、本実施形態に係るミラーシステム１の映像光の投射についての制御方法を示すフローチャートである。

図８に示すように、まず、正面カメラ３０はユーザＨを撮像する（Ｓ１）。次に、コンピュータ４０は、ユーザ画像を抽出する（Ｓ２）。そして、目位置検出部４１ａは、正面カメラ３０により撮像された撮像画像からユーザＨの目の上下左右位置を検出する（Ｓ３）。その後、特定部位検出部４１ｂは、ユーザＨの特定部位の上下左右位置を検出する（Ｓ４）。特定部位は、上述したように、ユーザＨの全身、胴体、顔、及び右手などである。

その後、表示位置制御部４１ｄ１は、ステップＳ３において検出された目の上下左右位置及びステップＳ４において検出された特定部位の上下左右位置に基づき、図３を参照して説明したようにして、映像光の投射基準位置を決定する（Ｓ５）。

その後、表示面積制御部４１ｄ２は、正面カメラ３０により撮像された撮像画像内におけるユーザＨの大きさを特定する（Ｓ６）。次いで、表示面積制御部４１ｄ２は、ステップＳ６において特定したユーザＨの大きさと、プログラムデータ部４２ｂに記憶された演算式とから、映像光の投射幅を決定する（Ｓ７）。

その後、コンピュータ４０は、ステップＳ５において決定された投射基準位置、且つ、ステップＳ７において決定された投射幅で、映像光を投射させる（Ｓ９）。次に、コンピュータ４０は、図４〜図７に示したように、処理を行う（Ｓ１０）。そして、図８に示す処理は終了する。

このようにして、本実施形態に係るミラーシステム１によれば、正面カメラ３０により撮像された画像内におけるユーザＨの特定部位を検出する。このため、ユーザの顔、足下及び胴体などの特定部位を検出することができる。また、目位置検出部４１ａにより目の位置を検出し、特定部位と目の位置とに基づいて投射基準位置を決定する。ここで、ユーザＨの鏡像Ｒに映像を合致させるためには、ユーザＨの目の位置の情報と、映像を合致させたい対象であるユーザＨの特定部位との情報があれば足りる。すなわち、ユーザＨと表示部との距離とは無関係に、ユーザＨの目の位置と特定部位との中間点には鏡像Ｒが映し出される表示部２０が必ず存在するため、その中間点近傍に映像光を投射すれば、ユーザＨの鏡像Ｒと映像とを合致させることができる。加えて、正面カメラ３０により撮像された撮像画像内におけるユーザＨの大きさから、映像光の投射幅を決定するため、大人では小さく表現される映像（例えば人の顔に表示させた小さな星などの映像）であっても子供では大きく表現されてしまうことが防止される（例えば小さな星が巨大な星の映像で表現されてしまうことが防止される）。従って、ユーザＨの鏡像Ｒにあわせて映像表示するにあたり処理の複雑さを軽減することができる。

また、検出された目の位置と、検出された特定部位との中間位置に対応する表示部２０上の位置に投射基準位置を決定する。ここで、画像上において目の位置と特定部位の位置とが検出されれば、画像上において両者の中間位置を求めることは処理が複雑でなく、比較的容易に中間位置を求めることができる。このため、求めた中間位置と表示部２０上の位置との対応関係を示す演算式や対応表などを予め求めておけば、これら演算式や対応表に従って、比較的容易に投射基準位置を決定することができる。従って、一層処理の複雑さを軽減することができる。

また、特定部位として検出された顔の所定位置に重なってユーザＨに視認されるように、投射基準位置を決定して投射させるため、ユーザＨの顔をどのようにマッサージすべきかを示すマッサージラインや、ユーザＨの顔の部位毎に水分量表示などを行うことができる。ここで、ミラーは、顔の手入れや顔の状態の確認を行うために用いられるケースが多い。よって、そのような顔を対象に詳細情報等を提示し、利便性を向上させることができる。

また、ユーザＨの身体状態に応じた映像が、ユーザＨの特定部位に重なってユーザＨに視認されるように映像光を投射させるため、例えばユーザＨの体重が増加した場合には、ユーザＨの特定部位である胴体をふくらませるなど表現でき、表示部２０の視認だけでユーザＨに身体状態を分かりやすく提供することができる。

また、特定部位に重なって視認されるように投射された映像光の投射基準位置を、特定部位の移動にあわせて移動させる。このため、例えばユーザＨの右手に太鼓の映像Ｉ７を表示し、ユーザＨが右手を動かすことにより太鼓自体の映像Ｉ７を連動させることができる。また、ユーザＨの足下にあるボールをユーザＨが蹴る動作をした場合にボールの映像を動かすことなどもできる。従って、より面白味ある映像を提供することができる。

また、検出されたユーザＨの身体部位の移動が、特定部位に重ね合わせて投射された映像光によって映し出された映像に対応した動作である場合には、その動作に応じて予め定められた制御を行う。このため、ユーザの右手に太鼓の映像Ｉ７を表示し、ユーザが左手（身体部位の一例）を右手側に移動させた場合に、太鼓の音を鳴らすことなどができ、より面白味あるミラーシステムを提供することができる。

また、ユーザＨの大きさが大きくなるに従って投射幅を大きくすると共に、撮像画像内におけるユーザＨの大きさが小さくなるに従って投射幅を小さくする演算式を記憶し、正面カメラ３０により撮像された撮像画像内におけるユーザＨの大きさと記憶された演算式に従って、投射幅を決定する。このため、投射幅を算出するにあたり、ユーザＨの大きさの情報を演算式に代入するだけでよく、一層処理の複雑さを軽減することができる。

また、正面カメラ３０とは異なる角度からユーザＨを撮像する側方カメラ６０をさらに備え、表示面積制御部４１ｄ２は、正面カメラ３０により検出されたユーザＨの大きさにあわせて、側方カメラ６０により撮像されたユーザＨの映像が表示部に表示されるように投射幅を決定する。このため、表示部２０には、ユーザＨの鏡像Ｒのみならず、鏡像Ｒと同じ大きさのユーザＨの映像を表現することができる。これにより、例えばユーザＨの正面（鏡像）と側方（映像）とを表示して、正面及び側方の双方からユーザＨの姿勢が正しいかなどをユーザＨに違和感少なく確認させることができ、しかも、ユーザＨの姿勢が正しいときに正面及び側方が表示されるユーザＨに対して正しい旨の映像表示することも可能となる。従って、より利便性を向上させることができる。

また、正面カメラ３０により撮像された撮像画像に映るユーザＨの画像に基づいて、目の上下左右位置を検出するため、目の上下左右位置を検出するためのセンサ等を表示部２０の近傍などに設置する必要が無く、構成を簡略化することができる。

以上、本発明に係るミラーシステムを実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

例えば、本実施形態では、図４〜図７に示す表示例を説明したが、これらの限らず、他の表示を行ってもよい。例えば、太鼓に限らず、他の楽器等を表示してもよいし、木の映像Ｉ２等に限らず、人物などの映像であってもよい。

本実施形態では側方カメラ６０を設けているが、これに限らず、後方カメラや左右逆方向から撮像するカメラであってもよい。

さらに、本実施形態では、正面カメラ３０により得られた画像から、目の上下左右位置を検出しているが、これに加えて、表示部２０に対する目までの距離を求めてもよい。この場合、表示部２０の裏側ＢＳにおいてプロジェクタ１０からの投射光を遮らないように、左右２つの正面カメラ３０を設けることが望ましい。これにより、ステレオ立体視の原理により目の位置を正確に検出することができるからである。また、距離画像カメラや距離センサ（レーザ方式、超音波方式）を用いるようにしてもよい。

本発明の実施形態に係るミラーシステムを示す外観構成図である。 図１に示したコンピュータの詳細を示す構成図である。 図２に示した目位置検出部の検出対象及び表示位置制御部の制御の詳細を示す側面図である。 図１に示したミラーシステムの第１の表示例を示す平面図であり、（ａ）は初期状態を示し、（ｂ）は最終状態を示している。 図１に示したミラーシステムの第２の表示例を示す平面図であり、（ａ）は初期状態を示し、（ｂ）は最終状態を示している。 図１に示したミラーシステムの第３の表示例を示す平面図である。 図１に示したミラーシステムの第４の表示例を示す平面図であり、（ａ）は初期状態であり、（ｂ）は最終状態を示している。 本実施形態に係るミラーシステムの映像光の投射についての制御方法を示すフローチャートである。

符号の説明

１ ミラーシステム
１０ プロジェクタ
２０ 表示部
２１ 拡散層
２２ 透明板
２３ ハーフミラー
３０ 正面カメラ（カメラ）
４０ コンピュータ（制御手段）
４１ 処理演算部
４１ａ 目位置検出部（目位置検出手段）
４１ｂ 特定部位検出部（特定部位検出手段）
４１ｃ 移動検出部（移動検出手段）
４１ｄ プロジェクタ制御部
４１ｄ１ 表示位置制御部（投射位置制御手段）
４１ｄ２ 表示面積制御部（投射幅制御手段）
４２ データベース
４２ａ 映像データ格納部
４２ｂ プログラムデータ部（演算式記憶手段）
４３ 入出力部
５０ 体重計
６０ 側方カメラ（第２カメラ）

Claims (9)

1. 映像光を投射する投光手段と、
   前記投光手段に投射された映像光を映して映像をユーザに視認可能とさせると共に、ユーザ自身の鏡像を表示可能な表示部と、
   ユーザを撮像するカメラと、
   ユーザの表示部に対する目の位置を検出する目位置検出手段と、
   前記カメラにより撮像された撮像画像、及び、前記目位置検出手段により検出された目の位置に応じて前記投光手段から投射される映像光を制御する制御手段と、
   前記カメラにより撮像された画像内におけるユーザの特定部位を検出する特定部位検出手段と、を備え、
   前記制御手段は、前記目位置検出手段により検出された目の位置及び前記特定部位検出手段により検出された特定部位に基づいて映像光の投射の基準位置となる投射基準位置を決定し、この投射基準位置に前記投光手段からの映像光の光軸が一致するように制御する投射位置制御手段と、前記カメラにより撮像された撮像画像内におけるユーザの大きさから、光軸を中心とした映像光の投射幅を決定して制御する投射幅制御手段と、を有する
   ことを特徴とするミラーシステム。
2. 前記投射位置制御手段は、前記目位置検出手段により検出された目の位置と、前記特定部位検出手段により検出された特定部位との中間位置に対応する前記表示部上の位置に投射基準位置を決定し、この投射基準位置に前記投光手段からの映像光の光軸が一致するように制御する
   ことを特徴とする請求項１に記載のミラーシステム。
3. 前記特定部位検出手段は、ユーザの顔を特定部位として検出し、
   前記投射位置制御手段は、前記特定部位として検出された顔と前記目位置検出手段により検出された目の位置との中間位置に対応する前記表示部上の位置に投射基準位置を決定し、この投射基準位置に前記投光手段からの映像光の光軸が一致するように制御することで、映像光がユーザの顔の所定位置に重なってユーザに視認されるように、映像光を投射させる
   ことを特徴とする請求項２に記載のミラーシステム。
4. ユーザの身体状態を検出するユーザ状態検出手段をさらに備え、
   前記特定部位検出手段は、予め記憶された前記身体状態と関連する特定部位を検出し、
   前記投射位置制御手段は、前記特定部位と、前記目位置検出手段により検出された目の位置との中間位置に対応する前記表示部上の位置に投射基準位置を決定し、この投射基準位置に、前記ユーザ状態検出手段により検出されたユーザの身体状態に応じた映像光の光軸が一致するように制御することで、ユーザの身体状態に応じた映像光ユーザの特定部位に重なってユーザに視認されるように映像光を投射させる
   ことを特徴とする請求項２又は請求項３のいずれかに記載のミラーシステム。
5. 前記カメラにより撮像された画像内におけるユーザの身体部位の移動を検出する移動検出手段をさらに備え、
   前記投射位置制御手段は、前記移動検出手段により検出されたユーザの身体部位の移動が前記特定部位の移動である場合、前記特定部位検出手段により検出された特定部位に重なって視認されるように投射された映像光の投射基準位置を、前記特定部位の移動にあわせて移動させる
   ことを特徴とする請求項２から請求項４のいずれか１項に記載のミラーシステム。
6. 前記制御手段は、前記移動検出手段により検出されたユーザの身体部位の移動が、前記特定部位に重ね合わせて視認されるように投射された映像光によって映し出された映像に対応した動作である場合には、その動作に応じて予め定められた制御を行う
   ことを特徴とする請求項５に記載のミラーシステム。
7. 前記カメラにより撮像された撮像画像内におけるユーザの大きさが大きくなるに従って投射幅を大きくすると共に、撮像画像内におけるユーザの大きさが小さくなるに従って投射幅を小さくする演算式を記憶した演算式記憶手段をさらに備え、
   前記投射幅制御手段は、前記カメラにより撮像された撮像画像内におけるユーザの大きさと、前記演算式記憶手段により記憶された演算式に従って、投射幅を決定する
   ことを特徴とする請求項１から請求項６のいずれか１項に記載のミラーシステム。
8. 前記カメラとは異なる角度から前記ユーザを撮像する第２カメラをさらに備え、
   前記投射幅制御手段は、前記カメラにより検出されたユーザの大きさにあわせて、前記第２カメラにより撮像されたユーザの映像が前記表示部に表示されるように投射幅を決定する
   ことを特徴とする請求項７に記載のミラーシステム。
9. 前記目位置検出手段は、前記カメラにより撮像された撮像画像に映るユーザ画像に基づいて、目の上下左右位置を検出する
   ことを特徴とする請求項１から請求項８のいずれか１項に記載のミラーシステム。

Images