JP2010266510A - ミラーシステム - Google Patents

Abstract

【課題】ユーザの鏡像にあわせて映像を表示するにあたり処理の複雑さを軽減することが可能なミラーシステムを提供する。
【解決手段】ミラーシステム１は、目位置検出部４１ａと、特定部位検出部４１ｂと、表示位置制御部４１ｄ１とを備えている。特定部位検出部４１ｂは、正面カメラ３０により撮像された画像内におけるユーザＨの特定部位を検出し、表示位置制御部４１ｄ１は、目位置検出部４１ａにより検出された目の上下左右位置及び特定部位検出部４１ｂにより検出された特定部位に基づいて映像の表示基準位置を決定し、この表示基準位置に映像の軸が一致するように映像の表示位置を制御する。
【選択図】図３

Description

本発明は、映像表示部とハーフミラーとを重ね合わせたミラーシステムに関する。

従来、ユーザの鏡像を映し出すハーフミラーと、ハーフミラーのユーザ反対側に設けられた拡散層に投射光を投射して情報等を表示する情報表示機能付きミラーシステムが知られている。このミラーシステムによると、鏡像の他に、鏡像として映るユーザに対応して、小鳥や犬などの映像を映し出すことができ、ユーザ自身の鏡像と映像とが一体となった表示を行うことができる（特許文献１参照）。

特開２００６−３３００１１号公報（段落[００４３]から[００４４]参照）

しかし、従来システムでは、ユーザの鏡像にあわせて映像を表示するにあたり、処理が複雑であった。特許文献１に記載のシステムの場合、カメラにより撮影された人の形と大きさから、表示装置に対する人の位置と距離を計算して鏡に反射されている人の鏡像を推定し、推定された鏡像に応じて、小鳥や犬などの映像の位置や大きさを決定している。このため、ユーザの鏡像を推定するという複雑な処理が必要となってしまう。

本発明は、上記問題点を解決するために成されたものであり、その目的とするところは、ユーザの鏡像にあわせて映像を表示するにあたり処理の複雑さを軽減することが可能なミラーシステムを提供することである。

本発明の特徴は、映像をユーザに視認可能に表示する表示部と、表示部の表示面に重ね合わされたハーフミラーと、ユーザを撮像するカメラと、表示部に対するユーザの目の位置を検出する目位置検出手段と、カメラにより撮像された画像内におけるユーザの特定部位を検出する特定部位検出手段と、目位置検出手段により検出された目の位置及び特定部位検出手段により検出された特定部位に基づいて、表示部に映像を表示する際の基準位置となる表示基準位置を決定し、この表示基準位置に映像の軸が一致するように映像の表示位置を制御する表示位置制御手段とを備えるミラーシステムであることを要旨とする。

ユーザは、自己の目からハーフミラーの反射面までの距離の２倍離れた位置において自己の鏡像を視認する。よって、ユーザと自己の鏡像との中間点にハーフミラーが存在する。そして、ユーザの目の位置と鏡像におけるユーザの特定部位とを結ぶ線分の中間点の位置はハーフミラー上に存在し、この中間点の位置において映像を表示すれば、ユーザは、この映像を自己の特定部位と重ね合わされた状態で視認することができる。

また、ユーザの目の位置と鏡像におけるユーザの特定部位とを結ぶ線分の中間点の位置は、ユーザの目の位置と特定部位の位置に応じて変化するが、ユーザとハーフミラーとの距離とは無関係である。すなわち、ユーザの特定部位に映像を重ね合わせるためには、ユーザの目の位置の情報と、映像を合致させたい対象であるユーザの特定部位との情報があれば足りる。

そこで、カメラにより撮像された画像内におけるユーザの特定部位を検出することにより、ユーザの顔、足下及び胴体などの特定部位の位置を検出する。また、目位置検出手段により目の位置を検出し、特定部位と目の位置とに基づいて表示基準位置を決定する。そして、表示基準位置を例えば特定部位と目の中間点として、この中間点近傍に映像を表示すれば、ユーザの鏡像における顔、足下及び胴体などの特定部位に対して映像を重ね合わせることができる。

したがって、本発明の特徴によれば、ユーザの鏡像にあわせて映像を表示するにあたり、ユーザの鏡像を推定するという複雑な処理が不要となり、処理の複雑さを軽減することができる。

ここで「ハーフミラー像」とは、ハーフミラーが反射する光により作り出されるユーザの鏡像のハーフミラー面上における像を示し、ユーザの目からハーフミラーの反射面までの距離の２倍離れた位置において視認される自己の「鏡像」とは異なる概念である。

本発明の特徴において、ミラーシステムは、カメラにより撮像された画像内におけるユーザの大きさから、映像の軸を中心とした映像の表示幅を決定する表示幅制御手段を更に有していても構わない。カメラにより撮像された画像内におけるユーザの大きさから映像の表示幅を決定するため、大人では小さく表現される映像（例えば人の顔に表示させた小さな星などの映像）であっても子供では大きく表現されてしまうことが防止される。例えば小さな星が巨大な星の映像で表現されてしまうことが防止される。

本発明の特徴において、表示位置制御手段は、目位置検出手段により検出された目の位置と、特定部位検出手段により検出された特定部位との中間位置に対応する表示部上の位置に表示基準位置を決定し、この表示基準位置に映像の軸が一致するように映像の表示位置を制御してもよい。画像上において目の位置と特定部位の位置とが検出されれば、画像上において両者の中間位置を求めることは処理が複雑でなく、比較的容易に中間位置を求めることができる。このため、求めた中間位置と表示部上の位置との対応関係を示す演算式や対応表などを予め求めておけば、これら演算式や対応表に従って、比較的容易に投射基準位置を決定することができる。従って、一層処理の複雑さを軽減することができる。

本発明の特徴において、特定部位検出手段は、ユーザの顔を特定部位として検出し、表示位置制御手段は、特定部位として検出された顔と目位置検出手段により検出された目の位置との中間位置に対応する表示部上の位置に表示基準位置を決定し、この表示基準位置に映像の軸が一致するように映像の表示位置を制御することで、映像がユーザの顔の所定位置に重なってユーザに視認されるように、映像を表示させてもよい。特定部位として検出された顔の所定位置に重なってユーザに視認されるように、表示基準位置を決定して表示させるため、ユーザの顔をどのようにマッサージすべきかを示すマッサージラインや、ユーザの顔の部位毎に水分量表示などを行うことができる。ここで、ミラーシステムは、顔の手入れや顔の状態の確認を行うために用いられるケースが多い。よって、そのような顔を対象に詳細情報等を提示し、利便性を向上させることができる。

本発明の特徴において、特定部位検出手段は、所定時間毎に、カメラにより撮像された画像内におけるユーザの特定部位を検出し、表示位置制御手段は、特定部位検出手段が特定部位を検出する度に、目位置検出手段により検出された目の位置及び特定部位検出手段により検出された最新の特定部位に基づいて、映像の表示の基準位置となる表示基準位置を決定し、この表示基準位置に映像の軸が一致するように映像の表示位置を制御してもよい。これにより、特定部位が移動する場合に、特定部位の移動にあわせて表示基準位置を移動させることができる。このため、例えばユーザの左手に太鼓の映像を重ねて表示する場合、左手の移動にあわせて太鼓の映像を移動させることができる。

本発明の特徴において、ミラーシステムは、カメラにより撮像された画像内におけるユーザの身体部位の移動を検出する移動検出手段を更に備え、制御手段は、移動検出手段により検出されたユーザの身体部位の移動が、特定部位に重ね合わせて表示された映像に対応した動作である場合には、その動作に応じて予め定められた制御を行うようにしてもよい。これにより、例えば、ユーザの左手に太鼓の映像を表示し、ユーザが右手（身体部位の一例）を左手側に移動させた場合に、太鼓の音を鳴らすことなどができ、より面白味あるミラーシステムを提供することができる。

本発明の特徴において、ミラーシステムは、カメラにより撮像された画像内におけるユーザの大きさが大きくなるに従って映像の表示幅を大きくすると共に、画像内におけるユーザの大きさが小さくなるに従って映像の表示幅を小さくする演算式を記憶した演算式記憶手段をさらに備え、表示幅制御手段は、カメラにより撮像された撮像画像内におけるユーザの大きさと、演算式記憶手段により記憶された演算式に従って、映像の表示幅を決定してもよい。これにより、映像の表示幅を算出するにあたり、ユーザの大きさの情報を演算式に代入するだけでよく、一層処理の複雑さを軽減することができる。

本発明の特徴において、ミラーシステムは、カメラとは異なる角度からユーザを撮像する第２カメラをさらに備え、表示幅制御手段は、カメラにより撮像された画像内におけるユーザの大きさにあわせて、第２カメラにより撮像されたユーザの映像が表示部に表示されるように映像の表示幅を決定してもよい。これにより、ハーフミラーが反射する光によりユーザの鏡像が作り出され、表示部にはハーフミラー像と同じ大きさのユーザの映像を表示することができる。よって、例えばユーザの正面（ハーフミラー像）と側方（映像）とを表示して、正面及び側方の双方からユーザの姿勢が正しいかなどをユーザに違和感少なく確認させることができ、しかも、ユーザの姿勢が正しいときに正面及び側方が表示されるユーザに対して正しい旨の映像を表示することも可能となる。従って、より利便性を向上させることができる。

本発明の特徴において、目位置検出手段は、カメラにより撮像された画像に映るユーザの画像に基づいて、目の上下左右位置を検出してもよい。これにより、目の上下左右位置を検出するためのセンサ等を表示部の近傍などに設置する必要が無く、構成を簡略化することができる。

本発明に係るミラーシステムよれば、ユーザの鏡像にあわせて映像を表示するにあたり処理の複雑さを軽減することができる。

本発明の実施形態に係るミラーシステムを示す外観構成図である。 図１のフラットパネルディスプレイ２４及びハーフミラー２１を含む表示ユニット１５の詳細な構成を示す斜視図である。 図１に示したコンピュータ４０の構成を示すブロック図である。 図３に示した目位置検出部の検出対象及び表示位置制御部の制御の詳細を示す側面図である。 本実施形態に係るミラーシステムの映像の表示についての制御方法を示すフローチャートである。 図１に示したミラーシステムの第１の表示例を示す平面図であり、（ａ）は初期状態を示し、（ｂ）は最終状態を示している。 図１に示したミラーシステムの第２の表示例を示す平面図であり、（ａ）は初期状態を示し、（ｂ）は最終状態を示している。 図１に示したミラーシステムの第３の表示例を示す平面図である。 図１に示したミラーシステムの第４の表示例を示す平面図であり、（ａ）は初期状態であり、（ｂ）は最終状態を示している。

以下、図面を参照して、本発明の実施の形態を説明する。図１は、本発明の実施形態に係るミラーシステムを示す外観構成図である。ミラーシステム１は、ユーザＨの鏡像を映し出すと共に、この鏡像に対応した映像を表示するものである。このミラーシステム１は、映像をユーザＨに視認可能に表示するフラットパネルディスプレイ２４（表示部）と、フラットパネルディスプレイ２４の表示面に重ね合わされたハーフミラー２１と、フラットパネルディスプレイ２４の表側ＦＳに居るユーザＨの画像を撮像する正面カメラ（カメラ）３０と、コンピュータ（制御手段）４０と、体重計（ユーザ状態検出手段）５０と、側方カメラ（第２カメラ）６０とを備えている。なお、図１では、ユーザＨがフラットパネルディスプレイ２４の表示面に対して正対している例を図示している。

フラットパネルディスプレイ２４として、例えば、プラズマディスプレイパネル（ＰＤＰ）又は液晶表示装置（ＬＣＤ）を用いる。ハーフミラー２１は、入射する光の一部を反射し、一部を透過する性質を有する。フラットパネルディスプレイ２４及びハーフミラー２１は表示ユニット１５を構成している。ハーフミラー２１は、半透過膜シートを透明板の表面に貼り付けて形成してもよいし、金属膜を金属蒸着させて形成してもよい。フラットパネルディスプレイ２４は、コンピュータ４０から映像ケーブル或いは無線通信により映像データを受信し、映像データを解析して映像を表示する。

ハーフミラー２１の上記性質を利用することにより、ハーフミラー２１の裏側ＢＳに配置された正面カメラ３０は、ハーフミラー２１を介してユーザＨの画像を撮像することができる。また、ハーフミラー２１の表側ＦＳにおいてハーフミラー２１が反射する光により作り出されるユーザＨの鏡像と、フラットパネルディスプレイ２４に表示される映像とがフラットパネルディスプレイ２４の表側ＦＳへ向けて表示される。よって、フラットパネルディスプレイ２４の表側ＦＳに居るユーザＨは、自己の鏡像及び映像を視認することができる。

正面カメラ３０は、ユーザＨを撮像するものである。正面カメラ３０は、例えば、ＵＳＢケーブルにより通信が可能なＵＳＢカメラにより構成されている。この場合、正面カメラ３０は、コンピュータ４０とＵＳＢケーブルにより接続されることとなる。

コンピュータ４０は、正面カメラ３０により撮像された画像に応じてフラットパネルディスプレイ２４に表示される映像を制御するものである。体重計５０は、ユーザＨの身体状態の１つである体重を検出するものである。体重計５０はコンピュータ４０に接続されており、検出した体重の情報をコンピュータ４０に送信する。なお、本実施形態では、体重計５０を例に挙げているが、特に体重計５０に限らず、ユーザＨの身体状態を検出できれば、身長計や血圧計などであってもよい。

側方カメラ６０は、正面カメラ３０とは異なる角度からユーザＨを撮像するものである。本実施形態では、側方カメラ６０は、フラットパネルディスプレイ２４の表側ＦＳにおいて、フラットパネルディスプレイ２４に正対したユーザＨを側方から撮像するものである。この側方カメラ６０は、正面カメラ３０と同様に、例えば、ＵＳＢケーブルにより通信が可能なＵＳＢカメラにより構成され、コンピュータ４０とＵＳＢケーブルにより接続されることとなる。

なお、図１は、ユーザＨがフラットパネルディスプレイ２４の表示面に対して正対している場合を示している。

図２を参照して、図１のフラットパネルディスプレイ２４及びハーフミラー２１を含む表示ユニット１５の詳細な構成を説明する。表示ユニット１５は、ハーフミラー２１と、フラットパネルディスプレイ２４と、フラットパネルディスプレイ２４の形状に合わせて切り欠き部２５ａが形成された表示枠部２５と、フラットパネルディスプレイ２４の表示面に対向する面に接続される取付け金具２６と、取付け金具２６を通じてフラットパネルディスプレイ２４が取付けられる取付け台２７と、取付け台２７とフラットパネルディスプレイ２４の間に挿入されるスペーサ２８ａ、２８ｂとを備える。

フラットパネルディスプレイ２４の表示面はハーフミラー２１の面に直接重ね合わされ、フラットパネルディスプレイ２４の外周は切り欠き部２５ａが形成された表示枠部２５によって取り囲まれている。フラットパネルディスプレイ２４は、その表示面に対向する面が取付け金具２６を通じて取付け台２７に固定されることにより、取付け台２７に支持されている。また、縦横自在に配置可能なスペーサ２８ａ、２８ｂを用いて、フラットパネルディスプレイ２４の表示面の向きをハーフミラー２１の面に平行になるように調整して、フラットパネルディスプレイ２４とハーフミラー２１との密着性を高めている。この密着性を高めることにより、フラットパネルディスプレイ２４に表示された映像のハーフミラー２１による反射を抑制することができる。

図２では、スペーサ２８ａ、２８ｂが水平方向に向けて配置された例を示すが、フラットパネルディスプレイ２４の表示面の傾きによっては、スペーサ２８ａ、２８ｂを垂直方向に向けて配置しても構わない。また、フラットパネルディスプレイ２４に表示された映像のハーフミラー２１による反射を更に抑制するために、フラットパネルディスプレイ２４とハーフミラー２１との間に液体を注入した部材を挿入して重ね合わせても構わない。また、フラットパネルディスプレイ２４をその長辺が水平方向に向けて設置する場合を示すが、もちろん、長辺を垂直方向に向けて配置しても構わない。

図３は、図１に示したコンピュータ４０の詳細を示す構成図である。コンピュータ４０は、データの演算処理機能を備える処理演算部（ＣＰＵ）４１と、データを格納するデータベース４２と、体重計５０、フラットパネルディスプレイ２４、正面カメラ３０及び側方カメラ６０との間でデータの入出力を制御する入出力部４３を備える。

処理演算部４１は、正面カメラ３０が撮影したユーザＨの映像からユーザＨの目の上下左右位置を検出する目位置検出部（目位置検出手段）４１ａと、正面カメラ３０により撮像された画像内におけるユーザの特定部位（例えば顔、胴体及び手など）を検出する特定部位検出部（特定部位検出手段）４１ｂと、正面カメラ３０により撮像された画像内におけるユーザの身体部位の移動を検出する移動検出部４１ｃと、フラットパネルディスプレイ２４の表示動作を制御する表示制御部４１ｄとを備える。

目位置検出部４１ａは、正面カメラ３０により撮像された画像を処理し、画像内から目を抽出し、その目の上下左右位置を特定するものである。具体的に、目位置検出部４１ａは、まず画像内からユーザＨの顔を特定する。次いで、目位置検出部４１ａは、顔の画像を２値化処理し、顔の暗い部分（例えば、眉、アイライン、鼻の穴、上唇と下唇との境界）を抽出する。その後、目位置検出部４１ａは、顔の暗い部分の配置関係から、目の位置を特定する。なお、目の位置の検出については、種々の方法があり、目位置検出部４１ａは、テンプレートマッチングや濃淡画像マッチングなど他の方法により、目の位置を検出してもよい。

特定部位検出部４１ｂは、正面カメラ３０により撮影された画像から、ユーザＨの特定部位（例えば顔、胴体及び手など）を検出するものである。例えば、特定部位検出部４１ｂは、体の輪郭や、及びユーザの身体画像のうち、肌色の部分などから特定部位を検出する。なお、特定部位検出部４１ｂが顔を特定部位として検出する場合、目位置検出部４１ａが顔を特定する処理と、特定部位検出部４１ｂが顔を特定する処理とは共通化されることとなる。また、特定部位検出部４１ｂは、特定部位までの距離を求める必要が無く、上下左右位置だけ求めることができればよい。

移動検出部４１ｃは、正面カメラ３０により撮影された画像から、ユーザＨの身体部位（例えば右手など）の移動を検出するものである。この移動検出部４１ｃは、特定部位検出部４１ｂと同様に、体の輪郭や、及びユーザの身体画像のうち、肌色の部分などからユーザＨの身体部位を検出し、検出した身体部位を追跡することにより、移動を検出する構成となっている。

表示制御部４１ｄは、表示位置制御部（表示位置制御手段）４１ｄ１と、表示面積制御部（表示幅制御手段）４１ｄ２とを有している。

表示位置制御部４１ｄ１は、目位置検出部４１ａにより検出された目の上下左右位置、及び、特定部位検出部４１ｂにより検出された特定部位に基づいてフラットパネルディスプレイ２４に映像を表示する際の基準位置となる表示基準位置を決定し、この表示射基準位置に映像の軸が一致するように制御するものである。

図４は、図３に示した目位置検出部４１ａの検出対象及び表示位置制御部４１ｄ１の制御の詳細を示す側面図である。図４に示すように、ユーザＨは、ユーザＨの目からハーフミラー２１の反射面までの距離αの２倍離れた位置に鏡像Ｍにおける自己の目の位置を視認することができる。また、ユーザＨは、ユーザＨの目からハーフミラー２１の反射面までの距離α’の２倍離れた位置に鏡像Ｍにおける自己の足下の位置を視認することができる。そして、ユーザＨは、自己の鏡像Ｍを図４で示すＮの範囲内で視認することとなる。すなわち、ユーザの鏡像Ｍのハーフミラー面上における像であるハーフミラー像は図４で示すＮの範囲内に現れる。

このため、ユーザＨと同じ大きさの物体等をユーザＨに視認させる場合、鏡像Ｍの大きさの約１／２の大きさＮとなるように、映像を表示すれば、ユーザＨに自己の鏡像Ｍと同じ大きさの映像を提供することができる。このときの映像の表示基準位置は、Ｎの中間に位置する点Ｎ’となる。

ここで、距離Ｎの大きさは、表示ユニット１５に対するユーザＨの距離に拘わらず同じである。ユーザＨが表示ユニット１５（具体的にはハーフミラー２１）から離れると、鏡像Ｍの目の位置や足下の位置も同様に離れることとなり、中間点には必ず表示ユニット１５が位置するからである。このように、中間点に必ず表示ユニット１５が位置する関係から、距離Ｎは、表示ユニット１５に対するユーザＨの距離に拘わらず、ほぼ一定となる。よって、目位置検出部４１ａは、表示ユニット１５に対するユーザＨの目までの距離を検出する必要が無く、目の上下左右位置のみを検出することとなる。なお、目位置検出部４１ａは、特に表示ユニット１５に対するユーザＨの目までの距離を検出する必要が無いだけであり、ユーザＨの目までの距離を検出する構成であっても問題はない。

さらに、上記のような関係を有することから、ユーザＨの鏡像Ｍに映像を一致させる場合にも同様のことがいえる。すなわち、表示位置制御部４１ｄ１が鏡像Ｍに適切に映像を一致させるためには、ユーザＨの目の上下左右位置の情報と、映像を一致させたい対象であるユーザＨの特定部位との情報があれば足りる。具体的に、ユーザＨと表示ユニット１５との距離とは無関係に、ユーザＨの目の位置と特定部位（例えば、足下など）との中間点にはハーフミラー像が現れる表示ユニット１５が必ず存在する。このため、その中間点近傍（例えば、ユーザＨの目の位置と鏡像Ｍの足下との中間点近傍）に映像を表示すれば、ユーザＨの鏡像Ｍ（特に足下の鏡像）と映像とを一致させることができる。

より具体的に説明すると、表示位置制御部４１ｄ１は、正面カメラ３０により撮影された画面内における目の位置と、画面内における特定部位の位置とを求め、画面上においてその中間位置を求める。そして、表示位置制御部４１ｄ１は、その中間位置に対応する表示ユニット１５上の位置を求める。これにより、ユーザＨの目の位置と特定部位との中間点を求めることができ、表示位置制御部４１ｄ１は、表示ユニット１５上の中間位置に映像を表示させれば、ユーザＨの鏡像Ｍに映像を一致させることができる。

再度、図３を参照する。表示面積制御部４１ｄ２は、正面カメラ３０により撮像された画像内におけるユーザＨの大きさから、映像の軸を中心とした映像の表示幅を決定するものである。図４に示す例において、例えば、ユーザＨの身長が高くなれば、距離Ｎは長くなり、ユーザＨの身長が低くなれば、距離Ｎは短くなる。よって、表示幅に違いが生じることとなる。このため、表示面積制御部４１ｄ２は、ユーザＨの大きさから表示幅を変更させることとなる。これにより、大人では小さく表現される映像（例えば人の顔に表示させた小さな星などの映像）であっても子供では大きく表現されてしまうことが防止される。例えば小さな星が巨大な星の映像で表現されてしまうことが防止される。

より具体的に説明すると、後述のプログラムデータ部４２ｂには、正面カメラ３０により撮像された画像内におけるユーザＨの大きさが大きくなるに従って表示幅を大きくすると共に、画像内におけるユーザＨの大きさが小さくなるに従って表示幅を小さくする演算式を記憶している。そして、表示面積制御部４１ｄ２は、正面カメラ３０により撮像された画像内におけるユーザＨの大きさと、プログラムデータ部４２ｂに記憶された演算式に従って、表示幅を決定する。これにより、表示面積制御部４１ｄ２は、投射幅を算出するにあたり、ユーザの大きさの情報を演算式に代入するだけでよく、一層処理の複雑さを軽減することができる。

なお、図４において、正面カメラ３０は、ユーザＨの目線の位置に配置されているが、実際にはフラットパネルディスプレイ２４により遮られてしまうため、実際には図１に示すように、フラットパネルディスプレイ２４の下方側など、フラットパネルディスプレイ２４により遮られない位置に設けられている。しかしながら、正面カメラ３０は、ユーザＨの目線の位置に配置されていることが望ましい。これにより、目の上下左右位置の検出が容易となるからである。図１に示す位置に配置されている場合、目の上下左右位置の検出にあたり、ユーザＨの目線の位置に正面カメラ３０が配置されているように画像を変換する処理を行うこともあるが、図４に示すように配置されていれば、画像の変換処理が必要なく、処理負荷の観点から望ましい。

以上の表示位置制御部４１ｄ１及び表示面積制御部４１ｄ２の説明から明らかなように、本実施形態では、ユーザＨの鏡像Ｍ自体を推定する構成を有していない。このため、複雑な処理を必要とせず、処理を軽減させたうえで、ユーザＨの鏡像Ｍに映像を合致させることができる。なお、本実施形態では、ユーザＨの鏡像Ｍを推定していないが、上記構成に加えて、ユーザＨの鏡像Ｍを推定する構成を備えていてもよい。これにより、ユーザＨの鏡像Ｍを推定する必要性が高い場合にのみユーザＨの鏡像Ｍを推定し、そうでない場合には、ユーザＨの鏡像Ｍを推定しないことができるからである。

再度、図３を説明する。データベース４２は、映像データ格納部４２ａと、プログラムデータ部（演算式記憶手段）４２ｂとを備えている。映像データ格納部４２ａは、フラットパネルディスプレイ２４に表示される映像のデータを格納しており、例えば木の映像データや、矢印の映像データや、太鼓の映像データなどを格納している。プログラムデータ部４２ｂは、処理演算部４１が行う演算処理のアルゴリズムを規定したコンピュータプログラムのデータを格納したものである。コンピュータプログラムには、正面カメラ３０で撮影した画像をフラットパネルディスプレイ２４に表示するためのアプリケーションソフトウェア（ＦＬＡＳＨ、Ｃ＋＋などのプログラミング言語で記述されたもの）やオペレーティングシステム（ＯＳ）等の基本ソフトウェアが含まれる。また、上記したように、プログラムデータ部４２ｂは、表示幅を算出するための演算式も記憶されている。

次に、図５のフローチャートを参照して、本実施形態に係るミラーシステム１における映像の表示についての制御方法を説明する。

図５に示すように、まず、正面カメラ３０はユーザＨを撮像する（Ｓ１）。次に、コンピュータ４０は、正面カメラ３０により撮像された画像からユーザの画像を抽出する（Ｓ２）。そして、目位置検出部４１ａは、抽出されたユーザの画像からユーザＨの目の上下左右位置を検出する（Ｓ３）。その後、特定部位検出部４１ｂは、ユーザＨの特定部位の上下左右位置を検出する（Ｓ４）。特定部位は、上述したように、ユーザＨの全身、胴体、顔、及び右手などであって、予め定められている。

その後、表示位置制御部４１ｄ１は、ステップＳ３において検出された目の上下左右位置及びステップＳ４において検出された特定部位の上下左右位置に基づき、図４を参照して説明したようにして、映像の表示基準位置を決定する（Ｓ５）。

その後、表示面積制御部４１ｄ２は、正面カメラ３０により撮像された画像内におけるユーザＨの大きさを特定する（Ｓ６）。次いで、表示面積制御部４１ｄ２は、ステップＳ６において特定したユーザＨの大きさと、プログラムデータ部４２ｂに記憶された演算式とから、映像の表示幅を決定する（Ｓ７）。

その後、コンピュータ４０は、ステップＳ５において決定された表示基準位置、且つ、ステップＳ７において決定された表示幅で、映像を表示させる（Ｓ９）。次に、コンピュータ４０は、例えば図６〜図９を参照して後述するような所定の処理を行う（Ｓ１０）。そして、図５に示す処理は終了する。
（第１の表示例）

次に、本実施形態に係るミラーシステム１の各種の表示例を説明する。図６は、図１に示したミラーシステム１の第１の表示例を示す平面図であり、（ａ）は初期状態を示し、（ｂ）は最終状態を示している。図６（ａ）に示すように、ハーフミラー２１の反射面上には、ユーザＨのハーフミラー像Ｒが現れている。また、フラットパネルディスプレイ２４には、側方カメラ６０によって撮像されたユーザＨの映像Ｉ１が表示されている。この映像Ｉ１は、正面カメラ３０により検出されたユーザＨの大きさにあわせて表示させられている。すなわち表示面積制御部４１ｄ２は、正面カメラ３０により検出されたユーザＨの大きさにあわせて、側方カメラ６０によって撮像されたユーザＨがフラットパネルディスプレイ２４に表示されるように、表示幅を決定することとなる。これにより、映像Ｉ１は、ハーフミラー像Ｒと同じ大きさで映し出されることとなる。加えて、フラットパネルディスプレイ２４には、ハーフミラー像Ｒの背面に木の映像Ｉ２が表示されている。

このような状態において、ユーザＨが木の映像Ｉ２に対して傾くことなく真っ直ぐに立つと、図６（ｂ）に示すように、木の映像Ｉ２は、側方カメラ６０によって撮像されたユーザＨの映像Ｉ１の位置に移動する。そして、側方カメラ６０によって撮像されたユーザＨの映像Ｉ１の背中が木の映像Ｉ２の幹部分に一致すると、フラットパネルディスプレイ２４は、小鳥の映像Ｉ３を表示する。また、コンピュータ４０は、音声出力部（図示せず）から小鳥がさえずる音声を出力させ、且つ、フラットパネルディスプレイ２４に小鳥のさえずりを示す音符の映像Ｉ４を表示させる。

これにより、ミラーシステム１は、ユーザＨに姿勢矯正を促すことができる。なお、この場合において、木の映像Ｉ２は、図４を参照して説明したように、ユーザＨの目の位置と、ユーザＨの特定部位（この場合は全身）とに基づいて、表示位置が決定されている。また、大人が表示ユニット１５の前に立っているため、大人の大きさにあわせた表示幅で、映像は表示されている。これにより、鏡像を推定することなく、ユーザＨの鏡像に合致した映像を提供できることとなる。
（第２の表示例）

図７は、図１に示したミラーシステム１の第２の表示例を示す平面図であり、（ａ）は初期状態を示し、（ｂ）は最終状態を示している。図７（ａ）に示すように、ハーフミラー２１の反射面上には、ユーザＨのハーフミラー像Ｒが現れている。この状態において、体重計５０からの情報を読み込み、ユーザＨの体重が昨日（又は数日前や数ヶ月前や数年前）よりも増加している場合、コンピュータ４０は、図７（ｂ）に示すように、ユーザＨが太ったことを示す胴体の映像Ｉ５をフラットパネルディスプレイ２４に表示させる。このとき、特定部位検出部４１ｂは、予め記憶された体重に応じた特定部位である胴体の位置を検出しており、表示位置制御部４１ｄ１は、ユーザＨが太ったことを示す胴体の映像Ｉ５が、ユーザＨの胴体の位置に重なって視認されるように映像の表示基準位置を決定している。

これにより、ミラーシステム１は、ユーザＨが太ったことを簡便にユーザＨに伝えることができる。なお、この場合において、胴体の映像Ｉ５は、図４を参照して説明したように、ユーザＨの目の位置と、ユーザＨの特定部位（この場合は胴体）とに基づいて、その表示位置が決定されている。また、大人が表示ユニット１５の前に立っているため、大人の大きさにあわせた表示幅で、映像は表示されている。これにより、鏡像を推定することなく、ユーザＨの鏡像に合致した映像を提供できることとなる。
（第３の表示例）

図８は、図１に示したミラーシステム１の第３の表示例を示す平面図である。図８に示すように、ハーフミラー２１の反射面上には、ユーザＨのハーフミラー像Ｒが現れている。また、フラットパネルディスプレイ２４には、矢印の映像Ｉ６が表示されている。矢印の映像Ｉ６は、ユーザＨ自身のハーフミラー像Ｒのうち、顔のハーフミラー像の所定位置（頬の位置）に重なって表示されている。このとき、特定部位検出部４１ｂは、ユーザＨの顔（特に頬）を特定部位として検出しており、表示位置制御部４１ｄ１は、ユーザＨ自身のハーフミラー像Ｒのうち、頬の位置に重なってユーザＨに視認されるように、映像の表示基準位置を決定する。

これにより、ミラーシステム１は、ユーザＨの顔のマッサージ方法を簡便にユーザＨに伝えることができる。なお、この場合において、矢印の映像Ｉ６は、図４を参照して説明したように、ユーザＨの目の位置と、ユーザＨの特定部位（この場合は頬）とに基づいて、その表示位置が決定されている。また、大人が表示ユニット１５の前に立っているため、大人の大きさにあわせた表示幅で、映像は表示されている。これにより、鏡像を推定することなく、ユーザＨの鏡像に合致した映像を提供できることとなる。

ここで、コンピュータ４０は、矢印の映像Ｉ６を変化させることが好ましい。具体的に、コンピュータ４０は、顔のマッサージの速度（すなわち顔に手をあて動かす速度）を矢印の大きさや太さにより表現することが好ましい。これにより、より詳細にマッサージ方法をユーザＨに分かりやすく伝えることができるからである。

さらに、ユーザＨの顔の各部位に引き出し線の映像と、引き出し線の終端位置に水分量などを表示するようにしてもよい。これによっても、ユーザＨの顔の各部位について水分量を簡便にユーザＨに伝えることができるからである。なお、水分量については、体重計５０に代えて、水分量計測計などを用いて水分量の情報を取得しておけばよい。
（第４の表示例）

図９は、図１に示したミラーシステム１の第４の表示例を示す平面図であり、（ａ）は初期状態であり、（ｂ）は最終状態を示している。図９に示すように、ハーフミラー２１の反射面上には、ユーザＨのハーフミラー像Ｒが現れている。また、フラットパネルディスプレイ２４には、ユーザＨの左手の位置に太鼓の映像Ｉ７が表示されている。ここでの特定部位はユーザＨの左手である。

このような状態において、ユーザＨが左手をやや右手方向に動かしたとする。図３の特定部位検出部４１ｂは、所定時間毎に、正面カメラ３０により撮像された画像内におけるユーザの特定部位である左手を検出する。そして、表示位置制御部４１ｄ１は、特定部位検出部４１ｂが左手を検出する度に、目位置検出部４１ａにより検出された目の位置及び特定部位検出部４１ｂにより検出された最新の左手の位置に基づいて、太鼓の映像Ｉ７の表示基準位置を決定し、この表示基準位置に映像Ｉ７の軸が一致するように映像Ｉ７の表示位置を制御する。これにより、太鼓の映像Ｉ７を、特定部位である左手の移動にあわせてやや左手方向に移動させることができる。

さらに、図７（ｂ）に示すように、ユーザＨが右手を太鼓の映像Ｉ７の位置に移動させたとする。この場合において、移動検出部４１ｃはユーザＨの身体部位の一例である右手の移動を検出し、コンピュータ４０は、移動検出部４１ｃにより検出された右手の移動が、左手に重ね合わせて表示された太鼓の映像Ｉ７に対応した動作（太鼓をたたくような動作）である場合には、その動作に応じて予め定められた制御、例えば太鼓音をならす制御を行う。これにより、ミラーシステム１は、面白味ある映像と効果音をユーザＨに提供することとなる。

なお、図７に示す例に限らず、例えば、フラットパネルディスプレイ２４にサッカーボールなどの映像を表示し、ユーザＨがサッカーボールを蹴る動作を行った場合に、サッカーボールが移動するようにし、且つ、サッカーボールが蹴られた音を出力するようにしてもよいし、他の表現を行うようにしてもよい。これによっても、ミラーシステム１は、面白味ある映像と効果音をユーザＨに提供することができるからである。

また、上記の場合において、太鼓の映像Ｉ７は、図４を参照して説明したように、ユーザＨの目の位置と、ユーザＨの特定部位（この場合は左手）とに基づいて、その表示位置が決定されている。また、大人が表示ユニット１５の前に立っているため、大人の大きさにあわせた表示幅で映像は表示されている。これにより、鏡像を推定することなく、ユーザＨの鏡像に合致した映像を提供できることとなる。

以上説明したように、本発明の実施の形態によれば、以下の作用効果が得られる。

本実施形態に係るミラーシステム１は、正面カメラ３０により撮像された画像内におけるユーザＨの顔、足下及び胴体などの特定部位を検出する。また、目位置検出部４１ａにより目の位置を検出し、特定部位と目の位置とに基づいて表示基準位置を決定する。ここで、ユーザＨの鏡像Ｍに映像を合致させるためには、ユーザＨの目の位置の情報と、映像を合致させたい対象であるユーザＨの特定部位との情報があれば足りる。すなわち、ユーザＨと表示ユニット１５との距離とは無関係に、ユーザＨの目の位置と特定部位との中間点にはハーフミラー像Ｒが現れる表示ユニット１５が必ず存在するため、ユーザＨの目の位置と特定部位との中間点近傍に映像を表示すれば、ユーザＨの鏡像Ｍと映像とを合致させることができる。加えて、正面カメラ３０により撮像された画像内におけるユーザＨの大きさから、映像の表示幅を決定するため、大人では小さく表現される映像（例えば人の顔に表示させた小さな星などの映像）であっても子供では大きく表現されてしまうことが防止される。例えば小さな星が巨大な星の映像で表現されてしまうことが防止される。従って、ユーザＨの鏡像Ｍにあわせて映像を表示するにあたり処理の複雑さを軽減することができる。

また、検出された目の位置と、検出された特定部位との中間位置に対応するフラットパネルディスプレイ２４上の位置に表示基準位置を決定する。ここで、画像上において目の位置と特定部位の位置とが検出されれば、画像上において両者の中間位置を求めることは処理が複雑でなく、比較的容易に中間位置を求めることができる。このため、求めた中間位置とフラットパネルディスプレイ２４上の位置との対応関係を示す演算式や対応表などを予め求めておけば、これら演算式や対応表に従って、比較的容易に表示基準位置を決定することができる。従って、一層処理の複雑さを軽減することができる。

また、特定部位として検出された顔の所定位置に重なってユーザＨに視認されるように、表示基準位置を決定して映像を表示させるため、ユーザＨの顔をどのようにマッサージすべきかを示すマッサージラインや、ユーザＨの顔の部位毎に水分量表示などを行うことができる。ここで、ミラーシステム１は、顔の手入れや顔の状態の確認を行うために用いられるケースが多い。よって、そのような顔を対象に詳細情報等を提示し、利便性を向上させることができる。

また、ユーザＨの身体状態に応じた映像が、ユーザＨの特定部位に重なってユーザＨに視認されるように映像を表示させるため、例えばユーザＨの体重が増加した場合には、ユーザＨの特定部位である胴体をふくらませるなどを表現することができ、表示ユニット１５の視認だけでユーザＨに身体状態を分かりやすく提供することができる。

また、特定部位に重なって視認されるように表示された映像の表示基準位置を、特定部位の移動にあわせて移動させる。このため、例えばユーザＨの左手に太鼓の映像Ｉ７を表示し、ユーザＨが左手を動かすことにより太鼓自体の映像Ｉ７を連動させることができる。また、ユーザＨの足下にあるボールをユーザＨが蹴る動作をした場合にボールの映像を動かすことなどもできる。従って、より面白味ある映像を提供することができる。

また、検出されたユーザＨの身体部位の移動が、特定部位に重ね合わせて表示された映像に対応した動作である場合には、その動作に応じて予め定められた制御を行う。このため、ユーザの左手に太鼓の映像Ｉ７を表示し、ユーザが右手（身体部位の一例）を左手側に移動させた場合に、太鼓の音を鳴らすことなどができ、より面白味あるミラーシステムを提供することができる。

また、ユーザＨの大きさが大きくなるに従って表示幅を大きくすると共に、画像内におけるユーザＨの大きさが小さくなるに従って表示幅を小さくする演算式を記憶し、正面カメラ３０により撮像された画像内におけるユーザＨの大きさと記憶された演算式に従って、表示幅を決定する。このため、表示幅を算出するにあたり、ユーザＨの大きさの情報を演算式に代入するだけでよく、一層処理の複雑さを軽減することができる。

また、正面カメラ３０とは異なる角度からユーザＨを撮像する側方カメラ６０をさらに備え、表示面積制御部４１ｄ２は、正面カメラ３０により検出されたユーザＨの大きさにあわせて、側方カメラ６０により撮像されたユーザＨの映像がフラットパネルディスプレイ２４に表示されるように表示幅を決定する。このため、表示ユニット１５には、ユーザＨのハーフミラー像Ｒのみならず、ハーフミラー像Ｒと同じ大きさのユーザＨの映像を表現することができる。これにより、例えばユーザＨの正面（ハーフミラー像）と側方（映像）とを表現して、正面及び側方の双方からユーザＨの姿勢が正しいかなどをユーザＨに違和感少なく確認させることができ、しかも、ユーザＨの姿勢が正しいときに正面及び側方が表示されるユーザＨに対して正しい旨の映像表示することも可能となる。従って、より利便性を向上させることができる。

また、正面カメラ３０により撮像された画像に映るユーザＨの画像に基づいて、目の上下左右位置を検出するため、目の上下左右位置を検出するためのセンサ等をフラットパネルディスプレイ２４の近傍などに設置する必要が無く、構成を簡略化することができる。

以上、本発明に係るミラーシステムを実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

例えば、本実施形態では、図６〜図９に示す表示例を説明したが、これらの限らず、他の表示を行ってもよい。例えば、太鼓に限らず、他の楽器等を表示してもよいし、木の映像Ｉ２等に限らず、人物などの映像であってもよい。

本実施形態では側方カメラ６０を設けているが、これに限らず、後方カメラや左右逆方向から撮像するカメラであってもよい。

さらに、本実施形態では、正面カメラ３０により得られた画像から、目の上下左右位置を検出しているが、これに加えて、表示ユニット１５に対する目までの距離を求めてもよい。この場合、表示ユニット１５の裏側ＢＳにおいてフラットパネルディスプレイ２４により遮られないように、左右２つの正面カメラ３０を設けることが望ましい。これにより、ステレオ立体視の原理により目の位置を正確に検出することができるからである。また、距離画像カメラや距離センサ（レーザ方式、超音波方式）を用いるようにしてもよい。

１ ミラーシステム
１５ 表示ユニット
２１ ハーフミラー
２４ プラズマディスプレイパネルや液晶表示装置などのフラットパネルディスプレイ（表示部）
２５ 表示枠部
２５ａ 切り欠き部
２６ 取付け金具
２７ 取付け台
２８ａ、２８ｂ スペーサ
３０ 正面カメラ（カメラ）
４０ コンピュータ（制御手段）
４１ 処理演算部
４１ａ 目位置検出部（目位置検出手段）
４１ｂ 特定部位検出部（特定部位検出手段）
４１ｃ 移動検出部（移動検出手段）
４１ｄ 表示制御部
４１ｄ１ 表示位置制御部（投射位置制御手段）
４１ｄ２ 表示面積制御部（投射幅制御手段）
４２ データベース
４２ａ 映像データ格納部
４２ｂ プログラムデータ部（演算式記憶手段）
４３ 入出力部
５０ 体重計
６０ 側方カメラ（第２カメラ）

Claims (9)

1. 映像をユーザに視認可能に表示する表示部と、
   前記表示部の表示面に重ね合わされたハーフミラーと、
   ユーザを撮像するカメラと、
   前記表示部に対するユーザの目の位置を検出する目位置検出手段と、
   前記カメラにより撮像された画像内におけるユーザの特定部位を検出する特定部位検出手段と、
   前記目位置検出手段により検出された目の位置及び前記特定部位検出手段により検出された特定部位に基づいて、前記表示部に映像を表示する際の基準位置となる表示基準位置を決定し、この表示基準位置に映像の軸が一致するように映像の表示位置を制御する表示位置制御手段と、
   を備えることを特徴とするミラーシステム。
2. （07P02375の請求項１の投射幅制御手段を別クレームとしました。）
   前記カメラにより撮像された画像内におけるユーザの大きさから、前記映像の軸を中心とした映像の表示幅を決定する表示幅制御手段を更に有することを特徴とするミラーシステム。
3. 前記表示位置制御手段は、前記目位置検出手段により検出された目の位置と、前記特定部位検出手段により検出された特定部位との中間位置に対応する前記表示部上の位置に表示基準位置を決定し、この表示基準位置に映像の軸が一致するように映像の表示位置を制御することを特徴とする請求項１又は２に記載のミラーシステム。
4. 前記特定部位検出手段は、ユーザの顔を特定部位として検出し、
   前記表示位置制御手段は、前記特定部位として検出された顔と前記目位置検出手段により検出された目の位置との中間位置に対応する前記表示部上の位置に表示基準位置を決定し、この表示基準位置に映像の軸が一致するように映像の表示位置を制御することで、映像がユーザの顔の所定位置に重なってユーザに視認されるように、映像を表示させる
   ことを特徴とする請求項３に記載のミラーシステム。
5. 前記特定部位検出手段は、所定時間毎に、前記カメラにより撮像された画像内におけるユーザの特定部位を検出し、
   表示位置制御手段は、前記特定部位検出手段が特定部位を検出する度に、前記目位置検出手段により検出された目の位置及び前記特定部位検出手段により検出された最新の特定部位に基づいて、映像の表示の基準位置となる表示基準位置を決定し、この表示基準位置に映像の軸が一致するように映像の表示位置を制御する
   ことを特徴とする請求項２から請求項４のいずれか１項に記載のミラーシステム。
6. 前記カメラにより撮像された画像内におけるユーザの身体部位の移動を検出する移動検出手段を更に備え、
   前記制御手段は、前記移動検出手段により検出されたユーザの身体部位の移動が、前記特定部位に重ね合わせて表示された映像に対応した動作である場合には、その動作に応じて予め定められた制御を行うことを特徴とする請求項５に記載のミラーシステム。
7. 前記カメラにより撮像された画像内におけるユーザの大きさが大きくなるに従って映像の表示幅を大きくすると共に、画像内におけるユーザの大きさが小さくなるに従って映像の表示幅を小さくする演算式を記憶した演算式記憶手段をさらに備え、
   前記表示幅制御手段は、前記カメラにより撮像された撮像画像内におけるユーザの大きさと、前記演算式記憶手段により記憶された演算式に従って、映像の表示幅を決定することを特徴とする請求項２に記載のミラーシステム。
8. 前記カメラとは異なる角度から前記ユーザを撮像する第２カメラをさらに備え、
   前記表示幅制御手段は、前記カメラにより撮像された画像内におけるユーザの大きさにあわせて、前記第２カメラにより撮像されたユーザの映像が前記表示部に表示されるように映像の表示幅を決定する
   ことを特徴とする請求項７に記載のミラーシステム。
9. 前記目位置検出手段は、前記カメラにより撮像された画像に映るユーザの画像に基づいて、目の上下左右位置を検出することを特徴とする請求項１から請求項８のいずれか１項に記載のミラーシステム。

Images