JP2010087569A - 姿見装置 - Google Patents

Abstract

【課題】利用者の全身について鏡像と画像とを重ならないように映すことにより、利用者の複数の向きの姿を同時に視認することを可能にした姿見装置を提供する。
【解決手段】利用者Ｈの全身を映すハーフミラー１が表示装置２の画面に重ねて設けられる。表示装置２の表示内容は、ハーフミラー１を通して視認可能になっている。利用者Ｈの左右には、利用者Ｈの全身を撮像する撮像装置３ａ，３ｂが配置される。撮像装置３ａ，３ｂにより撮像された画像は、表示制御装置４に入力され、表示領域抽出部４１において撮像装置３ａ，３ｂにより撮像した画像から利用者の側面の全身を含む領域が抽出され、左右判定部４２において左右が反転され、拡縮率決定部４３でサイズが調節され、表示装置２の画面において表示位置決定部４４で決定された位置に表示される。
【選択図】図１

Description

本発明は、利用者の全身を映す鏡に他の方向から見た利用者の姿を同時に映すことにより、利用者の姿を多角的に表示することを可能にした姿見装置に関するものである。

従来から、利用者の姿を映すために化粧台のような什器に設けた鏡や姿見のような鏡が用いられているが、利用者自身が鏡に映して視認できる範囲は限られており、利用者自身の側方や後方の姿を鏡に映して見るには首を回した無理な姿勢をとらなければならないという問題がある。

この種の問題を解決するために、利用者自身が鏡に正対している向きとは異なる向きから利用者を撮像する撮像装置を設け、撮像装置により撮像した利用者の画像を提示することが考えられている（たとえば、特許文献１参照）。

特許文献１に記載された装置では、利用者の顔面を映す鏡としてハーフミラーを用い、ハーフミラーの後方にプロジェクタから画像を投影するスクリーンを設けることによって、利用者の顔面の鏡像とプロジェクタからの投影像とをハーフミラーの前面側において視認可能としている。さらに、撮像装置で撮像した画像をプロジェクタからスクリーンに投影することにより、ハーフミラーに映る利用者の顔面の鏡像と撮像装置で撮像した利用者の他の部位の画像とをハーフミラーの前面側から視認できるようにしている。

ところで、特許文献１に記載された構成では、ハーフミラーの後方に配置したスクリーンとして再帰性反射スクリーンを用い、ハーフミラーとスクリーンとの間に左右２台のプロジェクタを配置している。再帰性反射スクリーンは、入射光と同じ方向に反射光を出射させるスクリーンであり高い反射指向性を有している。各プロジェクタは、投影光をハーフミラーの背面で反射させた後にスクリーンの前面に入射させるように配置してあり、この構成により、スクリーンに投影された画像が利用者の視点位置に応じて選択的に視認可能になるようにしてある。

すなわち、特許文献１に記載のものは、利用者が視点位置を変えることによって、利用者の顔面の鏡像を提示する鏡としての機能と、利用者の他方向の画像を提示する機能とを選択することが可能になっている。
特開２００７−１６６５４８号公報

上述のように特許文献１に記載の構成では、利用者は視点位置を変えることによって、顔面の鏡像と他方向の画像とを選択的に見ることが可能であるが、姿見のように全身を確認する場合には、異なる部位を選択的に見るよりは、むしろ様々な向きを同時に視認できることが望ましい。たとえば、着衣の具合を確認したり、運動のポーズを確認したりするには、複数方向について同時に確認できることが望ましい。

本発明は上記事由に鑑みて為されたものであり、その目的は、利用者の全身について鏡像と画像とを重ならないように映すことにより、利用者の複数の向きの姿を同時に視認することを可能にした姿見装置を提供することにある。

請求項１の発明は、定位置に配設され利用者の全身を映すハーフミラーと、ハーフミラーに対して利用者側の空間に配置され利用者の全身をハーフミラーとは異なる向きから撮像する少なくとも１台の撮像装置と、ハーフミラーに対して利用者とは反対側の空間に配置され表示する画像をハーフミラーを通して利用者側の空間から視認可能とする表示装置と、撮像装置により撮像した画像のうち少なくとも利用者の全身を表示装置に表示し表示装置の画面上での利用者の表示位置をハーフミラーでの反射により表示される利用者の鏡像に重ならない位置に制御する表示制御装置とを備えることを特徴とする。

請求項２の発明では、請求項１の発明において、前記表示制御装置は、前記表示装置の画面内での利用者の画像の表示様式と利用者の身長とにより前記撮像装置で撮像した画像の拡縮率を決定することを特徴とする。

請求項３の発明では、請求項２の発明において、前記表示様式として、前記表示制御装置は、前記表示装置の画面内での利用者の画像を前記ハーフミラーに映る利用者の鏡像と同じ高さ寸法とする表示を行うことを特徴とする。

請求項４の発明では、請求項１〜３のいずれかの発明において、前記撮像装置は、前記ハーフミラーに正対する利用者の左右の両側方に配置されることを特徴とする。

請求項５の発明では、請求項４の発明において、前記表示制御装置は、前記表示装置の画面内に前記撮像装置により撮像した画像を表示するにあたり、利用者の左側方に配置した撮像装置により撮像した画像を左右反転させて前記ハーフミラーに映る利用者の鏡像の左側方に表示するとともに、利用者の右側方に配置した撮像装置により撮像した画像を左右反転させて前記ハーフミラーに映る利用者の鏡像の右側方に表示することを特徴とする。

請求項６の発明では、請求項１〜３のいずれかの発明において、前記撮像装置は、前記ハーフミラーに正対する利用者の左右の少なくとも一側方と利用者の後方とに配置されることを特徴とする。

請求項７の発明では、請求項６の発明において、前記表示制御装置は、前記表示装置の画面内に前記撮像装置により撮像した画像を表示するにあたり、利用者の側方に配置した撮像装置により撮像した画像を左右反転させて前記ハーフミラーに映る利用者の鏡像に対して撮像装置と同側方に表示することを特徴とする。

請求項８の発明では、請求項１〜７のいずれかの発明において、前記表示制御装置は、姿勢や動きを表現している映像であって利用者の鏡像と利用者の画像との少なくとも一方と同じ向きのコンテンツ映像を、利用者の画像とともに前記表示装置の画面に表示することを特徴とする。

請求項９の発明では、請求項８の発明において、前記表示制御装置は、コンテンツ映像を、当該コンテンツ映像と同じ向きである利用者の鏡像と利用者の画像との少なくとも一方と重ねて前記表示装置の画面に表示することを特徴とする。

請求項１０の発明では、請求項８の発明において、前記表示制御装置は、利用者の画像と当該画像と同じ向きのコンテンツ映像とを前記表示装置の画面に並べて表示することを特徴とする。

請求項１１の発明では、請求項１０の発明において、前記表示制御装置は、利用者の画像と当該画像と同じ向きのコンテンツ画像とを前記表示装置の画面において上下に並べて表示することを特徴とする。

請求項１２の発明では、請求項９〜１１のいずれかの発明において、前記表示制御装置は、利用者の画像とコンテンツ映像とを利用者の鏡像よりも小さいサイズで前記表示装置の画面に表示することを特徴とする。

請求項１３の発明では、請求項９〜１１のいずれかの発明において、前記表示制御装置は、利用者の画像とコンテンツ映像とを利用者の鏡像と同じサイズで前記表示装置の画面に表示することを特徴とする。

請求項１４の発明では、請求項１〜１３のいずれかの発明において、前記表示制御装置は、前記表示装置の画面において望ましい姿勢の基準を示す基準線を利用者の画像に重ねて表示することを特徴とする。

請求項１５の発明では、請求項１４の発明において、前記撮像装置により撮像した利用者の側方の画像から利用者の耳、肩、腰骨、踝の４点の位置を抽出する画像認識部を有し、前記表示制御装置は、画像認識部により抽出した４点を通る姿勢線を前記基準線とともに前記表示装置の画面に表示することを特徴とする。

請求項１の発明の構成によれば、利用者の全身を映すハーフミラーの背面に表示装置を設け、ハーフミラーとは異なる向きから撮像した利用者の全身の画像を表示装置に表示し、かつ表示装置の画像が利用者の鏡像と重ならないように表示するから、利用者の複数の向きの姿を同時に視認することが可能になる。その結果、たとえば、着衣の不具合の有無を容易に確認することが可能になり、またヨガのような運動に際してポーズを多角的に確認することが可能になる。

請求項２の発明の構成によれば、表示装置の画面への利用者の表示の仕方に応じて利用者の身長から決定される拡縮率で、表示装置の画面に表示する利用者の画像のサイズを決めるから、表示装置の画面において利用者の画像を適正なサイズで表示することが可能になる。

請求項３の発明の構成によれば、表示装置の画面に映る利用者の画像の高さ寸法をハーフミラーに映る利用者の鏡像と同じ高さ寸法とするから、利用者の姿をあたかも正面図と側面図との関係や正面図と背面図との関係のようにしてハーフミラーの前面に表示することができ、利用者の姿を見やすい形で提示することができる。

請求項４の発明の構成によれば、利用者の左右の両側の画像と利用者の正面の鏡像とを同時に視認することができるから、利用者は普通の鏡を用いた場合には首を回さなければ確認することができない側面の姿を正面の姿と同時に確認することができ、姿勢を崩すことなく姿勢の確認を多角的に行うことが可能になる。

請求項５の発明の構成によれば、利用者の左右の側面の画像を利用者の鏡像の左右にそれぞれ配置し、しかも各画像の左右を反転させているから、左右の画像は鏡像側から見た左右に一致することになる。つまり、利用者の鏡像は利用者から見て左右が反転しているから、画像についても左右を反転させることによって、画像の左右を鏡像の左右に一致させることになり、結果的に左右の画像を違和感なく表示することが可能になる。

請求項６の発明の構成によれば、利用者の左右の少なくとも一方と利用者の後方との画像を利用者の正面の鏡像と同時に視認することができるから、利用者は普通の鏡を用いた場合に首を回さなければ確認することができない側面の姿と後姿とを正面の姿と同時に確認することができ、姿勢を崩すことなく姿勢の確認を多角的に行うことが可能になる。

請求項７の発明の構成によれば、利用者の左右の少なくとも一方の側面の画像を利用者の鏡像の側方に配置し、しかも当該画像の左右を反転させているから、鏡像の側方に表示される画像は鏡像側から見た左右に一致することになる。つまり、利用者の鏡像は利用者から見て左右が反転しているから、側方に表示する画像についても左右を反転させることによって、画像の左右を鏡像の左右に一致させることになり、結果的に左右の画像を違和感なく表示することが可能になる。

請求項８の発明の構成によれば、特定の姿勢や特定の動きを表現したコンテンツ映像、たとえば、着物の着付けやヨガのポーズやダンスのステップなどの映像を表示装置に表示すれば、実際のインストラクタに指導を受けている場合と同様に、姿勢を多角的に認識して姿勢や動きの修得が容易になる。しかも、利用者自身の姿勢とコンテンツ映像により示された姿勢とを同時に確認することができるから、姿勢や動きの比較が容易になり、この種の姿勢や動きの修得のための訓練装置として高い効果が期待できる。とくに、利用者の鏡像と利用者の画像との少なくとも一方と同じ向きで、姿勢や動きを表現しているコンテンツ映像を表示するから、利用者の姿勢や動きとコンテンツ映像の姿勢や動きとの比較を直感的に行うことができる。

請求項９の発明の構成によれば、コンテンツ映像を利用者の鏡像と画像との少なくとも一方と重ねて表示しているから、両者の比較が容易になり、姿勢や動きの修得が容易になる。

請求項１０の発明の構成によれば、コンテンツ映像の向きが利用者の画像の向きと一致し、しかも両者が並べて表示されるから、姿勢や動きの比較が非常に容易になり、姿勢や動きの修得が容易になる。

請求項１１の発明の構成によれば、利用者の画像とコンテンツ映像とを上下に配置しているから、表示装置の限られた幅の画面内において、利用者の画像とコンテンツ画像とを並べて表示することが可能になる。

請求項１２の発明の構成によれば、コンテンツ映像と利用者の画像とを利用者の鏡像よりも小さいサイズで表示するから、表示装置の画面の限られた面積内で多くの情報を表示して多角的な比較が可能になる。

請求項１３の発明の構成によれば、コンテンツ映像と利用者の画像とを利用者の鏡像と同じサイズで表示するから、コンテンツ映像および利用者の画像が見やすくなる上に、利用者自身の画像が小さく表示されることによる違和感を抑制することができる。

請求項１４の発明の構成によれば、利用者の画像に望ましい姿勢の基準を示す基準線を重ねて表示するから、姿勢の歪みの有無を簡単に確認することができる。

請求項１５の発明の構成によれば、利用者の側方の画像において耳、肩、腰骨、踝の４点の位置を通る姿勢線と、望ましい姿勢の基準を示す基準線とを表示装置の画面に表示するから、基準線と姿勢線との比較により利用者の姿勢の歪みを簡単に確認することができる。

（実施形態１）
本実施形態は、図１に示すように、室内の壁面などの定位置に固定されるハーフミラー１と、ハーフミラー１に対して利用者Ｈ側とは反対側の空間に配置される表示装置２とを備え、さらにハーフミラー１に対して利用者Ｈ側の空間には左右２台のＴＶカメラからなる撮像装置３ａ，３ｂが配置される。表示装置２および撮像装置３ａ，３ｂはカラー画像を扱うものが望ましい。以下では、ハーフミラー１について表示装置２の画面との対向面を後面とする。

本実施形態で用いる表示装置２は、プラズマディスプレイ、バックライト付き液晶ディスプレイ、有機ＥＬディスプレイのような自発光型のフラットパネルディスプレイであり、表示装置２の画面に隙間なく重ねてハーフミラー１が配置される。ただし、表示装置２として、フラットパネルディスプレイに代えてハーフミラー１の後面にスクリーンを積層し、当該スクリーンの後方からプロジェクタによる投影を行う構成を採用してもよい。このスクリーンには拡散透過性を有するものを用いる。

ハーフミラー１は入射光線束の一部を反射し一部を透過させる反射鏡であり、表示装置２の画面上の表示はハーフミラー１を通して前面側から視認することが可能になる。ただし、表示装置２の画面上に表示がなされていない領域は、ハーフミラー１の後面側が前面側よりも暗くなるから、ハーフミラー１の前面側が鏡として機能する。すなわち、ハーフミラー１は、利用者Ｈを映して利用者Ｈに鏡像を見せる鏡として用いることができるだけでなく、表示装置２の表示内容を利用者Ｈに見せることも可能になっている。

ハーフミラー１と表示装置２との積層物は、利用者Ｈ側の空間を室内空間とする場合に、表示装置２の後面を壁面に当接させるか、表示装置２の後部を壁内に埋め込む形で取り付けられる。なお、壁面からハーフミラー１の前面までの距離は小さくすることが好ましい。

各撮像装置３ａ，３ｂは、たとえば、ＣＣＤイメージセンサあるいはＭＯＳイメージセンサを用いて構成されており、利用者Ｈがハーフミラー１に正対したときに、左右の両側方から利用者Ｈを撮像することができるように配置される。以下に説明する実施形態では、利用者Ｈが本装置を利用する際の空間領域はあらかじめ定められているものとする。すなわち、ハーフミラー１の前方における距離範囲と、左右の撮像装置３ａ，３ｂからの距離範囲とにより利用者Ｈが存在可能な空間領域が定められる。これらの距離範囲は、両撮像装置３ａ，３ｂの視野内において利用者Ｈの全身が撮像される範囲として定められる。利用者Ｈの存在可能な空間領域を示す場合には、床面に適宜のマークを表記しておく。

ただし、撮像装置３ａ，３ｂが画角を変更したり焦点を調節したりすることができる構成であれば、撮像装置３ａ，３ｂから利用者Ｈまでの距離等に応じて利用者Ｈの存在する位置を検出することにより、撮像装置３ａ，３ｂの画角や焦点を自動的に調節する構成を採用してもよい。また、左右の各撮像装置３ａ，３ｂについても、ハーフミラー１の前面からの距離を調節可能（つまり、撮像装置３ａ，３ｂが移動可能）としてもよい。この構成を採用すれば、利用者Ｈが本装置を利用できる空間領域の範囲を広げることが可能である。

撮像装置３ａ，３ｂにより撮像された画像は、表示制御装置４に入力される。表示制御装置４は、撮像装置３ａ，３ｂが撮像した画像から少なくとも利用者Ｈの全身を含む画像を抽出する表示領域抽出部４１が設けられる。表示領域抽出部４１により抽出された利用者Ｈの画像は、以下に説明する画像処理が施されることにより向き、サイズ、表示位置が決定された後に表示装置２に表示される。表示装置２の中での画像の表示位置は、利用者Ｈが利用する空間領域からハーフミラー１を見たときに、利用者Ｈの鏡像に重ならない位置が選択される。

したがって、表示装置２の画面内において利用者Ｈの正面の鏡像とともに、利用者Ｈの左右の画像が表示されるから、ハーフミラー１に正対する利用者Ｈは首を回すことなく自身の正面と側面とを同時に視認することが可能になり、服装の確認などを行う姿見として利便性が高くなる。

表示制御装置４には、撮像装置３ａ，３ｂにより撮像した画像内から表示装置２に表示する画像を抽出する表示領域抽出部４１のほか、抽出した領域内で画像の左右を反転させることにより画像の向きを違和感のない自然な向きに調節する左右反転部４２と、画像が表示装置２の画面内で適正な大きさで表示されるように画像のサイズを調節する拡縮率決定部４３と、画像が表示装置２の画面内で適正な位置に表示されるように画像の位置を調節する表示位置決定部４４とが設けられる。

なお、表示制御装置４は、実際にはパーソナルコンピュータのようなコンピュータに、撮像装置３ａ，３ｂからの画像信号を取り込むハードウェアを設けるとともに、以下に説明する処理を行うプログラムをコンピュータで実行することにより実現される。ただし、汎用のコンピュータではなく専用装置として構成してもよい。また、表示制御装置４には、実際にはアナログ−デジタル変換を行うＡ／Ｄ変換回路や、デジタルデータとしての画像に各種処理を施す際の作業用のメモリなどの構成が必要であるが、これらの構成は画像処理技術において周知であるので、以下の説明ではプログラムにより実現される各部の機能について説明する。

撮像装置３ａ，３ｂにより撮像された画像には、利用者Ｈ以外の領域が含まれているから、そのまま表示装置２に表示したのでは表示装置２の画面内に不要な情報が表示される上に、利用者Ｈの画像が占める面積が小さくなり、直感的にわかりにくい画像になる。したがって、撮像装置３ａ，３ｂにより撮像された画像から画像認識技術を用いて画像内における利用者Ｈの存在範囲にほぼ一致する存在領域Ｄｅを抽出する。

ここで用いる画像認識技術としては、たとえば、あらかじめ背景画像を撮像しておき、利用者Ｈを撮像したときの画像との差分画像（画素ごとに画素値の差分を求めた画像）を用いることが考えられる。すなわち、差分画像において画素値の差分が規定値以上、かつ規定値以上の画素の連結領域（８近傍の画素のいずれかの画素が同じ条件を満たしている画素の集合）に含まれる画素数が規定個以上である領域を求め、当該領域を利用者Ｈが占める領域の候補とし、その領域に外接する矩形領域（画像の水平方向と垂直方向との辺を持つ矩形）を利用者Ｈの存在領域Ｄｅとして抽出するのである。もちろん、この方法は一例であって、人体の側面形状を認識する技術を用いて存在領域Ｄｅを決定するなどの他の技術を用いてもよい。

表示領域抽出部４１において抽出した画像は、利用者Ｈの左右の各側面の画像であり、利用者Ｈの左側の撮像装置３ａから利用者Ｈを見たときには左側が利用者Ｈの前側が左側になり、利用者Ｈの右側の撮像装置３ｂから利用者Ｈを見たときには右側が利用者Ｈの前側になる。したがって、表示装置２の画面内において、図２（ａ）に示すように、左側の撮像装置３ａで撮像した画像Ｉｇ′を利用者Ｈの鏡像の左側に表示し、右側の撮像装置３ｂで撮像した画像Ｉｄ′を利用者Ｈの鏡像の右側に表示するとすれば、左右の画像Ｉｇ′，Ｉｄ′は背中合わせの画像になる。また、利用者Ｈの鏡像から見たときに、鏡像の右側（利用者Ｈから向かって左側）の画像Ｉｇ′が左側面の画像を示すことになり、鏡像の左側の画像Ｉｄ′が右側面の画像を示すことになって不自然感ないしは違和感が生じる。

そこで、本実施形態では、図１に示すように、左右反転部４２を設けることにより、図２（ｂ）のように、各画像Ｉｇ′，Ｉｄ′の左右をそれぞれ反転させている。つまり、図３に示すように、左側の撮像装置３ａで撮像した画像Ｉｇ′から抽出した存在領域Ｄｅの左右を反転させた画像Ｉｇを利用者Ｈから向かって利用者Ｈの鏡像Ｉｍの左側に表示し、右側の撮像装置３ｂで撮像した画像Ｉｄ′から抽出した存在領域Ｄｅの左右を反転させた画像Ｉｄを利用者Ｈから向かって利用者Ｈの鏡像Ｉｍの右側に表示する。

上述したように、利用者Ｈの左右の撮像装置３ａ，３ｂにより撮像した画像から存在領域Ｄｅを抽出し、抽出した存在領域Ｄｅの中で画像の左右を反転させているから、表示装置２の画面において利用者Ｈの鏡像Ｉｍを挟んで表示される左右の画像Ｉｇ，Ｉｄは互いに向かうことになる。その結果、左右の画像Ｉｇ，Ｉｄは鏡像Ｉｍと左右が一致することになり、左右の画像Ｉｇ，Ｉｄについて違和感のない表示が可能になる。

ところで、利用者Ｈの鏡像Ｉｍに対して左右に画像Ｉｇ，Ｉｄを配置する際に、利用者Ｈから見たときの画像Ｉｇ，Ｉｄの大きさが鏡像Ｉｍのサイズ（高さ寸法）と同サイズであるほうが、サイズが異なっている場合に比較して違和感が少ない。しかも、表示装置２の表示面積には制限があるから、画像Ｉｇ，Ｉｄが鏡像Ｉｍよりも大きい面積を占めることは好ましくない。

ここで、上述したように利用者Ｈの存在可能な空間領域は制限されているから、撮像装置３ａ，３ｂにより撮像される画像内での利用者の倍率の範囲はほぼ一定とみなすことができる。このことを利用すれば、撮像装置３ａ，３ｂにより撮像した画像のサイズに基づいて、利用者Ｈから見たときの鏡像Ｉｍのサイズを推算することが可能である。そこで、利用者Ｈから見た鏡像Ｉｍのサイズにほぼ一致するサイズで表示装置２の画面に画像Ｉｇ，Ｉｄが表示されるように、推算した画像のサイズに基づいて撮像装置３ａ，３ｂにより撮像した画像の拡縮率を決定する。

もっとも、撮像装置３ａ，３ｂの画角は広角になるから、実際には利用者Ｈの位置がわずかに変化するだけで倍率が大きく変化する可能性がある。そこで、利用者Ｈの身長をパラメータに用いることが望ましい。利用者Ｈの身長がわかっていれば、撮像装置３ａ，３ｂにより撮像した画像のサイズに基づいて倍率を推算することができ、推算した倍率から利用者Ｈの位置を推定し、結果的に利用者Ｈから見た鏡像Ｉｍの大きさを求めて画像Ｉｇ，Ｉｄの拡縮率を幾何学的に決定することができる。

利用者Ｈの身長については、図１に示すように、身長入力部４８を設け、利用者Ｈに身長を申告させればよい。具体的には、コンピュータに付設したキーボードやマウスを用いて身長を対話的に入力すればよい。また、身長入力部４８として、画素値が距離値となる距離画像を生成する距離画像センサ（ステレオ画像法やタイムオブフライト法を用いる周知の距離画像センサ）を用い、計測した距離値と距離画像内での画素位置と距離画像センサにおける光学系の寸法との関係に基づいて幾何学的演算により身長を算出する装置を用いてもよい。

上述のようにして画像Ｉｇ，Ｉｄの拡縮率を決定し、利用者Ｈの鏡像Ｉｍのサイズにほぼ一致させることにより、鏡像Ｉｍとともに画像Ｉｇ，Ｉｄについても鏡に映して見ているかのように見せることになり、利用者Ｈにとって違和感のない表示が可能になる。

表示装置２の画面において画像Ｉｇ，Ｉｄを表示する位置は、利用者Ｈから見た鏡像Ｉｍの位置に重ならない位置とする。画像Ｉｇ，Ｉｄを表示する位置の調節は、表示制御装置４に設けた表示位置決定部４４により行われる。表示位置決定部４４は、利用者Ｈの存在可能な空間領域に基づいて、利用者Ｈの鏡像Ｉｍが利用者から見える範囲を推定し、鏡像Ｉｍの左右に画像Ｉｇ，Ｉｄが配置されるように画像Ｉｇ，Ｉｄの表示位置を決定する。また、画像Ｉｇ，Ｉｄは、利用者Ｈの鏡像Ｉｍと足の位置が一致し、かつ鏡像Ｉｍを挟んで左右対称に配置することが望ましい（図３参照）。

ただし、簡易的には利用者Ｈの存在する空間領域を固定的に規定しておき、この空間領域から見える鏡像Ｉｍに対して画像Ｉｇ，Ｉｄの表示位置を決定するようにしてもよい。この方法は簡易的ではあるが、処理負荷を軽減することができ、しかも違和感の少ない実用レベルの表示が可能である。

上述の構成によって、利用者Ｈは、正面の鏡像Ｉｍと左右の画像Ｉｇ，Ｉｄとを同時に視認することができるから、あたかも正面図と左右の側面図との関係のように認識することができ、利用者Ｈは自身の姿を見やすい形で確認することができる。したがって、着衣の不具合の有無を確認したり、ヨガのポーズを多角的に確認したり、野球のバットやテニスのラケットやゴルフのクラブなどの素振りのフォームを多角的に確認したりすることが可能になる。

他の用途としては、利用者Ｈの側面の姿を確認することができることを利用して姿勢を確認することが可能である。図４に示す例は、望ましい姿勢の基準を示す基準線Ｌｂを利用者Ｈの画像に重ねて表示した例を示すものである。この画像における利用者Ｈは左を向いているから鏡像Ｉｍの右側に表示される。基準線Ｌｂは利用者Ｈの耳と踝とを結ぶ直線であり、耳の位置と踝の位置とは画像認識技術（人体の形状から位置を推定する）を用いて抽出される。

上述のように、利用者Ｈの画像Ｉｄに基準線Ｌｂを重ねて表示するだけでも利用者Ｈは自身の姿勢を知ることが可能であるが、さらに姿勢を評価しやすくなるように、耳と踝とのほかに肩と腰骨の位置を抽出し、これらの４点を順に滑らかに結ぶように近似した曲線を姿勢線Ｌｓとして用い、基準線Ｌｂと姿勢線Ｌｓとを同時に表示してもよい。この場合、基準線Ｌｂと姿勢線Ｌｓとは色または形状を異ならせて表示する。

すなわち、表示制御装置４は、撮像装置３ａ，３ｂ（本実施形態では撮像装置３ｂ）により撮像した画像から上述した利用者Ｈの４箇所の部位（耳、肩、腰骨、踝）を抽出する部位認識部４６を備え、部位認識部４６で抽出した耳と踝との位置に基づいて基準線生成部４５において基準線Ｌｂを生成する。また、部位認識部４６で抽出した耳と肩と腰骨と踝との位置に基づいて姿勢線生成部４７において姿勢線Ｌｓを生成する。基準線Ｌｂおよび姿勢線Ｌｓの座標位置は、表示位置決定部４４に入力され、表示装置２に表示する画像内での表示位置が決定される。

基準線Ｌｂは理想的な姿勢を示し、姿勢線Ｌｓは実際の姿勢を示すから、利用者Ｈは基準線Ｌｂと姿勢線Ｌｓとにより自身の姿勢を簡単に評価することができる。したがって、利用者Ｈは本装置を日常的に利用することにより、よい姿勢が意識付けられることになる。一般に、このような姿勢の評価を客観的かつ手軽に評価する装置は提供されていないから、本装置を用いることによって、よい姿勢の獲得に貢献することが期待できる。

（実施形態２）
実施形態１では、表示装置２には撮像装置３ａ，３ｂにより撮像した画像Ｉｇ，Ｉｄのみを表示しているが、表示装置２に表示可能な情報にとくに制限はないから、テレビジョン受信機やＤＶＤプレイヤのようなビデオ機器から出力される画像あるいはインターネットを通して取得した画像などの表示も可能である。撮像装置３ａ，３ｂを除いて表示装置２に表示する画像を表示制御装置４に与える信号をまとめて以下では外部信号と呼ぶことにする。

この種の外部信号による映像としては、天気予報やニュースのような映像を用いることができるが、姿見装置としては、特定の姿勢や特定の動きを表現した映像を表示するのが望ましい。以下では、この種の映像をコンテンツ映像と呼ぶ。

たとえば、着物の着付けやヨガのポーズやダンスのステップなどについて手本の姿勢や動きを示す人物が写ったコンテンツ映像を表示装置２に表示することにより、インストラクタに指導を受けているかのように、姿勢を多角的に見ることによって、姿勢や動きの修得に寄与することができる。この場合、利用者Ｈの鏡像Ｉｍや画像Ｉｇ，Ｉｄに並べて手本となるコンテンツ映像を表示すれば、利用者Ｈと手本とを同時に視認して姿勢や動きの比較が容易になり、結果的にこの種の姿勢や動きの修得のための訓練装置として高い効果が期待できる。

外部信号により与えられるコンテンツ映像は、拡縮率決定部４３において利用者Ｈの画像Ｉｇ，Ｉｄと同じサイズになるように拡縮率が決定される。また、コンテンツ映像は、表示位置決定部４４において利用者Ｈの鏡像Ｉｍや画像Ｉｇ，Ｉｄとの位置関係が決定される。図５に示すコンテンツ映像Ｃｇ，Ｃｄは利用者Ｈの側面の画像Ｉｇ，Ｉｄに対応しており、側面の画像Ｉｇ，Ｉｄと同じサイズに調節されている。したがって、コンテンツ映像Ｃｇ，Ｃｄと利用者Ｈの画像Ｉｇ，Ｉｄの比較が容易になる。

図５（ａ）では利用者Ｈの各画像Ｉｇ，Ｉｄと、各画像Ｉｇ，Ｉｄに対応するコンテンツ映像Ｃｇ，Ｃｄとをそれぞれ上下に配列した例を示し、図５（ｂ）では利用者Ｈの各画像Ｉｇ，Ｉｄと、各画像Ｉｇ，Ｉｄに対応するコンテンツ映像Ｃｇ，Ｃｄとをそれぞれ左右に配列した例を示している。コンテンツ映像Ｃｇ，Ｃｄにおける人物の向きは、対応する利用者Ｈの画像Ｉｇ，Ｉｄの向きに合わせてある。このように、利用者Ｈの画像Ｉｇ，Ｉｄと対応するコンテンツ映像Ｃｇ，Ｃｄを並べて表示することにより、両者の比較が容易になり、しかも複数方向について多角的に表示しているから、利用者Ｈの姿勢や動きとコンテンツ映像Ｃｇ，Ｃｄとして表示される人物の姿勢や動きとの比較を直感的に行うことができる。

図５においては、利用者Ｈの画像Ｉｇ，Ｉｄをコンテンツ映像Ｃｇ，Ｃｄよりも利用者Ｈの鏡像Ｉｍよりも小さいサイズで表示装置２の画面に表示している。したがって、表示装置２の画面の限られた面積内で多くの情報を表示して多角的な比較が可能になる。

また、図示例では、利用者Ｈの鏡像Ｉｍに対応するコンテンツ映像を示していないが、コンテンツ映像を利用者の鏡像Ｉｍに対応付ける場合には、鏡像Ｉｍに重なる位置にコンテンツ映像を表示すれば、コンテンツ映像と姿勢や動きを合わせるのが容易になる。この場合は、利用者Ｈの鏡像Ｉｍと同じサイズに見えるようにコンテンツ映像の拡縮率を調節するのが望ましい。

ところで、コンテンツ映像を鏡像Ｉｍに重ねるにあたって、上述のように、床面に表記したマークなどによって利用者Ｈが存在可能な空間領域が定められ、かつ利用者Ｈが立った姿勢であるときには、コンテンツ映像の拡縮率は、利用者Ｈの身長により決めることができ、またコンテンツ映像の表示位置は、利用者Ｈの身長から推定される利用者Ｈの目の高さ位置から決めることができる。つまり、身長入力部４８を用いて表示制御装置４に利用者Ｈの身長を与えることで、表示装置２に表示されるコンテンツ映像を利用者Ｈの鏡像Ｉｍに重複させることが可能になる。

一方、利用者Ｈの姿勢が変われば、ハーフミラー１の表面に沿う面内において利用者の目の位置も変わるから、目の位置に合わせてコンテンツ映像を表示する位置も変えることが必要になる。この場合は、利用者Ｈの３次元位置を検出する画像センサ（三角測量法、ステレオ画像法、タイムオブフライト法の原理を用いた画像センサ）を用いて利用者の頭部の位置を検出するとともに、画像認識の技術を用いて目の位置を推定することにより、コンテンツ映像の拡縮率および表示位置を決める。ただし、目の高さ位置の時間変化率が大きい場合には、コンテンツ映像の位置合わせの処理負荷が大きくなるから、この種のコンテンツ映像は、鏡像Ｉｍと重ねずに表示装置２に表示するのが望ましい。

上述した例では、利用者Ｈが存在可能な空間領域を定めているが、利用者Ｈがハーフミラー１を配置している場所において比較的自由な移動を可能とする場合には、上述した画像センサなどにより利用者Ｈの位置を検出するとともに、画像認識の技術により利用者の姿勢を判断することで、コンテンツ映像の拡縮率と表示位置とを調節するのが望ましい。他の構成および動作は実施形態１と同様である。

（実施形態３）
上述した実施形態では、撮像装置３ａ，３ｂを利用者Ｈの左右に１台ずつ配置しているが、たとえば部屋が狭い場合のように撮像装置３ａ，３ｂの画角が極端に大きくなるときには、利用者Ｈの画像Ｉｇ，Ｉｄに歪みが生じる。画像Ｉｇ，Ｉｄの歪みは画像処理によって補正することが可能ではあるが、処理負荷が大きくなるから、図６に示すように、撮像装置３ａに代えて複数台の撮像装置３ａａ，３ａｂを上下に離間して配置するとともに、撮像装置３ｂに代えて複数台の撮像装置３ｂａ，３ｂｂを上下に離間して配置してもよい。

このような配置を採用すれば、２台の撮像装置３ａ，３ｂのみで利用者Ｈを撮像する場合に比較すると、各撮像装置３ａａ，３ａｂ，３ｂａ，３ｂｂの画角を小さくすることができる。この配置の場合は、利用者Ｈの左側の撮像装置３ａａ，３ａｂの画像を上下に連結することにより左側の画像Ｉｇを生成し、利用者Ｈの右側の撮像装置３ｂａ，３ｂｂの画像を上下に連結することにより右側の画像Ｉｄを生成する処理が必要である。ただし、広角の撮像装置３ａ，３ｂにより撮像した画像について歪みを補正する演算よりは処理負荷は少ない。

画像Ｉｇ，Ｉｄの生成後の処理は実施形態１、２と同様に行うことができる。すなわち、他の構成および動作は実施形態１、２と同様である。

（実施形態４）
上述の実施形態では、ハーフミラー１に正対する利用者Ｈの両側方に撮像装置３ａ，３ｂを配置した例を示したが、撮像装置３ａ，３ｂの配置については、とくに制限はなく、利用者Ｈの全身をハーフミラー１とは異なる向きから撮像することができるように少なくとも１台の撮像装置を配置すればよい。本実施形態は、図７にしめすように、利用者Ｈの左方に配置される撮像装置３ａと利用者の後方に配置される撮像装置３ｃとを設けたものである。

通常の鏡によって後ろ姿を見るには首を大きく回さなければならず、後ろ姿の確認を十分に行うことは難しいが、本実施形態のように、後ろ姿を撮像する撮像装置３ｃを設けることにより、後ろ姿の確認が容易になる。本実施形態の構成においても、側方の画像は実施形態１と同様に左右反転させて表示することが望ましい。他の構成および動作は実施形態１〜３と同様である。

本発明の実施形態を示し、（ａ）は概略構成図、（ｂ）は背面図である。 実施形態１の動作説明図である。 同上の表示例を示す動作説明図である。 同上における表示例を示す動作説明図である。 実施形態２における表示例を示す動作説明図である。 実施形態３を示す要部構成図である。 実施形態４を示し、（ａ）は平面図、（ｂ）は背面図である。

符号の説明

１ ハーフミラー
２ 表示装置
３ａ 撮像装置
３ｂ 撮像装置
３ｃ 撮像装置
４ 表示制御装置
４１ 表示領域抽出部
４２ 左右反転部
４３ 拡縮率決定部
４４ 表示位置決定部
４５ 基準線生成部
４６ 部位認識部
４７ 姿勢線生成部
Ｃｄ コンテンツ映像
Ｃｇ コンテンツ映像
Ｈ 利用者
Ｉｄ 画像
Ｉｇ 画像
Ｉｍ 鏡像
Ｌｂ 基準線
Ｌｓ 姿勢線

Claims (15)

1. 定位置に配設され利用者の全身を映すハーフミラーと、ハーフミラーに対して利用者側の空間に配置され利用者の全身をハーフミラーとは異なる向きから撮像する少なくとも１台の撮像装置と、ハーフミラーに対して利用者とは反対側の空間に配置され表示する画像をハーフミラーを通して利用者側の空間から視認可能とする表示装置と、撮像装置により撮像した画像のうち少なくとも利用者の全身を表示装置に表示し表示装置の画面上での利用者の表示位置をハーフミラーでの反射により表示される利用者の鏡像に重ならない位置に制御する表示制御装置とを備えることを特徴とする姿見装置。
2. 前記表示制御装置は、前記表示装置の画面内での利用者の画像の表示様式と利用者の身長とにより前記撮像装置で撮像した画像の拡縮率を決定することを特徴とする請求項１記載の姿見装置。
3. 前記表示制御装置は、前記表示様式として、前記表示装置の画面内での利用者の画像を前記ハーフミラーに映る利用者の鏡像と同じ高さ寸法とする表示を行うことを特徴とする請求項２記載の姿見装置。
4. 前記撮像装置は、前記ハーフミラーに正対する利用者の左右の両側方に配置されることを特徴とする請求項１〜３のいずれか１項に記載の姿見装置。
5. 前記表示制御装置は、前記表示装置の画面内に前記撮像装置により撮像した画像を表示するにあたり、利用者の左側方に配置した撮像装置により撮像した画像を左右反転させて前記ハーフミラーに映る利用者の鏡像の左側方に表示するとともに、利用者の右側方に配置した撮像装置により撮像した画像を左右反転させて前記ハーフミラーに映る利用者の鏡像の右側方に表示することを特徴とする請求項４記載の姿見装置。
6. 前記撮像装置は、前記ハーフミラーに正対する利用者の左右の少なくとも一側方と利用者の後方とに配置されることを特徴とする請求項１〜３のいずれか１項に記載の姿見装置。
7. 前記表示制御装置は、前記表示装置の画面内に前記撮像装置により撮像した画像を表示するにあたり、利用者の側方に配置した撮像装置により撮像した画像を左右反転させて前記ハーフミラーに映る利用者の鏡像に対して撮像装置と同側方に表示することを特徴とする請求項６記載の姿見装置。
8. 前記表示制御装置は、姿勢や動きを表現している映像であって利用者の鏡像と利用者の画像との少なくとも一方と同じ向きのコンテンツ映像を、利用者の画像とともに前記表示装置の画面に表示することを特徴とする請求項１〜７のいずれか１項に記載の姿見装置。
9. 前記表示制御装置は、コンテンツ映像を、当該コンテンツ映像と同じ向きである利用者の鏡像と利用者の画像との少なくとも一方と重ねて前記表示装置の画面に表示することを特徴とする請求項８記載の姿見装置。
10. 前記表示制御装置は、利用者の画像と当該画像と同じ向きのコンテンツ映像とを前記表示装置の画面に並べて表示することを特徴とする請求項８記載の姿見装置。
11. 前記表示制御装置は、利用者の画像と当該画像と同じ向きのコンテンツ画像とを前記表示装置の画面において上下に並べて表示することを特徴とする請求項１０記載の姿見装置。
12. 前記表示制御装置は、利用者の画像とコンテンツ映像とを利用者の鏡像よりも小さいサイズで前記表示装置の画面に表示することを特徴とする請求項９〜１１のいずれか１項に記載の姿見装置。
13. 前記表示制御装置は、利用者の画像とコンテンツ映像とを利用者の鏡像と同じサイズで前記表示装置の画面に表示することを特徴とする請求項９〜１１のいずれか１項に記載の姿見装置。
14. 前記表示制御装置は、前記表示装置の画面において望ましい姿勢の基準を示す基準線を利用者の画像に重ねて表示することを特徴とする請求項１〜１３のいずれか１項に記載の姿見装置。
15. 前記撮像装置により撮像した利用者の側方の画像から利用者の耳、肩、腰骨、踝の４点の位置を抽出する画像認識部を有し、前記表示制御装置は、画像認識部により抽出した４点を通る姿勢線を前記基準線とともに前記表示装置の画面に表示することを特徴とする請求項１４記載の姿見装置。

Images