JP2009277195A - 情報表示システム - Google Patents

Abstract

【課題】利用者の姿と表示面に表示される映像との間で対話的な動作を行うことによって、利用者に正しい姿勢や正しい動きを容易に修得させることを可能にする。
【解決手段】映像表示装置３は、ハーフミラー１２の背面側にプラズマディスプレイ１７を配置し、ハーフミラー１２の表面である表示面Ｐｄにおいてプラズマディスプレイ１７による映像を表示する。ハーフミラー１２の背面にはハーフミラー１２の前方に存在する人体を撮像するＴＶカメラ１４が配置される。着目部位抽出部３１はＴＶカメラ１４により撮像した画像から利用者の手部を抽出し、座標変換部３３では、利用者から見たときのハーフミラー１２に映る手部の位置について、表示面Ｐｄの上での座標位置を求める。映像生成部３７は、座標変換部３３で求めた座標位置が重なると規定の処理を実行するように処理と関係付けられた図像を生成して映像表示装置３に表示する。
【選択図】図１

Description

本発明は、映像が表示される表示面の前方で手などの位置指示物体を用いて処理の実行を指示する情報表示システムに関するものである。

従来から、コンピュータを用いた装置のユーザインターフェイスとして、ＧＵＩ（Graphical User Interface）が採用されている。ＧＵＩでは、ディスプレイ装置の画面にアイコンやウインドウのような図像を表示し、マウスやトラックパッドのようなポインティングデバイスを用い、図像を指定する操作を行うことにより図像に関係付けた処理を実行させたり、ポインティングデバイスの操作に関係付けた処理を実行させたりしている。

一方、最近ではゲーム機器において、身体の動きをディスプレイ装置の画面に表示された映像に反映させるシステムが考えられている。この種のシステムでは、身体の動きを検出する加速度センサやジャイロセンサのようなセンサを身に着け、センサで検出した身体の動きをディスプレイ装置の画面に表示される映像に反映させる構成が採用されている。

このシステムでは、卓上でポインティングデバイスを操作する場合に比較すると、身体を大きく動かして操作するから、身体の動作を促す操作を行わせることによって運動効果が期待できる。ただし、センサを手に持ったりベルトで身体に取り付けたりする必要があり、使用が煩わしいという問題がある。

この種の問題を解決する構成としては、テレビカメラにより利用者を撮影し、画像処理装置により利用者の立っている位置を検出するとともに利用者のジェスチャを認識するものが提供されている（たとえば、特許文献１参照）。
特開平１０−２５５０５２号公報

特許文献１に記載の技術では、利用者の身振りや手振りはディスプレイ装置の映像に反映されるが、利用者が自身の動きを確認することができないから、身体の動きが正しくない場合に動きを修正することができない。

本発明は上記事由に鑑みて為されたものであり、その目的は、利用者の特定の部位の動作を映像に反映させ、しかも利用者が自身の姿を鏡に映して動作を確認することを可能にし、利用者の姿と表示面に表示される映像との間で対話的な動作を行うことによって、利用者に正しい姿勢や正しい動きを容易に修得させることを可能にした情報表示システムを提供することにある。

請求項１の発明は、一面を表示面とするハーフミラーと、ハーフミラーの他面側に配置され映像を表示する映像表示装置と、ハーフミラーに対して前記一面側の空間に存在する人体を撮像する撮像装置と、撮像装置により撮像した画像から人体において着目する部位を抽出する着目部位抽出部と、画像に規定した撮像座標系において着目部位抽出部により抽出した部位の代表点の座標位置を求める座標位置算出部と、座標位置算出部で求めた座標位置に座標変換操作を施すことにより着目部位抽出部で抽出した部位の代表点についてハーフミラーの表示面に映っている位置を表示面に規定した表示座標系の座標位置として求める座標変換部と、座標変換部で求めた座標位置が重なると規定の処理を実行するように処理と関係付けられた図像を生成して映像表示装置に表示する映像生成部とを備えることを特徴とする。

請求項２の発明では、請求項１の発明において、前記映像生成部は、前記映像表示装置の表示面において前記座標変換部で求めた表示座標系の座標位置に、位置合わせのための指標を表示することを特徴とする。

請求項３の発明では、請求項２の発明において、前記座標変換部で求めた表示座標系における座標位置に与えるオフセットを調節するオフセット調節部を備え、前記映像生成部は、前記映像表示装置に表示される前記指標の位置をオフセット調節部で与えられるオフセットに応じて調節することを特徴とする。

請求項４の発明では、請求項１〜３のいずれかの発明において、前記ハーフミラーの前に配置され利用者が搭乗する搭乗台を有し搭乗台の上での利用者の前後左右における荷重の比率を検出するバランス検出装置と、バランス検出装置の出力により利用者の重心位置を算出する重心位置演算部と、重心位置演算部で求めた重心位置を示す指針映像を生成し前記映像生成部により生成される映像内に指針映像を重ねて前記映像表示装置に表示する指針映像生成部とを備えることを特徴とする。

請求項５の発明では、請求項４の発明において、前記指針映像生成部は、重心位置の移動軌跡を重心位置と併せて前記映像表示装置に表示することを特徴とする。

請求項６の発明では、請求項４又は５の発明において、重心位置の移動範囲に基づいて利用者のバランス機能を評価する評価部を備えることを特徴とする。

請求項７の発明では、請求項４〜６のいずれかの発明において、前記映像生成部は、搭乗台に搭乗している利用者の重心位置を目標位置に一致させる姿勢の目安となる姿勢目盛を前記映像表示装置に表示することを特徴とする。

請求項８の発明では、請求項１〜７のいずれかの発明において、前記映像生成部は着目する部位の位置に関係付けた図像を生成し、図像の位置を時間経過に伴って変化させることにより運動の規範を示すことを特徴とする。
前記着目部位抽出部は少なくとも手部を抽出し、前記映像生成部は手部の位置の時間変化により運動の規範を指示する図像を生成することを特徴とする。

請求項９の発明では、請求項８の発明において、前記映像生成部は、運動の規範を指示する図像として前記ハーフミラーの表示面に映る人体のサイズに合わせた図像を生成するとともに、表示面に映る人体に重なる位置に図像を表示することを特徴とする。

請求項１の発明の構成によれば、撮像装置により人体を撮像した画像内で人体における着目部位の代表点の座標位置を求め、この座標位置を用いてハーフミラーの表示面に映っている位置を表示面に規定した表示座標系の座標位置として求め、しかも座標変換部で求めた座標位置が重なると規定の処理を実行するように処理と関係付けられた図像を生成して映像表示装置に表示するから、人体における着目する部位をマウスのようなポインティングデバイスとして用い、図像（アイコンやウィンドウ）に関係付けた規定の処理を行う操作が可能になる。つまり、人体の適宜の部位を用いてコンピュータに指示を与えることが可能になる。また、映像を表示する映像表示装置の表示面をハーフミラーの一面としているから、利用者は自身の姿を鏡に映して動作や姿勢を確認することができ、利用者は自身の姿を見ながら表示面に表示される映像と対話的な動作を行うことによって、正しい姿勢や正しい動きを容易に修得することが可能になる。

請求項２の発明の構成によれば、位置合わせのための指標を映像表示装置に表示するから、座標変換部で求めた表示座標系における座標位置を指標により視認することで、ハーフミラーの前に立つ利用者から見たときにハーフミラーに映っている着目部位と映像表示装置に表示された指標の位置との誤差を容易に認識することができ、人体において着目する部位と表示座標系の座標位置との対応付けのための調節作業（校正作業）が容易になる。

請求項３の発明の構成によれば、利用者から見たときにハーフミラーに映っている着目部位と指標とが重なり合うようにオフセットを調節した後は、座標変換部で求めた表示座標系における座標位置にオフセットを適用することで、利用者がハーフミラーにおいて視認する着目部位について表示座標系の座標位置として求めることができるようになる。たとえば、映像表示装置に指標を表示しているときには、着目部位を移動させると指標が着目部位に重なった状態で追従して移動することになる。

請求項４の発明の構成によれば、利用者の前後左右の荷重の比率を映像表示装置の画面上に表示された指針映像により確認することができ、しかも利用者自身の姿がハーフミラーに映っているから、利用者は視覚によるフィードバックによって正しいバランスとなる立ち方を容易に修得することが可能になる。

請求項５の発明の構成によれば、利用者の重心位置の移動軌跡を映像表示装置に表示するから、利用者の前後左右の荷重の比率について時間変化を確認することができる。この情報は利用者の三半規管や脳機能などの異常の有無を推定する目安として用いることができる。

請求項６の発明の構成によれば、利用者の重心位置の移動軌跡を定量的に評価することができる。すなわち、移動範囲が小さいほどバランス機能が高いことがわかる。移動範囲の評価には、所定時間内の移動軌跡の長さを用いたり、移動軌跡が占める領域の面積を用いたり、移動軌跡において中心位置からの距離の最大値と最小値との差分を用いたりすることができる。

請求項７の発明の構成によれば、利用者に対して正しい立ち方の目安となる姿勢目盛を映像表示装置に表示するから、利用者は視覚によるフィードバックにより正しい姿勢を修得しやすくなる。

請求項８の発明の構成によれば、利用者の着目部位の位置を時間変化させる運動の規範となるように着目部位の位置を示す図像を移動させるから、利用者は図像に重ねて着目部位を移動させることによって、運動を正しく行うことが可能になり、結果的に運動により期待される所期の効果を得やすくなる。

請求項９の発明の構成によれば、映像表示装置の表示面に利用者と重なる図像を生成することによって、ハーフミラーに映る自身の姿と映像による運動の規範とが一致するように運動を行うことになるから、運動により期待される所期の効果を得やすくなる。

（実施形態１）
以下に説明する実施形態では、図１に示すように、姿見１として用いる鏡２に映像を表示する例を示す。鏡２にはハーフミラー１２の前面を用いる。また、ハーフミラー１２の背面には映像形成装置としてのプラズマディスプレイ１７が配置される。また、鏡２は、前に立つ利用者の少なくとも上半身が映る程度の大きさ（全身が映る大きさが望ましい）に形成される。

ハーフミラー１２とプラズマディスプレイ１７との位置決めには、たとえば、図２に示すように、板状であって略平行に配置されるミラー取付台４１およびディスプレイ取付台４２を用いる。図示例では、ミラー取付台４１の厚み方向の一面（前面）にハーフミラー１２を取り付けるとともに、ディスプレイ取付台４２の厚み方向の一面（前面）にプラズマディスプレイ１７を取り付ける構造を採用している。また、図示例では、ミラー取付台４１およびディスプレイ取付台４２を床面上に支持するために、それぞれの下端に各一対の足４３を取り付けている。

ハーフミラー１２は、ミラー取付台４１の前面に貼着される。図示例においては、ハーフミラー１２のサイズをミラー取付台４１の前面のサイズに略一致させているが、ハーフミラー１２のサイズは用途に応じて適宜に調節される。ミラー取付台４１には、後述する撮像装置としてのＴＶカメラ１４の配置位置に対応付けて露出孔（図示せず）が貫設される。すなわち、ＴＶカメラ１４がハーフミラー１２を通して鏡２の前に居る利用者を撮像することができるように、ミラー取付台４１の適宜の位置に露出孔が貫設される。

一方、プラズマディスプレイ１７は、ディスプレイ取付台４２の前面に固着した取付金具４４に取り付けられる。取付金具４４は、プラズマディスプレイ１７を壁面に取り付けるために提供されている既存のものを流用すればよい。

ところで、ミラー取付台４１にはプラズマディスプレイ１７の一部が挿入される切欠孔４５が厚み方向に貫通して設けられている。切欠孔４５は十字形に開口し、前面が長方形状であるプラズマディスプレイ１７を横長で取り付ける場合と縦長で取り付ける場合とのどちらにも対応可能としてある。すなわち、切欠孔４５は、プラズマディスプレイ１７の長手方向の寸法を一辺の長さとする正方形状の貫通孔の各角部に、プラズマディスプレイ１７の長手方向と短手方向の寸法差の２分の１の寸法を一辺の長さとする正方形状の突部をそれぞれ設けた形状に形成されている。

切欠孔４５にプラズマディスプレイ１７を挿入した状態では、プラズマディスプレイ１７の周部が切欠孔４５の周壁により保持される。したがって、横長で取り付けた場合にはプラズマディスプレイ１７の上下に隙間が形成され、縦長で取り付けた場合にはプラズマディスプレイ１７の左右に隙間が形成される。プラズマディスプレイ１７の背面とディスプレイ取付台４２との間には一対のスペーサ４６が配置され、プラズマディスプレイ１７が前後にがたつかないようにしてある。

上述した構成により、プラズマディスプレイ１７の画面に表示される映像をハーフミラー１２の前方から見ることが可能になる。また、プラズマディスプレイ１７を取付金具４４のみで支持する場合よりもプラズマディスプレイ１７を支持する強度を高めることができる。

上述の例では、切欠孔４５に挿入されるプラズマディスプレイ１７の前面をミラー取付台４１の前面と同一平面としておけば、ハーフミラー１２をミラー取付台４１の前面に貼着することによって、ハーフミラー１２がプラズマディスプレイ１７の前面にも密着するから、ハーフミラー１２をとくに補強しなくともハーフミラー１２の平面度を維持することができる。

ただし、プラズマディスプレイ１７の前面とミラー取付台４１の前面とを同一平面としない場合には、ハーフミラー１２の機械的強度を向上させ平面度を維持するために、ハーフミラー１２の基材（後述する）に厚み寸法の比較的大きい透明板を用いることが必要である。

本実施形態では、映像形成装置としてのプラズマディスプレイ１７と鏡２とにより映像表示装置３を構成している。映像表示装置３の前面は鏡２として利用できるだけではなく、プラズマディスプレイ１７により形成される映像を表示する表示面Ｐｄとしても機能する。すなわち、鏡２の前に利用者が居れば、表示面Ｐｄに利用者の像を写すとともに、プラズマディスプレイ１７により形成された映像を表示して利用者に提示することが可能になる。プラズマディスプレイ１７に表示する映像は、後述するようにコンピュータ３０を用いて形成する。

ハーフミラー１２の透過率は、ハーフミラー１２を鏡２として利用し、かつハーフミラー１２を通してプラズマディスプレイ１７に表示される映像を視認できるように設計される。ハーフミラー１２は、ガラスや合成樹脂の透明な基材の表面に金属膜などによる鏡面コーティングを形成したものであり、基材においてプラズマディスプレイ１７と対向する表面と、基材においてプラズマディスプレイ１７とは反対側の表面との少なくとも一方に鏡面コーティングを形成している。基材においてプラズマディスプレイ１７とは反対側の表面に鏡面コーティングを形成した場合には、プラズマディスプレイ１７から放射された光の透過率が高く、かつ前面の反射率が高いハーフミラー１２として機能させることが期待できる。つまり、基材による光の吸収がないから、鏡２としての機能を向上すると考えられる。なお、基材においてプラズマディスプレイ１７とは反対側の表面に鏡面コーティングを形成する場合には、鏡面コーティングの表面を透明な保護膜で覆うのが望ましい。また、プラズマディスプレイ１７に表示された映像を高輝度で表示できるように、ハーフミラー１２とプラズマディスプレイ１７の画面との間には、屈折率を調節して反射を防止する透明材料を充填するのが望ましい。

上述のように、本実施形態では、映像表示装置３は、コンピュータ３０のディスプレイ装置として用いられる。映像表示装置３は、テレビジョンなどの画面として用いることもでき、その場合にはコンピュータ３０により生成される映像をスーパーインポーズにより重ねて表示し、コンピュータ３０によりテレビジョンのチャンネル選択などの操作を可能にする。コンピュータ３０のディスプレイ装置として用いているから、コンピュータ３０をインターネットのような広域網の端末として用いることが可能であり、この場合には鏡２に姿を映しながら天気予報やニュースの閲覧が可能になる。

姿見１の背面には利用者を撮像する撮像装置としてのＴＶカメラ１４が配置される。ＴＶカメラ１４は、１秒間に１０フレーム程度の動画像を撮像しており、動画像は、コンピュータ３０に設けた着目部位抽出部３１に入力される。本実施形態における着目部位抽出部３１では、画像認識技術により利用者の手部の位置を着目する部位として検出する場合を例示するが、着目部位抽出部３１において着目する部位は、利用者の手部に限らず頭部、膝部、足部などの位置を検出するようにしてもよい。着目する部位は１箇所だけではなく複数箇所であってもよい。

ここで、手部の位置を検出しているのは、手部をポインティングデバイスにおける位置指示の手段として用いるためである。たとえば、映像表示装置３の表示面Ｐｄに表示される図像（アイコンやウィンドウ）にカーソル（指標）を重ねる操作を手部によって行うには、ハーフミラー１２の前に居る利用者がハーフミラー１２に映る手部を認識している表示面Ｐｄ上の位置にカーソルを重ねて表示することが必要である。そうしなければ、カーソルの位置と手部の位置とにずれが生じて利用者に違和感が生じるからである。

利用者がハーフミラー１２に映る手部を見ているときには、図３に示すように、手部Ｉｍの鏡像Ｉｍ′と利用者の目Ｅの位置とを結ぶ直線の交点Ｃが表示面Ｐｄに交差する位置が、表示面Ｐｄ上で手部Ｉｍに重なる位置になる。したがって、撮像した画像内で手部の位置を検出したときに、ＴＶカメラ１４の画像について規定した撮像座標系における手部の座標位置から、表示面Ｐｄに規定した表示座標系の座標位置への変換を行うことが必要になる。

このような座標変換のために、着目部位抽出部３１で検出した手部の存在領域から、手部に関する代表点の座標位置を求める。手部の代表点の座標位置は座標位置算出部３２において算出され、たとえば重心位置の座標位置が代表点の座標位置として求められる。求めた座標位置は撮像座標系における座標位置であるから、手部の位置が変化せず、しかもＴＶカメラ１４と利用者の立つ位置との関係が固定されているとしても、利用者の身長に応じて目の位置が変化すれば、表示座標系における座標位置は変化する（つまり、図３における交点Ｃの位置は変化する）。そこで、手部の代表点について、撮像座標系の座標位置から表示座標系の座標位置への変換を行う座標変換部３３が必要になる。

座標変換部３３では、撮像座標系における手部の代表点の座標位置を映像表示装置３の表示面Ｐｄにおける表示座標系の座標位置に変換するにあたり、利用者がハーフミラー１２に映っている利用者の手部の位置として認識している位置を表示座標系の座標位置とする座標変換を行うから、両者の位置合わせのための校正作業が必要になる。校正作業にあたっては、手部の代表点の位置について、撮像座標系から表示座標系に変換する適宜の変換操作を施すことにより表示座標系での座標位置を求め、映像表示装置３の表示面Ｐｄにおける当該座標位置に適宜形状（たとえば、円形や十字形）の指標を表示する。このとき、利用者が手部を移動させると指標の位置も変化する。

ただし、利用者が視認している手部の位置（Ｘ，Ｙ）と指標の位置（ｘ、ｙ）とは、ずれている可能性があるから、座標変換部３３の上記変換操作に対して適宜のオフセット（Δｘ，Δｙ）を与えることによって、視認している手部の位置に指標が重なるように校正作業を行う。なお、Δｘ＝Ｘ−ｘ，Δｙ＝Ｙ−ｙであり、オフセット（Δｘ，Δｙ）は座標変換部３３とともに設けたオフセット調節部３４により調節可能になっている。オフセット調節部３４の操作は利用者とは異なる協力者が行うのが望ましい。図示例の配置では撮像座標系と表示座標系とは平行になっていないが、座標変換部３３では座標面の傾きを調節する変換操作を行っており、手部の位置がどのように移動しても、オフセット調節部３４で与えるオフセットを単純に加減算するだけで、視認している手部の位置に指標の位置が追従するようにしてある。

上述の構成により、表示面Ｐｄに適宜の図像を表示しておき、当該図像に実行すべき規定の処理を関係付けておけば、当該図像に座標変換部３３で求めた座標位置（つまり、利用者が視認している手部の位置）を重ねたときに、図像に関係付けた処理を実行させることが可能になる。つまり、利用者の手部をマウスと同様のポインティングデバイスとして用いることが可能になる。

以下では、上述した情報表示システムの利用例を説明する。図１に示す例は、利用者が搭乗する搭乗台４１を有したバランス検出装置４をハーフミラー１２の前の床Ｆに設置している。バランス検出装置４は、図４に示すように、搭乗台４１に作用する荷重を検出する３個以上の荷重センサ４２を備える。荷重センサ４２は、一直線上に並ばないように配置されており、互いにできるだけ離れるように配置される。

このバランス検出装置４を用いると、各荷重センサ４２にそれぞれ作用する荷重を求めることにより、搭乗台４１の上に立つ利用者の重心位置について前後左右における荷重の比率を求めることができる。つまり、利用者の身体が前後方向あるいは左右方向に傾いていなければ、前後方向と左右方向とのそれぞれにおいて荷重の比率が等しくなり重心位置が中心に位置するから、この状態を目標として、重心位置が中心に位置しないときに、どの程度のずれがあるかを知ることによって、利用者の身体の傾きや歪みを知ることができる。

バランス検出装置４の出力は、コンピュータ３０に設けたＡ／Ｄ変換器３５を介してデジタルデータに変換され、重心位置演算部３６において重心位置が算出される。すなわち、各荷重センサ４２により検出される荷重を用いて、前後方向における荷重の比率と左右方向における荷重の比率とから重心位置を求める。重心位置演算部３６において重心位置が算出されると指針映像生成部３７ａにおいて指針映像が生成される。本実施形態では、指針映像生成部３７ａを映像生成部３７の一機能として設けている。

映像生成部３７は映像表示装置３に表示する映像を生成する。上述したように映像表示装置３は、テレビジョンの画面として利用されたり、コンピュータ３０のディスプレイ装置として用いられたりするから、映像生成部３７は単に映像を生成するだけではなく、映像表示装置３の画面上に表示する映像について表示方法を制御する機能を有する。

指針映像は、たとえば、図５に示すように、複数個の同心円と十字とを組み合わせた指針目盛Ｌ１であって、指針目盛Ｌ１の中には重心位置の重心指標Ｍ１を表示するものであり、重心位置が指針目盛Ｌ１の中心に位置するときには十字の交点に重心指標Ｍ１が重なる形で表示される。指針目盛Ｌ１である指針映像は、映像表示装置３に表示される映像に重ねて表示される。すなわち、スーパーインポーズの技術により映像表示装置３に指針映像を表示する。

このような指針映像を示すことにより、利用者の上半身（図６のＨ参照）を鏡２に映していることとあいまって、利用者は自身のバランス機能を視覚的に把握し、この情報をフィードバックすることによって正しいバランスとなる立ち方を習得するのが容易になる。たとえば、左右のいずれかに傾いていることがわかれば、傾きを修正するように姿勢を修正することができ、そのときの上半身の姿を見ることによって、正しい姿勢を身に着けることができる。

指針映像においては、規定した時間分について重心指標Ｍ１（つまり、重心位置）の移動軌跡を重心位置と併せて表示することもできる。重心位置の移動軌跡を示すようにすれば、利用者の重心位置の時間変化を確認することによって、利用者のバランス能力の異常の有無の目安を得ることができる。すなわち、搭乗台４１に載った利用者の重心位置が規定した時間内に大きく変動しているときには、三半規管や脳機能になんらかの異常がある可能性を推定することができる。あるいはまた、重心位置の偏りやふらつきは、利用者の体調の善し悪しの目安としても用いることが可能である。

重心位置の移動軌跡によるバランス機能の評価を定量的に行うために、所定時間における移動軌跡が占める領域の面積、所定時間内の移動軌跡の長さ、所定時間における移動軌跡の基準位置からの最大距離と最小距離との差分などを用いてもよい。この評価は評価部３８において行う。評価部３８において重心位置の移動軌跡の変化の程度を定量的に評価することができるから、利用者のバランス機能について定量的な評価が可能になる。

正しい姿勢の目安を示すには、図６に示すように、重心位置が中心に位置するときの身体の位置を示す姿勢目盛Ｌ２を表示してもよい。姿勢目盛Ｌ２は、上下方向の中心線と身体の幅を示す左右方向の複数本の直線とにより示されている。姿勢目盛Ｌ２は、鏡２に映る利用者と重なるように設定され、利用者の体格にかかわらず利用できる程度の寸法で表示される。利用者は姿勢目盛Ｌ２に重なるように鏡２に身体を映すことによって、姿勢目盛Ｌ２からのずれの程度によって身体の歪みを知ることができる。つまり、正しい立ち方の目安が得られる。なお、姿勢目盛Ｌ２は指針映像生成部３７ａにより生成される。

次に、上述した情報表示システムを用いて利用者の運動を補助する例について説明する。図７（ａ）に示す例では、映像表示装置３の表示面Ｐｄにおける適宜の位置に図像として円形のマークＭ２を指標提示部３９により表示し、この表示位置を運動開始の位置としている。マークＭ２は手部を重ねるまでは点滅している。利用者がマークＭ２の位置に手部を重ねてから（表示面Ｐｄにおいて利用者が手部を視認する位置とマークＭ２の位置とを重ねる）、１秒が経過するとマークＭ２は運動の規範を示すように移動を開始する。

ここでは、図７（ｂ）のように、横向きにした８の字状に手部を大きく動かす運動を示しており、マークＭ２はこの運動の規範を示すために８の字状に移動する（つまり、マークＭ２の位置を時間変化させる）。また、手部の位置が正しい位置であるときと、手部の位置が正しくないときとで、マークＭ２の色が変化するようにしてある。したがって、利用者は手部をマークＭ２に追従させて正しい位置に置いているか否かをマークＭ２の色で確認することができるから、運動を正確に行うことが可能になる。すなわち、利用者はマークＭ２に重ねて手部を移動させることによって、運動を正しく行うことが可能になり、運動により期待される所期の効果が得られることになる。このように手部を８の字状に移動させることによる運動は８の字を４回描くことを１セットとしており、１セットごとに一旦終了する。

上述したように、利用者の体格による手部の位置の相違はオフセット調節部３４で調節するから、利用者の体格に関する情報をオフセット調節部３４から得ることができる。映像生成部３７ではオフセット調節部３４から利用者の体格の情報を得ることによって、運動の規範を示すマークＭ２の移動軌跡を利用者の体格に合わせて調節することができる。

上述の例では手部を規範に従って移動させる運動を示したが、全身を用いる運動であれば、映像生成部３７において規範となるインストラクタの図像を生成し、利用者の体格に合わせてインストラクタのサイズを調節するとともに、表示面Ｐｄにおいて利用者とインストラクタとが重なるように表示する。このような表示を行うと、ハーフミラー１２に映る自身の姿と映像による運動の規範（インストラクタ）とが一致するように運動を行うことが可能になり、運動により期待される所期の効果を得やすくなる。

さらにまた、立った状態で行う運動以外に、椅子などに着座した状態で腕ないし肩を伸ばす運動などを行うことができる。たとえば、図９に示すように、映像表示装置３の表示面Ｐｄにおいて複数箇所に円形状などの図像Ｍ３を表示しておき、手部を重ねる図像Ｍ３の位置を時間変化させるようにしてもよい。どの図像Ｍ３に手部を重ねるかは、図像Ｍ３の色を変化させることにより指定し、利用者は、指定された図像Ｍ３に表示面Ｐｄ内で手部が重なるように運動を行えばよい。腕や肩を伸ばした位置に図像Ｍ３を配置しておくことにより、腕や肩を伸ばして筋肉をほぐす運動が可能になり、また、図像Ｍ３の指定の速度を調節することにより敏捷性や導体視力を高める運動が可能になる。

なお、図８に示すように、映像表示装置３の表示面Ｐｄに、表示内容を選択する釦や運動の開始や停止を指示する釦などを図像Ｂとして表示しておき、これらの釦により映像表示装置３に表示する映像の内容を選択可能としておくのが望ましい。

本実施形態は、上述した利用形態のほか、日々の服装（コーディネイト）をＴＶカメラ１４により撮像して適宜の記憶装置に保存しておき、必要に応じて過去の服装を読み出して映像表示装置３の表示面Ｐｄに表示することも可能である。このような利用を可能とすれば、鏡２を姿見１として利用するほか、当日の服装を決める際に過去の服装を参考にするという利用も可能になる。

本実施形態では、映像形成装置としてプラズマディスプレイ１７を例示したが、現状技術ではプラズマディスプレイ１７に代えて他のフラットパネルディスプレイである液晶ディスプレイを用いることも可能である。また、有機ＥＬや電界放出形の固体電子線源を用いたフラットパネルディスプレイも大画面化すれば採用可能である。

（実施形態２）
実施形態１では、プラズマディスプレイ１７を映像形成装置に用いているが、本実施形態では、図１０に示すように、映像形成装置をプロジェクタ１０とスクリーンとにより構成する例を示す。プロジェクタ１０は、ハーフミラー１２の後方に配置される。鏡２は、機械的強度を保つための透明板１１と、透明板１１の一面に設けたハーフミラー１２と、透明板１１の他面に設けた拡散層１３とを備える。拡散層１３はプロジェクタ１０のスクリーンとして機能する。

透明板１１とハーフミラー１２と拡散層１３とは別部材を積層して形成することができる。また、透明板１１の一面に蒸着により金属膜を形成することによりハーフミラー１２として機能させることができる。拡散層１３は、透明板１１の他面に拡散透過性を付与する材料を塗布したり透明板１１の他面を研磨等により粗面化することにより形成してもよい。

本実施形態では、映像形成装置としてプロジェクタ１０とスクリーンとを用いているから、実施形態１のように、指針映像をスーパーインポーズにより表示するほか、指針映像を表示する専用のプロジェクタを他に設けて表示することも可能である。他の構成および動作は実施形態１と同様である。

実施形態１を示す構成図である。 同上の要部分解斜視図である。 同上の原理を説明する図である。 同上の要部ブロック図である。 同上の表示例を示す図である。 同上の使用例を示す図である。 同上の使用例を示す図である。 同上の使用例を示す図である。 同上の使用例を示す図である。 実施形態２を示す構成図である。

符号の説明

１ 姿見
２ 鏡
３ 映像表示装置
４ バランス検出装置
１０ プロジェクタ
１１ 透明板
１２ ハーフミラー
１３ 拡散層
１４ ＴＶカメラ（撮像装置）
１７ プラズマディスプレイ
３０ コンピュータ
３１ 着目部位抽出部
３２ 座標位置算出部
３３ 座標変換部
３４ オフセット調節部
３５ Ａ／Ｄ変換器
３６ 重心位置演算部
３７ 映像生成部
３７ａ 指針映像生成部
３８ 評価部
３９ 指標提示部
４１ 搭乗台
４２ 荷重センサ
Ｌ１ 指針目盛
Ｌ２ 姿勢目盛
Ｍ１ 重心指標
Ｍ２ マーク（指標）
Ｍ３ 図像
Ｐｄ 表示面

Claims (9)

1. 一面を表示面とするハーフミラーと、ハーフミラーの他面側に配置され映像を表示する映像表示装置と、ハーフミラーに対して前記一面側の空間に存在する人体を撮像する撮像装置と、撮像装置により撮像した画像から人体において着目する部位を抽出する着目部位抽出部と、画像に規定した撮像座標系において着目部位抽出部により抽出した部位の代表点の座標位置を求める座標位置算出部と、座標位置算出部で求めた座標位置に座標変換操作を施すことにより着目部位抽出部で抽出した部位の代表点についてハーフミラーの表示面に映っている位置を表示面に規定した表示座標系の座標位置として求める座標変換部と、座標変換部で求めた座標位置が重なると規定の処理を実行するように処理と関係付けられた図像を生成して映像表示装置に表示する映像生成部とを備えることを特徴とする情報表示システム。
2. 前記映像生成部は、前記映像表示装置の表示面において前記座標変換部で求めた表示座標系の座標位置に、位置合わせのための指標を表示することを特徴とする請求項１記載の情報表示システム。
3. 前記座標変換部で求めた表示座標系における座標位置に与えるオフセットを調節するオフセット調節部を備え、前記映像生成部は、前記映像表示装置に表示される前記指標の位置をオフセット調節部で与えられるオフセットに応じて調節することを特徴とする請求項２記載の情報表示システム。
4. 前記ハーフミラーの前に配置され利用者が搭乗する搭乗台を有し搭乗台の上での利用者の前後左右における荷重の比率を検出するバランス検出装置と、バランス検出装置の出力により利用者の重心位置を算出する重心位置演算部と、重心位置演算部で求めた重心位置を示す指針映像を生成し前記映像生成部により生成される映像内に指針映像を重ねて前記映像表示装置に表示する指針映像生成部とを備えることを特徴とする請求項１〜３のいずれか１項に記載の情報表示システム。
5. 前記指針映像生成部は、重心位置の移動軌跡を重心位置と併せて前記映像表示装置に表示することを特徴とする請求項４記載の情報表示システム。
6. 重心位置の移動範囲に基づいて利用者のバランス機能を評価する評価部を備えることを特徴とする請求項４又は５記載の情報表示システム。
7. 前記映像生成部は、搭乗台に搭乗している利用者の重心位置を目標位置に一致させる姿勢の目安となる姿勢目盛を前記映像表示装置に表示することを特徴とする請求項４〜６のいずれか１項に記載の情報表示システム。
8. 前記映像生成部は着目する部位の位置に関係付けた図像を生成し、図像の位置を時間経過に伴って変化させることにより運動の規範を示すことを特徴とする請求項１〜７のいずれか１項に記載の情報表示システム。
9. 前記映像生成部は、運動の規範を指示する図像として前記ハーフミラーの表示面に映る人体のサイズに合わせた図像を生成するとともに、表示面に映る人体に重なる位置に図像を表示することを特徴とする請求項８記載の情報表示システム。

Images