JP2014137725A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】姿勢を可視化するためのシステム全体の配置に関する制約を減少させる。
【解決手段】姿勢認識部１０２は、撮影部１０１により所定の視点から撮影された現実空間の画像データに基づいて、現実空間の画像データに映る被写体の姿勢を認識する。姿勢可視化視点設定部１０３は、上記所定の視点とは異なる視点を設定する。姿勢可視化部１０４は、姿勢認識部１０２により認識された被写体の姿勢に基づいて、姿勢可視化視点設定部１０３により設定された視点から見た被写体の姿勢の鏡像を可視化する。空間表示部１０５は、姿勢可視化部１０４により可視化された被写体の姿勢の鏡像と、現実空間の鏡像とをともに表示する。
【選択図】図１

Description

本発明は、姿勢を可視化するための技術に関するものである。

顔を前に向けて普通に立ったときの姿勢の傾きは、その人の健康状態を判断する指標の一つである。例えば、小脳梗塞になると、平衡機能障害が起こって、まっすぐ立てなかったりふらついたりする。パーキンソン病になると、体の筋肉が硬直して、まっすぐ立っていてもだんだん体が斜め前に傾いたりする人が多い。そういった疾患がなくとも、体のバランスを崩して、左右の肩の高さが違っていたり、背中が前に丸まっていたりすると、首や腰等の体の各部に痛みが出たり、自律神経の働きに影響が出て内臓器官の機能が低下したりする。このように、まっすぐに立っているかどうかは、その人の健康度合いを知る一つの指標となっている。

自分で自分がまっすぐに立てているかどうかを知るためには、例えば鏡の前に立って自分を見ればよい。そうすれば、自分の体が左右に傾いているかどうかは、目で見てわかる。しかし、自分の体が前後に傾いているかどうかは、鏡を見てもはっきりとは分からない。鏡に対して横向きに立ち、顔を鏡の方へ向ければ、自分の正面ではなく側面を鏡に映すことはできるが、その姿勢は「顔を前に向けて普通に立ったときの姿勢」ではないため、その姿勢から正しく健康状態を推し量ることはできない。また、体が左右に傾いているかどうかを見ることができなくなる。

これに対し、特許文献１には、前を向いたまま、正面以外から見た自分の姿勢を見るための技術が開示されている。特許文献１に開示される技術においては、利用者を正面以外の位置から撮影し、その撮影画像を利用者と正対する位置に置かれるハーフミラーの背後から提示することができる。この技術を用いて、利用者を側面の位置から撮影すれば、その撮影画像が利用者の正面に提示されるため、利用者は自分が前後にどの程度傾いて立っているかを、前を向いたまま目で確認することができる。このとき、利用者と正対する位置に置かれるハーフミラーには、利用者を正面から見た姿勢が示されるため、利用者は自分が左右にどの程度傾いて立っているかも、同時に目で確認することができる。

特許第４６５４９０５号公報

しかしながら、特許文献１に開示される技術では、利用者に見せる正面以外の姿勢を撮影できる位置に必ず撮影手段を配置しなければならない。そして、その配置は固定的であるため、利用者に見せる姿勢の向きを自由に変更することはできない。従って、利用者の立つ向きを規定しなければ、利用者の前後左右の傾きがわかるような姿勢を撮影することができない可能性がある。

そこで、本発明の目的は、姿勢を可視化するためのシステム全体の配置に関する制約を減少させることにある。

本発明の情報処理装置は、撮影手段により所定の視点から撮影された現実空間の画像データに基づいて、前記現実空間の画像データに映る被写体の姿勢を認識する認識手段と、前記所定の視点とは異なる視点を設定する設定手段と、前記認識手段により認識された前記被写体の姿勢に基づいて、前記設定手段により設定された前記視点から見た前記被写体の姿勢の像を生成する生成手段と、前記生成手段により生成された前記被写体の姿勢の像を表示手段において表示させる表示制御手段とを有することを特徴とする。

本発明によれば、姿勢を可視化するためのシステム全体の配置に関する制約を減少させることが可能となる。

本発明の第１の実施形態に係る姿勢可視化装置の構成を示す図である。 人体モデルの例を示す図である。 人体モデルの例を示す図である。 第１の視点、第２の視点及び第３の視点の位置関係の例を示す図である。 利用者が目にする空間表示部の表示内容の例を示す図である。 利用者の姿勢の鏡像と基準姿勢の鏡像とが表示された例を示す図である。 本発明の第１の実施形態に係る姿勢可視化装置の処理を示すフローチャートである。 本発明の第２の実施形態に係る姿勢可視化装置の構成を示す図である。 本発明の第２の実施形態における姿勢可視化部による可視化結果の例を示す図である。 本発明の第２の実施形態に係る姿勢可視化装置の処理を示すフローチャートである。 利用者の人体の３次元形状を正面、側面及び状面の三方向から提示した例を示す図である。 本発明の第３の実施形態に係る姿勢可視化装置の構成を示す図である。 本発明の第３の実施形態における姿勢認識部の処理を説明するための図である。 本発明の第３の実施形態に係る姿勢可視化装置の処理を示すフローチャートである。 利用者の姿勢の鏡像と後方向の傾きがより見える視点から見た姿勢の可視化結果とが表示された例を示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

先ず、本発明の第１の実施形態について説明する。第１の実施形態に係る姿勢可視化装置は、病院の整形外科やリハビリテーション科の施術室又はリハビリテーション室等に配置され、そこへ来た患者（以下、利用者と称す）が理学療法士の指導のもとで利用するものである。なお、第１の実施形態に係る姿勢可視化装置は、当該姿勢可視化装置に正対してスクワットをする利用者に、姿勢の前傾度合いを目で見てわかるように可視化して、正面から見た利用者の姿勢とともに提示するものである。

図１は、第１の実施形態に係る姿勢可視化装置１００の構成を示す図である。図１に示すように、姿勢可視化装置１００は、撮影部１０１、姿勢認識部１０２、姿勢可視化視点設定部１０３、姿勢可視化部１０４、空間表示部１０５、基準姿勢保持部１０６、基準姿勢可視化部１０７及び姿勢比較部１０８を備える。なお、姿勢認識部１０２、姿勢可視化視点設定部１０３、姿勢可視化部１０４、基準姿勢可視化部１０７及び姿勢比較部１０８は、姿勢可視化装置１００内のＣＰＵがＨＤＤ等の記録媒体から必要なデータ及びプログラムを読み込んで実行することにより実現する機能的な構成である。基準姿勢保持部１０６は、ＨＤＤ等の記録媒体における一部記憶領域に相当する構成である。なお、図１に示す姿勢可視化装置１００は、情報処理装置の例となる構成である。

撮影部１０１は、距離計測カメラであり、その撮影視点（以下、第１の視点と称す）から撮影視野内に映る被写体までの距離を測り、その結果を距離情報として出力する。この距離情報としては、例えば、計測距離値を画素値とした距離画像データが挙げられる。

また、撮影部１０１は、後述する空間表示部１０５の前方を距離計測範囲とするような位置に配置される。例えば、撮影部１０１は、空間表示部１０５の上部に斜め下向きに配置される。すると、姿勢可視化装置１００の利用者が空間表示部１０５の前に立つと、撮影部１０１は、その人体形状を計測することができる。

撮影部１０１による距離計測方法としては、例えば、複数の可視光カメラで撮影された画像データを用いたステレオ法、Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ法、パターン光投影による三角測量方式、及び、撮像光学系のデフォーカス情報に基づく方法等が挙げられる。撮影部１０１から出力される距離情報は、姿勢認識部１０２に対して出力される。

姿勢認識部１０２は、撮影部１０１から距離情報を入力し、その距離情報に含まれる利用者の人体形状から、利用者の姿勢を３次元的に認識する。即ち、姿勢認識部１０２は、第１の視点から見た、利用者の人体を構成する各パーツの３次元的な位置を認識する。

利用者の人体形状を含む距離情報から人物の姿勢を認識する方法は、例えば次の文献１に開示されている。
＜文献１＞
Ｊ．Ｓｈｏｔｔｏｎ，Ａ．Ｆｉｔｚｇｉｂｂｏｎ，Ｍ．Ｃｏｏｋ，Ｔ．Ｓｈａｒｐ， Ｍ. Ｆｉｎｏｃｃｈｉｏ, Ｒ. Ｍｏｏｒｅ, Ａ. Ｋｉｐｍａｎ, ａｎｄ Ａ. Ｂｌａｋｅ： Ｒｅａｌ−Ｔｉｍｅ Ｈｕｍａｎ Ｐｏｓｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｐａｒｔｓ ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｄｅｐｔｈ Ｉｍａｇｅ. ＣＶＰＲ ２０１１

距離情報が距離画像データである場合、次のような方法で人物の姿勢が認識される。先ず、姿勢認識部１０２は、撮影部１０１から入力される距離画像データを画素値に基づいて領域分割し、その中から撮影部１０１の撮影視点の位置から１ｍ〜４ｍ程度の距離にあって、且つ、ある基準以上の大きさを持った領域を、人体領域として切り出す。次に、姿勢認識部１０２は、予め用意された人体モデル（人体３次元モデル）を、そのパーツ（頭、手、足、胴等、人体を構成する部分）の位置及び姿勢を３次元的に変更しながら、切り出した人体領域に当てはめる。姿勢認識部１０２は、切り出した人体領域に適切に人体モデルを当てはめると、その人体モデルで表現される人物の姿勢、即ち、各パーツの第１の視点に対する位置を認識結果とする。各パーツを球で表現し、パーツ間の繋がりを線分で表現すると、人物の姿勢認識結果である各パーツの位置は、例えば、図２（ａ）又は図２（ｂ）に示すように表現することができる。図２（ａ）は、（正面から見た）撮影部１０１から見た人体モデルの例を示しており、図２（ｂ）は、側面から見た人体モデルの例を示している。

もし、利用者が背筋を伸ばしてまっすぐに立っている姿勢であれば、図３（ａ）に示すように、姿勢認識結果に含まれる頭、左右の腰及び左右足のパーツは、全てある同一平面上におおよそ乗るような位置関係となる。一方、利用者が腰を前に曲げていれば、図３（ｂ）に示すように、姿勢認識結果に含まれる頭及び左右の腰の位置の３点で決定される平面上に、左右の足のパーツは含まれないような位置関係となる。

姿勢を認識する他の方法としては、予め距離情報と人物の姿勢（パーツの位置関係）との対応関係を大量に学習しておき、距離情報が入力されると、その距離情報に対応する人物の姿勢を学習結果に基づいて決定する、といった方法がある。なお、姿勢認識部１０２の姿勢認識結果は、姿勢可視化視点設定部１０３及び姿勢可視化部１０４に対して出力される。

姿勢可視化視点設定部１０３は、利用者に提示する姿勢を見る視点の位置姿勢を設定する。ここで設定される位置姿勢は、利用者に対する相対的な位置姿勢であるが、これは、利用者に対する第１の視点の位置姿勢とは異なる。また、後述する空間表示部１０５により表示される空間には利用者が仮想的に含まれるが、その空間表示のための視点（以下、第２の視点と称す）の、その空間内での利用者に対する位置姿勢とも異なる。

即ち、姿勢可視化視点設定部１０３は、第１の視点とも第２の視点とも位置姿勢が異なる第３の視点を、利用者に提示する姿勢を見る視点として設定する。図４は、第１の視点、第２の視点及び第３の視点の位置関係の例を示す図である。姿勢可視化視点設定部１０３によって行われる、第１の視点とも第２の視点とも異なる第３の視点の設定方法については後述する。姿勢可視化視点設定部１０３により設定された第３の視点の位置姿勢は、姿勢可視化部１０４及び基準姿勢可視化部１０７に対して出力される。

姿勢可視化部１０４は、利用者に提示する姿勢を目で見てわかるように可視化する。具体的には、姿勢可視化部１０４は、姿勢可視化視点設定部１０３から入力される第３の視点から利用者を見たときの姿勢の鏡像を、姿勢認識部１０２から入力される姿勢認識結果に基づいて可視化する。例えば、姿勢可視化部１０４は、姿勢認識結果に示される人体の各パーツの位置に球のＣＧを配置し、連結した人体パーツ間に細い円柱ＣＧを配置することにより、利用者の姿勢を図２に示すような人体モデルとして可視化する。次に、姿勢可視化部１０４は、その人体モデルに対して、第３の視点の位置姿勢に仮想カメラを配置する。次に、姿勢可視化部１０４は、その仮想カメラから見える人体モデルを描画した画像データを可視化結果とする。可視化結果は、空間表示部１０５及び姿勢比較部１０８に対して出力される。

空間表示部１０５は、ハーフミラーの裏にディスプレイを配置したものである。ハーフミラーには、利用者視点の鏡像位置から見た現実空間の鏡像が映る。本実施形態においては、空間表示部１０５による空間表示のための視点を「第２の視点」としたが、利用者視点の鏡像位置がそれとなる。そして、ディスプレイには、姿勢可視化部１０４から入力される第３の視点から見た利用者の姿勢の鏡像を可視化したものが表示される。従って、空間表示部１０５の前に利用者が立つと、利用者は、正面から見た（第２の視点から見た）自身の姿を含む現実空間の鏡像と、利用者を正面以外から見た（第２の視点とは異なる第３の視点から見た）姿勢の可視化結果とを見ることができる。図５は、利用者が目にする空間表示部１０５の表示内容の例を示す図である。図５において、５０１は、第２の視点から見た利用者の姿を含む現実空間の鏡像であり、５０２は、第３の視点から見た姿勢の可視化結果である。

また、空間表示部１０５を構成するディスプレイには、後述する基準姿勢可視化部１０７から入力される基準姿勢の鏡像の可視化結果や、姿勢比較部１０８から入力される姿勢比較結果も表示される。

基準姿勢保持部１０６は、リハビリテーションを実施する際の基準姿勢を表す姿勢データを保持している。本実施形態に係る姿勢可視化装置１００は、スクワットをする利用者に対して姿勢の鏡像を可視化して提示するため、基準姿勢保持部１０６は、スクワットをするときの基準姿勢を表す姿勢データを保持している。

上記基準姿勢とは、例えば正しいスクワットの姿勢である。正しいスクワットの姿勢とは、例えば膝を屈曲させたときにも上半身が地面に対して垂直に立っているような姿勢である。これに対する悪いスクワットの姿勢とは、膝を屈曲させたときに上半身が前傾しているような姿勢である。また、基準姿勢は、例えば過去の利用者の姿勢であってもよい。

姿勢データは、姿勢認識部１０２から出力される姿勢認識結果と同等のものである。即ち、人体を構成する各パーツの相対的な位置関係を表すものが、基準姿勢保持部１０６にて保持される姿勢データである。基準姿勢保持部１０６にて保持される姿勢データは、基準姿勢可視化部１０７から参照される。

基準姿勢可視化部１０７は、利用者に提示する基準姿勢を目で見てわかるように可視化する。具体的には、基準姿勢可視化部１０７は、姿勢可視化視点設定部１０３から入力される第３の視点の位置姿勢に基づいて、基準姿勢保持部１０６にて保持される姿勢データを可視化する。可視化される姿勢は、利用者が基準姿勢をとったときに第３の視点から見える姿勢の鏡像である。可視化の方法は、姿勢可視化部１０４によって行われる方法と同様でよい。例えば、基準姿勢可視化部１０７は、姿勢データに示される人体の各パーツの位置に球のＣＧを配置し、連結した人体パーツ間に細い円柱ＣＧを配置することにより、基準姿勢を図２に示すような人体モデルとして可視化する。次に、基準姿勢可視化部１０７は、その人体モデルに対して、第３の視点の位置姿勢に仮想カメラを配置する。次に、基準姿勢可視化部１０７は、その仮想カメラから見える人体モデルを描画した画像データを、可視化結果とする。この可視化結果は、空間表示部１０５及び姿勢比較部１０８に対して出力される。

姿勢比較部１０８は、姿勢可視化部１０４にて可視化された利用者の姿勢の鏡像と、基準姿勢可視化部１０７で可視化された基準姿勢の鏡像との比較を行う。即ち、姿勢比較部１０８は、両者の姿勢の鏡像の差を算出する。具体的には、姿勢比較部１０８は、両者の股関節の角度（例えば、右肩−右腰を結ぶベクトルと右腰−右膝を結ぶベクトルとの成す角度）や、膝関節の角度（例えば、右腰−右膝を結ぶベクトルと右膝−右足首を結ぶベクトルとの成す角度）の差を算出する。算出された両者の姿勢の差は、テキスト、グラフ又は図等によって表現される。例えば、図６に示すように、利用者の姿勢の鏡像６０１と基準姿勢の鏡像６０２とが、図２に示すような人体モデルとして同時に表示され、その両者を構成する人体の各パーツの位置の差異が大きいパーツが、図６の６０３に示すように強調表示される。このようにして表現された結果は、姿勢比較結果として空間表示部１０５に対して出力される。空間表示部１０５では、その姿勢比較結果が表示される。

ここで、姿勢可視化視点設定部１０３によって行われる、第１の視点とも第２の視点とも異なる第３の視点の設定方法について説明する。第３の視点は、第２の視点からでは分かりにくい利用者の姿勢の傾きを、よりよく見えるような位置姿勢に設定される。例えば、利用者が第２の視点に対して正対している場合、姿勢の左右方向の傾きは第２の視点から見ることができるが、姿勢の前後方向の傾きはわかりにくい。従って、このような場合、姿勢の前後方向の傾きがよりよく見えるような位置姿勢に設定される。例えば、第３の視点の位置姿勢は、次のように設定される。

先ず、姿勢可視化視点設定部１０３は、姿勢認識部１０２から入力される姿勢認識結果から、利用者のあるパーツＡ（頭部、視点又は胸部等）に対する第１の視点（撮影部１０１の撮影視点）の位置Ｂを得る。次に、姿勢可視化視点設定部１０３は、位置Ｂの高さ成分（重力方向成分）を、利用者のパーツＡの高さ成分と同じにしたものを、位置Ｂ´として得る。次に、姿勢可視化視点設定部１０３は、その位置Ｂ´を、利用者のパーツＡを通る鉛直ベクトル（重力方向ベクトル）を中心に、９０度（又は−９０度）回転させる。姿勢可視化視点設定部１０３は、位置Ｂ´を回転させて得られる位置Ｂ´´を、第３の視点の位置として設定する。最後に、姿勢可視化視点設定部１０３は、位置Ｂ´´から利用者のパーツＡに向けた方向ベクトルを、第３の視点の姿勢とする。これにより、第３の視点は、利用者の右側（又は左側）に位置し、利用者のパーツＡを見る方向を向くこととなる。

ここで、位置Ｂ´を利用者のパーツＡを通る鉛直ベクトルを中心に、９０度（又は−９０度）回転させるとしたが、この角度の大きさはもちろん±９０度に限らなくてよく、例えば人体の見え具合によって設定してもよい。人体の見え具合は、例えばエントロピーを使って定義することができる。即ち、ある視点から見る全視野の二次元的な面積をＳとし、その視野中に映る人体の部分領域の二次元的な面積をＡ_iとすると、人体の見え具合を示すエントロピーＥは、次の式のように定式化することができる。

このとき、Ｅが大きければ、人体の部分領域が視野中に大きく広がっているといえ、Ｅが小さければ、人体の部分領域が視野中に小さくまとまっているといえる。人体の構造を考えると、正面又は真後ろからみたときのエントロピーは大きく、真横から見たときのエントロピーが小さい。

従って、人体の見え具合によって上記の位置Ｂを利用者のパーツＡを通る鉛直ベクトルを中心に回転させる角度を設定するとは、例えば、この人体の見え具合を示すエントロピーＥが小さくなる角度を見つけて設定すればよい。具体的には、見え具合を示すエントロピーＥが極小値になるまで、位置Ｂ´を利用者のパーツＡを通る鉛直ベクトルを中心に少しずつ回転させていけばよい。なお、姿勢認識部１０２から入力される姿勢認識結果には、人体を構成するパーツの位置が示されている。そのため、連結する３つのパーツの位置で規定される三角形の上記の位置Ｂ´から見たときの二次元的な面積を、視野中に映る人体の部分領域の二次元的な面積とすればよい。

エントロピーＥに基づいて、上記の位置Ｂ´を利用者のパーツＡを通る鉛直ベクトルを中心に回転させる角度を設定すれば、利用者が空間表示部１０５に対してどのような角度で立つかに関わらず、人体の見え具合が同じ姿勢が可視化されることとなる。

ここに述べた以外でも、例えば次の文献２や文献３等の手法を利用して、人体の見え具合を算出してもよい。
＜文献２＞
Ｐｅｒｅ−Ｐａｕ Ｖaｚｑｕｅｚ, Ｍｉｑｕｅｌ Ｆｅｉｘａｓ, Ｍａｔｅｕ Ｓｂｅｒｔ, Ｗｏｌｆｇａｎｇ Ｈｅｉｄｒｉｃｈ： Ａｕｔｏｍａｔｉｃ Ｖｉｅｗ Ｓｅｌｅｃｔｉｏｎ Ｕｓｉｎｇ Ｖｉｅｗｐｏｉｎｔ Ｅｎｔｒｏｐｙ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｉｍａｇｅ−Ｂａｓｅｄ Ｍｏｄｅｌｌｉｎｇ. Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｆｏｒｕｍ, Ｖｏｌｕｍｅ ２２, Ｉｓｓｕｅ ４, ｐａｇｅｓ ６８９−７００, Ｄｅｃｅｍｂｅｒ ２００３
＜文献３＞
Ｐｅｔｅｒ Ｍ. Ｈａｌｌ, Ｍａｒｔｉｎ Ｏｗｅｎ： Ｓｉｍｐｌｅ Ｃａｎｏｎｉｃａｌ Ｖｉｅｗｓ. ＢＭＶＣ ２００５

次に、図７を参照しながら、本発明の第１の実施形態に係る姿勢可視化装置１００の処理について説明する。利用者が空間表示部１０５に向かってその前に立ち、姿勢可視化装置１００をスタートさせることにより、図７に示す処理が開始される。なお、図７に示す処理は、本実施形態に係る姿勢可視化装置に内蔵されるＣＰＵがＲＯＭ等の記録媒体から必要データ及びプログラムを読み込んで実行することにより実現する処理である。

ステップＳ１０１において、撮影部１０１は、第１の視点の位置から撮影視野内に映る被写体までの距離を計測する。次に、撮影部１０１は、その計測結果を距離情報として姿勢認識部１０２に対して出力する。

ステップＳ１０２において、姿勢認識部１０２は、撮影部１０１から入力される距離情報に含まれる利用者の人体形状から、利用者の姿勢を３次元的に認識する。そして、当該姿勢認識結果は、姿勢可視化視点設定部１０３及び姿勢可視化部１０４に対して出力される。

ステップＳ１０３において、姿勢可視化視点設定部１０３は、利用者に提示する姿勢を見る視点（第３の視点）の位置姿勢を設定する。設定された第３の視点の位置姿勢は、姿勢可視化部１０４及び基準姿勢可視化部１０７に対して出力される。

ステップＳ１０４において、姿勢可視化部１０４は、姿勢可視化視点設定部１０３から入力される第３の視点から利用者を見たときの姿勢の鏡像を、姿勢認識部１０２から入力される姿勢認識結果に基づいて可視化する。この可視化結果は、空間表示部１０５及び姿勢比較部１０８に対して出力される。

ステップＳ１０５において、基準姿勢可視化部１０７は、姿勢可視化視点設定部１０３から入力される第３の視点の位置姿勢に基づいて、基準姿勢保持部１０６にて保持される姿勢データに示される基準姿勢の鏡像を可視化する。この可視化結果は、空間表示部１０５及び姿勢比較部１０８に対して出力される。なお、ステップＳ１０４とステップＳ１０５とを実施する順番は、逆であってもよいし、同時であってもよい。

ステップＳ１０６において、姿勢比較部１０８は、姿勢可視化部１０４にて可視化された利用者の姿勢の鏡像と、基準姿勢可視化部１０７で可視化される基準姿勢の鏡像とを比較する。即ち、姿勢比較部１０８は、両者の姿勢の差を算出する。算出された両者の姿勢の差は、テキスト、グラフ又は図等によって表現され、姿勢比較結果として空間表示部１０５に対して出力される。

ステップＳ１０７において、空間表示部１０５は、利用者に対して、利用者視点の鏡像位置（第２の視点）から見た現実空間の鏡像と、姿勢可視化部１０４から入力される第３の視点から見た利用者の姿勢の鏡像の可視化結果とを表示する。さらに、空間表示部１０５は、基準姿勢可視化部１０７から入力される基準姿勢の可視化結果と、姿勢比較部１０８から入力される姿勢比較結果とを表示する。その後、処理はステップＳ１０１に戻り、姿勢可視化装置１００の利用が終了するまで、処理は繰り返される。

以上の処理により、姿勢可視化装置１００は、図５に示すように、利用者に対し、左右方向の姿勢の傾きが見てわかるハーフミラーに映る鏡像と、その鏡像では分かりにくい前後方向の傾きがよく見える視点から見た姿勢の鏡像の可視化結果とを同時に提示する。これにより、利用者は、自身がまっすぐ立っているのか、左右前後どちらかへ傾いて立っているのかを、一目で見て把握することができる。さらに、基準姿勢の鏡像の可視化結果や、基準姿勢と利用者のそのときの姿勢との姿勢比較結果が提示されるため、利用者は基準姿勢とそのときの姿勢との違いをより実感することができる

なお、本実施形態において、撮影部１０１を空間表示部１０５の上部に配置するようにしたが、空間表示部１０５の下部や側部等、どこに配置するようにしてもよい。また、本実施形態において、空間表示部１０５をハーフミラーの裏にディスプレイを配置するようにしたが、その変形例として、ミラーの脇等にディスプレイを配置してもよい。なお、本実施形態では、鏡像の可視化結果を提示するようにしているが、他の実施形態として、非鏡像の可視化結果を提示するようにしてもよい。

第１の実施形態における撮影部１０１は、距離計測カメラであって、利用者が正対する空間表示部１０５の上部に配置されるが、第１の実施形態に係る姿勢可視化装置１００は、姿勢可視化視点設定部１０３及び姿勢可視化部１０４を備えることにより、撮影部１０１の撮影位置（第１の視点）とは異なる第３の視点から見た姿勢の可視化結果を利用者に提示することができる。その可視化結果は、空間表示部１０５を構成するハーフミラーに映る利用者の鏡像とともに表示されるため、利用者は自身がまっすぐ立っているのか、左右前後どちらかへ傾いて立っているのかを、一目で把握することができる。即ち、第１の実施形態によれば、距離計測カメラを含むシステムを利用者の正面に配置するだけで、利用者に対して、正面から見た姿勢と正面以外の任意の方向から見た姿勢とを同時に提示することができる。

次に、本発明の第２の実施形態について説明する。第２の実施形態に係る姿勢可視化装置は、ゴルフ練習場等に置かれ、そこに来たゴルファーが自分のゴルフスイングフォームを確認する際に利用するものである。第２の実施形態に係る姿勢可視化装置は、この装置に対してゴルフスイングを行う利用者の、任意の二方向から見たときの姿勢を可視化して提示する。

図８は、第２の実施形態に係る姿勢可視化装置２００の構成を示す図である。図８に示すように、第２の実施形態に係る姿勢可視化装置２００は、撮影部２０１、姿勢認識部２０２、姿勢可視化視点設定部２０３、姿勢可視化部２０４、空間表示部２０５、基準姿勢保持部２０６、基準姿勢可視化部２０７、姿勢比較部２０８及び可視化結果記録部２０９を備える。なお、姿勢認識部２０２、姿勢可視化視点設定部２０３、姿勢可視化部２０４、基準姿勢可視化部２０７及び姿勢比較部２０８は、姿勢可視化装置１００内のＣＰＵがＨＤＤ等の記録媒体から必要なデータ及びプログラムを読み込んで実行することにより実現する機能的な構成である。基準姿勢保持部２０６及び可視化結果記録部２０９は、ＨＤＤ等の記録媒体における一部記憶領域に相当する構成である。

撮影部２０１は、複数のカメラで構成される。撮影部２０１を構成する各カメラは、一般的な可視画像データを撮影するカメラであってもよいし、その撮影視点の位置から撮影視野内に映る被写体までの距離を測り、その結果を距離情報として出力するカメラでもよい。ここでいう距離情報とは、例えば計測距離値を画素値とした距離画像データである。両方のカメラが混在していてもよいし、どちらか一方のカメラだけが複数あってもよい。撮影部２０１を構成するカメラの撮影視点は複数存在するが、第２の実施形態では、それらを総称して第１の視点と称す。

撮影部２０１を構成する各カメラは、後述する空間表示部２０５の前方を撮影範囲とするような位置に配置される。例えば、空間表示部２０５の前方の空間を四方からぐるりと取り囲むように配置される。すると、姿勢可視化装置２００の利用者が空間表示部２０５の前に立つと、その人体が撮影部２０１を構成する各カメラに撮影されることとなる。なお、撮影部２０１を構成するカメラは、２個以上であれば何個でもよい。撮影部２０１を構成する各カメラによって撮影される画像データは、姿勢認識部２０２に対して出力される。

姿勢認識部２０２は、撮影部２０１より複数の画像データを入力し、それらの画像データから、利用者の人体形状を３次元的に取得する。なお、姿勢認識部２０２によって行われる、複数の画像データからそこに映る人体の３次元形状を取得する方法は、例えば次の文献４に開示されるような方法が知られている。
＜文献４＞
Ｒｉｃｈａｒｄ Ａ. Ｎｅｗｃｏｍｂｅ, Ｓｈａｈｒａｍ Ｉｚａｄｉ, Ｏｔｍａｒ Ｈｉｌｌｉｇｅｓ, Ｄａｖｉｄ Ｍｏｌｙｎｅａｕｘ, Ｄａｖｉｄ Ｋｉｍ, Ａｎｄｒｅｗ Ｊ. Ｄａｖｉｓｏｎ, Ｐｕｓｈｍｅｅｔ Ｋｏｈｌｉ, Ｊａｍｉｅ Ｓｈｏｔｔｏｎ, Ｓｔｅｖｅ Ｈｏｄｇｅｓ, ａｎｄ Ａｎｄｒｅｗ Ｆｉｔｚｇｉｂｂｏｎ, ＫｉｎｅｃｔＦｕｓｉｏｎ： Ｒｅａｌ−Ｔｉｍｅ Ｄｅｎｓｅ Ｓｕｒｆａｃｅ Ｍａｐｐｉｎｇ ａｎｄ Ｔｒａｃｋｉｎｇ, ｉｎ ＩＥＥＥ ＩＳＭＡＲ, ＩＥＥＥ, Ｏｃｔｏｂｅｒ ２０１１

具体的には、先ず、姿勢認識部２０２は、背景差分法等を用いて、画像データの中から人体領域を抽出する。ここで画像データが可視画像データであれば、人体の存在し得る空間中の範囲は、カメラのレンズ中心を頂点、物体領域を切り口とした錐体の内部に制約される。一方、画像データが距離画像データであれば、物体の存在し得る空間中の範囲は、その撮影視点から見た２．５次元的な距離マップの奥側に制約される。そうした、撮影部２０１を構成する各カメラによって撮影された画像データから抽出された人体の存在し得る空間の積をとることにより、姿勢認識部２０２は人体の３次元形状を取得する。姿勢認識部２０２の姿勢認識結果である人体の３次元形状は、姿勢可視化視点設定部２０３及び姿勢可視化部２０４に対して出力される。

姿勢可視化視点設定部２０３は、利用者に提示する姿勢を見る視点の位置姿勢を、二つ設定する。ここで設定される位置姿勢は、姿勢認識部２０２から入力される人体の３次元形状に対する相対的な位置姿勢であるが、これは、利用者に対する撮影部２０１を構成するカメラの撮影視点（第１の視点）の位置姿勢とは異なる。即ち、姿勢可視化視点設定部２０３は、上記第１の視点と位置姿勢が異なる第２の視点及び第３の視点を、利用者に提示する姿勢を見る視点として設定する。姿勢可視化視点設定部２０３によって行われる、第１の視点と異なる第２の視点及び第３の視点の設定方法については、後述する。姿勢可視化視点設定部２０３により設定された第２の視点及び第３の視点の位置姿勢は、姿勢可視化部２０４及び基準姿勢可視化部２０７に対して出力される。

姿勢可視化部２０４は、利用者に提示する姿勢を目で見てわかるように可視化する。具体的には、先ず、姿勢可視化部２０４は、姿勢認識部２０２から入力される姿勢認識結果であるところの人体の３次元形状を３次元仮想空間に配置した後、姿勢可視化視点設定部２０３から入力される第２の視点から見たその３次元仮想空間を描画する。次に、姿勢可視化部２０４は、姿勢可視化視点設定部２０３から入力される第３の視点から見たときの、姿勢認識部２０２から入力される人体の３次元形状を可視化する。次に、姿勢可視化部２０４は、第３の視点に基づいて可視化された人体の３次元形状を、第２の視点から見た３次元仮想空間の適当な場所に適当な大きさで重畳描画する。このようにして得られる画像データが姿勢可視化部２０４による姿勢の可視化結果である。

図９は、第２の実施形態における姿勢可視化部２０４による可視化結果の例を示す図である。図９の中央に描かれているのは、第２の視点から見た人体の３次元形状９０１であり、その脇に小さく描かれているのが、第３の視点から見た人体の３次元形状９０２である。図９に示すように、同じ人体の３次元形状が二つ描かれているが、見る視点が異なっている。上記の可視化結果は、姿勢比較部２０８及び可視化結果記録部２０９に対して出力される。

基準姿勢保持部２０６は、ゴルフスイング時の基準姿勢を表す姿勢データを保持している。基準姿勢とは、例えばプロゴルファーのゴルフスイング時の姿勢である。又は、過去の利用者のゴルフスイング時の姿勢であってもよい。姿勢データは、姿勢認識部２０２から出力される姿勢認識結果と同等のものである。即ち、人体の３次元形状が基準姿勢保持部２０６にて保持される姿勢データである。基準姿勢保持部２０６にて保持される姿勢データは、基準姿勢可視化部２０７から参照される。

基準姿勢可視化部２０７は、利用者に提示する基準姿勢を目で見てわかるように可視化する。具体的には、基準姿勢可視化部２０７は、姿勢可視化視点設定部２０３から入力される第３の視点の位置姿勢に基づいて、基準姿勢保持部２０６にて保持される姿勢データを可視化する。可視化される姿勢は、利用者が基準姿勢をとったときに第３の視点から見える姿勢である。この可視化結果は、可視化結果記録部２０９及び姿勢比較部２０８に対して出力される。

姿勢比較部２０８は、姿勢可視化部２０４にて可視化される利用者の姿勢と、基準姿勢可視化部２０７で可視化される基準姿勢との比較を行う。即ち、姿勢比較部２０８は、両者の姿勢の差を算出する。具体的には、姿勢比較部２０８は、両者の股関節の角度（例えば、右肩−右腰を結ぶベクトルと右腰−右膝を結ぶベクトルとの成す角度）や膝関節の角度（例えば、右腰−右膝を結ぶベクトルと右膝−右足首を結ぶベクトルとの成す角度）の差を算出する。又は、ある姿勢から別の姿勢に至るまでの時間や、その間のある人体部位の移動軌跡の差を算出してもよい。算出された両者の姿勢の差は、テキスト、グラフ又は図等によって表現され、姿勢比較結果として可視化結果記録部２０９に対して出力される。

可視化結果記録部２０９は、姿勢可視化部２０４から入力される３次元仮想空間を記録する。姿勢可視化部２０４から入力される３次元仮想空間は、全て単体の画像データとして記録してもよいし、時系列に並べた動画データとして記録してもよい。記録された３次元仮想空間は、空間表示部２０５から参照される。また、基準姿勢可視化部２０７から入力される基準姿勢の可視化結果や、姿勢比較部２０８から入力される姿勢比較結果も可視化結果記録部２０９において記録される。

空間表示部２０５は、所謂ディスプレイであり、可視化結果記録部２０９に記録される３次元仮想空間の画像データを表示する。姿勢可視化視点設定部２０３にて設定される二つの視点の位置姿勢のうちの一方を「第２の視点」としたが、その第２の視点から見た３次元仮想空間が空間表示部２０５にて表示される。第２の視点の先には、姿勢認識部２０２にて取得された人体の３次元形状が見えている。また、上述したように、その３次元仮想空間には、第３の視点に基づいて可視化された人体の３次元形状が重畳表示されている。従って、空間表示部２０５の前に利用者が立つと、利用者は、第２の視点から見た姿勢に相当する人体の３次元形状を含む３次元仮想空間と、利用者を第３の視点から見た姿勢に相当する人体の３次元形状とを、同時に見ることができる。なお、空間表示部２０５は、３次元仮想空間を左右反転させ、その鏡像を表示するようにしてもよい。

可視化結果記録部２０９には、複数の画像データが記録されているため、空間表示部２０５は、それを記録された時間順に、即ち、動画データとして表示してもよいし、任意の画像データをある一定時間表示してもよい。また、可視化結果記録部２０９には、基準姿勢可視化部２０７から入力される基準姿勢の可視化結果や、姿勢比較部２０８から入力される姿勢比較結果も記録されている。空間表示部２０５は、基準姿勢の可視化結果や姿勢比較結果を、３次元仮想空間上に重畳表示してもよい。

ここで、姿勢可視化視点設定部２０３によって行われる、第１の視点と異なる第２の視点及び第３の視点の設定方法について説明する。先ず、第２の視点は、第１の視点と異なるという条件下で任意に設定される。本実施形態の内容に照らせば、ゴルフスイングを行う人体の３次元形状の姿勢が分かりやすく見える位置姿勢に設定すればよい。例えば、人体の３次元形状の重心位置を中心とした（予め規定された）半径Ｒの球面上の点にあって、人体の３次元形状の重心位置に向けた視点位置全てにおいて、第１の実施形態の説明で用いた「見え具合を示すエントロピーＥ」を算出し、そのＥが最大となる位置姿勢を、第２の視点にすればよい。人体形状の特徴を鑑みると、その人体形状を正面（又は、背面）から見る位置姿勢に第２の視点が置かれる場合に、エントロピーＥが最大となる。勿論、これ以外の方法で第２の視点を設定してもよい。

第３の視点は、第２の視点からでは分かりにくい利用者の姿勢がより見えるような位置姿勢に設定される。例えば、第２の視点と同じく人体の３次元形状の重心位置を中心とした半径Ｒの球面上の点にあって、人体の３次元形状の重心位置から見て、第２の視点と直交するような位置の一つにあって、人体の３次元形状の重心位置に向けた視点位置を第３の視点とすればよい。このとき、第２の視点が人体の３次元形状を正面から見る位置に置かれている場合、第２の視点と高さが同じであるという条件をつければ、第３の視点は人体の３次元形状を横から見る位置に置かれることとなる。勿論、これ以外の方法で第３の視点を設定してもよい。

なお、第２の視点及び第３の視点の設定方法は、姿勢認識部２０２の姿勢認識結果に応じて変更してもよい。例えば、姿勢認識部２０２の姿勢認識結果がゴルフスイング前の姿勢のときは、見え具合を示すエントロピーＥが最大ではなく最小となる位置姿勢を第２の視点にし、姿勢認識部２０２の姿勢認識結果がゴルフスイング開始後の姿勢のときは、見え具合を示すエントロピーＥが最大となる位置姿勢を第２の視点とするように、設定してもよい。例えば、姿勢可視化視点設定部２０３は、姿勢認識部２０２から入力される姿勢認識結果に変化がない間、見え具合を示すエントロピーＥが最小となる位置姿勢を第２の視点とすればよい。そして、姿勢認識部２０２から入力される姿勢認識結果が、直前に入力された結果から変化した場合、見え具合を示すエントロピーＥが最大となる位置姿勢を第２の視点とすればよい。

利用者の運動内容によっても、第２の視点及び第３の視点の設定方法を変えてよい。例えば、利用者がゴルフスイングを行うのであれば、見え具合を示すエントロピーＥが最大となる位置姿勢を第２の視点にし、利用者がヒップホップダンスを踊るのであれば、見え具合を示すエントロピーＥが最小となる位置姿勢を第２の視点とするように設定してもよい。この場合、利用者がゴルフスイングを行うのか、ヒップホップダンスを踊るのかの判定は、姿勢認識部２０２より入力される姿勢認識結果に基づいて行われる。この場合、基準姿勢保持部２０６においては、基準姿勢となる、ゴルフスイング開始前の姿勢データとヒップホップダンス開始前の姿勢データとが事前に保持されている。姿勢可視化視点設定部２０３は、姿勢認識部２０２より入力される姿勢認識結果とそれぞれの姿勢データとの差異を算出して、より差異が小さい方の姿勢データに対応した運動が行われていると判定する。

次に、図１０を参照しながら、第２の実施形態に係る姿勢可視化装置２００の処理について説明する。利用者が空間表示部２０５に向かってその前に立ち、姿勢可視化装置２００をスタートさせることにより、図１０に示す処理が開始される。なお、図１０に示す処理は、本実施形態に係る姿勢可視化装置２００に内蔵されるＣＰＵがＲＯＭ等の記録媒体から必要なデータ及びプログラムを読み込んで実行することにより実現する処理である。

ステップＳ２０１において、姿勢可視化装置２００は、撮影部２０１を構成するカメラにより空間表示部２０５の前方の空間を撮影する設定であるか否かを判定する。図８において不図示の設定手段により、空間表示部２０５の前方の空間を撮影する設定がなされている場合、処理はステップＳ２０２に移行する。一方、空間表示部２０５の前方の空間を撮影する設定がなされていない場合、処理はステップＳ２１０に移行する。

ステップＳ２０２において、撮影部２０１を構成するカメラは、空間表示部２０５の前方の空間を撮影する。撮影された複数の画像データは姿勢認識部２０２に対して出力される。ステップＳ２０３において、姿勢認識部２０２は、撮影部２０１から入力される複数の画像データから、利用者の人体形状を３次元的に生成する。姿勢認識部２０２により生成された人体の３次元形状は、姿勢可視化視点設定部２０３及び姿勢可視化部２０４に対して出力される。

ステップＳ２０４において、姿勢可視化視点設定部２０３は、利用者に提示する姿勢を見る視点の位置姿勢を二つ設定する。その二つの視点とは、利用者に対する撮影部２０１を構成するカメラの撮影視点（第１の視点）とは異なる、第２の視点及び第３の視点である。姿勢可視化視点設定部２０３により設定された第２の視点及び第３の視点の位置姿勢は、姿勢可視化部２０４に対して出力される。

ステップＳ２０５において、姿勢可視化部２０４は、姿勢認識部２０２から入力される姿勢認識結果であるところの人体の３次元形状を３次元仮想空間に配置した後、姿勢可視化視点設定部２０３から入力される第２の視点から見たときの、当該人体の３次元形状を可視化する。

ステップＳ２０６において、姿勢可視化部２０４は、姿勢可視化視点設定部２０３から入力される第３の視点から見たときの、姿勢認識部２０２から入力される人体の３次元形状を可視化する。次に、姿勢可視化部２０４は、第３の視点に基づいて可視化された人体の３次元形状を、第２の視点から見た３次元仮想空間の適当な場所に適当な大きさで重畳描画する。例えば、姿勢可視化部２０４は、事前に大きさ及び形状を決めておく「第３の視点から見た姿勢」表示用の領域（例えば、縦長の長方形領域）を、３次元仮想空間上にランダムに配置する。次に、姿勢可視化部２０４は、「第３の視点から見た姿勢」表示用の領域と、既に３次元仮想空間上に描画されている第２の視点から見た人体の３次元形状の描画領域とに重なりがあるか否かを判定する。そこで重なりがなければ、姿勢可視化部２０４は、そこに定めた「第３の視点から見た姿勢」表示用の領域に第３の視点に基づいて可視化された人体の３次元形状を描画する。一方、重なりがあれば、姿勢可視化部２０４は、再度「第３の視点から見た姿勢」表示用の領域を３次元仮想空間上にランダムに配置し直す処理を、第２の視点から見た人体の３次元形状の描画領域と重なりがなくなるまで繰り返す。その際、一定回数繰り返しても「第３の視点から見た姿勢」表示用の領域と第２の視点から見た人体の３次元形状の描画領域とが重なり続けた場合には、姿勢可視化部２０４は、「第３の視点から見た姿勢」表示用の領域を小さくして、再配置する。姿勢可視化部２０４は、こうした処理を、「第３の視点から見た姿勢」表示用領域の位置と大きさが決まるまで繰り返した後、決定した「第３の視点から見た姿勢」表示用の領域に第３の視点に基づいて可視化された人体の３次元形状を描画する。このようにして描画された３次元仮想空間は、姿勢可視化部２０４から可視化結果記録部２０９に対して出力される。なお、ステップＳ２０５とステップＳ２０６とを実施する順番は、逆であってもよいし、同時であってもよい。

ステップＳ２０７において、基準姿勢可視化部２０７は、姿勢可視化視点設定部２０３から入力される第３の視点の位置姿勢に基づいて、基準姿勢保持部２０６にて保持される姿勢データに示される基準姿勢を可視化する。この可視化結果は、可視化結果記録部２０９及び姿勢比較部２０８に対して出力される。

ステップＳ２０８において、姿勢比較部２０８は、姿勢可視化部２０４にて可視化される利用者の姿勢と、基準姿勢可視化部２０７で可視化される基準姿勢との比較を行う。即ち、姿勢比較部２０８は、両者の姿勢の差を算出する。算出された両者の姿勢の差は、テキスト、グラフ又は図等によって表現され、姿勢比較結果として可視化結果記録部２０９に対して出力される。

ステップＳ２０９において、可視化結果記録部２０９は、姿勢可視化部２０４から入力される３次元仮想空間、基準姿勢可視化部２０７から入力される基準姿勢の可視化結果、及び、姿勢比較部２０８から入力される比較結果を記録する。

ステップＳ２１０において、姿勢可視化装置２００は、空間表示部２０５により３次元仮想空間を表示する設定となっているか否かを判定する。図８には不図示の設定手段により、空間表示部２０５により３次元仮想空間を表示する設定がなされていれば、処理はステップＳ２１１に移行する。一方、空間表示部２０５により３次元仮想空間を表示する設定がなされていなければ、処理はステップＳ２０１に移行する。

ステップＳ２１１において、空間表示部２０５は、可視化結果記録部２０９に記録されている３次元仮想空間又はその鏡像を表示する。ここで表示される３次元仮想空間又はその鏡像は、可視化結果記録部２０９に記録されている最新の画像データでもよいし、過去の画像データでもよい。加えて、その画像データ上に、基準姿勢の可視化結果と姿勢比較結果とが重畳表示される。その後、処理はステップＳ２０１に戻り、姿勢可視化装置２００の利用が終了されるまで、処理が繰り返される。

以上により、姿勢可視化装置２００は、図９に示すように、利用者に対して、二方向から見た利用者の人体の３次元形状９０１、９０２を同時に提示する。なお、図１１に示すように、利用者の人体の３次元形状を正面１１０１、側面１１０２及び上面１１０３の三方向から示してもよいし、四方向以上から見た利用者の人体の３次元形状を示してもよい。この場合、姿勢可視化視点設定部２０３は、第４の視点や第５の視点等の新たな視点を加えて設定し、姿勢可視化部２０４は、加えて設定される視点分の人体の３次元形状を可視化する。

例えば、上記処理において、利用者がゴルフスイングを行っている間、撮影部２０１を構成するカメラにより空間表示部２０５の前方の空間を撮影するとともに、空間表示部２０５により３次元仮想空間を表示しない設定とする。そして、利用者がゴルフスイングを終えた後、撮影部２０１を構成するカメラにより空間表示部２０５の前方の空間を撮影せず、空間表示部２０５により３次元仮想空間を表示する設定とする。これにより、利用者は、ゴルフスイングを終えた後、自身のゴルフスイング中の姿勢（人体の３次元形状）を異なる二つの視点から動画として見ることが可能となる。

また、例えば、上記処理において、利用者がゴルフスイングをしている間、撮影部２０１を構成するカメラにより空間表示部２０５の前方の空間を撮影するとともに、空間表示部２０５により３次元仮想空間を表示しない設定とする。これにより、利用者は、ゴルフスイングをしながら、自身のゴルフスイング中の姿勢（人体の３次元形状）を異なる二つの視点から動画として見ることが可能となる。

利用者は、姿勢可視化装置２００を用いて、例えば、自身を正面から見たときの姿勢と真横から見た姿勢とを同時に見れば、前者から体の上下左右のブレや捻じれを、後者から体と腕の前後方向のブレや捻じれを一目で把握することができる。

なお、第２の実施形態に係る姿勢可視化装置２００によれば、利用者は、３次元仮想空間内に表現される自身の姿を、同時に二つの視点から見ることができるが、この二つの視点は互いに独立ではない。即ち、姿勢可視化視点設定部２０３は、一方の視点（第２の視点）からでは分かりにくい利用者の姿勢がよく見えるような位置姿勢を、もう一方の視点（第３の視点）として設定する。この点においても、本実施形態に係る姿勢可視化装置２００は、一般に知られている複数の視点から見た３次元仮想空間を同時に表示するシステムとは異なる。

第２の実施形態によれば、利用者は、仮想空間内に表現される自身の姿を、同時に二視点から見ることができる。その二視点は、利用者を直接的に撮影している撮影部２０１を構成するカメラの撮影視点とは異なる。これは、システム全体の物理的な配置に関わらず、任意の二視点から見た利用者の姿勢を可視化することができるという効果を生む。加えて、この二視点は互いに独立ではなく、姿勢可視化視点設定部２０３に存在により、一方の視点（第２の視点）からでは分かりにくい利用者の姿勢がより見えるような位置姿勢が、もう一方の視点（第３の視点）として設定される。これは、３次元的な姿勢の傾き等が目で見てわかりやすい二つの姿勢を同時に利用者に対して提示できるという効果を生む。即ち、第２の実施形態によれば、設置場所の制約に合わせて自由に構成機器を配置できるシステムにより、利用者に対して、３次元的な姿勢の傾き等が目で見てわかりやすい二つの方向から見た姿勢を提示することができる。

次に、本発明の第３の実施形態について説明する。第３の実施形態に係る姿勢可視化装置は、アパレルショップや自宅のクローゼットの傍に置かれ、ショップで売られる洋服の試着時や、自宅での洋服選びの際に利用される。第３の実施形態に係る姿勢可視化装置は、この装置に正対して自身の姿を見る利用者に、姿勢の前傾度合いを目で見てわかるように可視化して、正面から見た利用者の姿勢とともに提示するものである。

図１２は、第３の実施形態に係る姿勢可視化装置３００の構成を示す図である。図１２に示すように、第３の実施形態に係る姿勢可視化装置３００は、撮影部３０１、姿勢認識部３０２、姿勢可視化視点設定部３０３、姿勢可視化部３０４、空間表示部３０５、個人データ保持部３０６、個人識別部３０７及び可視化結果記録部３０９を備える。なお、姿勢認識部３０２、姿勢可視化視点設定部３０３、姿勢可視化部３０４及び個人識別部３０７は、姿勢可視化装置３００内のＣＰＵがＨＤＤ等の記録媒体から必要なデータ及びプログラムを読み込んで実行することにより実現する機能的な構成である。また、個人データ保持部３０６及び可視化結果記録部３０９は、ＨＤＤ等の記録媒体における一部記憶領域に相当する構成である。

撮影部３０１は、一般的な可視画像データを撮影するカメラである。撮影部３０１は、後述する空間表示部３０５の前方を撮影する位置に配置される。例えば、撮影部３０１は、空間表示部３０５の上部に斜め下向きに配置される。すると、姿勢可視化装置３００の利用者が空間表示部３０５の前に立つと、その姿を撮影部３０１は撮影することとなる。本実施形態においては、撮影部３０１を構成するカメラの撮影視点を第１の視点とする。撮影部３０１から出力される撮影画像データは、個人識別部３０７、姿勢認識部３０２及び姿勢可視化部３０４に入力される。

個人識別部３０７は、撮影部３０１から撮影画像データを入力し、その撮影画像データに含まれる利用者の個人を識別する。利用者の個人を識別する方法は一般的な方法でよい。例えば、撮影画像データ中から顔領域を検出し、その顔領域と、予め保持される個人に紐付けられた顔画像データとの類似度を算出し、最も類似度の高い顔画像データに紐付けられた個人を、識別結果とすればよい。顔領域の検出方法や、画像データ同士の類似度算出方法は、一般的な方法でよい。個人に紐付けられた顔画像データは、後述する個人データ保持部３０６において保持される。

さらに、個人識別部３０７は、識別した個人に紐付けられた人体データを、個人データ保持部３０６から参照する。人体データとは、例えばその個人の身長データであるが、胸囲データや足の長さデータ等、人体の物理的な大きさに関するデータであれば何れでもよい。個人識別部３０７は、その参照した人体データを姿勢認識部３０２に対して出力する。

個人データ保持部３０６は、個人識別部３０７より参照される個人データを保持している。個人データの一つは、個人識別部３０７における個人識別に用いられるデータである。例えば、個人に紐付けられた顔画像データがそれに該当するが、それ以外でも、個人に紐付けられた指紋データや声紋データであってもよい。

また、他の個人データとして、個人データ保持部３０６は、個人識別部３０７が姿勢認識部３０２に出力する個人に紐付けられた人体データも保持する。人体データとは、身長データ、胸囲データ及び顔の大きさデータ等、人体の物理的な大きさに関するデータである。

姿勢認識部３０２は、撮影部３０１から撮影画像データを入力するとともに、個人識別部３０７から人体データを入力する。そして、姿勢認識部３０２は、撮影画像データに含まれる利用者の姿及び人体データから、利用者の姿勢を３次元的に認識する。利用者を含む画像データ及びその利用者の人体データから人物の姿勢を認識する方法は、次のような方法でよい。

先ず、姿勢認識部３０２は、撮影部３０１のカメラパラメータを事前に把握しているものとする。ここでいうカメラパラメータとは、カメラの焦点距離や画角等のカメラ内部パラメータ、及び、カメラの現実空間における位置姿勢を示すカメラ外部パラメータである。

その上で、姿勢認識部３０２は、撮影部３０１から入力される撮影画像データから、人体の頭頂部及び足元部を検出する。例えば、姿勢認識部３０２は、図１３（ａ）に示すような撮影画像データから、矢印で指示した部分を頭頂部又は足元部として検出する。その検出方法は、一般に知られた方法でよい。

次に、姿勢認識部３０２は、足は地面から浮いていないという前提のもとで、既知のカメラパラメータと、撮影画像データ中から検出した足元部の撮影画像データ上のスクリーン座標系における位置Ｆ_s（Ｘ_F，Ｙ_F）とに基づき、現実空間における足元部の位置を算出する。具体的には、撮影部３０１のカメラパラメータが既知であることから、世界座標系における位置を撮影部３０１のカメラ座標系における位置に変換する行例Ｍ_wc、及び、撮影部３０１のカメラ座標系における位置を撮影画像データ上のスクリーン座標系における位置に変換する行列Ｍ_csが既知である。姿勢認識部３０２は、これらを用いることにより、Ｚ_Fを未知の変数として、位置Ｆ_s（Ｘ_F，Ｙ_F，Ｚ_F）を次の式１のように世界座標系における位置Ｆ_w（ｘ_F，ｙ_F，ｚ_F）へ変換することができる。
（ｘ_F，ｙ_F，ｚ_F）^T＝Ｍ_wc ^-1×Ｍ_cs ^-1×（Ｘ_F，Ｙ_F，Ｚ_F）^T （式１）

ここで、地面を表す平面の式がｇ（ｘ，ｙ，ｚ）＝０であるとすると、上記式１とｇ（ｘ_F，ｙ_F，ｚ_F）＝０の連立方程式とを解くことにより、ｘ_F、ｙ_F、ｚ_Fを求めることができる。このようにして得られた位置Ｆ_w（ｘ_F，ｙ_F，ｚ_F）が現実空間における足元部の位置となる。

次に、姿勢認識部３０２は、頭頂部が足元部から身長分だけ離れた位置にあるという前提のもとで、既知のカメラパラメータと、撮影画像データ中から検出した頭頂部の撮影画像データ上のスクリーン座標系における位置Ｈ（Ｘ_H，Ｙ_H）とに基づき、現実空間における頭頂部の位置を算出する。具体的には、撮影部３０１のカメラパラメータが既知であることから、世界座標系における位置を撮影部３０１のカメラ座標系における位置に変換する行例Ｍ_wc、及び、撮影部３０１のカメラ座標系における位置を撮影画像データ上のスクリーン座標系における位置に変換する行列Ｍ_csが既知である。姿勢認識部３０２は、これらを用いることにより、Ｚ_Hを未知の変数として、位置Ｈ_s（Ｘ_H，Ｙ_H，Ｚ_H）を次の式２のように世界座標系における位置Ｈ_w（ｘ_H，ｙ_H，ｚ_H）へ変換することができる。
（ｘ_H，ｙ_H，ｚ_H）^T＝Ｍ_wc ^-1×Ｍ_cs ^-1×（Ｘ_H，Ｙ_H，Ｚ_H）^T （式２）

ここで、世界座標における足元部の位置Ｆ_wと頭頂部の位置Ｈ_wとの距離がその個人の身長と等しいとし、その身長が個人識別部３０７から受け取る人体データにｈと示されているとすると、次の式３が成り立つ。
（ｘ_H−ｘ_F）²＋（ｙ_H−ｙ_F）²＋（ｚ_H−ｚ_F）²＝ｈ² （式３）

このようにして得られた（式２）及び（式３）の連立方程式を解くと、Ｈ_w（ｘ_H，ｙ_H，ｚ_H）を得ることができる。解が二つ得られるときは、世界座標系における撮影部３０１の視点位置により近い方を解にすればよい。以上により、利用者が体を折らずに前かがみに立っているという前提での、利用者の姿勢を３次元的に認識することができる。

図１３（ｂ）は、上記の計算で得られる利用者の３次元的な姿勢の例を模式的に示している。即ち、図１３（ｂ）には、識別された個人の身長が低いとき、中くらいのとき、及び、高いときの姿勢の例を示している。なお、図１３（ｂ）は、利用者が体を折らずに前かがみに立っているという前提における姿勢の認識例を示しているが、利用者が腰から体を前に折って立っているという前提で同様の姿勢の認識を行っても勿論よい。

姿勢認識部３０２の姿勢認識結果は、姿勢可視化視点設定部３０３及び姿勢可視化部３０４に対して出力される。姿勢可視化視点設定部３０３は、利用者に提示する姿勢を見る視点の位置姿勢を設定する。ここで設定される位置姿勢は、利用者に対する相対的な位置姿勢であるが、これは、利用者に対する撮影部３０１の撮影視点（第１の視点）の位置姿勢とは異なる。

姿勢可視化視点設定部３０３により設定される視点を第３の視点とすると、本実施形態においては、例えば次のように設定される。即ち、「第１の視点と、第１の視点が見る利用者の身体部位と、第３の視点とが同一平面上にあり」、「第１の視点が見る利用者の身体部位を見るように第３の視点の方向が定められ」、「第１の視点の姿勢と第３の視点の姿勢とが直交する」ように設定される。姿勢可視化視点設定部１０３により設定された第３の視点の位置姿勢は、姿勢可視化部３０４に対して出力される。

姿勢可視化部３０４は、利用者に提示する姿勢を目で見てわかるように可視化する。具体的には、姿勢可視化部３０４は、姿勢可視化視点設定部３０３から入力される第３の視点から利用者を見たときの姿勢の鏡像を、姿勢認識部３０２から入力される姿勢認識結果に基づいて可視化する。例えば、姿勢可視化部３０４は、人体の頭部パーツを球のＣＧで表現し、残る人体パーツを楕円球ＣＧで表現することにより、利用者の姿勢を図１３（ｂ）に３つ示すように可視化する。次に、姿勢可視化部３０４は、この可視化結果を、撮影部３０１から入力される撮影画像データ上に重畳描画する。図１５は、第３の実施形態における姿勢可視化部３０４による可視化結果（模式的な人物像）１５０１を撮影画像データ上に重畳描画した例を示す図である。図１５に示すように描画された画像データは、空間表示部３０５及び可視化結果記録部３０９に対して出力される。

可視化結果記録部３０９は、姿勢可視化部３０４から入力される画像データを記録する。姿勢可視化部３０４から入力される画像データは、全て単体の画像データとして記録してもよいし、時系列に並べた動画データとして記録してもよい。記録された画像データは、空間表示部３０５から参照される。

空間表示部３０５は、いわゆるディスプレイである。このディスプレイには、姿勢可視化部３０４から入力される画像データ、又は、可視化結果記録部３０９から参照される画像データが左右反転され、鏡像として表示される。その際、その画像データ上には、姿勢可視化部３０４により可視化された姿勢の鏡像が重畳表示されている。即ち、その画像データを表示する空間表示部３０５の前に立つと、利用者は、撮影部３０１の撮影視点（第１の視点）から見える自身の姿を含む現実空間の鏡像と、利用者を正面以外（第３の視点）から見える姿勢の鏡像の可視化結果とを見ることができる。

次に、図１４を参照しながら、第３の実施形態に係る姿勢可視化装置３００の処理について説明する。利用者が空間表示部３０５に向かってその前に立ち、姿勢可視化装置３００をスタートさせると、図１４に示す処理が開始される。なお、図１４に示す処理は、本実施形態に係る姿勢可視化装置に内蔵されるＣＰＵがＲＯＭ等の記録媒体から必要データ及びプログラムを読み込んで実行することにより実現する処理である。

ステップＳ３０１において、撮影部３０１は、撮影視野内に立つ利用者を含む現実空間を撮影する。そして、撮影部３０１は、その撮影画像データを姿勢認識部３０２、個人識別部３０７及び空間表示部３０５に対して出力する。

ステップＳ３０２において、個人識別部３０７は、撮影部３０１から入力される撮影画像データに含まれる利用者の個人を、個人データ保持部３０６に保持される個人データを参照することにより識別する。

ステップＳ３０３において、個人識別部３０７は、ステップＳ３０２で識別された個人に紐付けられた人体データを、個人データ保持部３０６より参照し、姿勢認識部３０２に対して出力する。

ステップＳ３０４において、姿勢認識部１０２は、撮影部１０１から入力される利用者を含む撮影画像データ、及び、個人識別部３０７から入力される利用者の人体データから、利用者の姿勢を３次元的に認識する。そして、その姿勢認識結果は、姿勢可視化視点設定部３０３及び姿勢可視化部３０４に対して出力される。なお、ステップＳ３０４における姿勢認識手法は、第１及び第２の実施形態においても適用可能である。

ステップＳ３０５において、姿勢可視化視点設定部３０３は、利用者に提示する姿勢を見る視点（第３の視点）の位置姿勢を設定する。設定された第３の視点の位置姿勢は、姿勢可視化部３０４に対して出力される。

ステップＳ３０６において、姿勢可視化部３０４は、姿勢可視化視点設定部３０３から入力される第３の視点から利用者を見たときの姿勢の鏡像を、姿勢認識部３０２から入力される姿勢認識結果に基づいて可視化する。そして、姿勢可視化部３０４は、この可視化結果を、撮影部３０１から入力される撮影画像データ上に重畳描画する。

ステップＳ３０７において、姿勢可視化装置３００は、姿勢可視化部３０４により可視化された画像データを可視化結果記録部３０９に記録する設定となっているか否かを判定する。図１２において不図示の設定手段により、姿勢可視化部３０４により可視化された画像データを可視化結果記録部３０９に記録される設定となっていなければ、姿勢可視化部３０４により可視化された画像データが可視化結果記録部３０９に対して出力された後、処理はステップＳ３０８に移行する。一方、そのような設定がなされていなければ、処理はステップＳ３０９に移行する。

ステップＳ３０８において、可視化結果記録部３０９は、姿勢可視化部３０４から入力される画像データを記録する。ステップＳ３０９において、姿勢可視化装置３００は、空間表示部３０５により画像データを表示する設定となっているか否かを判定する。図１２において不図示の設定手段により、空間表示部３０５により画像データを表示する設定となっていれば、処理はステップＳ３１０に移行する。一方、そのような設定がなされていなければ、処理はステップＳ３０１に戻る。

ステップＳ３１０において、空間表示部３０５は、画像データを表示する。ステップＳ３０８を経由してステップＳ３１０に至った場合、空間表示部３０５は、可視化結果記録部３０９に記録されている画像データを表示する。ステップＳ３０８を経由せずにステップＳ３１０に至った場合、姿勢可視化部３０４により可視化された画像データが空間表示部３０５に出力され、空間表示部３０５により表示される。その後、処理はステップＳ３０１に戻り、姿勢可視化装置３００の利用が終了されるまで、処理は繰り返される。

以上の処理により、姿勢可視化装置３００は、図１５に示すように、利用者に対して、当該利用者の姿勢の鏡像１５０２と、その鏡像では分かりにくい前後方向の傾きがより見える視点から見た姿勢の可視化結果１５０１とを同時に提示する。これにより、利用者は、自身の前後方向の姿勢の良し悪しを確認しながら、自身の服装を眼で確認することができる。人の姿は、その姿勢によって見栄えが変わるが、本実施形態に係る姿勢可視化装置３００の利用者は、どの姿勢のときにどんな見栄えになるのかの対応関係を、明示的に確認しながら、着替えや試着をすることができる。

なお、本実施形態において、姿勢可視化装置３００を構成する撮影部３０１は、空間表示部３０５の上部に配置されるとしたが、空間表示部３０５の下部や側部等、どこに配置してもよい。

第３の実施形態における撮影部３０１は、可視光カメラであって、利用者が正対する空間表示部３０５の上部に配置されるが、第３の実施形態に係る姿勢可視化装置３００は、姿勢可視化視点設定部３０３、姿勢可視化部３０４、個人識別部３０７及び個人データ保持部３０６を備えることにより、撮影部３０１の撮影位置（第１の視点）以外から見た姿勢の可視化結果を利用者に提示することができる。その可視化結果は、利用者を含む現実空間を撮影する撮影部３０１の撮影画像データの鏡像とともに表示されるため、利用者は見た目とともに、左右前後どちらかへ傾いて立っているのかを、一目で把握することができる。即ち、第３の実施形態によれば、利用者の正面に可視光カメラを含むシステムを配置するだけで、利用者に対して、正面からの見た姿勢と正面以外の任意の方向から見た姿勢とを同時に提示することができる。

また、第１〜第３の実施形態においては、撮影部により撮影された現実空間の画像データに基づいて利用者の姿勢を認識し、その認識結果から利用者に見せる正面以外から見た姿勢を可視化して、利用者に提示する。これにより、撮影部を任意の位置に配置することができるため、システム全体の配置に関する制約が減少される。従って、システム全体の設置面積を小さくしたり、設置場所に応じてシステムを配置したりすることが可能となる。さらに、利用者に提示される姿勢が、撮影部によって撮影される画像データに映る姿勢だけではなく、姿勢の認識結果から可視化される姿勢も含まれるため、利用者に見せる姿勢の向きを自由に変更することができる。

なお、上述した実施形態における撮影部は、利用者を含む現実空間を撮影するものでれば、どのようなものであってもよい。その例が、第１の実施形態で示した距離撮影カメラであり、第２の実施形態で示した複数のカメラであり、第３の実施形態で示した可視光カメラである。また、撮影部として、赤外カメラやラインカメラや紫外カメラを採用してもよい。

また、上述した実施形態における空間表示部は、空間の映像を表示できるものであれば、どのようなものであってもよい。その例が、第１の実施形態で示したハーフミラーの裏にディスプレイを配置したものであり、第２及び第３の実施形態で示したディスプレイである。また、空間表示部として、立体ディスプレイやプロジェクタ投影面を採用してもよい。

また、上述した実施形態における姿勢認識部は、映像に映る人物の姿勢を認識するものであればどのようなものであってもよい。即ち、姿勢認識部として、距離情報に含まれる利用者の人体形状から利用者の姿勢を３次元的に認識するものや、複数の画像からそこに映る人体の３次元形状を獲得するものや、画像上の人体パーツの位置と既知の人体データから人物の姿勢を３次元的に認識するものを採用することができる。それ以外の、人物にマーカを張り付けてその姿勢を認識するようなものであっても勿論よい。

また、上述した実施形態における姿勢可視化視点設定部は、撮影部の撮影視点（第１の視点）及び空間表示部が表示する空間を見る視点（第２の視点）とも異なる視点（第３の視点）を設定するものであれば、どのようなものであってもよい。即ち、姿勢可視化視点設定部として、第１の視点の高さを利用者のあるパーツＡの高さにした上で利用者を中心に±９０度回転させた位置に設定するものや、人体の見え具合を示すエントロピーＥを用いて設定するものや、第１の視点と利用者の身体部位の位置関係に基づいて設定するものを採用することができる。

また、上述した実施形態における姿勢可視化部は、姿勢認識部の認識結果に基づき前記第３の視点から見た前記人物の姿勢を可視化するものであれば、どのようなものであってもよい。即ち、姿勢可視化部として、図２に示すような球のＣＧと円柱のＣＧとで人体パーツ間のつながりを表現するものでもよいし、図９に模擬的に示すような人体の３次元形状を直接的に表現するものを採用してもよい。又は、図１３（ｂ）に示すような球と楕円球のＣＧの組み合わせで頭部と胴部を表現するものを採用してもよい。

また、上述した実施形態における基準姿勢は、利用者の姿勢との比較対象になる姿勢であれば、どのようなものであってもよい。その例が、第１の実施形態に示した正しく運動するときの姿勢であり、過去の利用者の運動時の姿勢である。それ以外にも、間違って運動するときの姿勢や、予想される将来の運動時の姿勢等も、基準姿勢としてよい。

また、上述した実施形態における姿勢比較部は、利用者の姿勢と基準姿勢を比較するものであれば、どのようなものであってもよい。その例が、第１の実施形態に示した利用者の姿勢と基準姿勢との関節の角度との差を算出するものである。それ以外にも、利用者の姿勢と基準姿勢との関節の位置の違いや、関節に加わる力の差等を算出するものであってもよい。

さらに、上述した実施形態において個人データ保持部により保持されるデータは、個人を識別するためのデータ又は個人の物理的な大きさを示すデータであれば、どのようなものであってもよい。個人を識別するためのデータの例は、第３の実施形態に示した個人に紐付いた顔画像である。それ以外にも、個人に紐付いた指紋データや声紋データであってもよい。個人の形状を示すデータの例は、第３の実施形態に示した個人の身長データである。それ以外にも、胸囲データや顔の大きさデータであってもよい。

なお、本発明は、リハビリ運動時の姿勢を可視化する目的にも適用可能である。また、リハビリ運動だけでなく、スポーツ運動、ダンス運動、さらには、着衣や接遇動作時の姿勢を可視化する目的にも適用することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００、２００、３００：姿勢可視化装置、１０１、２０１：撮影部、１０２、２０２：姿勢認識部、１０３、２０３：姿勢可視化視点設定部、１０４、２０４：姿勢可視化部、１０５、２０５：空間表示部、１０６、２０６：基準姿勢保持部、１０７、２０７：基準姿勢可視化部、１０８、２０８：姿勢比較部、２０９：可視化結果記録部

Claims (16)

1. 撮影手段により所定の視点から撮影された現実空間の画像データに基づいて、前記現実空間の画像データに映る被写体の姿勢を認識する認識手段と、
   前記所定の視点とは異なる視点を設定する設定手段と、
   前記認識手段により認識された前記被写体の姿勢に基づいて、前記設定手段により設定された前記視点から見た前記被写体の姿勢の像を生成する生成手段と、
   前記生成手段により生成された前記被写体の姿勢の像を表示手段において表示させる表示制御手段とを有することを特徴とする情報処理装置。
2. 前記表示制御手段は、前記生成手段により生成された前記被写体の姿勢の像と、現実空間の像とを表示手段において表示させることを特徴とする請求項１に記載の情報処理装置。
3. 前記設定手段は、前記認識手段により認識された前記被写体の姿勢に基づいて前記所定の視点を導出し、導出した前記所定の視点に基づいて、前記所定の視点とは異なる前記視点を設定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記表示手段は、ハーフミラー又はミラーを備えることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 撮影手段により第１の視点から撮影された現実空間の画像データに基づいて、前記現実空間の画像データに映る被写体の姿勢を認識する認識手段と、
   第２の視点及び第３の視点を設定する設定手段と、
   前記第２の視点から見た、前記認識手段により認識された前記被写体の姿勢が配置された空間と、前記第３の視点から見た前記被写体の姿勢とを生成する生成手段と、
   前記生成手段により生成された、前記空間と、前記第３の視点から見た前記被写体の姿勢とを、表示手段において表示させる表示制御手段とを有することを特徴とする情報処理装置。
6. 前記設定手段は、前記第１の視点に基づいて前記第２の視点を設定し、前記第２の視点に基づいて前記第３の視点を設定することを特徴とする請求項５に記載の情報処理装置。
7. 前記表示制御手段は、前記生成手段により生成された、前記空間と、前記第３の視点から見た前記被写体の姿勢とを左右反転して表示させることを特徴とする請求項５又は６に記載の情報処理装置。
8. 前記生成手段は、基準姿勢を示す姿勢データに基づいて、前記第３の視点から見た前記基準姿勢を生成し、前記表示制御手段は、さらに、前記生成手段により生成された前記第３の視点から見た前記基準姿勢を表示させることを特徴とする請求項５乃至７の何れか１項に記載の情報処理装置。
9. 前記第３の視点から見た前記被写体の姿勢と、前記第３の視点から見た基準姿勢とを比較する比較手段を更に有し、
   前記表示制御手段は、さらに、前記比較手段による比較結果を表示させることを特徴とする請求項８に記載の情報処理装置。
10. 前記生成手段による結果を記録する記録手段を更に有し、
    前記表示制御手段は、前記記録手段において記録される前記結果を表示させることを特徴とする請求項５乃至９の何れか１項に記載の情報処理装置。
11. 前記第１の視点、前記第２の視点及び前記第３の視点は夫々、異なる視点であることを特徴とする請求項５乃至１０の何れか１項に記載の情報処理装置。
12. 前記撮影手段により撮影された前記現実空間の画像データに基づいて、前記現実空間の画像データに映る被写体を識別する識別手段を更に有し、
    前記認識手段は、前記識別手段による識別結果に対応する前記被写体の体に係るデータに基づいて、前記被写体の姿勢を認識することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
13. 情報処理装置によって実行される情報処理方法であって、
    撮影手段により所定の視点から撮影された現実空間の画像データに基づいて、前記現実空間の画像データに映る被写体の姿勢を認識する認識ステップと、
    前記所定の視点とは異なる視点を設定する設定ステップと、
    前記認識ステップにより認識された前記被写体の姿勢に基づいて、前記設定ステップにより設定された前記視点から見た前記被写体の姿勢の像を生成する生成ステップと、
    前記生成ステップにより生成された前記被写体の姿勢の像を、表示手段において表示させる表示制御ステップとを有することを特徴とする情報処理方法。
14. 情報処理装置によって実行される情報処理方法であって、
    撮影手段により第１の視点から撮影された現実空間の画像データに基づいて、前記現実空間の画像データに映る被写体の姿勢を認識する認識ステップと、
    第２の視点及び第３の視点を設定する設定ステップと、
    前記第２の視点から見た、前記認識ステップにより認識された前記被写体の姿勢が配置された空間と、前記第３の視点から見た前記被写体の姿勢とを生成する生成ステップと、
    前記生成ステップにより生成された、前記空間と、前記第３の視点から見た前記被写体の姿勢とを、表示手段において表示させる表示制御ステップとを有することを特徴とする情報処理方法。
15. 撮影手段により所定の視点から撮影された現実空間の画像データに基づいて、前記現実空間の画像データに映る被写体の姿勢を認識する認識ステップと、
    前記所定の視点とは異なる視点を設定する設定ステップと、
    前記認識ステップにより認識された前記被写体の姿勢に基づいて、前記設定ステップにより設定された前記視点から見た前記被写体の姿勢の像を可視化する生成ステップと、
    前記生成ステップにより生成された前記被写体の姿勢の像を表示手段において表示させる表示制御ステップとをコンピュータに実行させるためのプログラム。
16. 撮影手段により第１の視点から撮影された現実空間の画像データに基づいて、前記現実空間の画像データに映る被写体の姿勢を認識する認識ステップと、
    第２の視点及び第３の視点を設定する設定ステップと、
    前記第２の視点から見た、前記認識ステップにより認識された前記被写体の姿勢が配置された空間と、前記第３の視点から見た前記被写体の姿勢とを生成する生成ステップと、
    前記生成ステップにより生成された、前記空間と、前記第３の視点から見た前記被写体の姿勢とを、表示手段において表示させる表示制御ステップとをコンピュータに実行させるためのプログラム。

Images