JP2018005727A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】処理対象となる対象物体の姿勢と、見本姿勢の間の小さな差異についてもわかり易く提示することを目的とする。【解決手段】撮影手段により撮影された対象物体の撮影画像に基づいて、対象物体の姿勢を推定する第１の姿勢推定手段と、第１の姿勢推定手段により推定された対象物体の姿勢と、見本姿勢と、の間の差異を特定する差異特定手段と、差異が閾値以上の場合と差異が閾値未満の場合とで、異なる表示方法で差異が生じたことを示す差異情報を表示する表示処理手段とを有する。【選択図】図３

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、リハビリテーション・フィットネス・運動指導やスポーツフォーム解析をする際に、画像を利用して、対象となる姿勢と見本となる姿勢との差異を比較する装置が知られている。カメラにより撮影した画像や動画を用いて、差異を比較することで、指導者がいない場合でも、自分のフォームを確認して見本の姿勢に近づくように現在のフォームを修正することができる。特許文献１には、リハビリテーションなどの際に、人物の画像に、その人物の重心とのずれを示した線を重畳して、改善方法も含めて可視化し、差異の大きい箇所を誇張表示することが開示されている。

特開２０１２−８１０８９号公報

しかしながら、フィットネス・運動指導やスポーツフォーム解析の際には、常に可能な限り正確に見本に合わせることが望まれるため、小さな差異についても注目する必要がある。一方で、見本との差異が比較的小さい場合は、実際の姿勢と見本姿勢とを比較しても、差異が分かりにくいという課題がある。

本発明はこのような問題点に鑑みなされたもので、処理対象となる対象物体の姿勢と、見本姿勢の間の小さな差異についてもわかり易く提示することを目的とする。

そこで、本発明は、情報処理装置であって、撮影手段により撮影された対象物体の撮影画像に基づいて、前記対象物体の姿勢を推定する第１の姿勢推定手段と、前記第１の姿勢推定手段により推定された前記対象物体の姿勢と、見本姿勢と、の間の差異を特定する差異特定手段と、前記差異が閾値以上の場合と前記差異が閾値未満の場合とで、異なる表示方法で差異が生じたことを示す差異情報を表示する表示処理手段とを有することを特徴とする。

本発明によれば、処理対象となる対象物体の姿勢と、見本姿勢の間の小さな差異についてもわかり易く提示することができる。

情報処理装置のハードウェア構成を示す図である。 情報処理装置の処理の説明図である。 情報処理装置のソフトウェア構成を示す図である。 強調表示の説明図である。 表示処理を示すフローチャートである。 第２の実施形態に係る情報処理装置のソフトウェア構成を示す図である。 修正方法の強調表示の説明図である。 第２の実施形態に係る表示処理を示すフローチャートである。 強調表示の説明図である。 第３の実施形態に係る表示処理を示すフローチャートである。 時間方向のずれの説明図である。 第４の実施形態に係る表示処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、第１の実施形態にかかる情報処理装置１００のハードウェア構成を示す図である。情報処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、入力部１０６と、通信部１０７と、撮影部１０８を有している。ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、各種データや各種プログラム等を記憶する。なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

表示部１０５は、各種情報を表示する。入力部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部１０７は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。撮影部１０８は、撮影画像としての動画（映像）を撮影する。

図２は、情報処理装置１００の処理の説明図である。図２に示すように、処理の対象となる対象者Ａの前に撮影部１０８を配置する。撮影部１０８は、対象者Ａを含む映像を撮影する。情報処理装置１００は、撮影した映像から、対象者Ａの姿勢（以下、対象姿勢と称する）を推定する。情報処理装置１００は、表示部１０５に撮影した対象者Ａの画像２００と共に、見本姿勢２１０と、対象姿勢２２０とを表示する。ここで、対象者は、対象物体の一例である。本実施形態においては、処理の対象が人物である場合について説明するが、対象物体は人物に限定されるものではない。

図３は、情報処理装置１００のソフトウェア構成を示す図である。情報処理装置１００は、記憶部３０１と、見本選択部３０２と、撮影処理部３０３と、姿勢推定部３０４と、差異特定部３０５と、表示処理部３０６と、を有する。記憶部３０１は、複数の見本姿勢を記憶している。見本姿勢とは、指導者等、見本となる人物による理想的な姿勢を示す情報である。見本となる人物は見本物体の一例である。見本姿勢は、人物の関節の絶対位置や、相対位置、パーツ間の角度等を示す情報である。但し、見本姿勢における姿勢の表現方法は、実施形態に限定されるものではない。また、複数の見本姿勢は、異なる指導者の映像から得られた姿勢等、異なる姿勢を示すものである。

見本選択部３０２は、ユーザ操作に応じて、記憶部３０１に記憶されている複数の見本姿勢の中から、ユーザが希望する見本姿勢を選択する。例えば、見本選択部３０２は、表示部１０５に見本姿勢を表示し、ユーザは、タッチパネルやジェスチャー認識等で希望の見本姿勢を選択する。また、他の例としては、見本選択部３０２は、ランダムに見本姿勢を１つ選択してもよい。なお、記憶部３０１に記憶される見本姿勢が１つのみの場合には、見本選択部３０２は、記憶部３０１に記憶されている見本姿勢を選択する。

撮影処理部３０３は、対象者の映像を取得する。以下、対象者を撮影した映像を対象映像と称する。撮影処理部３０３が撮影する画像は、２次元画像でもよく、距離画像でもよい。また、他の例としては、情報処理装置１００は、複数の撮影部を有し、撮影処理部３０３は、ステレオ画像を取得してもよい。また、情報処理装置１００は、２次元画像、距離画像及びステレオ画像の中から複数の画像を取得してもよい。

姿勢推定部３０４は、対象映像に基づいて、対象者の姿勢を推定する。姿勢推定部３０４は、対象映像から対象者の領域を抽出し、対象者の姿勢を推定する。以下、姿勢推定部３０４による姿勢推定処理について説明する。姿勢推定部３０４は、公知の手法を用いて、対象映像から対象者の領域を抽出する。例えば、背景差分が考えられる。姿勢推定部３０４は、対象者がいない状態で撮影した画像と対象者がいる状態で撮影した画像との差分を算出して閾値処理することで、人物領域を抽出する。なお、対象者の領域の抽出方法は特にこの手法に限定しない。

次に、姿勢推定部３０４は、抽出した人物領域から対象者の姿勢を算出する。これも公知の手法を用いることで実現できる。例えば、姿勢推定部３０４は、部分領域識別器を用いて、画像の人物領域の各部分が、学習した部分領域のいずれに該当するかを識別し、識別された部分と関節位置やパーツ位置との相関関係から関節位置やパーツ位置を算出し、これを対象者の姿勢とする。

姿勢推定部３０４は、特徴量に距離画像の２点比較を使用し、識別器に決定木を用いて、各画素について部分領域の識別を行ってもよい。本処理については、以下の文献を参照することができる。

Jamie Shotton, "Real-Time Human Pose Recognition in Parts from Single Depth Images," IEEE Computer Vision and Pattern Recognition, 2011

また、他の例としては、姿勢推定部３０４は、特徴量としてＨＯＧやＥｄｇｌｅｔなどを使用して、識別器としてＳＶＭを用いてもよい。姿勢推定部３０４は、識別境界（超平面）からの距離を用いて尤度を算出することができる。

姿勢推定部３０４は、このようにして識別された部分領域から姿勢を算出する。姿勢推定部３０４は、部分領域と関節位置やパーツ位置との間の相関関係を予め学習時に算出しておくことで、姿勢を求めることができる。相関関係とは例えば距離や方向などが考えられる。また、姿勢推定部３０４は、ある特定の関節周辺の部分領域のみを利用して、その中心位置や重み付きの重心位置を算出してパーツ中心を求めてもよい。ｍｅａｎｓｈｉｆｔ等の手法を用いれば、クラスタごとに重心を算出できる。

さらに、部分領域の特徴と関節位置やパーツ位置との関係を結び付け、関節位置やパーツ位置を直接算出する方法もある。例えば、姿勢推定部３０４は、特徴量に距離画像の２点比較を使用し、識別器に決定木を用いて、各画素について各関節位置への相対ベクトルを直接算出してもよい。姿勢推定部３０４は、すべての画素で取得した各画素から各関節への相対ベクトルを、関節毎に集計し、ｍｅａｎｓｈｉｆｔを用いて関節位置を算出する。本処理については、以下の文献を参照することができる。

Ross Girshick, "Efficient Regression of General-Activity Human Poses from Depth Images," IEEE International Conference on Computer Vision, 2011

また、他の例としては、姿勢推定部３０４は、複数の部分領域特徴から姿勢を推定してもよい。姿勢推定部３０４は、入力画像を複数のブロックに分けて、各ブロックのＨＯＧ特徴を次元削減したものを特徴量とし、これら特徴量と人物の姿勢との関係を回帰分析で結びつけ、人物の姿勢を推定してもよい。この方法では部位毎ではなく、全体の姿勢が一意に決まる。本処理については、以下の文献を参照することができる。

大西克則, "HOG特徴に基づく単眼画像からの人体３次元姿勢推定," MIRU2008

また、他の例としては、姿勢推定部３０４は、対象映像から対象者の領域を抽出することなく、対象者の姿勢を推定してもよい。すなわち、姿勢推定部３０４は、頭部検出器・胴体検出器・手検出器・足検出器などの複数の検出器を用いて、画像中で検出器に対応する部位を検出することで、姿勢を算出する。姿勢推定部３０４は、頭部・首・胴体からなる検出器を用いた後、さらに手検出器を用いて上半身を検出する。そして、姿勢推定部３０４は、検出した各部位から関節位置を算出し、上半身の姿勢を推定する。本処理については、以下の文献を参照することができる。

Youding Zhu, "Controlled human pose estimation from depth image streams," Computer Vision and Pattern Recognition Workshops, 2008

なお、Ｚｈｕらは距離画像を使用しているが、二次元画像を使用してもよい。例えば、特徴量としてＨＯＧやＥｄｇｌｅｔなどを使用して、識別器としてＳＶＭやｂｏｏｓｔｉｎｇを用いることなどが考えられる。姿勢推定部３０４は、各検出器で対象の部位の検出を行い、尤度と位置を得る。

なお、姿勢推定部３０４は、この複数検出器を用いる方法を、抽出した人物領域内のみで用いてもよい。部分領域識別器のときと同様に、検出対象の部位と関節やパーツとの相関関係を予め学習時に算出しておくことで、検出した部位から関節位置やパーツ位置を求めることができる。

この他、予め対象にマーカー等を付けておく方法も考えられる。部位により違う色のマーカーを付けるなどして、姿勢推定部３０４が画像からそれらのマーカーを検出することで、望む部位の位置を簡単に得ることができ、姿勢を算出することができる。

差異特定部３０５は、対象姿勢と見本姿勢の差異を特定する。差異は単純な方法で求められる。例えば、姿勢間の差異を位置で求める場合は、パーツや関節の絶対位置が求まっていれば、単純に引き算で求まる。どこかを基準にした相対位置が求まっている場合には、基準の位置合わせを行って、引き算すれば求まる。角度の場合は、２つのパーツもしくは３つの関節を使用することで、算出でき、同様に引き算することで求まる。

表示処理部３０６は、表示部１０５に対象映像を表示する。さらに、対象映像上に、見本姿勢や、対象姿勢を表示する。なお、見本姿勢と対象姿勢を表示することにより、両姿勢の差異を明示することができる。

図２のような使用方法を想定した場合は、対象映像を撮影しつつ、対象者が見ることができるように表示部１０５を設置するのが望ましい。表示処理部３０６は、図２のように表示の際に対象映像と見本姿勢とを重畳する。以下、この処理について説明する。表示処理部３０６は、まず対象姿勢を利用して、見本姿勢と対象映像の位置合わせを行う。例えば、対象姿勢と見本姿勢の体格が同等の場合を考える。この場合、表示処理部３０６は、対象姿勢の腰位置を基準とし、見本姿勢の腰位置を一致させ、他のパーツや関節の位置を合わせる。この場合、１点のみなので、平行移動のみによる位置合わせになる。なお、腰位置の他にも、頭部位置、首位置、重心位置、頭部重心位置など、どの位置を基準としてもよい。

また、体格差がある場合、表示処理部３０６は、パーツの長さ等を事前に計測することで、見本姿勢から対象者の体格にあわせた見本姿勢になるようにパーツの長さを変換する。表示処理部３０６は、基準位置で位置合わせした後、基準位置に近い部位から順に見本姿勢のパーツの長さを変換していく。パーツ間の角度を維持しつつ、四肢の末端にむけて長さを算出していくことで、対象の体格にあった見本姿勢を求めることができる。より簡易的には、表示処理部３０６は、見本姿勢と対象姿勢の身長の比を各パーツの長さの比として、同様に対象の体格にあった見本姿勢を算出してもよい。

他の方法としては、表示処理部３０６は、基準点２点を用いることで、体格差を考慮せずに、見本姿勢を平行、縮小拡大して、対象の姿勢に重ね合わせることができる。さらに、表示処理部３０６は、基準点を３点、もしくは基準点１点と床面などの平面を用いることで、体格差を考慮せずに、見本姿勢を平行、回転、縮小、拡大して対象の姿勢に重ねることができる。

なお、本実施形態においては、対象映像と見本姿勢とを重畳表示するものとするが、必ずしも重畳表示する必要はない。他の例としては、表示処理部３０６は、左右や上下に並べて表示してもよい。また、表示処理部３０６は、対象映像をそのまま用いるのではなく、対象映像の代替となるＣＧキャラクターなどで対象姿勢を表現し、そこに、見本姿勢を合わせて表示してもよい。

表示処理部３０６は、差異が差異閾値未満である場合に、差異の強調表示を行う。なお、差異閾値は予め定められた値であり、例えばＨＤＤ１０４等に記憶されている。図４は、強調表示の説明図である。図４（Ａ）の実線４０１は見本姿勢を示しており、破線４０２は対象姿勢を示している。図４（Ａ）のように、見本姿勢と対象の姿勢の違いが明らかである場合は、強調しなくても、違いがわかりやすい。ところが、図４（Ｂ）のように見本姿勢４１１と対象姿勢４１２の差異が小さくなってきた場合、そのまま表示すると、差異がわかり難くなってくる。そこで、表示処理部３０６は、差異がある閾値より小さい場合に、差異の強調表示を行う。

表示処理部３０６は、実際の差異よりも大きくなるように差異を誇張して表示する。具体的には、図４（Ｃ）のように、見本姿勢４２１に対して、実際の姿勢より差異が大きいように誇張した対象姿勢の線（破線）４２２を表示する。なお、表示処理部３０６は、（式１）により、強調した対象姿勢の肩の位置及び手の位置を求める。なお、見本姿勢の肩位置をＸ_cs＝（Ｘ_cs1，Ｘ_cs2，Ｘ_cs3)、手位置をＸ_cw＝（Ｘ_cw1，Ｘ_cw2，Ｘ_cw3)とする。また、対象者の姿勢の肩位置をＸ_ts＝（Ｘ_ts1，Ｘ_ts2，Ｘ_ts3)、手位置をＸ_tw＝（Ｘ_tw1，Ｘ_tw2，Ｘ_tw3)とする。このとき、強調した対象者の姿勢の肩位置Ｘ_es＝（Ｘ_es1，Ｘ_es2，Ｘ_es3)と手位置Ｘ_ew＝（Ｘ_ew1，Ｘ_ew2，Ｘ_ew3)は数式１で求まる。ここで、（式１）のａ、ｂ₁、ｂ₂、ｂ₃は定数とする。

表示処理部３０６はさらに、差異を誇張するだけでなく、例えば対象姿勢の破線の色を、通常の破線の色から他の色に変更する等して、程度は小さいものの差異が生じていることをよりわかり易く対象者に伝えるような表示を行ってもよい。また、表示処理部３０６は、差異の改善具合を対象姿勢の破線の色の濃さなどで表してもよい。また、他の例としては、情報処理装置１００は、音声を用いて現状の姿勢の良さを知らせてもよい。

強調表示の方法は実施形態に限定されるものではない。強調表示の他の例としては、表示処理部３０６は、差異が生じている領域を拡大表示してもよい。具体的には、図４（Ｄ）のように、差異が生じている領域４３１を拡大して強調表示部分４３２のように表示する。これにより、見本姿勢４３３と対象姿勢４３４の違いがはっきりわかるようになる。このとき、強調表示部分４３２は、人物領域外の背景領域に表示するのが望ましい。本処理は、差異が特定されなかった領域を第１の倍率で表示し、差異が特定された領域を第１の倍率に比べて大きい第２の倍率で表示する処理の一例である。

図５は、情報処理装置１００による表示処理を示すフローチャートである。まず、Ｓ５０１において、見本選択部３０２は、対象者等のユーザによる操作に応じて、記憶部３０１に記憶されている複数の見本姿勢の中から所望の見本姿勢を選択する。次に、Ｓ５０２において、見本選択部３０２は、撮影部１０８による対象映像の撮影を開始するよう制御し、対象映像を取得する。次に、Ｓ５０３において、姿勢推定部３０４は、対象映像に基づいて、対象姿勢の推定を開始する（姿勢推定処理）。

次に、Ｓ５０４において、表示処理部３０６は、対象映像上に対象姿勢及び見本姿勢を重畳して表示部１０５に表示するよう制御する。なお、表示処理部３０６は、重畳表示の際には前述の通り、姿勢推定部３０４により特定された対象姿勢を利用して位置合わせを行う。なお、対象姿勢と見本姿勢とに差異が生じている場合には、両者の表示は一致しない。このように、表示処理部３０６は、対象姿勢と見本姿勢を表示することにより、差異が生じていることを示すことができる。ここで、対象姿勢と見本姿勢が一致しない状態の表示画像は、差異が生じたことを示す差異情報の一例である。また、対象姿勢及び見本姿勢は、差異の大きさに応じた位置に表示される。すなわち、本処理は、差異の大きさを示す差異情報を表示する処理の一例である。

次に、Ｓ５０５において、差異特定部３０５は、対象姿勢と見本姿勢の比較処理を開始する。このとき、差異特定部３０５は、カウント表示や音声ガイダンスなどにより、対象者と見本姿勢とを比較するタイミングを合わせる。他の例としては、差異特定部３０５は、対象者による対象動作が始まった時間を基準に見本姿勢の開始タイミングの調整を行うなどして、対象者の好きなタイミングに見本姿勢の開始タイミングを自動で合わせてもよい。

次に、Ｓ５０６において、差異特定部３０５は、対象姿勢と見本姿勢の差異を特定する（差異特定処理）。次に、Ｓ５０７において、表示処理部３０６は、差異と差異閾値とを比較する。表示処理部３０６は、差異が差異閾値未満の場合には（Ｓ５０７でＹｅｓ）、処理をＳ５０８へ進める。表示処理部３０６は、差異が差異閾値以上の場合には（Ｓ５０７でＮｏ）、処理をＳ５０９へ進める。

Ｓ５０８において、表示処理部３０６は、差異の強調表示を行う。前述の通り、表示処理部３０６は、差異特定部３０５により推定された差異に比べて大きい差異を表示する。また、他の例としては、表示処理部３０６は、強調表示として、差異が生じている領域を拡大表示してもよい。次に、Ｓ５０９において、ＣＰＵ１０１は、姿勢の比較を終了するか否かを確認する。ＣＰＵ１０１は、終了する場合には（Ｓ５０９でＹｅｓ）、表示処理を終了する。ＣＰＵ１０１は、終了しない場合には（Ｓ５０９でＮｏ）、処理をＳ５０６へ進める。

以上のように、情報処理装置１００は、対象姿勢と見本姿勢の差異が差異閾値以上の場合と差異閾値未満の場合とにおいて、異なる表示方法で差異が生じたことを示す差異情報を表示する（表示処理）。すなわち、情報処理装置１００は、処理対象となる対象物体の姿勢と、見本姿勢の間の小さな差異についてもわかり易く提示することができる。

第１の実施形態に係る情報処理装置１００の第１の変更例について説明する。情報処理装置１００は、差異が差異閾値未満の場合だけでなく、差異閾値以上の場合においても何らかの表示処理を行ってもよい。例えば、情報処理装置１００は、「望ましくない姿勢です」といった通知情報を対象映像に重畳表示してもよい。

第２の変更例としては、情報処理装置１００は、見本となる人物の見本となる動き等を撮影し、これにより得られた見本映像から見本姿勢を推定し、見本姿勢として記憶部に記憶してもよい。なお、本処理の詳細については、第２の実施形態において詳述する。

第３の変更例としては、表示処理部６１８は、対象映像と、対象姿勢及び見本姿勢をリアルタイムに表示してもよく、また他の例としては、一旦記憶部等に記憶した後に再生表示してもよい。

（第２の実施形態）
第２の実施形態に係る情報処理装置は、差異が生じていることを示す差異情報として、対象姿勢を見本姿勢に近づけるような修正方法を表示する。さらに、本実施形態の情報処理装置は、差異が差異閾値未満の場合に、修正方法を強調表示する。図６は、第２の実施形態に係る情報処理装置１００のソフトウェア構成を示す図である。情報処理装置１００は、第１撮影処理部６１１と、第１姿勢推定部６１２と、第２撮影処理部６１３と、第２姿勢推定部６１４と、記憶部６１５と、差異特定部６１６と、修正方法特定部６１７と、表示処理部６１８とを有している。また、情報処理装置１００は、ハードウェア構成として第１の撮影部６０１と、第２の撮影部６０２の２つの撮影部を有している。第１撮影部６０１、第１撮影処理部６１１、第１姿勢推定部６１２及び差異特定部６１６は、それぞれ第１の実施形態に係る撮影部１０８、撮影処理部３０３、姿勢推定部３０４及び差異特定部３０５と同様である。

第２撮影部６０２は、見本となる人物を含む映像を撮影し、第２撮影処理部６１３は、見本となる人物の映像を取得する。以下、見本となる人物を撮影した映像を見本映像と称する。なお、見本となる人物としては、動作の指導者等である。第２姿勢推定部６１４は、見本映像に基づいて、見本となる人物の姿勢を推定する。なお、姿勢を推定する処理は、姿勢推定部３０４による処理と同様である。第２姿勢推定部６１４は、推定結果を見本姿勢として記憶部６１５に記録する。

なお、見本となる人物の映像を撮影し、姿勢を推定し、見本姿勢を記録する一連の処理は、対象映像の撮影前に行っておき、記憶部６１５に見本姿勢が記憶された状態で、表示処理を開始することとしてもよい。この場合、表示処理においては、記憶部６１５から見本姿勢を読み出すだけでよく、表示処理における処理負荷を軽減することができる。

修正方法特定部６１７は、差異特定部６１６により特定された差異に基づいて、対象姿勢を見本姿勢に近付けるような、対象姿勢の修正方法を特定する。表示処理部６１８は、表示部１０５に対象映像を表示する。さらに、対象映像上に、見本姿勢や、対象姿勢を表示する。さらに、表示処理部６１８は、差異が差異閾値未満である場合に、修正方法の強調表示を行う。図７は、修正方法の強調表示の説明図である。図７（Ａ）の実線７０１は見本姿勢を示し、破線７０２は対象姿勢を示している。また、矢印７０３は修正方法を示している。図７（Ａ）のように、見本姿勢と対象姿勢の違いが明らかである場合は、修正方法を強調しなくても、修正方法がわかりやすい。しかし、図７（Ｂ）のように見本姿勢７１１と対象姿勢７１２の違いが小さい場合、修正方法７１３をそのまま表示すると、修正方法がわかり難くなってくる。そこで、表示処理部６１８は、差異が差異閾値未満の場合に、修正方法を強調表示する。なお、表示処理部６１８は、差異が差異閾値以上の場合には、差異の大きさに応じた修正方法を表示する。

以下、修正方法の強調表示の処理について説明する。表示処理部６１８は、具体的には、差異特定部６１６により特定された差異を修正するのに比べて修正の大きさをより大きく誇張して表示する。例えば、図７（Ｃ）の矢印７２１のように、見本姿勢７１１に対して、対象姿勢７１２からの修正方法を示す実際の矢印（図７（Ｂ）の矢印７１３）に比べて長い矢印を表示する。さらに、表示処理部６１８は、差異の大きさや改善具合をさらにわかり易くすべく、矢印の太さを変えたり、徐々に色を変えたりしてもよい。また、他の例としては、情報処理装置１００は、音声出力により改善具合を表現するよう制御してもよい。

表示処理部６１８による修正方法を強調表示する方法は実施形態に限定されるものではない。他の例としては、表示処理部６１８は、矢印に加えて、差異を示す指標を表示してもよい。具体的には、表示処理部６１８は、図７（Ｄ）のように、見本姿勢７１１に対し、対象姿勢７１２の修正方法について、方向を矢印７３１で示し、さらに、どの程度の差異かを例えば、７３２のようなバーで示す。本実施形態においては、バーの中の２つの黒印が一致すれば、見本姿勢と対象姿勢が一致したことを示すものとする。なお、差異の表現はこの方法に限定されるものではなく、一致度や距離等を数値で大きく表示するなど、色々な方法が考えられる。

記憶部６１５は、対象映像や対象映像に対応した対象姿勢、見本姿勢、特定した差異や修正方法の情報を記憶する。記憶部６１５に記憶されている情報は、ユーザ操作等に応じて表示処理部６１８により表示部１０５に表示される。すなわち、表示処理部６１８は、リアルタイムに処理するときに限らず、表示処理の終了後、ユーザが見たい時に再生表示することができる。また、記憶した姿勢をその後、見本姿勢として使用することもできる。

図８は、第２の実施形態に係る情報処理装置１００による表示処理を示すフローチャートである。なお、図８に示す表示処理の各処理のうち、図５を参照しつつ説明した第１の実施形態に係る表示処理の各処理と同一の処理には、同一の番号を付している。Ｓ８０１において、第２撮影処理部６１３は、第２撮影部６０２による見本映像の撮影を開始するよう制御し、見本映像を取得する。次に、Ｓ８０２において、第２姿勢推定部６１４は、見本映像に基づいて、見本姿勢の推定を開始し、推定結果としての見本姿勢を記憶部６１５に記録する。次に、Ｓ８０３において、第１撮影処理部６１１は、第１撮影部６０１による対象映像の撮影を開始するよう制御し、対象映像を取得する。次に、Ｓ８０４において、第１姿勢推定部６１２は、対象映像に基づいて、対象姿勢の推定を開始し、推定結果としての対象姿勢を記憶部６１５に記録する。ＣＰＵ１０１は、その後処理をＳ５０４へ進める。

そして、ＣＰＵ１０１は、Ｓ５０５の処理の後、処理をＳ８０５へ進める。Ｓ８０５において、差異特定部６１６は、対象姿勢と見本姿勢の差異を特定し、特定した差異を記憶部６１５に記録する。次に、Ｓ８０６において、修正方法特定部６１７は、Ｓ８０５において特定された差異に基づいて、差異が小さくなるような、すなわち対象姿勢が見本姿勢に一致するような修正方法を特定し、特定した修正方法を記憶部６１５に記録する。次に、Ｓ８０７において、表示処理部６１８は、差異と差異閾値とを比較する。表示処理部６１８は、差異が差異閾値未満の場合には（Ｓ８０７でＹｅｓ）、処理をＳ８０８へ進める。表示処理部６１８は、差異が差異閾値以上の場合には（Ｓ８０７でＮｏ）、処理をＳ８０９へ進める。

Ｓ８０８において、表示処理部６１８は、修正方法の強調表示を行う。前述の通り、表示処理部６１８は、Ｓ８０６において特定された修正方法に比べて大きく修正するような修正方法を誇張表示する。また、他の例としては、表示処理部６１８は、強調表示として、修正方法を示すバーを対象映像上に重畳表示してもよい。その後、処理をＳ５０９へ進める。一方で、Ｓ８０９においては、表示処理部６１８は、Ｓ８０６において特定された修正方法を表示し、その後処理をＳ５０９へ進める。なお、第２の実施形態に係る情報処理装置１００のこれ以外の構成及び処理は、第１の実施形態に係る情報処理装置１００の構成及び処理と同様である。

以上のように、情報処理装置１００は、対象姿勢と見本姿勢の差異が差異閾値以上の場合と再閾値未満の場合とにおいて、異なる表示方法で、空間的な差異の修正方法を示すことにより差異が生じたことをユーザに通知する差異情報を表示する。これにより、ユーザは、差異が生じたことだけでなく、修正方法についても容易に理解することができる。

さらに、情報処理装置１００は、対象姿勢、見本姿勢、差異、修正方法などを記憶しておくことができる記憶部を持つことで、望む情報を記憶することができる。さらに、情報処理装置１００は、リアルタイムだけでなく、一連の動作が終わった後に再生表示することが可能となる。また、情報処理装置１００は、見本映像から見本姿勢を特定、記録するので事前に見本姿勢を用意しなくても、その場で指導者に見本となる姿勢を行ってもらうことができる。

なお、第２の実施形態の変更例としては、表示処理部６１８は、差異が閾値未満の場合に、差異の大きさ及び修正方法の両方を強調表示してもよい。

（第３の実施形態）
第３の実施形態に係る情報処理装置は、差異が生じている時間が短い場合に、差異の強調表示を行う。以下、差異が生じている状態を発生状態と称する。第３の実施形態に係る情報処理装置１００のソフトウェア構成は、第２の実施形態に係る情報処理装置１００のソフトウェア構成とほぼ同様である。ただし、修正方法特定部６１７は有さないものとする。また、差異特定部６１６は、差異を特定するだけでなく、発生状態の継続時間をカウントし、これを記憶部６１５に記録する。差異特定部６１６は、発生状態が継続している場合には、特定された各時刻の差異をすべて記録してもよく、差異の最大値のみを記録してもよい。

また、表示処理部６１８は、差異が差異閾値未満の場合に替えて、発生状態の継続時間が時間閾値未満の場合に差異の強調表示を行う。なお、差異の大きさは問わない。以下、強調表示処理について説明する。図９は、強調表示の説明図である。時刻ｔ１からｔ４までの各時刻の対象姿勢と見本姿勢とを示している。一連の動作のなかで、ある時刻ｔ２において対象姿勢９０２と見本姿勢９０１に差異が生じたとする。しかし、差異の生じている時間が短い場合、対象者は差異が生じたことに気付き難い。また、気付いたとしてもとても短い時間のため、どのように間違えてどのように修正すればよいか把握できない。

そこで、表示処理部６１８は、時間方向に強調表示を行う。具体的には、表示処理部６１８は、差異の発生状態が終了した後も、一定時間、その差異を残像のような形で表示する。図９の時刻ｔ２から時刻ｔ３まで差異が生じていたとする。この場合、表示処理部６１８は、差異の発生状態の終了時である時刻ｔ３以降の一定時間、再生中の対象映像に対応する対象姿勢及び見本姿勢とは別に、差異が発生したときの対象姿勢９１２とそのときの見本姿勢９１１を表示する。対象者は、見本姿勢との短時間の差異が生じた場合でも、差異を認識しやすくなり、より正確に見本に近付けることができる。

さらに、発生状態における対象姿勢及び見本姿勢を表示し続ける時間は予め定められた一定時間とする。なお、他の例としては、表示処理部６１８は、発生状態における対象姿勢及び見本姿勢を表示し続ける時間を、発生状態の継続時間に応じて決定することとしてもよい。また、発生状態における対象姿勢及び見本姿勢の表示形態としては、透明度を変える、色を変える、表示の線の種類を変えるなどが挙げられるが、これらに限定されるものではない。

図１０は、第３の実施形態に係る情報処理装置１００による表示処理を示すフローチャートである。なお、図１０に示す表示処理の各処理のうち、図５、図８を参照しつつ説明した他の実施形態に係る表示処理の各処理と同一の処理には、同一の番号を付している。ＣＰＵ１０１は、Ｓ８０５の処理の後、処理をＳ１００１へ進める。Ｓ１００１において、差異特定部６１６は、差異の発生状態であるか否かを確認する。差異特定部６１６は、差異の発生状態である場合には（Ｓ１００１でＹｅｓ）、処理をＳ１００２へ進める。差異特定部６１６は、差異の発生状態でない場合には（Ｓ１００１でＮｏ）、処理をＳ１００３へ進める。Ｓ１００２において、差異特定部６１６は、差異の発生状態の継続時間をカウントし、その後処理をＳ５０９へ進める。

Ｓ１００３において、表示処理部６１８は、直前に終了した差異の発生状態の継続時間が時間閾値未満であって、かつ発生状態の終了後一定時間内の時点であるか否かを確認する。表示処理部６１８は、直前に終了した差異の発生状態の継続時間が時間閾値未満であって、かつ発生状態の終了後一定時間内の時点である場合には（Ｓ１００３でＹｅｓ）、処理をＳ１００４へ進める。表示処理部６１８は、直前に終了した差異の発生状態の継続時間が時間閾値未満でない場合及び発生状態の終了後一定時間内の時点でない場合には（Ｓ１００３でＮｏ）、処理をＳ５０９へ進める。Ｓ１００４において、表示処理部６１８は、上述の通り、処理時点における対象姿勢及び見本姿勢に加えて、差異が発生した時の対象姿勢及び見本姿勢、すなわち記憶部６１５に記録されている差異に応じた差異情報を表示する。ＣＰＵ１０１は、その後処理をＳ５０９へ進める。なお、第３の実施形態に係る情報処理装置１００のこれ以外の構成及び処理は、他の実施形態に係る情報処理装置１００の構成及び処理と同様である。

以上のように、本実施形態に係る情報処理装置１００は、差異の発生状態の継続時間が短い場合には、発生状態の終了後も継続して、差異が発生したときの対象姿勢及び見本姿勢を差異情報として表示する。したがって、対象者は、差異の発生状態の継続時間が短い場合においても、差異が発生したことを容易に理解することができる。

なお、第３の実施形態の変更例としては、表示処理部６１８は、差異が発生したときの対象姿勢及び見本姿勢に替えて、又はこれに加えて、修正方法を表示してもよい。

（第４の実施形態）
第４の実施形態に係る情報処理装置は、対象姿勢と見本姿勢の時間方向のずれ（差異）を特定する。第４の実施形態に係る情報処理装置１００のソフトウェア構成は、第２の実施形態に係る情報処理装置１００のソフトウェア構成とほぼ同様である。なお、差異特定部６１６は、差異を特定するだけでなく、差異に基づき、対象姿勢と見本姿勢の時間方向のずれを特定し、これを記憶部６１５に記録する。なお、差異の大きさは問わないものとする。修正方法特定部６１７は、この時間方向のずれに対する修正方法を特定する。

図１１は、時間方向のずれの説明図である。図１１は時刻ｔ１からｔ５までの各時刻の対象姿勢と見本姿勢とを示している。動作の中で、図１１のように連続した時間、対象姿勢と見本姿勢とが常に時間方向にずれる場合がある。しかし、動作をしながら、時間方向の差異の大きさや修正の仕方を把握するのは難しい。

差異特定部６１６は、対象姿勢と見本姿勢の時間方向のずれを特定する。差異特定部６１６は、例えば、Δｔの差異を計測し、連続する対象姿勢を時間方向にずらした状態で、連続する見本姿勢と比較する。これにより、例えば、時刻ｔ１から時刻ｔ３の対象姿勢が時刻ｔ２から時刻ｔ４の見本姿勢に一致した場合、時間方向のずれが生じているとして、ずれ量（時間）を特定する。

図１１の時刻ｔ５は、時間方向のずれに対する修正方法の表示例を示している。時間方向の差異が認められ、その差異が小さいとする。この場合、表示処理部６１８は、時刻ｔ５での対象姿勢１１０４と見本姿勢１１０３に加え、例えば時間ずれを表す指標１１０５を表示する。この例では動作のタイミングのずれを示したバーを用いたが、表示の仕方はこれに限定せず、速い・遅い等の文字を表示したり、姿勢を示す線の点滅によりタイミングを表したり、色々な表現があり得る。

また、複数個所でずれが生じていた場合を想定し、１１０５のような指標を表示する場所はずれが生じた部位の付近に表示するのが好ましい。また、他の例としては、表示処理部６１８は、差異が生じた中で最も把握し難い部位、すなわち、ずれが発生したが最もその差異が小さい部位に限定して表示してもよい。

図１２は、第４の実施形態に係る情報処理装置１００による表示処理を示すフローチャートである。なお、図１２に示す表示処理の各処理のうち、図５、図８を参照しつつ説明した表示処理の各処理と同一の処理には、同一の番号を付している。ＣＰＵ１０１は、Ｓ８０５の処理の後、処理をＳ１２０１へ進める。Ｓ１２０１において、差異特定部６１６は、一定時間の撮影が行われたか否かを確認する。差異特定部６１６は、一定時間の撮影が完了している場合には（Ｓ１２０１でＹｅｓ）、処理をＳ１２０２へ進める。差異特定部６１６は、一定時間の撮影が完了していない場合には（Ｓ１２０１でＮｏ）、処理をＳ８０６へ進める。その後の処理は、第２の実施形態において図８を参照しつつ説明したＳ８０６以降の処理と同様である。

Ｓ１２０２において、差異特定部６１６は、時間方向のずれを特定し（ずれ特定処理）、これを記憶部６１５に記録する。次に、Ｓ１２０３において、差異特定部６１６は、時間方向のずれのずれ量がずれ閾値未満であるか否かを確認する。差異特定部６１６は、ずれ量がずれ閾値未満の場合には（Ｓ１２０４でＹｅｓ）、処理をＳ１２０４へ進める。差異特定部６１６は、ずれ量がずれ閾値以上の場合には（Ｓ１２０４でＮｏ）、処理をＳ８０６へ進める。Ｓ１２０４において、修正方法特定部６１７は、時間方向のずれの修正方法を特定し、これを記憶部６１５に記録する。

次に、Ｓ１２０５において、表示処理部６１８は、時間方向のずれを示す差異情報と、ずれ指標１１０５のような修正方法を表示するよう制御する。なおこのとき、表示処理部６１８は、ずれ量に応じた差異情報として対象姿勢及び見本姿勢を表示してもよいが、他の例としては、ずれ量を強調表示してもよい。具体的には表示処理部６１８は、対象姿勢が見本姿勢より遅れている場合には、見本姿勢に対してさらに遅れた時刻に対象姿勢を表示させるように、遅れを強調表示してもよい。これにより、対象者は、見本からの遅れを容易に理解することができる。このとき、表示処理部６１８は、対象の姿勢の表示を点滅させたり、色を変えたりしてもよい。これにより、ずれ具合は小さいが、ずれが生じているということを対象者に伝えることができる。

さらに、図１１の時間ずれ指標１１０５を修正方法として表示する。これにより、時間方向のずれの大きさと見本より速いのか遅いのかの向きを示すことができる。見本姿勢より遅い場合には、表示処理部６１８は、前述したような見本からの遅れを強調した表示をした上で、時間ずれ指標１１０５を表示してもよい。ＣＰＵ１０１は、Ｓ１２０４の処理の後、処理をＳ５０９へ進める。なお、第４の実施形態に係る情報処理装置１００のこれ以外の構成及び処理は、他の実施形態に係る情報処理装置１００の構成及び処理と同様である。

以上のように、第４の実施形態に係る情報処理装置１００は、時間方向のずれのずれ量が小さい場合においても、差異が発生したことをわかり易く伝えることができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 情報処理装置
１０５ 表示部
３０４ 姿勢推定部
３０５ 差異特定部

Claims (14)

1. 撮影手段により撮影された対象物体の撮影画像に基づいて、前記対象物体の姿勢を推定する第１の姿勢推定手段と、
   前記第１の姿勢推定手段により推定された前記対象物体の姿勢と、見本姿勢と、の間の差異を特定する差異特定手段と、
   前記差異が閾値以上の場合と前記差異が閾値未満の場合とで、異なる表示方法で差異が生じたことを示す差異情報を表示する表示処理手段と
   を有することを特徴とする情報処理装置。
2. 前記表示処理手段は、前記差異特定手段により特定された前記差異が閾値以上の場合には、前記差異の大きさを示す差異情報を表示し、前記差異が閾値未満の場合には、前記差異に比べて大きい差異を示す差異情報を表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示処理手段は、前記撮影画像に重畳して前記差異情報を表示することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記表示処理手段は、前記撮影画像に、前記対象物体の姿勢及び前記見本姿勢を、前記差異情報として表示することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記表示処理手段は、前記撮影画像に、前記対象物体の姿勢及び前記見本姿勢を前記差異情報として表示し、前記差異が閾値以上の場合には、前記差異が特定された領域を第１の倍率で表示し、前記差異が閾値未満の場合に、前記差異が特定された領域を第１の倍率に比べて大きい第２の倍率で表示することを特徴とする請求項１に記載の情報処理装置。
6. 前記表示処理手段は、前記対象物体の姿勢を前記見本姿勢に近付ける修正方法を前記差異情報として表示することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記見本姿勢を記憶する記憶手段をさらに有し、
   前記差異特定手段は、前記記憶手段に記憶されている前記見本姿勢との間の差異を特定することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記撮影手段により撮影された見本物体の撮影画像に基づいて、前記見本姿勢を推定する第２の姿勢推定手段をさらに有し、
   前記差異特定手段は、前記第２の姿勢推定手段により推定された前記見本姿勢との差異を特定することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
9. 前記対象物体の姿勢と、前記見本姿勢と、の間の、時間方向のずれを特定するずれ特定手段をさらに有し、
   前記表示処理手段は、時間方向のずれが閾値未満の場合に、ずれを強調表示することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 撮影手段により撮影された対象物体の撮影画像に基づいて、前記対象物体の姿勢を推定する姿勢推定手段と、
    前記姿勢推定手段により推定された前記対象物体の姿勢と、見本姿勢との間の差異を特定する差異特定手段と、
    前記差異が生じている発生状態の継続時間が閾値未満であった場合に、前記発生状態の終了後の一定時間、前記差異が生じたことを示す差異情報を表示する表示手段と
    を有することを特徴とする情報処理装置。
11. 情報処理装置が実行する情報処理方法であって、
    撮影手段により撮影された対象物体の撮影画像に基づいて、前記対象物体の姿勢を推定する第１の姿勢推定ステップと、
    前記第１の姿勢推定ステップにおいて推定された前記対象物体の姿勢と、見本姿勢と、の間の差異を特定する差異特定ステップと、
    前記差異が閾値以上の場合と前記差異が閾値未満の場合とで、異なる表示方法で差異が生じたことを示す差異情報を表示する表示処理ステップと
    を含むことを特徴とする情報処理方法。
12. 情報処理装置が実行する情報処理方法であって、
    撮影手段により撮影された対象物体の撮影画像に基づいて、前記対象物体の姿勢を推定する姿勢推定ステップと、
    前記姿勢推定ステップにおいて推定された前記対象物体の姿勢と、見本姿勢との間の差異を特定する差異特定ステップと、
    前記差異が生じている発生状態の継続時間が閾値未満であった場合に、前記発生状態の終了後の一定時間、前記差異が生じたことを示す差異情報を表示する表示ステップと
    を含むことを特徴とする情報処理方法。
13. コンピュータを、
    撮影手段により撮影された対象物体の撮影画像に基づいて、前記対象物体の姿勢を推定する第１の姿勢推定手段と、
    前記第１の姿勢推定手段により推定された前記対象物体の姿勢と、見本姿勢と、の間の差異を特定する差異特定手段と、
    前記差異が閾値以上の場合と前記差異が閾値未満の場合とで、異なる表示方法で差異が生じたことを示す差異情報を表示する表示処理手段と
    して機能させるためのプログラム。
14. コンピュータを、
    撮影手段により撮影された対象物体の撮影画像に基づいて、前記対象物体の姿勢を推定する姿勢推定手段と、
    前記姿勢推定手段により推定された前記対象物体の姿勢と、見本姿勢との間の差異を特定する差異特定手段と、
    前記差異が生じている発生状態の継続時間が閾値未満であった場合に、前記発生状態の終了後の一定時間、前記差異が生じたことを示す差異情報を表示する表示手段と
    して機能させるためのプログラム。