JP2017080198A

JP2017080198A - 情報処理装置、情報処理方法、プログラム

Info

Publication number: JP2017080198A
Application number: JP2015213488A
Authority: JP
Inventors: 大樹深谷; Daiki Fukaya
Original assignee: Canon Marketing Japan Inc; Canon IT Solutions Inc
Current assignee: Canon Marketing Japan Inc; Canon IT Solutions Inc
Priority date: 2015-10-29
Filing date: 2015-10-29
Publication date: 2017-05-18

Abstract

【課題】正面からの映像と同じサイズで表示すると、真っ直ぐに歩けている場合や、上（または横）から見た場合の動作範囲が狭い場合には、余白となる部分が広くなり観察しづらくない情報処理装置を提供する。【解決手段】上から見た骨格・横から見た骨格が表示される領域については、サイズ調整を可能とする。また、軌跡を表示する場合には、軌跡が収まる範囲でサイズ調整をする。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、プログラムに関する。

近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ技術を用いて、介護やリハビリテーションにおける効果測定が行われている。

モーションキャプチャ技術の方式の一つとして、被験者にマーカを付けて複数方位からカメラにより撮影することで、マーカを検出し、被験者の動きをデジタルデータに変換し記録する方式がある。また、マーカを使わずに、赤外線センサーを利用してセンサーから被験者までの距離を測定し、測定された値をもとに、被験者の動きを記録する方式がある。

特許文献１には、リハビリテーションの現場においてモーションキャプチャ技術を用いた仕組みについて開示されている。

特開２０１５−６１５７７号公報

特許文献１には、モーションキャプチャ技術により取得された被験者の各関節の座標情報から骨格情報を生成し、骨格情報を画面に表示することで、被験者の動作を表示する仕組みが記載されている。
しかし、被験者の動作を単一の方向から見るだけでは、まっすぐ歩けているのか、身体の左右バランスは取れているのか等の情報を正確に得られないことがある。
そこで、本発明は、被験者の動作や姿勢をより正確に把握することが可能な仕組みを提供することを目的とする。

本発明の情報処理装置は、被験者を含む画像を取得する取得手段と、前記被験者の関節の座標情報を取得する座標取得手段と、前記座標取得手段により取得された座標情報に基づき、被験者を正面から見た場合の骨格情報と、上から見た場合の骨格情報と、横から見た場合の骨格情報とを生成する骨格情報生成手段と、前記取得手段により取得された画像と、前記骨格情報生成手段により生成された被験者を正面から見た場合の骨格情報と、上から見た場合の骨格情報と、横から見た場合の骨格情報とを表示する表示手段と、を備え、前記被験者上から見た場合の骨格情報が表示される領域と、横から見た場合の骨格情報とが表示される領域とは、当該骨格情報の大きさに合わせて調整されることを特徴とする。
また、本発明の情報処理方法は、情報処理装置の取得手段が、被験者を含む画像を取得する取得工程と、前記情報処理装置の座標取得手段が、前記被験者の関節の座標情報を取得する座標取得工程と、前記情報処理装置の骨格情報生成手段が、前記座標取得工程により取得された座標情報に基づき、被験者を正面から見た場合の骨格情報と、上から見た場合の骨格情報と、横から見た場合の骨格情報とを生成する骨格情報生成工程と、前記情報処理装置の表示手段が、前記取得工程により取得された画像と、前記骨格情報生成工程により生成された被験者を正面から見た場合の骨格情報と、上から見た場合の骨格情報と、横から見た場合の骨格情報とを表示する表示工程と、を備え、前記前記被験者上から見た場合の骨格情報が表示される領域と、横から見た場合の骨格情報とが表示される領域とは、当該骨格情報の大きさに合わせて調整されることを特徴とする。
また、本発明のプログラムは、情報処理装置において実行可能なプログラムであって、前記情報処理装置を、被験者を含む画像を取得する取得手段と、前記被験者の関節の座標情報を取得する座標取得手段と、前記座標取得手段により取得された座標情報に基づき、被験者を正面から見た場合の骨格情報と、上から見た場合の骨格情報と、横から見た場合の骨格情報とを生成する骨格情報生成手段と、前記取得手段により取得された画像と、前記骨格情報生成手段により生成された被験者を正面から見た場合の骨格情報と、上から見た場合の骨格情報と、横から見た場合の骨格情報とを表示する表示手段として機能させ、を備え、前記被験者上から見た場合の骨格情報が表示される領域と、横から見た場合の骨格情報とが表示される領域とは、当該骨格情報の大きさに合わせて調整されることを特徴とする。

本発明によれば、被験者の動作や姿勢をより正確に把握することが可能となる。

情報処理装置１０１の機能構成を示す図情報処理装置１０１のハードウェア構成を示す図被験者を撮影しながら測定を行う処理を示すフローチャート予め記録されたモーション情報を用いた場合の、各種目の測定処理を示すフローチャートレポート作成処理を示すフローチャート被験者リストの一例を示す図各関節の座標情報の一例を示す図モーション情報取得部１５１により取得された被験者の様子を示す図各関節の座標情報から形成された被験者の骨格情報の一例を示す図本発明において、情報処理装置１０１のディスプレイ２１２に表示される被験者の選択をユーザから受け付ける画面の一例を示す図である。本発明において、ステップＳ３０１でユーザから「通常歩行」の種目の選択を受け付けた場合に、情報処理装置１０１のＣＰＵ２０１が実行する処理の一例を示す図である。本発明において、ステップＳ３０１でユーザから「通常歩行」の種目の選択を受け付けた場合に、情報処理装置１０１のディスプレイ２１２に表示される画面の一例を示す図である。本発明において、ステップＳ３０１でユーザから「開眼片足立ち」の種目の選択を受け付けた場合に、情報処理装置１０１のＣＰＵ２０１が実行する処理の一例を示す図である。本発明において、ステップＳ３０２で情報処理装置１０１が被験者の撮影を開始したときに情報処理装置１０１のディスプレイ２１２に表示される画面の一例を示す図である。本発明において、ステップＳ５０２で、情報処理装置１０１のＣＰＵ２０１が測定結果を抽出する処理の一例を示す図である。本発明において、ステップＳ５０３で、情報処理装置１０１のＣＰＵ２０１がレポートを作成する処理の一例を示す図である。本発明において、計測結果を抽出するときに情報処理装置１０１のディスプレイ２１２に表示される画面の一例を示す図である。本発明において、計測結果を抽出した後に情報処理装置１０１のディスプレイ２１２に表示される画面の一例を示す図である。本発明において、情報処理装置１０１の記憶装置２０４にて測定結果を記憶する測定結果管理テーブルの一例を示す図である。本発明において、情報処理装置１０１のＣＰＵ２０１にて作成され印刷装置等に出力されるレポートの一例を示す図である。モーション情報取得部１５１において撮影し取得された映像と、骨格情報を合成した画面の一例骨格情報が表示される領域の面積が調整された画面の一例評価対象の動画と、比較対象の動画とを縦に並べて表示した画面の一例評価対象の動画と、比較対象の動画とを横に並べて表示した画面の一例種目ごとにレイアウトが登録されたテーブルの一例を示す図図２３の画面における上の動画の左右を反転させた場合を示す図比較対象の動画を重ね合わせて表示した画面の一例背景等を表示せず、骨格情報だけを表示した画面の一例被験者の動作を評価し、被験者や介護者に対するメッセージを表示する処理を示すフローチャート評価条件の一例を示す図メッセージテーブルの一例を示す図

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、情報処理装置１０１の機能構成を示した図である。

モーション情報取得部１５１は、介護やリハビリが行われる空間における人物（本発明においては、被験者（介護やリハビリを受ける者））の動きを検知し、被験者のモーション情報を取得する。

具体的には、モーション情報取得部１５１は、Ｋｉｎｅｃｔ（登録商標）として知られるセンサー群であり、ＲＧＢカメラ、深度センサー、音声センサーなどが内蔵され、被写体（本発明においては、被験者（介護やリハビリを受ける者））の位置、動き、声、顔などを認識することができる。

深度センサーは、赤外線を利用して被験者までの距離を測定する方式を用いるものとする。この方式によれば、被験者にマーカ等を付けることなくセンサーから被験者までの距離を測定することが可能である。

モーション情報取得部１５１で取得された各データは、動画データとして記憶部に記憶される。

モーション情報取得部１５１の各センサーにより取得されたモーション情報は、モーション情報解析部１５２に送信され、データ解析が行われる。

モーション情報解析部１５２では、モーション情報取得部１５１により取得された各データを解析し、被験者の動作を座標情報に変換する。

図８はモーション情報取得部１５１により取得された被験者の様子を示している。モーション情報取得部１５１は、被験者の動きを検知し、予め記憶された人体パターンとマッチングすることで、被験者の人体表面の座標を得る。そして、当該被験者の骨格を形成する各関節の座標を算出し、算出された座標情報に基づき、被験者の骨格情報を生成する。

各関節の座標情報の一例を図７に示す。また、各関節の座標情報から形成された被験者の骨格情報の一例を図９に示す。

このようにして各関節の座標情報を算出し、各関節の座標の変化を検出することで、被験者が足を上げたり、膝を曲げたりする動作を認識することが可能となる。

測定部１５３は、モーション情報解析部１５２により解析されたモーション情報と、各種目に応じた設定に基づき、当該種目における測定を行う。

図２は、本発明の実施形態に係わる情報処理装置１０１のハードウェア構成の一例を示すブロック図である。

図２に示すように、情報処理装置１０１では、システムバス２００を介してＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声入力コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。

ＲＯＭ２０２あるいは記憶装置２０４は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）やＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは記憶装置２０４からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

入力コントローラ２０５は、キーボード／タッチパネル２１０などの入力装置からの入力を制御する。入力装置はこれに限ったものでなく、マウスやマルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができる。

この入力装置を用いて各種通信装置で利用可能な通信宛先に対する宛先を入力するようになっている。

音声入力コントローラ２０６は、マイク２１１からの入力を制御する。マイク２１１から入力された音声を音声認識することが可能となっている。

ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作により受け付け可能な装置については、キーボード／タッチパネル２１０からの入力を受け付けることも可能となる。

なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

本発明では、ユーザが情報処理装置を通常する場合の表示に用いられる第１のビデオメモリ領域と、所定の画面が表示される場合に、第１のビデオメモリ領域の表示内容に重ねての表示に用いられる第２のビデオメモリ領域を有している。ビデオメモリ領域は２つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。

メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

通信Ｉ／Ｆコントローラ２０９、ネットワーク２１４を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

なお、記憶装置２０４は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）などの媒体であってもよい。

また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。

次に図３に示すフローチャートを用いて、被験者を撮影しながら測定を行う処理について説明する。なお、図３のフローチャートで示す処理は、情報処理装置１０１のＣＰＵ２０１が所定のプログラムを読み出して実行する処理である。

ステップＳ３０１では、ユーザから被験者の選択と種目の選択を受け付ける。

被験者情報は、図６に示す被験者リストに登録されているものとする。また、種目としては、眼を開けて片足で立っていられた時間を計測する「開眼片足立ち」、制限時間内に立ち座り動作を何回行えたかを計測する「椅子立ち座り」、最大歩幅を計測する「最大一歩」、５ｍの距離の歩行にかかる時間を計測する「通常歩行」、椅子から立ち上がり３ｍの距離を往復して椅子に座るまでの時間を計測する「ＴＵＧ（ＴｉｍｅｄＵｐ＆Ｇｏ）」などがある。

種目の選択を受け付けることで、当該種目の測定に必要な設定ファイルやプログラムを読み込む。

被験者情報については、既に登録されている情報から選択するだけでなく、新規で登録しても良い。

ステップＳ３０２では、ユーザから撮影指示を受け付ける。撮影指示を受け付けると、情報処理装置１０１のモーション情報取得部１５１は、被験者の撮影を開始する。すなわち、被験者を含む画像を取得する。また、各センサーにより得られた情報（被験者の各関節の座標情報など）であるモーション情報の取得を行う。

ステップＳ３０３では、撮影された映像に複数の人物がいる場合に、いずれの人物が被験者であるかの選択を受け付ける。

以下、図１０を用いて、ステップＳ３０３の処理の詳細について説明する。

図１０は、ステップＳ３０３において、情報処理装置１０１が、いずれの人物が被験者であるかの選択をユーザから受け付ける画面であり、図１０の画面は、情報処理装置１０１のディスプレイ２１２に表示される。

図１０の１００３には、情報処理装置１０１のモーション情報取得部１５１が取得した動画が表示される。

図１０の１００１にはモーション情報取得部１５１により取得された人物（被験者または介助者）の様子を、各関節の座標情報により特定される骨格情報と共に表示する。

まず、人物切替ボタン１００５がユーザによるマウスポインタ１００４の操作により押下されると、モーション情報取得部１５１で取得された情報に基づき、被験者の骨格情報を１００１に表示する。

次に、ユーザによるマウスポインタ１００４の操作により、図１０の１００１に表示される人物のうち、被験者の指定を行う。

そして、マウスポインタ１００４により選択した人物が誰であるかを、ドロップダウンリスト１００２の中からユーザによるマウスポインタ１００４により選択する。

ドロップダウンリスト１００２には、予め情報処理装置１０１が管理する被験者リスト（図６）に含まれる被験者の名前が表示される。

ステップＳ３０４では、ステップＳ３０２において取得されたモーション情報から被験者の各関節の座標情報を取得する。再生動画を用いる場合は、再生対象の動画データに含まれるモーション情報を用いて、被験者の各関節の座標情報を取得する。また、座標情報に基づき、被験者の骨格情報を生成する。
各関節の座標情報の一例を図７に示す。

ステップＳ３０５では、ステップＳ３０３で取得した映像と、ステップＳ３０４で取得した各関節の座標情報に基づき得られた骨格情報とを合成して、ディスプレイ２１２に表示する。

図２１にモーション情報取得部１５１において撮影し取得された映像と、骨格情報を合成した画面の一例を示す。

図２１の２１０１には、映像と骨格情報が合成された状態で表示される。また、２１０２には被験者を上から見た場合の骨格情報が表示され、２１０３には被験者を横から見た場合の骨格情報が表示される。

２１０２、２１０３の領域に表示される骨格情報は、モーション情報取得部１５１において取得された各関節の座標情報に基づき算出され生成される。

２１０２や２１０３の表示領域の面積は、骨格情報が表示可能な面積に調整される（骨格情報の大きさに合わせて調整される）ものとする。例えば、図２１に示す画面は、調整されていない場合の画面である。この場合、２１０３に表示される骨格情報はほとんど移動しないにも関らず、骨格情報の周囲に大きな余白が生じている。

図２２はサイズの調整が行われた場合の画面の一例である。骨格情報が収まるように調整され、余白部分が縮小している。
また、図２１の右下にある軌跡ボタンが押下されることで、骨格情報の軌跡を表示する旨を受け付ける。この軌跡を表示する旨を受け付けた場合には、当該軌跡が表示可能な大きさに調整されるものとする。

このように無駄な余白を表示しないよう制御することで、３つの骨格情報を近くに集めることが可能となるため、より観察しやすくなっている。

表示範囲の決定方法については、例えば骨格情報が収まる矩形を特定し、当該矩形から所定の幅を余白として表示する方法が考えられる。

ステップＳ３０６では、ステップＳ３０４で解析された骨格情報を用いて、ステップＳ３０１で選択された種目に応じた測定を行う。

具体的な処理の内容は、図１１、図１３、図２９を用いて説明する。

次に、図１１を用いて、本発明において、ステップＳ３０１でユーザから「通常歩行」の種目の選択を受け付けた場合に、情報処理装置１０１のＣＰＵ２０１が実行する処理について説明する。

なお、図１１の処理において、情報処理装置１０１のディスプレイ２１２に表示される画面は、例えば、図１２である。
ここで、図１２について説明する。

図１２の計測開始（終了）座標１２０１は、予め設定された通常歩行の計測を開始または終了する（ｘ、ｙ、ｚ）座標を示し、被験者のつま先のｘ座標と、計測開始（終了）座標１２０１のｘ座標が１回目重なったタイミングで、秒数のカウントを開始し、計測開始（終了）座標１２０１のｘ座標が２回目重なったタイミングで、秒数のカウントを終了する。

例えば、被験者が図１２の画面左から歩いてきた場合には、図１２の画面左側の計測開始（終了）座標１２０１のｘ座標と被験者のつま先のｘ座標が重なった時点で秒数のカウントを開始し、図１２の画面右側の計測開始（終了）座標１２０１のｘ座標と被験者のつま先のｘ座標が重なった時点で秒数のカウントを終了する。

モーション情報取得部１５１の特性上、撮影範囲の左右両端から所定の距離は、関節の座標の特定精度が低いため、計測開始（終了）座標１２０１は、図１２の画面左右両端よりも少し距離を開けた位置（座標）に設定される。

図１２の１２０２は、タイムラインを示し、タイムライン１２０２は、録画した撮影データを評価する場合に表示される。

図１２の１２０３は、評価時間指定部であり、録画した撮影データを評価する場合に、計測開始（終了）座標１２０１間とは異なる区間で、被験者の動作を評価したい場合に、評価する時間を、評価時間指定部１２０３をユーザによるマウス等の操作により動かすことで指定できる。
図１１の説明に戻る。

ステップＳ１１０１において、情報処理装置１０１は、現在処理対象となっているフレームの画像から被験者のつま先の座標を特定する。

ステップＳ１１０２において、情報処理装置１０１は、ステップＳ１１０１で現在処理対象となっているフレームの画像から被験者のつま先の座標が特定できたか否かを判定し、特定できたのであれば、ステップＳ１１０３に処理を移行し、特定できなければ本処理を終了する。

ステップＳ１１０２の処理を実行する理由について説明する。モーション情報取得部１５１は被験者がモーション情報取得部１５１に対して正面を向いていることを前提として被験者の各関節の位置座標を特定する。そのため、通常歩行のように被験者がモーション情報取得部１５１に対して横方向を向いている場合には、図３のステップＳ３０４、ステップＳ３０５によって、被験者の各関節の座標情報を取得することが困難である。各関節の座標情報を取得できた場合でなければステップＳ１１０３以降の処理を実行することができないため、ステップＳ１１０２の処理により、ステップＳ１１０３以降の処理が実行できるかを判定している。

ステップＳ１１０３において、情報処理装置１０１は、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１の間ではなく、外側の座標であるかを判定する。

ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１の外側の座標である場合に、情報処理装置１０１は本処理を終了し、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１の外側以外の座標である場合に、情報処理装置１０１は、ステップＳ１１０４に処理を移行する。

ステップＳ１１０４において、情報処理装置１０１は、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であるかを判定する。

ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上である場合に、情報処理装置１０１は、ステップＳ１１０５に処理を移行し、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上でない場合に、情報処理装置１０１は、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１の間であると判断し、ステップＳ１１０９に処理を移行する。

ステップＳ１１０５において、情報処理装置１０１は、ステップＳ１１０４で予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であると判定したのが１回目であるか否かを判定する。

ステップＳ１１０４で予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であると判定したのが１回目であると判定した場合に、情報処理装置１０１は、ステップＳ１１０６に処理を移行し、ステップＳ１１０４で予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であると判定したのが１回目でない（つまり２回目）と判定した場合に、情報処理装置１０１は、ステップＳ１１０７に処理を移行する。

ステップＳ１１０６において、情報処理装置１０１は、秒数のカウントを実行し、本処理を終了する。

ステップＳ１１０７において、情報処理装置１０１は、ステップＳ１１０６で実行した秒数のカウントを終了する。そして、ステップＳ１１０８で、被験者の動作の評価を実行し、測定結果管理テーブル（図１９）に記憶する。

ステップＳ１１０８の処理をより具体的に説明すると、情報処理装置１０１は、まず、歩行距離を、計測開始点（Ｘ１，Ｙ１，Ｚ１）、計測終了点（Ｘ２，Ｙ２，Ｚ２）間のＸ方向の距離である、Ｘ１−Ｘ２の絶対値（単位はメートル）により求める。

ここでいう計測開始点とは、被験者が図１２の画面左から歩いてきた場合には、図１２の画面左側の計測開始（終了）座標１２０１（右から歩いてきた場合には、右側の計測開始（終了）座標１２０１）、もしくは、ステップＳ１１０９でＮｏと判断したときのフレームの画像に含まれる、被験者のつま先の座標である。

また、ここでいう計測終了点とは、被験者が図１２の画面左から歩いてきた場合には、図１２の画面右側の計測開始（終了）座標１２０１（右から歩いてきた場合には、左側の計測開始（終了）座標１２０１）である。

なお、本実施例では、被験者が真っ直ぐ歩けずに斜め（図１２の画面手前もしくは奥側）にずれていってしまうことも考えられるため、基本的には被験者が真横に歩いたとして歩行距離を計算している。

ただ、他の実施例として、斜め（図１２の画面手前もしくは奥側）にずれていってしまった場合を考慮する場合、計測開始点（Ｘ１，Ｙ１，Ｚ１）、計測終了点（Ｘ２，Ｙ２，Ｚ２）間のｘ座標とｚ座標により、歩行距離を計算してもよい。

次に、情報処理装置１０１は、被験者の歩行速度を、先に求めた歩行距離をステップＳ１１０７でカウントを終了するまでにかかった時間によって割ることで求める。

そして、最後に、情報処理装置１０１は、先に求めた歩行速度で５ｍ歩いたときに要する時間を算出し、その時間が予め設定されている時間よりも長いか短いかにより、正しい通常歩行が行われたかを判定する。５ｍという数字は、被験者の通常歩行の動作を判定するのに必要な距離である。

上述したような計算を行うことにより、例えば、被験者が５ｍ歩けないような狭い部屋であっても、通常歩行の動作を正しく行ったかを判定することが可能となる。

ステップＳ１１０９において、情報処理装置１０１は、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であると判定されることで秒数のカウントを開始した後であるか否かを判定する。

秒数のカウントを開始した後であると判定した場合には、情報処理装置１０１は、本処理を終了し、秒数のカウントを開始する前であると判定した場合には、ステップＳ１１０６に処理を移行する。

ステップＳ１１０９でＮｏと判定される場合とは、例えば、現在処理を実行しているフレームの画像よりも前のフレームの画像の処理を実行しているときに、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上と重なり、本来秒数のカウントを開始すべきところを、当該フレームの画像について図３のステップＳ３０４、ステップＳ３０５によって、被験者の各関節の座標情報を特定できなかった場合に、ステップＳ１１０９でＮｏと判定される。

その場合に、ステップＳ１１０６において、計測開始（終了）座標１２０１の間で被験者のつま先の座標が認識できたところから秒数のカウントを開始することで、撮影し直しをすることなく被験者の動作を評価することが可能となる。
以上で図１１の説明を終了する。

次に、図１３を用いて、本発明において、ステップＳ３０１でユーザから「開眼片足立ち」の種目の選択を受け付けた場合に、情報処理装置１０１のＣＰＵ２０１が実行する処理について説明する。

ステップＳ１３０１において、情報処理装置１０１は、被験者の足が上がっているか否かを判定する。

より具体的には、まずステップＳ１３０１の処理を実行する前に、情報処理装置１０１は、被験者の両足のかかとのｙ座標の値を特定しておき、それぞれの足のかかとの座標の値の差が所定の範囲以内であることを特定することで、両足が揃って地面についていると判断する。

次に、ステップＳ１３０１において、いずれかの足のｙ座標の値が、ステップＳ１３０１の処理を実行する前に情報処理装置１０１が特定した被験者の両足のかかとのｙ座標の値よりも所定以上変化しているかを情報処理装置１０１が現在処理対象となっているフレームの画像から特定し、所定以上変化している場合に、その足が上がっていると情報処理装置１０１は判断する。

ステップＳ１３０１で、被験者の足が上がっていると判定した場合には、情報処理装置１０１は、ステップＳ１３０２の処理に移行し、被験者の足が上がっていないと判定した場合には、情報処理装置１０１は、ステップＳ１３０４の処理に移行する。

ステップＳ１３０２において、情報処理装置１０１は、ステップＳ１３０１で上がっていると判定した被験者の足が、所定の高さまで上がっているかを判定する。

ステップＳ１３０１で上がっていると判定した被験者の足が、所定の高さまで上がっているかを判定した場合、ステップＳ１３０３において情報処理装置１０１は、秒数のカウントを始め、ステップＳ１３０１で上がっていると判定した被験者の足が、所定の高さまで上がっていないと判定した場合、情報処理装置１０１は、本処理を終了する。

より具体的には、「開眼片足立ち」で被験者が足を上げるべき高さ（図３０）まで足を上げているかを、ステップＳ１３０２において、各足のｙ座標の値が、ステップＳ１３０１の処理を実行する前に情報処理装置１０１が特定した被験者の両足のかかとのｙ座標の値よりも所定以上変化しているかを情報処理装置１０１が現在処理対象となっているフレームの画像から特定し、所定以上変化している場合に、その足が所定の高さまで上がっていると情報処理装置１０１は判断する。

なお、ステップＳ１３０２における「所定」の値は、ステップＳ１３０１における「所定」の値よりも大きい値である。

ステップＳ１３０４において、情報処理装置１０１は、現在処理対象となっているフレームの画像よりも前のフレームにおいて、被験者の足が上がっている（ステップＳ１３０１でＹＥＳ）と判断しているか否かを判定する。

現在処理対象となっているフレームの画像よりも前のフレームの画像において、被験者の足が上がっている（ステップＳ１３０１でＹＥＳ）と判断しているならば、情報処理装置１０１はステップＳ１３０５に処理を移行し、現在測定しているフレームの画像よりも前のフレームの画像において、被験者の足が上がっている（ステップＳ１３０１でＹＥＳ）と判断していないと判定した場合、情報処理装置１０１は、被験者がまだ足を上げていないと判断して、本処理を終了する。

ステップＳ１３０５において、情報処理装置１０１は、被験者の足が下りたか否かを判定する。

より具体的には、ステップＳ１３０５において、各足のｙ座標の値が、ステップＳ１３０１の処理を実行する前に情報処理装置１０１が特定した被験者の両足のかかとのｙ座標の値よりも所定以上変化していないかを情報処理装置１０１が現在処理対象となっているフレームの画像から特定し、所定以上変化していない場合に、その足が下りていると情報処理装置１０１は判断する。

ステップＳ１３０５で、被験者の足が下りていると判定した場合には、情報処理装置１０１は、ステップＳ１３０６の処理に移行し、ステップＳ１３０３で実行した秒数のカウントを終了し、被験者の足が下りていないと判定した場合には、情報処理装置１０１は、被験者がまだ足を上げていると判定して、本処理を終了する。

ステップＳ１３０７において、情報処理装置１０１は、ステップＳ１３０３で秒数のカウントを開始してからステップＳ１３０６でカウントを終了するまでにカウントした秒数が所定の秒数（例えば、２４秒）を下回っているか、上回っているかによって被験者の運動能力を評価する。評価結果を測定結果管理テーブル（図１９）に記憶する。
以上で図１３の説明を終了する。

なお、図１３では、情報処理装置１０１が自動で被験者の足の上げ下げを判定するとしたが、図１４に示すように、ユーザ（例えば評価者）が手動で被験者の足の上げ下げを指定することも可能である。

そこで、以下、図１４を用いて、ユーザ（例えば評価者）が手動で被験者の足の上げ下げを指定する仕組みについて説明する。

図１４は、ステップＳ３０２で情報処理装置１０１が被験者の撮影を開始したときに情報処理装置１０１のディスプレイ２１２に表示される画面である。

１４０１には、情報処理装置１０１のモーション情報取得部１５１が取得した動画が表示される。

１４０２は、上げ下げボタンであり、上げ下げボタン１４０２が、ユーザによるマウス等の操作により、１回目押下されると、情報処理装置１０１は図１３の処理を停止して、上げ下げボタン１４０２が１回目押下されたタイミングで被験者が足を上げたと情報処理装置１０１は判断し、秒数のカウントを開始する。

そして、上げ下げボタン１４０２が、ユーザによるマウス等の操作により、２回目押下されると、被験者が足を下げたと情報処理装置１０１は判断し、秒数のカウントを終了する。そして、カウントした秒数に従って、被験者の運動能力を評価する。

なお、本実施例では、上げ下げボタン１４０２が、ユーザによるマウス等の操作により、１回目押下されると、情報処理装置１０１は図１３の処理を停止するとしたが、他の実施例として、図１３のステップＳ１３０３の処理以降に上げ下げボタン１４０２がユーザによるマウス等の操作により押下された場合に、情報処理装置１０１は、ステップＳ１３０４、ステップＳ１３０５の処理を実行することなく秒数のカウントを終了したり、ステップＳ１３０２の処理より前に上げ下げボタン１４０２がユーザによるマウス等の操作により押下された場合に、情報処理装置１０１は、ステップＳ１３０１、ステップＳ１３０２の処理を実行することなく秒数のカウントを開始し、その後ステップＳ１３０４以降の処理を実行するとしても良い。

図１４のように、ユーザ（例えば評価者）が手動で被験者の足の上げ下げを指定可能とすることで、図１３のように情報処理装置１０１が自動で被験者の足の上げ下げを判定する場合に、被験者が足を上げているにも関わらず足を上げていないと情報処理装置が判定してしまった場合や、被験者が足を下ろしているにも関わらず足を下ろしていないと判定してしまう場合であっても、判定結果を修正することが可能となる。
以上で、図１４の説明を終了する。

次に、図２９を用いて、被験者の動作を評価し、被験者や介護者に対するメッセージを表示する処理について説明する。図２９のフローチャートで示す処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。

ステップＳ２９０１では、特定された骨格情報が予め定められた評価条件を満たすかを判定する。

評価条件を満たす場合（ステップＳ２９０１：ＹＥＳ）は、処理をステップＳ２９０２に移行する。

評価条件を満たさない場合（ステップＳ２９０１：ＮＯ）は、処理をステップＳ２９０３に移行する。

評価条件の一例を図３０に示す。図３０に示す通り、種目ごとに評価条件と評価内容とが対応付けられている。

例えば、「種目：椅子立ち座り」については、膝の角度が１７５度以上になった場合には立ち上がる動作として評価し、９５度以下になった場合には座る動作として評価する。そして、立ち上がる動作と座る動作とが行われた場合には、立ち座り動作が１回行われたものと評価される。

開眼片足立ちにおいては、左右の足の高さの差が５ｃｍ以上になった場合に、片足を上げたと評価される。

ステップＳ２９０２では、評価値を加算等する。例えば、椅子立ち座りであれば１回を加算する。また開眼片足立ちでは、片足立ちの開始条件を満たした場合は、片足立ち時間の計測を開始する。終了条件を満たした場合は、片足立ち時間の計測を終了する。

ステップＳ２９０３では、特定された骨格座標に基づき、メッセージを特定する。

メッセージ内容は、図３１に示すメッセージテーブルに基づき特定される。例えば、種目：椅子立ち座りにおいては、膝の角度が１７５度以上になった場合には「座ってください」というメッセージが特定される。また、膝の角度が１７５度未満の状態で座る動作に移行した場合（膝の角度が小さくなった場合）には、「しっかり立ってください」とのメッセージが特定される。

また、開眼片足立ちにおいては、足を上げていない状態だと「足を上げてください」というメッセージが、上げている足の高さが低い場合には「もっと足を上げてください」というメッセージが、しっかり足を上げている状態だと「計測中」というメッセージが特定される。

このようにメッセージを表示することで、被験者や介護者は、しっかりと評価される動作をしているのか、どのような動作をすれば評価されるのかを認識することが可能となる。

ステップＳ２９０４では、ステップ２９０３で特定されたメッセージを表示する。一例として図２２の２２０１を示す。
図３の説明に戻る。

ステップＳ３０４〜Ｓ３０６の処理は、モーション情報取得部１５１により動画フレームが取得される度に行われる処理である。このようにフレームが取得される度に骨格情報を認識することで、各関節の座標情報の変化を検知し、動作を認識することが可能となる。

ステップＳ３０７では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０６で測定された結果を保存する（図１９）。

次に、図４を用いて、予め記録されたモーション情報を用いた場合の、各種目の測定処理について説明する。

なお、図３に示すリアルタイムでの測定（モーション情報を取得しながら測定も行う処理）を実行するか、図４に示す予め記録されたモーション情報を用いた測定を実行するかは、ユーザの選択により決定される。

ステップＳ４０１では、ユーザから再生する動画（測定したい被験者の動作を撮影した動画）の選択を受け付け、当該動画の再生指示を受け付ける。

なお、動画データは、モーション情報取得部１５１の各センサーにより取得されたデータを含むものである。

ステップＳ４０２では、ステップＳ４０１で選択を受け付けた動画と比較対象となる動画の選択を受け付ける。

ステップＳ４０３では、再生対象の動画と、比較対象の動画について、各種設定を受け付ける。

ステップＳ４０４では、ステップＳ４０２で受け付けた設定を保存する。図２８における２８０１の保存ボタンが押下されることで、保存処理が実行される。

ステップＳ４０５では、再生指示された動画と比較対象として設定された動画を再生する。

この際、同時再生ボタンが押下された場合には、両動画が同時に再生され、個別の再生ボタンが押下された場合には、押下された動画が個別に再生される。

そして、図３のステップＳ３０４以降の処理を実行する。

図３、図４に示すように、被験者を撮影しながらリアルタイムで動作を評価する場合と、被験者を撮影した動画を保存し、後から動作を評価する場合とを切り替え可能にすることで、例えば、被験者にその場でフィードバックしたい場合には、リアルタイムで動作を評価するようにユーザが設定し、先に複数の被験者を録画して後で評価したい場合や、繰り返し細かい動きなどをユーザ（評価者）が見ながら確認したい場合や、撮影した動画を別の種目として評価したい場合や、アノテーション機能により被験者の骨格の角度を確認したい場合や、被験者と評価者が一緒である場合には、被験者を撮影した動画を保存し、後から動作を評価するようにユーザが設定することが可能となる。

また、被験者を撮影した動画を保存し、後から動作を評価する場合には、誤検出があった場合撮りなおしをせずに、ユーザが手動で評価結果を変更できるというメリットがある。
図２３、図２４に比較画面の一例を示す。

図２３は評価対象の動画と、比較対象の動画とを縦に並べて表示した画面の一例である。

図２４は評価対象の動画と、比較対象の動画とを横に並べて表示した画面の一例である。

比較画面のレイアウト（縦に並べるか、横に並べるか）については、例えば種目ごとに縦にならべるか横に並べるかを登録しておき、当該登録内容に従って表示する方法がある。種目ごとにレイアウトが登録されたテーブルを図２５に示す。

図２５に示す通り、椅子立ち座りは横に並べ、通常歩行は縦に並べることを示している。このように、予め登録しておくことで、被験者が上下方向に移動するような種目（「椅子立ち座り」など）は横に並べ、左右方向に移動する種目（「通常歩行」など）は、縦に並べるといったことが可能となる。このように移動方向に応じて並べ方を決定することで、比較しやすいレイアウトで表示することが可能となる。

このように予め登録しておく方法は、種目が予め特定されている場合に有効である。

また、被験者の軌跡に基づき、レイアウトを決定する方法もある。例えば、被験者の軌跡が左右方向であれば上下に並べ、被験者の軌跡が上下方向であれば左右に並べるといったように、被験者の動きに基づき、レイアウトを決定する。

このように被験者の軌跡に基づき判断する方法によれば、予め種目が特定されていない場合でも、比較しやすいレイアウトで表示することが可能となる。

また、比較画面においては、動画の左右を反転させることが可能である。

図２６は、図２３の画面における上の動画の左右を反転させた場合を示す図である。図２６に示す通り、上の動画に映っている人物が図２３では右向きであったのが、図２６では左向きになっている。

反転する旨の指示は、図２６の２６０１で示すチェックボックスにチェックがなされることにより受け付ける。２６０１における「上画面反転」がチェックされると上の画面が反転する。「下画面反転」がチェックされると下の画面が反転する。両方にチェックがなされると、上下両方の画面が反転する。

このように反転させることで、例えば１ヶ月前は映像の左から右に向かって歩いて測定したが、今回は右から左に向かって測定したといった場合にも、両者の歩く方向を統一することが出来るため、比較しやすくなり、両者の差異を詳しく把握することが可能となる。

また、比較画面においては、比較対象の画像を並べて表示するだけでなく、重ね合わせて表示することも可能である。

重ね合わせて表示した一例を図２７に示す。図２７における２７０１と２７０２は、比較対象の画像である。そして、２７０３は２７０１と２７０２の画像を重ね合わせた画像である。

比較画面においては、比較対象の画像のサイズや位置を調整することが可能である。

サイズについては、図２７の自動調整メニュー２７０４の「大きさ」にチェックを入れることで、例えば頭部と腰部までの長さを用いて、当該長さを比較対象の骨格情報間で一致するよう調整される。

また、自動で調整するだけでなく、ユーザの操作により調整することも可能である。この場合は、図２７における大きさ調整ボタン２７０５、２７０６を押下することにより、調整可能である。

このようにサイズの調整ができることで、身長の異なる人物同士を比較する場合や、過去に撮影されたものと倍率が異なる場合等においても、比較しやすくなり、両者の差異を詳しく把握することが可能となる。

位置については、図２７の自動調整メニュー２７０４の「位置」にチェックを入れることで、例えば頭部の位置を比較対象の骨格情報間で一致するよう調整される。また、合成画像の中央に人物が映るよう位置が調整される。

また、ユーザがドラッグ操作することで、位置を調整することも可能である。

このように、位置を調整可能にすることで、比較対象の骨格情報を所望の位置に配置して比較することや、重ね合わせて比較することが可能となり、比較しやすくなり、両者の差異を詳しく把握することが可能となる。

また、自動調整メニュー２７０４の「両方」にチェックを入れると、サイズと位置の両方が調整される。

また、比較画面においては、被験者を含む背景映像を表示せず、骨格情報だけを表示することが可能である。
骨格情報だけを表示した画面の一例を図２８に示す。
図２８に示す画面の右端に表示切替メニューがあり、その中の「カラー」という項目にチェックがなされると背景が表示され、チェックを外すと骨格情報だけ表示される。
すなわち、被験者を含む背景映像を表示するか否か選択を受け付け、受け付けた内容に従い、被験者を含む背景映像を表示するか否かが決定される

例えば、比較対象の動画がそれぞれ異なる部屋で撮影された場合には、背景の違いが邪魔をして骨格の動きの比較が困難となってしまう。特に合成画像においては、異なる背景同士が重畳して表示されるため、非常に見づらくなり、比較しづらくなってしまう。そこで、背景を消すことで、比較対象を明確に表示することができ、両者の差異を詳しく把握することが可能となる。

上述した各種画面において設定された内容（比較動画の組み合わせ、画面レイアウト、位置、サイズなど）は、比較シナリオとして保存し、再利用可能である。

比較シナリオの情報には、動画ファイルの情報、再生開始位置、再生終了位置、ズーム状態、合成映像の調整済み位置、左右反転の設定が含まれる。

このように、設定された内容を比較シナリオとして保存することで、あとから再度見直したいというときにも、再度設定する手間を省くことができる。

次に、図５を用いて、レポート作成処理について説明する。

ステップＳ５０１では、ユーザから被験者の選択を受け付け、当該被験者の測定結果（レポート）の出力指示を受け付ける。

ステップＳ５０２では、出力指示を受け付けた被験者の測定結果を抽出する。

ここで図１５を用いて、測定結果抽出処理の詳細について説明する。

ステップＳ１５０１では、情報処理装置１０１は、ユーザから抽出条件の設定を受け付ける。図１７に抽出条件設定画面のイメージを示す。図１７の画面では、抽出条件として、開始日付１７０１、終了日付１７０２を設定させる。

ステップＳ１５０２では、情報処理装置１０１は、ユーザから種目の選択を受け付ける。図１７の画面では、種目１７０３として、開眼片足立ち、椅子立ち座り、最大一歩、通常歩行、ＴＵＧから選択させる。

ステップＳ１５０３では、情報処理装置１０１は、ステップＳ１５０１およびＳ１５０２で受け付けた、抽出条件、種目に従って、図１９に示す測定結果管理テーブルから今回および前回の測定結果を抽出する。具体的には、図１７の抽出ボタン１７０４が押下されることにより本処理が実行され、抽出条件である開始日付１７０１と終了日付１７０２の範囲で、選択された種目１７０３に対して測定結果管理テーブルを検索し、最新の測定結果と、２番目に新しい測定結果を、今回結果、前回結果として抽出する。

このように指定された種目（通常複数指定あり）に対して、指定された期間範囲に含まれる最新の測定結果と、２番目に新しい結果を今回測定結果、前回測定結果として抽出することにより、それぞれの種目に対して検索条件を設定して測定結果を検索して今回測定結果と前回測定結果を選定するといった一連作業を実施することなく、レポート出力するための測定結果を抽出することができる。

ここで図１９を用いて、測定結果管理テーブルについて説明する。測定結果管理テーブルは、測定結果ＩＤ１９０１、被験者１９０２、測定日時１９０３、種目１９０４、測定値１９０５、評価点１９０６、動画ファイル１９０７を項目として含む。測定結果ＩＤ１９０１は測定結果を一意に識別するための文字列である。被験者１９０２は測定を受けた被験者である。測定日時１９０３は測定を開始した日時である。種目１９０４は測定された種目であり、開眼片足立ち、椅子立ち座り、最大一歩、通常歩行、ＴＵＧのいずれかである。測定値１９０５は測定結果を表す数値である。評価点１９０６は測定値１９０５をもとに評価された点数である。動画ファイル１９０７は測定結果に対応する動画データのファイル名、または、動画データへのリンクである。

ステップＳ１５０４では、情報処理装置１０１は、ステップＳ１５０３にて抽出した測定結果をディスプレイ２１２等に表示する。図１８に抽出結果表示画面のイメージを示す。図１８の画面では、抽出された測定結果に対応する動画データのサムネイル画像１８０１を表示する。
図５の説明に戻る。

ステップＳ５０３では、ステップＳ５０２で抽出された結果に基づき、レポートを作成する。

ここで図１６を用いて、レポート作成処理の詳細について説明する。

ステップＳ１６０１からＳ１６０５の処理は、ステップＳ１５０２で選択を受け付けた種目ごとに繰り返し実行する。

ステップＳ１６０１では、情報処理装置１０１は、ステップＳ１５０３にて抽出した、今回および前回の測定結果を取得する。

ステップＳ１６０２では、情報処理装置１０１は、ステップＳ１６０１にて取得した測定結果が評価済みかどうか判定する。具体的には、測定結果管理テーブルの評価点１９０６に値が設定されているかで判定する。評価済みであればステップＳ１６０４に進み、評価済みでなければステップＳ１６０３に進む。

ステップＳ１６０３では、情報処理装置１０１は、未評価の測定結果に対して評価を実施し、測定結果管理テーブルの測定値１９０５および評価点１９０６に登録する。

ステップＳ１６０４では、情報処理装置１０１は、測定結果に対応する動画から、動画の各フレーム画像を検索して、種目に対して特徴的なタイミングのフレーム画像を抽出する。特徴的なタイミングを決定する条件は種目ごとに決められており、例えば、開眼片足立ちであれば足を地面につけたタイミング、つまり足を上げている状態から足をついた状態に状態が遷移したタイミング、最大一歩であれば最も大きく両脚を開いたタイミング、つまり最高記録と判定された時の足を上げている状態から足をついたタイミング、のように決められている。具体的な条件は、各関節に対する座標データの値や変化状況、複数の関節の座標データの相関関係等を基に設定される。なお、特徴的なタイミングのフレーム画像は、本処理で抽出してもよいし、評価時に抽出して保存しておき本処理で呼び出してもよい。また、本実施例では、種目ごとに１つの特徴的なフレーム画像を抽出しているが、条件によっては複数のフレーム画像を抽出してもよい。

ステップＳ１６０５では、情報処理装置１０１は、ステップＳ１６０４にて抽出した特徴的なフレーム画像のサムネイル画像と、各種目に対する評価結果をレポート要素として出力する。ステップＳ１６０４にて特徴的なフレーム画像が複数抽出された場合には、対応するサムネイル画像を並べて複数出力してもよいし、１つに絞り込んで出力してもよい。

このようにレポート要素に各種目に対する評価結果と、特徴的なフレーム画像のサムネイル画像を出力することにより、数値データによる状況把握だけではなく、視覚的、直感的に測定結果の良否等を把握することができる。

ステップＳ１６０６では、各種目に対して出力されたレポート要素を集約し、レポート作成日や、被験者情報、測定場所情報などの測定に関する情報を付加してレポートを作成する。
図５の説明に戻る。

ステップＳ５０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０３で作成したレポートを出力する。

図２０に本処理にて作成され、ステップＳ５０４にて出力されるレポートの出力例を示す。図２０の出力例では、レポート情報欄２００１には作成日、実施者（被験者）、実施場所、担当者が表示され、総合コメント欄２００２には評価者からコメント、レーダーチャート欄２００３には種目ごとの評価点のレーダーチャートが表示される。ピックアップ種目欄２００４にはユーザに選択させた種目に対し、ステップＳ１６０５にて抽出した特徴的な画像からサムネイルおよび骨格画像が表示される。種目別結果欄２００５には種目別の今回および前回の実施日、結果（測定値）、今回と前回の評価点から判定される改善度合、評価者からの種目に対するコメントと、ステップＳ１６０５にて抽出した特徴的なフレーム画像のサムネイル画像が表示される。

また、本発明におけるプログラムは、図３〜図５、図１１、図１３、図１５、図１６、図２９の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図３〜図５、図１１、図１３、図１５、図１６、図２９の各処理ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１情報処理装置

Claims

被験者を含む画像を取得する取得手段と、
前記被験者の関節の座標情報を取得する座標取得手段と、
前記座標取得手段により取得された座標情報に基づき、被験者を正面から見た場合の骨格情報と、上から見た場合の骨格情報と、横から見た場合の骨格情報とを生成する骨格情報生成手段と、
前記取得手段により取得された画像と、前記骨格情報生成手段により生成された被験者を正面から見た場合の骨格情報と、上から見た場合の骨格情報と、横から見た場合の骨格情報とを表示する表示手段と、
を備え、
前記被験者を上から見た場合の骨格情報が表示される領域と、横から見た場合の骨格情報とが表示される領域とは、当該骨格情報の大きさに合わせて調整されることを特徴とする情報処理装置。
骨格情報の軌跡を表示する旨の設定を受け付ける受付手段をさらに備え、
前記受付手段により骨格情報の軌跡を表示する旨の設定を受け付けた場合、前記被験者を上から見た場合の骨格情報が表示される領域と、横から見た場合の骨格情報とが表示される領域とは、当該骨格情報の軌跡に合わせて調整されることを特徴とする請求項１に記載の情報処理装置。
情報処理装置の取得手段が、被験者を含む画像を取得する取得工程と、
前記情報処理装置の座標取得手段が、前記被験者の関節の座標情報を取得する座標取得工程と、
前記情報処理装置の骨格情報生成手段が、前記座標取得工程により取得された座標情報に基づき、被験者を正面から見た場合の骨格情報と、上から見た場合の骨格情報と、横から見た場合の骨格情報とを生成する骨格情報生成工程と、
前記情報処理装置の表示手段が、前記取得工程により取得された画像と、前記骨格情報生成工程により生成された被験者を正面から見た場合の骨格情報と、上から見た場合の骨格情報と、横から見た場合の骨格情報とを表示する表示工程と、
を備え、
前記前記被験者を上から見た場合の骨格情報が表示される領域と、横から見た場合の骨格情報とが表示される領域とは、当該骨格情報の大きさに合わせて調整されることを特徴とする情報処理方法。
情報処理装置において実行可能なプログラムであって、
前記情報処理装置を、
被験者を含む画像を取得する取得手段と、
前記被験者の関節の座標情報を取得する座標取得手段と、
前記座標取得手段により取得された座標情報に基づき、被験者を正面から見た場合の骨格情報と、上から見た場合の骨格情報と、横から見た場合の骨格情報とを生成する骨格情報生成手段と、
前記取得手段により取得された画像と、前記骨格情報生成手段により生成された被験者を正面から見た場合の骨格情報と、上から見た場合の骨格情報と、横から見た場合の骨格情報とを表示する表示手段として機能させ、
を備え、
前記被験者を上から見た場合の骨格情報が表示される領域と、横から見た場合の骨格情報とが表示される領域とは、当該骨格情報の大きさに合わせて調整されることを特徴とするプログラム。