JP2020077388A

JP2020077388A - 運動解析装置

Info

Publication number: JP2020077388A
Application number: JP2019176571A
Authority: JP
Inventors: 和泉小山; Izumi Koyama
Original assignee: Koyu Kai
Current assignee: Koyu Kai
Priority date: 2018-09-28
Filing date: 2019-09-27
Publication date: 2020-05-21

Abstract

【課題】２次元画像データに基づいて３次元空間における身体の各部位の運動を解析する。【解決手段】対象者の身体の運動を解析する運動解析装置１は、対象者の時系列の２次元画像の情報を取得する情報取得部２１０と、情報取得部２１０により取得された２次元画像の情報に基づいて２次元画像における対象者の身体の関節に対応する複数のノードの２次元座標を算出する２次元座標算出部２１１と、２次元座標算出部２１１により算出された複数のノードの２次元座標に基づいて対象者の身体の部位に対応する複数のノード間の距離を算出するノード間距離算出部２１２と、２次元座標算出部２１１により算出された複数のノードの２次元座標とノード間距離算出部２１２により算出された複数のノード間の距離とに基づいて複数のノードの３次元座標を算出する３次元座標算出部２１３とを備える。【選択図】図４

Description

本発明は、対象者の身体の運動を解析する運動解析装置に関する。

従来、カメラの２次元画像データに基づいて、対象者の活動量を測定するようにした装置が知られている（例えば特許文献１参照）。特許文献１の装置では、人の頭部の大きさが一定であると仮定して、２次元画像における頭部の大きさに基づいてカメラと対象者との距離を算出し、対象者の移動速度および移動面積を算出し、対象者の活動量を算出する。

平８−１７８３９０号公報

しかしながら、上記特許文献１記載の装置では、対象者がカメラの方向を向いて立っていない場合や身体を左右に捻っている場合など、カメラから身体の各部位までの距離が異なる場合には、２次元画像データに基づいて３次元空間における身体の各部位の運動を解析することが難しい。

本発明の一態様は、対象者の身体の運動を解析する運動解析装置であって、対象者の時系列の２次元画像の情報を取得する情報取得部と、情報取得部により取得された２次元画像の情報に基づいて、２次元画像における対象者の身体の関節に対応する複数のノードの２次元座標を算出する２次元座標算出部と、２次元座標算出部により算出された複数のノードの２次元座標に基づいて、対象者の身体の部位に対応する複数のノード間の距離を算出するノード間距離算出部と、２次元座標算出部により算出された複数のノードの２次元座標と、ノード間距離算出部により算出された複数のノード間の距離とに基づいて、複数のノードの３次元座標を算出する３次元座標算出部と、を備える。

本発明によれば、２次元画像データに基づいて３次元空間における身体の各部位の運動を解析することができる。

本発明の実施形態に係る運動解析装置の設置の一例を概略的に示す図。本発明の実施形態に係る運動解析装置の斜視図。本発明の実施形態に係る運動解析装置の断面図。本発明の実施形態に係る運動解析装置の構成を概略的に示すブロック図。図４の２次元座標算出部が設定するノードの一例を示す図。居室内の対象者を撮影した２次元画像の一例を示す２次元座標の説明図。居室内の対象者を撮影した２次元画像の一例を示す３次元座標の説明図。歩行中の対象者の動きの一例を示す図。本発明の実施形態に係る運動解析装置による活動量算出処理を説明するための図。本発明の実施形態に係る運動解析装置による運動の協調性の評価処理を説明するための図。本発明の変形例を説明するための図。

以下、図１〜図１０を参照して本発明の実施形態について説明する。本発明の実施形態に係る運動解析装置は、特定の対象者を常時見守るために、例えば介護施設の居室などに設置され、対象者の身体の各部位の運動を解析するものである。特に、身体の各部位の運動量に基づいて測定される日々の活動量を監視することで、認知症の初期状態を早期に発見する、あるいは、歩行等の特定の活動における身体の各部位の運動の協調性を評価することで、転倒または転落しやすい状態を早期に発見することを目的とする。

図１は、本発明の実施形態に係る運動解析装置１の設置の一例を概略的に示す図である。運動解析装置１は、監視カメラなどにより構成され、介護施設の居室や独居の高齢者の自宅などに設置されて対象者の見守り監視を行う。運動解析装置１により出力される画像データなどは、介護施設のナースステーションに設置された端末や、見守り対象者の家族の携帯端末などに送信することができる。図１は、運動解析装置１を介護施設の居室に設置する場合の一例である。居室は、例えば、図１に左側から示すように、居室の出入口となるエリアＡＲ１（出入口のドア付近）、対象者が歩いて移動するエリアＡＲ２（洗面エリアなど）、対象者が主に臥位で過ごすエリアＡＲ３（ベッドなどが置かれたエリア）により構成される。

図１に示すように、運動解析装置１は、対象者の居室への入室や居室からの退出（エリアＡＲ１）、歩行等の動作（エリアＡＲ２）、就寝中の様子（エリアＡＲ３）を監視できるよう、例えば出入口とは反対側の壁等に設置される。なお、超広角の魚眼レンズを複数搭載したドーム型の全天球カメラを使用する場合は、運動解析装置１を居室の天井の中央等に設置することもできる。介護施設等のレイアウトが同一の複数の居室に複数の運動解析装置１を設置する場合、運動解析装置１は、各居室における同一の位置に同一の角度で設置される。

図２は、運動解析装置１の斜視図である。運動解析装置１は、略電球形状の筐体１１を備える。筐体１１は、一端部において、ねじ部１２ａが形成された導電性の口金部１２を有する。ねじ部１２ａは、例えば壁面に取り付け可能なスタンドの先端部のソケットに螺合され、口金部１２を介して本体に電力が供給される。壁面に取り付けられたダクトレールのソケットに螺号されるようにしてもよい。筐体１１の他端部には、透光性を有する樹脂材により構成されるカバー１３が取り付けられる。このような電球形状とすることにより、運動解析装置１は、市販の電球のように簡易に設置できるとともに、一般的な監視カメラが対象者に与える「見張られている」という意識を低減することができる。

図３は、運動解析装置１の断面図である。図３に示すように、筐体１１内には、対象者を撮影するカメラ１４と、カメラ１４の周囲に周方向等間隔に配置された複数（例えば８個）のＬＥＤ１５と、コントローラ２０とが配置され、口金部１２および図示しないケーブルなどを介してこれらに外部から電力が供給される。カメラ１４は、図示しないケーブルなどを介してコントローラ２０に接続される。筐体１１には排熱用のスリット１１ｓが設けられる（図２）。コントローラ２０は、ナースステーションに設置されたナースコール親機（ナースコールボード）などの報知部や、介護記録の作成、管理を行うための管理用端末（例えば、介護スタッフ用のノートパソコンなど）に、有線または無線で電気的に接続される。なお、図示は省略するが、コントローラ２０には、ＵＳＢ（Universal Serial Bus）などの外部入力ポートが設けられる。

カメラ１４は、対象者を常時撮影し、その画像データ（動画データ）をコントローラ２０に送信する。カメラ１４としては、例えば５〜１０倍程度の光学ズーム機能を有する通常のＲＧＢカメラを使用する。図３に示すように、カメラ１４は、レンズ部がカバー１３の表面と平行となるように、筐体１１内の中央に配置される。カメラ１４は、レンズ部がカバー１３に固定され、本体部が筐体１１に設けられたレール１１ｒに沿って矢印で示す筐体１１の長さ方向に移動可能であり、これにより居室のレイアウト等に応じて倍率を適宜調整することができる。

ＬＥＤ１５は、例えば、高輝度白色ＬＥＤにより構成される。ＬＥＤ１５は、照射面がカバー１３の表面と平行となるように配置される。なお、対象者の就寝中など居室が暗い状態で見守り監視を行う場合には、カメラ１４として通常のＲＧＢカメラに代えて赤外線カメラを使用し、ＬＥＤ１５として高輝度白色ＬＥＤに代えて赤外線ＬＥＤを使用してもよい。カメラ１４として赤外線カットフィルタを除去したＲＧＢカメラを使用するとともに、ＬＥＤ１５として高輝度白色ＬＥＤと赤外線ＬＥＤとを交互にカメラ１４の周囲に周方向等間隔に配置して使用してもよい。

ところで、従来のナースコールによる見守りシステムでは、対象者本人が異変を感じたときに自身でナースコール子機を操作するため、対象者本人が意識を失った場合や動けなくなった場合には報知を行うことができない。また、従来の監視カメラによる見守りシステムでは、監視カメラの映像を介護スタッフなどが見て対象者に異変があるか否かを判断するため、見落としや見過ごしによって対象者の異変に気付くのが遅れることがある。

そこで、本発明の実施形態では、監視カメラの２次元画像における対象者の身体の各部位の３次元位置を算出して対象者の身体の各部位の運動を解析できるよう、以下のように運動解析装置を構成する。

図４は、運動解析装置１の構成を概略的に示すブロック図である。運動解析装置１は、カメラ１４と、カメラ１４に電気的に接続されるコントローラ２０とを有する。コントローラ２０は、ＣＰＵ２１、ＲＯＭ，ＲＡＭなどのメモリ２２、その他の周辺回路を有するコンピュータを含んで構成される。コントローラ２０には、ＵＳＢ（Universal Serial Bus）などの外部入力ポートが設けられ、パーソナルコンピュータなどのユーザ端末１６と接続可能に構成される。

ＣＰＵ２１は、機能的構成として、カメラ１４からの２次元画像データを取得する情報取得部２１０と、２次元画像における対象者の身体の各関節に対応する各ノードの２次元座標を算出する２次元座標算出部２１１と、身体の各部位に対応するノード間の距離を算出するノード間距離算出部２１２と、各ノードの３次元座標を算出する３次元座標算出部２１３と、各部位の運動量を算出する運動量算出部２１４と、対象者の活動量を算出する活動量算出部２１５と、各部位の運動方向を判定する運動方向判定部２１６と、部位同士の運動の協調性を評価する協調性評価部２１７と、情報出力部２１８とを有する。

情報取得部２１０は、カメラ１４からコントローラ２０に送信された画像データ、およびユーザ端末１６からコントローラ２０に送信された各種データを受信することで各種情報を取得する。情報取得部２１０は、カメラ１４から送信された画像データに基づいて、例えば所定時間ごとに、２次元の静止画像および当該静止画像の撮影時刻の情報（時系列の２次元画像の情報）を取得する。情報取得部２１０が取得する情報には、ユーザ端末１６から送信されたカメラ１４の設定情報等も含まれる。

２次元座標算出部２１１は、情報取得部２１０により取得された時系列の２次元画像の情報に基づいて、各時刻の２次元画像における対象者の身体の各関節の位置に対応する複数のノードを設定するとともに、各ノードの２次元座標を算出する。各ノードの設定および座標の算出は、例えば、ＯｐｅｎＰｏｓｅライブラリ（コンピュータビジョンに関する国際学会ＣＶＰＲ２０１７、カーネギーメロン大学、ＺｈｅＣａｏら）などの深層学習による特徴点検出アルゴリズムを利用して行う。ＯｐｅｎＰｏｓｅライブラリでは、特徴点間の距離や相対的な動きなどの特徴点の関連性に基づいて各関節の位置を検出する。このため、同一画像内に複数の対象者がいる場合、身体の一部が隠れている場合、画面への出入りがある場合、立位以外の姿勢の場合でも、正確に特徴点を検出することができる。

図５は、２次元座標算出部２１１が設定するノードの一例を示す図である。図５の例に示すように、２次元座標算出部２１１は、鼻、首、右肩、左肩など、対象者の身体の各関節を含む特徴点の位置を検出し、それらに対応するｎ個のノードＮｎ（図では１８個のノードＮ１〜Ｎ１８）を設定する。

図６Ａ，６Ｂは、居室内の対象者を撮影した２次元画像Ｉ２ｄの一例を示す図である。カメラ１４は、固定された位置および角度で設置され、図６Ａ、６Ｂに示すように居室全体（ＡＲ１〜ＡＲ３）を撮影する。図６Ａに示すように、２次元座標算出部２１１は、例えば２次元画像Ｉ２ｄの左下端を原点Ｐ０（０，０）とした画素単位で、２次元画像Ｉ２ｄにおける各ノードＮｎの２次元座標（ｘｎ，ｙｎ）を算出する。図６Ａには、対象者の首に対応するノードＮ６の座標（ｘ６，ｙ６）、右肩に対応するノードＮ７の座標（ｘ７，ｙ７）、左肩に対応するノードＮ８の座標（ｘ８，ｙ８）のみ示す。

ノード間距離算出部２１２は、２次元座標算出部２１１により算出された各ノードＮｎの２次元座標（ｘｎ，ｙｎ）に基づいて、対象者の身体の各部位に対応するノード間の距離を算出する。例えば、図６ＡのノードＮ６の座標（ｘ６，ｙ６）とノードＮ７の座標（ｘ７，ｙ７）とに基づいて、対象者の首から右肩までの部位に対応するノード間の距離ｄ６７を算出する。また、ノードＮ６の座標（ｘ６，ｙ６）とノードＮ８の座標（ｘ８，ｙ８）とに基づいて、対象者の首から左肩までの部位に対応するノード間の距離ｄ６８を算出する。左右の肩から肘までの部位に対応するノード間の距離ｄ７９，ｄ８１０、左右の肘から手首までの部位に対応するノード間の距離ｄ９１１，ｄ１０１２、左右の腰から膝までの部位に対応するノード間の距離ｄ１３１５，ｄ１４１６、左右の膝から足首までの部位に対応するノード間の距離ｄ１５１７，ｄ１６１８なども同様に算出する。

３次元座標算出部２１３は、２次元座標算出部２１１により算出された各ノードＮｎの２次元座標（ｘｎ，ｙｎ）と、ノード間距離算出部２１２により算出された各部位に対応するノード間の距離とに基づいて、各ノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）を算出する。図６Ｂに示すように、３次元座標算出部２１３は、例えば２次元画像Ｉ２ｄの左下端を原点Ｐ０（０，０，０）として、各ノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）を算出する。

カメラ１４に対して対象者が正面方向を向いている場合、対象者の首から右肩までの部位に対応するノード間の距離ｄ６７と、首から左肩までの部位に対応するノード間の距離ｄ６８とは、等しくなる。一方、図６Ａ，６Ｂに示すように、カメラ１４に対して対象者が左斜め方向を向いている場合、対象者の首から右肩までの部位に対応するノード間の距離ｄ６７は、首から左肩までの部位に対応するノード間の距離ｄ６８より長くなる。各ノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）は、例えば、位置が既知のランドマークの見かけの大きさがカメラ１４の視点位置からランドマークまでの距離に反比例することを利用したMellorの手法（J. P. Mellor: "Realtime camera calibration for enhanced reality visualization," Proc. CVRMed '95, pp.471-475, 1995.）を利用して算出することができる。

３次元座標算出部２１３により算出された各ノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）を算出することで、対象者の身体の各部位の姿勢を評価することができる。すなわち、立位、座位、臥位等の身体全体の姿勢だけでなく、手足の動きや上半身の傾き具合等、身体の部位毎の姿勢を評価することができる。例えば、食事中の上半身の傾きを評価することで誤嚥につながる不適切な姿勢を検出し、適切な姿勢を指導、支援することで誤嚥や誤嚥性肺炎の発生を防止することができる。また、食事中の咀嚼回数や口に食べ物を運ぶ回数等を評価し、食欲の有無や摂食量を推定することができる。他にも、就寝中の姿勢を評価することで、睡眠時間だけでなく、睡眠の質を推定することができる。

運動量算出部２１４は、３次元座標算出部２１３により算出された各ノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）の経時的な変化に基づいて、対象者の身体の各部位の運動量を算出する。すなわち、各ノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）の時間変化に基づいて各部位の変位量および回転量を算出し、対象者の体重や筋肉量等に応じて身体の部位ごとに予め設定された適宜な係数を乗じて各部位の運動量を算出する。

活動量算出部２１５は、運動量算出部２１４により算出された各部位の運動量に基づいて、対象者の活動量を算出する。すなわち、例えば、日中の各部位の運動量の総和を対象者の身体全体の活動量として１日単位で算出する。これにより、対象者の日々の活動量（ＡＤＬ（Activity of Daily Living））を測定することができる。運動解析装置１は、特定の対象者を常時見守るために、対象者の生活拠点である介護施設の居室などに設置されるため、長期にわたって対象者の日々の活動量を監視することができる。認知症の発症や進行に関連がある日々の活動量の低下が見られた場合には、活動量低下の時期から原因を特定して対処することにより、認知症の発症や進行を防止することができる。また、介護スタッフによる必要な介入の量を把握することもできる。

運動方向判定部２１６は、３次元座標算出部２１３により算出された各ノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）の経時的な変化に基づいて、各部位の運動方向を判定する。具体的には、特定の活動中、例えば歩行中における、右手に対応するノードＮ７，Ｎ９，Ｎ１１、左手に対応するノードＮ８，Ｎ１０，Ｎ１２、右足に対応するノードＮ１３，Ｎ１５，Ｎ１７および左足に対応するノードＮ１４，Ｎ１６，Ｎ１８の動きの方向を判定する。

図７は、歩行中の対象者の動きの一例を示す図である。運動方向判定部２１６は、例えば、鼻および左右の目または耳に対応するノードＮ１〜Ｎ５の３次元座標に基づいて対象者の正面方向を検出し、検出された正面方向を基準として、各部位の動き（変位または回転）の方向が前方か、後方か、あるいはいずれの方向にも動いていないかを判定する。

運動方向判定部２１６による各部位の運動方向の判定は、ノード間距離算出部２１２により算出された各部位に対応するノード間の距離に基づいて行うこともできる。例えば、歩行中における左右の肩に対応するノード間の距離Ｎ６７，Ｎ６８および首から左右の腰までに対応するノード間の距離Ｎ６１３，Ｎ６１４の時間変化に基づいて、各部位の動きの方向を判定する。すなわち、各部位に対応するノード間の距離が大きくなる場合はカメラ１４に近付く方向への動き、小さくなる場合はカメラ１４から遠ざかる方向への動き、変化がない場合はいずれの方向にも動いていないと判定する。図７の例では、左肩（Ｎ６８）が長く、右肩（Ｎ６７）が短く変化している状態、すなわち、左手を前方、右手を後方に動かしている状態であると判定される。また、首から右腰まで（Ｎ６１３）が長く、左腰まで（Ｎ６１４）が短く変化している状態、すなわち、右足を前方、左足を後方に動かしている状態であると判定される。

なお、各部位に対応するノード間の距離（各部位の見かけの長さ）は、各部位の軸方向とカメラ１４の撮影方向との重なり度合に応じて見かけの長さが変動する。このため、例えば歩行中における左右の手足の長さ（ｄ７９，ｄ９１１，ｄ８１０，ｄ１０１２，ｄ１３１５，ｄ１５１７，ｄ１４１６，ｄ１６１８）など見かけの長さの変動が大きい部位については、歩行運動等の一連の動作における１サイクルの最大値を見かけの長さとしてもよい。ノード間の距離に基づいて各部位の運動方向を判定する場合、３次元座標への変換が不要となり、計算負荷を低減することができる。

協調性評価部２１７は、運動方向判定部２１６により判定された各部位の運動方向に基づいて、部位同士の運動の協調性を評価し、対象者の運動の協調性を評価する。例えば、歩行中の対象者の運動の場合、図７に示すように、右足が前方、左足が後方に動くときに、右手が後方、左手が前方に動くときは、協調性が良好であるとして評価する。一方、右足が前方、左足が後方に動くときに、右手が前方に動くとき、あるいは左手が後方に動くときは、協調性が不良であるとして評価する。また、右足を前方に動かすときの移動量と左足を前方に動かすときの移動量とが同等であるときは協調性が良好であるとして評価し、左右の移動量に差があるときは協調性が不良であるとして評価する。同様に、右手を前方に動かすときの移動量と左手を前方に動かすときの移動量とが同等であるときは協調性が良好であるとして評価し、左右の移動量に差があるときは協調性が不良であるとして評価する。歩行中に手の前後への動きが見られない場合にも、協調性が不良であるとして評価する。

対象者の運動の協調性を継続的に評価することで、評価結果に変化が見られた場合には、その原因を発見し、必要に応じて対処することができる。例えば、身体の痛みなどに起因して運動の協調性が不良となった場合には、運動の協調性が不良となった段階で医師等の診察を受けることにより、痛みの原因に応じた処置を受けることができる。運動の協調性が乱れた状態で歩行等の活動を行うと、転倒や転落につながるおそれがある。運動の協調性を継続的に評価することで、転倒や転落を未然に防ぐことができる。

協調性評価部２１７は、単に、動作を含む姿勢を評価することもできる。例えば、徘徊等の行動を検出することができる。また、歩行中の手足の動作を含む姿勢を評価することで、個人を識別することもできる（歩容認証）。これにより、例えば、居室に他人が入室したことを検出することができる。

情報出力部２１８は、ユーザ端末１６からの要求に応じて、活動量算出部２１５により算出された対象者の活動量の情報、および、協調性評価部２１７による対象者の運動の協調性の評価結果や各種動作の検出結果等を出力する。例えば、立つ、座る、横になる、歩く、止まる、転倒する、立ち上がる等の検出された動作をテキストデータに変換して管理用端末等に出力する。これにより、介護記録や報告書等を自動的に生成することができる（ＲＰＡ（Robotics Process Automation））。また、介護記録に限らず、対象者の主観によらない選択行動のデータとして、人文科学、社会科学等の様々な分野に活用することができる。

図８、図９は、予めコントローラ２０のメモリ２２に記憶されたプログラムに従いコントローラ２０のＣＰＵ２１で実行される処理の一例を示すフローチャートである。これらのフローチャートに示す処理は、例えばユーザ端末１６からの要求に応じて開始される。

図８は、対象者の活動量の算出処理の一例を示すフローチャートである。まず、ステップＳ１で、情報取得部２１０での処理により、カメラ１４からの画像データおよびユーザ端末１６からの出力要求を読み込む。次いで、ステップＳ２で、２次元座標算出部２１１での処理により、ステップＳ１で取得された時系列の２次元画像における対象者の身体の各関節の位置に対応するｎ個のノードＮｎを設定し、ステップＳ３で、各ノードＮｎの２次元座標（ｘｎ，ｙｎ）を算出する。次いで、ステップＳ４で、ノード間距離算出部２１２での処理により、ステップＳ３で算出された各ノードＮｎの２次元座標（ｘｎ，ｙｎ）に基づいて、対象者の身体の各部位に対応するノード間の距離を算出する。次いで、ステップＳ５で、３次元座標算出部２１３での処理により、ステップＳ３で算出された各ノードＮｎの２次元座標（ｘｎ，ｙｎ）とステップＳ４で算出された各部位に対応するノード間の距離とに基づいて、各ノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）を算出する。

次いで、ステップＳ６で、運動量算出部２１４での処理により、ステップＳ５で算出された各ノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）の経時的な変化に基づいて、対象者の身体の各部位の運動量を算出する。次いで、ステップＳ７で、活動量算出部２１５での処理により、ステップＳ６で算出された各部位の運動量に基づいて、対象者の活動量を算出する。次いで、ステップＳ８で、情報出力部２１８での処理により、ステップＳ７で算出された対象者の活動量の情報をユーザ端末１６に出力する。

図９は、対象者の運動の協調性の評価処理の一例を示すフローチャートである。ステップＳ１〜Ｓ５では、図８の活動量の算出処理と同様の処理を行い、ステップＳ９で、運動方向判定部２１６での処理により、ステップＳ５で算出された各ノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）の経時的な変化に基づいて、協調性評価の対象部位（歩行の場合は左右の手足）の運動方向を判定する。次いで、ステップＳ１０で、協調性評価部２１７での処理により、ステップＳ９で判定された各部位の運動方向に基づいて、対象者の運動の協調性を評価する。次いで、ステップＳ１１で、情報出力部２１８での処理により、ステップＳ１０で行われた運動の協調性の評価結果をユーザ端末１６に出力する。

本実施形態に係る運動解析装置１の主要な動作についてより具体的に説明する。運動解析装置１により、例えば介護施設に入居する高齢の対象者の見守りを行うと仮定する。対象者の日々の活動量が低下すると、介護スタッフ用のノートパソコン（ユーザ端末）１６を介して介護スタッフが活動量の低下傾向を確認することができる（Ｓ１〜Ｓ８）。活動量の低下傾向を確認した介護施設のスタッフが対象者に対して早期に認知症の予防に効果的なケアを行うことができるため、対象者の認知症の進行を抑制することができる。

歩行中における対象者の運動の協調性が乱れると、介護スタッフ用のノートパソコン（ユーザ端末）１６を介して介護スタッフが運動の協調性の乱れを確認することができる（Ｓ１〜Ｓ５，Ｓ９〜Ｓ１１）。運動の協調性の乱れを確認した介護施設のスタッフが対象者に対して歩行時のサポート等を的確に行うことができるため、転倒や転落を防止して対象者が寝たきりになることを防止することができる。また、往診に来た医師に対して運動の協調性が乱れ始めた時期を伝えることで、運動の協調性が乱れた原因を的確に発見することができる。

本実施形態によれば以下のような作用効果を奏することができる。
（１）対象者の身体の運動を解析する運動解析装置１は、対象者の時系列の２次元画像Ｉ２ｄの情報を取得する情報取得部２１０と、情報取得部２１０により取得された２次元画像Ｉ２ｄの情報に基づいて、２次元画像Ｉ２ｄにおける対象者の身体の関節に対応するｎ個のノードＮｎの２次元座標（ｘｎ，ｙｎ）を算出する２次元座標算出部２１１と、２次元座標算出部２１１により算出されたｎ個のノードＮｎの２次元座標（ｘｎ，ｙｎ）に基づいて、対象者の身体の各部位に対応するｎ個のノードＮｎ間の距離を算出するノード間距離算出部２１２と、２次元座標算出部２１１により算出されたｎ個のノードＮｎの２次元座標（ｘｎ，ｙｎ）と、ノード間距離算出部２１２により算出されたｎ個のノードＮｎ間の距離とに基づいて、ｎ個のノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）を算出する３次元座標算出部２１３とを備える（図４）。

カメラ１４による画像中の、対象者の身体の各部位の長さ、すなわちカメラ１４に対する対象者の傾き（奥行）を考慮することで、３次元空間における対象者の身体の各部位の位置を正確に算出し、対象者の運動を正確に解析することができる。また、カメラ１４による画像に基づいて運動を解析するため、対象者の身体に機器を装着する必要がなく、自然な状態の対象者の運動を解析することができる。

（２）運動解析装置１は、３次元座標算出部２１３により算出されたｎ個のノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）の経時的な変化に基づいて、対象者の身体の各部位の運動量を算出する運動量算出部２１４と、運動量算出部２１４により算出された対象者の身体の各部位の運動量に基づいて、対象者の活動量を算出する活動量算出部２１５とを備える（図４）。これにより、対象者の活動量を継続的に監視することができ、認知症の兆候を早期に発見することができる。

（３）運動解析装置１は、３次元座標算出部２１３により算出されたｎ個のノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）の経時的な変化に基づいて、対象者の身体の各部位の運動方向を判定する運動方向判定部２１６と、運動方向判定部２１６により判定された対象者の身体の各部位の運動方向に基づいて、対象者の運動の協調性を評価する協調性評価部２１７とを備える（図４）。これにより、対象者の運動の協調性を継続的に監視することができ、運動の協調性の乱れを早期に発見し、転倒や転落等の事故を未然に防ぐことができる。また、運動の協調性が乱れ始めた時期を特定でき、医療関係者による診察等に役立てることができる。

（４）協調性評価部２１７は、さらに、対象者の身体の部位の動作を含む姿勢を評価する。すなわち、対象者の身体の部位毎の姿勢を評価するため、対象者の行動を詳細に検出することができる。

なお、上記実施形態は種々の形態に変形することができる。以下、変形例について説明する。上記実施形態では、運動解析装置１が本体内にカメラ１４を含むように構成したが、対象者の身体の運動を解析する運動解析装置はこのようなものに限らない。例えば、運動解析装置とは別の監視カメラなどから有線または無線で対象者の画像データを取得し、取得した画像データに基づいて対象者の身体の運動を解析するようにしてもよい。この場合、例えばＯＮＶＩＦ（Open Network Video Interface Forum）等のネットワークカメラの標準化規格に対応することで、異なるメーカーの監視カメラの画像データを利用することができる。

上記実施形態では、情報取得部２１０が同一の運動解析装置１内に設置されたカメラ１４からの画像データを取得するようにしたが、対象者の時系列の２次元画像の情報を取得する情報取得部の構成はこのようなものに限らない。例えば、介護施設の複数の居室に設置された複数のカメラ１４からの画像データを取得してもよい。この場合、複数のカメラ１４からの画像データを受信して１つの画面上にマルチディスプレイ表示するパソコン等をコントローラ２０に接続し、当該パソコン等の表示部ＭＤに複数のカメラ１４によりそれぞれ撮影された複数の２次元画像Ｉ２ｄを表示する（図１０）。このようなマルチディスプレイ表示を画面キャプチャした１つの２次元画像Ｉｍｄの画像データを当該パソコン等からコントローラ２０に送信して情報取得部２１０により取得する。これにより、コントローラ２０の１つのＣＰＵ２１で複数の対象者の運動を解析することができ、運動解析装置１の導入コストを削減することができる。

上記実施形態では、２次元座標算出部２１１が図５に示すような１８個のノードＮ１〜Ｎ１８を設定し、各ノードの２次元座標を算出するようにしたが、対象者の身体の関節に対応する複数のノードの２次元座標を算出する２次元座標算出部の構成はこのようなものに限らない。対象者の顔の輪郭や眉の位置、手足の指の関節等に対応するノードの２次元座標を算出してもよい。上記実施形態では、２次元座標算出部２１１がＯｐｅｎＰｏｓｅライブラリなどの深層学習による特徴点検出アルゴリズムを利用するとしたが、２次元座標算出部は対象者の身体の関節に対応する複数のノードの２次元座標を算出するものであれば、いかなるものでもよい。

上記実施形態では、３次元座標算出部２１３がMellorの手法を利用して各ノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）を算出するようにしたが、３次元座標算出部は複数のノードの２次元座標と複数のノード間の距離とに基づいて複数のノードの３次元座標を算出するものであれば、いかなるものでもよい。

上記実施形態では、運動量算出部２１４が各ノードＮｎの３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）の時間変化に基づいて算出された各部位の変位量および回転量に、対象者の身体の部位ごとに予め設定された適宜な係数を乗じて各部位の運動量を算出し、活動量算出部２１５が対象者の活動量を算出するようにしたが、対象者の身体の部位の運動量を算出する運動量算出部および対象者の活動量を算出する活動量算出部はこのようなものに限らない。例えば、同一の画像データに基づいて２次元座標と３次元座標とを算出し、２次元座標に基づいて算出される運動量と３次元座標に基づいて算出される運動量との相関関係、例えば、係数を設定してもよい。このような係数を２次元座標に基づいて算出される運動量に乗じることで、以後、３次元座標を算出せずに正確な運動量を算出することができる。これにより、長期的に見守りを行う場合の計算負荷を低減することができる。

上記実施形態では、運動方向判定部２１６が歩行中における対象者の左右の手足の動きの方向を判定し、協調性評価部２１７が部位同士の運動の協調性を評価し、対象者の運動の協調性を評価するようにしたが、対象者の身体の部位の運動方向を判定する運動方向判定部および対象者の運動の協調性を評価する協調性評価部はこのようなものに限らない。例えば、座った状態で両手の運動を行う対象者の両手の動きの方向を判定し、運動の協調性を評価するようにしてもよい。

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。

１運動解析装置、１１筐体、１１ｒレール、１１ｓスリット、１２口金部、１３カバー、１４カメラ、１５ＬＥＤ、１６ユーザ端末、２０コントローラ、２１ＣＰＵ、２２メモリ、２１０情報取得部、２１１２次元座標算出部、２１２ノード間距離算出部、２１３３次元座標算出部、２１４運動量算出部、２１５活動量算出部、２１６運動方向判定部、２１７協調性評価部、２１８情報出力部

本発明の一態様は、特定の対象者の日々の身体の運動を解析する運動解析装置であって、対象者の時系列の２次元画像の情報を取得する情報取得部と、情報取得部により取得された２次元画像の情報に基づいて、２次元画像における対象者の身体の関節に対応する複数のノードの２次元座標を算出する２次元座標算出部と、２次元座標算出部により算出された複数のノードの２次元座標に基づいて、対象者の身体の部位に対応する複数のノード間の距離を算出するノード間距離算出部と、２次元座標算出部により算出された複数のノードの２次元座標と、ノード間距離算出部により算出された複数のノード間の距離とに基づいて、複数のノードの３次元座標を算出する３次元座標算出部と、３次元座標算出部により算出された複数のノードの３次元座標の経時的な変化に基づいて、対象者の身体の部位の運動方向を判定する運動方向判定部と、運動方向判定部により判定された対象者の身体の部位の運動方向に基づいて、対象者の運動の協調性を評価するとともに、対象者の身体の部位の動作を含む姿勢を評価する協調性評価部と、協調性評価部により評価された対象者の身体の部位の動作を含む姿勢をテキストデータに変換して出力する情報出力部と、を備える。

Claims

対象者の身体の運動を解析する運動解析装置であって、
前記対象者の時系列の２次元画像の情報を取得する情報取得部と、
前記情報取得部により取得された２次元画像の情報に基づいて、前記２次元画像における前記対象者の身体の関節に対応する複数のノードの２次元座標を算出する２次元座標算出部と、
前記２次元座標算出部により算出された前記複数のノードの２次元座標に基づいて、前記対象者の身体の部位に対応する前記複数のノード間の距離を算出するノード間距離算出部と、
前記２次元座標算出部により算出された前記複数のノードの２次元座標と、前記ノード間距離算出部により算出された前記複数のノード間の距離とに基づいて、前記複数のノードの３次元座標を算出する３次元座標算出部と、を備えることを特徴とする運動解析装置。
請求項１に記載の運動解析装置において、
前記３次元座標算出部により算出された前記複数のノードの３次元座標の経時的な変化に基づいて、前記対象者の身体の部位の運動量を算出する運動量算出部と、
前記運動量算出部により算出された前記対象者の身体の部位の運動量に基づいて、前記対象者の活動量を算出する活動量算出部と、をさらに備えることを特徴とする運動解析装置。
請求項１または２に記載の運動解析装置において、
前記３次元座標算出部により算出された前記複数のノードの３次元座標の経時的な変化に基づいて、前記対象者の身体の部位の運動方向を判定する運動方向判定部と、
前記運動方向判定部により判定された前記対象者の身体の部位の運動方向に基づいて、前記対象者の運動の協調性を評価する協調性評価部と、をさらに備えることを特徴とする運動解析装置。
請求項３に記載の運動解析装置において、
前記協調性評価部は、さらに、前記対象者の身体の部位の動作を含む姿勢を評価することを特徴とする運動解析装置。