JP2021185999A - 身体能力提示方法および身体能力提示装置 - Google Patents

身体能力提示方法および身体能力提示装置 Download PDF

Info

Publication number
JP2021185999A
JP2021185999A JP2020091411A JP2020091411A JP2021185999A JP 2021185999 A JP2021185999 A JP 2021185999A JP 2020091411 A JP2020091411 A JP 2020091411A JP 2020091411 A JP2020091411 A JP 2020091411A JP 2021185999 A JP2021185999 A JP 2021185999A
Authority
JP
Japan
Prior art keywords
subject
information
posture
physical ability
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020091411A
Other languages
English (en)
Other versions
JP7459658B2 (ja
Inventor
秋絵 外口
Akie Sotoguchi
裕介 中井
Yusuke Nakai
義典 大野
Yoshinori Ono
薫 小川
Kaoru Ogawa
諭史 松岡
Satoshi Matsuoka
洋平 山田
Yohei Yamada
剛士 大野
Takeshi Ono
雄介 玉井
Yusuke Tamai
慎司 今井
Shinji Imai
哲哉 小林
Tetsuya Kobayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2020091411A priority Critical patent/JP7459658B2/ja
Publication of JP2021185999A publication Critical patent/JP2021185999A/ja
Application granted granted Critical
Publication of JP7459658B2 publication Critical patent/JP7459658B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

【課題】対象者への負荷を考慮しつつ、対象者の身体能力を適切に評価できる情報を提示する。【解決手段】対象者を含む画像から対象者の姿勢情報を生成するステップ(ステップS2)と、対象者の生体情報を取得するステップ(ステップS3)と、姿勢情報に基づいて対象者の姿勢を特定するステップ(ステップS4)と、生体情報に基づいて対象者の姿勢に対する対象者の負荷を特定するステップ(ステップS5)と、姿勢情報に基づいて特定された対象者の姿勢と、生体情報に基づいて特定された対象者の姿勢に対する対象者の負荷と、を組み合わせて、対象者の身体能力に関する特定情報を提示するステップ(ステップS10)とを備える。【選択図】図10

Description

本開示は、身体能力提示方法および身体能力提示装置に関する。
近年、人の姿勢を推定する技術の開発が進んでいる。非特許文献1には、ラジオ体操をする人の関節の角度をモーションセンサデバイスで計算し、計算した角度と理想の角度との差分を、リハビリテーションシステムでのトレーニング前後で比較することが開示されている。
大野翔平,外4名,"Kinectを用いたフィジカルトレーニング効果の分析手法の提案",第3分冊,第367頁〜368頁[online],平成30年,FIT2018(第17回情報科学技術フォーラム),[令和2年3月26日検索],インターネット30<URL:https://www.ieice.org/publications/conference-FIT-DVDs/FIT2018/data/pdf/K-027.pdf>
非特許文献1に記載された技術によれば、トレーニング後の対象者の身体能力を評価することができる。しかし、例えば、対象者が良い評価を得ようとして無理をし過ぎることは、対象者の体に良くない。また、対象者が無理をして取得した評価をベースに立てた新たな目標は、対象者にとって必要以上にハードルの高い目標になる。このため、対象者が無理をして取得した評価は、対象者の身体能力に対する適切な評価であるといえない。一方、対象者が無理なく出し切ることのできる力を発揮せずに取得した評価も、対象者の身体能力に対する適切な評価であるといえない。
本開示の目的は、対象者への負荷を考慮しつつ、対象者の身体能力を適切に評価できる情報を提示することである。
本開示のある局面に従う身体能力提示方法は、対象者を含む画像から対象者の姿勢情報を生成するステップと、対象者の生体情報を取得するステップと、姿勢情報に基づいて対象者の姿勢を特定するステップと、生体情報に基づいて対象者の姿勢に対する対象者の負荷を特定するステップと、姿勢情報に基づいて特定された対象者の姿勢と、生体情報に基づいて特定された対象者の姿勢に対する対象者の負荷と、を組み合わせて、対象者の身体能力に関する特定情報を提示するステップとを備える。
本開示の他の局面に従う身体能力提示装置は、対象者を含む画像から対象者の姿勢情報を生成する生成部と、対象者の生体情報を取得する取得部と、姿勢情報に基づいて対象者の姿勢を特定する姿勢特定部と、生体情報に基づいて対象者の姿勢に対する対象者の負荷を特定する負荷特定部と、姿勢特定部により特定された姿勢と、負荷特定部により特定された負荷と、を組み合わせて、対象者の身体能力に関する特定情報を提示する提示部とを備える。
本開示によれば、対象者への負荷を考慮しつつ、対象者の身体能力を適切に評価できる情報を提示可能である。
本実施の形態に係るシステム全体の構成を示す図である。 対象者の特徴点の位置と右肩の関節角度の関係を示す図である。 対象者の肩の動き具合を示すヒストグラムである。 対象者の肩の関節角度の変化を示すグラフである。 強度の段階と評価の段階とを示す図である。 対象者の肩の関節角度および強度と、目標角度および目標強度との関係を示す表である。 対象者の肩の関節角度および強度と、目標角度および目標強度との関係を示すグラフである。 対象者の過去の測定結果と現在の測定結果とを示す表である。 対象者の過去の測定結果を基準とした場合の、対象者の肩の関節角度および強度と、目標角度および目標強度との関係を示すグラフである。 対象者の身体能力を評価するための制御の内容を示すフローチャートである。 一致度の評価画面の一例を示す図である。 対称性の評価画面の一例を示す図である。 対象者の身体能力を示す第1評価シートである。 対象者の身体能力を示す第2評価シートである。 対象者の身体能力を評価するための制御の内容を示すフローチャートである。 対象者の身体能力を評価するための制御の内容を示すフローチャートである。
以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
[実施の形態1]
<システム構成>
図1は、実施の形態1に係るシステム全体の構成を示す図である。制御装置100は、身体能力が評価される対象の者(以下、これを対象者と称する。)20の身体能力に関する情報を収集する。制御装置100は、対象者20から収集した情報に基づいて、対象者20の身体能力を評価する。
制御装置100は、インターネット30などの通信網を介して、対象者20の家10に設置された通信装置12と接続されている。通信装置12は、対象者20を撮影するためのカメラ13と接続されている。対象者20には、対象者20の表情を検出するための複数の表情筋センサ14が取り付けられている。表情筋センサ14は、対象者20の顔の筋肉から発せられる電位信号を検出する。表情筋センサ14は、通信装置12と無線接続されている。複数の表情筋センサ14の検出値によって特定される表情は、対象者20の生体情報の一例である。
カメラ13は、対象者20を撮影するために最適な場所に設置されている。たとえば、対象者20の肩の関節の動きを評価の対象とする場合、対象者20の肩の動きを撮影し易い位置にカメラ13を設置することが望ましい。たとえば、その位置がキッチンである場合には、図1に示すようにカメラ13をキッチンに設置する。カメラ13の撮影方向は、対象者20の肩付近とする。対象者20がキッチン内を移動したときに、対象者20の肩付近に撮影方向を自動的に切り替える機能をカメラ13に設けてもよい。
以下、第1実施の形態では、対象者20の身体能力の評価の一例として、対象者20の肩の動きを評価することを採り上げて説明することとする。
カメラ13は、撮影した動画を通信装置12へ送信する。表情筋センサ14は対象者20の表情筋の検出値を通信装置12へ送信する。通信装置12は、カメラ13によって撮影された動画、および表情筋センサ14の検出値をインターネット30などの通信網を介して制御装置100へ送信する。
制御装置100は、プロセッサ101と、メモリ102と、通信部103とを有する。これらの各部は互いに通信可能に接続される。
プロセッサ101は、典型的には、CPU(Central Processing Unit)またはMPU(Multi Processing Unit)などの演算処理部である。プロセッサ101は、メモリ102に記憶されたプログラムを読み出して実行することで、制御装置100の処理を実現する。なお、図1の例では、プロセッサが単数である構成を例示しているが、制御装置100は複数のプロセッサを有する構成としてもよい。
メモリ102は、RAM(Random Access Memory)、ROM(Read Only Memory)およびフラッシュメモリなどの不揮発性メモリによって実現される。メモリ102は、プロセッサ101によって実行されるプログラム、またはプロセッサ101によって用いられるデータなどを記憶する。
なお、メモリ102は、コンピュータの一種である制御装置100が可読可能な形式で非一時的にプログラムを記録することができれば、CD−ROM(Compact Disc - Read Only Memory)、DVD−ROM(Digital Versatile Disk - Read Only Memory)、USB(Universal Serial Bus)メモリ、メモリーカード、FD(Flexible Disk)、ハードディスク、SSD(Solid State Drive)、磁気テープ、カセットテープ、MO(Magnetic Optical Disc)、MD(Mini Disc)、IC(Integrated Circuit)カード(メモリーカードを除く)、光カード、マスクROM、またはEPROMであってもよい。
通信部103は、インターネット30に接続されるとともに、表示部200に接続される。通信部103は、対象者20の家10に設置された通信装置12および表示部200と通信するためのインターフェイスである。
表示部200は、液晶表示パネルなどによって構成される。表示部200は、たとえば、プロセッサ101が実行した演算結果などを表示する。典型的には、表示部200は、対象者20の身体能力に関する評価などが表示される。
制御装置100は、対象者20を撮影した動画と表情筋センサ14の検出値とを通信装置12から受信する。対象者20を撮影した動画は、複数のフレーム画像で構成されている。制御装置100は、フレーム画像とそのフレーム画像を受信したタイミングで受信した表情筋センサ14の検出値とを対応付けてメモリ102に格納する。
制御装置100は、メモリ102に格納したフレーム画像に基づいて対象者20の姿勢を推定する。制御装置100は、位置推定用学習済モデルを用いて対象者20の姿勢を推定する。位置推定用学習済モデルは、フレーム画像に含まれる特徴量を入力することで、人体の関節の位置を推定結果として出力するニューラルネットワークモデルである。位置推定用学習済モデルとして、たとえば、CMU(Carnegie Mellon University)が開発したOpenPose、Microsoft社が開発したHuman-pose-estimation、またはgoogle社が開発したposeNetなどを用いることが考えられる。
姿勢推定と併せて、制御装置100は、表情筋センサ14の検出値をメモリ102から読み出す。読み出される検出値は、姿勢推定に用いたフレーム画像と対応付けてメモリ102に格納されている検出値である。制御装置100は、読み出した検出値に基づいて、対象者20の表情を推定する。対象者20の表情は、表情推定のための各種のAI(Artificial Intelligence)技術を用いて推定することができる。表情推定のための各種のAIは、入力として表情筋センサ14の検出値あるいはカメラで撮影した対象者の顔、あるいは目や口の位置、形状などの顔の特徴点などを入力とし、出力を表情の種類とする。表情の種類は、例えば笑っている、苦しんでいる、といった有限個の分類とする。入力と出力のペアであるデータセットを用いて、表情推定のためのAIを学習させることができる。学習させたAIに、表情筋センサ14の検出値あるいはカメラで撮影した対象者の顔を入力することで、出力として指定した表情の分類を推論結果として得ることができる。
制御装置100は、姿勢推定の結果から対象者20の関節の角度を算出する。たとえば、評価すべき箇所が対象者20の肩の動きであれば、制御装置100は、対象者20の肩の関節角度を算出する。併せて、制御装置100は、表情推定の結果を、段階的に定めた複数の基準値と比較する、もしくは、苦しい顔をしていたら負荷が高いなど、表情の分類ごとに負荷の度合いを定義することによって、肩を動かしたときに対象者20が感じる負荷(辛さ)の度合いを特定する。以下、“負荷の度合い”を“強度”と称する。
制御装置100は、関節の角度と強度とから、対象者20の身体能力を評価する。さらに、制御装置100は、それらの評価の結果を表示部200に表示するとともに、通信部103からインターネット30を介して対象者20の家10に設置された通信装置12へ送信する。通信装置12は、対象者20のパーソナルコンピュータ16と接続されている。対象者20は、パーソナルコンピュータ16を用いて自身の評価を確認することができる。
制御装置100には、対象者20別に異なる評価基準が記憶されている。たとえば、対象者20が肩のリハビリ中であれば、リハビリの目標値に応じた基準値を制御装置100に設定することが考えられる。
<肩の関節角度の算出>
図2は、対象者20の特徴点の位置と肩の関節角度の関係を示す図である。対象者20を撮影した動画は複数のフレーム画像から構成される。図2は、複数のフレーム画像のうちの1つである。図2に示す符号20a〜20kは、対象者20の画像から推定された特徴点を示す。制御装置100は、OpenPoseなどの姿勢推定技術を用いることによって、これらの特徴点20a〜20kをフレーム画像から推定する。なお、観察すべき部分が対象者20の指である場合には、指の関節部分の特徴点を推定するものとしてもよい。
図2に示すように、対象者20の右肩の関節角度は、特徴点20a〜20kのうち、右肘関節に対応する特徴点20b、右肩関節に対応する特徴点20c、および右股関節に対応する特徴点20dの各々の座標から求められる。具体的には、肩−肘ベクトルをaとし、肩−股関節ベクトルをbとした場合、右肩の関節角度は、以下の式(1)を用いて算出することができる。
Figure 2021185999
対象者20を撮影した動画には、対象者20の様々な動きが含まれる。たとえば、対象者20の右肩の関節角度に注目する場合には、次のような手法で対象者20の肩の関節角度を決定することが考えられる。まず、姿勢推定技術によって特徴点が抽出された複数のフレーム画像のうちから、図2に示すような特徴点20b、20c、および20dを含むフレーム画像を選択する。次に、選択したフレーム画像のそれぞれに基づいて、対象者20の肩の関節角度を算出する。算出された関節角度のうち、最大の関節角度を対象者20の肩の関節角度として決定する。なお、この手法は一例に過ぎず、他の手法を採用して対象者20の肩の関節角度を決定してもよい。
対象者20が日常生活でどの程度の範囲で肩を動かしているのかを特定したい場合には、動画を構成するそれぞれのフレーム画像に基づいて算出された肩の関節角度を用いてヒストグラムを作成するとよい。あるいは、一日の対象者20の肩の関節角度の変化を知りたい場合には、フレーム画像に基づいて算出された肩の関節角度とフレーム画像が撮影された時刻とを対応付けたグラフを作成するとよい。これらのヒストグラムおよびグラフは、制御装置100によって作成され、必要に応じて表示部200に表示される。以下、図3および図4を用いてそれぞれを説明する。
<対象者による肩の関節角度の違い>
図3は、ある対象者Aおよびある対象者Bの肩の関節角度の度合いを示すヒストグラムである。図3において、縦軸は肩の関節角度の階級を示し、横軸は階級に対する度数を示す。LAおよびLBは、階級と度数との関係を線形化して得られた曲線を示す。LAは、対象者Aに対応する曲線を示す。LBは、対象者20Bに対応する曲線を示す。図3に示すように、肩の動き具合は対象者20によって異なる。対象者Aは、20度未満から160度を超える角度までの広い範囲で肩関節を動かしている。一方、対象者20Bは、肩の可動範囲が対象者Aよりも狭く、120度を超えて肩関節を動かすことはほとんどない。このように、肩の可動域は人によって異なる。また、肩の可動域は、一般には、高齢になるほど狭くなることが多い。
<肩の関節角度の時間的変化>
図4は、ある対象者20の肩の関節角度の変化を示すグラフである。縦軸は肩の関節角度を示し、横軸は時刻を示す。図4に示すように、肩の関節角度は時刻によって大きく変化する。その変化の様子は、観察時刻に対象者20がどのような作業をしていたかによって大きく異なる。
図4に示される関節位置の時系列データから、関節の速度情報を算出することができる。グラフの傾斜と関節速度とは相関関係にある。動画から取得した関節の角度に変えて、動画から取得した関節の速度情報を評価の対象としてもよい。肩の関節の速度情報は、対象者がスムーズに肩を動かすことができているかどうかを判断するための指標となる。また、肩の関節の速度情報に変えて、腕の関節の速度情報を評価の対象としてもよい。腕の関節の速度情報を利用することによって、対象者20が腕をゆっくり上げているかどうかを判断できる。また、脚の関節の速度情報を利用することによって、対象者20の歩行速度を推定することができる。脚の関節の速度情報に対する基準速度は、介護を必要する高齢者の歩行速度に基づいて定めてもよい。
図3または図4を参照することによって、対象者20の肩関節の動きの度合いを把握することができる。しかし、図3および図4が示す情報のみでは、対象者20が余裕を持って肩関節を動かしたのか、無理をして肩関節を動かしたのか、という点までは理解できない。そこで、本実施の形態では、対象者20の肩関節の動きと併せて対象者20の表情に着目して、動作が対象者20に与える負荷の度合い(強度)を算出する。
図5は、強度の段階と評価の段階とを示す図である。本実施の形態では、対象者20に与える負荷の度合いを1つ刻みで−5から+5までの11段階で評価する。中央値の0は、辛くもなく、楽でもない、普通の感じ方に対応する。0から数値が高くなるほど、強度、すなわち、対象者20の辛さの程度は高くなる。一方、0から数値が小さくなるほど、対象者20が楽に感じる程度は高くなる。評価の段階としては、図5に示すように、AからGの7段階が設定されている。Aが最も高い評価を示し、Gが最も低い評価を示す。なお、図示する強度の段階と評価の段階とは一例であり、段階の数をさらに増やしても、逆に段階の数を減らしてもよい。
<対象者の身体能力の評価>
図6は、ある対象者Aの肩の関節角度および強度と、目標角度αおよび目標強度βとの関係、およびそれらに基づく評価を示す表である。図7は、図6の表に基づいて作成されたグラフである。これらの表およびグラフは、制御装置100によって作成される。作成された表およびグラフは、メモリ102に格納される。さらに、制御装置100は、メモリ102に格納された表およびグラフを読み出して表示部200に表示するとともに、インターネット30を介して対象者Aが所有するパーソナルコンピュータ16などへ配信する。
図6を参照して、表には、対象者Aの肩の関節角度が測定された日時と、目標角度αと、対象者Aの角度αaと、目標強度βと、対象者Aの強度βaと、対象者Aに対して与えられた評価Eとが示されている。「目標角度α」は、対象者Aの身体状況に合わせて予め目標として設定された肩の関節角度を示す。「目標強度β」は、目標角度αに対する強度の目標値を示す。
「対象者Aの角度」は、算出された対象者Aの肩の関節角度を示す。「対象者Aの強度」は、「対象者Aの角度」に対応して算出された対象者Aの強度を示す。「評価」は、算出された対象者Aの肩の関節角度と算出された対象者Aの強度とに基づいて、図5に示した7段階の中から決定される。図6に示す表には、対象者Aの肩の関節角度αaと対象者Aの強度βaとに基づいて決定されたEという評価が示されている。制御装置100は、対象者Aの肩の関節角度を算出する毎に、図6に示す表のデータを追加する。以下、「目標角度α」と「目標強度β」との関係を(α,β)と表し、「対象者Aの角度αa」と「対象者Aの強度βa」との関係を(αa,βa)と表す。また、(αa,βa)を対象者Aの測定結果などと称する。
制御装置100は、図6に示すデータに基づいて、図7に示すグラフを作成する。グラフの横軸は角度を示し、縦軸は強度を示す。縦軸の強度は、横軸と縦軸とが交わるポイントの数値を0として、上がプラスの数値を、下がマイナスの数値を、それぞれ示す。強度は、値が大きくなるほど、対象者20にとっての辛さ(負荷)が増すことを意味する。強度=0は、対象者20が辛いと感じることも楽と感じることもない、普通の強度を示す。したがって、マイナスの数値の強度は、対象者20が楽に感じる度合いを示す。
図7のグラフには、基準ラインLsが示される。基準ラインLsは、対象者Aの測定結果(αa、βa)を評価するために用いるラインである。基準ラインLsは、たとえば、人間の標準的な身体的能力に基づいて定めたラインである。なお、基準ラインLsは、対象者毎の身体的能力を考慮して、対象者毎に設定してもよく、性別、年齢を考慮して定めることも考えられる。制御装置100のメモリ102には、複数種類の基準ラインLsのデータが記憶されている。
図7のグラフには、対象者Aの目標角度と目標強度とに対応する(α,β)が示される。(α,β)は、基準ラインLs上にあり、目標強度βは0に設定される。さらに、グラフには、対象者Aの測定結果に対応する(αa,βa)が示される。
図7に示すグラフによれば、対象者Aの肩の関節角度αaは、目標角度αに対して角度dlx不足することがわかる。また、グラフの基準ラインLsによれば、肩の関節角度αaに対する標準的な強度はβsであることがわかる。標準的な強度βsは、対象者Aの強度βaよりも小さい。強度βsと強度βaとの差はdlyである。このことから、関節角度αaで肩を動かした対象者Aは、標準よりもdly分の強い負荷を肩に感じていたことになる。
制御装置100は、(α,β)を通過する基準ラインLsと、対象者Aのデータ(αa、βa)とに基づいて、対象者Aの身体能力を評価する。たとえば、対象者Aのデータ(αa、βa)が(α,β)の周辺に位置する場合には、7段階の評価のうちの中央に位置するDの評価を対象者Aに与える。
図7には、対象者Aの他のデータの例として、(αa1、βa1)、(αa2、βa2)、(αa3、βa3)、および(αa4、βa4)が示されている。(αa1、βa1)は、関節角度が目標値αに近いが、強度が目標値をβを超える例である。このデータ例を見た者は、対象者Aが身体的に無理をして肩を動かしているものと推測できる。制御装置100は、対象者Aの測定結果が(αa1、βa1)であった場合、対象者Aの測定結果が(α,β)であった場合よりも、対象者に与える評価を下げる。
(αa2、βa2)は、関節角度が目標値αに近いが、強度が目標値をβを下回る例である。このデータ例を見た者は、対象者Aが目標レベルの強度よりも低い強度で目標の関節角度を達成しているものと推測できる。制御装置100は、対象者Aの測定結果が(αa2、βa2)であった場合、対象者Aの測定結果が(α,β)であった場合よりも、対象者に与える評価を上げる。
(αa3、βa3)は、関節角度が目標値αを大幅に上回り、強度が基準値βssを大幅に上回る例である。また、(αa4、βa4)は、関節角度が目標値αを大幅に上回るが、強度が基準値βssを大幅に下回る例である。これらのデータを見た者は、基準ラインLsと、関節角度および強度との関係を考慮して、対象者Aの身体能力を評価できる。また、制御装置100は、対象者Aのそれぞれの測定結果と、基準ラインLsとの距離に基づいて、対象者Aの身体能力を評価する。
なお、図7に示すグラフには、制御装置100による評価のランクを表示するようにしてもよい。たとえば、図7に示すグラフの(αa1、βa1)の隣に「評価ランク=E」と表示することが考えられる。ただし、このような評価のランクを表示しなくても、グラフを見た者は、対象者Aの身体能力を関節角度と強度との2つの側面から評価することが可能である。
<対象者の過去の測定結果に基づいた評価>
図8は、対象者Aの過去の測定結果と現在の測定結果とを示す表である。図9は、対象者Aの過去の測定結果を基準とした場合の、対象者Aの肩の関節角度および強度と、目標角度および目標強度との関係を示すグラフである。図8および図9を参照して、対象者Aの過去の測定結果に基づいて対象者の現在の身体能力を評価する方法を説明する。
図8には、対象者Aの過去のデータを示す表T1と、対象者Aの現在のデータを示す表T2とが示されている。図8の表T1には、2015年の対象者Aの多数の測定結果の一部が示されている。図8の表T2には、2020年の対象者Aの測定結果が示されている。表T2に示される対象者Aの測定結果(αa1、βa1)は、図6に示した対象者Aの測定結果と同じである。しかし、図8の表T2と図6とでは、目標角度、目標強度、および評価が異なっている。これは、評価の基準が両者で異なるためである。
図9のPaは、2015年に記録された対象者Aのデータ(図9に示す△)の集合を示している。集合Paを用いることによって、2015年当時の対象者Aの平均的な肩の関節角度α’および強度β’を算出できる。ここでは、算出されたα’を目標角度とし、算出されたβ’を目標強度とする。図9に示す(α’、β’)は、その座標位置を示す。
さらに、集合Paに基づけば2015年当時の対象者Aの測定結果に基づいた基準ラインLs’を算出することができる。図9には、図8に示す基準ラインLsを集合Paに基づいて右方向にスライドさせて成る基準ラインLs’が示されている。
対象者Aの過去の測定結果に基づいて定めた目標角度および目標強度は(α’,β’)である。図9に示すグラフによれば、対象者Aの肩の関節角度αaは、目標角度α’に対して角度dlx’不足することがわかる。また、基準ラインLs’によれば、肩の関節角度αaに対する標準的な強度はβs’であることがわかる。強度βs’と強度βaとの差はdly’である。図7に示すグラフと図9に示すグラフとを比較すると、「dlx<dlx’」であり、かつ、「dly<dly’」である。基準ラインLs’は、基準ラインLsよりも基準が高い。このため、表T2での評価は、図6に示す評価よりも悪いFとされている。
このように、対象者Aの身体能力は、(1)人間の標準的な身体的能力に基づいて評価してもよく、(2)過去の対象者Aの身体能力に基づいて評価してもよい。制御装置100には、(1)(2)のいずれの評価基準を記憶させておいてもよく、いずれか一方のみを記憶させておいてもよい。
<身体能力を評価するための制御の内容>
図10は、対象者20の身体能力を評価するための制御の内容を示すフローチャートである。このフローチャートに対応するプログラムは、制御装置100のメモリ102に記憶されている。制御装置100のプロセッサ101は、メモリ102に記憶されたプログラムに基づいて、以下のフローチャートに示す処理を実行する。
はじめに、制御装置100は、メモリ102に記憶されている対象者の動画から対象者の画像(フレーム画像)を読み込む(ステップS1)。次に、制御装置100は、ステップS1で読み込んだ画像から位置推定用学習済モデルを用いて対象者20の姿勢情報を生成する(ステップS2)。これにより、たとえば、図2に示したように、対象者20の関節位置が特定される。次に、制御装置100は、ステップS1で読み込んだ対象者の画像と対応する生体情報をメモリ102に格納されているデータから取得する(ステップS3)。生体情報は、たとえば、表情筋センサ14の検出値である。
次に、制御装置100は、ステップS2で生成した姿勢情報から姿勢を解析する(ステップS4)。たとえば、制御装置100は、ステップS4において、対象者20の肩の関節角度を算出する。次に、制御装置100は、ステップS3で読み込んだ表情筋センサ14の検出値から表情推定のための各種のAI技術を用いて対象者20の表情を解析する(ステップS5)。たとえば、制御装置100は、ステップS4において、対象者20の表情から強度(辛さの度合い)を算出する。
次に、制御装置100は、解析した表情および解析した姿勢を基準ラインと比較する(ステップS6)。たとえば、図7に示した基準ラインLsと、対象者20の測定結果(αa,βa)との距離を算出する。次に、制御装置100は、ステップS6の結果に基づいた評価を算出する(ステップS7)。次に、制御装置100は、算出した評価を保存する(ステップS8)。次に、制御装置100は、対象者20向けの評価シートを作成する(ステップS9)。評価表は、たとえば、図6または図8に示した表および図7または図9に示すグラフを含む。次に、制御装置100は、作成した評価シートを対象者20の元へ配信する(ステップS10)。たとえば、制御装置100は、インターネット30を通じて対象者20の家の通信装置12へ評価シートを送信する。
以上、説明した第1実施の形態では、対象者の肩の関節角度に基づいて、対象者の身体能力を評価する例を説明した。しかし、肩の関節角度は評価対象の一例に過ぎない。たとえば、対象者の膝の関節角度などを評価対象としてもよい。
また、関節角度に変えて、図4のグラフに基づいて算出される関節速度を評価の対象としてもよい。この場合、制御装置100は、図10のステップS4において、対象者の肩の関節速度またはその他の部位の関節速度を算出する。さらに、制御装置100は、図10のステップS6において、関節速度を対象として設定した基準ラインと対象者の関節速度および対象者の強度とを比較し、対象者の身体能力を評価する。
第1実施の形態によれば、対象者の肩の上がり具合などの日常動作を姿勢推定や表情推定によりチェックし、対象者の体の衰えや異変を早期に発見することができる。関節角度が小さくなってきた場合や、関節速度が低下してきた場合、対象者に身体の衰えなどの異変が起きていると考えられる。また、特定の動作中に対象者が苦しい表情をしている場合、関節部分に痛みや異変を伴っている可能性がある。これらの異変が認められた場合、対象者本人や家族、医師等にその旨を通知することで異変の早期発見およびリハビリなどの早期介入が可能となる。
[実施の形態2]
<健康スコアの算出>
次に、実施の形態2を説明する。実施の形態1は、対象者の関節角度あるいは関節速度といった、静的あるいは部分的な動きに着目して対象者の身体能力を評価する形態である。実施の形態2は、たとえば、ラジオ体操のような連続的な動きに基づいて対象者の身体能力を評価する形態である。
はじめに、実施の形態2に係るシステム全体の構成を、図1に示した実施の形態1に係るシステム全体の構成と対比して説明する。対象者20には、表情筋センサ14に変えて、図11に示す心拍計15を取り付ける。心拍計15が計測する心拍数は、生体情報の一例である。心拍計15が計測する心拍数は、図1に示す通信装置12に送信される。通信装置12は心拍数をインターネット30などの通信網を介して制御装置100へ送信する。
対象者20は、たとえば、家10でラジオ体操の動画をお手本にしながらラジオ体操をする。対象者20の動きはカメラ13で撮影される。カメラ13は撮影した動画を通信装置12に送信する。通信装置12は、カメラ13から受信した動画をインターネット30などの通信網を介して制御装置100へ送信する。制御装置100は、通信装置12から受信した対象者20の心拍数と動画とをメモリ102に格納する。制御装置100のメモリ102には、ラジオ体操の動画のデータが予め格納されている。ラジオ体操の動画には、お手本となる体操講師がラジオ体操をする動作が含まれている。
制御装置100は、対象者20の動画と、対象者20の心拍数と、ラジオ体操の動画とに基づいて対象者20の身体能力を評価し、評価の結果を通信装置12に送信する。評価の結果は、パーソナルコンピュータ16の画面に表示される。対象者20は、パーソナルコンピュータ16を用いて評価の結果を確認する。
<一致度の評価>
図11は、一致度の評価画面の一例を示す図である。制御装置100は、対象者20の動画とラジオ体操の動画とに基づいて、対象者20の動作とお手本となる体操講師の動作との一致度を評価し、評価の結果を対象者20の家10の通信装置12に送信する。たとえば、対象者20のパーソナルコンピュータ16には、図11に示す画面が表示される。画面の左には「対象者20の映像」が表示され、画面の右には「目標映像」が表示される。「対象者20の映像」は、ラジオ体操をする対象者20の動画の1シーンの映像である。「目標映像」は、ラジオ体操の動画のうち、「対象者20の映像」と対応する映像である。「目標映像」には、お手本となる体操講師の動きが映し出されている。「対象者20の映像」と「目標映像」との間には、「対象者20の映像」に含まれる対象者20と、「目標映像」に含まれる体操講師とを重畳させた画像が表示されている。対象者20の画像と体操講師の画像とを重畳させることによって、対象者20の動作がどの程度、体操講師の動作に一致しているのかを把握し易くなる。
対象者20とお手本の体操講師との体つきが完全に一致することは考えにくい。また、対象者20を撮影する距離や角度によっても、画像における対象者20の大きさは変化する。このため、単純に対象者20の画像と体操講師の画像とを重畳させるのみでは、両者の動作の一致度を把握できない。そこで、制御装置100は、対象者20の画像と体操講師の画像とを重畳させる前に、体操講師の画像の縦横のサイズと対象者20の画像の縦横のサイズとを補正している。たとえば、制御装置100は、体操講師の体の長さと幅とに合うように、対象者20の画像を補正する。その結果、対象者20の画像と体操講師の画像とを重畳させたときに、対象者20の動作がどの程度、体操講師の動作に一致しているのかをより把握し易くなる。
図11に示すように、対象者20と体操講師とを重畳させた画像の下には、一致度を示す一致度スコアが表示されている。さらに、一致度スコアの下には、コメントが表示される。対象者20は、コメントを参考にして、一致度を上げる努力をすることができる。
「対象者20の映像」の下には、「心拍数」の表示領域が設けられている。この表示領域には、対象者20が「対象者20の映像」に示す動作をしているときの心拍数が表示される。「目標映像」の下には、「目標心拍数」の表示領域が設けられている。この表示領域には、対象者20が目標とすべき心拍数が表示される。目標心拍数は、様々な基準で定めることができる。たとえば、人間の標準的な身体的能力に基づいて目標心拍数を決定してもよく、対象者20の年齢や性別を考慮して、対象者20別に決定してもよい。目標心拍数は、ラジオ体操を開始してから終了するまでの間で、体操の種類に応じて変動させることが望ましい。制御装置100のメモリ102には、ラジオ体操を開始してから終了するまでの間の複数のタイミング毎に、目標心拍数が記憶されている。
対象者20は、図11に示す評価の画面を見ることによって、一致度のみならず、目標心拍数と対比した自身の心拍数をも把握できる。このため、対象者20は、無理をしない範囲で、ラジオ体操が上手くできているかどうかを評価できる。あるいは、対象者20を指導するトレーナーが存在する場合には、同じ画面をトレーナーが見ることによって、対象者20に無理をさせない範囲で好ましいラジオ体操の姿勢を指導することができる。
<対称性の評価>
図12は、対称性の評価画面の一例を示す図である。制御装置100は、対象者20の動画に基づいて、対象者20の動作の左右の対称性を評価する。ラジオ体操には、左右対称の動作が含まれる。左右対称の体操に応答して、対象者20の左側の動作と右側の動作とが一致することが望ましい。たとえば、図12に示すような、体を横に曲げる運動の場合には、体が曲がる角度が右側と左側とで同じであることが望ましい。しかし、体の歪み、その他の要因によって左側の動作と右側の動作とが一致しない場合がある。
そこで、制御装置100は、図12に示す対称性の評価画面を対象者20に提供する。対称性の評価画面には、対象者20が体を左側に曲げている動作の画像と、対象者20が体を右側に曲げている動作の画像とが表示されている。また、対称性の評価画面には、対称性スコアが表示されている。対称性スコアは、左右の動きの対称性がどの程度あるかを示す評価スコアである。さらに、対称性の評価画面には、目標心拍数を表示する表示領域と、対象者20の心拍数を表示する表示領域とが設けられている。
対象者20は、図12に示す評価の画面を見ることによって、ラジオ体操の左右対称性のみならず、目標心拍数と対比した自身の心拍数をも把握できる。このため、対象者20は、無理をしない範囲で、ラジオ体操が上手くできているかどうかを評価できる。あるいは、対象者20を指導するトレーナーが存在する場合には、同じ画面をトレーナーが見ることによって、対象者20に無理をさせない範囲で好ましいラジオ体操の姿勢を指導することができる。
なお、図12に示す評価の画面において、対象者20が体を左側に曲げている動作の画像に対して、対象者20が体を右側に曲げている動作の画像を重畳させ、対象者20が体を右側に曲げている動作の画像に対して、対象者20が体を左側に曲げている動作の画像を重畳させてもよい。また、対象者20が体を左右に曲げている動作の画像2つのうち、どちらか一方の画像を左右反転させた後に重畳させてもよい。これにより、左右での曲がり具合の違いを、画面を見る者が視覚的に理解し易くなる。
対称性スコアの算出方法を説明する。制御装置100は、対象者20の動画の中から左右対称性が要求されるラジオ体操のシーンを抽出する。抽出したラジオ体操のシーンには、ペアとなる2つの画像が含まれる。ペアとなる2つの画像は、たとえば、図12に示すような、対象者20が左側に体を曲げている画像と、対象者20が右側に体を曲げている画像とである。制御装置100は、ペアとなる2つの画像のうちの第1画像に基づいて、対象者20の特徴点(関節)を推定する。さらに、制御装置100は、ペアとなる2つの画像のうちの第2画像を左右反転させた画像を生成し、生成した反転画像に基づいて、対象者20の特徴点(関節)を推定する。制御装置100は、第1画像に基づいた推定結果と、反転画像に基づいた推定結果とを対比することによって、両者の一致度を算出する。制御装置100は、算出した一致度に基づいて対称性スコアを決定する。
<時系列の変化>
図13は、対象者20の身体能力を示す第1評価シートである。第1評価シートには、対象者20の動きと目標映像の動きと対象者20の心拍数との関係が示されている。第1評価シートは、制御装置100によって対象者20に提供されるデータのひとつである。第1評価シートの横軸はラジオ体操の進行状況を示す。実線の波形は、対象者20の動きの大きさを示す。破線の波形は、目標映像の体操講師の動きの大きさを示す。棒線は、対象者20の心拍数を示す。なお、対象者20の動きを測定する体の部分は、いずれの部分であってもよい。たとえば、肩関節の動きに基づいて対象者20の動きを測定することが考えられる。
図13に示す第1評価シートは、ラジオ体操の開始から終了に至るまでの動画で提供される。図13は、ラジオ体操が終了した時点の動画の状態を示している。第1評価シートには、対象者20の心拍数と対象者20の平均心拍数とが表示される。第1評価シートに表示される心拍数の値は、ラジオ体操の進行とともに変化する。
対象者20または対象者20を指導するトレーナーは、第1評価シートを見ることによって、対象者20がどの程度、体操講師の動きに追従しているのかをラジオ体操の進行との関係において把握できる。また、第1評価シートには、心拍数と平均心拍数とが表示されるため、対象者20が無理をしない範囲で、ラジオ体操をしているのかどうかを評価できる。なお、第1評価シートには、対象者20に対して設定された目標心拍数を併せて表示してもよい。
図14は、対象者20の身体能力を示す第2評価シートである。第2評価シートは、制御装置100によって対象者20に提供されるデータのひとつである。実線はラジオ対応sの動きの基準を示す線である。破線は、基準線に対する対象者の動きのずれの大きさを示す。第2評価シートが対象としている動きは、第1評価シートが対象としている動きと同じである。しかし、第2評価シートは、対象者の動きのずれを基準の直線との関係で示しているので、第1評価シートよりも、対象者の動きと目標映像の動きとのずれの大きさを把握し易い。第2評価シートは、第1評価シートと同様に動画で提供される。さらに、第2評価シートには、心拍数と、平均心拍数と、一致度スコアと、対称性スコアと、運動強度スコアと、健康スコアとが表示される。
運動強度スコアは、対象者20の心拍数から算出する。たとえば、ラジオ体操中に計測された対象者20の心拍数と、対象者20の平常時心拍数と、対象者20の年齢とから運動強度を計算することが可能である。健康スコアは、一致度スコアと、対称性スコアと、運動強度スコアとから総合的に算出したスコアである。したがって、健康スコアが高い対象者20ほど、体操講師に近い動きで、左右対称性を保ちつつ、負荷を感じることなくラジオ体操をしていたことになる。
対象者20または対象者20を指導するトレーナーは、図14に示す第2評価シートを見ることによって、対象者20と体操講師の動きとのずれをより明確に把握できる。また、第2評価シートには、一致度スコアと、対称性スコアと、運動強度スコアとから総合的に算出したスコアである健康スコアが表示されるため、対象者20の身体能力を総合的に評価できる。
<制御フロー>
図15および図16は、対象者20の身体能力を評価するための制御の内容を示すフローチャートである。このフローチャートに対応するプログラムは、制御装置100のメモリ102に記憶されている。制御装置100のプロセッサ101は、メモリ102に記憶されたプログラムに基づいて、以下のフローチャートに示す処理を実行する。
はじめに、制御装置100は、対象者20の動画から対象者20の画像(フレーム画像)を読み込む(ステップS101)。次に、制御装置100は、ステップS101で読み込んだ画像から位置推定用学習済モデルを用いて対象者20の姿勢情報を生成する(ステップS102)。これにより、たとえば、図2に示したように、対象者20の関節位置が特定される。
次に、制御装置100は、ステップS101で読み込んだ対象者20の画像と対応する生体情報を取得する(ステップS103)。生体情報は、たとえば、心拍数である。心拍数は、たとえば、心拍計15の計測値に基づいて特定される。あるいは、接触バイタルセンシング技術を用いて、画像から心拍数を特定してもよい。
この場合、ステップS101で読み込んだフレーム画像と、当該フレーム画像に対して時間的に前後する複数のフレーム画像とを用いて対象者20の心拍数を特定する。心拍数に関連するのは、脈波である。脈波は血管の収縮に連動して変化し、血管の収縮は血流に関連する。血液は、光を吸収する性質を有する。このため、対象者20の肌の光反射率の変化を対象者20の画像に基づいて検出することによって、間接的に対象者20の心拍数を特定することができる。
次に、制御装置100は、ステップS102で生成した姿勢情報から姿勢を解析する(ステップS104)。たとえば、制御装置100は、ステップS104において、対象者20の運動の姿勢を解析する。次に、制御装置100は、目標映像を解析し(ステップS105)、続いて、対象者20の姿勢を補正する(ステップS106)。ステップS105およびS106は、目標映像に写る体操講師のサイズと、対象者20のサイズとを一致させる処理である。
次に、制御装置100は、評価条件を設定する(ステップS107)。評価条件は、たとえば、一致度スコア、対称性スコア、および運動強度スコアを算出するときの基準を定める条件である。評価条件の設定次第で各スコアの基準を高くすることも低くすることもできる。
たとえば、対象者の年齢に応じて、一致度スコア、対称性スコア、および運動強度スコアを算出するときの基準を変更することが考えられる。これによって、対象者が高齢者の場合には、対象者が中高年の場合に比べて、それぞれのスコアの基準を甘くすることもできる。また、対象者が過去に取得した一致度スコア、対称性スコア、および運動強度スコアを考慮して、それぞれのスコアを新たに算出するときの基準を定めてもよい。
次に、制御装置100は、対象者20の画像とお手本の体操講師の画像とに基づいて、一致度を算出する(ステップS108)。次に、制御装置100は、ステップS102で読み込んだ心拍数に基づいて運動強度を算出し(ステップS109)、算出結果をメモリ102に保存する(ステップS110)。次に、制御装置100は、算出した運動強度を表示部200に表示する(ステップS111)。
次に、制御装置100は、ラジオ体操の動画は終了したか否かを判断する(ステップS112)。ラジオ体操の動画が終了していない場合、制御装置100は、ステップS101に処理を戻す。ラジオ体操の動画が終了している場合、制御装置100は、一致度スコアを算出し(ステップS113)、続いて、運動強度スコアを算出する(ステップS114)。
補正した対象者20の姿勢情報と正解となる体操講師の姿勢情報との類似度を評価することで、体操講師の動作に対する対象者20の動作の一致度を計算できる。一致度スコアは、2つの姿勢の各部位の差分値の和をD、しきい値をD0とした場合、以下の式(2)を用いて算出することができる。
Figure 2021185999
なお、OpenPoseで姿勢情報とともに算出される確信度を用いて、確信度が低い情報については一致度スコアに影響しないような処理を加えることなども考えられる。
続いて、制御装置100は、対称性スコアを算出するために、ペアとなる2つの画像を抽出する(ステップS115)。次に、制御装置100は、抽出した2つの画像に基づいて対称性スコアを算出する(ステップS116)。次に、制御装置100は、一致度スコアと、対称性スコアと、運動強度スコアとから健康スコアを算出する(ステップS117)。次に、制御装置100は、評価シートを作成し(ステップS118)、作成した評価シートを対象者20の通信装置12に送信し(ステップS119)、処理を終える。
健康スコアは、一致度スコアと、対称性スコアと、運動強度スコアとを用いた様々な演算手法によって算出することができる。たとえば、一致度スコアと、対称性スコアと、運動強度スコアとのそれぞれを足し合わせることで、健康スコアを算出してもよい。あるいは、それぞれを足し合わせる前に、それぞれに所定の重みづけを施してもよい。
[変形例]
第1実施の形態においては、表情筋センサ14の検出値に基づいて、対象者の表情を解析するものとした。しかしながら、対象者の表情は、対象者を含む画像から解析してもよい。この場合、図10のフローチャートのステップS1で読み込んだ画像を利用して、ステップS4において対象者の表情を解析することが考えられる。画像から表情を解析する際には、画像に基づいて表情を推定する各種のAI技術を採用すればよい。画像に基づいて表情を解析できれば、ステップS2において表情筋センサ14の検出値を取得しなくてもよい。なお、画像と表情筋センサ14の検出値とを用いて表情を解析してもよい。
第2実施の形態では、対象者20の心拍数に基づいて運動強度を算出した。しかし、第2実施の形態において、対象者20の心拍数と表情とを組合せて運動強度を算出してもよい。対象者20の表情は、表情筋センサ14の検出値に基づいて推定してもよく、フレーム画像から対象者20の表情を推定してもよい。また、表情に基づいて運動強度を算出してもよい。たとえば、対象者20が辛い表情を見せた回数に基づいて運動強度を算出することが考えられる。対象者20が辛い表情を見せた回数と心拍数とに基づいて運動強度を算出してもよい。
以上、各実施の形態および変形例に係る身体能力提示方法および身体能力提示装置によれば、対象者への負荷を考慮しつつ、対象者の身体能力を適切に評価できる情報を提示可能である。
[態様]
上記した実施の形態およびその変形例は、以下の態様の具体例であることが当業者により理解される。
(第1項)一態様に係る身体能力提示方法は、対象者の身体能力に関する情報を提示する身体能力提示方法であって、対象者を含む画像から対象者の姿勢情報を生成するステップ(ステップS2)と、対象者の生体情報を取得するステップ(ステップS3)と、姿勢情報に基づいて対象者の姿勢を特定するステップ(ステップS4)と、生体情報に基づいて対象者の姿勢に対する対象者の負荷を特定するステップ(ステップS5)と、姿勢情報に基づいて特定された対象者の姿勢と、生体情報に基づいて特定された対象者の姿勢に対する対象者の負荷と、を組み合わせて、前記対象者の身体能力に関する特定情報を提示するステップ(ステップS10)とを備える。
第1項に記載の身体能力提示方法によれば、対象者への負荷を考慮しつつ、対象者の身体能力を適切に評価できる。
(第2項)第1項に記載の身体能力提示方法において、特定情報は、対象者の身体能力を評価するための基準情報(基準ラインLs)を含む。
第2項に記載の身体能力提示方法によれば、基準情報に基づいて対象者の身体能力を評価することができる。
(第3項)第2項に記載の身体能力提示方法において、特定情報は、対象者の評価スコア(評価、一致度スコア、対称性スコア、運動強度スコア、健康スコア)を含む。
第3項に記載の身体能力提示方法によれば、評価スコアに基づいて対象者の身体能力を評価することができる。
(第4項)第1項から第3項のいずれか1項に記載の身体能力提示方法において、姿勢情報を取得するステップは、対象者の動作(関節角度、関節速度、ラジオ体操)から姿勢情報を取得するステップを含む。
第4項に記載の身体能力提示方法によれば、対象者の動作に関して、対象者の身体能力を評価することができる。
(第5項)第1項から第4項のいずれか1項に記載の身体能力提示方法において、生体情報は、対象者の表情(辛さ)に関する情報である。
第5項に記載の身体能力提示方法によれば、対象者の表情から対象者の負荷を特定することができる。
(第6項)第5項に記載の身体能力提示方法において、生体情報を取得するステップは、対象者の顔に取り付けた表情筋センサ(表情筋センサ14)の検出値に基づいて、または、画像に基づいて、対象者の表情に関する情報を取得するステップを含む(ステップS5)。
第6項に記載の身体能力提示方法によれば、対象者の表情に関する情報を適切に取得することができる。
(第7項)第1項から第4項のいずれかに記載の身体能力提示方法において、生体情報は、対象者の心拍に関する情報(心拍数)である。
第7項に記載の身体能力提示方法によれば、対象者の心拍からに対象者の負荷を特定することができる。
(第8項)第7項に記載の身体能力提示方法において、生体情報を取得するステップは、対象者に取り付けた心拍計(心拍計15)の計測値に基づいて、または、画像に基づいて、対象者の心拍に関する情報を取得するステップを含む(ステップS103)。
第8項に記載の身体能力提示方法によれば、対象者の心拍を適切に取得することができる。
(第9項)第1項から第8項のいずれか1項に記載の身体能力提示方法において、特定情報は、対象者の過去の複数の姿勢情報および生体情報を含む(図8)。
第9項に記載の身体能力提示方法によれば、対象者の過去の複数の姿勢情報および生体情報を特定できる。
(第10項)第1項から第6項のいずれか1項に記載の身体能力提示方法において、姿勢情報は、対象者の関節の角度に関する情報(図2、図3)を含む。
第10項に記載の身体能力提示方法によれば、対象者の関節の角度に関する身体能力を評価することができる。
(第11項)第1項から第6項のいずれか1項に記載の身体能力提示方法において、姿勢情報は、対象者の関節の速度に関する情報(図4)を含む。
第11項に記載の身体能力提示方法によれば、対象者の関節の速度に関する身体能力を評価することができる。
(第12項)第1項から第3項のいずれか1項に記載の身体能力提示方法において、姿勢情報は、対象者に対して左右対称の動作を行わせたときに対象者から得られた姿勢情報(図12:対称性)を含む。
第12項に記載の身体能力提示方法によれば、対象者の左右対称の動作に関する身体能力を評価することができる。
(第13項)他の態様に係る身体能力提示装置は、対象者の身体能力に関する情報を提示する身体能力提示装置(制御装置100)であって、対象者を含む画像から対象者の姿勢情報を生成する生成部(ステップS2)と、対象者の生体情報を取得する取得部(ステップS3)と、姿勢情報に基づいて対象者の姿勢を特定する姿勢特定部(ステップS4)と、生体情報に基づいて対象者の姿勢に対する対象者の負荷を特定する負荷特定部(ステップS5)と、姿勢特定部により特定された姿勢と、負荷特定部により特定された負荷と、を組み合わせて、対象者の身体能力に関する特定情報を提示する提示部(ステップS10)とを備える。
第13項に記載の身体能力提示装置によれば、対象者への負荷を考慮しつつ、対象者の身体能力を適切に評価できる。
今回開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
10 家、12 通信装置、13 カメラ、14 表情筋センサ、15 心拍計、16 パーソナルコンピュータ、20 対象者、30 インターネット、100 制御装置、101 プロセッサ、102 メモリ、103 通信部、200 表示部。

Claims (13)

  1. 対象者の身体能力に関する情報を提示する身体能力提示方法であって、
    対象者を含む画像から前記対象者の姿勢情報を生成するステップと、
    前記対象者の生体情報を取得するステップと、
    前記姿勢情報に基づいて対象者の姿勢を特定するステップと、
    前記生体情報に基づいて前記対象者の姿勢に対する前記対象者の負荷を特定するステップと、
    前記姿勢情報に基づいて特定された前記対象者の姿勢と、前記生体情報に基づいて特定された前記対象者の姿勢に対する前記対象者の負荷と、を組み合わせて、前記対象者の身体能力に関する特定情報を提示するステップとを備える、身体能力提示方法。
  2. 前記特定情報は、前記対象者の身体能力を評価するための基準情報を含む、請求項1に記載の身体能力提示方法。
  3. 前記特定情報は、前記対象者の評価スコアを含む、請求項2に記載の身体能力提示方法。
  4. 前記姿勢情報を取得するステップは、前記対象者の動作から前記姿勢情報を取得するステップを含む、請求項1から請求項3のいずれか1項に記載の身体能力提示方法。
  5. 前記生体情報は、前記対象者の表情に関する情報である、請求項1から請求項4のいずれか1項に記載の身体能力提示方法。
  6. 前記生体情報を取得するステップは、前記対象者の顔に取り付けた表情筋センサの検出値に基づいて、または、前記画像に基づいて、前記対象者の表情に関する情報を取得するステップを含む、請求項5に記載の身体能力提示方法。
  7. 前記生体情報は、前記対象者の心拍に関する情報である、請求項1から請求項4のいずれか1項に記載の身体能力提示方法。
  8. 前記生体情報を取得するステップは、前記対象者に取り付けた心拍計の計測値に基づいて、または、前記画像に基づいて、前記対象者の心拍に関する情報を取得するステップを含む、請求項7に記載の身体能力提示方法。
  9. 前記特定情報は、前記対象者の過去の複数の前記姿勢情報および前記生体情報を含む、請求項1から請求項8のいずれか1項に記載の身体能力提示方法。
  10. 前記姿勢情報は、前記対象者の関節の角度に関する情報を含む、請求項1から請求項6のいずれか1項に記載の身体能力提示方法。
  11. 前記姿勢情報は、前記対象者の関節の速度に関する情報を含む、請求項1から請求項6のいずれか1項に記載の身体能力提示方法。
  12. 前記姿勢情報は、前記対象者に対して左右対称の動作を行わせたときに対象者から得られた姿勢情報を含む、請求項1から請求項3のいずれか1項に記載の身体能力提示方法。
  13. 対象者の身体能力に関する情報を提示する身体能力提示装置であって、
    対象者を含む画像から前記対象者の姿勢情報を生成する生成部と、
    前記対象者の生体情報を取得する取得部と、
    前記姿勢情報に基づいて対象者の姿勢を特定する姿勢特定部と、
    前記生体情報に基づいて前記対象者の姿勢に対する前記対象者の負荷を特定する負荷特定部と、
    前記姿勢特定部により特定された姿勢と、前記負荷特定部により特定された負荷と、を組み合わせて、前記対象者の身体能力に関する特定情報を提示する提示部とを備える、身体能力提示装置。
JP2020091411A 2020-05-26 2020-05-26 身体能力提示方法および身体能力提示装置 Active JP7459658B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020091411A JP7459658B2 (ja) 2020-05-26 2020-05-26 身体能力提示方法および身体能力提示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020091411A JP7459658B2 (ja) 2020-05-26 2020-05-26 身体能力提示方法および身体能力提示装置

Publications (2)

Publication Number Publication Date
JP2021185999A true JP2021185999A (ja) 2021-12-13
JP7459658B2 JP7459658B2 (ja) 2024-04-02

Family

ID=78850071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020091411A Active JP7459658B2 (ja) 2020-05-26 2020-05-26 身体能力提示方法および身体能力提示装置

Country Status (1)

Country Link
JP (1) JP7459658B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171356A1 (ja) * 2022-03-07 2023-09-14 ソニーグループ株式会社 患者モニタリングシステム、患者モニタリング方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307927A1 (en) * 2012-08-23 2014-10-16 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Tracking program and method
JP2016522049A (ja) * 2013-05-31 2016-07-28 ナイキ イノベイト シーブイ 動的サンプリング
JP2019063091A (ja) * 2017-09-29 2019-04-25 株式会社生命科学インスティテュート 維持システム、維持方法、及び維持プログラム
JP2019200673A (ja) * 2018-05-17 2019-11-21 株式会社ニューロスペース 提示装置、提示方法及びプログラム
JP2020048827A (ja) * 2018-09-26 2020-04-02 Kddi株式会社 情報処理装置、サポート方法、及びサポートシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307927A1 (en) * 2012-08-23 2014-10-16 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Tracking program and method
JP2016522049A (ja) * 2013-05-31 2016-07-28 ナイキ イノベイト シーブイ 動的サンプリング
JP2019063091A (ja) * 2017-09-29 2019-04-25 株式会社生命科学インスティテュート 維持システム、維持方法、及び維持プログラム
JP2019200673A (ja) * 2018-05-17 2019-11-21 株式会社ニューロスペース 提示装置、提示方法及びプログラム
JP2020048827A (ja) * 2018-09-26 2020-04-02 Kddi株式会社 情報処理装置、サポート方法、及びサポートシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171356A1 (ja) * 2022-03-07 2023-09-14 ソニーグループ株式会社 患者モニタリングシステム、患者モニタリング方法、およびプログラム

Also Published As

Publication number Publication date
JP7459658B2 (ja) 2024-04-02

Similar Documents

Publication Publication Date Title
Leightley et al. Automated analysis and quantification of human mobility using a depth sensor
KR102033065B1 (ko) 개인 맞춤형 건강 관리 시스템 및 방법
Moniri et al. Real-time forecasting of sEMG features for trunk muscle fatigue using machine learning
US9875664B2 (en) Virtual trainer optimizer method and system
Yurtman et al. Automated evaluation of physical therapy exercises using multi-template dynamic time warping on wearable sensor signals
Sucar et al. Gesture therapy: A vision-based system for upper extremity stroke rehabilitation
JP6433805B2 (ja) 運動機能診断装置及び方法、並びにプログラム
CN113647939B (zh) 一种针对脊柱退行性疾病的人工智能康复评估与训练系统
Lv et al. Evaluation of Kinect2 based balance measurement
KR101576526B1 (ko) 재활운동 지원 장치 및 방법
Similä et al. Accelerometry-based berg balance scale score estimation
CN114999646B (zh) 新生儿运动发育评估系统、方法、装置及存储介质
CN111937078A (zh) 身体功能自主辅助装置及其方法
Malik et al. An intelligent recovery progress evaluation system for ACL reconstructed subjects using integrated 3-D kinematics and EMG features
JP2022008806A (ja) 血圧推定システム、血圧推定方法、学習装置、学習方法及びプログラム
US20230355135A1 (en) Intelligent gait analyzing apparatus
Dyshel et al. Quantifying levodopa-induced dyskinesia using depth camera
JP7459658B2 (ja) 身体能力提示方法および身体能力提示装置
Suzuki et al. Sitting posture diagnosis using a pressure sensor mat
Pashley et al. Assessment of upper limb abnormalities using the Kinect: reliability, validity and detection accuracy in people living with acquired brain injury
Amor et al. A framework for interpretable full-body kinematic description using geometric and functional analysis
TWI577338B (zh) 基於影像為基礎之即時呼吸率量測技術之方法
Nahavandi et al. A low cost anthropometric body scanning system using depth cameras
Nakamura et al. Relationship between singing experience and laryngeal movement obtained by DeepLabCut
Albert et al. A computer vision approach to continuously monitor fatigue during resistance training

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240304

R150 Certificate of patent or registration of utility model

Ref document number: 7459658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150