JP2020151267A - 人等の身体動作推定システム - Google Patents

Abstract

【課題】人等の体幹に装着されたセンサの計測値に基づいて人等の動作を推定できるシステムを提供する。【解決手段】本発明のシステムは、動作推定手段１０が基準時刻以前の第一の時間幅に亙ってセンサが時系列に計測した値を用いて推定時刻の人等に於ける複数の部位の位置推定値を出力する。動作推定手段１０は、機械学習モデルのアルゴリズムに従った学習により人等が所定の動作をしている間に計測された学習用センサ計測値とその計測の際の人等に於ける複数の部位の教師用位置参照値を用いて各学習用センサ計測値の計測時刻以前の第一の時間幅に亙る学習センサ計測値に基づいて計測時刻に対する時間差が基準時刻に対する推定時刻の時間差と同一の正解参照時刻の人等の身体に於ける複数の所定部位の教師用位置参照値を出力するよう構成される。推定時刻は、基準時刻から第二の時間幅の経過後でよく、その場合、人等の将来の動作の予測がなされる。【選択図】図１

Description

本発明は、人又は動物（以下、「人等」と称する。）の身体の将来、現在又は過去の動作を予測又は推定することのできるシステムに係り、より詳細には、人等の体幹にて計測される加速度等の計測値に基づいて人等の動作を予測又は推定するシステムに係る。

健康管理、安全管理、スポーツ技能の上達など、種々の目的のために、人等の運動や動作を検出し或いは解析するための技術が種々提案されている。例えば、特許文献１に於いては、歩行者の右足又は左足の股関節、膝関節又は足関節を挟むように角速度又は加速度を検出する測定センサを取り付け、測定センサから出力された測定データに基づいて歩行者の股関節、膝関節または足関節の関節角度を求め、歩行者の歩行状態の評価に用いる歩行解析システムが提案されている。特許文献２に於いては、人体の一方の脚の足首に運動中の人体の動作状態に関連するデータを取得するセンサを装着し、人体に所定のキャリブレーション動作を行わせて、センサの装着状態、一方の脚で片脚立ちした時の姿勢、一方の脚の下腿の長さ等を規定するためのパラメータを算出し、そのパラメータと人体が歩行しているときのセンサの取得したデータとに基づいて人体の歩行時の脚の動作状態を再現した動画を生成して表示するシステムが提案されている。更に、非特許文献１では、モーションキャプチャにより人が跳躍しているときの人の２５個の間接の三次元位置情報とそれらの重心の三次元位置情報を毎秒３０フレームにて取得し、その取得された２５個の間接と重心の三次元位置情報を用いてニューラルネットワークに於いて機械学習を実行し、そのニューラルネットワークによって１０フレーム分の２５個の間接と重心の三次元位置情報から０．５秒後の２５個の間接と重心の三次元位置情報を求め、人体の跳躍運動に於ける０．５秒後の動作を予測する構成が提案されている。

特開２０１２−３４３ 特開２０１６−１１２１０８

"Computational Foresight: Forecasting Human Body Motion in Real-time for Reducing Delays in Interactive System" ユウキ・ホリウチ他２名 ＩＳＳ ２０１７年 ３１２−３１７頁

ところで、上記の特許文献１、２の如く、人等の現在の動作を検出し或いは解析するだけでなく、非特許文献１の如く、人等の将来の動作の予測が可能となると、そのような予測情報は、後に具体的に説明される如く、更に様々な用途にて有利に利用できることが期待される。その場合、予測される人等の動作は、歩行や跳躍などの特定の動作に限らず、日常の様々な運動や動作が含まれていることが好ましい。また、人等の動作の予測のために人等に於いて用いられるデータは、人等の体の向きや運動に対してできるだけ影響を与えずに、人等が普段通りに行動している状態で、できるだけ場所を選ばずに計測可能なデータであることが好ましい。この点に関し、本発明の発明者等は、機械学習モデルを用いて、人等の体幹に装着された加速度センサ等により計測されたデータを用いて、人等の動作の推定が可能であること、特に、そのセンサによる計測が為された時点以降の人等の将来の動作の予測が可能であることを見出した。本発明に於いては、その知見が利用される。

かくして、本発明の一つの課題は、人等の体幹に装着されたセンサにより計測されるデータに基づいて人等の種々の運動を含む動作を予測又は推定できるシステムを提供することである。

本発明によれば、上記の課題は、人等の動作を推定するシステムであって、
人等の体幹に装着され、前記人等の動作に伴って変化する値をセンサ計測値として時系列に計測するセンサと、
基準時刻以前の第一の時間幅に亙って前記センサにより時系列に計測されたセンサ計測値を用いて、推定時刻に於いて推定される前記人等の動作として前記人等の身体に於ける複数の所定部位の前記推定時刻に於ける位置の各々を表す位置推定値を推定する動作推定手段とを
含み、
前記動作推定手段が、前記人等が所定の動作をしている間に前記センサにより時系列に計測された学習用センサ計測値とそれらの学習用センサ計測値が計測された際に取得された前記人等の身体に於ける前記複数の所定部位の位置を表す教師用位置参照値とを学習データとして用いて、前記学習データに於ける前記学習用センサ計測値の各々が計測された学習用センサ計測時刻以前の前記第一の時間幅に亙る前記学習センサ計測値に基づいて、前記学習データに於ける前記学習用データ計測時刻に対する時間差が前記基準時刻に対する前記推定時刻の時間差と同一である正解参照時刻に於ける前記人等の身体に於ける前記複数の所定部位の前記教師用位置参照値を出力するように機械学習モデルのアルゴリズムに従って学習し、前記基準時刻以前の第一の時間幅に亙って前記センサにより時系列に計測されたセンサ計測値に基づいて、前記推定時刻に於いて推定される前記人等の身体に於ける前記複数の所定部位の位置推定値を出力するよう構成されているシステムによって達成される。

上記の構成に於いて、「人等」とは、既に触れた如く、人又は動物であってよく（或いは歩行型ロボットであってもよい。）、人等の「動作」とは、人等が種々に姿勢を変えたり、手足を動かすなどして、人等の身体に於ける各部位の位置が変化することを言い、種々の運動を含むものとする。センサが装着される「人等の体幹」の部位は、人等の頭部、頸部、胸部、腹部、腰部、臀部など、人等の動作によって向きや位置が変化する任意の体幹上の部位であってよい。「人等の動作に伴って変化する値」、即ち、「センサ計測値」とは、典型的には、加速度値であるが、角加速度値など、その他の人等の動作に伴って変化する値であってもよい。「センサ」は、典型的には、加速度センサであるが、その他の人等の動作に伴って変化する値を計測するセンサであってもよい。なお、「センサ計測値」として加速度値が採用される場合、加速度値は、少なくとも１軸方向の加速度値であってよく、好適には、互いに異なる３軸方向の加速度値であってよい（３軸の方向は、１軸が他の２軸を含む平面に交差するよう選択される。必ずしも、３軸方向は直交していなくてもよい。）。その場合、「加速度センサ」は、３軸方向の加速度値が計測できれば、任意の形式のものであってよく、典型的には、一つのデバイスにて３軸方向の加速度値の計測できる３軸加速度センサが有利に用いられるが、これに限定されない（一軸の加速度値の計測が可能なセンサを三つの異なる方向へ向けて装着して用いられてもよい。）。また、典型的には、センサは、人等の体幹の一箇所のみに装着され、センサ計測値がセンサの装着部位に於いて計測されるようになっていてよい。

更に、上記の構成に於いて、「基準時刻」とは、システムの使用者や設定者に於いて適宜設定してよい時刻であり、本発明のシステムに於いて、人等の将来の動作を予測する場合には、典型的には、現在時刻であるが、現在時刻よりも過去の時刻であってもよい。「第一の時間幅」は、人等の動作の推定のために動作推定手段に於いて参照されるセンサ計測値の時間範囲の長さであり、本システムの使用者に於いて適宜設定してよい時間幅であるところ、後に説明される如く、かかる第一の時間幅によって人等の動作の推定の性能が決定されることとなるので、実験等により好ましい時間幅が決定されてよい。「推定時刻」は、本発明のシステムにより推定される人等の動作が生ずると推定される時刻である。かかる推定時刻が基準時刻以降に設定される場合、推定される人等の動作は、将来の動作となり、その場合には、本システムによって、人等の将来の動作が予測できることとなる（つまり、人等の動作の推定は、人等の将来の動作の予測となる。）。なお、推定時刻は、基準時刻と同じであっても、基準時刻よりも過去であってもよい。かかる「推定時刻」は、基準時刻から前後方向に任意の時間差にて設定されてよいところ、基準時刻に対する推定時刻の時間差の長さによって人等の動作の推定性能が影響されるので、実験等により好ましい時間差が決定されてよい。以下に於いて、基準時刻と推定時刻との時間差の幅は、「第二の時間幅」と称することとする。

また更に、上記の構成に於いて、人等の動作は、人等の身体に於ける複数の所定部位の位置の各々によって表されるところ、ここに於いて、複数の所定部位は、人等の身体に於ける少なくとも二つの任意の部位であってよい。具体的には、複数の所定部位には、人等の頭部、背骨部、右肩部、左肩部及び腰部が含まれていてよく、更に、人等の右脚部、左脚部、右足部、左足部が含まれていてよく、更にまた、人等の右腕部、左腕部、右手部、左手部が含まれていてよく、好適には、複数の所定部位は、人等の全身の概形が把握できるように選択される（理解されるべきことは、人等の身体に於ける複数の所定部位の数は、センサの計測部位の数（典型的には１）よりも多くなっているという点である。）。「位置推定値」は、複数の所定部位の位置の各々の座標値であり、典型的には、一つの部位は、互いに異なる３軸方向の座標値にて表される。なお、位置推定値には、更に、複数の所定部位の重心の座標値（各軸方向の位置推定値の平均）が含まれていてよい。

更にまた、上記の構成に於いて、動作推定手段は、機械学習により、基準時刻以前の第一の時間幅に亙ってセンサにより時系列に計測されたセンサ計測値に基づいて、推定時刻に於いて推定される人等の身体に於ける複数の所定部位の位置推定値を出力するよう構成されるところ、かかる機械学習に於いて使用される学習データとしては、人等が所定の動作をしている間にセンサにより時系列に計測された学習用センサ計測値とそれらの学習用センサ計測値が計測された際に取得された人等の身体に於ける複数の所定部位の位置を表す教師用位置参照値とのデータセットが用いられる（なお、教師用位置参照値には、更に、人等の身体の重心の座標値（複数の所定部位の位置参照値の各軸方向の平均）が含まれていてよい。）。ここに於いて、「所定の動作」は、本システムの使用者、設計者又は作成者等によって任意に設定されてよい種々の動作であり、好適には、本システムに於いて推定されることとなると予想される人等の動作又はそれに近い動作を網羅するように設定されてよい。「学習用センサ計測値」は、人等が所定の動作をしている間にセンサ計測値と同様に計測された値であり、「教師用位置参照値」は、「学習用センサ計測値」が取得された際の実際の人等の身体に於ける複数の所定部位の位置を表す座標値であり、上記の「位置推定値」と同様の座標空間内の座標値である。

そして、本発明のシステムに於ける機械学習では、上記の如く、学習用センサ計測値の各々が計測された学習用センサ計測時刻以前の第一の時間幅に亙る学習センサ計測値、即ち、第一の時間幅の区間に於ける学習センサ計測値の群が入力データとして用いられ、「正解参照時刻」に於ける人等の身体に於ける複数の所定部位の「教師用位置参照値」が正解データとして用いられて学習が実行される。ここに於いて、「教師用位置参照値」も、位置推定値と同様に、複数の所定部位の位置の各々の座標値であり、典型的には、一つの部位は、互いに異なる３軸方向の座標値にて表される。また、「正解参照時刻」は、学習用センサ計測時刻に対する時間差が基準時刻に対する推定時刻の時間差と同一となるよう選択され、従って、推定時刻が基準時刻から第二の時間幅の経過後であるときには、正解参照時刻は、学習用センサ計測時刻（入力データと用いられる学習センサ計測値の群の最後の計測時刻）から第二の時間幅の経過後の時刻が選択され、推定時刻が基準時刻から第二の時間幅の経過前であるときには、正解参照時刻は、学習用センサ計測時刻から第二の時間幅の経過前の時刻が選択される（推定時刻が基準時刻に等しいときには、正解参照時刻も学習用センサ計測時刻に等しくなる。）。

上記の本発明のシステムの構成によれば、端的に述べれば、上記の如く、人等が所定の動作をしている間にセンサにより時系列に計測された学習用センサ計測値とそれらの学習用センサ計測値の計測時に同時に取得された人等の身体に於ける複数の所定部位の位置を表す教師用位置参照値とのデータセットを学習データとして用いた機械学習によって動作推定手段を構成し、その動作推定手段を用いて、人等の体幹に装着されたセンサによって基準時刻以前の第一の時間幅に亙って計測されたセンサ計測値から、推定時刻に於ける人等の動作、即ち、人等の身体に於ける複数の所定部位の位置の推定を実行する。人等の身体の各部位は互いに連結しており、人等の動作に於いて、その身体に於ける各部位の位置は、通常（極端に不自然な動作でない限り）、時間の経過と共に連続的に変化するので、或る時点に於ける人等の動作は、その時点の前及び／又は後の時点の人等の任意の部位、例えば、体幹の一部にて観測される状態と相関を有している。特に、或る時点に於ける人等の動作の兆候は、その時点よりも前の時点に於いて人等にて観測される状態に現れることとなる。また、或る時点に於ける人等の動作は、その時点及びその時点の後の時点に於ける人等にて観測される状態にも影響を残すこととなる。

そこで、本発明のシステムに於いては、人等の将来の動作（まだ、起きていない動作）の兆候、或いは、人等の現在又は過去の動作の影響を人等の体幹に装着したセンサによりセンサ計測値として捉え、そのセンサ計測値に於ける人等の将来の動作の兆候又は人等の現在又は過去の動作の影響から、人等の将来の動作の予測或いは人等の現在又は過去の動作の推定が試みられる。かかる本発明のシステムの場合、人等の動作の推定のために用いられる情報としては、人等の体幹に装着されたセンサにより得られるセンサ計測値でよく、かかるセンサ計測値は、人等の体の向きや運動に対してできるだけ影響を与えずに、人等が普段通りに行動している状態で計測可能である。また、その場合、人等の動作の予測又は推定に用いる情報の取得に際して、モーションキャプチャ等の移動が容易でない設備は用いられなくてもよく、人等に装着されたセンサが作動可能な環境であれば、任意の場所にてセンサ計測値の収集が可能であるので、従前に比して場所を選ばずに人等の動作の予測又は推定が可能となる。更に、本システムに於いては、学習データの作成の際に人等に実行させる所定の動作として種々の動作を網羅することによって、日常の様々な運動や動作の予測又は推定も可能となる。かくして、本発明のシステムによれば、人等の体幹に装着されたセンサにより計測されるデータに基づいて、過去から将来に於ける人等の種々の動作の予測又は推定が可能となる。なお、既に触れた如く、加速度センサなどの人等の体幹に装着されるセンサにより得られたセンサ計測値に基づいて、そのセンサ計測値が得られた時点よりも後の人等の動作が予測できることは、本発明の発明者等の開発研究に於いて実験的に確認されている。

ところで、上記の本発明のシステムに於いては、人等の動作の予測又は推定に用いられる情報は、上記の如く、人等の体幹に装着されたセンサにより計測されるセンサ計測値であるので、人等がどの方向を向いていても動作が同じであれば、同じセンサ計測値が得られることが期待される。即ち、本システムに於けるセンサ計測値は、人等に固定された座標空間に於ける座標値にて表されていることとなる。従って、本システムに於けるセンサ計測値には、人等の向いている方角又は方向の情報が含まれておらず、人等の向く方角又は方向を予測することは困難であるので、好適には、本システムに推定される人等の動作を表す人等の身体に於ける複数の部位の位置推定値も人等に固定された座標空間に於ける座標値にて表されるようになっていてよく、これと同様に学習データに於ける教師用位置参照値も人等に固定された座標空間に於ける座標値にて表されていてよい。人等に固定された座標空間は、例えば、人等の左右方向が所定の方向に向くよう設定されている座標空間、より具体的には、人等に於いて水平に延在する左右方向（例えば、左右両肩部を結ぶ線の水平面に対する射影の延在方向）が座標空間の横方向に延在し、鉛直方向（重力方向）が座標空間の上下方向に延在するように人等に対して配置された座標空間であってよい。

この点に関し、学習データに於ける正解データに用いられる教師用位置参照値の取得のために人等の所定の動作をしている間の身体に於ける複数の所定部位の位置の情報を取得する際、人等の身体に於ける各部位の位置は、典型的には、モーションキャプチャシステムなどの、或る場所に設置された人等の身体に於ける複数の所定部位の位置の計測手段（位置計測手段）を含むシステムに於いて、そのシステムの設置場所に固定された座標空間（「位置計測空間」と称する。）に於ける座標値として計測される。その場合、計測される複数の所定部位の位置の座標値は、位置計測空間に於ける人等の向いている方向や人等の存在している位置によって、人等が同じ動作をしていても異なることとなる。そうすると、モーションキャプチャシステム等の位置計測手段にて計測された人等の身体に於ける各部位の位置の計測値がそのまま学習データの正解データとして用いられて、上記の機械学習が実行されたときには、人等が同じ動作しているときにも人等の向いている方向や存在位置によって人等の身体に於ける各部位の位置の座標値が異なることから（同じ動作に於いて計測された学習用センサ計測値に対して、複数の異なる教師用位置参照値が対応する場合が生じ得る。）、学習用センサ計測値と教師用位置参照値との対応が過剰に複雑となり、的確な学習が達成されない場合があり、これにより、本システムによる人等の動作の推定結果の精度が低下する場合がある。このことは、後に説明される如く、本発明の発明者等の実験に於いても見出されている。

そこで、本発明のシステムに於いては、モーションキャプチャシステムなどの、位置計測空間に於いて人等の身体に於ける複数の所定部位の位置の座標値を計測する位置計測手段を用いて人等が前記の所定の動作をしている間に人等の身体に於ける複数の所定部位の位置を表す位置計測空間に於ける座標値である教師用位置計測値を計測し、その教師用位置計測値に対して位置計測空間から人等に固定された座標空間への座標変換演算を実行することによって得られた値が、教師用位置参照値として用いられてよい。かかる構成によれば、教師用位置参照値が人等に固定された座標空間に於ける座標値にて表されているので、人等の各部位の位置の計測時に於いて、人等が位置計測空間に於いていずれの方向を向き、いずれの位置に存在していたとしても、同じ動作に於ける座標値は略同じ値に変換され、学習データに於ける学習用センサ計測値と教師用位置参照値との対応がより簡潔となり、的確な学習が実行され、本システムによる人等の動作の予測性能を向上することが可能となる。このことは、後に説明される如く、本発明の発明者等の実験に於いても見出されている。

上記の本発明のシステムの実施の態様に於ける座標変換演算では、学習データの各時点に於ける人等に於いて左右対称な位置関係にある一対の部位の教師用位置計測値を選択し、選択された教師用位置計測値を結ぶ線の延在方向に人等に固定された座標空間に於ける所定の方向を一致させる座標変換演算を、人等の身体に於ける複数の所定部位の教師用位置計測値に対して実行して、人等の身体に於ける複数の所定部位の教師用位置参照値が人等に固定された座標空間の座標値として算出されるようになっていてよい。ここで、人等に固定された座標空間に於ける「所定の方向」は、任意に設定されてよい。一つの実施形態に於いて、位置計測空間がｚ軸を鉛直方向に延在し、ｘ軸とｙ軸とが水平方向に延在するよう定義されている場合（通常は、このように定義されている。）、上記の座標変換演算は、位置計測空間に於ける人等に於いて左右対称な位置関係にある一対の部位の教師用位置計測値を結ぶ線のｘ−ｙ平面への射影と、所定の方向、例えば、ｘ軸方向（又はｙ軸であってもよい。）との間の角度だけ、人等に於いて左右対称な位置関係にある一対の部位の教師用位置計測値を結ぶ線のｘ−ｙ平面への射影が所定の方向に一致するように、教師用位置計測値の回転座標変換を行うことに相当する。従って、本システムに於いて、座標変換演算処理を実行する際には、位置計測空間に於いて決定されている教師用位置計測値に対して上記の回転座標変換が実行されて、人等に固定された座標空間に於ける教師用位置参照値が算出されてよい（具体的な演算処理は後述される。）。その際、人等に固定された座標空間の鉛直方向軸（ｚ軸）が、人等に於いて左右対称な位置関係にある一対の部位の間の中点を通るように設定されるところ、その中点に人等に固定された座標空間に於ける原点が設定されてもよい（或いは、かかる中点のｘ−ｙ平面への射影が人等に固定された座標空間に於ける原点に設定される。）。

上記の如く、本発明のシステムに於いて、動作推定手段は、学習データを用いた機械学習によって構成されるところ、機械学習に於いて、より具体的には、典型的には、機械学習モデルのアルゴリズムに従って、学習データを用いて学習用センサ計測値から教師用位置参照値を算出するよう設定された機械学習モデルのパラメータが決定され、人等の動作の推定時には、決定されたパラメータを用いて、機械学習モデルのアルゴリズムに従ってセンサ計測値から位置推定値が出力される。従って、本発明のシステムの実施の態様に於いては、学習データを用いた機械学習により、動作推定手段が学習データに於ける学習用センサ計測値の各々が計測された学習用データ計測時刻以前の第一の時間幅に亙る学習センサ計測値に基づいて、学習データに於ける正解参照時刻の人等の身体に於ける複数の所定部位の教師用位置参照値を出力するように動作推定手段に於ける機械学習モデルのパラメータを決定する機械学習モデルパラメータ決定手段が設けられ、動作推定手段が、かかるパラメータを用いて位置推定値を決定するように構成されていてよい。また、既に述べた如く、教師用位置参照値は、モーションキャプチャシステムなどの位置計測手段により得られた教師用位置計測値を座標変換して得られる値であるので、本発明のシステムの実施の態様に於いて、教師用位置計測値に対して位置計測空間から人等に固定された座標空間への座標変換演算を実行して教師用位置参照値を得る座標変換手段が設けられていてよい。

本発明のシステムに於いて、動作推定手段の構成に採用される機械学習モデルとしては、加速度センサなどの人等の体幹に装着されるセンサにより得られたセンサ計測値に基づいて、そのセンサ計測値が得られた時点よりも後又は前の時点に於ける人等の動作を推定することを可能にする任意の機械学習モデルが選択されてよい。一つの実施の態様に於いて、機械学習モデルは、ニューラルネットワークであってよく、その場合、動作推定手段が、ニューラルネットワークの機械学習により、基準時刻以前の第一の時間幅に亙って計測されたセンサ計測値又はその特徴量を入力データとして受容すると推定時刻に於ける人等の各部位の位置推定値を出力するよう構成されてよい。本発明のシステムに於いて採用されるニューラルネットワークの詳細な設定は、後述される。

上記の本発明のシステムの構成に於いて、センサは、人等の体幹に装着可能な筐体に収容されてよい。センサ計測値から人等の動作の推定を行う演算を行う手段は、筐体内に収容されていてもよく、外部のコンピュータにて実現されてもよい。本発明のシステムに於いて、動作推定手段の出力した推定時刻に於ける動作は、任意の表示形式にて、例えば、画像や動画等により、表示されてよい。かくして、本発明のシステムに於いて、人等の身体に於ける複数の所定部位の位置推定値を表示する推定動作表示手段が設けられてよい。更に、本発明のシステムに於ける推定結果に基づいて種々の別の装置やシステムが作動されるように、本発明のシステムに於ける推定結果を出力する手段が設けられていてよい。

かくして、上記の本発明のシステムによれば、人等の動作の予測又は推定が、人等の体幹に装着されたセンサの計測するセンサ計測値を用いて達成されることとなる。かかる構成に於いて、動作推定手段の学習のための学習データの収集に於いては、モーションキャプチャシステムなどの人等の身体に於ける各部位の位置情報を取得するための設備が利用されるが、学習が実行された後には、入力情報として上記のセンサ計測値だけを用いて人等の将来の動作の予測又は人等の過去・現在の動作の推定が可能となるので、人等の体の向きや運動に対してできるだけ影響を与えずに、人等が普段通りに行動している状態で、できるだけ場所を選ばずに、人等の将来の動作の予測情報或いは人等の過去・現在の動作の推定情報が利用できることとなる。

本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。

図１（Ａ）は、本発明による動作推定システムの実施形態に於けるセンサ計測値（加速度値など）を計測するためのセンサを含む被検者の体幹に装着される筐体と被検者の動作を推定し表示するコンピュータ端末を模式的に表した図である。図１（Ｂ）は、本発明による動作推定システムの実施形態に於ける動作推定装置の内部の構成をブロック図の形式で表した図である。図１（Ｃ）は、本発明による動作推定システムの実施形態に於ける動作推定に使用する推定器（機械学習モデル）のパラメータの機械学習のための機械学習装置の構成をブロック図の形式で表した図である。 図２（Ａ）及び（Ｂ）は、被検者（人等）の立位から座位へ変化する動作の様子を模式的に表した図である。図２（Ｃ）は、被検者の立位から座位へ変化する動作に於いて加速度センサの向きが変化する様子を模式的に表した図である。図２（Ｄ）は、被検者の体幹にて時系列に計測された加速度値から被検者の将来の動作を予測する場合に於いて参照される加速度値の時間区間と被検者の状態の予測される時間との関係を説明する図である。図２（Ｅ）は、被検者の体幹にて時系列に計測された加速度値から被検者の進行中の動作を推定する場合に於いて参照される加速度値の時間区間と被検者の状態の予測される時間との関係を説明する図である。図２（Ｆ）は、被検者の体幹にて時系列に計測された加速度値から被検者の過去の動作を推定する場合に於いて参照される加速度値の時間区間と被検者の状態の予測される時間との関係を説明する図である。 図３（Ａ）は、位置計測手段に於いて被検者（人等）の身体に於ける複数の所定部位の位置を計測する際の位置計測空間を示している。図３（Ｂ）は、人等に固定された座標空間（人等固定空間）を示している。 図４（Ａ）は、本発明による動作推定システムの実施形態に於ける被検者の動作を推定する処理をフローチャートの形式にて示した図である。図４（Ｂ）は、本実施形態に於ける動作推定に使用される推定器（機械学習モデル）のパラメータの決定処理をフローチャートの形式にて示した図である。図４（Ｃ）は、本実施形態に於ける特徴量の算出のタイミングを説明する図である。 図５は、本発明による動作推定システムの実施形態に於いて被検者の姿勢又は運動状態によって、異なる推定器パラメータを用いる場合の被検者の動作を推定する処理をフローチャートの形式にて示した図である。 図６（Ａ）〜（Ｅ）は、本発明による動作推定システムの実施形態に於いて、基準時刻以前の加速度値を用いて推定された推定時刻（基準時刻の０．５秒後）に於ける被検者の身体の状態の予測結果の例（予測）を示している。比較のために、予測結果に対応する位置計測手段にて計測された被検者の身体の状態（正解）が示されている。 図７は、本発明による動作推定システムの実施形態の用途について説明する人等の模式図である。

１…筐体
２…コンピュータ装置
３…モニター
４…キーボード、マウス（入力装置）
１０…動作推定装置
１２…機械学習装置
Ｐ…被検者

システムの構成
図１（Ａ）を参照して、本発明による人等の動作推定システムの一つの実施形態に於いては、まず、人等である被検者Ｐの体幹、例えば、頭部、頸部、胸部、腹部、腰部、臀部に於いて、動作推定のために参照される、被検者Ｐの動作に伴って変化する値（センサ計測値）を計測するセンサが収容された筐体１が装着される。筐体１は、図示の如く、被検者Ｐの体の向きや運動に対してできるだけ影響を与えずに、被検者が普段通りに行動している状態でセンサの計測が可能な比較的コンパクトで携帯可能な寸法に形成されることが好ましい。かかる筐体１に収容されるセンサは、典型的には、加速度センサであり、センサ計測値として加速度値が採用される。その場合、加速度値は、少なくとも１軸方向の加速度値であってよく、好適には、互いに異なる３軸方向の加速度値であってよく、３軸の方向は、１軸が他の２軸を含む平面に交差するよう選択される。加速度センサには、典型的には、一つのデバイスにて３軸方向の加速度値の計測できる３軸加速度センサが有利に用いられるが、これに限定されず、３軸方向の加速度値が計測できれば、任意の形式のものであってよい。また、加速度センサには、被検者Ｐの体幹の向きの変化に伴う筐体１の向きの変化によって生ずる加速度値の計測軸に対する重力ベクトルの射影距離の変化（即ち、筐体１の向きの変化に伴う加速度計測軸方向の重力ベクトルの成分の変化）及び／又は被検者の動作に伴って筐体１に作用する加速度を計測できる感度を有するものが用いられる。なお、センサとして、ジャイロセンサ等が採用され、センサ計測値として角加速度値など、人等の動作に伴って変化するその他の値が採用されてもよい（センサ計測値は、複数の種類の計測値であってもよい。）。そして、本実施形態のシステムに於いて、典型的には、センサの人等の体幹に於ける装着数は、一つのみでよく、センサ計測値がセンサの装着部位に於いて計測される（ただし、人等の体幹に装着されるセンサ数は複数であってもよい。）。センサを収容する筐体１の形態は、採用されるセンサの形態に応じて種々のものであってよいことは理解されるべきである。

上記のセンサにて計測されたセンサ計測値は、任意の形式にて、動作推定装置１０へ送信され、後に述べる態様にて被検者Ｐの動作の推定が行われる。動作推定装置１０は、典型的には、筐体１とは別体のコンピュータ装置２に於いて構成されていてよく、センサの出力であるセンサ計測値が有線又は無線通信にてコンピュータ装置２へ送信されるようになっていてよい。コンピュータ装置２には、通常の態様にて、双方向コモン・バスにより相互に連結されたＣＰＵ、記憶装置、入出力装置（Ｉ／Ｏ）が装備され、記憶装置は、本発明の演算で使用する演算処理を実行する各プログラムを記憶したメモリと、演算中に使用されるワークメモリ及びデータメモリを含んでいる。更に、コンピュータ装置２には、通常の態様にて、モニター３とキーボード並びにマウスといった入力装置４が設けられ、プログラムが起動されると、使用者は、プログラムの手順に従ってモニター３上の表示に従って、入力装置４を用いてコンピュータ装置２に各種の指示及び入力を行うとともに、モニター３上にてコンピュータ装置１２からの推定演算の状態及び推定結果等を視覚的に確認することが可能となる。また、図示していないその他の周辺機器（結果を出力するプリンタ、計算条件及び演算結果情報等を入出力するための記憶装置など）がコンピュータ装置２に装備されていてよいことは理解されるべきである。

なお、動作推定装置１０が筐体１内にて構成され、推定結果が、有線又は無線通信など任意の形式にて、コンピュータ装置２又はその他の外部機器へ出力されるようになっていてもよい。その場合、筐体１内に、動作推定を実行するためのマイクロコンピュータ、メモリ又はフラッシュメモリ等を含む通常の小型のコンピュータ装置が収容されていてよい。更にまた、被検者の動作推定を行う処理の一部が筐体内で実行され、一部が外部コンピュータ装置にて実行されるようになっていてもよい。そして、筐体１に、動作推定装置１０の出力値及び／又は装置の作動状況を表示するディスプレイと、出力値を外部の装置又は設備へ送信する通信部、被検者又は使用者による装置に対する指示・操作を受容する操作パネルなどが設けられていてもよい。

上記の動作推定装置１０の内部に於いては、図１（Ｂ）に描かれている如く、被検者の体幹に装着されたセンサ（加速度センサ）の計測したセンサ計測値（加速度値）を時々刻々に受容して、センサ計測値から特徴量を抽出又は算出する特徴量抽出部と、特徴量抽出部から特徴量を受容し、それらを参照して、メモリに記憶されているパラメータ（推定器パラメータ）を用いて構成される推定器によって被検者の動作を推定する動作推定部とが設けられる。そして、動作の推定結果がディスプレイに表示され或いは任意の記憶装置に記憶される。上記の被検者の動作推定装置１０がコンピュータ装置２に構成されている場合も筐体１内に収容されている場合も、装置１０内の各部の作動は、メモリに記憶されたプログラムに従った作動により、実現されることは理解されるべきである。

上記の被検者の動作の推定の処理に使用される推定器パラメータは、既に触れた如く、機械学習装置１２に於いて、機械学習によって決定され、メモリに記憶される。機械学習装置１２は、通常は、コンピュータ装置２に於いて構成されるか、別のコンピュータが用いられて、推定器パラメータの情報がコンピュータ装置２に転送されるようになっていてもよいが、筐体１内にて構成されてもよい。

図１（Ｃ）を参照して、機械学習装置１２の内部に於いては、動作推定装置１０の場合と同様に、センサ（加速度値センサ）の計測したセンサ計測値（加速度値）を受容して特徴量を抽出又は算出する特徴量抽出部と、センサによるセンサ計測値の時系列の計測と並行して任意の位置計測手段を用いて計測された人等の身体に於ける複数の所定部位の位置の計測情報を受容して、後に詳細に説明される態様にて人等の身体の各部位の位置の計測値の座標変換処理を行う位置情報座標変換部と、後に詳細に説明される如く、特徴量抽出部からの特徴量（入力データ）と位置情報座標変換部からの座標変換が為された人等の身体の各部位の位置情報（正解データ）とを教師付き学習データとして用いて、機械学習モデルのアルゴリズムに従って、動作推定部にて被検者の動作推定の際に使用される推定器パラメータを決定する推定器パラメータ決定部と、推定器パラメータを記憶するメモリとが設けられてよい。

上記の機械学習装置１２の構成に関して、教師付き学習データの作成のために人等の身体に於ける複数の所定部位の位置の計測を行う位置計測手段には、典型的には、モーションキャプチャシステムが用いられ、人等が任意に決定されてよい種々の動作（所定の動作）を行う間に、その人等の身体に於ける複数の部位のそれぞれの位置の計測が実行される。人等の身体に於ける複数の部位は、具体的には、人等の頭部、首部、背骨部、右肩部、左肩部、腰部、右脚部、左脚部、右膝部、左膝部、右足首部、左足首部、右足部、左足部、右腕部、左腕部、右肘部、左肘部、右手部、左手部など、任意に選択された部位であってよい。好適には、複数の所定部位は、人等の全身の概形が把握できるように選択されてよい。そして、人等の身体に於ける各部位の位置は、典型的には、モーションキャプチャシステムの設置場所或いは観測対象となる人等が配置される場所に固定された座標空間（位置計測空間）に於ける三次元の座標値として、時系列に計測される。なお、人等の身体の各部位の位置の座標値（位置計測値）は、任意の態様にて、例えば、人等の画像を用いて、或いは、人等の身体の各部位に装着された慣性センサの出力に基づいて計測可能であり、本実施形態のシステムに於いては、人等の身体の各部位の位置計測値が得られれば、任意の手法が選択されてよい。人等の身体の各部位の位置計測値は、典型的には、世界座標系に於ける座標値として得られてよいが、これに限定されない。

上記の図１（Ｃ）の構成に於いて、センサ（加速度センサ）、特徴量抽出部、は、動作推定装置１０内のものと同一のものであってよい（共用であってよい。）。上記の被検者の機械学習装置１２がコンピュータ装置２に構成されている場合も筐体１内に収容されている場合も、装置１２内の各部の作動は、メモリに記憶されたプログラムに従った作動により、実現されることは理解されるべきである。

装置の作動
（１）動作推定の原理と概要
「発明の概要」の欄に於いても説明されている如く、人等の身体の各部位は互いに連結しているので、人等が種々の動作をする際に、人等の身体に於ける各部位の位置は、体幹の一部の動きと相関を有している。かかる人等の体幹の動きは、人等の体幹に加速度センサなどのセンサにより観測される状態（人等の動作に伴って変化する値）にて検知することが可能である。例えば、加速度センサの場合であれば、図２（Ａ）〜（Ｃ）に描かれている如く、加速度センサ１が装着された人等Ｐの姿勢が立位（Ａ）から座位（Ｂ）に着座する動作に於いて、加速度センサの向きが変わり、加速度センサ１にて計測される重力ベクトルに対応する加速度値の大きさが変化するので、体幹の動きが加速度センサ１により計測される加速度値が検知されることとなる。また、人等が種々の動作をする際に於いて、極端に不自然な動作でない限り、人等の身体に於ける各部位の位置は、時間の経過と共に連続的に変化するので、或る時点に於ける人等の各部位の位置は、その時点の前及び／又は後の時点の人等の各部位の位置と相関を有している。従って、或る時点に於ける人等の動作の兆候は、その時点よりも前の時点に於いて人等の体幹の動きに現れていると考えられるので、人等の体幹の動きに於いて、人等の将来の、まだ、起きていない、動作の兆候（各部位が或る位置へ移動する兆候）を捉えることにより、人等の将来の動作を予測することが可能である。即ち、図２（Ｄ）に模式的に描かれている如く、推定時刻Ｔｐに於ける人等の動作の結果の状態、即ち、人等の身体の各部位の位置は、推定時刻Ｔｐよりも時間幅ΔＴ２だけ前の基準時刻Ｔｒ以前の時間幅ΔＴ１の区間に於いて計測された人等の体幹の動きに於ける「動作の兆候」を用いて予測することが可能である。また、同様に、或る時点に於ける人等の動作は、その時点の前及び／又は後の時点の人等の体幹の動きに反映されている（動作の影響が現れている）と考えられるので、人等の体幹の動きに於いて、人等の現在又は過去の動作の影響を捉えることにより、人等の現在又は過去の動作を推定することも可能である。即ち、図２（Ｅ）、（Ｆ）に模式的に描かれている如く、推定時刻Ｔｐに於ける人等の動作、即ち、人等の身体の各部位の位置は、推定時刻Ｔｐよりも時間幅ΔＴ２だけ後の基準時刻Ｔｒ以前の時間幅ΔＴ１の区間に於いて計測された人等の体幹の動きに於ける「動作の影響」を用いて推定することが可能である。

そこで、本実施形態のシステムに於いては、端的に述べれば、機械学習モデルのアルゴリズムを用いて、人等の体幹に装着されたセンサにより計測されるセンサ計測値を入力として、将来、現在又は過去の時点に於ける人等の動作（身体の各部位の位置情報）を予測又は推定する推定器（動作推定手段）を構築し、その推定器を用いて、基準時刻以前の特徴量収集区間ΔＴ１（第一の時間幅）に亙って人等の体幹に装着されたセンサにより時系列に計測されたセンサ計測値から、将来、現在又は過去の時点、即ち、基準時刻から任意の時間幅ΔＴ２（第二の時間幅）だけ離れた推定時刻に於ける人等の動作の予測又は推定が実行される（図２（Ｄ）〜（Ｆ）参照）。推定器の構築に於いては、機械学習モデルのアルゴリズムに従って、人等が種々の動作（所定の動作）をしている間にセンサにより時系列に計測された学習用センサ計測値とそれらの学習用センサ計測値が計測された際に位置計測手段などを用いて取得された人等の身体に於ける複数の所定部位の位置を表す教師用位置参照値とを学習データとして用いた学習処理によって、学習用センサ計測値の各々が計測された学習用センサ計測時刻以前の特徴量収集区間ΔＴ１（第一の時間幅）に亙る学習センサ計測値に基づいて、正解参照時刻（学習用データ計測時刻に対する時間差が基準時刻に対する推定時刻の時間差と同一である時刻）に於ける人等の身体に於ける複数の所定部位の教師用位置参照値を出力するように、推定器が構成される。推定器に採用される機械学習モデルとしては、上記の如き入力−出力関係が得られるものではあれば、任意のモデルであってよく、例えば、後述の如くニューラルネットワークが有利に用いられる。

（２）人等の身体の各部位の位置情報の座標変換
ところで、上記の本実施形態のシステムに於いて、推定器の入力となるセンサ計測値は、人等である被検者Ｐの体幹に装着されたセンサの計測値であるので、被検者Ｐの向いている方向又は方角についての情報を含んでいない（センサ計測値が加速度値である場合、重力方向のみが検知可能な方向である。）。即ち、被検者Ｐがいずれの方向又は方角を向いていても、（重力方向に対して）同じ動作が行われた場合には、センサ計測値は、通常、同じ値となる。一方、推定器の機械学習のための学習データとして使用される人等の身体の各部位の位置情報には、既に述べた如く、通常は、モーションキャプチャシステムなどの位置計測手段により計測された位置計測値が用いられるところ、かかる位置計測値は、位置計測手段の設置場所或いは観測対象となる人等が配置される場所に固定された位置計測空間に於ける三次元の座標値であるのが一般的であるので、観測される人等が同じ動作を行っていても、位置計測空間に対する向きが異なると、異なる値となる。そのような位置計測値にて表された人等の身体の各部位の位置情報をそのまま推定器のための学習データとして用いた場合、人等が或る同じ動作を行い、センサ計測値が同じ値となっても、人等の向いている方向が異なる場合には、人等の身体の各部位の位置情報が異なることとなり、推定器のための学習が適切に達成されないこととなり得る（或る一つの入力パターンに対して、複数の正解値が存在すると、推定器のパラメータが一義的に決定できなくなり、出力が不安定となり得る。）。従って、適切な学習が達成するためには、人等が或る同じ動作を行う場合には、人等の身体の各部位の位置情報も同様となっていることが好ましい。そのためには、人等の身体の各部位の位置情報は、人等の方向によらず、人等に固定された座標空間（人等固定空間）に於ける座標値にて表されていることが好ましい。

かくして、本実施形態のシステムに於いては、好適には、推定器のための学習データのための人等の身体の各部位の位置情報が位置計測手段の位置計測空間に於ける座標値（位置計測値）にて表されているときには、位置計測値を人等固定空間に於ける座標値に座標変換する処理を実行し、座標変換後の座標値が学習データに於ける正解データ（教師用位置参照値）として用いられる。

上記の座標変換の一つの態様に於いては、図３（Ａ）に示されている如く、人等の身体の各部位の位置の座標値が、位置計測手段の位置計測空間（ｘｍ−ｙｍ−ｚｍ空間）に於ける座標値で表されているとき、人等に於いて、左右対称な部位、例えば、右肩部Ｓｒ、左肩部Ｓｌが選択される（人等の位置計測値を計測する際にいずれの部位が右肩部Ｓｒ、左肩部Ｓｌであるかは分っているので、かかる部位の選択は容易に達成可能である。）。そして、選択された二つの部位の中点の座標値が算出される。即ち、右肩部Ｓｒ、左肩部Ｓｌの座標値が、それぞれ、
Ｓｒ＝（Ｒｘ，Ｒｙ，Ｒｚ） …（１ａ）
Ｓｌ＝（Ｌｘ，Ｌｙ，Ｌｚ） …（１ｂ）
であるとき、中点Ｓｃの座標値は、
Ｓｃ＝（(Rx+Lx)/2,(Ry+Ly)/2,(Rz+Lz)/2） …（２）
により与えられる。ここで、人等固定空間（ｘｒ−ｙｒ−ｚｒ空間）を、図３（Ｂ）に描かれている如く、中点Ｓｃのｘｍ−ｙｍ平面への射影点Ｓｃ’を原点とし、右肩部Ｓｒと左肩部Ｓｌとを結ぶ線Ｓｒ−Ｓｌのｘｍ−ｙｍ平面への射影線Ｓｒ’−Ｓｌ’の延在方向がｘｒ軸に一致するように定義する。そうすると、位置計測空間から人等固定空間のへの座標変換は、人等の身体の各部位の位置をＳｃ’だけ平行移動し、更に、線Ｓｒ’−Ｓｌ’とｘｍ軸との角度βだけｚ軸周りに回転することに相当する。かくして、人等の身体の各部位の位置計測値Ａ
Ａ＝（ａｘ，ａｙ，ａｚ） …（３）
は、まず、Ｓｃ’だけ平行移動されて、
Ａ^＋＝Ａ−Ｓｃ’ …（４）
に変換される。ここで、Ｓｃ’は、
Ｓｃ’＝（(Rx+Lx)/2,(Ry+Ly)/2,０） …（５）
である。また、このとき、右肩部Ｓｒは、
Ｓｒ^＋＝（Ｒｘ^＋，Ｒｙ^＋，Ｒｚ^＋）＝Ｓｒ−Ｓｃ’ …（６）
に変換される。そうすると、線Ｓｒ’−Ｓｌ’とｘｍ軸との角度βは、
β＝−ａｒｃｔａｎ（Ｒｙ^＋／Ｒｘ^＋） …（７）
にて与えられる。そして、Ａ^＋を下記の如くｚｍ軸周りに角度βだけ回転すると、人等の身体の各部位の位置が人等固定空間（ｘｒ−ｙｒ−ｚｒ空間）に於ける座標値で表された変換後の各部位の座標値Ａ^＋＋が得られることとなる。
Ａ^＋＋＝Ｃ・Ａ^＋ …（８）
ここで、

かくして、位置計測手段にて得られた人等の身体の各部位の位置計測値に対して、上記の式（４）、（８）を用いて、座標変換することにより、教師用位置参照値として用いられる人等の身体の各部位の位置情報が人等固定空間に於ける座標値にて表されることとなる。

なお、上記の座標変換の方法は、その他の任意の態様にて実行されてよい。重要なことは、教師用位置参照値として用いられる人等の身体の各部位の位置情報が人等に固定された空間に於ける座標値にて表されていることである。例えば、人等固定空間の原点は、中点Ｓｃに定義されてもよい。また、中点Ｓｃを決定する左右対称な部位は、右腰部と左腰部などが選択されてもよい。更に、人等の同じ動作に於ける各部位が同じ座標値にて表されていればよく、人等固定空間のｚ軸が人等中点Ｓｃを必ずしも通っていなくてもよい。いずれの場合も本発明の範囲に属することは理解されるべきである。

（３）動作の推定
本実施形態のシステムの人等の動作の推定に於いては、図４（Ａ）に示されている如く、センサ計測値（加速度値）の取得（ステップ１〜２）、特徴量の算出・記憶（ステップ３）、動作の推定（ステップ４〜５）、推定結果の表示（ステップ６）が順々に実行され、推定結果が出力されてよい。以下、各処理について説明する。

（ｉ）センサ計測値の取得（ステップ１〜３）
動作の推定のために計測されるセンサ計測値（加速度値）は、上記の如く、被検者Ｐの体幹に装着された加速度センサ等のセンサにより、時系列に計測され記憶される（ステップ１）。後の処理に於いては、これらの計測値の時系列データから、図４（Ｃ）に模式的に示されている如きエポックという単位毎に算出される特徴量が推定器の入力データとして用いられてよく、その場合には、センサ計測値の計測が１エポック完了毎に、次の処理が実行されることとなる。なお、一つのエポックは、前後のエポックと重複していても（前後のエポックと重複する割合は任意に変更されてよい。）、重複していなくてもよい。図示の如く、例えば、０．５秒幅のエポックが、０．０５秒間ずつ順々にシフトしていくようになってよく、各エポックの終了時Ｃｔ１、Ｃｔ２…に於いて各エポックに於ける時系列の計測データを用いて特徴量が抽出又は算出されることとなる。この場合、図４（Ａ）に示されている如く、各エポックが完了するまで、センサ計測値の計測と記憶（ステップ１）が反復して実行され、エポックの完了毎（ステップ２）に次の処理が実行されることとなる（ステップ３）。なお、推定器に入力する特徴量として、任意に設定されてよい所定の時間間隔毎のセンサ計測値そのものが採用されてもよく、その場合には、１エポック毎にセンサ計測値の計測・記憶は実行されず、逐次的に、センサ計測値の計測・記憶が実行されてよい。

（ii）特徴量の算出・記憶（ステップ３）
センサ計測値の取得が為されると、推定器への入力となるセンサ計測値の特徴量が抽出又は算出され、記憶される。かかる特徴量は、センサ計測値の各エポック内の時系列データから適宜選択されてよい。典型的は、特徴量として、時系列データの所定の時間毎の統計量が採用されよい。具体的には、特徴量としては、例えば、エポック毎のセンサ計測値の最大値、最小値、中央値、分散、自己相関値、ピリオドグラム（周波数特徴量）などが利用可能である。また、上記の如く、特徴量は、所定の時間間隔毎のセンサ計測値そのものであってよい。センサ計測値として、３軸方向の加速度値が用いられる場合には、３軸方向の加速度値の上記の特徴量が用いられる。その場合、各エポック又は各時点にて、３つの特徴量が算出又は抽出されることとなる。なお、上記の各特徴量は、それぞれ算出された後に正規化（Ｚスコア変換）されてもよい。正規化特徴量Ｘは、下記の如く与えられる。
Ｘ＝（ｘ−ｘ_a）／σ_ｘ …（１０）
ここで、ｘ、ｘ_a、σ_ｘは、正規化前の特徴量、その全エポックの平均値又は中央値、標準偏差である（ｘ_a、σ_ｘは、それまでの計測された全エポックについての値であってよい。）。かかる正規化により、個人差、個人内差（体調、季節などによる違い）が取り除かれ、推定精度が向上することが可能となる。

（iii）動作の推定（ステップ４〜５）
かくして、センサ計測値の特徴量が取得されると、動作の推定が可能か否かが判定される（ステップ４）。既に述べた如く、本実施形態のシステムの被検者の動作の推定を行う推定器は、基準時刻以前の特徴量収集区間ΔＴ１に亙るセンサ計測値の特徴量を参照して、推定時刻に於ける被検者Ｐの動作状態を出力するよう構成されているので、特徴量収集区間ΔＴ１に亙る特徴量が蓄積されるまでは、動作の推定が可能でないと判定して、動作の推定をせずに、特徴量の蓄積が繰り返されてよい（ステップ１へ）。そして、特徴量が特徴量収集区間ΔＴ１に亙って蓄積されると（ステップ４）、動作の推定処理（ステップ５）が実行される。

動作の推定処理（ステップ５）に於いては、図２（Ｄ）乃至（Ｆ）に示されている如く、推定器が、基準時刻Ｔｒ以前の特徴量収集区間ΔＴ１に亙る時系列の特徴量の群を入力データとして、推定時刻Ｔｐに於ける被検者Ｐの身体に於ける複数の所定部位の位置の座標値を表す位置推定値を被検者Ｐの動作の推定結果として出力する。なお、出力される位置推定値には、被検者Ｐの身体の重心の位置推定値（各部位の各軸方向の位置推定値の平均値）が含まれていてよい。ここで、推定器は、既に触れた如く、機械学習装置１２に於ける機械学習モデルのアルゴリズムに従った処理により決定されたパラメータにて構築されるところ、機械学習モデルとしては、予め、人等が所定の動作をしている間にセンサにより時系列に計測されたセンサ計測値（学習用センサ計測値）とそれらの学習用センサ計測値が計測された際に取得された人等の身体に於ける複数の所定部位の位置を表す位置情報（教師用位置参照値）とを学習データとして用いた学習処理により、基準時刻Ｔｒ以前の特徴量収集区間ΔＴ１に亙る時系列の特徴量から推定時刻Ｔｐに於ける被検者Ｐの位置推定値を出力できるものであれば、任意のモデルが採用されてよい。

例えば、機械学習モデルとしてニューラルネットワークを用いて推定器を構築した場合には、推定器の入力であるニューラルネットワークの入力層に於けるニューロンのそれぞれには、基準時刻Ｔｒ以前の特徴量収集区間ΔＴ１に於ける各時点の各軸方向の特徴量がそれぞれ与えられ、続いて、ニューラルネットワークの中間層に於いて、機械学習装置１２に於いて決定されたパラメータを用いて演算が実行され、推定器の出力であるニューラルネットワークの出力層に於けるニューロンのそれぞれから、推定時刻Ｔｐに於いて推定される被検者Ｐの身体に於ける複数の所定部位の位置の各軸方向の座標値である位置推定値がそれぞれ出力される。特徴量から被検者Ｐの各部位の位置推定値を算出する具体的な処理は、任意のアルゴリズムにより実行されてよく、典型的には、プログラム言語にて用意された関数やモジュールを使用して実行されてよい。そして、ここで得られた位置推定値により特定される各部位の位置が推定時刻Ｔｐに於いて推定される被検者Ｐの身体の状態を表しており、本実施形態のシステムに於ける動作の推定結果である。なお、特に、本実施形態のシステムに於いては、推定時刻Ｔｐが基準時刻Ｔｒよりも後の時点である場合の被検者Ｐの動作を予測することも可能である。また、上記の推定器の出力する位置推定値に関して、機械学習装置１２に於ける推定器のパラメータを決定する学習処理に於いて学習データに於ける人等の身体に於ける各部位の教師用位置参照値が人等固定空間に於ける座標値にて表されている場合には、推定器から出力される位置推定値も人等固定空間に於ける座標値にて表されることとなる。

（iv）推定結果の表示（ステップ６）
上記の動作の推定処理に於いて出力された位置推定値を参照することにより、推定時刻Ｔｐに於ける被検者Ｐの身体の各部位の位置が推定できることとなる。そこで、出力された位置推定値を用いて、被検者Ｐの身体の動作状態が、例えば、コンピュータ装置２のモニター３上に於いて、画像として可視化されてよい。その場合、被検者Ｐの動作を認識しやすいように、身体に於いて連結されている部位に相当するプロット点が線で結ばれていてもよい（図６参照）。また、被検者Ｐの身体が存在すると推定される領域が表示されてもよい。或いは、位置推定値の情報が外部の任意の機器やシステムへ供給され、種々の用途にて利用できるようになっていてよい。

なお、上記の一連の処理は、リアルタイムに動作の推定を実行する場合について説明しているが、任意の期間に亙ってセンサ計測値を計測した後に、一括して、計測された期間に亙る動作の推定が実行されるようになっていてもよい。その場合には、得られている計測データのうちで特徴量が抽出され、その抽出された特徴量のデータを用いて、動作の推定が実行されてよい（ステップ４の判定処理は、不要である。）。

（３）推定器のための機械学習
既に述べた如く、上記の本実施形態のシステムの姿勢の推定に於いては、被検者の動作の推定のための推定器のパラメータが、予め機械学習の手法によって決定され、メモリに記憶される。

図４（Ｂ）を参照して、機械学習処理に於いては、まず、人等が種々の動作をしている間に、人等の体幹に装着されたセンサによるセンサ計測値の計測と既に述べた如き位置計測手段による人等の身体に於ける複数の部位の位置の計測とが同時に時系列に実行されて学習データが収集される（ステップ１１）。ここで、学習データの計測のための種々の動作を行う人等は、動作推定の被検者となる同じ人等であってもよいし、別の人等であってもよい。なお、学習データの計測時の種々の動作を行う人等は、動作推定の被検者となる人等とは、体型や身長が近い方が好ましいが、体型や身長に差があっても、身長と体重を補間情報として用いて、被検者間の類似度を算出して補間することにより、精度の向上が図られ、また、モーションキャプチャシステムに於いては、被検者の身長や体重の情報を用いて動作のキャリブレーションを行うことにより、体型や身長の差の影響を緩和することも可能である。学習データの計測時に実行される種々の動作は、着座動作、起立動作、歩行、伏せる動作、階段のぼり、階段くだり、物を取る動作など、人等が日常的に行う動作であってよい。上記で得られたセンサ計測値が学習用センサ計測値であり、後述の機械学習に於いて入力データとして用いられる特徴量の抽出に用いられる。そして、ここで、人等の身体に於ける複数の部位の位置情報が後述の機械学習に於いて正解データとして用いられる教師用位置参照値の調製に用いられる。

学習データの収集が完了すると、センサ計測値の時系列データから図４（Ａ）の場合のステップ３の場合と同様に特徴量の抽出又は算出と記憶とが実行される（ステップ１２）。ここに於ける特徴量の種類は、図４（Ａ）の動作推定の際に使用されるものと同じものが選択される。一方、位置計測手段により計測された人等の身体に於ける複数の部位の位置情報については、位置計測手段により計測された位置計測値が、観測対象となる人等が配置される場所に固定された位置計測空間に於ける座標値であるときには、既に説明されている如く、それらの位置計測値を人等固定空間に於ける座標値へ変換する座標変換処理が実行される（ステップ１３）。具体的には、例えば、人等の身体に於いて、式（１ａ）、（１ｂ）に示されている如く、左右肩部を検出し、式（２）に従って、両肩の中心を検出した後、人等の身体の各部位の座標値Ａに対して、式（４）に示されている如き平行移動と、式（８）に示されている如き回転とが実行され、かくして、得られた変換後の座標値Ａ^＋＋が、推定器のパラメータを決定する際に正解データとして参照される教師用位置参照値として用いられてよい。なお、位置計測手段により計測された位置計測値が人等固定空間に於ける座標値にて表されている場合には、ステップ１３の座標変換処理は実行せず、位置計測値がそのまま教師用位置参照値として用いられてよい。

そして、ステップ１２により得られたセンサ計測値の特徴量を推定器の入力データとして用い、ステップ１３により得られた教師用位置参照値を推定器の正解データとして用いて、機械学習モデルのアルゴリズムに従って、推定器のパラメータを決定する演算が実行される（ステップ１４−学習演算）。この学習演算に於いては、特徴量の算出に用いたセンサ計測値の各々が計測された時刻（学習用センサ計測時刻）からその時刻以前の特徴量収集区間ΔＴ１に於ける各時点に於ける特徴量の群を入力データとするときには、学習用センサ計測時刻に対する時間差が基準時刻Ｔｒに対する推定時刻Ｔｐの時間差と同一である正解参照時刻に於ける人等の身体の各部位の教師用位置参照値を正解データとして用い、それらの人等の身体の各部位の教師用位置参照値が出力されるように推定器のパラメータが決定される（教師用位置参照値には、人等の身体の重心の座標値（各部位の各軸方向の教師用位置参照値の平均値）が含まれていてよい。）。即ち、図２（Ｄ）の如く、動作の推定に於いて、推定時刻Ｔｐが基準時刻Ｔｒから時間幅ΔＴ２だけ経過した時点であるときには、正解データとして学習用センサ計測時刻から時間幅ΔＴ２だけ経過した時点の教師用位置参照値が用いられる。また、図２（Ｅ）、（Ｆ）の如く、動作の推定に於いて、推定時刻Ｔｐが基準時刻Ｔｒから時間幅ΔＴ２だけ遡った時点であるときには、正解データとして学習用センサ計測時刻から時間幅ΔＴ２だけ遡った時点の教師用位置参照値が用いられる。推定器のパラメータを決定する具体的な演算処理は、任意のアルゴリズムにより実行されてよく、典型的には、プログラム言語にて用意された関数やモジュールを使用して実行されてよい。

例えば、上記の機械学習モデルとして、前記の如くニューラルネットワークが用いられる場合には、ニューラルネットワークの入力層に於けるニューロンのそれぞれに対して、学習用センサ計測時刻以前の特徴量収集区間ΔＴ１に於ける各時点に於ける特徴量のそれぞれが入力されたときに、ニューラルネットワークの出力層に於けるニューロンのそれぞれに正解参照時刻に於ける人等の身体の各部位の教師用位置参照値（又は更に各部位の重心の教師用位置参照値）のそれぞれが出力されるように、誤差逆伝播法等により各ニューロンに於けるパラメータ（重み、バイアス）が算出されてよい。［学習演算は、教師用位置参照値が取得されている時間間隔毎に実行されてよい。従って、学習用センサ計測時刻は、教師用位置参照値が取得されている時間間隔毎と同じ間隔にて設定される。入力データとして、エポック毎の特徴量が用いられる場合、学習用センサ計測時刻は、エポックの最後の計測時刻であってよい。］

かくして、上記の如く、機械学習により決定された推定器パラメータは、それぞれ、メモリに記憶され（ステップ１５）、前記の被検者の動作の推定を行う際に利用される。

本実施形態のシステムに於いて、被検者Ｐの身体に於ける計測及び推定される部位は、例えば、２１箇所程度であってよい（即ち、身体の部位の座標値の数は、６３個程度となる。）。なお、既に触れた如く、人等の身体の重心（座標値数は、３つ）も推定されるようになっていてよい。また、例えば、特徴量の抽出時点（基準時刻）、学習用センサ計測時刻、正解参照時刻等は、０．０５秒間隔などに設定されてよく、特徴量収集区間ΔＴ１は、０．５秒間などに設定されてよい。また、基準時刻と推定時刻との時間差（即ち、学習用センサ計測時刻と正解参照時刻との時間差）ΔＴ２は、０〜２．０秒にて設定されてよい。学習処理に於いては、例えば、数千個（例えば、３６００個）から数万個の学習用センサ計測値と教師用位置参照値とから成る学習データが用いられてよい。

（４）推定性能の向上のための改良
本実施形態のシステムに於いては、人等が種々の動作を行った際に計測されるセンサ計測値について予め学習しておくことにより、被検者にて計測されるセンサ計測値に基づいて被検者の種々の動作を推定することが可能となる。この点に関し、もし被検者の姿勢又は運動状態が、別の方法により、或る程度、絞り込まれている場合には、その絞り込まれた状態に於いて取得された学習データを用いた学習により構築された推定器を使用した方が推定精度の向上することが期待される。

かくして、本実施形態のシステムのもう一つの態様に於いては、図５に示されている如く、動作の推定に於いて、被検者の姿勢又は運動状態の判定が実行され（ステップ２１）、その判定された状態毎に準備された推定器パラメータを用いて（ステップ２２）、動作の推定が実行されてよい。被検者の姿勢又は運動状態の判定は、任意の手法にて達成可能である（例えば、特願２０１９−３５４８６参照）。姿勢又は運動状態毎の推定器パラメータは、人等の姿勢又は運動状態を限定して種々の動作を実行している間に計測された学習用センサ計測値と人等の身体の各部位の位置情報とを用いて、上記と同様の学習処理によって算出可能である。

検証実験
上記に説明した本実施形態の有効性を検証するために、以下の如き実験を行った。なお、以下の実施例は、本実施形態の有効性を例示するものであって、本発明の範囲を限定するものではないことは理解されるべきである。

上記の本実施形態のシステムにより被検者に装着されたセンサによりにより計測されたセンサ計測値を用いて被検者の動作を推定する実験を行った。実験に於いては、まず、被検者の腰部にセンサとして３軸加速度センサが収容された筐体を装着し、実験者の指示に従って被検者に１分間当たり３〜４回程度にて着座動作及び起立動作を反復する動作（試験動作）を３分間行ってもらい、その間に、３軸加速度センサにより３軸方向の加速度値を計測すると共に、被検者の身体に於ける各部位の位置をモーションキャプチャにより計測し、学習データとテストデータとを収集した。被検者の身体に於ける各部位の位置の計測は、０．０５秒間隔（２０Ｈｚ）にて、２１箇所にて行った。また、学習データの収集に於いて、被検者は北方向を向いて上記の試験動作を行い、テストデータの収集に於いて、別の被検者が南方向を向いて上記の試験動作を行い、それぞれ、被検者の身体に於ける各部位の位置は、世界座標系に於ける座標値にて計測した。学習データは、３名の被検者がそれぞれ上記の試験動作を１０回実施して収集した（延べ９０分のデータを収集した。）。テストデータは、学習データの被検者とは異なる１名の被検者が上記の試験動作を１回実施して収集した。

しかる後、学習データに用いる被検者の身体に於ける各部位の位置計測値に対して、上記の式（４）、（８）を用いて、人等固定空間への座標変換演算により得られた座標値を教師用位置参照値とした。なお、教師用位置参照値として、更に、被検者の身体に於ける２１箇所の部位の重心位置の座標値（２１箇所の部位の教師用位置参照値の軸方向毎の平均値）も追加した。センサ計測値の特徴量は、０．０５秒間隔の３軸方向の加速度値をサンプリングした値とした。特徴量収集区間ΔＴ１の長さは、１秒とし（０．０５秒毎の特徴量が２０組分）、推定時刻Ｔｐ（正解参照時刻）は、基準時刻Ｔｒ（学習用センサ計測時刻）から０．５秒の時間幅ΔＴ２の経過後とした。

推定器の構築に於いて、機械学習モデルとしてニューラルネットワークを用いた。ニューラルネットワークの構成は、入力層、隠れ層１、隠れ層２及び出力層から成る４層構成とした。入力層は、ニューロン数を６０とし、それぞれのニューロンに対して、入力データ（３軸方向の加速度値×２０組）に於けるそれぞれの値を与えた。隠れ層１は、ニューロン数を４とし、活性化関数をシグモイド関数とした。隠れ層２は、ニューロン数を６６とし、活性化関数をシグモイド関数とした。出力層は、ニューロン数を６６とし、活性化関数を線形伝達関数とし、それぞれのニューロンに対して、被検者の身体に於ける２１箇所の部位の３軸方向の教師用位置参照値と、重心の３軸方向の教師用位置参照値とを割り当てた。推定器のパラメータ（各ニューロンの重み、バイアス）を決定する学習アルゴリズムには、レーベンバーグ・マルカート法を用いた。学習に於いて、上記３名の被検者にそれぞれ試験動作を１０回ずつ実行させて収集した学習データの全てを用いた。

かくして、上記のニューラルネットワークのアルゴリズムに従って決定されたパラメータを用いた推定器に対して、テストデータのセンサ計測値の特徴量を入力し、被検者の身体に於ける各部位の位置推定値を算出した。図６は、推定器によって得られた被検者の身体に於ける各部位の位置推定値をプロットした得た被検者の動作状態（予測）と、対応する推定時刻に於けるテストデータに於ける被検者の身体に於ける位置計測値をプロットした得た被検者の動作状態（正解）を示している。図に於いて、予測された被検者の像は、比較のため、その向きをテストデータに於ける被検者の像の向きに合わせて表示されている。図６（Ａ）〜（Ｅ）からも理解される如く、本実施形態のシステムの推定器により予測された被検者の動作状態は、実際の被検者の動作状態と概ね一致した。また、テストデータに於ける被検者の身体の各部位の位置（座標変換後）と推定器により予測された被検者の身体の各部位の位置とのユークリッド距離の差の平均（平均予測誤差）は、１０ｃｍであった。被検者の体幹部のみの平均予測誤差は更に小さくなった。更に、学習データとして、各被検者に試験動作を２回ずつ３０分間に亙って実行させて得られたデータを用いた場合にも、上記と同程度の推定性能があることを確認した。又更に、試験動作として、被検者に歩行、物を取る動作を行わせて得られた学習データを用いた場合にも、同様に推定できることは確認した。なお、学習に於いて、教師用位置参照値として、被検者の身体に於ける各部位の位置計測値をそのまま用いた場合には、テストデータの動作は良好に推定されなかった。これらの結果より、本実施形態のシステムにより、将来の行動の方向や範囲の動作内容が予測又は推定できることが示された。

本実施形態のシステムによれば、被検者に装着されたセンサによりセンサ計測値が計測できる環境であれば、場所を選ばずに、被検者が普段通りに行動している状態で、被検者の将来、現在又は過去の動作の推定が可能となるので、種々の分野に於ける利用が可能である。

例えば、本実施形態のシステムによれば、図７に模式的に描かれている如く、被検者の未来の動作範囲を予測できるので、工場や物流作業者などに於いて、周囲の物体や人との接触（干渉）の予防のために利用することができる。具体的には、予測された動作範囲に人や物が存在する場合には、それらの物や人との接触を防ぐために、それらの物や人の移動や警報の発信が実施されるようになっていてよい。

また、医療・介護の分野に於いて、患者を本システムの被検者とした場合には、患者が行おうとする動作の予測が可能となるので、事故の予測や、水を飲みたい、寝返りをうちたいなど様々な患者の欲する動作をスタッフやロボットが理解し、或いは、適切なタイミングで補助する場合に本システムが有利に利用できることが期待される。

更に、スポーツ分野に於いて、スポーツ選手を本システムの被検者とした場合には、スポーツ選手の未来の動きが予測できるので、本システムを癖改善のトレーニングなどの技術強化に利用することが考えられる。例えば、ＡＲ技術と組み合わせることでサッカーのペナルティーキック時にキーパーが未来の動きを予測してシュートを止めることの訓練や野球ではピッチャーのけん制球を見破ることの訓練に於いて、選手は自らの癖を認識し改善する訓練に、本システムの動作の推定を利用することが考えられる。

更にまた、本実施形態のシステムは、学習が実行されていれば、人等に装着されたセンサによるセンサ計測値を用いて、人等の動作の推定又は予測が可能となるので、種々の分野にて、人等の動作の解析を行う場合に有利に利用できることが期待される。

以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。

Claims (15)

1. 人等の動作を推定するシステムであって、
   人等の体幹に装着され、前記人等の動作に伴って変化する値をセンサ計測値として時系列に計測するセンサと、
   基準時刻以前の第一の時間幅に亙って前記センサにより時系列に計測されたセンサ計測値を用いて、推定時刻に於いて推定される前記人等の動作として前記人等の身体に於ける複数の所定部位の前記推定時刻に於ける位置の各々を表す位置推定値を推定する動作推定手段とを
   含み、
   前記動作推定手段が、前記人等が所定の動作をしている間に前記センサにより時系列に計測された学習用センサ計測値とそれらの学習用センサ計測値が計測された際に取得された前記人等の身体に於ける前記複数の所定部位の位置を表す教師用位置参照値とを学習データとして用いて、前記学習データに於ける前記学習用センサ計測値の各々が計測された学習用センサ計測時刻以前の前記第一の時間幅に亙る前記学習センサ計測値に基づいて、前記学習データに於ける前記学習用センサ計測時刻に対する時間差が前記基準時刻に対する前記推定時刻の時間差と同一である正解参照時刻に於ける前記人等の身体に於ける前記複数の所定部位の前記教師用位置参照値を出力するように機械学習モデルのアルゴリズムに従って学習し、前記基準時刻以前の第一の時間幅に亙って前記センサにより時系列に計測されたセンサ計測値に基づいて、前記推定時刻に於いて推定される前記人等の身体に於ける前記複数の所定部位の位置推定値を出力するよう構成されているシステム。
2. 請求項１のシステムであって、前記推定時刻が前記基準時刻から第二の時間幅の時間の経過後の時刻であるシステム。
3. 請求項１乃至３のいずれかのシステムであって、前記センサが加速度センサであり、前記センサ計測値が加速度値であるシステム。
4. 請求項３のシステムであって、前記センサ計測値が互いに異なる３軸方向の加速度値であるシステム。
5. 請求項１乃至４のいずれかのシステムであって、前記センサが前記人等の体幹の一箇所のみに装着され、前記センサ計測値が前記センサの装着部位に於いて計測されるシステム。
6. 請求項１乃至５のいずれかのシステムであって、前記人等の身体に於ける複数の所定部位が前記人等の頭部、背骨部、右肩部、左肩部及び腰部を含むシステム。
7. 請求項６のシステムであって、前記人等の身体に於ける複数の所定部位が更に前記人等の右脚部、左脚部、右足部、左足部を含むシステム。
8. 請求項７のシステムであって、前記人等の身体に於ける複数の所定部位が更に前記人等の右腕部、左腕部、右手部、左手部を含むシステム。
9. 請求項１乃至８のいずれかのシステムであって、前記教師用位置参照値及び前記位置推定値が前記人等に固定された座標空間に於ける座標値にて表されているシステム。
10. 請求項９のシステムであって、前記人等に固定された座標空間が前記人等の左右方向が所定の方向に向くよう設定されている座標空間であるシステム。
11. 請求項９又は１０のシステムであって、前記教師用位置参照値が、位置計測空間に於いて前記人等の身体に於ける前記複数の所定部位の位置の座標値を計測する位置計測手段を用いて前記人等が前記所定の動作をしている間に前記人等の身体に於ける前記複数の所定部位の位置を表す位置計測空間に於ける座標値である教師用位置計測値を計測し、前記教師用位置計測値に対して前記位置計測空間から前記人等に固定された座標空間への座標変換演算を実行することによって得られた値であるシステム。
12. 請求項１１のシステムであって、前記座標変換演算に於いて、前記学習データの各時点に於ける前記人等に於いて左右対称な位置関係にある一対の部位の前記教師用位置計測値を選択し、前記選択された前記教師用位置計測値を結ぶ線の延在方向に前記人等に固定された座標空間に於ける所定の方向を一致させる座標変換演算を前記人等の身体に於ける前記複数の所定部位の前記教師用位置計測値に対して実行して前記人等の身体に於ける前記複数の所定部位の前記教師用位置参照値を算出するシステム。
13. 請求項１乃至１２のシステムであって、前記学習データを用いた機械学習により、前記動作推定手段が前記学習データに於ける前記学習用センサ計測値の各々が計測された学習用センサ計測時刻以前の前記第一の時間幅に亙る前記学習センサ計測値に基づいて、前記学習データに於ける前記正解参照時刻の前記人等の身体に於ける前記複数の所定部位の前記教師用位置参照値を出力するように前記動作推定手段に於ける機械学習モデルのパラメータを決定する機械学習モデルパラメータ決定手段を含み、前記動作推定手段が、前記パラメータを用いて前記位置推定値を決定するシステム。
14. 請求項１乃至１３のシステムであって、前記機械学習モデルがニューラルネットワークであり、前記動作推定手段が、ニューラルネットワークの機械学習により、前記基準時刻以前の第一の時間幅に亙って計測された前記センサ計測値又はその特徴量を入力データとして受容すると前記推定時刻に於ける前記人等の前記位置推定値を出力するよう構成されているシステム。
15. 請求項１乃至１４のいずれかのシステムであって、前記動作推定手段の出力した前記推定時刻に於ける前記人等の身体に於ける複数の所定部位の位置推定値を表示する推定動作表示手段を含むシステム。

Images