JP2019025134A - 動作推定装置及び動作推定プログラム - Google Patents
動作推定装置及び動作推定プログラム Download PDFInfo
- Publication number
- JP2019025134A JP2019025134A JP2017149142A JP2017149142A JP2019025134A JP 2019025134 A JP2019025134 A JP 2019025134A JP 2017149142 A JP2017149142 A JP 2017149142A JP 2017149142 A JP2017149142 A JP 2017149142A JP 2019025134 A JP2019025134 A JP 2019025134A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- unit
- walking
- dimensional
- treadmill
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】装置サイズの小型化及び低コスト化を図ることが可能な動作推定装置及び動作推定プログラムを提供すること。【解決手段】動作中の解析対象者における複数の部位の３次元位置を計測する三次元計測センサ部１４と、動作中の被験者における複数の部位の３次元位置及び動作情報に基づいて設定された歩行推定部１８１であって、三次元計測センサ部１４にて計測された複数の部位の３次元位置に基づいて解析対象者の動作を推定する歩行推定部１８１と、被験者の診断情報に基づいて設定された診断部１８２であって、歩行推定部１８１にて推定された解析対象者の動作に基づいて解析対象者を診断する診断部１８２と、歩行推定部１８１にて推定された解析対象者の動作に基づいて解析対象者の異常の有無を判定する異常判定部１８３と、を備えた。【選択図】図２
Description
本発明は、動作推定装置及び動作推定プログラムに関する。
従来、解析対象者の歩行状態を解析する歩行状態解析システムが知られていた（例えば、特許文献１参照）。この歩行状態解析システムにおいては、床上に設けられている載置板上で解析対象者が歩行動作を行い、当該載置板の下方に設けられている複数のストレンゲージを介して計測された荷重を解析することにより、解析対象者の歩行状態を解析していた。
しかしながら、従来の歩行状態解析システムにおいては、解析対象者の歩行動作の情報を取得する複数のストレンゲージを設ける必要があったので、複数のストレンゲージの分だけ歩行状態解析システムが大型化したりコストが嵩んだりする可能性があった。
本発明は、上記に鑑みてなされたものであって、装置サイズの小型化及び低コスト化を図ることが可能な動作推定装置及び動作推定プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、請求項１に記載の動作推定装置は、動作中の解析対象者における複数の部位の３次元位置を計測する三次元計測手段と、動作中の被験者における複数の部位の３次元位置及び動作情報に基づいて設定された動作推定手段であって、前記三次元計測手段にて計測された前記複数の部位の３次元位置に基づいて前記解析対象者の動作を推定する動作推定手段、を備えた。
また、請求項２に記載の動作推定装置は、請求項１に記載の動作推定装置において、前記被験者の診断情報に基づいて設定された診断手段であって、前記動作推定手段にて推定された前記解析対象者の動作に基づいて前記解析対象者を診断する診断手段、を備えた。
また、請求項３に記載の動作推定装置は、請求項１又は２に記載の動作推定装置において、前記動作推定手段にて推定された前記解析対象者の動作に基づいて前記解析対象者の異常の有無を判定する異常判定手段、を備えた。
また、請求項４に記載の動作推定装置は、請求項１から３のいずれか一項に記載の動作推定装置において、トレッドミルを備え、前記三次元計測手段は、前記トレッドミルで歩行中の前記解析対象者における複数の部位の３次元位置を計測可能である。
また、請求項５に記載の動作推定プログラムは、コンピュータを、動作中の被験者における複数の部位の３次元位置及び動作情報に基づいて設定された動作推定手段であって、三次元計測手段にて計測された動作中の解析対象者における複数の部位の３次元位置に基づいて前記解析対象者の動作を推定する動作推定手段、として機能させる。
請求項１に記載の動作推定装置によれば、解析対象者から動作情報を得ることができなくても、解析対象者の３次元位置に基づいて解析対象者の動作を推定することが可能になるので、動作情報を得るための各種の機器（複数のストレンゲージやロードセル、圧電素子、全身を撮影する撮影機器等）が不要になり、動作推定装置の小型化及び低コスト化を図ることが可能になる。
請求項２に記載の動作推定装置によれば、推定された動作に基づいて診断を行うことが可能になるので、解析対象者の身体状態を医学的見地から把握することが可能になり、例えば解析対象者がリハビリ患者である場合にリハビリ進行状況を特定して提示する等、解析対象者に対して一層有用な状況を提示することが可能になる。
請求項３に記載の動作推定装置によれば、推定された動作に基づいて異常判定を行うことが可能になるので、例えば解析対象者に異常があると判定された場合にその動作を停止させるための緊急措置を行う等、解析対象者の安全性を向上させることが可能になる。
請求項４に記載の動作推定装置によれば、トレッドミルの上で動作している解析対象者の歩行動作を推定することが可能になり、例えばトレッドミルで歩行することでリハビリを行っている患者の動作を推定することが可能になる。
請求項５に記載の動作推定装置によれば、解析対象者から動作情報を得ることができなくても、解析対象者の３次元位置に基づいて解析対象者の動作を推定することが可能になるので、動作情報を得るための各種の機器（フォースプレート、圧電素子、全身を撮影する撮影機器等）が不要になり、動作推定装置の小型化及び低コスト化を図ることが可能になる。
以下、本発明に係る動作推定装置及び動作推定プログラムの実施の形態について図面を参照しつつ詳細に説明する。ただし、この実施の形態によって本発明が限定されるものではない。
〔実施の形態の基本的概念〕
まずは、実施の形態の基本的概念について説明する。実施の形態は、概略的に、動作推定装置に関するものである。ここで、「動作推定装置」とは、動作を推定する装置であり、具体的には、解析対象者の動作を推定するものであり、例えば、解析対象者の動作を推定する専用装置、あるいは、医療目的又は健康増進目的のために用いられる装置（例えば、後述のトレッドミル等）を含む任意の装置に対して解析対象者の動作を推定する機能を実装することによって実現される装置等を含む概念である。また、この「動作推定装置」は、例えば、三次元計測手段、動作推定手段、診断手段、及び異常判定手段を備えるものである。
まずは、実施の形態の基本的概念について説明する。実施の形態は、概略的に、動作推定装置に関するものである。ここで、「動作推定装置」とは、動作を推定する装置であり、具体的には、解析対象者の動作を推定するものであり、例えば、解析対象者の動作を推定する専用装置、あるいは、医療目的又は健康増進目的のために用いられる装置（例えば、後述のトレッドミル等）を含む任意の装置に対して解析対象者の動作を推定する機能を実装することによって実現される装置等を含む概念である。また、この「動作推定装置」は、例えば、三次元計測手段、動作推定手段、診断手段、及び異常判定手段を備えるものである。
ここで、「解析対象者」とは、動作推定装置を用いて解析される対象となる生物であり、例えば、特定の疾患を抱えておらずに日常行動に問題のない健常者、特定の疾患により日常行動に何らかの問題がありリハビリ（つまり、機能回復訓練）を要する患者、人間以外の動物（例えば、犬、猫）等を含む概念である。「動作」とは、動く状態又は傾向であり、例えば、歩行指標で表される歩行動作、走る状態又は傾向である走り動作、食事をとる状態又は傾向である食事動作等を含む概念である。「歩行指標」とは、歩行動作を特定する概念であり、具体的には、歩行する場合の状態又は傾向であり、例えば、歩幅、体の傾き、重心の移動、関節の角度等を含む概念である。「歩幅」とは、例えば、１歩歩く場合のつま先からつま先までの長さであり、「体の傾き」とは、例えば、垂直方向に対する上半身の角度であり、「重心の移動」とは、例えば、重心が移動するタイミング、速さ又は方向であり、「関節の角度」とは、例えば、身体における少なくとも一部の関節の角度である。
また、「三次元計測手段」とは、複数の部位の３次元位置を計測する手段であり、例えば、動作中の解析対象者における複数の部位の３次元位置を計測するものであって、身体の全部における複数の部位の３次元位置を計測するもの、又は、身体の一部のみ（例えば、下半身のみ又は上半身のみ）における複数の部位の３次元位置を計測するものであり、一例としては、トレッドミルで歩行中の解析対象者における複数の部位の３次元位置を計測可能なものである。この「三次元計測手段」とは、例えば、光、音波、又は熱等を用いて三次元計測手段から各部位までの距離を計測することにより当該各部位の３次元位置を計測する３次元計測センサ等を含む概念である。「トレッドミル」とは、医療目的又は健康増進目的のために用いられる装置であり、例えば、歩行又は走ることを行うための装置である。
また、「複数の部位」とは、身体の部位であり、例えば、足、下腿、大腿、つま先、足首、すね、ひざ、手、前腕上腕、胸部、腹部、及び頭部、あるいは、これらの各部を更に細分化した部位等を含む概念である。また、「３次元位置」とは、各部位の３次元空間での位置であり、例えば、所定の位置（一例としては、３次元計測手段が設けられている位置）を基準とした場合の各部位の３次元座標（ｘｙｚ座標等）の位置を含む概念である。
また、「動作推定手段」とは、動作中の被験者における複数の部位の３次元位置及び動作情報に基づいて設定された手段であって、三次元計測手段にて計測された複数の部位の３次元位置に基づいて解析対象者の動作を推定する手段であり、例えば、機械学習によって設定されたアルゴリズム、又は機械学習以外の任意の方法によって設定されたアルゴリズム等を含む概念である。
また、「被験者」とは、解析対象者とは区別される者であり、例えば、解析対象者とは異なる別人であって、前述の健常者、患者、及び人間以外の動物（例えば、犬、猫）等を含む概念である。「動作情報」とは、動作推定手段によって推定される動作に関連する情報であり、具体的には、３次元位置とは異なる情報であり、例えば、被験者の情報であって、身体の全部に関する情報、又は、身体の一部のみ（例えば、下半身のみ又は上半身のみ）に関する情報を含む概念である。
また、「診断手段」とは、被験者の診断情報に基づいて設定された手段であって、動作推定手段にて推定された解析対象者の動作に基づいて解析対象者を診断する手段であり、例えば、機械学習によって設定されたアルゴリズム、又は機械学習以外の任意の方法によって設定されたアルゴリズム等を含む概念である。
また、「診断情報」とは、医師又は医師以外の医療従事者（例えば、医師の管理下の看護師、理学療法士等）が被験者の状態を判断した判断結果を特定する情報であり、例えば、リハビリの進行状況を特定する情報等を含む概念である。また、「解析対象者を診断する」とは、解析対象者の状態を判断することであり、例えば、リハビリの進行状況を判断することを含む概念である。「リハビリの進行状況」とは、疾患の程度に対応する概念であり、疾患が回復するについて進行状況が進む概念であり、例えば、最も進んでいない段階から最も進んでいる段階に向かってフェーズ１〜４の４段階に分けられている概念である。なお、このフェーズ１〜４のうちのフェーズ１については、疾患の程度が重くてリハビリがほとんど進んでいない状態を示し、フェーズ４は、実質的には健常者と同程度なほど疾患の程度が極めて軽くてリハビリが最も進んでいることを示す概念である。
また、「異常判定手段」とは、動作推定手段にて推定された解析対象者の動作に基づいて解析対象者の異常の有無を判定する手段である。「異常」とは、通常とは異なっている状態であり、例えば、解析対象者に危険が及ぶ可能性がある状態であり、一例としては、歩行中に転倒すること等を含む概念である。
以下に示す実施の形態では、「動作推定装置」がトレッドミルに解析対象者の動作を推定する機能を実装することによって実現される装置であり、当該「動作推定装置」が歩行指標である歩幅、体の傾き、重心の移動、及び関節の角度を推定し、「三次元計測手段」が下半身のみにおける複数の部位の３次元位置を計測する場合について説明する。また、「動作推定手段」を設定するために用いる３次元位置ついては、下半身のみにおける複数の部位の３次元位置を計測する三次元計測手段の計測結果を用い、「動作推定手段」を設定するために用いる動作情報については、身体の全部に関する情報を用いる場合について説明する。また、「動作推定手段」及び「診断手段」が機械学習によって設定されたアルゴリズムである場合について説明する。
（構成‐トレッドミル）
まず、実施の形態に係るトレッドミルの構成を説明する。図１は、本実施の形態に係るトレッドミルの側面図であり、また、図２は、トレッドミル及びパラメータ設定装置のブロック図である。なお、図２における矢印は、情報の流れ又は処理の順序等のイメージの一例を示すために図示したものである。
まず、実施の形態に係るトレッドミルの構成を説明する。図１は、本実施の形態に係るトレッドミルの側面図であり、また、図２は、トレッドミル及びパラメータ設定装置のブロック図である。なお、図２における矢印は、情報の流れ又は処理の順序等のイメージの一例を示すために図示したものである。
図１及び図２のトレッドミル１００は、動作推定装置であり、例えば、工場出荷前に後述のパラメータ設定装置２００によって自己のパラメータが設定され、当該パラメータが設定された後に出荷されて解析対象者の動作を推定するために用いられる装置であり、また、工場出荷までに自己のパラメータを設定するために、パラメータ設定装置２００との間で通信可能となる装置である。ここで、「パラメータ」とは、トレッドミル１００の動作推定手段及び診断手段を設定するために用いられるものであり、具体的には後述する。このトレッドミル１００は、例えば、図１の立設体１２が設けられている基台１１のエンドレスベルト１３を、不図示の駆動機構にて駆動することによって解析対象者を歩行させるものであり、一例としては、図２の三次元計測センサ部１４、入力部１５、出力部１６、記録部１７、及び制御部１８を備える。なお、トレッドミル１００における基台１１、立設体１２、及びエンドレスベルト１３を含む構成（駆動機構を含む）については、従来と同様にして構成することができるので、詳細な説明は省略する。
（構成‐トレッドミル‐三次元計測センサ部）
図２の三次元計測センサ部１４は、三次元計測手段であり、具体的には、トレッドミル１００にて歩行している解析対象者の下半身のみにおける複数の部位の３次元位置を計測するものである。この三次元計測センサ部１４の具体的な種類や構成は任意であるが、例えば、図１の立設体１２の上部側に設けられているものであり、２点鎖線で囲まれている計測空間Ｓｐ１に対して発光して計測空間Ｓｐ１内の解析対象者の複数の部位の３次元位置を計測するように構成されているものとする。より具体的には、三次元計測センサ部１４は、三次元計測センサ部１４自身の位置を基準として、計測空間Ｓｐ１内の解析対象者の複数の部位（例えば、数１０ｍｍ〜数１００ｍｍで細分化した部位）の自身に対する距離及び方向を算出することにより、歩行に伴う各部位の３次元座標（ｘｙｚ座標等）（つまり、３次元点群）を計測するように構成されているものとする。
図２の三次元計測センサ部１４は、三次元計測手段であり、具体的には、トレッドミル１００にて歩行している解析対象者の下半身のみにおける複数の部位の３次元位置を計測するものである。この三次元計測センサ部１４の具体的な種類や構成は任意であるが、例えば、図１の立設体１２の上部側に設けられているものであり、２点鎖線で囲まれている計測空間Ｓｐ１に対して発光して計測空間Ｓｐ１内の解析対象者の複数の部位の３次元位置を計測するように構成されているものとする。より具体的には、三次元計測センサ部１４は、三次元計測センサ部１４自身の位置を基準として、計測空間Ｓｐ１内の解析対象者の複数の部位（例えば、数１０ｍｍ〜数１００ｍｍで細分化した部位）の自身に対する距離及び方向を算出することにより、歩行に伴う各部位の３次元座標（ｘｙｚ座標等）（つまり、３次元点群）を計測するように構成されているものとする。
（構成‐トレッドミル‐入力部）
図２の入力部１５は、ユーザによる操作入力を受け付ける入力手段である。この入力部１５の具体的な種類や構成は任意であるが、例えば、後述する出力部１６の液晶ディスプレイに重畳して図１の立設体１２の上部側に設けられるタッチパネルとして構成することができるタッチパッドである。
図２の入力部１５は、ユーザによる操作入力を受け付ける入力手段である。この入力部１５の具体的な種類や構成は任意であるが、例えば、後述する出力部１６の液晶ディスプレイに重畳して図１の立設体１２の上部側に設けられるタッチパネルとして構成することができるタッチパッドである。
（構成‐トレッドミル‐出力部）
図２の出力部１６は、情報を出力する出力手段である。この出力部１６の具体的な種類や構成は任意であるが、例えば、図１の立設体１２の上部側に設けられる液晶ディスプレイとして構成することができるものである。
図２の出力部１６は、情報を出力する出力手段である。この出力部１６の具体的な種類や構成は任意であるが、例えば、図１の立設体１２の上部側に設けられる液晶ディスプレイとして構成することができるものである。
（構成‐トレッドミル‐記録部）
図２の記録部１７は、トレッドミル１００の動作に必要なプログラム及び各種のデータを記録する記録手段である。この記録部１７は、例えば、外部記録装置としてのハードディスク（図示省略）を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる（後述する記録部２６についても同様とする）。
図２の記録部１７は、トレッドミル１００の動作に必要なプログラム及び各種のデータを記録する記録手段である。この記録部１７は、例えば、外部記録装置としてのハードディスク（図示省略）を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる（後述する記録部２６についても同様とする）。
（構成‐トレッドミル‐制御部）
図２の制御部１８は、トレッドミル１００を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム又はアルゴリズム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラム又はアルゴリズムを含む）、及びプログラム又はアルゴリズムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである（後述する制御部２７も同様とする）。特に、実施の形態に係る動作推定プログラムは、任意の記録媒体又はネットワークを介してトレッドミル１００にインストール（例えば、パラメータ設定装置２００によるパラメータの設定も含む）されることで、制御部１８の各部を実質的に構成する。
図２の制御部１８は、トレッドミル１００を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム又はアルゴリズム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラム又はアルゴリズムを含む）、及びプログラム又はアルゴリズムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである（後述する制御部２７も同様とする）。特に、実施の形態に係る動作推定プログラムは、任意の記録媒体又はネットワークを介してトレッドミル１００にインストール（例えば、パラメータ設定装置２００によるパラメータの設定も含む）されることで、制御部１８の各部を実質的に構成する。
また、この制御部１８は、機能概念的に、歩行推定部１８１、診断部１８２、及び異常判定部１８３を備える。歩行推定部１８１は、動作中の被験者における複数の部位の３次元位置及び動作情報に基づいて設定された動作推定手段であって、三次元計測センサ部にて計測された複数の部位の３次元位置に基づいて解析対象者の動作を推定する動作推定手段である。診断部１８２は、被験者の診断情報に基づいて設定された診断手段であって、歩行推定部１８１にて推定された解析対象者の動作に基づいて解析対象者を診断する診断手段である。異常判定部１８３は、歩行推定部１８１にて推定された解析対象者の動作に基づいて解析対象者の異常の有無を判定する異常判定手段である。なお、この制御部１８の各部により行われる処理については後述する。
（構成‐パラメータ設定装置）
次に、実施の形態に係るパラメータ設定装置の構成を説明する。図２のパラメータ設定装置２００は、トレッドミル１００の歩行推定部１８１及び診断部１８２を設定する装置であり、具体的には、機械学習を行って、歩行推定部１８１及び診断部１８２を実現するアルゴリズムのパラメータを設定するものであり、例えば、畳み込みニューラルネットワークを用いて機械学習を行って、当該畳み込みニューラルネットワークのフィルターの要素、重み、及びバイアスをパラメータとして決定して当該決定したパラメータを設定してトレッドミル１００の歩行推定部１８１及び診断部１８２を実現する装置である。より具体的には、図１のトレッドミル１００と同様な構造の不図示のトレッドミル（以下、「パラメータ計測用トレッドミル」と称する）にて歩行する複数の被験者の情報を用いて前述の機械学習を行って、パラメータの決定及び設定を行う装置である。
次に、実施の形態に係るパラメータ設定装置の構成を説明する。図２のパラメータ設定装置２００は、トレッドミル１００の歩行推定部１８１及び診断部１８２を設定する装置であり、具体的には、機械学習を行って、歩行推定部１８１及び診断部１８２を実現するアルゴリズムのパラメータを設定するものであり、例えば、畳み込みニューラルネットワークを用いて機械学習を行って、当該畳み込みニューラルネットワークのフィルターの要素、重み、及びバイアスをパラメータとして決定して当該決定したパラメータを設定してトレッドミル１００の歩行推定部１８１及び診断部１８２を実現する装置である。より具体的には、図１のトレッドミル１００と同様な構造の不図示のトレッドミル（以下、「パラメータ計測用トレッドミル」と称する）にて歩行する複数の被験者の情報を用いて前述の機械学習を行って、パラメータの決定及び設定を行う装置である。
このパラメータ設定装置２００は、トレッドミル１００の工場出荷前に用いられるものであり、例えば、トレッドミル１００との間で通信可能となるコンピュータシステムであり、一例としては、三次元計測センサ部２１、モーションキャプチャ部２２、荷重センサ部２３、加速度センサ部２４、入力部２５、記録部２６、及び制御部２７を備える。なお、「三次元計測センサ部２１、モーションキャプチャ部２２、荷重センサ部２３、加速度センサ部２４」については、「パラメータ設定装置２００のセンサ部等」と適宜総称する。
（構成‐パラメータ設定装置‐三次元計測センサ部）
三次元計測センサ部２１は、三次元計測手段であり、具体的には、パラメータ計測用トレッドミルにて歩行している被験者の下半身のみにおける複数の部位の３次元位置を計測するものである。この三次元計測センサ部２１の具体的な種類や構成は任意であるが、例えば、トレッドミル１００の三次元計測センサ部１４と同様な計測を行えるように、三次元計測センサ部１４と同様にして構成されるものとする。
三次元計測センサ部２１は、三次元計測手段であり、具体的には、パラメータ計測用トレッドミルにて歩行している被験者の下半身のみにおける複数の部位の３次元位置を計測するものである。この三次元計測センサ部２１の具体的な種類や構成は任意であるが、例えば、トレッドミル１００の三次元計測センサ部１４と同様な計測を行えるように、三次元計測センサ部１４と同様にして構成されるものとする。
（構成‐パラメータ設定装置‐モーションキャプチャ部）
モーションキャプチャ部２２は、動作情報を計測する動作情報計測手段であり、具体的には、被験者の身体の全部（つまり、下半身及び上半身）に関する動作情報を計測するものである。このモーションキャプチャ部２２の具体的な種類や構成は任意であるが、例えば、パラメータ計測用トレッドミルを歩行する被験者に付された複数の目印をパラメータ計測用トレッドミルの周囲の各方位に設けられた複数のカメラにて撮像するものであって、歩行に伴う被験者の関節の位置及び角度を動作情報として計測するものであり、公知のモーションキャプチャシステム等を用いることができる。
モーションキャプチャ部２２は、動作情報を計測する動作情報計測手段であり、具体的には、被験者の身体の全部（つまり、下半身及び上半身）に関する動作情報を計測するものである。このモーションキャプチャ部２２の具体的な種類や構成は任意であるが、例えば、パラメータ計測用トレッドミルを歩行する被験者に付された複数の目印をパラメータ計測用トレッドミルの周囲の各方位に設けられた複数のカメラにて撮像するものであって、歩行に伴う被験者の関節の位置及び角度を動作情報として計測するものであり、公知のモーションキャプチャシステム等を用いることができる。
（構成‐パラメータ設定装置‐荷重センサ部）
荷重センサ部２３は、動作情報を計測する動作情報計測手段であり、具体的には、被験者の身体の全部（つまり、下半身及び上半身）に関する動作情報を計測するものである。この荷重センサ部２３の具体的な種類や構成は任意であるが、例えば、パラメータ計測用トレッドミルを歩行する被験者によって装着されている靴に内蔵されているものであり、歩行に伴って付与される足裏の荷重を動作情報として計測するものであり、公知のロードセル等を用いることができる。
荷重センサ部２３は、動作情報を計測する動作情報計測手段であり、具体的には、被験者の身体の全部（つまり、下半身及び上半身）に関する動作情報を計測するものである。この荷重センサ部２３の具体的な種類や構成は任意であるが、例えば、パラメータ計測用トレッドミルを歩行する被験者によって装着されている靴に内蔵されているものであり、歩行に伴って付与される足裏の荷重を動作情報として計測するものであり、公知のロードセル等を用いることができる。
（構成‐パラメータ設定装置‐加速度センサ部）
加速度センサ部２４は、動作情報を計測する動作情報計測手段であり、具体的には、被験者の身体の全部（つまり、下半身及び上半身）に関する動作情報を計測するものである。この加速度センサ部２４の具体的な種類や構成は任意であるが、例えば、パラメータ計測用トレッドミルを歩行する被験者の重心部分（例えば、腹部付近等）に設けられているものであり、歩行に伴う重心部分の加速度を動作情報として計測するものであり、公知の加速度センサ等を用いることができる。
加速度センサ部２４は、動作情報を計測する動作情報計測手段であり、具体的には、被験者の身体の全部（つまり、下半身及び上半身）に関する動作情報を計測するものである。この加速度センサ部２４の具体的な種類や構成は任意であるが、例えば、パラメータ計測用トレッドミルを歩行する被験者の重心部分（例えば、腹部付近等）に設けられているものであり、歩行に伴う重心部分の加速度を動作情報として計測するものであり、公知の加速度センサ等を用いることができる。
（構成‐パラメータ設定装置‐入力部）
入力部２５は、ユーザによる操作入力を受け付ける入力手段である。この入力部２５の具体的な種類や構成は任意であるが、例えば、公知のキーボード、マウス、又はタッチパッド等を用いることができる。
入力部２５は、ユーザによる操作入力を受け付ける入力手段である。この入力部２５の具体的な種類や構成は任意であるが、例えば、公知のキーボード、マウス、又はタッチパッド等を用いることができる。
（構成‐パラメータ設定装置‐記録部）
記録部２６は、パラメータ設定装置２００の動作に必要なプログラム及び各種のデータを記録する記録手段である。
記録部２６は、パラメータ設定装置２００の動作に必要なプログラム及び各種のデータを記録する記録手段である。
（構成‐パラメータ設定装置‐制御部）
制御部２７は、パラメータ設定装置２００を制御する制御手段であり、具体的には、実施の形態に係るパラメータ設定プログラムを、任意の記録媒体又はネットワークを介してパラメータ設定装置にインストールすることで、制御部２７の各部が実質的に構成されるものである。
制御部２７は、パラメータ設定装置２００を制御する制御手段であり、具体的には、実施の形態に係るパラメータ設定プログラムを、任意の記録媒体又はネットワークを介してパラメータ設定装置にインストールすることで、制御部２７の各部が実質的に構成されるものである。
また、この制御部２７は、機能概念的に、歩行推定学習部２７１、及び診断学習部２７２を備える。歩行推定学習部２７１は、三次元計測センサ部２１によって計測された３次元位置と、モーションキャプチャ部２２、荷重センサ部２３、及び加速度センサ部２４によって計測された動作情報とに基づいて、歩行推定部１８１のパラメータを決定して設定する歩行推定学習手段である。診断学習部２７２は、歩行推定部１８１の推定結果と入力部２５に入力された診断情報に基づいて、診断部１８２のパラメータを決定して設定する診断学習手段である。なお、この制御部２７の各部により行われる処理については後述する。
（処理）
次に、このように構成されるトレッドミル１００及びパラメータ設定装置２００によって実行される処理について説明する。ここでは、例えば、歩行推定学習処理、診断学習処理、及び歩行推定処理について説明する。
次に、このように構成されるトレッドミル１００及びパラメータ設定装置２００によって実行される処理について説明する。ここでは、例えば、歩行推定学習処理、診断学習処理、及び歩行推定処理について説明する。
（処理−歩行推定学習処理）
まず、歩行推定学習処理について説明する。図３は、歩行推定学習処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。「歩行推定学習処理」とは、歩行推定部１８１のパラメータを決定して設定する処理であり、例えば、パラメータ設定装置２００にて行われる処理である。この歩行推定学習処理を実行するタイミングは任意であるが、トレッドミル１００の工場出荷前に、トレッドミル１００とパラメータ設定装置２００とを相互に通信可能になるように接続した状態で、パラメータ設定装置２００の入力部２５を介して所定操作を行った場合に起動して実行を開始するものとして、実行が開始されたところから説明する。
まず、歩行推定学習処理について説明する。図３は、歩行推定学習処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。「歩行推定学習処理」とは、歩行推定部１８１のパラメータを決定して設定する処理であり、例えば、パラメータ設定装置２００にて行われる処理である。この歩行推定学習処理を実行するタイミングは任意であるが、トレッドミル１００の工場出荷前に、トレッドミル１００とパラメータ設定装置２００とを相互に通信可能になるように接続した状態で、パラメータ設定装置２００の入力部２５を介して所定操作を行った場合に起動して実行を開始するものとして、実行が開始されたところから説明する。
ここでは、例えば、図２の歩行推定部１８１が、三次元計測センサ部１４にて計測した解析対象者の複数の部位（例えば、数１０ｍｍ〜数１００ｍｍで細分化した部位）の複数の３次元座標を入力として、畳み込みニューラルネットワークに対応する演算（つまり、入力層、畳み込み層、プーリング層、完全結合層、及び出力層を前提とした演算）を行って歩行指標である歩幅、体の傾き、重心の移動、関節の角度を算出して推定するように構成されている場合について以下説明する。
より具体的には、歩行推定部１８１が、時間ｔ、時間ｔ＋Δ１、時間ｔ＋Δ１＊２、・・・、時間ｔ＋Δ１＊（ｉ−１）に三次元計測センサ部１４にて計測した解析対象者の複数の部位（例えば、数１０ｍｍ〜数１００ｍｍで細分化した部位）の複数の３次元座標を入力層の要素（つまり、各部位について時間の経過に伴ってｉ（ｉは２以上の整数）個の要素）として、当該入力層の各要素及び所定のフィルターに基づいて複数の畳み込み層を生成し、当該畳み込み層に基づいて対応するプーリング層を生成し、生成したプーリング層の各要素を完全結合層の入力として演算を行うことにより、出力層の各要素として歩幅、体の傾き、重心の移動、関節の角度を算出して推定するように構成されている場合について以下説明する。そして、この演算にて算出するためには、畳み込み層を生成するための所定のフィルターの要素、完全結合層での重み及びバイアスが必要となるが、これらの所定のフィルターの要素、重み、及びバイアスを、パラメータ設定装置２００がパラメータとして設定する場合について説明する。
まず、図３のＳＡ１においてパラメータ設定装置２００の歩行推定学習部２７１は、情報を取得する。具体的には任意であるが、例えば、「パラメータ設定装置２００のセンサ部等」の計測結果を取得する。より具体的には、健常者及び患者を含む複数の被験者各々が、パラメータ計測用トレッドミルを歩行している場合の「パラメータ設定装置２００のセンサ部等」の計測結果を所定時間分（例えば、５分〜１０分等）取得する。
次に、ＳＡ２においてパラメータ設定装置２００の歩行推定学習部２７１は、機械学習で用いられる学習用の情報を生成する。具体的には任意であるが、例えば、ＳＡ１で取得した情報に基づいて、歩行推定部１８１で用いられるパラメータを算出するために用いられる情報を生成する。より具体的には、例えば、まず、単位時間（例えば、前述の時間ｔから時間ｔ＋Δ１＊（ｉ−１）までの時間に対応する時間であり、５秒〜６秒等）内に三次元計測センサ部２１に計測された被験者の複数の部位（例えば、数１０ｍｍ〜数１００ｍｍで細分化した部位）の複数の３次元座標を入力層の要素とする（以下、「入力情報生成ステップ」）。次に、当該単位時間内の「パラメータ設定装置２００のセンサ部等」の計測結果の少なくとも一部に基づいて、公知の手法を含む任意の手法を用いて、当該単位時間内の歩幅、体の傾き、重心の移動、関節の角度を算出する（以下、「出力情報生成ステップ」）。次に、「入力情報生成ステップ」にて入力層の要素とした複数の３次元座標と、「出力情報生成ステップ」にて算出した歩幅、体の傾き、重心の移動、関節の角度とを相互に組み合わせて当該組み合わせた情報を学習用の情報として生成する（以下、「学習用情報生成ステップ」）。この後、これらの各ステップを、ＳＡ１での所定時間分、及び被験者の人数分繰り返し行って、学習用の情報を複数（例えば、１０００個〜１００００個等）生成する。
次に、ＳＡ３においてパラメータ設定装置２００の歩行推定学習部２７１は、歩行推定部１８１で用いられるパラメータを決定する。具体的には任意であるが、例えば、歩行推定部１８１で行われる畳み込みニューラルネットワークに対応する演算の演算式（なお、前述の所定のフィルターの要素、重み、及びバイアスについては、任意の初期値が設定されている）が記録部２６に記録されていることとし、この記録されている演算式を取得し、取得した演算式とＳＡ２で生成した複数の学習用の情報とに基づいて決定する。より具体的には、まず、ＳＡ２で生成した学習用の情報の複数の３次元座標を、歩行推定部１８１で行われる演算の演算式に入力して、当該演算式より、当該入力した３次元座標に対応する歩幅、体の傾き、重心の移動、関節の角度を算出する。次に、この演算で用いた複数の３次元座標に対応付けられているＳＡ２で生成した学習用の情報の歩幅、体の傾き、重心の移動、関節の角度を特定する。これらの処理を、ＳＡ２で生成した学習用の情報の個数（例えば、１０００個〜１００００個等）分行った上で、算出した歩幅、体の傾き、重心の移動、関節の角度と特定した歩幅、体の傾き、重心の移動、関節の角度との誤差が最小となる（または、誤差が所定値よりも小さくなる）パラメータ（つまり、所定のフィルターの要素、重み、及びバイアス）を決定する。なお、ここでは、公知のコスト関数の概念を用いて決定してもよい。
次に、ＳＡ４においてパラメータ設定装置２００の歩行推定学習部２７１は、歩行推定部１８１で用いられるパラメータを設定する。具体的な手法は任意であるが、ＳＡ３で決定したパラメータをトレッドミル１００に送信して設定する。この後、トレッドミル１００の歩行推定部１８１は、畳み込みニューラルネットワークに対応する演算の演算式のパラメータとして、この送信されたパラメータを設定して各種処理を行う。これにて、歩行推定学習処理を終了する。
（処理‐診断学習処理）
次に、診断学習処理について説明する。図４は、診断学習処理のフローチャートである。「診断学習処理」とは、診断部１８２のパラメータを決定して設定する処理であり、例えば、パラメータ設定装置２００にて行われる処理である。この診断学習処理を実行するタイミングは任意であるが、トレッドミル１００の工場出荷前に、トレッドミル１００とパラメータ設定装置２００とを相互に通信可能になるように接続した状態で、前述の歩行推定学習処理を実行した後に、パラメータ設定装置２００の入力部２５を介して所定操作を行った場合に起動して実行を開始するものとして、実行が開始されたところから説明する。
次に、診断学習処理について説明する。図４は、診断学習処理のフローチャートである。「診断学習処理」とは、診断部１８２のパラメータを決定して設定する処理であり、例えば、パラメータ設定装置２００にて行われる処理である。この診断学習処理を実行するタイミングは任意であるが、トレッドミル１００の工場出荷前に、トレッドミル１００とパラメータ設定装置２００とを相互に通信可能になるように接続した状態で、前述の歩行推定学習処理を実行した後に、パラメータ設定装置２００の入力部２５を介して所定操作を行った場合に起動して実行を開始するものとして、実行が開始されたところから説明する。
ここでは、例えば、図２の診断部１８２が、歩行推定部１８１にて算出されて推定された歩行指標である歩幅、体の傾き、重心の移動、関節の角度を入力として、前述の場合と同様な、畳み込みニューラルネットワークに対応する演算を行ってリハビリの進行状況を特定する診断結果を算出して推定するように構成されている場合について以下説明する。
より具体的には、診断部１８２が、時間ｔ、時間ｔ＋Δ２、時間ｔ＋Δ２＊２、・・・、時間ｔ＋Δ２＊（ｊ−１）に歩行推定部１８１にて推定された歩行指標である歩幅、体の傾き、重心の移動、関節の角度を入力層の要素（つまり、各値について時間の経過に伴ってｊ（ｊは２以上の整数）個の要素）として、当該入力層の各要素及び所定のフィルターに基づいて複数の畳み込み層を生成し、当該畳み込み層に基づいて対応するプーリング層を生成し、生成したプーリング層の各要素を完全結合層の入力として演算を行うことにより、出力層の各要素としてリハビリの進行状況を算出して推定するように構成されている場合について以下説明する。そして、この演算にて算出するためには、畳み込み層を生成するための所定のフィルターの要素、完全結合層での重み及びバイアスが必要となるが、これらの所定のフィルターの要素、重み、及びバイアスを、パラメータ設定装置２００がパラメータとして設定する場合について説明する。
まず、図４のＳＢ１においてパラメータ設定装置２００の診断学習部２７２は、情報を取得する。具体的には任意であるが、例えば、トレッドミル１００の歩行推定部１８１にて推定された歩行指標、及びパラメータ設定装置２００の入力部２５を介して医師又は医師以外の医療従事者によって入力された診断情報を取得する。より具体的には、健常者及び患者を含む複数の被験者各々がトレッドミル１００を歩行している場合に、歩行推定部１８１にて推定された歩行指標を、診断学習部２７２が取得する。なお、歩行推定部１８１による歩行指標の推定の詳細については、後述する。また、医師又は医師以外の医療従事者が、トレッドミル１００を歩行している場合の当該複数の被験者各々の状態を視認して把握した上で、当該被験者のリハビリの進行状況を判断し、リハビリの進行状況としてフェーズ１〜フェース４の何れかを、入力部２５を介して診断情報として入力し、この入力された診断情報を診断学習部２７２が取得する。なお、ここでは、例えば、被験者が健常者である場合にはリハビリは実際には行われていないものと考えられるが、被験者が患者であるか健常者であるかに関わらず、被験者の動作を視認した医師又は医師以外の医療従事者の判断に従って、リハビリの進行状況が入力されることとする。
次に、ＳＢ２においてパラメータ設定装置２００の診断学習部２７２は、機械学習で用いられる学習用の情報を生成する。具体的には任意であるが、例えば、図３のＳＡ２と同様な処理を行うこととし、すなわち、図４のＳＢ１で取得した情報に基づいて、診断部１８２で用いられるパラメータを算出するために用いられる情報を生成する。より詳細には、例えば、ＳＢ１で取得した歩行指標とリハビリの進行状況とを相互に組み合わせて、当該組み合わせた情報を、学習用の情報として少なくとも被験者における患者の人数分（つまり、複数個（例えば、１００個〜１０００個等））生成する。
次に、ＳＢ３においてパラメータ設定装置２００の診断学習部２７２は、診断部１８２で用いられるパラメータを決定する。具体的には任意であるが、例えば、図３のＳＡ３と同様な処理を行うこととし、すなわち、診断部１８２で行われる畳み込みニューラルネットワークに対応する演算の演算式（なお、前述の所定のフィルターの要素、重み、及びバイアスについては、任意の初期値が設定されている）が記録部２６に記録されていることとし、この記録されている演算式を取得し、取得した演算式とＳＢ２で生成した複数の学習用の情報とに基づいて決定する。より具体的には、まず、ＳＢ２で生成した学習用の情報の歩行指標を、診断部１８２で行われる演算の演算式に入力して、当該演算式より、当該入力した歩行指標に対応する診断結果を算出する。次に、この演算で用いた複数の歩行指標に対応付けられているＳＢ２で生成した学習用の情報のリハビリの進行状況を特定する。これらの処理を、ＳＢ２で生成した学習用の情報の個数（例えば、１００個〜１０００個等）分行った上で、算出した診断結果のリハビリの進行状況と特定したリハビリの進行状況との誤差が最小となる（または、誤差が所定値よりも小さくなる）パラメータ（つまり、所定のフィルターの要素、重み、及びバイアス）を決定する。なお、ここでは、公知のコスト関数の概念を用いて決定してもよい。
次に、ＳＢ４においてパラメータ設定装置２００の診断学習部２７２は、診断部１８２で用いられるパラメータを設定する。具体的な手法は任意であるが、ＳＢ３で決定したパラメータをトレッドミル１００に送信して設定する。この後、トレッドミル１００の診断部１８２は、畳み込みニューラルネットワークに対応する演算の演算式のパラメータとして、この送信されたパラメータを設定して各種処理を行う。これにて、診断学習処理を終了する。
（処理‐歩行推定処理）
次に、歩行推定処理について説明する。図５は、歩行推定処理のフローチャートである。「歩行推定処理」とは、解析対象者の操作を推定する処理であり、例えば、解析対象者の歩行動作を推定した上で、解析対象者を診断したり、解析対象者に危険が及ぶ可能性がある異常を判定したりする処理であり、トレッドミル１００にて行われる処理である。この歩行推定処理を実行するタイミングは任意であるが、トレッドミル１００の工場出荷前に、前述の歩行推定学習処理及び診断学習処理を行ってパラメータを設定した上でトレッドミル１００を出荷した後に、ユーザの施設（例えば、病院等）に設置された後に、トレッドミル１００の入力部１５を介して所定操作を行った場合に起動して繰り返し実行を開始するものとして、実行が開始されたところから説明する。
次に、歩行推定処理について説明する。図５は、歩行推定処理のフローチャートである。「歩行推定処理」とは、解析対象者の操作を推定する処理であり、例えば、解析対象者の歩行動作を推定した上で、解析対象者を診断したり、解析対象者に危険が及ぶ可能性がある異常を判定したりする処理であり、トレッドミル１００にて行われる処理である。この歩行推定処理を実行するタイミングは任意であるが、トレッドミル１００の工場出荷前に、前述の歩行推定学習処理及び診断学習処理を行ってパラメータを設定した上でトレッドミル１００を出荷した後に、ユーザの施設（例えば、病院等）に設置された後に、トレッドミル１００の入力部１５を介して所定操作を行った場合に起動して繰り返し実行を開始するものとして、実行が開始されたところから説明する。
ここでは、例えば、トレッドミル１００が設置された病院の患者を解析対象者として、当該解析対象者がトレッドミル１００にて歩行する場合について説明する。
まず、図５のＳＣ１においてトレッドミル１００の歩行推定部１８１は、情報を取得する。具体的には任意であるが、例えば、三次元計測センサ部１４にて計測した解析対象者の複数の部位（例えば、数１０ｍｍ〜数１００ｍｍで細分化した部位）の複数の３次元座標を当該三次元計測センサ部１４から取得する。
次に、ＳＣ２においてトレッドミル１００の歩行推定部１８１は、歩行指標を推定する。具体的には任意であるが、例えば、畳み込みニューラルネットワークに対応する演算の演算式（つまり、前述した記録部２６に記録されている演算式と同じ演算式）が、記録部１７に記録されていることとし、この記録されている演算式を取得し、また、この演算式のパラメータとして図３のＳＡ４で送信されたパラメータを設定する。次に、このパラメータが設定された演算式に対して、ＳＣ１にて取得した３次元座標を入力した上で、この入力に対する演算式の解答である歩行指標（つまり、歩幅、体の傾き、重心の移動、関節の角度）を算出して推定する。
次に、ＳＣ３においてトレッドミル１００の異常判定部１８３は、異常の有無を判定する。具体的には任意であるが、例えば、ＳＣ２で推定した各歩行指標に対する各閾値が設けられており、ＳＣ２の推定結果とこの各閾値とを比較して比較結果に基づいて判定する。そして、ＳＣ２で推定した各歩行指標について、閾値を逸脱するものがなかった場合、異常が無いものと判定し（ＳＣ３のＮＯ）、ＳＣ４に移行する。また、ＳＣ２で推定した各歩行指標について、閾値を逸脱するものがあった場合、異常が有るものと判定し（ＳＣ３のＹＥＳ）、ＳＣ５に移行する。ここでは、例えば、解析対象者が通常通り歩行している場合には、異常が無いものと判定し、一方、例えば、解析対象者が転倒しかけて傾いてしまった等の場合には、異常があるものと判定する。
次に、ＳＣ４においてトレッドミル１００の診断部１８２は、診断を行うか否かを判定する。具体的には任意であるが、例えば、ＳＣ２で推定した歩行指標が記録部１７に記録されていることとし、この記録されている歩行指標が診断を行うために十分な量（例えば、観測対象者が１分〜２分間歩行し続けた場合に対応する歩行指標の量）に至ったか否かに基づいて判定する。そして、記録部１７に記録されている歩行指標が診断を行うために十分な量に至っていない場合、診断を行わないものと判定し（ＳＣ４のＮＯ）、ＳＣ１に移行する。また、記録部１７に記録されている歩行指標が診断を行うために十分な量に至った場合、診断を行うものと判定し（ＳＣ４のＹＥＳ）、ＳＣ６に移行する。ここでは、例えば、観測対象者が１分〜２分歩行した場合、記録部１７に記録されている歩行指標が診断を行うために十分な量に至り、診断を行うものと判定する。
次に、ＳＣ６において診断部１８２は、情報を取得する。具体的には任意であるが、例えば、ＳＣ２で算出して記録部１７に記録されている歩行指標（つまり、歩幅、体の傾き、重心の移動、関節の角度）を取得する。
次に、ＳＣ７においてトレッドミル１００の診断部１８２は、診断結果を算出して推定する。具体的には任意であるが、例えば、畳み込みニューラルネットワークに対応する演算の演算式（つまり、前述した記録部２６に記録されている演算式と同じ演算式）が、記録部１７に記録されていることとし、この記録されている演算式を取得し、また、この演算式のパラメータとして図４のＳＢ４で送信されたパラメータを設定する。次に、このパラメータが設定された演算式に対して、ＳＣ６にて取得した歩行指標を入力した上で、この入力に対する演算式の解答である診断結果を算出して推定する。ここでは、例えば、解析対象者のリハビリがある程度進んでいる場合、一例として、フェーズ３を算出して推定する。
次に、ＳＣ８においてトレッドミル１００の診断部１８２は、診断結果を出力する。具体的には任意であるが、例えば、診断結果を報知するために、ＳＣ７の診断結果を取得し、取得した診断結果を出力する。ここでは、例えば、出力部１６を介して診断結果を示す（「リハビリの進行状況はフェーズ３です」等の）メッセージ又はイメージ画像を出力する。
なお、ＳＣ３において異常が有るものと判定した後のＳＣ５においてトレッドミル１００の異常判定部１８３は、緊急停止を行う。具体的には任意であるが、例えば、図１のトレッドミル１００の不図示の駆動機構を制御して、エンドレスベルト１３を自動的に停止する。なお、ここでは、例えば、エンドレスベルト１３を即座に止めた場合、解析対象者が慣性力によって激しく転倒してしまう可能があるので、巻き込み事故等が発生しない範囲で徐々に停止する。また、例えば、緊急停止を報知するために、出力部１６を介して緊急停止を示す（「異常事態が発生しました」等の）メッセージ又はイメージ画像を出力する。これにて、歩行推定処理を終了する。
（実施の形態の効果）
このように実施の形態によれば、解析対象者から動作情報を得ることができなくても、解析対象者の３次元位置に基づいて解析対象者の動作を推定することが可能になるので、動作情報を得るための各種の機器（フォースプレート、圧電素子、全身を撮影する撮影機器等）が不要になり、トレッドミル１００の小型化及び低コスト化を図ることが可能になる。
このように実施の形態によれば、解析対象者から動作情報を得ることができなくても、解析対象者の３次元位置に基づいて解析対象者の動作を推定することが可能になるので、動作情報を得るための各種の機器（フォースプレート、圧電素子、全身を撮影する撮影機器等）が不要になり、トレッドミル１００の小型化及び低コスト化を図ることが可能になる。
また、推定された動作に基づいて診断を行うことが可能になるので、解析対象者の身体状態を医学的見地から把握することが可能になり、例えば解析対象者がリハビリ患者である場合にリハビリ進行状況を特定して提示する等、解析対象者に対して一層有用な状況を提示することが可能になる。
また、推定された動作に基づいて異常判定を行うことが可能になるので、例えば解析対象者に異常があると判定された場合にその動作を停止させるための緊急措置を行う等、解析対象者の安全性を向上させることが可能になる。
また、トレッドミル１００の上で動作している解析対象者の歩行動作を推定することが可能になり、例えばトレッドミル１００で歩行することでリハビリを行っている患者の動作を推定することが可能になる。
〔変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良できる。以下、このような変形例について説明する。
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良できる。以下、このような変形例について説明する。
（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、前記した内容に限定されるものではなく、本発明によって、前記に記載されていない課題を解決したり、前記に記載されていない効果を奏することもでき、また、記載されている課題の一部のみを解決したり、記載されている効果の一部のみを奏することがある。
まず、発明が解決しようとする課題や発明の効果は、前記した内容に限定されるものではなく、本発明によって、前記に記載されていない課題を解決したり、前記に記載されていない効果を奏することもでき、また、記載されている課題の一部のみを解決したり、記載されている効果の一部のみを奏することがある。
（分散や統合について）
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。また、本出願における「システム」とは、複数の装置によって構成されたものに限定されず、単一の装置によって構成されたものを含む。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。また、上記実施の形態で説明した各情報については、そのデータ構造を任意に変更してもよい。
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。また、本出願における「システム」とは、複数の装置によって構成されたものに限定されず、単一の装置によって構成されたものを含む。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。また、上記実施の形態で説明した各情報については、そのデータ構造を任意に変更してもよい。
（形状、数値、構造、時系列について）
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。
（歩行推定部及び診断部について（その１））
また、上記実施の形態の歩行推定部１８１及び診断部１８２において、畳み込みニューラルネットワークの技術を用いて実現する場合について説明したが、これに限らず、他のニューラルネットワークの技術を用いて実現し、この場合、パラメータとして重み及びバイアスを設定するように構成してもよい。あるいは、ニューラルネットワーク以外の任意の機械学習の技術、又は、機械学習以外の任意の技術を用いて実現してもよい。
また、上記実施の形態の歩行推定部１８１及び診断部１８２において、畳み込みニューラルネットワークの技術を用いて実現する場合について説明したが、これに限らず、他のニューラルネットワークの技術を用いて実現し、この場合、パラメータとして重み及びバイアスを設定するように構成してもよい。あるいは、ニューラルネットワーク以外の任意の機械学習の技術、又は、機械学習以外の任意の技術を用いて実現してもよい。
（歩行推定部及び診断部について（その２））
また、上記実施の形態の歩行推定部１８１については、動作中の被験者における複数の部位の３次元位置及び動作情報に基づいている限りにおいて、機械的学習以外の任意の手法にて設定されるアルゴリズムとして構成してもよい。また、診断部１８２についても、被験者の診断情報に基づいている限りにおいて、機械的学習以外の任意の手法にて設定されるアルゴリズムとして構成してもよい。
また、上記実施の形態の歩行推定部１８１については、動作中の被験者における複数の部位の３次元位置及び動作情報に基づいている限りにおいて、機械的学習以外の任意の手法にて設定されるアルゴリズムとして構成してもよい。また、診断部１８２についても、被験者の診断情報に基づいている限りにおいて、機械的学習以外の任意の手法にて設定されるアルゴリズムとして構成してもよい。
（診断学習処理について）
また、上記実施の形態のトレッドミル１００を用いずに図４の診断学習処理を行えるように構成してもよい。具体的には、トレッドミル１００の歩行推定部１８１と同様な機能をパラメータ設定装置２００に設けて、この設けた機能を用いることにより、パラメータ設定装置２００側のみにて診断学習処理を行えるように構成してもよい。
また、上記実施の形態のトレッドミル１００を用いずに図４の診断学習処理を行えるように構成してもよい。具体的には、トレッドミル１００の歩行推定部１８１と同様な機能をパラメータ設定装置２００に設けて、この設けた機能を用いることにより、パラメータ設定装置２００側のみにて診断学習処理を行えるように構成してもよい。
（情報の出力について）
また、上記実施の形態の各処理については、出力部１６を介して情報を表示出力する場合について説明したが、これに限らず、トレッドミル１００に音声出力手段（例えば、スピーカ等）を備えたり、汎用的なパーソナルコンピュータとの通信手段（例えば、各種通信回路等）を備えたりすることにより、各種情報を音声出力したり通信出力したりできるように構成してもよい。
また、上記実施の形態の各処理については、出力部１６を介して情報を表示出力する場合について説明したが、これに限らず、トレッドミル１００に音声出力手段（例えば、スピーカ等）を備えたり、汎用的なパーソナルコンピュータとの通信手段（例えば、各種通信回路等）を備えたりすることにより、各種情報を音声出力したり通信出力したりできるように構成してもよい。
（解析対象者及び被験者について）
また、上記実施の形態において、解析対象者及び被験者として、健常者又は患者を含むものと定義したが、解析対象者及び被験者が患者のみを含むものと解釈してもよい。
また、上記実施の形態において、解析対象者及び被験者として、健常者又は患者を含むものと定義したが、解析対象者及び被験者が患者のみを含むものと解釈してもよい。
（パラメータ設定装置について（その１））
また、上記実施の形態のパラメータ設定装置２００を、トレッドミル１００自身にて歩行する複数の被験者の情報を用いて前述の機械学習を行って、パラメータの決定及び設定を行うように用いてもよい。この場合、トレッドミル１００自身を不図示のパラメータ計測用トレッドミルとして用いることができる。更にこの場合、パラメータ設定装置２００の三次元計測センサ部２１としては、トレッドミル１００の三次元計測センサ部１４を用いるものとする。
また、上記実施の形態のパラメータ設定装置２００を、トレッドミル１００自身にて歩行する複数の被験者の情報を用いて前述の機械学習を行って、パラメータの決定及び設定を行うように用いてもよい。この場合、トレッドミル１００自身を不図示のパラメータ計測用トレッドミルとして用いることができる。更にこの場合、パラメータ設定装置２００の三次元計測センサ部２１としては、トレッドミル１００の三次元計測センサ部１４を用いるものとする。
（パラメータ設定装置について（その２））
また、上記実施の形態のパラメータ設定装置２００の各要素のうち少なくも一部を複数の装置に分散配置してもよい。
また、上記実施の形態のパラメータ設定装置２００の各要素のうち少なくも一部を複数の装置に分散配置してもよい。
（歩行推定学習処理及び診断学習処理について）
また、上記実施の形態の歩行推定学習処理及び診断学習処理については、トレッドミル１００とパラメータ設定装置２００とを相互に通信可能になるように接続していない状態で起動し、少なくとも、これらの装置の通信が必要になる場合（例えば、図３のＳＡ４及び図４のＳＢ４）のみに相互に接続してもよい。
また、上記実施の形態の歩行推定学習処理及び診断学習処理については、トレッドミル１００とパラメータ設定装置２００とを相互に通信可能になるように接続していない状態で起動し、少なくとも、これらの装置の通信が必要になる場合（例えば、図３のＳＡ４及び図４のＳＢ４）のみに相互に接続してもよい。
（パラメータ計測用トレッドミルについて）
また、パラメータ計測用トレッドミルについては、上記実施の形態にて説明したように、トレッドミル１００と同様な構成（構造）であることが好ましいが、トレッドミル１００とは異なる構成の他のトレッドミルをパラメータ計測用トレッドミルとして用いてもよい。
また、パラメータ計測用トレッドミルについては、上記実施の形態にて説明したように、トレッドミル１００と同様な構成（構造）であることが好ましいが、トレッドミル１００とは異なる構成の他のトレッドミルをパラメータ計測用トレッドミルとして用いてもよい。
（被験者について）
また、上記実施の形態の図３のＳＡ１又は図４のＳＢ１にて情報を取得する対象となる被験者については、多数の健常者と少数の患者としてもよい。
また、上記実施の形態の図３のＳＡ１又は図４のＳＢ１にて情報を取得する対象となる被験者については、多数の健常者と少数の患者としてもよい。
（時間及び寸法について）
また、上記実施の形態で示した時間又は寸法については、説明の便宜上、一例として示したものであり、本願の趣旨を逸脱しない範囲で実施の形態で示した時間又は寸法以外の他の時間又は寸法を用いてもよい。
また、上記実施の形態で示した時間又は寸法については、説明の便宜上、一例として示したものであり、本願の趣旨を逸脱しない範囲で実施の形態で示した時間又は寸法以外の他の時間又は寸法を用いてもよい。
（特徴について）
また、上記実施の形態の特徴及び変形例の特徴を任意に選択して組み合わせてもよい。
また、上記実施の形態の特徴及び変形例の特徴を任意に選択して組み合わせてもよい。
（付記）
付記１の動作推定装置は、動作中の解析対象者における複数の部位の３次元位置を計測する三次元計測手段と、動作中の被験者における複数の部位の３次元位置及び動作情報に基づいて設定された動作推定手段であって、前記三次元計測手段にて計測された前記複数の部位の３次元位置に基づいて前記解析対象者の動作を推定する動作推定手段、を備えた。
付記１の動作推定装置は、動作中の解析対象者における複数の部位の３次元位置を計測する三次元計測手段と、動作中の被験者における複数の部位の３次元位置及び動作情報に基づいて設定された動作推定手段であって、前記三次元計測手段にて計測された前記複数の部位の３次元位置に基づいて前記解析対象者の動作を推定する動作推定手段、を備えた。
付記２の動作推定装置は、付記１に記載の動作推定装置において、前記被験者の診断情報に基づいて設定された診断手段であって、前記動作推定手段にて推定された前記解析対象者の動作に基づいて前記解析対象者を診断する診断手段、を備えた。
付記３の動作推定装置は、付記１又は２に記載の動作推定装置において、前記動作推定手段にて推定された前記解析対象者の動作に基づいて前記解析対象者の異常の有無を判定する異常判定手段、を備えた。
付記４の動作推定装置は、付記１から３のいずれか一項に記載の動作推定装置において、トレッドミルを備え、前記三次元計測手段は、前記トレッドミルで歩行中の前記解析対象者における複数の部位の３次元位置を計測可能である。
付記５に記載の動作推定プログラムは、コンピュータを、動作中の被験者における複数の部位の３次元位置及び動作情報に基づいて設定された動作推定手段であって、三次元計測手段にて計測された動作中の解析対象者における複数の部位の３次元位置に基づいて前記解析対象者の動作を推定する動作推定手段、として機能させる。
（付記の効果）
付記１に記載の動作推定装置によれば、解析対象者から動作情報を得ることができなくても、解析対象者の３次元位置に基づいて解析対象者の動作を推定することが可能になるので、動作情報を得るための各種の機器（フォースプレート、圧電素子、全身を撮影する撮影機器等）が不要になり、動作推定装置の小型化及び低コスト化を図ることが可能になる。
付記１に記載の動作推定装置によれば、解析対象者から動作情報を得ることができなくても、解析対象者の３次元位置に基づいて解析対象者の動作を推定することが可能になるので、動作情報を得るための各種の機器（フォースプレート、圧電素子、全身を撮影する撮影機器等）が不要になり、動作推定装置の小型化及び低コスト化を図ることが可能になる。
付記２に記載の動作推定装置によれば、推定された動作に基づいて診断を行うことが可能になるので、解析対象者の身体状態を医学的見地から把握することが可能になり、例えば解析対象者がリハビリ患者である場合にリハビリ進行状況を特定して提示する等、解析対象者に対して一層有用な状況を提示することが可能になる。
付記３に記載の動作推定装置によれば、推定された動作に基づいて異常判定を行うことが可能になるので、例えば解析対象者に異常があると判定された場合にその動作を停止させるための緊急措置を行う等、解析対象者の安全性を向上させることが可能になる。
付記４に記載の動作推定装置によれば、トレッドミルの上で動作している解析対象者の歩行動作を推定することが可能になり、例えばトレッドミルで歩行することでリハビリを行っている患者の動作を推定することが可能になる。
付記５に記載の動作推定装置によれば、解析対象者から動作情報を得ることができなくても、解析対象者の３次元位置に基づいて解析対象者の動作を推定することが可能になるので、動作情報を得るための各種の機器（フォースプレート、圧電素子、全身を撮影する撮影機器等）が不要になり、動作推定装置の小型化及び低コスト化を図ることが可能になる。
１１ 基台
１２ 立設体
１３ エンドレスベルト
１４ 三次元計測センサ部
１５ 入力部
１６ 出力部
１７ 記録部
１８ 制御部
２１ 三次元計測センサ部
２２ モーションキャプチャ部
２３ 荷重センサ部
２４ 加速度センサ部
２５ 入力部
２６ 記録部
２７ 制御部
１００ トレッドミル
１８１ 歩行推定部
１８２ 診断部
１８３ 異常判定部
２００ パラメータ設定装置
２７１ 歩行推定学習部
２７２ 診断学習部
Ｓｐ１ 計測空間
１２ 立設体
１３ エンドレスベルト
１４ 三次元計測センサ部
１５ 入力部
１６ 出力部
１７ 記録部
１８ 制御部
２１ 三次元計測センサ部
２２ モーションキャプチャ部
２３ 荷重センサ部
２４ 加速度センサ部
２５ 入力部
２６ 記録部
２７ 制御部
１００ トレッドミル
１８１ 歩行推定部
１８２ 診断部
１８３ 異常判定部
２００ パラメータ設定装置
２７１ 歩行推定学習部
２７２ 診断学習部
Ｓｐ１ 計測空間
Claims (5)
- 動作中の解析対象者における複数の部位の３次元位置を計測する三次元計測手段と、
動作中の被験者における複数の部位の３次元位置及び動作情報に基づいて設定された動作推定手段であって、前記三次元計測手段にて計測された前記複数の部位の３次元位置に基づいて前記解析対象者の動作を推定する動作推定手段、
を備えた動作推定装置。 - 前記被験者の診断情報に基づいて設定された診断手段であって、前記動作推定手段にて推定された前記解析対象者の動作に基づいて前記解析対象者を診断する診断手段、
を備えた請求項１に記載の動作推定装置。 - 前記動作推定手段にて推定された前記解析対象者の動作に基づいて前記解析対象者の異常の有無を判定する異常判定手段、
を備えた請求項１又は２に記載の動作推定装置。 - トレッドミルを備え、
前記三次元計測手段は、前記トレッドミルで歩行中の前記解析対象者における複数の部位の３次元位置を計測可能である、
請求項１から３のいずれか一項に記載の動作推定装置。 - コンピュータを、
動作中の被験者における複数の部位の３次元位置及び動作情報に基づいて設定された動作推定手段であって、三次元計測手段にて計測された動作中の解析対象者における複数の部位の３次元位置に基づいて前記解析対象者の動作を推定する動作推定手段、
として機能させる動作推定プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017149142A JP2019025134A (ja) | 2017-08-01 | 2017-08-01 | 動作推定装置及び動作推定プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017149142A JP2019025134A (ja) | 2017-08-01 | 2017-08-01 | 動作推定装置及び動作推定プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019025134A true JP2019025134A (ja) | 2019-02-21 |
Family
ID=65477038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017149142A Pending JP2019025134A (ja) | 2017-08-01 | 2017-08-01 | 動作推定装置及び動作推定プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019025134A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2020195271A1 (ja) * | 2019-03-28 | 2020-10-01 | ||
| CN111898574A (zh) * | 2020-08-05 | 2020-11-06 | 复旦大学附属中山医院 | 一种起立行走测试分析系统及方法 |
| CN112043557A (zh) * | 2019-06-07 | 2020-12-08 | 丰田自动车株式会社 | 步行训练系统、显示方法及计算机可读写存储介质 |
| JP2021009565A (ja) * | 2019-07-01 | 2021-01-28 | トヨタ自動車株式会社 | 状態推定プログラム、学習済みモデル、リハビリ支援システム、学習装置及び状態推定方法 |
| JPWO2021199177A1 (ja) * | 2020-03-30 | 2021-10-07 | ||
| JPWO2023027046A1 (ja) * | 2021-08-26 | 2023-03-02 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009125270A (ja) * | 2007-11-22 | 2009-06-11 | Panasonic Electric Works Co Ltd | 歩行動作分析装置 |
| US20140228712A1 (en) * | 2013-02-14 | 2014-08-14 | Marcus Elliott | Generation of personalized training regimens from motion capture data |
| CN104353240A (zh) * | 2014-11-27 | 2015-02-18 | 北京师范大学珠海分校 | 基于Kinect的跑步机系统 |
| JP2016140591A (ja) * | 2015-02-03 | 2016-08-08 | 国立大学法人 鹿児島大学 | 動作解析評価装置、動作解析評価方法、及びプログラム |
| JP2017055913A (ja) * | 2015-09-15 | 2017-03-23 | 株式会社東芝 | 動作フォーム判定装置、判定方法、判定プログラム、判定システム |
-
2017
- 2017-08-01 JP JP2017149142A patent/JP2019025134A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009125270A (ja) * | 2007-11-22 | 2009-06-11 | Panasonic Electric Works Co Ltd | 歩行動作分析装置 |
| US20140228712A1 (en) * | 2013-02-14 | 2014-08-14 | Marcus Elliott | Generation of personalized training regimens from motion capture data |
| CN104353240A (zh) * | 2014-11-27 | 2015-02-18 | 北京师范大学珠海分校 | 基于Kinect的跑步机系统 |
| JP2016140591A (ja) * | 2015-02-03 | 2016-08-08 | 国立大学法人 鹿児島大学 | 動作解析評価装置、動作解析評価方法、及びプログラム |
| JP2017055913A (ja) * | 2015-09-15 | 2017-03-23 | 株式会社東芝 | 動作フォーム判定装置、判定方法、判定プログラム、判定システム |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020195271A1 (ja) * | 2019-03-28 | 2020-10-01 | Ｎｅｃソリューションイノベータ株式会社 | 歩行分析装置、歩行分析方法、及びコンピュータ読み取り可能な記録媒体 |
| JP7335046B2 (ja) | 2019-03-28 | 2023-08-29 | Ｎｅｃソリューションイノベータ株式会社 | 歩行分析装置、歩行分析方法、及びプログラム |
| JPWO2020195271A1 (ja) * | 2019-03-28 | 2020-10-01 | ||
| CN112043557A (zh) * | 2019-06-07 | 2020-12-08 | 丰田自动车株式会社 | 步行训练系统、显示方法及计算机可读写存储介质 |
| JP2020198996A (ja) * | 2019-06-07 | 2020-12-17 | トヨタ自動車株式会社 | 歩行訓練システム、表示方法、および表示プログラム |
| JP7172886B2 (ja) | 2019-07-01 | 2022-11-16 | トヨタ自動車株式会社 | 状態推定プログラム、リハビリ支援システム及び状態推定方法 |
| JP2021009565A (ja) * | 2019-07-01 | 2021-01-28 | トヨタ自動車株式会社 | 状態推定プログラム、学習済みモデル、リハビリ支援システム、学習装置及び状態推定方法 |
| JPWO2021199177A1 (ja) * | 2020-03-30 | 2021-10-07 | ||
| WO2021199177A1 (ja) * | 2020-03-30 | 2021-10-07 | 株式会社ソニー・インタラクティブエンタテインメント | モーション決定装置、学習装置、モーション決定方法、学習方法及びプログラム |
| CN111898574A (zh) * | 2020-08-05 | 2020-11-06 | 复旦大学附属中山医院 | 一种起立行走测试分析系统及方法 |
| JPWO2023027046A1 (ja) * | 2021-08-26 | 2023-03-02 | ||
| WO2023027046A1 (ja) * | 2021-08-26 | 2023-03-02 | 株式会社CaTe | プログラム、情報処理装置、および情報処理方法 |
| JP7411945B2 (ja) | 2021-08-26 | 2024-01-12 | 株式会社CaTe | プログラム、情報処理装置、および情報処理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019025134A (ja) | 動作推定装置及び動作推定プログラム | |
| US20210290109A1 (en) | Range of motion system, and method | |
| Slade et al. | An open-source and wearable system for measuring 3D human motion in real-time | |
| Wille et al. | Ability of sagittal kinematic variables to estimate ground reaction forces and joint kinetics in running | |
| Chen et al. | Bring gait lab to everyday life: Gait analysis in terms of activities of daily living | |
| Goswami et al. | Kinematic quantification of gait asymmetry based on bilateral cyclograms | |
| JP6433805B2 (ja) | 運動機能診断装置及び方法、並びにプログラム | |
| JPWO2007052631A1 (ja) | 歩様バランス定量化方法および歩様バランス定量化装置 | |
| Erdem et al. | Gait analysis using smartwatches | |
| JP6535778B1 (ja) | 運動能力評価システム | |
| JP2019150329A (ja) | 歩行評価システムおよび歩行評価方法 | |
| US20170181689A1 (en) | System and Method for Measuring the Muscle Tone | |
| Fallahzadeh et al. | Smart-cuff: A wearable bio-sensing platform with activity-sensitive information quality assessment for monitoring ankle edema | |
| JP2019535069A (ja) | 脳卒中検出及び予防システム及び方法 | |
| JP6773227B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
| Shia et al. | Stability basin estimates fall risk from observed kinematics, demonstrated on the Sit-to-Stand task | |
| KR20140070064A (ko) | 가속도 센서를 이용한 환자분석 장치 및 방법 | |
| JP6958739B2 (ja) | 関節障害リスク評価装置、システム、方法およびプログラム | |
| JP2020151470A (ja) | 歩行評価装置、歩行評価方法およびプログラム | |
| TWI580404B (zh) | 肌肉張力感測方法及系統 | |
| JP6079585B2 (ja) | 歩容のバランス評価装置 | |
| Gitau et al. | Comparison of Wearable and Computer Vision Based Approaches to Knee Flexion Angle Measurement | |
| Kuber et al. | Detecting Fatigue during Exoskeleton-Assisted Trunk Flexion Tasks: A Machine Learning Approach | |
| Dinh et al. | Design and implementation of a wireless wearable band for gait analysis | |
| Ma et al. | Effect of different musculoskeletal model scaling methods on muscle force prediction for patients with cerebral palsy and equinus gait |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210720 |