JP2018047218A - 人の姿勢バランスを決定するための方法およびシステム - Google Patents

人の姿勢バランスを決定するための方法およびシステム Download PDF

Info

Publication number
JP2018047218A
JP2018047218A JP2017057038A JP2017057038A JP2018047218A JP 2018047218 A JP2018047218 A JP 2018047218A JP 2017057038 A JP2017057038 A JP 2017057038A JP 2017057038 A JP2017057038 A JP 2017057038A JP 2018047218 A JP2018047218 A JP 2018047218A
Authority
JP
Japan
Prior art keywords
person
sls
balance
vibration
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017057038A
Other languages
English (en)
Inventor
キングシュク チャクラヴァルティ
Chakravarty Kingshuk
キングシュク チャクラヴァルティ
アニルッダ シンハ
Sinha Aniruddha
アニルッダ シンハ
ブロジェシュワール ブホウミック
Brojeshwar Bhowmick
ブロジェシュワール ブホウミック
サンジャナ シンハ
Sinha Sanjana
サンジャナ シンハ
アビジット ダス
Das Abhijit
アビジット ダス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tata Consultancy Services Ltd
Original Assignee
Tata Consultancy Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tata Consultancy Services Ltd filed Critical Tata Consultancy Services Ltd
Publication of JP2018047218A publication Critical patent/JP2018047218A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • A61B5/4023Evaluating sense of balance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • A61B5/1117Fall detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Rehabilitation Tools (AREA)
  • Power Engineering (AREA)

Abstract

【課題】人の関節の片肢スタンス期間および振動インデックスを用いて算出されるバランス・スコアに関して人の姿勢バランスを決定するためのシステムおよび方法を提供する。
【解決手段】システム100は、3Dモーションセンサ102、ノイズ・フィルタリングモジュール104、メモリ106、およびメモリと通信するプロセッサ108を備える。3Dモーションセンサは、人の骨格データを取り込む。ノイズ・フィルタリングモジュールは、骨格データから複数のノイズを除去する。プロセッサは、人の骨格データを用いて人の片肢スタンス(SLS)期間を算出するステップ、人の各関節の速度プロファイルを計算するステップ、3D空間における人の関節運動プロファイルを用いて人の振動ジッタおよび単位質量当たりの力(FPUM)を測定するステップ、を実行するように構成される。
【選択図】図1

Description

[優先権の主張]
本願は、2016年9月23日出願のインド国特許出願第201621032626号の優先権を主張する。そしてその全部は、参照によって本明細書に組み込まれる。
[技術分野]
本願は、一般に人の姿勢バランスをモニタする分野に関する。さらに詳しくは、しかし具体的にではないが、本発明は、人の関節の片肢スタンス期間および振動インデックスを用いて算出されるバランス・スコアに関して人の姿勢バランスを決定するためのシステムおよび方法を提供する。
胴および下肢の姿勢筋肉の同期したおよび調整された起動は、人体の平衡およびバランスを維持するために必要とされる。乏しい姿勢バランスコントロールは、巨大な人口に損傷または転倒を引き起こして、一般の運動技能の決定的な因子であると想定される。脳卒中を乗り切った患者は、アンバランスのために転倒しやすい。したがって、彼等は、物理療法および他のエクササイズを必要とする。人の姿勢バランスの判定は、非常に重要(特に脳卒中生存者)になった。姿勢バランスの判定は、介護者が脳卒中生存者のための訓練および物理療法を設計するのを支援する。
いかなるスタンスの姿勢コントロールも測定するための文献の中に、いくつかの技術はすでに存在する。それらの中で、片肢スタンス(SLS)は、時間的測定によって静的位置における姿勢安定を評価するだけでなく、姿勢安定度および修正におけるボディ・ジョイントの役割も分析する良好なオプションである。臨床医のために、それは、それらの患者に対して転倒リスクのスクリーニングを行う速くて、信頼性が高くてそして簡単な方法を提供し、そして、年上の成人のための広範囲の機能評価に容易に組み込まれる。健康な被験者のためのSLS訓練は、静的バランスを改良することによって損傷または転倒の可能性を減らす。複雑なメカニズムである、姿勢コントロールの不足は、立っている間の姿勢の動揺を引き起こす。例えば、腰痛のある人々が立っていて姿勢の動揺を増加させたことが観察された。
SLSにおけるバランスは、力プラットホームを有する重心動揺検査を用いて登録した圧力中心(COP)運動によって測定されることができるSLS−期間およびボディ−動揺の両方に関して評価されることを必要とする。COPは、重心の水平位置および筋肉のアクティビティに起因する反力の両方を反映するが、どのような姿勢の混乱が異なるボディ・部位/ジョイントの不安定性/振動を作成するかについて情報を発しない。COPおよびCOMの振動の間に明白な関係が存在する所で周波数が省略されたCOP運動の振幅だけが各ジョイントの振動と関連した所で、いくらかの作業は報告される。ごく最近、標識ベースのモーション・キャプチャおよび解析システムが高価で複雑であるボディ動揺測定の用に供された。そして試験は、研究室またはクリニック環境において実行されることができるだけである。さらに別の研究では、COMパラメータに関して立っているバランスを評価するために、Kinectの信頼性は分析された。しかしそれらは、SLSの間、ユークリッドの座標x、y、zにおけるボディ振動について述べられなかった。
以下は、実施形態の基本的な理解を提供するために、開示のいくらかの実施形態の簡略的概要を示す。この概要は、実施形態の広範囲な概要ではない。実施形態の鍵となる/重要な要素を識別すること、または実施形態の範囲を詳細に描写することを意図しない。その唯一の目的は、下で示されるより詳細な説明の前兆としていくらかの実施形態を単純化されたフォームに示すことである。
前述を考慮して、本明細書における実施形態は、人の姿勢バランスを決定するシステムを提供する。システムは、3Dモーションセンサ、ノイズ・フィルタリングモジュール、メモリ、およびメモリと通信するプロセッサを備える。3Dモーションセンサは、人の骨格データを取り込む。人は、片肢スタンス(SLS)運動を行っている。ノイズ・フィルタリングモジュールは、骨格データから複数のノイズを除去する。プロセッサは、人の骨格データを用いて人の片肢スタンス(SLS)期間を算出するステップ、人の各関節の速度プロファイルを計算するステップ、3D空間における人の関節運動プロファイルを用いて人の振動ジッタおよび単位質量当たりの力(FPUM)を測定するステップであって、関節運動プロファイルは人の各関節のために異なり、関節運動プロファイルは3Dモーションセンサから得られる、ステップ、人の振動ジッタおよびFPUMに基づいて各関節のための振動インデックスを生成するステップ、および、SLS期間および前記振動インデックスを用いて人の第1のバランス・スコアおよび第2のバランス・スコアを生成するステップであって、前記第1および第2のバランス・スコアは人の姿勢バランスを示す、ステップ、を実行するようにさらに構成される。
別の実施形態は、人の姿勢バランスを決定する方法であって、以下のさまざまなステップを実施するプロセッサを含む方法を提供する。最初に、3Dモーションセンサを用いて人の骨格データが得られる。人は、片肢スタンス(SLS)運動を行っている。次いで、ノイズ・フィルタリングモジュールを用いて骨格データから複数のノイズが除去される。次のステップでは、人の骨格データを用いて人の片肢スタンス(SLS)期間が算出される。次のステップでは、人の各関節の速度プロファイルが計算される。さらに、3D空間における人の関節運動プロファイルを用いて人の振動ジッタおよび単位質量当たりの力(FPUM)が測定される。関節運動プロファイルは人の各関節のために異なり、関節運動プロファイルは3Dモーションセンサから得られる。次のステップでは、人の振動ジッタおよびFPUMに基づいて各関節のための振動インデックスが生成される。そして最後に、SLS期間および振動インデックスを用いて人の第1のバランス・スコアおよび第2のバランス・スコアが生成される。第1および第2のバランス・スコアは人の姿勢バランスを示す。
本明細書において実施形態は、図面を参照して以下の詳細な説明からよりよく理解される。
図1は、本開示の実施形態による、人の姿勢バランスを決定するシステムのブロック図を示す。 図2は、本開示の実施形態による、実験的な準備およびシステムでモニタされるさまざまなボディ・ジョイントを示す。 図3は、本開示の実施形態による、人の左の足首の変化のグラフィック表現を示す。 図4は、本開示の実施形態による、k平均クラスタリングを識別した曲率位置のグラフィック表現を示す。 図5は、本開示の実施形態による、人の姿勢バランスを決定するために必要とするステップを示すフローチャートである。
本明細書における実施形態およびさまざまな特徴およびその有利な詳細は、添付図面に示されて以下の説明において詳述される非限定的な実施形態に関してより詳細に説明される。本明細書において使用される例は、単に、本明細書における実施形態が実践されてよい方法の理解を容易にして、さらに当業者が本明細書における実施形態を実践することができることを意図する。したがって、例は、本明細書における実施形態の範囲を制限するものとして解釈されてはならない。
類似の参照符号が図の全体にわたって一貫して対応する特徴を示す図面を、そしてより詳しくは図1を参照すると、好ましい実施形態が示される。これらの実施形態は、以下の例示的システムおよび/または方法の文脈において記載される。
開示の一実施形態によれば、人の姿勢バランスを決定するシステム100。開示は、3Dモーションセンサ(例えばKinect)から得られる骨格データだけを用いて人の関節の3D運動に関して片肢スタンス(SLS)期間およびボディ振動を計算するために、控え目なシステムおよび方法を提供する。片肢スタンスならびに2足歩行のスタンスフェーズのための各骨格ジョイント/ボディ部分のための振動は、次いで、振動インデックスおよびSLS期間に基づいてバランス・スコアを生成するために用いられる。
開示の一実施形態によれば、システム100のブロック図が図1に示される。システム100は、3Dモーションセンサ102、ノイズ・フィルタリングモジュール104、メモリ106、およびメモリ106と通信するプロセッサ108を含む。メモリ106は、複数のアルゴリズムをストアするように構成される。プロセッサ108は、さまざまな機能を実行するための複数のモジュールをさらに含む。複数のモジュールは、さまざまな機能を実行するためにメモリ106にストアされる複数のアルゴリズムにアクセスする。
開示の一実施形態によれば、人の骨格データは、3Dモーションセンサ102を用いて得られる。本実施形態では、データ取り込みのための3Dモーションセンサ102としてマイクロソフトKinect(登録商標)(Kinect)装置が用いられた。読み取りに対する便宜のために、用語「3Dモーションセンサ」および「Kinect」は、開示において置き替え可能で使われることが理解されるべきである。マイクロソフトのKinect(登録商標)は、マイクロソフトのXbox360(登録商標)に対するまたはマイクロソフト・ウインドウズ(登録商標)コンピュータに対する外部インタフェースとして接続する周辺機器である。ユーザが別々のコントローラを必要とすることなくソフトウェアおよびメディア内容と対話することができるように、Kinect(登録商標)および関連するプログラムされたコンピュータまたはXboxは、ユーザの擬人化したフォームを感じて、認識して、利用する。
骨格データを取り込むための実験的な準備は、図2に示される。この実施形態では、人は、片脚スタンス(SLS)運動を行うよう依頼される。SLS運動は、目を開けて、腕を臀部の上に置き、そしてKinectから7〜8フィート離れて立つことで実行される。参加者は、自力で片方の脚で立たなければならず、そして、片方の足が床を離れて曲げられた時から、それが地面または立っている脚に接触するかまたは腕が臀部から離れる時までの時間が秒で計時される。約20ジョイントの3D時空情報がKinectから得られる。グランドトルースのために、時間で同期したデータ取り込みは、Kinectおよび準備に基づくフォース・プレートを用いて実行される。被験者のビデオは、手動で実験的な所見を確認するために録画されることもできる。
開示の一実施形態によれば、システム100はまた、ノイズ・フィルタリングモジュール104を含む。3Dモーションセンサ102から得た骨格データは、非常にノイズが多い。そして、被験者が完全に静止した状態で立つときにそれは実際に見える。しかし、骨格においていくらかのジョイントは動いている。電磁的ノイズ、部屋の照明、IR干渉、量子化ノイズなどを含む、特徴およびノイズレベルに影響を及ぼす多くのパラメータがある。いかなる既存のノイズ・フィルタリング方法の使用もこの開示の範囲内でよいことが理解されるべきである。
開示の一実施形態によれば、プロセッサ108は、人の骨格データを使用する人のSLS期間を算出する。SLS運動の間、持ち上げられた脚の足首の座標における変化は、非常に明らかである。3Dモーションセンサ102から得られた骨格ジョイントは、「x」が地面に関して左/右の変化を表し、「y」が地面に関して上/下の変化を表し、そして「z」がKinect102に関して被験者まで/からの変化を表す、3D界座標(x,y,z)によって表される。それでここでは、持ち上げられた脚の足首のy−座標(すなわち、左下肢が持ち上げられる)YAnkleLeftの変化は、被験者が地面より上に脚(ここでは、左脚)を持ち上げるときの正確なタイミングについての意味のある情報を与える。同じことは図3に示される。そしてそれは、位置R、FでのYAnkleLeftの実質的な変化、およびゾーンR〜FがSLS姿勢の所望の領域であることを示す。換言すれば、Rは、片方の足が床を離れて曲げられるところのフレームであり、Fは、それが再び地面に接触するフレームである。RとFとの間の期間は、SLS期間として考慮される。この事実を覚えておくと、k平均クラスタリングアルゴリズムは、時間とともにYAnkleLeftにおける変化を取り込むために用いられる。それは、片方の脚スタンス部(ゾーンR〜F)を区別する際に助ける。k平均は、以下の等式を最適化することによって主に分離(すなわち、データを2つのクラスタに分類する)をする:
ここで||Y(j) AnkleLefti−c||は、データ・ポイントY(j) AnkleLeftiとクラスタ中心cとの間のユークリッド距離である。R〜Fに属するフレームは、1つのクラスタを形成する。その一方で、Oがそれらのそれぞれのクラスタ中心からのNのデータ・ポイントの距離のインジケータであるにつれて残りは別の1つに分類する。図4は、k平均アルゴリズム(すなわち、所望のフレームRおよびFからはるかに離れているフレームAおよびB)の出力を示す。領域S−Aのデータ・ポイントXを考慮する。曲率位置がデータの最小相違の方向にあるという事実がさらに使われる。それで、平均減算されたデータ
の計算共分散マトリックス
は計算されて、そして、マトリックスの固有値(Eigen value)分解も計算される。これは、最大相違の方向を見つけるために主成分分析(Principle Component Analysis (PCA))後の原則である。最小の固有値に対応する固有ベクトル(すなわち、Emin)は、データの最小相違の方向を提供して、曲率位置の方への方向を明かす。以下の等式を使用して最も小さい固有値に対応する固有ベクトルの最小投影エラーを通して、曲率位置RおよびFは得られる:
ここで
は、フレームr(または瞬間t)での原信号値(YAnkleLeft(r))であり、^uは、〜Eminに沿った単位ベクトルである。最後に、SLS期間は、RおよびFフレームに対応するタイムスタンプ間の違いを見つけることによって測定される。
開示の一実施形態によれば、プロセッサ108は、人の各関節の速度プロファイルをさらに計算する。同時に、3D空間における人の関節運動プロファイルを用いてプロセッサ108によって、人の振動ジッタおよび単位質量当たりの力(FPUM)も測定される。そして、関節運動プロファイルは、3Dモーションセンサ102から得られる。通常、関節運動プロファイルは、人の各関節にとって異なる。
片肢上に立ちながらのSLS運動の間、人はバランスを維持するために振動する。そのうえ、特定の姿勢のために、人は、ヒップセンター(HipCenter)、ショルダーセンター(ShoulderCenter)等のいくつかのジョイントを容易にかつ柔軟に動かすことができない。それゆえ、骨格の20の異なる関節は、例えばそれが手のために高く、しかしヒップセンター(HipCenter)のために低く、のように異なる自由度(DOF)を有する。このDOFは、関節運動に強い影響を及ぼす。発振を量的に測定するために、各ジョイントの速度プロファイルは、その振動分析のために使われる。振動は、周波数および振幅から成る。より高い周波数は、より多くの振動およびより少ないバランスを示す。3つのすべての方向(すなわちx、yおよびz)の速度
は、振動または間接的にバランスを推定するために分析される。速度は、以下の等式を用いてフィルタ処理済データから得られる:
ここで、x、yおよびzは、jth骨格ジョイントのそれぞれ(x;y;z)方向の置換である。速度はR付近で最大であり、そしてF付近で最小である(徴候を考慮する)ことがAnkleLeftの速度プロファイルから観察される。また、第1の部分S〜RにおけるAnkleLeftの平均速度は、図3に示すように第3のものにほぼ類似していて、その一方で第2における速度は、他の2つよりも非常に高い。片脚スタンス姿勢のスタート(R)およびエンド(F)フレーム/時間は、以前にすでに識別された。それゆえ、3つの異なる部分(すなわち、S〜R(部分−1)、R〜F(部分−2)およびF〜E(部分−3))は、別々に分析されることが必要である。この事実は、全20ジョイントにとっても真である。周波数に関する情報を得るために、各部分のあらゆるジョイントデータは、50サンプルのウィンドウに仕切られる。そして、各部分のフーリエ変換は、以下の等式で評価される:
ここで
は、jthジョイント速度
のためのithウィンドウの周波数応答である。これは、すべてのジョイントのために、そして3つのすべての方向(x,y,z)においてなされる。各ウィンドウにおける最大振幅(Ajk)に対応する周波数
は選択される。そして、各部分の平均周波数は以下の等式を用いて評価される:
上記の等式を用いて、各部分における平均周波数
は計算される。これらの算出平均周波数は、対応する部分(すなわちSLSよりも前、その間、そしてそれよりも後)における相対的な周波数変動(振動)を我々が分析するのを最終的に支援する。この作業では、相対的な周波数変動は振動−ジッタ(Hzの)として考慮される。そして、部分ごとに、それは以下の等式を用いて数学的にモデル化される:
ここで、J1,2,3は振動−ジッタであり、そして
は各部分の平均周波数であり、一方
は各部分のすべてのウィンドウのための周波数である。J1,2,3はまた、3つのセグメントのための周波数に関して振動を定量化する。より多くの振動はより悪いバランスを示す。便宜上、我々は、本開示の残りにおいて振動−ジッタの代わりに用語ジッタを使用する。各ウィンドウのための優位な速度成分は、
として書かれることができる。ここで、
は、各部分のjthジョイントのためのkthウィンドウにおいて最大振幅
に対応する周波数である。
SLSの間、平衡状態を回復するために各ジョイントに掛けられる力が体重、外転筋力およびジョイント反力に起因することは、バイオメカニクスから明白である。この力は、ジョイントバランス推定のための良好な手段であることができる。この事実を覚えておくと、各関節のための単位質量当たりの反力(FPUM)(FPUM=力/質量[メートル/秒])は、その関節のための速度の変化率(すなわち加速度(a))として測定される。これは、ニュートンの運動法則(すなわちF=ma)を用いてよりよく説明されることができる。
開示の一実施形態によれば、プロセッサ108は、SLS期間および振動インデックスを用いて、人の第1のバランス・スコアおよび第2のバランス・スコアを生成するようにさらに構成される。第1のバランス・スコアおよび第2のバランス・スコアは、人の姿勢バランスを示す。これらの2つのスコアは、SLS期間および振動インデックス(VI−腰、膝および胴全体の角運動に関して量的に測定される補正ボディ振動)を用いて算出される。2種類のスコア(第1のバランス・スコアおよび第2のバランス・スコア)は、以下の通りに計算される:
第1のバランス・スコア:
Score1=1−exp(−B*ベータ);
ここで、B=(1/VI)、
ベータ=0.00490。
第2のバランス・スコア:
Score2=1−exp(−A*ベータ);
ここで、A=アルファ*(SLS期間)+(1−アルファ)*(1/VI)、
ベータ=0.00490。
開示の実施形態では、ベータの値は、データセットに基づく0.004904としてとられる。しかし、ベータの値は、別の実施形態では異なってもよいことが理解されるべきである。
第1のバランス・スコアは、片肢スタンスの間、どれくらいの振動が異なるジョイント/ボディ・パーツに関連するかを示す。それは、被験者が安定系数とともにどれくらい片脚スタンスを保つことができるかについて示すコントロール・スコアである。第2のバランス・スコアは、3D空間における各ジョイントの振動および人が片肢スタンスにとどまる持続時間を示す。開示の別の実施形態によれば、第2のバランス・スコアは、臨床的に承認されたスケールに(例えば、バーグ・バランス・スケール、タイムド・アップアンドゴー)に関して確認される。これらのスコアを臨床的に承認されたスケールに関連させるために、回帰分析は実行される。
動作において、人の姿勢バランスを決定するためのフローチャート200は、開示の一実施形態によれば図5に示される。最初にステップ202で、3Dモーションセンサ102(例えばKinect)を用いて人の骨格データが得られる。データ取り込み時に、人は、図2の実験的な準備に示すようにスタンスの前に片肢スタンス(SLS)運動を実行するよう依頼される。ステップ204で、骨格データからの電磁的ノイズ、ホワイトノイズ等の複数のノイズがノイズ・フィルタリングモジュール104を用いて除去される。次のステップ206では、人の骨格データを用いて人の片肢スタンス(SLS)期間が測定される。実施形態では、曲率分析法に基づく固有ベクトルを用いてSLS期間が測定されることが理解されるべきである。しかし、他のいかなる方法の使用もこの開示の範囲内である。
ステップ208で、人の各関節の速度プロファイルが測定される。ステップ210で、3D空間における人の関節運動プロファイルを用いて人の振動ジッタおよび単位質量当たりの力(FPUM)が測定される。関節運動プロファイルは、3Dモーションセンサ102から得られる。次のステップ212では、人の振動ジッタおよびFPUMに基づいて振動インデックス(VI)が生成される。振動インデックス(VI)は、すべての関節の振動プロファイルを含む集合スコアである。そして最後にステップ214で、SLS期間および振動インデックスを用いて人の第1のバランス・スコアおよび第2のバランス・スコアが生成される。第1および第2のバランス・スコアは、人の姿勢バランスを共同で示す。第2のバランス・スコアは、臨床的に承認されたスケール(例えば、バーグ・バランス・スケール、タイムド・アップアンドゴー)に関して確認される。これらのスコアを臨床的に承認されたスケールに関連させるために、回帰分析は実行される。
開示の一実施形態によれば、測定されたSLS期間、振動ジッタおよびFPUMは、ブランド−オールトマン・プロットを用いて確認されることもできる。ブランド・オールトマン・プロットは、実験結果を確認するために標準的方法を提供する。
いかなる当業者も実施形態を製作して使用することができるために、説明文は、内容を本明細書に記載する。内容の実施形態の範囲は、請求項によって定義されて、当業者に生じる他の修正を含んでよい。それらが請求項の文字通りの言語と異ならない同様な要素を有する場合、または、それらが文字通りの言語との実体のない違いを有する等価な要素を含む場合、他の修正は範囲の中にあると意図される。実施形態は、2つのバランス・スコアに関して人の姿勢バランスを決定するためのシステムおよび方法をこのように提供する。
保護の範囲がその中にメッセージを有するコンピュータ可読手段に加えてこの種のプログラムまで広げられることは、しかしながら理解される。この種のコンピュータ可読記憶手段は、プログラムがサーバまたはモバイル機器またはいかなる適切なプログラマブルデバイス上でも走るときに、方法の1つ以上のステップの実施のためのプログラムコード手段を含む。ハードウェアデバイスは、例えばサーバまたはパーソナルコンピュータ等のようないかなる種類のコンピュータも含むプログラムされることができるいかなる種類のデバイス、またはそれらのいかなる組み合わせでもあることができる。デバイスは、例えば特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)の類の例えばハードウェア手段、またはハードウェアおよびソフトウェア手段の組合せ(例えばASICおよびFPGA)、または、少なくとも1つのマイクロプロセッサおよびそこに位置するソフトウェアモジュールを有する少なくとも1つのメモリ、でありうる手段を含んでもよい。このように、手段は、ハードウェア手段およびソフトウェア手段を含むことができる。本明細書に記載されている方法実施形態は、ハードウェアおよびソフトウェアで実施されることができる。デバイスは、ソフトウェア手段を含んでもよい。あるいは、本開示の実施形態は、異なるハードウェアデバイス(例えば複数のCPUの使用)上で実施されてよい。
本明細書における実施形態は、ハードウェアおよびソフトウェア要素を含むことができる。ソフトウェアで実施される実施形態は、ファームウェア、常駐ソフトウェア、マイクロコード、などを含むが、これに限定されない。本明細書に記載されているさまざまなモジュールによって実行される機能は、他のモジュールまたは複数の他のモジュールの組合せで実施されてよい。この説明のために、コンピュータが使用可能なまたはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによってまたはそれに関連して使用されるためのプログラムを含むことができるか、格納することができるか、通信することができるか、伝播することができるか、または運搬することができるいかなる装置であることもできる。
媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、または半導体システム(または装置またはデバイス)または伝搬媒体であることができる。コンピュータ可読媒体の例は、半導体または固体メモリ、磁気テープ、着脱可能なコンピュータ・ディスケット、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、堅い磁気ディスクおよび光ディスクを含む。光ディスクの現在の例は、コンパクトディスク−読取り専用メモリ(CD−ROM)、コンパクトディスク−読取り/書込み(CD−R/W)およびDVDを含む。
プログラムコードをストアおよび/または実行するのに適したデータ処理システムは、システムバスを通して記憶要素に直接または間接的に接続される少なくとも1つのプロセッサを含む。記憶要素は、プログラムコードの実際の実行の間利用されるローカル・メモリ、大容量記憶装置、および、実行の間大容量記憶装置から検索されなければならない回数コードを減らすために少なくともいくらかのプログラムコードの一時的記憶を提供するキャッシュメモリを含むことができる。
入/出力(I/O)装置(キーボード、ディスプレイ、ポインティングデバイス等を含むがこれに限定されない)は、直接またはI/Oコントローラを介してシステムに接続されることができる。ネットワークアダプタは、介在する個人的または公衆ネットワークを介してデータ処理システムを他のデータ処理システムまたはリモートプリンタまたは記憶装置に接続することを可能にするシステムに接続されてもよい。モデム、ケーブルモデムおよびイーサネットカードは、ネットワークアダプタの現在利用可能なタイプのちょうどいくつかである。
実施形態を実践するための代表的なハードウェア環境は、本明細書における実施形態による情報処理/コンピュータシステムのハードウェア構成を含んでよい。本明細書におけるシステムは、少なくとも1つのプロセッサまたは中央処理装置(CPU)を備える。CPUは、各種デバイス(例えば、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、および入/出力(I/O)アダプタ)にシステムバスを介して相互接続する。I/Oアダプタは、周辺機器(例えば、ディスクユニットおよびテープドライブ)またはシステムによって読み込み可能な他のプログラム記憶装置に接続することができる。システムは、プログラム記憶装置上の発明的命令を読み込むことができて、本明細書における実施形態の方法論を実行するためにこれらの命令に従うことができる。
システムは、ユーザー入力を集めるために、キーボード、マウス、スピーカ、マイクロホン、および/または、タッチ・スクリーン装置(図示せず)のような他のユーザインタフェースデバイスをバスに接続するユーザーインターフェースアダプタをさらに含む。加えて、通信アダプタは、バスをデータ処理ネットワークに接続する。そしてディスプレイアダプタは、例えば、モニタ、プリンタ、または送信機のような出力装置として実施されてよいディスプレイ装置にバスを接続する。以前の記述は、各種実施形態に関して発表された。この出願が関係する技術の当業者は、原則、趣旨および範囲から意味ありげに逸脱せずに、運用の記載された構成および方法の変更および変化が実践されることができることを認める。

Claims (20)

  1. 人の姿勢バランスを決定する方法であって、以下のステップを実施するプロセッサを含む、方法:
    3Dモーションセンサを用いて人の骨格データを得るステップであって、人は片肢スタンス(SLS)運動を実行している、ステップ、
    ノイズ・フィルタリングモジュールを用いて前記骨格データから複数のノイズを除去するステップ、
    人の前記骨格データを用いて人の片肢スタンス(SLS)期間を算出するステップ、
    人の各関節の速度プロファイルを計算するステップ、
    3D空間における人の関節運動プロファイルを用いて人の振動ジッタおよび単位質量当たりの力(FPUM)を測定するステップであって、前記関節運動プロファイルは人の各関節のために異なり、前記関節運動プロファイルは3Dモーションセンサから得られる、ステップ、
    人の振動ジッタおよびFPUMに基づいて各関節のための振動インデックスを生成するステップ、および、
    SLS期間および前記振動インデックスを用いて人の第1のバランス・スコアおよび第2のバランス・スコアを生成するステップであって、前記第1および第2のバランス・スコアは人の姿勢バランスを示す、ステップ。
  2. 前記第1のバランス・スコアは、片肢スタンスの間にどれくらいの振動が異なる関節/ボディ・パーツに関連するかを示す、請求項1に記載の方法。
  3. 前記第2のバランス・スコアは、3D空間における各関節の振動および人が片肢スタンスにとどまる持続時間を示す、請求項1に記載の方法。
  4. 標準臨床スコアに関して前記第2のバランス・スコアを確認するステップをさらに含む、請求項1に記載の方法。
  5. 前記標準臨床スコアは、バーグ・バランス・スケールまたはタイムド・アップアンドゴー・スケールのうちの少なくとも1つである、請求項4に記載の方法。
  6. 人の前記SLS期間は、曲率分析に基づく固有ベクトルを用いて測定される、請求項1に記載の方法。
  7. 前記複数のノイズは、電磁的干渉、IR干渉、または量子化ノイズのうちの少なくとも1つである、請求項1に記載の方法。
  8. 前記測定されたSLS期間、振動ジッタおよびFPUMを、ブランド−オールトマン・プロットを用いて確認するステップをさらに含む、請求項1に記載の方法。
  9. 前記骨格データを、前記SLS運動の前、前記SLS運動の間、そして前記SLS運動の後、に分割するステップをさらに含む、請求項1に記載の方法。
  10. 前記骨格データは、X−Y−Z座標における人の20の関節の時空変化の測定である、請求項1に記載の方法。
  11. 人の姿勢バランスを決定するシステムであって、以下を備える、システム:
    人の骨格データを得るための3Dモーションセンサであって、人は片肢スタンス(SLS)運動を実行している、3Dモーションセンサ、
    前記骨格データから複数のノイズを除去するためのノイズ・フィルタリングモジュール、
    メモリ、および、
    前記メモリと通信するプロセッサであって、以下のステップを実行するようにさらに構成されるプロセッサ:
    人の前記骨格データを用いて人の片肢スタンス(SLS)期間を算出するステップ、
    人の各関節の速度プロファイルを計算するステップ、
    3D空間における人の関節運動プロファイルを用いて人の振動ジッタおよび単位質量当たりの力(FPUM)を測定するステップであって、前記関節運動プロファイルは3Dモーションセンサから得られる、ステップ、
    人の振動ジッタおよびFPUMに基づいて振動インデックスを生成するステップ、および、
    SLS期間および前記振動インデックスを用いて人の第1のバランス・スコアおよび第2のバランス・スコアを生成するステップであって、前記第1および第2のバランス・スコアは人の姿勢バランスを示す、ステップ。
  12. 前記3DモーションセンサはKinectセンサである、請求項11に記載のシステム。
  13. 1つ以上のハードウェアプロセッサによって実行されるときに以下を生じさせる1つ以上の命令を含む1つ以上の非一時的機械可読情報記憶媒体:
    3Dモーションセンサを用いて人の骨格データを得るステップであって、人は片肢スタンス(SLS)運動を実行している、ステップ、
    ノイズ・フィルタリングモジュールを用いて前記骨格データから複数のノイズを除去するステップ、
    人の前記骨格データを用いて人の片肢スタンス(SLS)期間を算出するステップ、
    人の各関節の速度プロファイルを計算するステップ、
    3D空間における人の関節運動プロファイルを用いて人の振動ジッタおよび単位質量当たりの力(FPUM)を測定するステップであって、前記関節運動プロファイルは人の各関節のために異なり、前記関節運動プロファイルは3Dモーションセンサから得られる、ステップ、
    人の振動ジッタおよびFPUMに基づいて各関節のための振動インデックスを生成するステップ、および、
    SLS期間および前記振動インデックスを用いて人の第1のバランス・スコアおよび第2のバランス・スコアを生成するステップであって、前記第1および第2のバランス・スコアは人の姿勢バランスを示す、ステップ。
  14. 前記第1のバランス・スコアは、片肢スタンスの間にどれくらいの振動が異なる関節/ボディ・パーツに関連するかを示す、請求項13に記載のプロセッサが実施する方法。
  15. 前記第2のバランス・スコアは、3D空間における各関節の振動および人が片肢スタンスにとどまる持続時間を示す、請求項13に記載の方法。
  16. 標準臨床スコアに関して前記第2のバランス・スコアを確認するステップをさらに含む、請求項13に記載の方法。
  17. 人の前記SLS期間は、曲率分析に基づく固有ベクトルを用いて測定される、請求項13に記載の方法。
  18. 前記複数のノイズは、電磁的干渉、IR干渉、または量子化ノイズのうちの少なくとも1つである、請求項13に記載の方法。
  19. 前記測定されたSLS期間、振動ジッタおよびFPUMを、ブランド−オールトマン・プロットを用いて確認するステップをさらに含む、請求項13に記載の方法。
  20. 前記骨格データを、前記SLS運動の前、前記SLS運動の間、そして前記SLS運動の後、に分割するステップをさらに含む、請求項13に記載の方法。
JP2017057038A 2016-09-23 2017-03-23 人の姿勢バランスを決定するための方法およびシステム Pending JP2018047218A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201621032626 2016-09-23
IN201621032626 2016-09-23

Publications (1)

Publication Number Publication Date
JP2018047218A true JP2018047218A (ja) 2018-03-29

Family

ID=58401454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017057038A Pending JP2018047218A (ja) 2016-09-23 2017-03-23 人の姿勢バランスを決定するための方法およびシステム

Country Status (7)

Country Link
US (1) US20180085045A1 (ja)
EP (1) EP3298955A1 (ja)
JP (1) JP2018047218A (ja)
CN (1) CN107871116A (ja)
AU (1) AU2017202152B2 (ja)
SG (1) SG10201702332TA (ja)
ZA (1) ZA201701963B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064487B (zh) * 2018-07-02 2021-08-06 中北大学 一种基于Kinect骨骼节点位置追踪的人体姿势比较方法
CN109102887B (zh) * 2018-08-20 2019-04-16 吉林大学 一种躯体振动评估方法
EP3644322B1 (en) * 2018-10-25 2023-12-27 Tata Consultancy Services Limited Method and system for interpreting neural interplay involving proprioceptive adaptation during a dual task paradigm
CN110245623A (zh) * 2019-06-18 2019-09-17 重庆大学 一种实时人体运动姿势矫正方法及系统
CN111967340B (zh) * 2020-07-27 2023-08-04 中国地质大学(武汉) 一种基于视觉感知的异常事件检测方法及系统
WO2023280723A1 (en) * 2021-07-06 2023-01-12 F. Hoffmann-La Roche Ag System and method for whole-body balance assessment
CN113724870A (zh) * 2021-08-20 2021-11-30 杭州康晟健康管理咨询有限公司 肌肉骨骼慢性疼痛的运动管理方法及系统
CN114532986B (zh) * 2022-02-09 2022-11-04 北京中科睿医信息科技有限公司 一种基于三维空间动作捕捉的人体平衡测量方法和系统
WO2024020838A1 (en) * 2022-07-27 2024-02-01 Intel Corporation Apparatus, method, device and medium for dynamic balance ability evaluation
CN115299934B (zh) * 2022-08-30 2023-04-18 北京中科睿医信息科技有限公司 确定测试动作的方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130023798A1 (en) * 2011-07-20 2013-01-24 Intel-Ge Care Innovations Llc Method for body-worn sensor based prospective evaluation of falls risk in community-dwelling elderly adults
US20140228712A1 (en) * 2013-02-14 2014-08-14 Marcus Elliott Generation of personalized training regimens from motion capture data
WO2014160451A1 (en) * 2013-03-13 2014-10-02 Virtusense Technologies Range of motion system, and method
JP2017086184A (ja) * 2015-11-02 2017-05-25 国立大学法人埼玉大学 筋活動可視化システムと筋活動可視化方法
JP2017140393A (ja) * 2016-02-12 2017-08-17 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited 人間の歩容及び姿勢バランスを解析するシステム及び方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355305B2 (en) * 2010-10-08 2016-05-31 Panasonic Corporation Posture estimation device and posture estimation method
TWI427558B (zh) * 2010-12-06 2014-02-21 Ind Tech Res Inst 遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法
CN102228380A (zh) * 2011-07-07 2011-11-02 上海帝诺医疗科技有限公司 用于平衡检测的数据分析方法
US9451916B2 (en) * 2011-08-02 2016-09-27 Sway Medical Llc System and method for assessing postural sway and human motion
CN104361321B (zh) * 2014-11-13 2018-02-09 侯振杰 一种判断老年人摔倒行为及身体平衡能力的方法
CN105005381B (zh) * 2015-07-08 2018-02-16 西安电子科技大学 一种虚拟机械臂交互的抖动消除方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130023798A1 (en) * 2011-07-20 2013-01-24 Intel-Ge Care Innovations Llc Method for body-worn sensor based prospective evaluation of falls risk in community-dwelling elderly adults
US20140228712A1 (en) * 2013-02-14 2014-08-14 Marcus Elliott Generation of personalized training regimens from motion capture data
WO2014160451A1 (en) * 2013-03-13 2014-10-02 Virtusense Technologies Range of motion system, and method
JP2017086184A (ja) * 2015-11-02 2017-05-25 国立大学法人埼玉大学 筋活動可視化システムと筋活動可視化方法
JP2017140393A (ja) * 2016-02-12 2017-08-17 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited 人間の歩容及び姿勢バランスを解析するシステム及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KINGSHUK CHAKRAVARTY ET AL: "Quantification of balance in single limb stance using kinect", 2016 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING, JPN6018026589, 19 May 2016 (2016-05-19), pages 854 - 858, ISSN: 0004079107 *
KINGSHUK CHAKRAVARTY ET AL: "Single leg stance (SLS) and vibration index (VI): New instrumental indices for fall risk estimation", GAIT & POSTURE, vol. 49, JPN6018026592, 9 August 2016 (2016-08-09), pages 168, XP029736673, ISSN: 0004079108, DOI: 10.1016/j.gaitpost.2016.07.224 *

Also Published As

Publication number Publication date
AU2017202152B2 (en) 2019-04-18
AU2017202152A1 (en) 2018-04-12
CN107871116A (zh) 2018-04-03
SG10201702332TA (en) 2018-04-27
US20180085045A1 (en) 2018-03-29
ZA201701963B (en) 2018-05-30
EP3298955A1 (en) 2018-03-28

Similar Documents

Publication Publication Date Title
JP2018047218A (ja) 人の姿勢バランスを決定するための方法およびシステム
EP3205269B1 (en) System and method for analyzing gait and postural balance of a person
JP6433805B2 (ja) 運動機能診断装置及び方法、並びにプログラム
Paredes et al. A reliability assessment software using Kinect to complement the clinical evaluation of Parkinson's disease
JP2021524075A (ja) 機能的能力及び転倒リスクのモバイル評価のためのコンシューマー向けアプリケーション
WO2013151773A1 (en) Data collection for vestibulogram construction
KR101974831B1 (ko) 낙상위험 평가방법 및 이를 위한 사용자 단말기
KR20170099773A (ko) 신체 능력의 측정 및 증진을 위한 스마트 기기
KR20160114996A (ko) 사용자 맞춤형 운동 서비스 제공 방법 및 장치
Gawronska et al. Usefulness of mobile devices in the diagnosis and rehabilitation of patients with dizziness and balance disorders: a state of the art review
Chakravarty et al. Quantification of balance in single limb stance using kinect
Guimarães et al. A smartphone-based fall risk assessment tool: measuring one leg standing, sit to stand and falls efficacy scale
WO2017158569A1 (en) Kinect based balance analysis using single leg stance (sls) exercise
JP2018000229A (ja) 自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラム
JPWO2016143074A1 (ja) 食事時間推定方法及び食事時間推定装置
US20170000383A1 (en) Objective balance error scoring system
JP2018149105A (ja) 指標値算出装置、指標値算出方法及びプログラム
TW201918225A (zh) 步態分析方法與系統
CA2896013C (en) Objective balance error scoring system
Weng et al. Fall detection based on tilt angle and acceleration variations
JP2018038753A (ja) 歩行分析方法及び歩行分析装置
JP2016220779A (ja) 移動運動解析装置、方法及びプログラム
WO2022249746A1 (ja) 身体機能推定システム、身体機能推定方法、及び、プログラム
Qin et al. A smart phone based gait monitor system
JP6629485B2 (ja) 被検者の歩行運動を決定する処理装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190510

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190530

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190719