JP2019513527A - 神経学的リハビリテーションのためのシステムおよび方法 - Google Patents

神経学的リハビリテーションのためのシステムおよび方法 Download PDF

Info

Publication number
JP2019513527A
JP2019513527A JP2019505329A JP2019505329A JP2019513527A JP 2019513527 A JP2019513527 A JP 2019513527A JP 2019505329 A JP2019505329 A JP 2019505329A JP 2019505329 A JP2019505329 A JP 2019505329A JP 2019513527 A JP2019513527 A JP 2019513527A
Authority
JP
Japan
Prior art keywords
patient
music
data
time
providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019505329A
Other languages
English (en)
Other versions
JP2019513527A5 (ja
JP7086930B2 (ja
Inventor
マッカーシー,オーウェン
ハリス,ブライアン
カルパシス,アレックス
Original Assignee
メドリズムス,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by メドリズムス,インコーポレイテッド filed Critical メドリズムス,インコーポレイテッド
Publication of JP2019513527A publication Critical patent/JP2019513527A/ja
Publication of JP2019513527A5 publication Critical patent/JP2019513527A5/ja
Priority to JP2022092614A priority Critical patent/JP2022120028A/ja
Application granted granted Critical
Publication of JP7086930B2 publication Critical patent/JP7086930B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112Gait analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124Determining motor skills
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4836Diagnosis combined with treatment in closed-loop systems or methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/002Monitoring the patient using a local or closed circuit, e.g. in a room or building
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)

Abstract

音楽療法を提供することによる、物理的障害を有する患者のリハビリテーションのための方法およびシステムであって、方法は機械可読命令によって設定される1つ以上の物理的プロセッサを有するコンピュータシステム上で実装され、機械可読命令が実行される時に方法が実行され、方法は、患者から、患者の反復的運動に関する生物力学的データを受信して、ベースライン条件を決定することと、ベースライン条件に基づいて、一定の頻度を有するベースラインビートテンポを決定することと、ベースラインビートテンポにおいてビート信号を有する音楽を、患者に提供することと、関連付けられたビート信号にタイミングを合わせて各反復的運動を実行するためのキューを患者に提供することと、ベースラインビート信号にタイミングを合わせて患者によって実行される反復的運動に関する、患者の、タイムスタンプを付された生物力学的データを受信することと、生物力学的データを解析して、反復的運動の1サイクル以上のオンセット時刻を特定することと、オンセット時刻および関連付けられたビート信号に基づき、エントレインメントパラメータを決定することと、エントレインメントパラメータに基づいてベースラインビートテンポを変更することと、目標ビートテンポに到達したか否かを判定することと、を含む。【選択図】図2

Description

[関連出願への相互参照]
本出願は、「神経学的リハビリテーションのためのシステムおよび方法」と題する米国仮特許出願第62/322,504号(2016年4月14日出願、その全体が参照により援用される)の優先権を主張する。
[技術分野]
本開示は、概して、音楽療法を提供することによる、物理的障害を有するユーザのリハビリテーションのためのシステムおよび方法に関する。
[背景]
ここ10年の制御された研究の多くは、神経学的リハビリテーションにおける音楽の臨床的役割を強調してきた。たとえば、管理された音楽療法は、認知、運動および言語の向上を直接的に可能にすると知られている。音楽を聴くプロセスは、多くの形態で脳の活動を向上させ、注意力、意味的処理、記憶、認知、運動機能および感情処理に関する脳の領域の、広範囲の双方向ネットワークを点火する。
臨床データは、記憶、注意力、実行機能および気分を向上させる音楽療法をサポートする。音楽の背後の神経機構に関するPETスキャン調査は、楽しい音楽が、皮質および皮質下部領域(腹側線条体、側坐核、小脳扁桃、島(insula)、海馬、視床下部、前被蓋領域、前帯(anterior cingulate)、眼窩前頭皮質、および腹内側前頭連合野を含む)の間の広範囲のネットワークを刺激し得るということを示した。前被蓋領域はドーパミンを生産し、小脳扁桃、海馬、前帯および前頭葉皮質への直接的な接続を有する。この中間皮質辺縁系(音楽により活性化され得る)は、興奮、感情、報酬、記憶注意、および実行機能を仲介する際に重要な役割を果たす。
神経科学の研究は、音楽における記憶形成のための基本的組織化プロセスが、いかにして非音楽の記憶プロセスと機構を共有するかを示した。フェーズグルーピングの基礎、階層的抽象概念、および音楽的パターンは、非音楽的記憶プロセスのための時間的分割原理において直接の類似点を有する。これは、音楽によって活性化された記憶プロセスは、非音楽的プロセスを翻訳し向上させ得るということを示唆する。
したがって、ユーザのアイデンティティの使用を保護するため、および、個人情報を提供するセキュリティのために、改善された装置、システムおよび方法に対するニーズが残存している。
[サマリー]
本開示の対象の一態様において、音楽療法を提供することによる、物理的障害を有する患者のリハビリテーションのための方法が提供される。本方法は、機械可読命令によって設定される1つ以上の物理的プロセッサを有するコンピュータシステム上で実装され、機械可読命令が実行される時に本方法が実行される。機械可読命令は、
患者から、患者の反復的運動に関する生物力学的データを受信して、ベースライン条件を決定することと、
ベースライン条件に基づいて、一定の頻度を有するベースラインビートテンポを決定することと、
ベースラインビートテンポにおいてビート信号を有する音楽を、患者に提供することと、
関連付けられたビート信号にタイミングを合わせて各反復的運動を実行するためのキューを、患者に提供することと、
ベースラインビート信号にタイミングを合わせて患者によって実行される反復的運動に関する、患者の、タイムスタンプを付された生物力学的データを受信することと、
生物力学的データを解析して、反復的運動の1サイクル以上のオンセット時刻を特定することと、
オンセット時刻および関連付けられたビート信号に基づき、エントレインメントパラメータを決定することと、
エントレインメントパラメータに基づいてベースラインビートテンポを変更することと、
目標ビートテンポに到達したか否かを判定することと、
を含む。
一部の実施形態では、本方法は、生物力学的データを測定することを含む。患者からの生物力学的データは、患者の運動に関連する運動、加速度および圧力を含む。一部の実施形態では、患者から生物力学的データを測定することは、患者の運動に関連する動画をキャプチャすることを含む。
一部の実施形態では、患者から生物力学的データを測定することは、患者に関連付けられたセンサから、データをコンピュータシステムへと送信することを含む。
一部の実施形態では、患者から生物力学的データを測定することは、患者の歩行の、歩幅、歩調、速度、移動距離、踵衝撃圧または対称性に対応するデータを抽出することを含む。
一部の実施形態では、各反復的運動を実行するためのキューを患者に提供することは、患者に視覚的または聴覚的キューを提供することを含む。視覚的または聴覚的キューを表示するために、ハンドヘルド装置が提供されてもよい。
一部の実施形態では、エントレインメントパラメータを決定することは、ビート信号と、各反復的運動のオンセット時刻との間の遅延を決定することを含む。
一部の実施形態では、ビート信号と反復的運動のオンセット時刻との間の遅延が、実質的に一定である場合に、本方法は、ベースラインビートテンポを目標テンポに向けて増加させることを含む。
一部の実施形態では、患者に音楽を提供することは、ベースラインビートテンポにおけるビート信号を有する音楽を選択することを含む。
一部の実施形態では、患者に音楽を提供することは、ベースラインビートテンポにおけるビート信号を有するように既存の音楽を修正することを含む。
一部の実施形態では、反復的運動は患者の歩行を含み、本方法は、さらに、
生物力学的データを解析して、患者の歩行の対称性を分類することと、
患者の歩行が非対称であると考えられる場合に、患者の足の一方が動いている間に音楽に第1の修正を提供し、患者の足の他方が動いている間に音楽に第2の修正を提供することと、
を含む。一部の実施形態では、音楽の第1の修正および第2の修正は、互いに異なるものであり、コードの変化、音量の変化およびテンポの変化のうち少なくとも1つを含む。
一部の実施形態では、本方法はさらに、
生物力学的データを解析して、歩行を開始する際の欠陥を分類することと、
患者のイニシエーションに問題がある場合に、イニシエーションを支援するために患者に触覚的フィードバックを提供することと
を含む。
一部の実施形態では、本方法は、患者の物理的運動の態様に関する、タイムスタンプが付された注記をユーザが提供できるようにするユーザインタフェースを提供することをさらに含む。患者の物理的運動は、タイムスタンプを付された注記および生物力学的データに基づいて解析される。
本開示の対象の別の態様によれば、音楽療法を提供することによる、物理的障害を有する患者のリハビリテーションのためのシステムが提供される。システムは、
患者と相互作用するためのディスプレイを有するハンドヘルド装置と、
患者に、ベースラインビートテンポにおけるビート信号を有する音楽を供給するためにハンドヘルド装置に接続される音楽提供装置と、
患者に関連付けられる1つ以上のセンサであって、患者の反復的物理的運動に関連する生物力学的パラメータを測定する、センサと、
患者からの、タイムスタンプが付された生物力学的データと、タイムスタンプが付されたビート信号とを、ハンドヘルド装置に提供するための送信機と、
ハンドヘルド装置と少なくとも間欠的に接続されるコンピュータシステムであって、機械可読命令によって設定される1つ以上の物理的プロセッサを有するコンピュータシステムと、
を含み、
機械可読命令は、
患者の反復的運動に関する、患者の生物力学的データを受信して、ベースライン条件を決定し、
ベースライン条件に基づいて、一定の頻度を有するベースラインビートテンポを決定し、
ベースラインビートテンポにおいてビート信号を有する音楽を、患者に提供し、
関連付けられたベースラインビート信号にタイミングを合わせて反復的運動を実行するためのキューを患者に提供するための指示を、ハンドヘルド装置に提供し、
患者の、タイムスタンプを付された生物力学的データと、タイムスタンプが付されたビート信号とを受信し、
タイムスタンプが付された生物力学的データを解析して、反復的運動の1サイクル以上のオンセット時刻を特定し、
オンセット時刻および関連付けられたビート信号に基づき、エントレインメントパラメータを決定し、
エントレインメントパラメータに基づいてベースラインビートテンポを変更するための指示をハンドヘルド装置に提供し、
目標ビートテンポに到達したか否かを判定する
ためのものである。
一部の実施形態では、1つ以上のセンサは、患者の運動に関連する動き、加速度および圧力を測定するためのセンサを含む。
一部の実施形態では、1つ以上のセンサは、患者の運動に関連する動画をキャプチャするための画像キャプチャ装置を含む。
一部の実施形態では、ハンドヘルドまたはコンピュータに関連するプロセッサは、患者の、動き、加速度、圧力データおよび動画のうち1つ以上から、患者の歩行の、歩幅、歩調、速度、移動距離、踵衝撃圧および対称性のうち1つ以上に対応するデータを抽出するよう構成される。
一部の実施形態では、プロセッサが、ビート信号と、反復的物理的運動のオンセット時刻との間の遅延を決定する。
一部の実施形態では、
反復的物理的運動は患者の歩行を含み、
コンピュータシステムは、機械可読命令によって設定され、
機械可読命令は、
生物力学的データを解析して、患者の歩行の対称性を分類し、
患者の歩行が非対称であると考えられる場合に、患者の足の一方が動いている間に音楽に第1の修正を提供するとともに患者の足の他方が動いている間に音楽に第2の修正を提供するための指示をハンドヘルド装置に提供する
ためのものである。
一部の実施形態では、
センサは触覚的フィードバック機構を備え、
コンピュータシステムは機械可読命令によって設定され、
機械可読命令は、
生物力学的データを解析して、歩行を開始する際の欠陥を分類し、
患者のイニシエーションに問題がある場合に、イニシエーションを支援するためにセンサから患者に触覚的フィードバックを提供するための指示を、ハンドヘルド装置に提供する
ためのものである。
本明細書に記載された装置、システムおよび方法の、上記の目的および他の目的、特徴および利点は、添付図面に例示されるように、特定の実施形態の以下の説明から明らかとなる。図面は必ずしも正確な縮尺ではなく、本明細書に記載の装置、システムおよび方法の原理を例示する際に強調がなされている。
開示された事項の例示的な実施形態による、音楽療法を提供することによるユーザの治療のためのシステムを例示する図である。 開示された事項の例示的な実施形態による、音楽療法を提供することによるユーザのリハビリテーションのためのシステムのコンポーネントをいくつか例示する図である。 開示された事項の例示的な実施形態による、患者の生物力学的運動を測定するためのセンサの概略図である。 開示された事項の例示的な実施形態によるシステムのコンポーネントをいくつか例示する図である。 開示された事項の例示的な実施形態による、音楽療法を提供することによるユーザのリハビリテーションのためのシステムのコンポーネントの表示例の図である。 開示された事項の例示的な実施形態による解析プロセスの実装の1つのためのフロー図である。 開示された事項の例示的な実施形態によるプロセスの実装の1つのためのフロー図である。 開示された事項の例示的な実施形態によるプロセスの実装の1つのためのフロー図である。 開示された事項の例示的な実施形態によるプロセスの実装の1つのためのフロー図である。 開示された事項の例示的な実施形態によるプロセスの実装の1つのためのフロー図である。 開示された事項の例示的な実施形態による、音楽および患者の物理的運動を例示する時間プロットである。 開示された事項の例示的な実施形態による患者応答を示す図である。 開示された事項の例示的な実施形態による患者応答を示す図である。 開示された事項の例示的な実施形態による患者応答を示す図である。 開示された事項の例示的な実施形態による患者応答を示す図である。 開示された事項の例示的な実施形態による患者応答を示す図である。 開示された事項の例示的な実施形態による患者応答を示す図である。 開示された事項の例示的な実施形態による、患者の歩行訓練のための技術の実装を例示する図である。 開示された事項の例示的な実施形態による、患者の無視訓練のための技術の実装を例示する図である。 開示された事項の例示的な実施形態による、患者のイントネーション訓練のための技術の実装を例示する図である。 開示された事項の例示的な実施形態による、患者の音楽的刺激訓練のための技術の実装を例示する図である。 開示された事項の例示的な実施形態による、患者の総運動訓練のための技術の実装を例示する図である。 開示された事項の例示的な実施形態による、患者の握力訓練のための技術の実装を例示する図である。 開示された事項の例示的な実施形態による、患者の発話キュー訓練のための技術の実装を例示する図である。 開示された事項の例示的な実施形態による、最小意識患者の訓練のための技術の実装を例示する図である。 開示された事項の例示的な実施形態による、患者の注意力訓練のための技術の実装を例示する図である。 開示された事項の例示的な実施形態による、患者の注意力訓練のための技術の実装を例示する図である。 開示された事項の例示的な実施形態による、患者の注意力訓練のための技術の実装を例示する図である。 開示された事項の例示的な実施形態による、患者の機敏性訓練のための技術の実装を例示する図である。 開示された事項の例示的な実施形態による、患者の口運動訓練のための技術の実装を例示する図である。 開示された事項の例示的な実施形態による、患者の呼吸訓練のための技術の実装を例示する図である。
[詳細な説明]
本発明は、概して、人間の行動および機能的変化を監視し方向付ける、動的閉ループリハビリテーションプラットフォームシステムを実装するためのシステム、方法および装置に関する。そのような変化は、音楽的リズム、ハーモニー、メロディ、および力キューによって時間的にトリガされる、言語、運動および認知におけるものである。
本発明の様々な実施形態において、動的閉ループリハビリテーションプラットフォーム音楽療法システム100が提供され(図1に例示される)、これはセンサコンポーネントおよびシステム102と、エッジ処理コンポーネント104と、収集コンポーネント106と、解析システム108と、音楽療法センター110とを含む。後により詳細に説明するように、センサコンポーネント、エッジ処理コンポーネント、収集コンポーネント機械学習プロセスおよび音楽療法センターは、様々なハードウェアコンポーネント上で提供されてもよい。たとえば、一実施形態では、センサコンポーネントおよびエッジ処理コンポーネントは、患者によって配置または着用されてもよい。そのような実施形態では、収集コンポーネントおよび音楽療法センターはハンドヘルドデバイス上で提供されてもよい。そのような実施形態では、解析システムはリモートサーバに配置されてもよい。
<センサシステム>
本明細書の記載を通して、「患者」という用語は、音楽療法処置を受ける個人を参照するために用いられる。用語「セラピスト」は、音楽療法処置を提供する個人を参照するために用いられる。一部の実施形態では、患者は、処置を管理するセラピストがいなくても、本明細書に記載のシステムと相互作用することができる。
センサコンポーネント102は、患者についての感知された生物力学的データを提供する。一部の実施形態では、センサコンポーネントは、(1)ウェアラブル無線リアルタイムモーション感知装置またはIMU(慣性測定ユニット)と、(2)ウェアラブル無線リアルタイム結合多ゾーン足プランタ圧/6次元モーションキャプチャ(IMU)装置(センサ200等)と、(3)ウェアラブル無線リアルタイム筋電図(EMG)装置(センサ208等)と、(4)リアルタイム無線近赤外(NIR)動画キャプチャ装置(撮像装置206等)とを含むことができる(図4参照)。
図2に例示されるように、本明細書に記載のシステムおよび方法は、患者の歩行障害の治療に関して用いられる。したがって、例示のセンサ200は、結合多ゾーン足プランタ圧/6自由度モーションキャプチャ装置であってもよい。センサ200は、音楽療法セッション中に患者が歩行する間、患者の足の圧力と、6自由度のモーションプロファイルとを記録する。一部の実施形態では、足圧/6自由度モーションキャプチャ装置は、1〜4個のゾーンを備える足圧プロファイルのための100Hzのサンプリングレートで、可変の記録時間インターバルを有し、結果として1足・1秒あたり100〜400個の圧力データ点が得られる。
センサ200は、踵パッド(1ゾーンの圧力(踵衝撃圧等)を測定するためのもの)から全インソールパッド(4ゾーンの圧力を測定するためのもの)までを有する足圧パッド202を含んでもよい。圧力測定は、足に伝達された患者の体重に起因する圧縮の結果としての、トランスデューサ材料における抵抗変化を感知することによって行われる。これらの足圧マップは、サンプリングインターバルごとに、または、音楽療法セッション中の特定の時点において、取得される。
センサ200は、6次元モーションキャプチャ装置204(3次元(A,A,A)における直線加速度および回転運動(ピッチ、ヨー、ロールとして)を決定する、6自由度マイクロ電気力学システム(MEMS)ベースのセンサを介して、動きにおける変化を検出する)を含んでもよい。100Hzでのサンプリングは、毎秒600個のモーションデータ点を生産する。これらの足モーションキャプチャは、サンプリングインターバルごとに、または、音楽療法セッション中の特定の時点において、取得される。
6自由度モーションキャプチャ装置を用いた多ゾーン圧力感知により、歩行中に、マッピング可能な空間的・時間的歩行力学追跡が可能になる。センサ200の概略を図3に例示する。
システムの観点では、図4に例示するように、患者Pは、2つの足センサ200を各足について用いる(右200Rおよび左200Lとして示される)。例示的な実施形態では、右足センサ200Rは、タイムスタンプが付された内部測定ユニットデータおよび踵衝撃圧データを、無線で、第1チャネル(たとえば、IEEE802.15.4直接シーケンス拡散スペクトル(DSSS)RF帯ではチャネル5)上で伝送する。左足センサ200Lは、タイムスタンプが付された内部測定ユニットデータおよび踵衝撃圧データを、無線で、第2チャネル(たとえば、IEEE802.15.4直接シーケンス拡散スペクトル(DSSS)RF帯ではチャネル6)上で伝送する。右/左足センサRFデータをキャプチャするために、タブレットまたはラップトップ220(以下に説明するようにセラピストTによって用いられてもよい)は、第1チャネルおよび第2チャネル(たとえばチャネル5および6)にチューンされたIEEE802.15.4DSSS RF送受信機を2個含む無線USBハブを含む。動画を開始・停止させるために、および/または、時間ストリームに注釈を付しインデキシングする(以下により詳細に説明する)ために、ハンドヘルド無線トリガ250が用いられる。
患者の、治療セッションについての意味的情報およびイベント情報を抽出するために、動画解析ドメインを用いてもよい。患者の行為および相互作用は、治療コンテキストおよび管理に影響する、治療の構成要素である。一部の実施形態では、1つ以上の画像キャプチャ装置206(動画カメラ等)(図4参照)が、時間同期された動画フィードとともに用いられる。患者の運動をキャプチャするために、任意の適切な動画をシステムに組み込むことができる。しかしながら、患者のプライバシーを保護し、処理すべき動画データを低減するために、近赤外(NIR)動画キャプチャが有用である。NIR動画キャプチャ装置は、患者の身体のNIR動画像(患者の胴体および四肢の位置等)をキャプチャする。さらに、NIR動画キャプチャ装置は、音楽療法セッションの機能として、患者のリアルタイム動的歩行特性をキャプチャする。一部の実施形態では、静止したカメラを用いて動画がキャプチャされ、前景画素をセグメントアウトするために背景が減算される。
図4に例示するように、1つ以上の動画カメラ206は、治療セッションが開始される時に、タブレットまたはラップトップのアプリケーションによってトリガされる。動画カメラ206は、ハンドヘルド無線トリガユニット250によって、セラピストによって停止または開始可能である。これにより、キャプチャされた生物力学的センサデータおよび動画データストリームにおいて、ラベリングされタイムスタンプが付されたインデックスを生成することができる。
一部の実施形態では、ウェアラブル無線リアルタイム筋電図(EMG)装置208が患者によって着用されてもよい。EMGセンサは、運動のための主な筋肉の発火についての2足プロファイルの全体を提供する。そのようなセンサは、筋肉が発火した正確な時刻に関するデータを提供する。
<エッジ処理>
一部の実施形態では、エッジ処理はセンサ200において実行され、そこでセンサデータがIMUおよび圧力センサからキャプチャされる。このセンサデータは、抽出された属性および特徴を反映するフレームへのさらなる処理のために、フィルタリングされ、様々な配列サイズにグルーピングされ、これらのフレームは、タブレットまたはラップトップの収集器106へと(たとえば無線で)送信される。代替的に、センサ200から取得された生の生物力学的センサデータは、エッジ処理機能を実行するための収集のためにリモートプロセッサへと転送されてもよいということが理解される。
ウェアラブルセンサ200,208および動画キャプチャ装置206は、生物力学的特徴抽出および分類を容易にするために、全身的に処理されるセンサデータストリームを生成する。センサ融合(同じイベントをキャプチャする複数のセンサからの出力を結合すること)は、いかなる単一構成要素センサ入力よりも良い結果をキャプチャする。
音楽療法のコンテキストで患者の活動をキャプチャすることは、音楽療法に適用される相互作用および音楽療法の性能および有効性の患者特定のおよび一般化された形式的インジケータを開発することを形式化する。動画特徴を抽出し、次いで解析することにより、患者の行動についての、意味的な、高レベルの情報をキャプチャすることができる。
動画を処理する際に、音楽療法が発生する物理的領域内の照明条件および遮蔽におけるいかなる変化をも組み込んだ背景モデルを作成するために、学習された背景減算技術が用いられる。背景減算の結果は、前景の塊(2次元の輪郭である)の配列を伴う2値前景マップである。このように、動画は、将来の画像処理およびセンサ融合のために、個別の画像フレームへとスライスされる。動画情報は、IMUと、足圧パッド(複数可)と、EMGセンサとからのエッジ処理されたセンサデータをマージすることにより、追加のメタデータとともに提供される。RFトリガを用い、センサデータを他のデータと同期させることもできる。データは、収集器に直接送信されてもよく、内部基板のメモリに記憶されてもよく、OpenCVライブラリを実行するエッジで解析されてもよい。
エッジプロセッサ104は、マイクロプロセッサ(毎秒100〜400個の完全な足圧/6自由度モーションプロファイルのレートでの高速多ゾーンスキャンを可能にする足圧/6自由度モーションキャプチャ装置に組み込まれた32ビットマイクロプロセッサ等)であってもよい。
足圧/6自由度モーションキャプチャ装置は、リアルタイム歩行解析のために足圧/6自由度モーションプロファイルデータを収集し、結果として、特徴抽出および分類が行われる。一部の実施形態では、足圧/6自由度モーションキャプチャ装置は、マイクロ制御ユニット(MCU)、連続演算子処理(COP)、汎用入出力(GPIO)、シリアルペリフェラルインタフェース(SPI)、割り込み要求(IRQ)を初期化し、マイクロ制御ユニット初期化(MCUInit)、汎用入出力初期化(GPIOInit)、シリアルペリフェラルインタフェース初期化(SPIInit)、割り込み要求肯定応答初期化(IRQInit)、割り込み要求肯定応答(IRQACK)、シリアルペリフェラルインタフェースドライバ読み出し(SPIDrvRead)およびIRQPinEnableを含むルーチンをコールすることにより、所望のRF送受信機クロック周波数を設定する。MCUInitは、MCUウォッチドッグをオフにし、タイマーモジュールにバスクロック(BUSCLK)を32のプレスケーリングで基準として使用させるマスター初期化ルーチンである。
状態変数gu8RTxModeがSYSTEM_RESET_MODEに設定され、ルーチンGPIOInit、SPIInitおよびIRQInitがコールされる。状態変数gu8RTxModeがRF_TRANSCEIVER_RESET_MODEに設定され、IRQが宣言されるか否かを見るためにIRQFLAGがチェックされる。まずRF送受信機割り込みがSPIDrvReadを用いてクリアされ、次に、RF送受信機がATTN IRQ割り込みについてチェックされる。最後に、MCUInitのために、物理MAC層、IRQACK(ペンディング中のIRQ割り込みにACKするために)およびIRQPinEnable(ピン、Enable、IE、およびIRQ CLRに対して、信号の負エッジで)をリセットするためにPLMEPhyResetに対してコールが行われる。
足圧/6自由度モーションセンサ200は、デフォルトの全足圧スキャンが行われることになるか、またはマッピングされた足圧スキャンが開始されることになるかを判定するために、足圧/6自由度モーション収集ノードからの応答を待つ(たとえば250ミリ秒)。マッピングされた足圧スキャンの場合には、足圧/6自由度モーション収集ノードは、適切な電極に、足圧スキャンマッピング構成データを送信する。
解析パイプラインの一態様は、解析のために入力データ構造を定義する特徴ベクトルを作成するために用いられるそれらのキャプチャされたセンサ値およびそれらの結果としてのセンサ融合値を定義する特徴セット加工プロセスである。代表値はAx(i),Ay(i),Az(i)およびPh(i)であり、ただしiはi番目のサンプルであり、Ax(i)は足センサに対して横方向となるx方向の加速度であり、Ay(i)は足センサに対して前方となるy方向の加速度であり、Az(i)は足センサに対して上方となるz方向の加速度であり、Ph(i)は踵衝撃圧である。センサ値は表1に提示される。
一部の実施形態において、センサ融合技術は、以下に説明するように、データの窓を導出するための、以下の例示的な特徴値の解析を「ゲート」するために、踵衝撃圧値Ph(i)を用いる。たとえば、以下の表2に提示するように、踵圧が踵衝撃を示す閾値を超えることに基づいて「オンセット」(開始)を判断することができ、踵圧が踵離脱を示す閾値未満に落ちることに基づいて「停止」を判断することができる。踵衝撃圧は、「ゲート」解析のために利用可能なパラメータの一例であるということが理解される。一部の実施形態では、IMUセンサデータ、動画データ、および/またはEMGデータを用いることによって「ゲーティング」が判断される。
高レベルの特徴値は、融合センサ値(表3に提示される例示的値等)から計算される。
本明細書に記載のシステムは、患者の生物力学的データに関して「ゲート」する、または、「窓」を提供する能力を提供する。生物力学的データのゲーティングは、患者の反復的な運動(患者が歩いている間の反復的な踏み出し等)に対して有用である。1つ以上の源(圧力センサ、IMUセンサ、動画データ、EMGデータ、等)からのセンサデータは、時間とともに繰り返される運動のサイクルを特定するために用いられる。たとえば、患者が歩く時には、患者の足が地面に接触し、その後地面を離れることに応じ、足の圧力が反復的に増減する。同様に、足の速度は、足が前方に動く際には増加し、足が地面に貼り付いている間はゼロに減少する。さらなる例として、患者の足のY位置または高さは、低位置(地面に接する)と高位置(踏み出しのほぼ中間点)との間でサイクルする。「ゲーティング」技術は、そのようなデータにおける繰り返されるサイクルまたは「窓」を特定する。患者の歩行の場合には、サイクルはステップごとに繰り返される。サイクル間のばらつきはあるが(たとえばステップ間で)、サイクルごとに特定のパターンが繰り返される。各サイクルのオンセット時刻(開始時刻)を選択することは、生物力学的パラメータの特定可能な点(最大または最小)を位置特定することを含む。オンセット時刻に対するパラメータは、利用可能なデータに基づいて選択される。したがって、一部の実施形態では、踵衝撃圧が閾値を超える瞬間を用いて、各サイクルのオンセット時刻の限界を定めてもよい。(たとえば図5を参照。圧力316aおよび316bは周期的特性を含む)。「オンセット」は、圧力が閾値を超える瞬間に決定されてもよい。)同様に、足の速度が0に減少する時によってオンセット時刻の限界を定めてもよい。
一部の実施形態では、生のフレームデータが前処理され、瞬時データを取得して「ゲーティング」し(たとえば窓を特定し)、その後その窓内のデータを解析して、アウトライアを特定し、データを解析する(たとえば指数解析、複数の窓内のデータを平均)。IMUデータおよび踵衝撃圧データの双方を含めることによるセンサデータの融合により、単一のセンサからのデータを用いるよりも、1回の踏み出し(または他の動き繰り返し単位)に対するより正確なオンセット時刻の特定が可能になる。1回の踏み出し内でキャプチャされるセンサデータは「窓」と考えられ、この解析から抽出される情報は、たとえば、歩幅、ステップカウント、歩調(cadence)、ステップが発生した時刻、移動距離、スタンスフェーズ/ゆれフェーズ、両支持時間、速度、対称性解析(たとえば左足と右足との)、外向きゆれ、足を引きずって歩くこと、力ベクトル、横方向加速度、ステップ幅、これらの寸法の変わりやすさ、上述の情報から導出される追加のパラメータ、等を含む。特徴抽出は、マイクロプロセッサチップ(たとえば32ビットチップ)で処理可能である。無線同期ゲート生物力学的センサデータのキャプチャおよび動画データキャプチャ能力により、時系列テンプレートの作成が可能になる。
データは、音楽療法セッション中に患者またはセラピストによってインデキシングすることができる。上述の「ゲーティング」機能は、特定の踏み出しまたはステップに例外条件を結びつけるために有用である。たとえば、セラピストは、患者の運動において、特定の例外条件または行動(異常または事件等)を観測する可能性がある。セラピストは、インデキシング機能により、音声制御またはハンドヘルドタブレットまたはラップトップ(図4に例示する無線トリガユニット250等)のユーザインタフェースを介して、例外条件または行動を開始(「記録」をキャプチャする等)することができる。タイムスタンプおよびコメントを含む注釈(歩行中の患者の「つまずき」の発生等)が作成されてもよい。このようなインデキシングは、時系列テンプレートの作成を容易にする。これらの時系列テンプレートは、機械学習アルゴリズム(非線形多層パーセプトロン(NLMLP)、畳込みニューラルネットワーク(CNN)、長短期記憶(LSTM)を伴うリカレントニューラルネットワーク(RNN)等)を訓練するために、治療セッションイベントのレビューおよび時系列テンプレートの開発のために研究される。
一実施形態では、エッジ処理104(たとえばセンサ200)から収集器106にセンサデータを転送するために通信プロトコルが提供される。下記表4を参照。一部の実施形態では、通信が100msを超えてアイドルである場合には、RFはタイムアウトしている。
一実施形態では、FootScanルーチンによって足圧センサゾーンスキャンが実行され、一方で、FootDataBufferIndexが初期化され、足圧センサゾーンが活性化される(出力[PTCDD_PTCDDN=Output]のためにMCU指示モードをイネーブルし、および関連するポートラインを低[PTCD_PTCD6=0]にすることによって)。足圧センサゾーンスキャンマップに基づいて足圧センサゾーンが活性化されると、MCU各アナログ信号ポートに取り付けられた各足圧センサゾーンがサンプリングされ、その後、現時点の電圧読み取り値がこれらをデジタル形式(タイムゾーン足圧)に変換する。
IEEE802.15.4RFパケットgsTxPacket.gau8TxDataBuffer[ ]を準備するために、いくつかの変数(FootDataBufferIndexおよびIMUBufferIndex等)が用いられる。これはFootDataBuffer[ ]およびIMUBuffer[ ]において用いられるデータを送信するためである。RFパケットは、RFSendRequest(&gsTxPacket)ルーチンを用いて送信される。このルーチンは、gu8RTxModeがIDLE_MODEに設定され、RAMDrvWriteTxルーチンをコールするためのポインタとしてgsTxPacketを用いるか否かをチェックし、その後これがSPIDrvReadをコールしてRF送受信機のTXパケット長レジスタコンテンツを読み取る。これらのコンテンツを用いて、マスク長設定を更新し、その後CRCに2を加算し、コードバイトに2を加算する。
0×7Eバイトを送信するためにSPISendCharがコールされる。これは2番目のコードバイトである。その後、送信が行われたことを検証するために再びSPIWaitTransferDoneがコールされる。これらのコードバイトが送信されると、forループを用いてパケットの残りが送信される。ただしpsTxPkt→u8DataLength+1は、SPISendChar、SPIWaitTransferDone、SPIClearRecieveDataRegに対するシーケンシャルの系列に対する反復の回数である。完了すると、送信すべきパケットがRF送受信機にロードされる。ANTENNA_SWITCHが送信に設定され、LNA_ONモードがイネーブルされ、最後に、パケットを実際に送信するためにRTXENAssertコールが行われる。
<収集器>
収集器106の主な機能は、エッジ処理104からデータをキャプチャし、解析システム108にデータを転送するとともに解析システム108から処理されたデータを受信し、音楽療法センター110にデータを転送することである(後述)。一部の実施形態では、収集器106は制御機能を提供し(たとえば、ログインするためのユーザインタフェース、システムを設定、ユーザと対話)、データを可視化/表示するための表示ユニットを含む。収集器106は、分類(たとえば横方向震え、非対称、不安定性、等)のための軽量解析または機械学習アルゴリズムを含んでもよい。
収集器106は、エッジプロセッサ104から、身体、動き、およびローカリゼーションデータを受信する。収集器106において受信されるデータは、生であってもよく、収集器に転送される前にエッジ104において処理されたものであってもよい。たとえば、収集器106は、「窓」処理および特徴抽出に供される融合センサデータを受信する。転送されたデータは、2つのレベルのデータを含み得る:(1)表1に記載される、右/左足センサから送信されるRFパケット、(2)表2および表3に記載される、より高レベルの属性および特徴を含む右/左足センサからのRFパケットである。収集器106はローカルでデータを記憶する。一部の実施形態では、収集器106は、受信したデータから運動を分類する(たとえば、これをローカルに記憶されたモデル(解析システムから予めダウンロードされるか分類のために解析システムに送信される)と比較する)。収集器は、データを可視化/表示するための表示ユニットを含んでもよい。
一部の実施形態では、収集器106は、メモリ、プロセッサおよびディスプレイを含むローカルコンピュータ上で動作する。収集器をインストールできる装置の例は、AR装置、VR装置、タブレット、モバイル装置、ラップトップコンピュータ、デスクトップコンピュータ、等を含む。図2は、ディスプレイ222を有し、収集器機能を実行するハンドヘルド装置220を例示する。一部の実施形態では、患者センサと収集器との間でデータを転送するための接続パラメータは、ウィンドウズ(登録商標)のデバイスマネージャ(たとえばボーレート:38400、データビット:8、パリティ:なし、ストップビット:1)の使用を含むようにされる。一部の実施形態では、収集器106は、音楽療法の患者によって保持または着用されるプロセッサを含む。一部の実施形態では、収集器106は、音楽療法の患者から離れたプロセッサ(セラピストによって持ち運ばれ、無線でまたは有線接続を介して音楽療法の患者に接続されるもの)を含む。
一部の実施形態では、足圧/6自由度モーション収集ノードは、RF送信されたデータパケット(足圧/6自由度モーションキャプチャ装置からのリアルタイム足圧/6自由度モーションプロファイルデータを含む)をキャプチャする。これは、RF送受信機パケット受信割り込みのコールバック機能によって駆動されるRFパケット受信キューを作成する足圧/6自由度モーション収集ノードによって開始される。
足圧/6自由度モーションキャプチャ装置200からRFパケットが受信されると、まず、これが新たな足圧/6自由度モーションキャプチャ装置からのものであるのか、または、既存のものからであるのかを判定するためにチェックが行われる。これが既存の足圧/6自由度モーションキャプチャ装置からのものである場合、パケットをさらに解析する前に、連続的同期を判定するためにRFパケットシーケンス番号がチェックされる。これが足圧/6自由度モーションキャプチャ装置である場合には、足圧/6自由度モーションキャプチャ装置コンテキスト状態ブロックが作成され初期化される。コンテキスト状態ブロックは、たとえば足圧プロファイル、[追加の情報?]等の情報を含む。
ノードツーノード通信のためのこのRFパケットセッションレベルプロセス上に、RFパケットデータペイロードの解析がある。このペイロードは、6自由度モーションに従う現時点の可変圧力に基づく足圧プロファイルを含む。これは次のように構造化される:|0×10|開始|F1|F2|F3|F4|Ax|Ay|Az|Pi|Yi|Ri|XORチェックサム|。
IEEE802.15.4標準規格は最大パケットサイズ127バイトを規定し、時間同期メッシュプロトコル(TSMP)が動作のために47バイトを予約するので、ペイロードのために80バイトが残る。IEEE802.15.4は2.4GHz産業科学医療用(Industrial, Scientific, and Medical)(ISM)帯無線周波数(RF)送受信機に適合している。
RFモジュールは、IEEE802.15.4無線標準規格(ピアツーピア、スター、およびメッシュネットワークをサポートする)のために設計された完全な802.15.4物理層(PHY)モデムを含む。これは、要求される無線RFデータリンクおよびネットワークを作成するためにMCUと組み合わされる。IEEE802.15.4送受信機は、5.0MHzチャネルでの250kbpsO−QPSKデータおよび全拡散スペクトル符号化および復号をサポートする。
一部の実施形態では、制御、状態の読み取り、データの書き込みおよびデータの読み出しは、感知システムノード装置のRF送受信機インタフェースポートを介して行われる。感知システムノード装置のMPUは、インタフェース「トランザクション」(インタフェースバス上でバイト長データのバーストが複数送信される)を介して感知システムノード装置のRF送受信機にアクセスする。各トランザクションは、トランザクションの種類によって3バースト長またはそれ以上である。トランザクションは、常に、レジスタアドレスに対する読み出しアクセスまたは書き込みアクセスである。いかなる単一のレジスタアクセスに関連するデータも、常に長さは16ビットである。
一部の実施形態では、足圧/6自由度モーション収集ノードのRF送受信機の制御およびデータ転送は、シリアルペリフェラルインタフェース(SPI)によって実現される。通常のSPIプロトコルは8ビット転送に基づくが、足圧/6自由度モーション収集ノードのRF送受信機は、より高レベルのトランザクションプロトコル(トランザクション毎の複数の8ビット転送に基づく)を課す。単一のSPI読み出しまたは書き込みトランザクションは、8ビットのヘッダ転送と、これに続く2つの8ビットデータ転送とからなる。
ヘッダは、アクセスの種類およびレジスタアドレスを記述する。後続のバイトは、読み出しまたは書き込みデータである。また、SPIは、追加のデータ転送が発生し得る再帰的な「データバースト」トランザクションをサポートする。再帰モードは、主に、足圧/6自由度モーション収集ノードのRFの高速な設定およびパケットRAMアクセスのためである。
一部の実施形態では、足圧センサゾーンが逐次的にすべてスキャンされ、リセット条件または非活動パワーダウンモードまでこのプロセス全体が繰り返される。6自由度モーションは、MCUから慣性測定ユニット(IMU)へのシリアルUARTインタフェースによってキャプチャされる。すべての感知次元についてサンプリングレートは100〜300Hzであり(Ax、Ay、Az、ピッチ、ヨー、ロール)、サンプリングされたデータはIMUBuffer[ ]に格納される。
TXパケット長フィールドを更新するために、SPIDryWriteに対してコールが行われる。次に、状態レジスタをクリアするためにSPIClearRecieveStatRegに対してコールが行われ、続いて、SPIインタフェースを読み出しまたは書き込みに対して準備できた状態にするために受信データレジスタをクリアするためにSPIClearRecieveDataRegに対してコールが行われる。SPIインタフェースが準備できた状態で、SPISendCharに対してコールが行われ、1番目のコードバイトを表す0xFFキャラクタを送信し、その後、送信が行われたことを検証するためにSPIWaitTransferDoneがコールされる。
図5は、ハンドヘルド装置のディスプレイ222上に提供され得る例示的出力300である。たとえば、患者の歩行に対して治療が提供される時には、ディスプレイ出力300は右足用部分302と左足用部分304とを含んでもよい。右足用の表示は、時間の関数として、加速度A 310a、A 321aおよびA 314aならびに足圧316aを含む。同様に、左足用の表示は、加速度A 310a、A 312aおよびA 314aならびに足圧316aを含む。
分類は、データ(たとえば、センサ融合データ、特徴データ、または実世界イベント(たとえば、患者の活動または気質)に対する属性データ)の相関付けであると理解される。典型的には、分類は解析システム108上で作成され実行される。一部の実施形態では、収集器106はいくつかの「テンプレート」のローカルコピーを有する。このように、入力されるセンサデータおよび特徴抽出データは、収集器において、または解析システムにおいて分類され得る。
コンテキストは、イベント、ステートメント、状況、またはアイデアについて設定を形成する環境または事実を表す。コンテキストアウエア(context-aware)なアルゴリズムが、環境に関連する「誰」、「何」、「いつ」、「どこ」と、そのアルゴリズムがあるデータに対して実行された時刻とを調査する。いくつかのコンテキストアウエアな行為は、アイデンティティ、位置、時刻、および実行中の行動を含む。決定論的行為を形成するためのコンテキスト的情報を用いる際には、患者と、環境と、音楽療法セッションとの間で、コンテキストインタフェースが発生する。
音楽療法セッションに対する患者の反応コンテキストは、融合センサデータを解釈して、より高レベルの情報を推定するアルゴリズムのうち一層を含んでもよい。これらのアルゴリズムは、患者の反応コンテキストを蒸留する。たとえば、患者の生物力学的歩行シーケンスは、音楽療法セッションの特定の部分に関連して解析される。一例では、「横方向震え」は関心対象の分類器である。したがって、患者の歩行は、横方向震えがより少ない、より流動的なものになると決定される。
<解析システム>
解析システム108(しばしばバックエンドシステムと呼ばれる)は、大規模なモデル/アーカイブを記憶し、本明細書に記載のモデルを用いた機械学習/解析処理を含む。一部の実施形態では、アーカイブされたデータを閲覧するためのログインのためのウェブインタフェースと、ダッシュボードとが提供される。一部の実施形態では、解析システム108は、ハンドヘルドユニット(ハンドヘルド装置またはタブレット220等)上で実行される収集器106からのデータを受信するリモートサーバコンピュータに配置される。解析システム108の解析および機械学習機能を実行するために必要な処理能力は、ハンドヘルド装置220に配置されてもよいと考えられる。
解析処理のために、収集器106から解析システム108へとデータが転送される。図6に例示するように、解析処理400は、収集器106からデータを受信するユーザインタフェース402を含む。データベースストレージ404は、収集器106から入力されるデータを記憶するために受信する。予測モデルおよび分類器の作成および精緻化を容易にするために、解析処理(たとえばアンサンブル機械学習システム410)の訓練データおよび出力を、ストレージ404に記憶してもよい。データバス406は、解析処理を通してのデータの流通を可能にする。1つ以上の予測モデルを導出するために、訓練データに対して訓練処理408が実行される。アンサンブル機械学習システム410は予測モデルを利用する。アンサンブル機械学習システム410の出力は、これらの予測モデルの集約である。この集約出力は、テンプレート分類器412(震え、対称性、流動性、または学習された生物力学的パラメータ(エントレインメント(entrainment)、イニシエーション(initiation)、等))を用いる分類要求についても使用される。API418が収集器および/または音楽療法センターに接続される。治療アルゴリズム414および予測アルゴリズム416は、多層パーセプトロンニューラルネットワーク、隠れマルコフモデル、放射基底関数ネットワーク、ベイズ推定モデル、等を含む。
本明細書に記載のシステムおよび方法の例示的な用途は、患者の生物力学的歩行の解析である。歩行シーケンスは特徴抽出されて特性的特徴の系列となる。キャプチャされたセンサ融合データにおけるこれらの特徴および他の特徴の存在は、コンテキスト検出アルゴリズムに、患者の生物力学的歩行シーケンスが正当であるか否かを知らせる。生物力学的歩行シーケンスキャプチャには、頑強なコンテキスト検出が必要であり、これはその後、音楽療法の患者の代表的母集団にわたって抽象化される。
そのような活動の一例は、ある時刻での患者の位置と、それらのその時点での音楽療法に対する反応とである。患者の音楽療法への反応の認識および相関付けにより、音楽療法患者応答の認識特化パターンが可能になる。その後、音楽療法患者の反応のベースラインを作成してそれらを将来の音楽療法患者の反応に相関させることにより、具体的な各音楽療法管理が、性能および有効性についてベンチマークされ解析される。
モーション感知と組み合わせて、歩行の生物力学的キャプチャを伴う距離測度を用い、2つ以上の音楽療法セッション間の時間的・空間的変化/変位を用いて、患者経路軌跡が決定される。このセンサ融合データキャプチャから特徴が抽出され、キーとなる様々な患者療法応答をラベル付けするために分類される。初期の音楽療法応答パターン検出を可能にするために、さらなるセンサ融合データ解析はヒストグラムを用いる。
音楽療法セッションのセンサ融合データの解析のために、初期には、マルコフ連鎖を利用した、患者個別のベイズ推定モデルが用いられる。連鎖の各状態が、音楽療法ベースラインセッションからキャプチャされた患者個別の応答パターンを表す。推定は、各サンプルインターバルにおける患者応答パターンの外観の知識と、直前の状態への時間的リンクとに基づく。
予測ルーチン(多層パーセプトロンニューラルネットワーク(MLPNN))は、トップ層ルートノードを有する、有向グラフのノードベースモデルを用いる。これは、後続のノードに到達するための要件を予測し、患者のセンサ融合データ特徴ベクトルを取得する。このセンサ融合データ特徴ベクトルは、時系列処理された動きデータと、音楽シグネチャデータと、さらなる処理のために特に重要な動画像データとを含む。この場合には、有向グラフは、上下逆に描かれた木(葉が木の底部にあり、根がルートノードである)のように見える。各ノードから、ルーチンが左に進むことができ、その場合には左はトップ層(ルートノードが配置されている)の下の次層の左ノードであり、左サブノードを次の観測対象ノードとして選択し、または、ルーチンが右に進むことができ、その場合には右はトップ層(ルートノードが配置されている)の下の次層の右ノードであり、これはインデックスが観測対象ノードに記憶されている特定の変数の値に基づく。この値が閾値未満である場合には、ルーチンは左ノードに進み、この値が閾値を超えている場合には、ルーチンは右ノードに進む。これらの領域(ここでは左および右)が予測器空間となる。
モデルは2種類の入力変数を用いる:順序付き変数およびカテゴリ的変数である。順序付き変数は、閾値(これもノードに記憶される)と比較される値である。カテゴリ的変数は、それが特定の限定された値のサブセットに属しノードに記憶されているか否かをテストする離散値である。これは様々な分類処理に適用可能である。たとえば、震えを記述するために「軽度」、「中度」および「重度」を用いることができ、これがカテゴリ的変数の例である。逆に、値の細かく区分された範囲または数値尺度を用いて、同様に(ただし数値的に)震えを記述することができる。
カテゴリ的変数が値の限定された集合に属する場合には、ルーチンは左ノードに進み、そうでなければルーチンは右ノードに進む。この決定を行うために、各ノードにおいて、エンティティの対(variable_index、decision_rule(閾値/サブセット))が用いられる。この対は分岐と呼ばれ、変数variable_indexに応じて分岐する。
ノードに到達すると、そのノードに割り当てられた値が、予測ルーチンの出力として用いられる。多層パーセプトロンニューラルネットワークは、ルートノードから開始して再帰的に構築される。すべての訓練データ、特徴ベクトル、および応答が、上述のようにルートノードを分岐させるために用いられ、ここで、エンティティ(variable_index、decision_rule(閾値/サブセット))が予測領域を区分する。各ノードにおいて、分類および回帰のための二乗誤差合計のために、ジニ「純粋度」基準に基づいて、最良の主分岐に関する最適な決定規則が発見される。ジニ係数は、集合クラスにわたる総分散の測度に基づく。ジニ「純粋度」基準は小さいジニ係数値を指し、ノードが主に単一のクラスからの観測を含む(これは望ましい状態である)ことを示す。
多層パーセプトロンニューラルネットワークが構築された後、それはクロスバリデーションルーチンを用いて刈り込まれてもよい。モデルの過適合を避けるために、木の枝の一部が刈り取られる。このルーチンはスタンドアロン決定に適用されてもよい。この決定アルゴリズム(MLPNN)(上述)の顕著な特性の1つは、各変数の相対的決定力および重要度を計算する能力である。
可変の重要度レーティングを用いて、患者の相互作用特徴ベクトルについて最も頻繁な相互作用の種類が決定される。パターン認識は、音楽療法応答および音楽療法イベントの様々なカテゴリを区別するのに適した決定空間の定義から開始される。決定空間は、N次元のグラフによって表すことができ、ただしNは音楽療法応答および音楽療法イベントを表すと考えられる属性または測定値の数である。N個の属性は、グラフにプロット可能な特徴ベクトルまたはシグネチャを構成する。十分なサンプルが入力された後、決定空間は、様々なカテゴリに属する音楽療法応答および音楽療法イベントのクラスタを示し、これを用いて新たなベクトルがこれらのクラスタに関連付けられる。
動的閉ループリハビリテーションプラットフォーム音楽療法システムは、パターンを学習および再現するために、いくつかのディープラーニングニューラルネットワークを利用する。一実施形態では、適応的な放射基底関数(RBF)モデル生成器を用いて非線形決定空間が構築される。新たなベクトルは、RBFモデルを用いて、および/または、K近傍分類器を用いて計算することができる。図6は、動的閉ループリハビリテーションプラットフォーム音楽療法システムの機械学習サブシステムのワークフローを例示する。
図7は、いくつかの訓練サンプル502を含む教師あり訓練処理408を例示する。たとえば、入力は上記表3に記載されるような特徴であり、出力例は、震え、非対称性、力、これらの項目の程度、変化の予測、患者がいかによく回復しているかの分類、等の項目である。この処理の一部として、新たな出力が学習されるということが理解される。これにより、これが異なるユースケース(たとえば、様々な疾病状態、薬学との組み合わせ、プロバイダへの通知、フィットネス、および転倒防止)に適用される場合の、より高レベルの予測および分類の抽象化に対する基礎が提供される。これらの訓練サンプル502は、学習アルゴリズムA1 504a,A2 504b,A3 504c,…,AN 504nによって実行され、M1 506a,M2 506b,M3 506c,…,MN 506nにおいて予測モデルが導出される。例示的なアルゴリズムは、多層パーセプトロンニューラルネットワーク、隠れマルコフモデル、放射基底関数ネットワーク、ベイズ推定モデルを含む。
図8は、複数の予測結果データ606a、606b、606b、…、606nを提供するための、サンプルデータ602(たとえば特徴抽出データ)に関する予測モデルM1 506a、M2 506b、M3 506c、…、MN 506nの集約としてのアンサンブル機械学習システム410を例示する。集約層608(たとえば決定規則および投票を含む)は、複数の予測モデルが与えられた場合に出力610を導出するために用いられる。
MR ConvNetシステムは2つの層を有し、第1層は平均プーリングサポートを伴う畳込み層である。MR ConvNetシステムの第2層は、多項式論理回帰をサポートする全結合層である。多項式論理回帰(Softmaxとも呼ばれる)は、複数のクラスを扱うための論理回帰の一般化である。論理回帰の場合には、ラベルは2値である。
Softmaxは、あり得べき様々な出力の確率を予測するために用いられるモデルである。以下では、Softmaxの最終出力層を介してm個の離散的なクラスを持つ多クラス分類器を想定する:
Y1 = Softmax (W11*X1 + W12*X2 + W13*X3 + B1) [1]
Y2 = Softmax (W21*X1 + W22*X2 + W23*X3 + B2) [2]
Y3 = Softmax (W31*X1 + W32*X2 + W33*X3 + B3) [3]
Ym = Softmax (Wm1*X1 + Wm2*X2 + Wm3*X3 + Bm) [4]
一般的に:Y = softmax (W*X + B) [5]
Softmax (X)i = exp (Xi)/ exp (Xj)の合計(j=1からNまで)[6]
ただし、Y=分類器出力、X=サンプル入力(すべてスケーリングされた(正規化された)特徴値)、W=重み行列である。分類は、たとえば、非対称性をスコアリングする(「適度な非対称性スコア、10のうち6(高レベルの非対称性10〜非対称性なし0)」のように)か、または歩行流動性をスコアリングする(「歩行流動性スコア10のうち8、通常」等)。解析パイプラインは図9に示す。
Softmax回帰は、2を超える多数のクラスを扱うことができる。論理回帰については、P(x) = 1/ (1 + exp(-Wx))であり、ただしWはコスト関数を最小化するために学習されたモデルパラメータを含む。また、xは入力特徴ベクトルであり、
((x(1), y(1)),…,(x(i), y(i))) [7]
が訓練セットを表す。多クラス分類については、2値の場合における1および0に代えて、yが各クラスを表すN個の異なる値を取り得る場合に、Softmax回帰が用いられる。したがって、訓練セット((x(1), y(1)),…,(x(i), y(i)))については、y(n)は1〜Nクラスの範囲内の任意の値であり得る。
次に、p(y = N|x;W)は、i = 1,…,Nの各値に対する確率である。以下に、Softmax回帰処理を数学的に例示する:
Y(x) = (p(y = 1|x;W), p(y = 2|x;W), … p(y = N|x;W)) [8]
ただしY(x)は仮説に対する回答であり、これは、入力xが与えられると、すべてのクラスの確率分布を、それらの正規化された合計が1となるように出力する。
MR ConvNetシステムは、各生物力学的テンプレートフィルタ(ベクトルとして)と、各窓内の生物力学的データフレーム(ベクトルとして)とを畳み込み、特徴応答を平均する平均プール関数を用いて応答を生成する。畳み込み処理は、任意のバイアスを加算してWxを計算し、これを論理回帰(シグモイド)関数に受け渡す。
次に、MR ConvNetシステムの第2層において、サブサンプリングされた生物力学的テンプレートフィルタ応答が、2次元行列(各列が窓内の生物力学的データフレームをベクトルとして表す)へと移動する。この時点でSoftmax回帰活性化処理が次式を用いて開始される:
Y(x) = (1/(exp(Wx) + exp(Wx) + …. + exp(Wx)) * (exp(Wx), exp(Wx), … , (exp(Wx)) [9]
MR ConvNetシステムは、コスト関数J(W)が定義され最小化される最適化アルゴリズム(勾配降下法)を用いて学習される。
J(W) = 1/j*((H(t(j = 1), p(y = 1|x;W) + H(t(j = 2), p(y = 2|x;W) + … + H(t(j), p(y = N|x;W)) [10]
ただしt(j)は目標クラスである。これによりj個の訓練サンプルにわたるクラスエントロピーをすべて平均する。クロスエントロピー関数は:
H(t(j), p(y = N|x;W) = - t(j = 1)* log(p(y = 1|x;W)) + t(j = 2)* log(p(y = 2|x;W)) + … + t(j )* p(y = N|x;W) [11]
図10において、アンサンブル機械学習システム408は複数の予測モデルを含む(たとえばテンプレート系列1(震え)706a、テンプレート系列2(非対称性)706b、テンプレート系列3(流動性)706c…追加のテンプレート(他の学習された生物力学的パラメータ、たとえばエントレインメント、イニシエーション、等)706n(条件付けられた入力702に適用される)(たとえば、以下のものであってもよい:右および左特徴の歩幅(x1,x2)、右および左特徴の歩幅の分散(x3,x4)、歩調右および左特徴(x6,x7)、歩調右および左特徴の分散(x8,x9)、等)(ここではサンプル(x1,x2,…,xn)はベクトルXとして参照され、これがMLアルゴリズムのアンサンブルにおいて702に入力される)。これらは、条件付けられた参照正規化および/またはスケーリングされた入力である。集約分類器708は、そのような情報を、震えスケール、対称性スケール、流動性スケール、等として出力する。
<音楽療法センター>
音楽療法センター110は、プロセッサ(たとえばハンドヘルド装置または図2のラップトップコンピュータ220)上で実行される意思決定システムである。音楽療法センター110は、収集器106において特徴付き抽出センサデータから入力を取得し、治療を提供するためにこれらを定義されたプロセスと比較し、その後、音楽提供システム230を介して再生される聴覚的刺激の内容を伝達する。
本発明の各実施形態は、コンテキスト情報を用いて、ある状況がなぜ起きているかを決定し、その後、観測された行動を符号化し、これによって、閉ループ式に、システム状態(したがって音楽療法セッション)に動的かつ調節された変化を発生させる。
患者と音楽療法セッションとの間の相互作用は、音楽療法患者のコンテキストアウエアネス(動き、姿勢、踏み出しおよび歩行反応を含む)を決定するためのリアルタイムデータを提供する。入力データが感知ノードにより(センサにおいて)収集されると、埋め込まれたノードがコンテキストアウエアデータを(エッジ処理において)処理し、即時の動的行動を提供し、および/または、解析システム108(たとえば、記憶およびさらなる処理および解析のための柔軟なネットワークベースのプロセッシングクラウド環境)にデータを送信する。
プログラムは、入力に基づき、任意の既存の歌曲コンテンツを取得し、歩調、メジャーコード/マイナーコード、拍子および音楽的キュー(たとえば、メロディ的、ハーモニー的、リズム的、および強さのキュー)を変更する。システムは、既存の歌曲にメトロノームを重ねてもよい。ビートがいつ発生するかの正確な知識を用いてエントレインメントポテンシャルを計算できるように、歌曲コンテンツはビートマッピングされてもよく(たとえばAVまたはMP3ファイルに応答してWの場合)、またはMIDI形式であってもよい。患者に取り付けられるセンサは、音楽コンテンツにおいて触覚的/振動フィードバックパルスを提供するよう構成され得る。
<実施例>
本方法の例示的な応用がここに記述される。歩行訓練は、患者のために再生されている音楽のビートと、音楽の各ビートに応じて患者が行う各ステップとのリアルタイムの関係を解析する。上述のように、繰り返されるデータの窓(各ステップまたは反復運動ごとにいくらかのばらつきがある)を決定するために、ゲーティング解析が用いられる。一部の実施形態では、窓の開始点は、踵衝撃圧が閾値(または他のセンサパラメータ)を超える時点として決定される。図11は、音楽のビート(「ビート時刻」)と、患者によって行われるステップ(「ステップ時刻」)とを示す例示的な時間プロットである。このように、この場合のオンセット時刻は「ステップ時刻」に関連付けられる。とくに、このプロットは、音楽のビート時刻1101を「ビート時刻1」として示す。ある時間的期間の後、患者はビート時刻1001に応じて、時刻「ステップ時刻1」においてステップを行う(すなわちステップ時刻1102)。エントレインメントポテンシャル1103は、ビート時刻1とステップ時刻1との遅延(存在する場合)を表す。
図12〜13は、本明細書に記載のシステムを用いた患者の歩行のエントレインメントの例を示す。図12は「完全な」エントレインメント(たとえばエントレインメントポテンシャルが常に0である)を示す。これは、ビート時刻と、このビート時刻に応じて発生する関連付けられたステップ時刻との間に、遅延がないか、または遅延が無視できる場合に発生する。図13はフェーズシフトエントレインメント(エントレインメントポテンシャルが0ではないが、一定であるかまたは時間に伴うばらつきが最小限である状態)を示す。これは、ビート時刻とステップ時刻との間の遅延が、時間経過しても一定して許容範囲内である場合に発生する。
さらに図11を参照して、ステップ時刻間の時間の長さに対するビート時刻間の時間の長さの比率として、EP比が計算される:
ただしビート時刻1 1101は、第1の音楽ビートの時刻に対応し、ステップ時刻1 1102は、ビート時刻1に応じた患者のステップの時刻に対応する。ビート時刻2 1106は、第2の音楽ビートの時刻に対応し、ステップ時刻2 1108は、ビート時刻2に応じた患者のステップの時刻に対応する。目標は、EP比=1またはEP比/係数=1である。係数は以下のように決定される。
この係数により、起こり得るビートの分割または誰かが3ビートごとにステップしたり4ビートごとに3ステップしたりすることができる。これにより、様々なシナリオに対する柔軟性が提供される。
図14および図15は、本明細書に記載の技術を用いた、時間にわたる患者のエントレインメント応答を例示する。図14(左Y軸:EP比、右Y軸:1分あたりのビート数、X軸:時間)はドット1402の散布を示し、これは第1の患者の歩行のEP比の平均を表す。このグラフは、+0.1の上限1404と、−0.1の下限1406とを示す。線分1408は、時間にわたるテンポを示す(1分あたり60ビート(bpm)から開始され、ステップにおいて100bpmまで増加する)。図14は、テンポが60bpmから100bpmまで増加してもEP比が1近く(±0.1)に留まっていることを示す。図15は、第2の患者の歩行を示し、ここでも、テンポが60bpmから100bpmまで増加してもEP比は1近く(±0.1)に留まっていることを示す。
図16および図17(Y軸:エントレインメントポテンシャル、X軸:時間)は、ビート時刻の変化(たとえばテンポの変化)、および/または、コードの変化、触覚的フィードバックの変化、足のキューイングの変化(たとえば、左−右または左−右−杖キューイング)、等に対する2人の患者の応答を例示する。図16は時間ベースのプロットを示し、患者の歩行は「完全なエントレインメント」(一定の、0または無視できるエントレインメントポテンシャル)または一定フェーズシフトのエントレインメントポテンシャルで平衡する。この図に示すように、平衡が発生するまでは、ある時間的期間(プライム時間1602)が必要である。図17は、患者の歩行が平衡しない場合の時間ベースのプロットを示す(たとえば、ビート時刻に対する変化の後に、完全なエントレインメントまたは一定フェーズシフトのエントレインメントポテンシャルに到達しない)。プライム時間は、エントレインメントの精度の測定とは分離されたデータセットを表すので、有用である。プライム時間パラメータは、適切さについて将来の歌曲をスクリーニングするために用いることもできる。たとえば、ある音楽作品が用いられた時に、患者が比較的長いプライム時間を示す場合には、その音楽作品は治療にはあまり有効ではない。
図18は、反復運動が歩行中の患者によって行われるステップを指す場合の、歩行訓練に有用な技術を例示する。歩行訓練は、患者の母集団と、診断と、個別化され個人向けとなった音楽介入を提供するための条件とに適応される。プログラムは、入力に基づき、適切な場合に、コンテンツ、歩調、メジャーコード/マイナーコード、拍子、および音楽的キュー(たとえば、メロディ的、ハーモニー的、および強さのキュー)を変更する。プログラムは、生年月日、リストされた音楽的好み、およびエントレインさせるテンポを用いて、音楽を選択し、定常ベースで用いる受動的音楽のプレイリストを提供することができる。歩行訓練に対するキーとなる入力は、物理的行動(たとえば歩行)を行っているユーザの歩調、対称性および歩幅とである。プログラムは、音楽のBPMにおいて触覚的/振動フィードバックを提供するために、接続されたハードウェアを用いる。歩行訓練のための適切な母集団は、外傷性脳損傷(TBI)、脳卒中、パーキンソン病、MSおよび老化を伴う患者を含む。
本方法はステップ1802において開始される。ステップ1804において、センサ(たとえばセンサ200,206,208)からのデータに基づき、収集器106において生物力学的データが受信される。生物力学的データは、イニシエーション、歩幅、歩調、対称性、支援器具に関するデータ、またはそのような患者の特徴セット(解析システム108によって記憶され生成されたもの)を含む。生物力学的データパラメータの例は、上記表1、2および3にリストされる。1つ以上のデータ源から、ベースライン条件が決定される。第1に、音楽の再生なしでの患者の歩行が感知される。患者のイニシエーション、歩幅、歩調、対称性、支援器具に関するデータ、等に関するセンサおよび特徴データが、治療セッションのための患者のベースライン生物力学的データを構成する。第2に、同じ患者の以前のセッションからのセンサデータと、解析システム108からの任意のより高レベルな分類データとが、患者の履歴データを構成する。第3に、センサデータおよびより高レベルの分類データ(同様の状況に置かれた他の患者に対するもの)が、母集団データを構成する。このように、ベースライン条件は、(a)治療セッションに対する患者のベースライン生物力学的データ、(b)患者の以前のセッションからのデータ、(c)母集団データ、のうち1以上からのデータを含み得る。その後、ベースラインビートテンポがベースライン条件から選択される。たとえば、音楽を再生する前の患者のその時点での歩調と整合するように、ベースラインビートテンポを選択してもよい。代替的に、患者のその時点での歩調の数分の一または倍数として、ベースラインビートテンポを選択してもよい。他の代替例として、患者の以前のセッションにおいて用いられたベースラインビートテンポと整合するように、ベースラインビートテンポを選択してもよい。さらに他の代替例として、同様の物理的条件を有する他の患者について用いられたベースラインビートテンポに基づいて、ベースラインビートテンポを選択してもよい。最後に、上述のデータの任意のものの組み合わせに基づいて、ベースラインビートテンポを選択してもよい。このデータから、目標ビートテンポを決定することもできる。たとえば、目標ビートテンポは、他の同様の状況に置かれた患者によって示された改善を参照して、ベースラインビートテンポにおけるパーセント増分として選択されてもよい。テンポは、音楽におけるビートの頻度を指すものと理解される。
ステップ1806において、ハンドヘルド装置220から音楽提供装置230(たとえばイヤーバドまたはヘッドホンまたはスピーカ)で患者に提供される音楽が、ベースラインテンポまたはベースラインテンポの分割で開始される。ベースラインテンポで患者に音楽を供給するために、データベースから一定のベースラインテンポを有する音楽が選択されるか、または既存の音楽が修正される(たとえば、ビート信号を一定のテンポで提供するために、選択的にスピードアップまたはスローダウンされる)。
ステップ1808において、患者は音楽のビートを聞くよう指示される。ステップ1810において、患者はベースラインテンポで歩くよう指示される(左および右足についてキューを受けてもよい)。患者は、各ステップが音楽のビートによく一致するように(たとえば、ビートテンポに「タイミングを合わせて」)歩くよう指示される。ステップ1806、1808および1810は、セラピストによって、または、ハンドヘルド装置220での聴覚的または視覚的指示によって、開始されてもよい。
ステップ1812において、患者に取り付けられたセンサ200,206,208が用いられ、患者データ(踵衝撃圧、6次元運動、EMG活動、患者の運動の動画記録、等)が記録される。すべてのセンサデータはタイムスタンプを付される。データ解析は、本明細書に記載の「ゲート」解析を含み、タイムスタンプ付きセンサデータに対して実行される。たとえば、センサデータ(たとえば踵衝撃圧)の解析は、各ステップのオンセット時刻を決定するために行われる。受信される追加のデータは、患者に提供される音楽の各ビート信号に関連付けられた時刻を含む。
ステップ1814において、予測および分類のために、エントレインメントモデル(たとえば、解析システム108のアンサンブル機械学習システム410、または、収集器106にダウンロードされハンドヘルド装置220で実行されるモデル)に対する接続が行われる。(そのような接続は、すでに存在していてもよいし、この時点で開始されてもよいということが理解される。)そのような接続は、典型的には非常に高速または即時的である。
ステップ1816において、解析システム108で実行される、任意で追加可能なエントレインメント解析が、センサデータに適用される。エントレインメント解析は、ビート信号と、患者によって行われる各ステップのオンセットとの間の遅延を判定することを含む。エントレインメント解析からの出力として、エントレインメントの精度(たとえば、エントレインメントポテンシャルおよびEP比に関して上述されたように、ベースラインビートテンポと患者のステップとの瞬間的関係の測度)に関する判定が行われる。エントレインメントが正確でない場合(たとえば、エントレインメントポテンシャルが許容範囲内で一定でない場合)には、ステップ1818において調節が行われる(たとえば、ビートテンポをスピードアップまたはスローダウンさせる、音量を上げる、感覚入力を増大させる、メトロノームまたは他の関連する音声を重ねる、等)。エントレインメントが正確である場合(たとえば、エントレインメントポテンシャルが許容範囲内で一定である場合)にはステップ1820においてテンポに増分的な変化が加えられる。たとえば、ハンドヘルド装置で再生される音楽のベースラインテンポが、目標テンポに向かって(たとえば5%だけ)増加する。
ステップ1822において、予測および分類のために、エントレインメントモデルに対して接続が行われる。(そのような接続は、すでに存在していてもよいし、この時点で開始されてもよいということが理解される。)ステップ1824において、任意で追加可能な対称性解析が、センサデータに適用される。対称性解析からの出力として、患者の歩行の対称性(たとえば、歩幅、スピード、スタンスフェーズ、ゆれフェーズ、等について、患者の左足の動きが、患者の右足の動きにいかによく整合しているか)に関して判定が行われる。ステップが対称的でない場合(たとえば、閾値未満である場合)には、ステップ1826において、ハンドヘルド装置によって患者に放送される音楽に調節が行われる。第1の修正は、患者の足の一方が動いている間に再生される音楽に対して行われてもよく、第2の修正は、患者の足の他方が動いている間に再生される音楽に対して行われてもよい。たとえば、一方(たとえば影響を受けた側)ではマイナーコード(または増大した音量、感覚的入力、テンポの変更、または音声/メトロノームの重畳)が再生され、他方(たとえば影響を受けていない側)ではメジャーコードが再生される。機械学習システム410は、前もって、そこに至るまでの各シナリオの「フィンガープリント」に基づいて(たとえば、非対称性を示す動きを解析することによって)、対称性問題がいつ到来するかを予測する。非対称性は、背景のある誰かが、その側がいかに影響を受けているか(および他方と比較して)を決定可能であるので、通常の歩行パラメータを比較することによって、決定可能である。
ステップ1828において、予測および分類のために、エントレインメントモデルに対して接続が行われる。(そのような接続は、すでに存在していてもよいし、この時点で開始されてもよいということが理解される。)ステップ1830において、センサデータに対し、任意で追加可能なバランス中心解析(たとえば、患者が前に傾いているか否か)が実行される。この解析は、足センサの各出力を組み合わせることによって、また、動画出力を組み合わせることによって、実行されてもよい。バランス中心解析からの出力として、患者が前に傾いているか否かに関する判定が行われる。患者が前に傾いている場合には、ステップ1832において、患者に対して「まっすぐに立つ」ようキューが出される(セラピストによって、または、ハンドヘルド装置の聴覚的または視覚的指示によって提供される)。
ステップ1834において、予測および分類のために、エントレインメントモデルに対して接続が行われる。(そのような接続は、すでに存在していてもよいし、この時点で開始されてもよいということが理解される。)ステップ1836において、センサデータに対し、イニシエーション解析(たとえば患者が歩行を開始する際にためらいまたは困難を示す)が行われる。イニシエーション解析からの出力として、患者がイニシエーションに関して問題を示すか否かに関する判定が行われる。患者がイニシエーションに関して問題を示す場合(たとえば、閾値未満である場合)には、ステップ1838において、患者に触覚的フィードバック(ビートテンポにおけるカウントダウン、または、歌曲の開始前のカウントダウンを含んでもよい)が提供されてもよい。
ステップ1840において、患者が支援器具(たとえば杖、松葉杖、歩行器、等)を用いているか否かが判定されてもよい。一部の実施形態では、ハンドヘルド装置220は、患者またはセラピストが支援器具の使用に関する情報を入力するためのユーザインタフェースを提供する。杖が存在する場合には、ステップ1842において、解析が3つのメーター(たとえば、杖、右足、左足)に変更され、セラピストによって、または、ハンドヘルド装置上の聴覚的または視覚的指示によって提供される、「左足」、「右足」、「杖」によるキューイングが行われる。
ステップ1844において、予測および分類のために、エントレインメントモデルに対して接続が行われる。(そのような接続は、すでに存在していてもよいし、この時点で開始されてもよいということが理解される。)任意で、エントレインメント解析1846(実質的にステップ1816において上述されるが、以下に記載される相違点を持つ)がセンサデータに適用されてもよい。たとえば、エントレインメントは、そのセッションのより前の時点からの、以前のエントレインメントデータ、その患者の以前のセッションからのデータ、または、他の患者のエントレインメントに関するデータと比較される。エントレインメント解析からの出力として、エントレインメントの精度(たとえば、患者の歩行がベースラインテンポにいかによく整合しているか)に関する判定が行われる。エントレインメントが正確でない場合には、ステップ1848において、上記ステップ1818において説明したのと同様の方法で調節が行われる。
エントレインメントが正確である場合には、ステップ1850において、患者が目標テンポで歩行しているか否かの判定が行われる。目標テンポに到達していない場合には、本方法はステップ1820(上述)に進み、テンポに対して増分的な変更が行われる。たとえば、ハンドヘルド装置で再生される音楽のベースラインテンポが、目標テンポに向かって(たとえば5%だけ)増加または減少する。目標テンポに到達している場合には、患者はセッション内の残り時間について治療を継続してもよい(ステップ1852)。ステップ1854において、治療セッションでない場合に用いられる望ましいテンポでの音楽がキュレーションされ図2の装置220に残されてもよい。この音楽コンテンツは、専用の治療セッションの合間に、患者によって宿題/練習として用いられる。ステップS827においてプログラムは終了する。
上記で説明され図18に示された各ステップは、開示のものとは異なる順序で実行されてもよいということが理解される。たとえば、ステップ1816、1824、1830、1836、1840、1846および1850における評価は、同時に実行されてもよい。さらに、解析システム108への複数の接続(たとえば、ステップ1814、1822、1828、1834および1844)は、説明された治療セッションを通して一度だけ行われてもよい。
図19は、無視訓練(neglect training)のために有用な技術を例示する。無視訓練のために、本明細書に記載のシステムおよび方法は、接続されるハードウェアを用いて、患者が目標を正しく叩くと触覚/振動フィードバックを提供する。接続されるハードウェアは、装置、動画モーションキャプチャシステム、または接続されるベルを含む。これらの装置はすべて上述のシステム内に接続され、タップされると振動し、聴覚的フィードバックを再生するためのスピーカを有する。たとえば、接続されるベルは、センサ200と同じ態様でシステムにデータ(たとえば患者がベルを叩くことに関するデータ)を提供する。動画モーションキャプチャシステムは、動画カメラ206と同じ態様でシステムに動画データを提供する。無視訓練のためのキーとなる入力は、特定の位置への運動の追跡に関する情報である。プログラムは、患者が目標を正しく叩くと、接続されるハードウェアを用いて触覚的/振動フィードバックを提供する。無視訓練のための適切な母集団は、空間的無視または半空間視覚無視状態を伴う患者を含む。
無視訓練のための図19に例示されるフロー図は、歩行訓練のための図18に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。たとえば、ベースラインテストは患者の状態および/または以前のテストからの改善を確立する。一部の実施形態では、ベースラインテストは、画面(たとえばハンドヘルド装置220のディスプレイ222)上で左右に均等に離間した4つの物体を示すことを含む。患者は、ディスプレイ222に現れるキューによって、または、セラピストによって音声で、バックグラウンドの音楽のビートにタイミングを合わせて物体を叩くよう指示される。歩行訓練のように、患者はバックグラウンドの音楽のビートにタイミングを合わせてベルを叩くよう指示される。正確に叩くごとにフィードバックが提供される。ベースライン情報が収集されると、左右に均等に離間したいくつかの物体が画面に表示される。上述のように、患者は、バックグラウンドの音楽のビートにタイミングを合わせて、物体を左から右へと順に叩くよう指示される。正確に叩くごとにフィードバックが提供される。歩行訓練のように、解析システム108は患者の応答を評価し、応答を分類し、物体を増加または減少させる指示を提供し、または、目標テンポに到達するために音楽のテンポを増加または減少させる。
図20は、イントネーション訓練に有用な技術を例示する。イントネーション訓練について、本明細書に記載のシステムおよび方法は、音声処理アルゴリズムに依存する。典型的に選択されるフレーズは、両唇音、喉音および母音のカテゴリに属するありふれた語である。患者の片手にビート毎分の触覚的フィードバックを提供するために、ハードウェアが患者に接続される。イントネーション訓練についてキーとなる入力は、声のトーンと、話される単語と、発話のリズムとである。イントネーション訓練の適切な母集団は、ブローカ失語症、表現失語症、非流暢性失語症、失行症、自閉症スペクトル障害、およびダウン症を伴う患者を含む。
図20に例示される、イントネーション訓練のためのフロー図は、歩行訓練のための図18に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。たとえば、タップすることを支援するために、患者の片手に触覚的フィードバックが提供される。患者は、ディスプレイ222に現れるキューによって、またはセラピストによって音声で、再生される音楽を聞くよう指示される。学習すべき話されるフレーズは、2つの部分に分離して再生され、2つの部分のうち第1のものは高ピッチにされ、2つの部分のうち第2のものは低ピッチにされる。その後、患者は、ディスプレイ222に現れるキューによって、またはセラピストによって音声で、再生される2つのピッチを用いて装置を用いてそのフレーズを歌うよう指示される。歩行訓練のように、解析システム108は患者の応答を評価し、ピッチの精度、話された語、および患者またはアシスタント/セラピストによるランキングの観点から応答を分類し、別のフレーズを提供する指示を提供し、応答と目標の発話パラメータとを比較する。
図21は、音楽的刺激訓練に有用な技術を例示する。音楽的刺激訓練について、本明細書に記載のシステムおよび方法は、音声処理アルゴリズムに依存する。予測的セクションを除外するためのアルゴリズムとともに(期待妨害と呼ばれる)、よく知られた歌が用いられる。ハードウェアは、患者による歌唱を受け付けて処理するスピーカを含み、一部の実施形態では、セラピストが歌唱の精度に関する入力を手動で提供してもよい。キーとなる入力は、声のトーンと、話された単語と、発話のリズムと、音楽の好みとに関する情報である。適切な母集団は、ブローカ失語症、非流暢性失語症、TBI、脳卒中、および原発性進行性失語を伴う患者を含む。
図21に例示される、音楽的刺激訓練のためのフロー図は、歩行訓練のための図18に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。たとえば、患者のために音楽が再生され、患者はディスプレイ222に現れるキューによって、またはセラピストによって音声で、歌曲を聞くよう指示される。歌曲には音楽的キューが付加される。続いて、予測的スポットにおいて、単語または音が空白にされ、欠落している単語または音を歌うように患者を促すために、ジェスチャー的音楽キューが再生される。歩行訓練のように、解析システム108は、患者の応答を評価し、ピッチの精度、話された単語、および患者またはアシスタント/セラピストによるランキングの観点から応答を分類し、発話を目標発話パラメータへと改善するために、歌曲の追加的部分を再生するよう指示を提供する。
図22は、患者の総運動訓練に有用な技術を例示する。総運動訓練について、本明細書に記載のシステムおよび方法は、運動失調、運動範囲またはイニシエーションを支援することに向けられる。エクササイズの比較的困難な部分は、(たとえば、メロディ的、ハーモニー的、リズム的、および/または強さ的キューを用いることによって)音楽的に「アクセントが付され」ている。キーとなる入力は、接続されるハードウェアまたは動画カメラシステムを介しての、X、YおよびZキャプチャにおける運動に関する情報である。適切な母集団は、神経学的な、整形外科的な、強さの、耐久性の、バランスの、姿勢の、運動範囲の、TBIの、SCIの、脳卒中の、および脳性麻痺の患者である。
図22に例示される、総運動訓練のためのフロー図は、歩行訓練のための図18に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。歩行訓練のように、患者には、音楽的選択のベースラインビートにタイミングを合わせて動くためのキューが提供される。解析システム108は、患者の応答を評価し、上述のように運動の精度およびエントレインメントの観点から応答を分類し、再生される音楽のテンポを増加または減少させるための指示を提供する。
図23は、握力訓練に有用な技術を例示する。握力訓練について、本明細書に記載のシステムおよび方法は、把持装置に関連付けられたセンサに依存する。ハードウェアは、ハンドヘルド220に関連付けられる接続されるスピーカ、圧力センサを有する把持装置を含む。キーとなる入力は、センサ200によって測定される踵衝撃圧と同様の態様で、患者によって把持装置に提供される圧力である。適切な母集団は、神経学的な、整形外科的な、強さの、耐久性の、バランスの、姿勢の、運動範囲の、TBIの、SCIの、脳卒中の、および脳性麻痺の患者である。
図23に例示する、握力訓練のためのフロー図は、歩行訓練のための図18に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。歩行訓練のように、患者は、音楽的選択のベースラインビートにタイミングを合わせて把持装置に力を与えるためにキューを提供される。解析システム108は、患者の応答を評価し、上述のように運動の精度およびエントレインメントの観点から応答を分類し、再生される音楽のテンポを増加または減少させる指示を提供する。
図24は、発話キューイング訓練に有用な技術を例示する。発話キューイング訓練について、本明細書に記載のシステムおよび方法は、音声処理アルゴリズムに依存する。ハードウェアは、患者による歌唱を受け付けて処理するスピーカを含んでもよく、一部の実施形態では、セラピストが手動で発話精度に関する入力を提供してもよい。キーとなる入力は、声のトーンと、話される単語と、発話のリズムと、音楽的好みとである。適切な母集団は、ロボット問題、単語の発見問題、および吃音問題を伴う患者を含む。
図24に示す、発話キューイング訓練のためのフロー図は、歩行訓練のための図18に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。歩行訓練のように、患者は、音楽的選択の各ビートにタイミングを合わせて1音節を言うことによって文を発話するためのキューを、ディスプレイ222に現れるキューによって、または、セラピストによって音声で、提供される。解析システム108は、患者の発話を評価し、上述のように発話の精度およびエントレインメントの観点から応答を分類し、再生される音楽のテンポを増加または減少させる指示を提供する。
図25は、最小意識患者の訓練に有用な技術を例示する。本明細書に記載のシステムおよび方法は、患者の両目が開いているか否か、患者が見ている方向、結果としての患者の脈拍および心拍数を測定するために、3Dカメラ等の撮像システムに依存する。プログラムは、心拍数、刺激、呼吸数、閉眼、姿勢、および不安について探索し最適化する。適切な母集団は、昏睡および意識障害を伴う患者を含む。
図25に示す、最小意識患者の訓練のためのフロー図は、歩行訓練のための図18に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。歩行訓練のように、患者に、患者の呼吸数(PBR)における増加する刺激が提供される。たとえば、まず患者にPBRにおいて音楽的コードの刺激が提供され、患者の両目が開いているか否かが観測される。患者の両目が開いていない場合には、刺激は、単純なメロディをPBRにおいてハミングからPBRにおいて「アー」と歌うまで、PBRにおいて患者の名前を歌うまで順次増大し(またはそのような音の記録を再生し)、各入力において、患者の両目が開いているか否かがチェックされる。解析システム108は、患者の目の追跡を評価し、意識レベルの観点から応答を分類し、刺激を変化させる指示を提供する。
図26〜28は、注意力訓練に有用な技術を例示する。注意力訓練について、本明細書に記載のシステムおよび方法は、閉ループ式に動作し、患者が注意力を維持し、分割し、変更し、および選択することを支援する。どの運動を行うべきかをシグナリングするいかなる視覚的キューも許されない。適切な母集団は、脳腫瘍、多発性硬化症、パーキンソン病、ならびに神経学的病気および障害を伴う患者を含む。
図26に示す、注意力維持訓練のためのフロー図は、歩行訓練のための図18に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。歩行訓練のように、患者には楽器(機能する任意の楽器でよく、ドラムスティック、ドラム、鍵盤、またはそれぞれ無線で接続されたもの)が与えられ、ディスプレイ222に現れるキューによって、またはセラピストによって音声で、図26に例示されるレベル1〜9によって定義される音声キューに沿って進行するか、またはその音声キューに対するタスクを実行するよう指示される。解析システム108は、患者が正確にタスクを完了する能力を評価し、応答を分類し、テンポまたはタスクの難易度を変化させる。同様に、図27は注意力変更訓練のためのフロー図を例示する。注意力変更訓練では、ディスプレイ222に現れるキューによって、またはセラピストによって音声で、左耳と右耳とで交互に起こる音声キューに沿って進行するか、または音声キューに対するタスクを実行するよう指示が提供される。図28は分割された注意力のためのフロー図を例示する。ここでは、左右両耳における音声信号とともに、音声キューに沿って進行するか、または音声キューに対するタスクを実行するよう指示が提供される。
図29に示す、機敏性訓練のためのフロー図は、歩行訓練のための図18に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。機敏性訓練のために、患者は、ベースライン運動および運動範囲情報を収集するために、ピアノの鍵盤を指で叩くよう指示される。歌曲は特定のビート毎分で開始され、患者はベースライン数の指で叩き始める。解析システム108は、患者が正確にタスクを完了する能力を評価し、応答を分類し、テンポまたはタスクの難易度を変化させる。
図30に示す、口運動訓練のためのフロー図は、歩行訓練のための図18に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。口運動訓練のために、患者は、2つの音(たとえば「オー」と「アー」)を交互に起こすタスクを実行するよう指示される。解析システム108は、患者がタスクを正確に完了させる能力を評価し、応答を分類し、テンポまたはタスクの難易度を(たとえば異なる目標音を提供することによって)変化させる。
図31に示す、呼吸訓練のためのフロー図は、歩行訓練のための図18に例示されるフロー図と実質的に同一であるが、以下に説明される相違点を有する。呼吸訓練のために、ベースライン呼吸数および呼吸の浅さが決定される。患者の呼吸数でのベースラインテンポで音楽が提供され、患者は、図31に各レベルで記載された呼吸タスクを実行するよう指示される。解析システム108は、患者がタスクを正確に完了させる能力を評価し、応答を分類し、テンポまたはタスクの難易度を(たとえば異なる呼吸パターンを提供することにより)変化させる。
上記のシステム、装置、方法、処理、等は、ハードウェア、ソフトウェア、または応用のためのこれらの任意の適切な組み合わせにおいて実装可能である。ハードウェアは、汎用コンピュータおよび/または専用の計算装置を含んでもよい。これは、1つ以上のマイクロプロセッサ、マイクロコントローラ、埋込式マイクロコントローラ、プログラム可能なデジタル信号プロセッサ、または他のプログラム可能な装置または処理回路(内部および/または外部記憶を伴う)における実装を含む。また、これに加えて、またはこれに代えて、1つ以上の特定アプリケーション向け集積回路、プログラマブルゲートアレイ、プログラマブルアレイ論理コンポーネント、または、電子的信号を処理するよう構成可能な任意の他の装置(複数可)を含んでもよい。上述の処理または装置の実装は、コンピュータ実行可能コード(構造化プログラミング言語(C等)、オブジェクト志向のプログラミング言語(C++等)、または他の任意の高レベルまたは低レベルプログラミング言語(アセンブリ言語、ハードウェア記述言語、データベースプログラミング言語および技術を含む)を用いて作成されるもの)(上述の装置の1つ以上で実行するために記憶され、コンパイルされ、または翻訳され得るもの)と、異種のプロセッサ、プロセッサアーキテクチャの組み合わせまたは様々なハードウェアおよびソフトウェアの組み合わせとを含んでもよいということがさらに理解される。別の態様では、本方法はその各ステップを実行するシステムとして実装されてもよく、いくつかのやり方で複数の装置にわたって分散されてもよい。同時に、処理が複数の装置(上述の様々なシステム等)にわたって分散してもよく、または、すべての機能が専用のスタンドアロン装置または他のハードウェアに統合されてもよい。別の態様では、上述の各処理に関連する各ステップを実行するための手段は、上述のハードウェアおよび/またはソフトウェアの任意のものを含んでもよい。そのような順列組み合わせのすべてが、本開示の範囲内に該当すると考えられる。
本明細書に記載の各実施形態は、コンピュータ実行可能コードまたはコンピュータ使用可能コード(1つ以上の計算装置で実行されると各ステップのすべておよび/または任意のものを実行する)を含むコンピュータプログラム製品を含んでもよい。コードは、一時的でない態様で、コンピュータメモリ(そこからプログラムが実行するものであってもよい。プロセッサに関連付けられたランダムアクセスメモリ等)または記憶装置(ディスクドライブ、フラッシュメモリ、または他の任意の光学的、電磁的、磁気的、赤外、または他の装置または装置の組み合わせ)に記憶されてもよい。別の態様では、上述のシステムおよび方法の任意のものが、任意の適切な伝送または伝搬媒体(コンピュータ実行可能コードを搬送するもの)および/またはその任意の入出力において実装されてもよい。
上述の装置、システムおよび方法は、限定としてではなく、例示として説明されるということが理解される。そうでないと明記した場合を除き、開示された各ステップは、本開示の範囲を逸脱することなく、修正、補充、省略、および/または並び替えることが可能である。多数の変形、追加、省略、および他の変更が、当業者には自明である。加えて、上述の説明および図面における方法ステップの順序および提示は、その順序が明示的に要求されるかまたは他の態様で文脈から明らかである場合を除いて、説明される各ステップがこの順に実行されることを要求するということは意図しない。
本明細書に記載される実装の各方法ステップは、異なる意味が明示的に提供されるかまたは他の態様で文脈から明白である場合を除き、そのような方法ステップを実行させる任意の適切な方法(添付の特許請求の範囲の特許性と整合する)を含むことが意図される。したがって、たとえば、ステップXを実行することは、他の関与者(たとえばリモートユーザ、リモート処理資源(サーバまたはクラウドコンピュータ等)または機械)に方法Xを実行させる任意の適切な方法を含む。同様に、ステップX,YおよびZを実行することは、そのような各ステップの利益を得るために、そのような他の個人または資源の任意の組み合わせがステップX、YおよびZを実行するよう制御するかまたは向ける、任意の方法を含んでもよい。したがって、異なる意味が明示的に与えられるかまたは他の態様で文脈から明白である場合を除き、本明細書に記載の実装の方法ステップは、1つ以上の他の関与者またはエンティティに、各ステップ(添付の特許請求の範囲の特許性と整合する)を実行させる任意の適切な方法を含むということが意図される。そのような関与者またはエンティティは、いかなる他の関与者またはエンティティの指示下または制御下にある必要もなく、特定の司法管轄区内に配置される必要もない。
さらに、上述の各方法は例示によって提供されるということが理解されるべきである。そうでないと明記した場合を除き、開示された各ステップは、本開示の範囲から逸脱することなく、修正、補充、省略、および/または並び替え可能である。
上述の各方法および各システムは、限定としてではなく、例示として説明されるということが理解される。多数の変形、追加、省略、および他の変更が、当業者には自明である。加えて、上述の説明および図面における方法ステップの順序または提示は、その順序が明示的に要求されるかまたは他の態様で文脈から明らかである場合を除き、説明される各ステップがこの順に実行されることを要求するということを意図しない。したがって、特定の実施形態が示され説明されたが、本開示の精神および範囲から逸脱することなく、形式および詳細における多数の変化および変更を行うことができるということが、当業者には自明である。

Claims (26)

  1. 音楽療法を提供することによる、物理的障害を有する患者のリハビリテーションのための方法であって、
    前記方法は、機械可読命令によって設定される1つ以上の物理的プロセッサを有するコンピュータシステム上で実装され、
    前記機械可読命令が実行される時に前記方法が実行され、
    前記方法は、
    前記患者から、前記患者の反復的運動に関する生物力学的データを受信して、ベースライン条件を決定することと、
    前記ベースライン条件に基づいて、一定の頻度を有するベースラインビートテンポを決定することと、
    前記ベースラインビートテンポにおいてビート信号を有する音楽を、前記患者に提供することと、
    関連付けられたベースラインビート信号にタイミングを合わせて各反復的運動を実行するためのキューを、前記患者に提供することと、
    前記ベースラインビート信号にタイミングを合わせて前記患者によって実行される前記反復的運動に関する、前記患者の、タイムスタンプを付された生物力学的データを受信することと、
    前記タイムスタンプを付された生物力学的データを解析して、前記反復的運動の1サイクル以上のオンセット時刻を特定することと、
    前記オンセット時刻および前記関連付けられたビート信号に基づき、エントレインメントパラメータを決定することと、
    前記エントレインメントパラメータに基づいて前記ベースラインビートテンポを変更することと、
    目標ビートテンポに到達したか否かを判定することと、
    を備える、方法。
  2. 前記患者から前記生物力学的データを測定することをさらに備える、請求項1に記載の方法。
  3. 前記患者から前記生物力学的データを測定することは、
    前記患者に関連付けられるセンサを提供することと、
    前記患者の運動に関連する運動、加速度および圧力を測定することと
    を備える、請求項2に記載の方法。
  4. 前記タイムスタンプを付された生物力学的データを解析して、前記反復的運動の1サイクル以上のオンセット時刻を特定することは、前記患者の足に関連付けられた圧力センサが閾値を超える時刻を特定することを備える、請求項3に記載の方法。
  5. 前記患者から前記生物力学的データを測定することは、
    画像キャプチャ装置を提供することと、
    前記患者の運動に関連する動画をキャプチャすることと、
    を備える、請求項2に記載の方法。
  6. 前記患者から前記生物力学的データを測定することは、前記患者に関連付けられたセンサから、前記データを前記コンピュータシステムへと送信することを備える、請求項2に記載の方法。
  7. 前記患者から前記生物力学的データを測定することは、患者の歩行の、歩幅、歩調、速度、移動距離、踵衝撃圧または対称性に対応するデータを抽出することを備える、請求項2に記載の方法。
  8. 各反復的運動を実行するためのキューを前記患者に提供することは、前記患者に視覚的または聴覚的キューを提供することを備える、請求項1に記載の方法。
  9. 前記視覚的または聴覚的キューを前記患者に対して表示するためのディスプレイを有するハンドヘルド装置を提供することをさらに備える、請求項8に記載の方法。
  10. エントレインメントパラメータを決定することは、前記ビート信号と、各反復的運動の前記オンセット時刻との間の遅延を決定することを備える、請求項1に記載の方法。
  11. 前記ビート信号と前記反復的運動の前記オンセット時刻との間の前記遅延が、ある時間的期間にわたって実質的に一定である場合に、前記ベースラインビートテンポを前記目標テンポに向けて増加させることをさらに備える、請求項10に記載の方法。
  12. 前記患者に音楽を提供することは、前記ベースラインビートテンポにおけるビート信号を有する音楽を選択することを備える、請求項1に記載の方法。
  13. 前記患者に音楽を提供することは、前記ベースラインビートテンポにおけるビート信号を有するように既存の音楽を修正することを備える、請求項1に記載の方法。
  14. 前記反復的運動は前記患者の歩行を含み、
    前記方法は、さらに、
    前記生物力学的データを解析して、前記患者の歩行の対称性を分類することと、
    前記患者の歩行が非対称であると考えられる場合に、前記患者の足の一方が動いている間に前記音楽に第1の修正を提供し、前記患者の足の他方が動いている間に前記音楽に第2の修正を提供することと、
    を備える、請求項1に記載の方法。
  15. 前記音楽の前記第1の修正および前記第2の修正は、互いに異なるものであり、コードの変化、音量の変化およびテンポの変化のうち少なくとも1つを含む、請求項14に記載の方法。
  16. 前記反復的運動は前記患者の歩行を含み、
    前記方法はさらに、
    前記生物力学的データを解析して、歩行を開始する際の欠陥を分類することと、
    前記患者のイニシエーションに問題がある場合に、イニシエーションを支援するために前記患者に触覚的フィードバックを提供することと
    を備える、請求項1に記載の方法。
  17. 前記患者の物理的運動の態様に関する、タイムスタンプが付された注記をユーザが提供できるようにするユーザインタフェースを提供することをさらに備える、請求項1に記載の方法。
  18. 前記患者の前記物理的運動は、前記タイムスタンプを付された注記および前記生物力学的データに基づいて解析される、請求項17に記載の方法。
  19. 音楽療法を提供することによる、物理的障害を有する患者のリハビリテーションのためのシステムであって、
    前記システムは、
    前記患者と相互作用するためのディスプレイを有するハンドヘルド装置と、
    前記患者に音楽を供給するために前記ハンドヘルド装置に接続される音楽提供装置と、
    前記患者に関連付けられる1つ以上のセンサであって、前記患者の反復的運動に関連する生物力学的パラメータを測定する、センサと、
    前記患者からの、タイムスタンプが付された生物力学的データと、タイムスタンプが付されたビート信号とを、前記ハンドヘルド装置に提供するための送信機と、
    前記ハンドヘルド装置と少なくとも間欠的に接続されるコンピュータシステムであって、機械可読命令によって設定される1つ以上の物理的プロセッサを有するコンピュータシステムと、
    を備え、
    前記機械可読命令は、
    前記患者の反復的運動に関する、前記患者の生物力学的データを受信して、ベースライン条件を決定し、
    前記ベースライン条件に基づいて、一定の頻度を有するベースラインビートテンポを決定し、
    前記ベースラインビートテンポにおいてビート信号を有する音楽を、前記患者に提供し、
    関連付けられたベースラインビート信号にタイミングを合わせて反復的運動を実行するためのキューを前記患者に提供するための指示を、前記ハンドヘルド装置に提供し、
    前記患者の、タイムスタンプを付された生物力学的データと、タイムスタンプが付されたビート信号とを受信し、
    前記生物力学的データを解析して、前記反復的運動の1サイクル以上のオンセット時刻を特定し、
    前記オンセット時刻および前記関連付けられたビート信号に基づき、エントレインメントパラメータを決定し、
    前記エントレインメントパラメータに基づいて前記ベースラインビートテンポを変更するための指示を前記ハンドヘルド装置に提供し、
    目標ビートテンポに到達したか否かを判定する
    ためのものである、システム。
  20. 前記1つ以上のセンサは、前記患者の運動に関連する動き、加速度および圧力を測定するためのセンサを備える、請求項19に記載のシステム。
  21. 前記1つ以上のセンサは、前記患者の運動に関連する動画をキャプチャするための撮像装置を備える、請求項20に記載のシステム。
  22. 前記ハンドヘルドまたは前記コンピュータに関連するプロセッサは、前記患者の、動き、加速度、圧力データおよび動画のうち1つ以上から、患者の歩行の、歩幅、歩調、速度、移動距離、踵衝撃圧および対称性のうち1つ以上に対応するデータを抽出する、請求項19に記載のシステム。
  23. プロセッサが、ビート信号と、前記反復的運動のオンセット時刻との間の遅延を決定するよう構成される、請求項19に記載のシステム。
  24. 前記反復的運動は前記患者の歩行を含み、
    前記コンピュータシステムは、機械可読命令によって設定され、
    前記機械可読命令は、
    前記生物力学的データを解析して、前記患者の歩行の対称性を分類し、
    前記患者の歩行が非対称であると考えられる場合に、前記患者の足の一方が動いている間に前記音楽に第1の修正を提供するとともに前記患者の足の他方が動いている間に前記音楽に第2の修正を提供するための指示を前記ハンドヘルド装置に提供する
    ためのものである、請求項19に記載のシステム。
  25. 前記音楽の前記第1の修正および前記第2の修正は、互いに異なるものであり、コードの変化、音量の変化およびテンポの変化のうち少なくとも1つを含む、請求項24に記載のシステム。
  26. 前記反復的運動は前記患者の歩行を含み、
    前記センサは触覚的フィードバック機構を備え、
    前記コンピュータシステムは機械可読命令によって設定され、
    前記機械可読命令は、
    前記生物力学的データを解析して、歩行を開始する際の欠陥を分類し、
    前記患者のイニシエーションに問題がある場合に、イニシエーションを支援するために前記センサから前記患者に触覚的フィードバックを提供するための指示を、前記ハンドヘルド装置に提供する
    ためのものである、請求項19に記載のシステム。
JP2019505329A 2016-04-14 2017-04-14 神経学的リハビリテーションのためのシステムおよび方法 Active JP7086930B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022092614A JP2022120028A (ja) 2016-04-14 2022-06-08 神経学的リハビリテーションのためのシステムおよび方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662322504P 2016-04-14 2016-04-14
US62/322,504 2016-04-14
PCT/US2017/027742 WO2017181093A1 (en) 2016-04-14 2017-04-14 Systems and methods for neurologic rehabilitation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022092614A Division JP2022120028A (ja) 2016-04-14 2022-06-08 神経学的リハビリテーションのためのシステムおよび方法

Publications (3)

Publication Number Publication Date
JP2019513527A true JP2019513527A (ja) 2019-05-30
JP2019513527A5 JP2019513527A5 (ja) 2020-05-21
JP7086930B2 JP7086930B2 (ja) 2022-06-20

Family

ID=60039255

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019505329A Active JP7086930B2 (ja) 2016-04-14 2017-04-14 神経学的リハビリテーションのためのシステムおよび方法
JP2022092614A Pending JP2022120028A (ja) 2016-04-14 2022-06-08 神経学的リハビリテーションのためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022092614A Pending JP2022120028A (ja) 2016-04-14 2022-06-08 神経学的リハビリテーションのためのシステムおよび方法

Country Status (7)

Country Link
US (3) US10448888B2 (ja)
EP (2) EP4180079A1 (ja)
JP (2) JP7086930B2 (ja)
KR (2) KR102487044B1 (ja)
CN (2) CN109219393B (ja)
CA (1) CA3020982A1 (ja)
WO (1) WO2017181093A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021026768A (ja) * 2019-08-08 2021-02-22 株式会社元気広場 機能改善支援システム、機能改善支援装置および端末装置
JP7510499B2 (ja) 2019-11-12 2024-07-03 メドリズムス,インコーポレイテッド 神経性リハビリテーションのためのシステムおよび方法

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996739B2 (en) * 2016-02-19 2018-06-12 Conduent Business Services, Llc System and method for automatic gait cycle segmentation
US20210345947A1 (en) * 2016-04-14 2021-11-11 MedRhythms, Inc. Systems and methods for augmented neurologic rehabilitation
EP4180079A1 (en) * 2016-04-14 2023-05-17 Medrhythms, Inc. Systems for neurologic rehabilitation
JP6653222B2 (ja) * 2016-06-06 2020-02-26 マクセル株式会社 手指運動練習メニュー生成システム、方法、及びプログラム
CN106390430B (zh) 2016-11-01 2019-03-05 爱柯迪股份有限公司 一种动力鞋装置的防倒转装置
CN106582003B (zh) 2016-11-01 2019-11-05 爱柯迪股份有限公司 一种电动动力鞋的调节机构
CN106390428B (zh) 2016-11-01 2019-03-05 爱柯迪股份有限公司 一种仿生电动动力鞋
US11468286B2 (en) * 2017-05-30 2022-10-11 Leica Microsystems Cms Gmbh Prediction guided sequential data learning method
US11728018B2 (en) 2017-07-02 2023-08-15 Oberon Sciences Ilan Ltd Subject-specific system and method for prevention of body adaptation for chronic treatment of disease
US20200129843A1 (en) 2017-07-08 2020-04-30 Nimbus Robotics, Inc. A Method and Device for Control of a Mobility Device
CN111556772A (zh) * 2017-11-05 2020-08-18 奥伯龙科学伊兰有限公司 为受试者定制的连续发展的基于随机化改善器官功能的方法
CN108114358B (zh) * 2017-12-21 2020-10-09 泰康保险集团股份有限公司 音乐康复系统
US11191433B2 (en) 2018-02-17 2021-12-07 Revibe Technologies, Inc. Apparatus and method for a personalized reminder with intelligent self-monitoring
US11583209B2 (en) * 2018-02-17 2023-02-21 Revibe Technologies, Inc. System and method for a personalized reminder with intelligent self-monitoring
WO2019180029A1 (en) * 2018-03-19 2019-09-26 Ao Technology Ag Device and method for evaluating gait asymmetry
US20210113914A1 (en) * 2018-04-29 2021-04-22 Nimbus Robotics, Inc. A gait controlled mobility device
EP3803863A4 (en) * 2018-05-30 2022-07-06 Tiktalk To Me Ltd. METHOD AND SYSTEMS FOR COMPUTER-ASSISTED LEARNING AND REFERENCE OF ORAL THERAPY
CN109085918B (zh) * 2018-06-28 2020-05-12 天津大学 基于肌电的针灸行针手法训练方法
WO2020056265A1 (en) 2018-09-14 2020-03-19 De Oro Devices, Inc. Cueing device and method for treating walking disorders
US10504496B1 (en) * 2019-04-23 2019-12-10 Sensoplex, Inc. Music tempo adjustment apparatus and method based on gait analysis
US11589781B2 (en) 2019-05-31 2023-02-28 Georgetown University Assessing diseases by analyzing gait measurements
WO2021051118A1 (en) * 2019-09-12 2021-03-18 MedRhythms, Inc. Systems and methods for neurologic rehabilitation
WO2021085785A1 (en) * 2019-10-29 2021-05-06 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof
KR102372849B1 (ko) * 2019-12-30 2022-03-10 순천향대학교 산학협력단 복합적 손 움직임 유도를 통한 뇌 운동 시스템 및 방법
WO2021188699A1 (en) * 2020-03-18 2021-09-23 De Oro Devices, Inc. Movement correction system and methods
US20230181059A1 (en) * 2020-05-14 2023-06-15 Vayyar Imaging Ltd. Systems and methods for ongoing monitoring of health and wellbeing
WO2022020493A1 (en) * 2020-07-21 2022-01-27 MedRhythms, Inc. Systems and methods for augmented neurologic rehabilitation
EP3967223A1 (en) * 2020-09-09 2022-03-16 Beats Medical Limited A system and method for providing tailored therapy to a user
WO2022087241A1 (en) 2020-10-21 2022-04-28 Shift Robotics, Inc. Power-driven shoe device wheel configuration with combined translational and rotational hinge mechanism and integrated gear-bushing assembly
CN113780223A (zh) * 2021-09-09 2021-12-10 北京信息科技大学 假肢的步态识别方法、装置及存储介质
US11847379B1 (en) 2022-09-23 2023-12-19 Blackbird Neuroscience Inc. Audio processing method and system for environmental enrichment therapy
KR102493903B1 (ko) * 2022-10-04 2023-02-01 에이트스튜디오 주식회사 운동 정보 제공 방법 및 장치
KR102525236B1 (ko) 2022-12-12 2023-04-25 주식회사 엠쓰리솔루션 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065891A (ja) * 2000-08-31 2002-03-05 Daiichikosho Co Ltd リハビリテーション支援装置
JP2006102156A (ja) * 2004-10-05 2006-04-20 Rikogaku Shinkokai 歩行介助システム
JP2007520309A (ja) * 2004-02-05 2007-07-26 モトリカ インク 音楽によるリハビリテーション
JP2007193907A (ja) * 2006-01-20 2007-08-02 Yamaha Corp 音楽再生制御装置及び音楽再生装置
US20100075806A1 (en) * 2008-03-24 2010-03-25 Michael Montgomery Biorhythm feedback system and method
JP2015202140A (ja) * 2014-04-11 2015-11-16 花王株式会社 歩行目標の設定方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL130818A (en) 1999-07-06 2005-07-25 Intercure Ltd Interventive-diagnostic device
US20020107556A1 (en) 2000-12-13 2002-08-08 Mcloul Raphael Fifo Movement initiation device used in Parkinson's disease and other disorders which affect muscle control
JP3867515B2 (ja) * 2001-05-11 2007-01-10 ヤマハ株式会社 楽音制御システムおよび楽音制御装置
US6644976B2 (en) 2001-09-10 2003-11-11 Epoch Innovations Ltd Apparatus, method and computer program product to produce or direct movements in synergic timed correlation with physiological activity
JP3822510B2 (ja) 2002-03-11 2006-09-20 独立行政法人科学技術振興機構 (チオ)エーテルの製造方法および(チオ)アセタールの製造方法
US8672852B2 (en) * 2002-12-13 2014-03-18 Intercure Ltd. Apparatus and method for beneficial modification of biorhythmic activity
WO2004099942A2 (en) 2003-03-05 2004-11-18 The Arizona Board Of Regents Gait recognition system
US7521623B2 (en) 2004-11-24 2009-04-21 Apple Inc. Music synchronization arrangement
CN1921913A (zh) 2004-02-19 2007-02-28 皇家飞利浦电子股份有限公司 音频定步装置
JP2006114174A (ja) * 2004-10-18 2006-04-27 Sony Corp コンテンツ再生方法およびコンテンツ再生装置
JP4389821B2 (ja) * 2005-03-22 2009-12-24 ソニー株式会社 体動検出装置、コンテンツ再生装置、体動検出方法およびコンテンツ再生方法
US20070074617A1 (en) 2005-10-04 2007-04-05 Linda Vergo System and method for tailoring music to an activity
US7825319B2 (en) 2005-10-06 2010-11-02 Pacing Technologies Llc System and method for pacing repetitive motion activities
US7728214B2 (en) 2005-11-23 2010-06-01 Microsoft Corporation Using music to influence a person's exercise performance
US9779751B2 (en) * 2005-12-28 2017-10-03 Breath Research, Inc. Respiratory biofeedback devices, systems, and methods
US7978081B2 (en) * 2006-01-09 2011-07-12 Applied Technology Holdings, Inc. Apparatus, systems, and methods for communicating biometric and biomechanical information
US20080097633A1 (en) 2006-09-29 2008-04-24 Texas Instruments Incorporated Beat matching systems
WO2008151642A1 (en) * 2007-06-12 2008-12-18 Nokia Corporation Directing shoe insole
US8221290B2 (en) * 2007-08-17 2012-07-17 Adidas International Marketing B.V. Sports electronic training system with electronic gaming features, and applications thereof
JP2009195260A (ja) * 2008-02-19 2009-09-03 Mitsubishi Chemicals Corp 生体の心身状態調整システム及びコンピュータ読み取り可能な記録媒体
TWI368494B (en) * 2009-01-10 2012-07-21 Nat Univ Chung Hsing Device and method for real-time cardiopulmonary rehabilitation treatment with a remote automatic monitoring function
EP2213226B1 (en) * 2009-02-03 2012-06-13 Heinrich Zimmermann System, method and device for auditory representation of rhythmical parameters
US10548512B2 (en) 2009-06-24 2020-02-04 The Medical Research, Infrastructure and Health Services Fund of the Tel Aviv Medical Center Automated near-fall detector
US9619891B2 (en) 2010-08-26 2017-04-11 Blast Motion Inc. Event analysis and tagging system
CN102138781B (zh) * 2011-03-08 2012-10-24 清华大学 一种手机生物反馈治疗系统
US9993181B2 (en) * 2011-03-24 2018-06-12 Med Hab, LLC System and method for monitoring a runner'S gait
CN102139140A (zh) * 2011-04-27 2011-08-03 华南理工大学 带声乐功能的经颅微电流刺激器
US20130060166A1 (en) * 2011-09-01 2013-03-07 The Regents Of The University Of California Device and method for providing hand rehabilitation and assessment of hand function
WO2013086534A1 (en) 2011-12-08 2013-06-13 Neurodar, Llc Apparatus, system, and method for therapy based speech enhancement and brain reconfiguration
US10459972B2 (en) 2012-09-07 2019-10-29 Biobeats Group Ltd Biometric-music interaction methods and systems
US9424348B1 (en) 2013-05-08 2016-08-23 Rock My World, Inc. Sensor-driven audio playback modification
US10299738B2 (en) 2013-05-16 2019-05-28 New York University Game-based sensorimotor rehabilitator
CN203520855U (zh) * 2013-10-17 2014-04-02 霍橡楠 音乐健身拍打器
US10321842B2 (en) * 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data
US20160055420A1 (en) 2014-08-20 2016-02-25 Puretech Management, Inc. Systems and techniques for identifying and exploiting relationships between media consumption and health
CN204468592U (zh) * 2015-01-15 2015-07-15 郑飞 一种基于体感振动音乐疗法的多功能康复床
US9536560B2 (en) 2015-05-19 2017-01-03 Spotify Ab Cadence determination and media content selection
US9836118B2 (en) 2015-06-16 2017-12-05 Wilson Steele Method and system for analyzing a movement of a person
CN105771087A (zh) 2016-04-06 2016-07-20 上海乃欣电子科技有限公司 基于音乐和肌电反馈刺激的康复训练系统
EP4180079A1 (en) * 2016-04-14 2023-05-17 Medrhythms, Inc. Systems for neurologic rehabilitation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065891A (ja) * 2000-08-31 2002-03-05 Daiichikosho Co Ltd リハビリテーション支援装置
JP2007520309A (ja) * 2004-02-05 2007-07-26 モトリカ インク 音楽によるリハビリテーション
JP2006102156A (ja) * 2004-10-05 2006-04-20 Rikogaku Shinkokai 歩行介助システム
JP2007193907A (ja) * 2006-01-20 2007-08-02 Yamaha Corp 音楽再生制御装置及び音楽再生装置
US20100075806A1 (en) * 2008-03-24 2010-03-25 Michael Montgomery Biorhythm feedback system and method
JP2015202140A (ja) * 2014-04-11 2015-11-16 花王株式会社 歩行目標の設定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
伊藤友孝: "「人体下肢の歩行計測・評価システムの構築」", ロボティクス・メカトロニクス講演会 ’09 講演論文集 PROCEEDINGS OF THE 2, JPN6021017371, 24 May 2009 (2009-05-24), pages 1 - 05, ISSN: 0004689433 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021026768A (ja) * 2019-08-08 2021-02-22 株式会社元気広場 機能改善支援システム、機能改善支援装置および端末装置
JP7510499B2 (ja) 2019-11-12 2024-07-03 メドリズムス,インコーポレイテッド 神経性リハビリテーションのためのシステムおよび方法

Also Published As

Publication number Publication date
CN109219393B (zh) 2021-10-15
US11779274B2 (en) 2023-10-10
KR20190029510A (ko) 2019-03-20
CN109219393A (zh) 2019-01-15
US20170296116A1 (en) 2017-10-19
KR20220044364A (ko) 2022-04-07
KR102378434B1 (ko) 2022-03-25
US20240172994A1 (en) 2024-05-30
WO2017181093A1 (en) 2017-10-19
CN114190924A (zh) 2022-03-18
EP3442418A1 (en) 2019-02-20
EP4180079A1 (en) 2023-05-17
JP2022120028A (ja) 2022-08-17
EP3442418B1 (en) 2022-11-02
JP7086930B2 (ja) 2022-06-20
US20200138363A1 (en) 2020-05-07
US10448888B2 (en) 2019-10-22
KR102487044B1 (ko) 2023-01-11
EP3442418A4 (en) 2019-12-11
CN114190924B (zh) 2023-12-15
CA3020982A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
JP7086930B2 (ja) 神経学的リハビリテーションのためのシステムおよび方法
Pereira et al. A survey on computer-assisted Parkinson's disease diagnosis
US20210345947A1 (en) Systems and methods for augmented neurologic rehabilitation
US20210086024A1 (en) Systems and methods for neurologic rehabilitation
WO2020102223A2 (en) Intelligent health monitoring
KR20230042066A (ko) 증강된 신경학적 재활을 위한 시스템들 및 방법들
CN112805765B (zh) 信息处理装置
Nymoen Methods and technologies for analysing links between musical sound and body motion
Lussu et al. The role of respiration audio in multimodal analysis of movement qualities
JP7510499B2 (ja) 神経性リハビリテーションのためのシステムおよび方法
KR20220117867A (ko) 신경 재활을 위한 시스템 및 방법
Gómez-Vilda et al. Data-Driven Vs Model-Driven Approaches in Cognitive Speech Processing
Peyre et al. Effect of sonification types in upper-limb movement: a quantitative and qualitative study in hemiparetic and healthy participants
Zhang Machine learning-based health-related behavior detection using wearables
Sunela Real-time musical sonification in rehabilitation technology
Khan Data Analysis for Physical Activity Monitoring
Pereira Aprendizado de máquina aplicado ao auxílio do diagnóstico da doença de Parkinson

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220608

R150 Certificate of patent or registration of utility model

Ref document number: 7086930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150