JP2023062034A - 反復動作運動用の音楽の改良 - Google Patents

Abstract

【課題】反復運動療法を提供する。【解決手段】反復運動療法を提供する方法は、オーディオコンテンツへのアクセスを提供することと、患者に届けるオーディオコンテンツを選択することと、選択したオーディオコンテンツの分析を行うことと、選択したオーディオコンテンツのエントレインメント適合性分析を行うことと、選択したオーディオコンテンツに対してエントレインメントの補助的なキューを生成することと、選択したオーディオコンテンツの再生に同期させて該補助的なキューを該オーディオコンテンツに適用することと、該患者への治療効果を評価することとを含む。【選択図】図３

Description

関連出願の相互参照
本出願は、米国特許法第１１９条（ｅ）に基づき、２０１７年７月２４日に出願された米国仮特許出願第６２／５３６，２６４号に対する優先権の利益を主張するものであり、この仮特許出願の全内容は本明細書に援用される。

音楽は、脳の広範囲にわたる領域を一度に活性化するものである。生理学的研究によると、聴覚リズムが運動系に大きな影響を与えることがわかっている。聴覚系と運動系は、皮質レベル、皮質下レベル、及び脊髄レベルで強く結び付いていることが明らかになっているのである。この現象のことを実際にはエントレインメントと称する。この深い結び付きが知られるようになり、脳損傷を患う患者に神経学的運動療法を行う中で、リズムと音楽が機能的変化をもたらす効果について検討する臨床試験が数多く行われている。

こうした療法が正式に導入されて以来、多くの研究がなされ、臨床上の効果が評価されてきた。一例として、リズム聴覚刺激法（Rhythmic Auditory Stimulation：ＲＡＳ）が歩行パターンに及ぼす影響を理解することを目的として、脳血管障害後の脳卒中患者を対象に計画された試験がある。そこでは、６メートルのベースライン歩行を行った後に続いて、歩行試験がＲＡＳと合わせて行われた。その結果によると、患者の多くに聴覚－運動同調が生じることがわかった。ＲＡＳによって歩行の左右対称性及び歩幅が有意に改善されていた（ｐ＜０．０５）。患者の筋電図（ＥＭＧ）記録では、麻痺側の筋肉活性化が促進されていた。

別の試験では、歩行訓練で、ＲＡＳ療法を受けた脳卒中患者と、従来の理学療法を用いた脳卒中患者とを比較している。その結果、ＲＡＳ群では歩行速度及び歩幅において有意に大きい改善が見られた。ＲＡＳ群では歩行速度が１６５％改善する一方で、対照群では１０７％の改善であった。また、パーキンソン病患者には、音楽療法を受けた後に、動作緩慢症状に明らかな改善が見られた（ｐ＜０．０００１）。刺激的なリズミック音楽がパーキンソン病患者の協調性に及ぼす影響を分析したところ、このリズム音楽療法を３週間行った後に、患者の歩幅が長くなり、歩行速度が平均２５％向上した。

このリズム聴覚法によってパーキンソン病を持つ患者の歩行パターンが改善するかを調べた研究によると、歩行の改善が一貫して見られている。こうした研究では、音楽のリズムのスピードを上げると、有意に歩行速度が上がり、歩調が速まり、歩幅が大きくなった。これは、リズムを介して聴覚系と運動系とを繋げることにより歩行を改善するという聴覚リズムの効果を、さらに裏付けるものである。群間のＥＥＧを比較した結果、音楽療法を受けた患者には対照患者と比べて極めて有意な改善が見られ、神経学的音楽療法（ＮＭＴ）を受けた患者の皮質連結性が強化され、運動皮質がさらに活性化されることがわかっている。

網様体脊髄路の連結を介した聴覚－運動路が存在することによって、リズムが脳幹レベルで脳の機能を高めることも示されている。小脳において、聴覚は橋核を経由して投射されるものである。さらに、上行性聴覚路の１つである下丘は、視床を経由して大脳基底核の線条体に投射するものである。大脳基底核は主に、補充運動皮質及び前運動皮質を含めた皮質構造への投射を担っている。また、聴覚連合野は大脳基底核に再投射し、タイミング及び順序付け選択の機能に影響を与える。Mooreらは２０１７年に、音楽を使った運動訓練が、弓状束と称する脳領域を密にしかつ変化させることを促し、これが運動計画に重要な役割を果たすことを明らかにした（Moore et al, 2017）。こうしたプロセス及び経路は、音楽療法の聴覚リズムが運動出力に大きな影響を与えることを裏付けている。

歴史上、音楽は、文化的背景を問わない世界共通の言語であったことは明らかであり（Blacking, 1976）、言語コンテンツに関係なく聴き手に情動的なサリエンシーを伝えることができるものである。情動的なサリエンシーの情報というのは、重症の外傷性脳損傷の場合でさえも、極めて大きな行動変化を引き出すことがわかっていた。（Boly et al., 2004; Perrin et al., 2006; Machado et al., 2007）。最近の研究によれば、好みの音楽の生演奏は、即興音楽、好みではない音楽、白色雑音、及び無音などを含めた他の聴覚入力と比べて、健常対象においても植物状態の対象においても覚醒と意識の観点から極めて高いレベルでの認知応答を生じさせることが明らかになった（O’Kelly, et al., 2013）。

当該技術分野では、例えば、楽曲に身体運動とのエントレインメントをもたらすことによって、歩行、粗大運動技能、リズム発声、巧緻さ、呼吸などの身体機能を改善することを目的に、セッションで音楽を使用する技術が必要とされている。そこで、ユーザーの好みの音楽などのオーディオファイルを分析し、顕著な音楽上の特徴を抽出し、セッションで使用するのに適正であるかを判定し、必要な場合には、リズム安定度及びビート強度などのエントレインメント適合性因子を強めてセッションで使用できるようにする技術を提供する。

「リズム安定度」とは、テンポの分散、拍子記号／拍節、及びリズムパターンを含めた複合スコアのことである。「ビート強度」とは、ビート（その速度で聴き手が音楽に合わせて自然にタップする）が作る知覚音の大きさのことであり、二乗平均平方根（ＲＭＳ）エネルギーで算出される。ビートは、ドラムなどの打楽器で刻まれることが多いが、必ずしもそうとは限らない。これらや他の適合性因子についてはセクション２の「エントレインメント適合性」においてさらに説明されている。

録音されている音楽は一般的に、テンポ及び拍子記号の変化などの動的な要素や、リズムの脈動が少ないか存在しないセクション、フェードイン／フェードアウト、シンコペーションなどを含んでおり、最初から終わりまで同質の変化のない調子であることはほとんどない。これは表現に関わる演奏に固有のものであるが、エントレインメントとして用いる場合に様々な課題を提示する。最も単純な場合、効果的なＲＡＳ刺激は、等間隔のビートで所望のテンポを刻むメトロノームである。メトロノームは効果的ではあるが、聴き手が好みの音楽に抱く魅力的な音楽特性を欠くことになる。また、反復動作運動に適した選択曲としては、マイケル・ジャクソンの「ビリー・ジーン」またはマーク・ロンソンの「アップタウン・ファンク」などの一様な等間隔ビートを一定テンポと強いビート強度で持つ曲が理想的である。エントレインメントに適していない曲（「曲」はゼロではない長さを持つ１つのオーディオコンテンツとして定義される）としては、リズムを持っていない曲（ブライアン・イーノの「アンダー・スターズ」）か、または急なテンポの変調を含む曲（ポール・マッカートニー＆ウィングスの「バンド・オン・ザ・ラン」）が挙げられる。さらに、ある種のジャンルには、特定できるマクロトレンドが含まれており、このトレンドによって分類データを得ることができる（例えば、ヒップホップはドラムマシンに録音するのが一般的であり、その結果テンポの分散が少なくなる）。本明細書に記載されている技術は、ユーザーの好みの音楽を操作して、その音楽がアドレス指定範囲内に複雑性を持つ場合であっても、治療セッションに対する適合性を向上させることができる。例えば、オーディオ信号に対して補助的なキューまたは増強を入れることによって、音楽のリズム安定度を治療運動での使用に適するように改善するものである。

本開示の発明対象の目的及び利点は以下に記載されており、以下の説明から明らかになると共に、本開示の発明対象の実施によって理解されるであろう。本開示の発明対象のさらなる利点は、特に本明細書及び特許請求の範囲、ならびに添付の図面に示した方法及びシステムによって理解され、達成されるであろう。

本明細書で具体化され広範に記載されている通り、これらの利点及び他の利点を達成するためにならびに本開示の発明対象の目的に従って、本開示の発明対象は、反復運動療法を提供する方法であって、オーディオコンテンツへのアクセスを提供することと、患者に届けるオーディオコンテンツを選択することと、選択したオーディオコンテンツの分析を行うことであって、該分析が選択したオーディオコンテンツのオーディオ特性を特定し、選択したオーディオコンテンツのリズム特性及び構造特性を抽出する、分析を行うことと、選択したオーディオコンテンツのエントレインメント適合性分析を行うことと、選択したオーディオコンテンツに対してエントレインメントの補助的なキューを生成することであって、該補助的なキューが該オーディオコンテンツに加えられる音を含む、生成することと、選択したオーディオコンテンツの再生に同期させて該補助的なキューを該オーディオコンテンツに適用することと、該患者への治療効果を評価することであって、治療しきい値が検出される場合には選択したオーディオコンテンツを再生し続け、治療しきい値が検出されない場合には第２のオーディオコンテンツを患者に届けるために選択する、評価することと、を含む方法からなるものである。

一部の実施形態では、本方法は、オーディオコンテンツのリポジトリをアップデートして、評価工程からのフィードバックを組み込むことをさらに含む。

一部の実施形態では、選択したオーディオコンテンツの分析を行うことは、ビートトラッキングアルゴリズムに範囲を提供することを含む。

一部の実施形態では、該オーディオコンテンツは音楽を含み、該範囲はその音楽ジャンルのテンポの平均である。

一部の実施形態では、オーディオコンテンツの分析を行うことは、オンセット検出関数（ＯＤＦ）を適用することと、各ＯＤＦの結果をオーディオ信号のビート時刻に対して補正することとを含む。

一部の実施形態では、本方法は、選択したオーディオコンテンツに変更を施すことをさらに含み、少なくとも１つの変更が該オーディオコンテンツのタイミング調整を含んでいる。

一部の実施形態では、オーディオコンテンツは患者にストリーミングされる。

一部の実施形態では、反復運動療法を提供する方法は、オーディオコンテンツのリポジトリを提供することと、患者に届けるオーディオコンテンツを選択することと、選択したオーディオコンテンツの分析を行うことであって、該分析が選択したオーディオコンテンツの高レベル特性及び低レベル特性を特定し、該分析が選択したオーディオコンテンツのテンポを算出する、分析を行うことと、選択したオーディオコンテンツのエントレインメント分析を行うことであって、該エントレインメント分析が複数の音楽要素に対して適合性スコアを割り当てる、分析を行うことと、選択したオーディオコンテンツに対してエントレインメントの補助的なキューを生成することであって、該補助的なキューが選択したオーディオコンテンツに加えられる音を含む、生成することと、選択したオーディオコンテンツの再生と同期させて該補助的なキューを該オーディオファイルに適用することと、該患者への治療効果を評価することであって、治療しきい値が検出される場合には選択したオーディオコンテンツを再生し続け、治療しきい値が検出されない場合には第２のオーディオコンテンツを患者に届けるために選択する、評価することと、オーディオコンテンツのデータベースをアップデートして、該評価する工程からのフィードバックを組み込むことと、を含む。

一部の実施形態では、エントレインメント分析は、平均テンポ、ビート強度、ビート時刻信頼度、リズム安定度、拍子記号、テンポ知覚信頼度、または有効演奏時間のうちの少なくとも１つに関して、エントレインメント適合性スコアを算出する。

一部の実施形態では、生成するエントレインメントの補助的なキューには、選択したオーディオコンテンツの各ビートに乗せる単一ビート音楽キューが含まれる。

一部の実施形態では、音楽キューは患者の片耳に届けられる。

一部の実施形態では、音楽キューはリズム安定度が低いオーディオコンテンツのセクションに加えられる。

一部の実施形態では、本方法は、選択したオーディオコンテンツに変更を施すことをさらに含み、少なくとも１つの変更が該オーディオコンテンツのタイミング調整を含んでいる。

一部の実施形態では、第１のオーディオコンテンツに変更を施すことは、オーディオコンテンツにドラムの増強をもたらすことを含む。

一部の実施形態では、第１のオーディオコンテンツに変更を施すことは、オーディオコンテンツに構造的な変更を加えることを含む。

一部の実施形態では、反復運動療法を提供する方法は、オーディオコンテンツのリポジトリを提供することと、患者に届けるオーディオコンテンツを選択することと、選択したオーディオコンテンツの分析を行うことであって、該分析が該オーディオコンテンツの高レベル特性及び低レベル特性を特定し、該分析が該オーディオコンテンツのテンポを算出する、分析を行うことと、該オーディオコンテンツのエントレインメント分析を行うことであって、該エントレインメント分析が、平均テンポ、テンポ分散、テンポ知覚度、拍子記号、リズムパターン分散、オーディオコンテンツ全体を通した複数のセクションにおけるリズム部分の検出、及びオーディオコンテンツにおける最初のビートと最後のビートの位置、のうちの少なくとも１つを含む要素に対して適合性スコアを割り当てる、分析を行うことと、該オーディオコンテンツに対してエントレインメントの補助的なキューを生成することであって、該補助的なキューが該オーディオコンテンツに加えられる音を含み、該加えられる音が、該オーディオコンテンツの４分音符で再生される単一の打楽器音、該オーディオコンテンツ及びその細分のビートで再生される打楽器音、該オーディオコンテンツに同調したドラムパターン、ならびに該オーディオコンテンツのビートをカウントするボイスのうちの少なくとも１つを含む、生成することと、を含む。

一部の実施形態では、反復動作は歩行を含む。

一部の実施形態では、本方法は、患者の歩調とオーディオコンテンツのテンポとの相関に基づいて、オーディオコンテンツにエントレインメント適合性スコアを割り当てることをさらに含む。

一部の実施形態では、エントレインメント適合性スコアは、エントレインメントの補助的なキューをオーディオコンテンツに適用する前及び適用した後に算出される。

上記の一般的説明及び以下の詳細な説明は、何れも例示であって、請求される本開示の発明対象をさらに説明することを意図するものであることが理解されるべきである。

添付の図面は、本明細書に援用されておりかつ本明細書の一部を構成するものであり、本開示の発明対象の方法及びシステムを図を用いて示し、さらに理解することを目的に添えられている。本明細書と合わせて、本図面は、本開示の発明対象の原理を説明するのに用いるものである。

本明細書に記載の種々の態様、特徴、及び発明対象の実施形態を、添付の図面を参照して詳細に説明するが、添付の図面について以下に簡潔に述べる。図面は例示的なものであり、必ずしも一定の縮尺ではなく、明確に示すために構成要素や特徴が誇張されている場合がある。図面は、本発明対象の種々の態様及び特徴を示すものであり、本発明対象の１つまたは複数の実施形態または例を、全体的にまたは部分的に示すものであってもよい。

本開示によるコンピュータ生成分析の例示的実施形態のフローチャートを示す図である。 本開示によるユーザー検証分析の例示的実施形態のフローチャートを示す図である。 本開示によるオンセット検出及びビートトラッキングの例示的実施形態のフローチャートを示す図である。 本開示によるエントレインメント適合性の例示的実施形態のフローチャートを示す図である。 本開示のビート強度を示す図である。 本開示の高いリズム遍在度を示す図である。 同上。 本開示の低いリズム遍在度を示す図である。 同上。 マイケル・ジャクソンの「ビリー・ジーン」を再生している例示的実施形態での小さいテンポドリフト（好適）を示す図である。 ビョークの「ミューチュアル・コア」を再生している例示的実施形態での大きいテンポドリフト（不適）を示す図である。 本開示によるテンポ変調の例を示す図である。 本開示に従う補助的なキューを用いていない患者動作の例を示す図である。 本開示に従う補助的なキューを用いた患者動作の例を示す図である。 補助的なキューを本開示によるセッション中に生成した場合の例示的実施形態を示す図である。 同上。 同上。 本開示によるビート時刻で打楽器キューを加えた例を示す図である。 同上。 本開示によるドラムループ（量子化前）の例示的実施形態を示す図である。 本開示によるドラムループ（ビート毎に量子化）の例示的実施形態を示す図である。 本開示による構造変更の例示的実施形態を示す図である。 本開示による種々の治療運動の例示的実施形態を示す図である。 同上。 同上。 同上。 同上。 同上。 同上。 本開示による機械学習モデル作成プロセスの例示的実施形態を示す図である。 本開示によるウェーブレット変換の例示的実施形態を示す図である。 同上。 同上。 同上。 同上。 同上。 同上。 同上。 同上。 同上。

以下、本開示の発明対象の例示的実施形態を詳細に参照するが、その例を添付図面に示している。本開示の発明対象の方法及び対応する工程について、本システムの詳細記載と合わせて以下説明する。

説明される工程は、図１及び図２に示す２つの異なるプロセス、ならびにこの２つのプロセスの組み合わせに準ずることができる。第１のプロセスは「コンピュータ生成分析」であり、第２のプロセスは「ユーザー主導分析」である。

図１を参照すると、「コンピュータ生成分析」は以下の工程を含む。
１．オーディオファイルを分析して高レベル特性及び低レベル特性を得る（１）
２．オーディオ分析結果を用いて、その曲がエントレインメントに適合する程度を算出する（２）
３．オーディオ分析結果とエントレインメント適合性分析結果とを用いて、オーディオに対する補助的増強及び／または変更を生成する（３）
４．補助的な増強を実際のエントレインメントのセッションに適用して、必要な場合にはリアルタイムでさらなる補助的なキューを求める（４）
５．得られた結果から学習する（機械学習バックエンド）（５）

図２を参照すると、「ユーザー検証分析」は以下の工程を含む。オーディオファイルを分析して高レベル特性及び低レベル特性を得る。ユーザーが選択した楽曲を用いて元の状態（キューも変更も加えていない状態）のままセッションを行う。ユーザーが元の状態でその楽曲にエントレインメントされ得る場合には変更の必要がなく、その曲を使用し続ける。ユーザーがその楽曲にエントレインメントされ得ない場合には、エントレインメント適合性工程３～４を行って、適正な増強を加える。セッションからのデータを記録して、その結果から学習する（５）。
（１）オーディオ分析
高レベル分析

オーディオ分析プロセスでは、まずジャンル、年、由来などの録音したものに関する高レベルのコンテクスト上の情報を抽出する。この情報を低レベル分析に適用することができ、以下に示すように、その音楽が知覚される程度を考慮することによって、より正確な結果が得られるようにする。以下に考えられる例を示す。
●ジャンルの平均テンポに基づいて、テンポの合図または高域側及び低域側の許容テンポ範囲をビートトラッキングアルゴリズムに加える（以下の「ビートトラッキング技術」を参照）。例えば、ロカビリージャンルの音楽は、聴き手が倍テンポとして知覚できる８分音符のスネアドラムオフビートにアクセントを付けることが多い。例として、ジョニー・キャッシュの「リング・オブ・ファイア」では１０５ＢＰＭまたは２１０ＢＰＭとして知覚することができる。ジャンルの曲調を知ることにより、典型的な歩調の範囲内となる比較的遅いテンポをビートトラッカーが選択できるようにする。
●例えば、そのジャンルが通例、弱いビート強度、不規則な拍子記号、低いリズム安定度（例えば、ヒーリング的、クラシック的、実験的）を含む場合には、その曲を問題のある可能性があるとしてフラグを立てる。
●ジャンルの慣習に基づき、より正確なビートトラッキング及びダウンビートを推定する。例えば、レゲエでは、１拍目と３拍目よりも２拍目と４拍目にアクセントを付けるのが一般的である。これを考慮して、ビートトラッカーに、さもなければ見逃されがちなこうした弱いビートを探すようにインプットする。一方、ロックやポップでは、バックビートが２拍目と４拍目であり１拍目と３拍目ではない。
●オンセット検出関数の重み付け及び信号前処理などの他の音楽分析ルール（以下の「ビートトラッキング技術」を参照）を適用する。

ジャンルを知ることはまた、拡大／増強工程（以下に示す）に有用である場合があるが、これはその曲調に適切な音楽キューを生成することができるためである。

さらに、分析の結果、低いエントレインメント適合性スコアが返された場合には、ユーザーの好みのジャンルを知ることにより、高いエントレインメント適合性スコアを持つ同様のコンテンツを代替の選択肢として推奨することができるようになる。

高レベルの曲データを得る方法として、以下が挙げられる。
●ＭＦＣＣ（メル周波数ケプストラム係数）などの適切な抽出特徴を分析する学習済み分類モデル（ＭＬ）の使用
●オーディオフィンガープリントサービス（Gracenote、ARクラウド、AcoustIDなど）の使用
●サードパーティの音楽ＡＰＩメタデータ（Spotify、Deezerなど）の使用
●ユーザーが提供するメタデータの使用
低レベル分析

音楽特性の抽出を行うために、本システムは音楽情報検索（ＭＩＲ）分野の信号処理技術を用いている。この技術は、現在活発に取り組まれている研究領域であり、キー、曲構造、テンポ、拍節、音の大きさ、及びビート時刻を含めた音楽特性の自動注釈を可能にすることを目的とするものである。本システムは、主にリズム特性、構造特性、及びエネルギー特性の分析に関わるものであり、これらは曲が安定で強いＲＡＳ刺激として機能することができるかどうかを示す最も重要な指標となる。分析段階で抽出される特性としては以下のものが挙げられる。
リズム特性：
●平均テンポ（ＢＰＭ）
●最小テンポ及び最大テンポ（ＢＰＭ）
●曲全体を通したローカルテンポ値（瞬間ＢＰＭ）
●拍子（分：秒：ミリ秒値の昇順リスト、信頼値（０．０～５．３））
●ビート音の大きさ（ビート時刻におけるＲＭＳエネルギー）
●小節ダウンビート時刻（各小節の１拍目に対応する分：秒：ミリ秒値の昇順リスト）
●拍子記号（２／４、３／４、４／４、６／８など、及びその分：秒：ミリ秒の時間範囲）
構造特性：
●曲セクション時間（分：秒：ミリ秒の時間範囲）
●演奏時間（分：秒：ミリ秒）
●最初の強いビートの時刻（分：秒：ミリ秒）
●最後の強いビートの時刻（分：秒：ミリ秒）
●無音検出（分：秒：ミリ秒の時間範囲）
●フェードイン／フェードアウトセクションの検出（分：秒：ミリ秒の時間範囲）
オーディオ信号：
●ステレオオーディオファイルの左／右チャネルバランス（ＲＭＳＥ）（％）
ビートトラッキング技術

ビートトラッキングは、曲内でビートが生じる時であって、人の聴き手が音楽に合わせて直感的に足で拍子をとる（またはエントレインメントされる）時刻のリストを抽出するプロセスである。これは、本システム分析の核心となる部分である。これらの拍子を知ることは、音楽のビートに応じて患者が歩行する様子を測定するために必要となるからである（セクション４の「エントレインメントセッションの実行」を参照）。ビートトラッキングシステムは通例、以下の複数の段階、（１）オンセットの検出段階（本明細書では再生される音またはドラムなどの音楽イベントが知覚できる時と定義）、（２）最も顕著な周期性を持つオンセットを見つけて規則的なビートのオンセットを決定する分析段階、の順に実行される。

オンセットは、オンセット検出関数（ＯＤＦ）と称するノベルティ関数を用いて信号から検出することができる。ＯＤＦは、多くの場合、周波数帯全域におけるエネルギー（スペクトルエネルギー）の急増を特定することによってオンセットを検出するのに当該技術分野で使用され、短時間フーリエ変換（ＳＴＦＴ）またはウェーブレット変換などのウィンドウ分析方法を用いて元の信号（時間領域）を時間周波数領域に変換することにより実行されるものである。ＲＭＳエネルギーにおける変動の検出などの他の手法もある。ＯＤＦは様々な種類の信号で適正に機能し、曲間に元来固有のばらつきがある場合には、全コンテクストでオンセットを適正に検出する「最良」の特定ＯＤＦが１つしかないわけではない。オーディオ信号は、モノラル演奏または多音演奏を表し得るものであり、打奏的であっても打奏的でなくてもよく、ピッチ付き打奏であってもピッチ付き打奏でなくてもよい。例えば、ＲＭＳエネルギーを用いる方法は、はっきりとした打奏変化のあるモノラル信号には適するが、複雑な多音信号及び大きな変化を伴わない信号には適さない場合がある。一方、スペクトルエネルギーを用いるＯＤＦは計算に時間がかかるが、多音信号のオンセットを検出するか、または各音の開始時にアタックや変化がない場合（すなわちレガート演奏でのスラーなど）に低エネルギーオンセットを検出するのに有効である。ＯＤＦが本システムに特に重要であるのは、ＯＤＦによって低いビート強度を持つ好みの音楽のオンセット検出が可能になるからである。ビート時刻をこれらの検出から算出して、ビート強度を改善することができる（セクション３のトラック増強を参照）。ＯＤＦの例に関するさらなる情報については付録Ａ：ＤＷＴ（Discrete Wavelet Transform：離散ウェーブレット変換）を用いたビート検出例を参照されたい。

本システムは、それぞれが同時的または逐次的に一連の検出を行うＯＤＦの組み合わせを利用した、フレキシブルな方法を提供する。この適応性に優れた方法は、単一のＯＤＦよりも信頼性に優れており、拍子から予想される手動での注釈付きグランドトゥルースを必要とすることなく信頼基準を計算できるようにする。使用するＯＤＦには、スペクトルフラックス、スーパーフラックス、ＲＭＳエネルギー、高周波数コンテンツ、及びウェーブレット変換が含まれる。信号を各ＯＤＦで処理する前に、任意選択的に、特定の周波数を分離もしくはフィルタリングするか、または信号を調波信号もしくは打楽器信号に別々に分解して、打楽器信号からオンセットを検出するといった前処理工程を実行することもできる。各ＯＤＦで検出を行った後に、各一連の結果を、観測した顕著な周期性からビート時刻を推定するビートトラッキングアルゴリズムを用いて評価する。次に、各ビート時刻群間の一致レベルを、ビートの各組み合わせ間のタイミング誤差から得たヒストグラムに基づいて計算する。

一連の高レベルコンテクストと対象技法の優先順位付けをする分析ルールとに基づいて、得られた一致スコアを重み付けすることで、同様の特徴を持つ曲を先行分析する際により高い精度が得られる。例えば、初期のＲ＆Ｂ、ロカビリー、スカ、アフロポップなどの顕著なオフビートを含む傾向にあるジャンルの音楽を分析すると、ピッチの変化（「複合スペクトル差」）を検出可能なＯＤＦを使用した場合に、打奏オフビート（「高周波数コンテンツ」）を検出するＯＤＦよりも正確なビート結果が見られた。だがこの場合、こうした検出がビート時刻を推定する基準になるという理由から、高周波数コンテンツのＯＤＦの方が、曲全体を通して実際にオフビートを刻む一連のビート時刻を推定する傾向にある。候補の中から最も適合した一連のビート時刻を計算する際に、この知見を一連の重み付けとして適用することができる。

この手法を図３に示す。
（２）エントレインメント適合性分析

オーディオ分析結果を入力として用いて、平均テンポ、ビート強度、ビート時刻信頼度、リズム安定度、拍子記号（要約特性）、テンポ知覚信頼度、及び有効演奏時間といった要素を分析して曲の強弱を見つけ、エントレインメント適合性（ＥＳ）スコア（０．０～１．０）を計算する。これらの結果を用いて、該当する場合には、どのトラック増強が必要となり得るのかを算出する。まずＥＳ分析を元のオーディオ信号に対して行うが、ＥＳスコアの影響をチェックするために、この分析を使って増強させた後の信号を再分析することもできる。この技術を用いて、信号の一部分のＥＳ、例えば、構造変更の一環として使用しないイントロ及びアウトロの部分を削除した後のＥＳを算出することもできる。

以下にエントレインメント適合性を求めるための方程式を示しており、この方程式において分析から得られる値の範囲は０～１である。０．９～１は優良であり、０．７～０．９は使用可能であり、０．５～０．７は前もって増強することが必要であり、０．５未満は使用不可である。この方程式またはこの方程式の変化形を用いて異なる楽曲を分類する。拍子記号及び平均テンポ数は、バイナリーの０または１と表し、これらの数字はそれが定義された境界内にあるかどうかに応じて付けられる。ｙ１、ｙ２、ｙ３、．．．．、ｙＸで表される数は合計すると１に等しくなり、他のコンテクスト上の情報に応じて変化するものである。他の変数は０～１の範囲で表され、最も良い場合には１に等しく、最も悪い場合には０に等しくなる。この方程式は下記の通りに表される。
（拍子記号）×（平均テンポ）×（ｙ１×ビート強度＋ｙ２×ビート時刻信頼度＋ｙ３×リズム安定度＋ｙ４×テンポ知覚度＋ｙ５×リズム遍在度＋ｙ６×有効演奏時間）

エントレインメント適合性方程式の態様を、エントレインメント適合性を図示した図４でさらに定義している。
平均テンポ
曲の平均テンポは、１分当たりのビート数（ＢＰＭ）という単位で測定される。平均テンポは重要なＥＳ因子であるのに加えて、ＲＡＳセッションに使用する音楽の選択に有益となる選択基準でもある。本システムは任意に曲をタイムストレッチできるが、元来のテンポからストレッチすればするほどその影響が顕著になり、最良の結果はその曲の元来のテンポの２０％以内で得られている。したがって、ＲＡＳセッションで使用する音楽を選択する場合、元来のテンポはセッションでの歩調範囲の２０％以内であることが理想的である。
平均テンポ６０～１３０（通常のエントレインメント範囲）を持つ曲はスコアが１．０である。スコアは、範囲外となる２０ＢＰＭまで対数的に減少し、４０と１５０にはスコアが０．０と割り当てられている。
増強ストラテジー：楽曲を定数ファクタによりタイムシフトして、平均ＢＰＭをエントレインメント範囲内にするか、またはユーザーの目標とするエントレインメントの歩調に合わせることができる。
ビート強度
図５に示すように、検出ビート時刻でのＲＭＳＥ（曲の中央値）を０．０～１．０の範囲に直線的に調整した。ビート音の大きさを顕著に知覚するほどＲＡＳ刺激に相応しくなり、ビートが打楽器パートで演奏されていることを示すことが多い。１が最も強く、０が最も弱いことを示す。
マイケル・ジャクソンの「ビリー・ジーン」は最も強いビート強度の例であり、打楽器スペクトログラムのエネルギーから明らかである（信号の打楽器要素を、多重周波数区間を上下方向に広げたエネルギーを持つ時点として示す）。
増強ストラテジー：ビート強度増強ストラテジーについてはセクション３で詳細に議論する。これらにはビート時刻で音楽キューを加えることが含まれる。
ビート時刻信頼度
ビート時刻信頼度スコアは、各一連のＯＤＦ検出から得られるビート間の一致レベルに基づいて、音楽分析のビートトラッキング段階から返されるものである。様々な方法によって同様の顕著なリズムパルスが検出されるため、スコアが高い場合には適合性が良好であることを示し、この場合、曲がはっきりとしたリズム特性及びタイミング特性を持つことを示す傾向にある。
ビート時刻信頼度スコアは以下のようにＥＳスコア値と対応しており、０．０～１．５は信頼度が低いとみなされ、スコア０が割り当てられる。１．５～３．５は信頼度が良好であることを示し、スコア０．５が割り当てられる。３．５～５．３は信頼度が高いことを示し、スコア１．０が割り当てられる。
増強ストラテジー：（再）分析の副次的効果、ならびにＯＤＦの重み付け及び前処理工程などのビートトラッキング改善の結果として、信頼度スコアを上げることができる。
拍子記号
曲の平均拍子記号（要約特性）のことである。実際にバイナリーのタスクとしては、２拍子または４拍子（例えば、２／４、４／４、６／８）が適している。曲が許容される拍子記号を持つ場合にはスコアが１となり、それ以外の場合は０になる。
増強ストラテジー：適用されず。拍子記号は楽曲に不可欠なものであり、不明確であればその曲を使用すべきではない。
テンポ知覚一致
観測したユーザーエントレインメントデータによって算出される推定テンポの一致レベルのことである。テンポ検出に共通する問題点としてその固有の主観性が挙げられ、良く知られている課題は「オクターブエラー」であり、これは聴き手によっては別の聴き手の１／２倍速または倍速でビートを検出する場合があることである。システムで算出したテンポは、人の聴き手で知覚されるテンポと一致すべきである。
値は０か１になる可能性があり、テンポが一致する場合には１であり、１／２倍拍及び／または２倍拍の場合には０である。これは、ユーザー観測データに主に基づくものであるという理由から、曲の再分析で使用されかつ要素として含められる可能性が高い。
増強ストラテジー：この検出の精度は、ユーザー観測データを用いた場合に向上すると考えられる。
リズム遍在度
顕著なリズム要素を持つ曲演奏時間の割合を示すものである。リズム部分は実質的にＲＡＳ刺激となるため、リズム部分があるとエントレインメントに有利である。曲から外れたリズム部分は流れを乱し、ビート時刻の検出をより困難にする（ビート時刻の信頼度スコアが低くなる）。曲の遍在度を測定する１つの方法は、打楽器スペクトログラムにおいて打楽器要素の部分を検出することである（図６～図８を参照）。
スコアの範囲は０．０（０％のリズム遍在度）～１．０（１００％のリズム遍在度）である。
増強ストラテジー：正確なビート時刻がわかっているが低いビート強度を有するセクションにキューを加え、これにより全体的なリズム部分遍在度を高めることができる。
例：
前述したように、「アップタウン・ファンク」は初めから終わりまで一定の打楽器パートを含み、したがってリズム遍在度スコアは１．０と高くなっている。特に興味深いことは、打楽器スペクトログラムに大きな広帯域スパイクがあることである。スパイクの大きさが小さいイントロセクション（０．００～０．１６）であっても、はっきりとわかる打楽器パートがある。
図９に示すように、リズム遍在度が低い曲の例はビョークの「ミューチュアル・コア」である。この曲は、リズム部分を含む２つのセクションに別れているが、リズム部分は３０６秒の曲演奏時間のうちの６０秒（２０％）のみであり、リズム遍在度スコアが０．２と低くなっている。
有効演奏時間
使用できる演奏時間は、適切ではなくアドレス指定できないセクションを取り除いた後に、少なくとも６０秒の長さを持つべきである。これは、エッジケースの短い曲（長さがわずか０．５３秒であるトム・ウェイツの「レット・ミー・ダウン・アップ・オン・イット」）を使用しないように、また構造変更が加えられた場合にも十分な長さがあるようにしなければならないことを示している。
使用する曲の長さが最小しきい値である６０秒以上である場合にはスコアは１．０となり、それ以外ではスコアは０．０となる。
増強ストラテジー：適用されず。オーディオ信号が使用に際して十分長くない場合には別の曲を用いるべきである。
リズム安定度
リズム安定度は、曲全体のリズム面／拍節面の分散量を示す複合スコア（０．０～１．０）であり、テンポドリフト、テンポ変調、拍子記号の変化、及びリズムパターン分散を考慮に入れるものである。
リズム安定度の値は０～１の間であり、１が最も良く、０が最も悪い値となる。リズム安定度が高い場合には変動が少なく、ＲＡＳセッションに使用するのに適合性の高いコンテンツであることを示す。以下の方程式はｘ１、ｘ２、ｘ３、．．．ｘＺを合計１となる重み付けとして含み、それぞれが０～１の範囲の数であるリズム安定度因子のＡ１、Ａ２、Ａ３，．．．ＡＺとかけ合わせられている。
リズム安定度＝ｘ１×Ａ１＋ｘ２×Ａ２＋ｘ２×Ａ３＋ｘ３×Ａ３＋．．．．＋ｘＺ×ＡＺ
増強ストラテジー：テンポドリフトをオーディオ量子化により減じることができる。曲の中で問題のあるセクションをスキップし、適合性のあるセクションのみを使用することができる。
リズム安定度因子
１．テンポドリフト－Ａ１
ビート差の中央値から知覚できる許容分散帯域内のビートデルタタイムの割合を１．０から減算して得た数として得られ、１００％分散のスコアは０（１．０－１．０）であり、０％分散のスコアは１．０（１．０－０．０）である。
テンポの変動は人が演奏する場合、特にクリックトラックまたはコンピュータシーケンサによる伴奏（例えば、ドラムマシン、デジタル・オーディオ・ワークステーションなど）を用いて録音しなかった場合には、通常範囲となる。変動が大きい場合には、テンポ安定度スコアが小さくなる。モービーの「サウザンド」はテンポ分散の大きい極端な例であり、そのテンポは曲全体の中で絶えず変動し、そのピークは１，０００ＢＰＭに及ぶ。
以下は徐々にテンポの変化が生じ得る曲の例であり、図８～図９に示している。
●リタルダンド：次第に遅く
●アッチェレランド：次第に速く
●ルバート：演奏家はテンポを加減して表現を付けて演奏する（テンポは音楽のフレージングに応じて変化し得る）
２．テンポ変調－Ａ２
曲のテンポが元来のテンポから５％超も急に速くなるかまたは遅くなり、新しいテンポが保持される場合のことである。５％～２５％の範囲で変動するテンポはタイムシフトによりアドレス指定できるとみなされる。０％～５％の変化にはスコアが１と割り当てられる。５％～２５％の変化ではスコアが直線的に下がり、２５％以上の変化にはスコアが０と割り当てられる。
テンポ変調の１つのタイプは「拍節変調」であり、現在のビートかまたはビート細分をグループ化したものを別のパルス値として別コンテクストに当てはめることによって、テンポ及び／または拍節を変えるものである。この例はアーケイド・ファイアの「ヒア・カムズ・ザ・ナイト・タイム」で聴くことができ、そこでは４：３６にテンポが９５ＢＰＭ以下から１４５ＢＰＭ以下に突然変化し、９５ＢＰＭでグループ化されている３／１６音符群が新規に１４５ＢＰＭで４分音符となっている（テンポが１．５倍に増加する）。
拍節パルスとは無関係のテンポ変調の例を図１０に示し、ポール・マッカートニー＆ウィングスの「バンド・オン・ザ・ラン」のテンポグラムを示している。テンポが２：１４に８１ＢＰＭから１２７ＢＰＭに突然変化し、５７％上昇している。線はローカルテンポの値を表す。この場合、テンポが変わる前の所定の時間領域または変わった後において、セッションで曲の一部を使用できるように構造変更をすることができる（以下セクション３の「構造変更」を参照）。
３．拍子記号変化－Ａ３
拍子記号変化は、曲の途中で１つの拍子記号から別の拍子記号に任意の長さでシフトする場合のことである。曲が４／４拍子で始まるとして、３／４拍子のように奇数のビートを含む単一の小節が入ると、音楽のフェーズに合わせてバイナリー動作の左／右同時性が逆転することがある（楽曲のフレージングが小節構造に合わせて調整されていると仮定）。この種の曲のシフトはバイナリーが不適正になり、スコアは０になる。拍子記号の変化がない場合にはスコアは１になる。
ビートルズの「ハピネス・イズ・ア・ウォーム・ガン」は問題となる拍子記号変化を含む例であり、曲が４／４拍子で始まるが、後に９／８拍子及び１０／８拍子の交互の小節にシフトする。
４．リズムパターン分散－Ａ４
リズムパターン分散は曲の中の隣接したパターンの類似性を測ったものであり、トレンド除去変動解析（Detrended Fluctuation Analysis：ＤＦＡ：）またはオンセット間間隔の自己相関などの技法を用いて得ることができる。リズムパターンの同質性が高い曲は、リズム安定度が高くなっている。
完全に同質（１００％）の曲の値は１となり、同質性を全く持たない（０％）曲の値は０となる。実際に０は現実的ではなく、任意の同質性は３０％を超えることが多いことに留意されたい。

上記の式は、分析データを様々なパラメータの観点でタグ付けする人が提供する、ＥＳ分析と一致するかもしくは一致しないかを分類するか、または種々のパラメータで曲を評価する方法の詳細を与える、訓練データによって特徴付けられかつ編集される可能性がある。
（３）トラック増強

オーディオ分析データと曲のエントレインメントに対する強弱の知見とを組み合わせると、曲のエントレインメント適合性は、補助的なキューの生成、オーディオ信号に対する変更、及び曲構造に対するわずかな変更によって改善することができる。これらのストラテジーの１つ以上をある時刻で提供することができる（例えば、キューは量子化されている場合に楽曲に重ねることができる）。図１の工程３～工程４、及び図２の工程３～工程４を参照されたい。
音楽キュー

「音楽キュー」は、大まかに定義すると、プレイバック中に加えられる、原曲を増音する音のことである。音楽キューの種類には以下のものが含まれる。
●各ビート（４分音符）に乗せるか、または各ビートに加えて８分音符もしくは１６分音符などの細分にも乗せる、単一ビートの音楽キューがある。細分化された音符は、ゆっくりしたテンポを持つビート間の時間間隔を知覚しやすくすることができるものであり、ビートが確実にアクセントされた状態になるようにビートに乗っている音符よりも弱くなっている（アクセントを持たない）。このキューは、標準的なメトロノームウッドブロックまたはクラベス風の「クリック」から、ジャンルに見合った打楽器音または低周波数のバスドラムまでに及ぶ任意の打楽器音であってもよい。顕著な変化を伴うピッチの付いていない音が好ましい音色及び調子となるが、これはピッチ付きの音は、ユーザーが音楽を楽しむことを妨げる不協和音を招くか、またはその音を知覚不可能にする弱いオンセットを招く可能性があるからである。ピッチ付きの音は、曲のキーを知った上で使用することができる。
●原曲のプレイバックと同調するパターンドラムが、ＭＩＤＩを介してトリガーされた個々のサンプルとして、またはオーディオドラムループとして組み込まれる。１つのビートよりも長いドラムパターンを適正に同調させるために、小節レベル（「ダウンビート」）時刻と、残りの小節ビート時刻とを知る必要がある。ダウンビートはアンカーポイントの機能をし、原曲に合わせてパターンの位置合わせをする。ダウンビートは、ずれが生じた場合に、その曲との同調を再構築するための基準ポイントとしても機能する。
●聴き手がテンポを習得する（「プライミング」）ための、プレイバック中のボイスカウントビートまたは最初のビートまでのボイスカウントダウンがある。またボイスは、ユーザーが反復動作運動を始める前に曲をある期間聴くように指示することができる。

元のオーディオ信号と前述のキューとの組み合わせバランスは、どの程度の補助が必要なのかに応じて変わってくる。エントレインメントが最初に何も検出されない場合には、極少数のキュー（５０％未満のバランス）を導入し、元のオーディオを主な刺激として用いることができる。エントレインメントがないままである場合、楽曲に対してキューの混合割合を増加させるオーディオエンジンのルールなどにより続けて増強させる。同様に、効果的にエントレインメントを導入した期間の後に、先のキューを、補助があまり必要でない場合の混合レベルまで戻すルールにすることもできる。

以下のグラフは、音楽キューを楽曲に加えた場合のインパクトを示すものである。

まず図１１は、低いビート強度を持つ１曲のビートに合わせて人の参加者が歩くことを求められた場合のセッション結果を示しており、これらの結果のチャートを算出したものである（セクション４を参照）。効果的なエントレインメント範囲を表す水平中心帯域の外側にあるライトグレーのドットで示されるように、精度が不十分であった。このセッションの間、補助的なキューは何れも適用されなかった。

図１２に示すグラフでは、同じ曲に合わせて身体を動かす同一対象について示すが、コンピュータ生成分析に従って（図１を参照）、ビート信号を強めるために音楽キューを加えた場合を示す。観測されている通り、歩行者は好みの曲を聴きながらも精度を改善させた。

図１３に示すグラフでは、エントレインメントセッションの間に適用されたエントレインメント補助について示している（図２を参照）。このグラフによると、ユーザーの動きがエントレインメントされていない場合（図１３Ｂ）のエントレインメントの移動平均（図１３Ａ）を示し、ダークグレーの場合には良好であり、ライトグレーの場合（「ＮＥ」はエントレインメントされていないことを示す）には図１３Ｃに示すように修正が追加されかつ記録される。

キューを以下のように加えることができる。

第１に、ビート位置の音楽キューがあり、これはビート信号があるとわかっている箇所に音楽キューを加えるものである。この音楽キューを加えることで、ビート信号を強くし、治療セッションでの使用性能を向上させる。このプロセスを図１４に示し、そこでは、まず元のオーディオ信号をロードする。この場合には、全体的に振幅が小さいことから明らかなように元の信号が小さい。ここで簡単な前処理工程として正規化し、信号の振幅を一定量増加させる。正規化した信号からビート時刻を概算し、最後に打楽器キューを該ビート時刻で加えて新しい複合信号を作成する。

上述の図６に示すように対象の人がビートにエントレインメントされにくい場合、曲の間に音楽キューを加える決定をすることができる。上述の図５に示すように曲が低いビート強度または低いリズム安定度を持つことがわかっている場合には、この決定を前もってすることもできる。

第２に、ステップと同一側の音楽キューがあり、これは上記と同様であるが、音楽キューを、センサ入力で決定した通りに次の動作をする側にのみ加えるものである（例えば、右ステップが予想される場合にはメトロノームを右耳のヘッドホンにのみ再生する）。これにより、人への認知的な負荷が増え、その側でのビートが知覚しやすくなる。

第３に、ステップと逆側での音楽キューがあり、これは上述と同様であるが、ステップ側とは逆側の耳に音楽キューを加えるものである。これをヘッドホンで行い伝達音を分離するが、ハイファイサラウンドサウンドシステムで行うこともできる。この刺激については付録Ｂ「運動、音楽、及び脳」で以下に論じられている。

第４に、低いリズム安定度での音楽キューがあり、これは音楽キューをリズム安定度が低い曲の一部に加えるものである。例えば、キューを加えて強いビートを強調し、一部の聴き手にエントレインメント状況の乱れを感じさせ得るシンコペーションの代わりにする。

第５に、プライミングキューがあり、これはセッション開始前に、カウントオフのキュー（発語またはメトロノーム）を入れて、聴き手がビートを習得できるようにし、効果的に第一歩を予測できるようにするものである。ボイスキューを共に入れて、ビートをカウントオフして、ビートに関わるフィードバックを与えることや、ユーザーに特定のビートセグメントが完了するまで待つように指示することができる。
オーディオ信号変更

音楽キューは追加音を重ね合わせることによって既存の曲を増音するものであるが、オーディオ信号を以下のように直接的に処理することによって適合性を向上させることもできる。

第１には、イコライゼーションにより曲のドラムパートを強調する（調波スペクトルで周波数の強弱を調整する）ことである。これは、ビート時刻の信頼度が低いがドラムトラックが鮮明である場合に特に効果的な場合がある。周波数の変更をオーディオファイル自体に加え再演奏するか、またはセッションのオーディオエンジンを用いてリアルタイムＥＱとして適用することができる。

第２には、曲のドラムパートをドラム増強技術を用いて強調することである。これによって、元のオーディオ信号内または別の打楽器源において個々のドラム音（キック、スネア、ハイハットなど）が出現するタイムスタンプを、スペクトル成分に基づき個々のドラム音を特定できる分類モデルを用いて推定する。原曲でドラム音が出現する時刻を知ることで、増強トラックを生成し、原曲と重ね合わせて、元のドラム演奏パターンのビート強度を向上させることができる。

第３には、曲をリミックスすることである。打楽器源及び調波源を抽出した後に、それらを合わせてリミックスし、バランスを変えて知覚ビート強度を大きくするように打楽器源を強調する。

第４には、オーディオを量子化して、テンポの小幅変動を減らし、ビートタイミングをさらに高精度にすることである。これは、種々の拍節基準レベル（ビート、小節など）で、基準ビート位置を理想的な一定ビート時刻の基本グリッドと合わせて信号をタイムストレッチすることによって行うことができる。例えば、ライブドラム演奏では、オーディオを量子化して、バスドラム音がちょうど１拍目で確実に生じるようにし、スネアドラム音がちょうど２拍目及び４拍目で確実に生じるようにすることができる。これについては図１５及び図１６に例を示している。

まず目標よりもゆっくりとした速度で演奏してその後速くなるドラムパートのビート時間間隔の分散が、瞬間ＢＰＭ（６０／２拍目－１拍目）に及ぼす影響を観測する。
ビート毎に量子化するプロセスは、この変動を除去することができ、その結果、図１６に示すように「平滑化」されたテンポになる。

この方法でプログラムにより変化させた音楽は、音楽のリズム感または「魅力」に欠く可能性があり、量子化する量によって、特に良く知っている音楽の場合には、ユーザーがその違いを認識する場合があることに留意されたい。ネガティブな知覚的な影響がある可能性を理解しつつ、この技術を利用するために、様々な程度で量子化を行うことができる（例えば、一定のグリッドビート時刻に対して２５％、５０％、７５％、１００％タイムストレッチするなど）。

第５には、曲を正規化して、信号の音の大きさを、ピーク、または音の大きさの平均ＲＭＳに基づいて大きくすることである。この工程は静かな曲を前処理して、１つのセッション再生リストの中にある連続して再生される曲が略同じ音の大きさを持つようにするのに有用である。信号の最大ピークに基づいて正規化することにより、曲の相対的なダイナミクスが影響を受けることはないことを保証することになる。

第６には、曲が極端なステレオパニングを含んでいる場合に、ステレオイメージ幅（知覚できる左右のオーディオ信号分布の幅）を減じるか、または左チャネルと右チャネルを合わせたモノミックスを作成することである。特に、左側または右側だけでミックスしたドラム音は耳障りであるか、またはビート強度を低くする可能性があり、例としてビートルズの「ノーウェアー・マン」などが挙げられるが、この曲ではドラムトラックがほぼ全体的に左チャネルでミックスされている。これは、全ての聴き手が両耳で均等に聴いているかまたは完全に聴こえていると仮定すべきではないという理由から、重要な考慮事項でもある。この感音性を考慮し、本システムは、ユーザー基準毎にモノラルにミックスダウンするように構成され得る。
構造変更

曲の構造を変更し、曲の使用に適さない領域をスキップすることにより、エントレインメント適合性を向上させることもできる。ただし、残りの演奏時間及び構造が適正な刺激として機能する場合に限る。典型的には、除去するセクションは曲の最初または終わりの部分であり、曲のできるだけ多くの部分を元来の楽式で知覚できるようにする。使用に適さないセクションの例として、フェードイン／フェードアウト、無音、発語または拍手などの非音楽、ルバートテンポ、特異な拍子記号変化、及びリズムパルスのないセクションが挙げられる。

以下の例は、図１７に図示したものであり、フェードインとフェードアウトとを含む曲（ヒューイ・ルイス＆ザ・ニュースの「バック・イン・タイム」の出だし部）が構造変更をどのように受けるのかを示している。まず楽曲分析の間に、これらの時間領域を、ＲＭＳエネルギーにおける方向性変化の連続シーケンスとして検出する。この波形プロットに示すように、フェードインは０：００～０：１２で生じ、フェードアウトは４：０３～４：１９で生じている。

（１）２つの基準ポイントに最も近いビート時刻を見つけ出すこと、及び（２）そのビート時刻をキューポイントとしてオーディオエンジンに提供するか、またはこれらの時間領域をスキップした新しいバージョンの信号を生成することによって、セッションでの使用向けにこの曲を改良することができる。実際に、この曲は最初に強いビートで始まり、ダウンビートは０：１２であり、４：０３から信号が弱まり無音になる前に終了する。

変更が音楽的に適正なタイミングに合わせられているかを確認するために、ビートが同調している曲セクションの境界を検出しなければならない。低レベル分析の間、知覚的に適正な曲セクションに信号をセグメント化するが、それが、ロックジャンル及びポップジャンルでは、ヴァース、コーラス、ブリッジなどの特有のセクションに相当することが多い。このタスクには、ＭＦＣＣを用いたクラスタリングなどの同質性に基づく方法を使用することができ、これは、和声、音色、及び楽器編成に基づいて効果的にセクションをグループ化するものである。このプロセスをウィンドウ分析として行うため、検出されたセグメントの境界は、知覚できる楽曲のセクション境界と厳密には一致しない傾向にある。曲のビート時刻及び拍節構造を予め知っている場合には、セグメント境界は、最も近いビートまたはダウンビートに合わせることができる。

使用に適さないセクションを除去した後に得られたセクションの適合性を、得られたセクションにさらなるエントレインメント適合性分析を行うことにより評価することができる。
（４）エントレインメントセッションの実行

エントレインメントセッションで利用する意思決定システムは、以下に示す図５～図１０に基づくものであり、これらの図は適用可能な様々な種類の反復動作運動を説明するものであるが、これらに限定されない。ダイアグラムで示している運動は、歩行（図１８）、粗大運動（図１９）、リズム発声（図２０）、巧緻／精緻動作運動（図２１）、口唇動作（図２２）、呼吸訓練（図２３）である。これには、曲のビートに対する患者の反応を比較することも含まれている。

こうしたフローダイアグラムは、エントレインメントセッションを実行するために、センサコンポーネント及びシステム、エッジプロセシングコンポーネント、コレクターコンポーネント、分析システム、及び音楽療法意思決定センタが必要になることを前提としている。これらのコンポーネントは種々のハードウェアコンポーネントに備えることができる。一例として、一実施形態では、センサコンポーネントを患者に装着させることができ、別の実施形態では、そのコンポーネントは光学測定システムであり得る。音楽療法意思決定センタは、ローカルサーバーまたはリモートサーバーに置くことができる。これらのコンポーネントの全てを単一のデバイスに搭載することができる。

エントレインメントは「エントレインメント精度」と呼ばれる変数として説明されており、センサシステムで測定されるステップの時間とビートの時間とに関与する測定値である。これは、２つのステップ間の時間を２つのビート間の時間と比べた比として表すこともできる。比が１の場合、図３に示すように、その数値前後の許容帯域を含むエントレインメントを表し、該図では緑のドットを１前後の範囲でエントレインメントされたステップとして示している。この範囲が考慮されるのは、最も訓練されたミュージシャンでさえ、コンピュータシステムで計算された通りに正確にビートに乗せることはできないためである。この帯域は、他の人が反復動作運動の実行を注視することにより、人間の目でビートに乗っているとして知覚することを表している。ビート因子は、ビートの細分または種々の変化形で実行されるセッションに対して、このエントレインメント比を１に戻して正規化するのに用いる数である。

エントレインメントセッションの間に、反復動作運動に音楽を使用する技術分野で訓練された人が別のデータセットを生成することができ、変化が必要であるか、エントレインメント精度が範囲外であるか、または他の項目が記されるべきであると考えられる時間でのデータにマーキングすることができる。このデータを曲と共に保存して、このコンテンツまたは同様のコンテンツの将来の分析及びエントレインメントの補助的なキューに伝達することができる。
（５）セッションからの学習
概要

特定の楽曲でのエントレインメントセッションサンプルを基にしたデータを用いて、曲のエントレインメント適合性（人が歩調と動作とを曲のテンポに合わせることができる能力）を測定するためにスコアリングメカニズムを使用することができ、これは臨床状況またはパフォーマンス強化状況における楽曲の効果の程度を表すものである。さらに、音楽の他の測定特性も考慮に入れた場合に、このデータを使用して、エントレインメント適合性、ひいては未だテストされていない音楽の臨床効果を予測することができる機械学習アルゴリズムを作成することができる。
セッションの結果

エントレインメントセッションの一結果（上記のセクション４－エントレインメントセッションの実行を参照）は、ユーザーが行った個々の運動に関するデータならびに楽曲の各ビートのデータを表している。反復動作を計算して運動の全てのセグメントに対して瞬間歩調を算出し、ビートデータを用いて楽曲の全てのセグメントに対して瞬間テンポを算出する。これら２つのデータセットを考慮に入れて瞬間エントレインメントを得るが、これは、セッションの間のあらゆる時点において、人の動作が楽曲のビートとどの程度良く符合しているのかを示すスコアである。セッションのスコアリングに用いる一因子となり得るものである。
エントレインメントスコアリング

別々の測定基準を用いて、曲全体としてならびに曲の個々の特定のセクションとしての曲のエントレインメント適合性をスコアリングする。これらの尺度
には以下のものが含まれ得る。
●瞬間エントレインメント（「エントレインメント精度」）
●エントレインメント分散
●連続してエントレインメントされた動きの数
●導入時間－ユーザーのエントレインメントスコアが高くなる前の時間量または運動量
サンプリング層

人は種々のバックグラウンドまたは状況を持つために、音楽の種々のコンテクストに対するエントレインメントの素因が異なることになる。人々の様々なグループから得られた適正に分類されたデータを用いて、機械学習アルゴリズムに学習させて、特定カテゴリーの音楽のエントレインメント適合性を算出することができる。
音楽増音に関するフィードバック

音楽増強前後で特定の曲に対する時系列エントレインメント適合性スコアが適用されると、アルゴリズムの有効性を算出することができる。この有効性測定は、増音システムにフィードバックを与えることができ、この増音システムを使用して、音楽をさらに増音し、エントレインメント適合性のより高い曲を作成可能なベクトルを求めることができる。
機械学習システム

機械学習システムは、特徴が抽出された音楽を用いて、それを反復動作データ、データに関連するコンテクスト、及び測定したエントレインメントスコアリングデータと比較するものである。こうしたデータ及び他のデータは、コンテクスト検出アルゴリズムに伝達するのに使用する。セッションのセンサ統合データ分析には、まず患者固有のベイズ推定モデルを、マルコフ連鎖を利用して用いることができる。マルコフ連鎖の状態は、セッション及びベースラインセッションから取り込んだ特有の応答パターンを示している。ベイズ推定モデルは、各サンプリング間隔での応答に関する知見に基づいている。

予測ルーチンである多層パーセプトロンニューラルネットワーク（ＭＬＰＮＮ）は、最上位層のルートノードを有する有向グラフノードベースのモデルを用いているが、これは、次のノードに達しかつ人のセンサ統合データフィーチャを得るための必要条件を予測するものである。センサ統合データフィーチャのベクトルは、時系列に処理した動作データ、音楽記号データ、及び他のコンテクスト関連データを含んでいる。

本システムは、複数のディープラーニングニューラルネットワークまたは他の機械学習技術を学習のために用いることができる。一例では、非線形決定空間を適応型放射基底関数（Radial Basis Function：ＲＢＦ）モデルジェネレータを用いて構築する。ＲＢＦモデル及び／またはＫ近傍分類法を用いて新規ベクトルを計算することができる。

ＭＬモデル生成のための重要な準備プロセスの１つは、フィーチャエンジニアリングである。これは、データを平均０と分散１とを含む共通範囲内になるように格納するアトリビュートスケーリングを含むものである。これにより、メートル、メートル／秒、メートル／秒^２などの種々のフィジカルユニットを持ち得るフィーチャが、例えば共通範囲の値になるようにする。データを平均０、分散１にスケーリングするのに用いるプロセスは標準化である。このプロセスは、サンプリングしたデータ値からサンプリングした全データの平均値を引くことによって、またそれをサンプリングした全データの分散で割ることによって行われる。

さらに、ＭＬモデル生成フィーチャエンジニアリングプロセスにおいては、フィーチャの分解及び集合がある。これは、データを、より少ない数の極めて記述的なデータコンポーネントに圧縮する場合のことである。集合とは、複数のフィーチャを単一の顕著なフィーチャにグループ化し、したがってデータの次元を減らすプロセスのことである。モデル生成プロセスを図２４の例示的なダイアグラムに示している。
付録Ａ：ＤＷＴ（Discrete Wavelet Transform：離散ウェーブレット変換）を用いたビート検出

以下の分析は、離散ウェーブレット変換（ＤＷＴ）を使用してビート強度及びリズム安定度を算出する方法を示すものである。この技術は、ビートトラッキングに使用可能なオンセットイベントを検出することができる。これを、ＤＷＴ係数を使用するビートヒストグラムを用いることによって行う。ＤＷＴは、テンポビートに乗っているものなどの音符のオンセットからオーディオ信号の急速変化を検出するものである。本発明において、ドブシーｄｂ４ウェーブレットを用いたＤＷＴは、各サブバンドでの包絡抽出を容易にし、これらの抽出した包絡線の総和に対する自己相関を実行する。図２５はドブシーｄｂ４ウェーブレットを示す。

自己相関関数により、最大ピークの選択ができるようになり、また１０ＢＰＭ～２４０ＢＰＭの範囲にある自己相関の最初の５つのピークを用いてヒストグラムが生成できるようになる。サブバンドＸ［ｎ］からの包絡抽出は全波整流技術を用いて行い、そこで、絶対値をオーディオ信号データから生成し、続いてそのオーディオ信号データをローパスフィルタに通し、ダウンサンプリングし、平均除去する。図２６はビートヒストグラムの例を示し、縦軸は強度であり横軸はＢＰＭである。

図２７～図３０は、分析して音楽キューを加えるべき時を算出する４つの異なるエッジケースシナリオの例を示している。

図２７は、Ｘ軸が不規則であり、反復性がない（非自己相似性である）ためにリズム安定度が低くなっている例を示している。ＤＷＴイメージでは、Ｘ軸は時間であり、Ｙ軸はビート周波数であり、Ｚ軸は強度である。

図２８は、リズム安定度が高い例を示している。このＤＷＴイメージでは、Ｘ軸を見た時に、反復性（自己相似性）ビートパターンを観察することができる。ＤＷＴ表示において、Ｘ軸は時間であり、Ｙ軸はビート周波数であり、Ｚ軸は強度である。

図２９は、振幅（Ｙ軸）と時間（Ｘ軸）の関係においてビート強度が低い例を示す。

図３０は上述した自己相似性の強度が低いビートのＤＷＴ表示であり、Ｘ軸は時間であり、Ｙ軸はビート周波数であり、Ｚ軸は強度である。

図３１は、振幅（Ｙ軸）と時間（Ｘ軸）の関係においてビート強度が高い例を示す。

図３２は上述した自己相似性の強度が高いビートのＤＷＴ表示であり、Ｘ軸は時間であり、Ｙ軸はビート周波数であり、Ｚ軸は強度である。

ビートを分析するための周波数範囲は通例０．２５Ｈｚ～２０Ｈｚである。ビート検出アルゴリズムは、ＤＷＴを用いて信号を複数のオクターブ周波数帯に分解することに基づくものである。それを行った後、各周波数の時間領域振幅変調の包絡線を個々に抽出する。これは、各周波数をローパスフィルタリングし、全波整流機能を適用した後、ダウンサンプリングすることによって行う。次に、各周波数の振幅変調包括線を合わせてまとめ、自己相関関数をこのデータに適用する。自己相関関数のピークは、信号包絡線の様々な周期性に相当するものである。

ＤＷＴビート検出及びヒストグラム生成プロセスについては図３３に示している。

オンセット検出には、本発明に適した変更を加えた既知の方法が使用される。これは、オーディオサンプルデータを分析して、サブバンドにおける同時極大及び特異極大を求めることで、例えば、２つの連続ピークの間の距離をオーディオ信号期間を表すものとして算出するものである。これにより、ベースライン周波数及び次に高い周波数の検出ができるようになる。

以下の情報は、ＤＷＴを生体力学分析に用いてから機械学習エンジンで使用できる方法に関する。この例は、ＤＷＴを使って、取り込んだ生体力学データを基に歩行を分析する方法を示し、ＤＷＴは時間周波数分解の算出に用いられている。生体力学データを、ウェーブレットを持つＤＷＴを用いて、ドブシーｄｂ４ウェーブレットを圧縮及び拡張して種々のスケールで分析し、ならびにドブシーｄｂ４ウェーブレットを遅延させて種々の時間で分析する。このスケールは、時間毎の周波数及び位置に相当するものである。ドブシーｄｂ４ＤＷＴの結果はウェーブレット係数となる。このＤＷＴ係数を用いて、３次元パワースペクトルを作成し、図３４に示すように、生体力学データにおける、時間、生体力学周波数、生体力学エネルギー関する分析結果を提示する。
付録Ｂ 運動、音楽、及び脳

ヒトの脳形態においては、脳の右半球は身体の左側を制御し、脳の左半球は身体の右側を制御することが知られている。したがって、左半球にダメージがあると、身体の右側に欠陥が見られることが多く、逆もまた同様である。これと同様に、頭部の片側に入れた外部からの聴覚キューは、脳の反対側の半球の１次聴覚皮質を介して処理される。聴覚キューを意図的に片側に入れることによって、片側の半球を働かせることができるのである。運動の場合には、聴覚キューを健側から入れて、患側の動きを改善することができる。

対照的に、外部からの聴覚キューを用いることによって、頭頂葉及び側頭葉を含めた注意に関する脳領域が働くこともわかっている。したがって、聴覚キューを患側の耳を介して入れると、効果のある側の感覚刺激及び注意力を改善することができる。

初期の研究により、網様体脊髄路には聴覚－運動路があることがわかっていた。こうした経路を介した運動のプライミング及びタイミングにより、運動系が聴覚システムと連結して動きのパターンを駆動できることが明らかになった（Rossignol and Melville, 1976）。こうした連結は、さらなる臨床評価を経て「エントレインメント」と称されている。リズムエントレインメントを臨床的に適用した場合、脳卒中、外傷性脳損傷、パーキンソン病、及び多発性硬化症などの神経疾患また神経損傷を患った後の、対称性、歩幅、歩調、及び歩行変動を含めた歩行の生体力学が向上することがわかった。

上述したシステム、デバイス、方法、プロセスなどを、ハードウェア、ソフトウェア、または用途に適したこれらの任意の組み合わせを用いて実現することができる。ハードウェアには、汎用コンピュータ及び／または専用コンピュータデバイスが含まれ得る。これには、１つ以上のマイクロプロセッサ、マイクロコントローラ、組み込み型マイクロコントローラ、プログラマブルデジタルシグナルプロセッサ、または他のプログラマブルデバイスもしくは処理回路を、内部メモリ及び／または外部メモリと合わせて実現することが含まれる。または代わりに、１つ以上の用途向け集積回路、プログラマブルゲートアレイ、プログラマブルアレイロジックコンポーネント、または電気信号を処理するように構成され得る任意の他のデバイスが挙げられ得る。上述のプロセスまたはデバイスを具現化させるものとして、Ｃ言語などの構造化プログラミング言語、Ｃ＋＋などのオブジェクト指向プログラミング言語、または任意の他の高レベルもしくは低レベルのプログラミング言語（アセンブリ言語、ハードウェア記述言語、ならびにデータベースプログラミング言語及び技術を含む）を用いて作成されたコンピュータで実行可能なコードが含まれ、これらは格納、コンパイル、または翻訳されて、上記デバイスのうちの１つ、ならびにプロセッサの異種組み合わせ、プロセッサアーキテクチャ、または種々のハードウェアとソフトウェアの組み合わせを用いて実行することができることもさらに理解されるであろう。別の態様では、本方法を、その工程を実行するシステムに組み込むことができ、複数の方法でデバイス間に分散することもできる。同時に、上述の様々なシステムなどの複数のデバイスに処理を分散することができるか、あるいは全ての機能を専用のスタンドアローンデバイスまたは他のハードウェアに統合することができる。別の態様では、上述のプロセスに関連付けられた工程を実行する手段に、上述のハードウェア及び／またはソフトウェアの何れかが含まれていてもよい。こうした全ての置換型や組み合わせ型が本開示の範囲内であることが意図される。

本明細書に開示された実施形態として、コンピュータで実行可能なコードまたはコンピュータで使用可能なコードを含めたコンピュータプログラム製品が挙げられ得るが、このコードは１つまたは複数のコンピュータデバイスで実行する場合に、任意及び／または全ての工程を実施するものである。このコードをコンピュータメモリに非一時的な様式で格納することができ、該メモリは、プログラムを実行するメモリ（プロセッサに関連付けられたランダムアクセスメモリなど）、またはディスクドライブ、フラッシュメモリ、もしくは任意の他の光学デバイス、電磁気デバイス、磁気デバイス、赤外線デバイス、もしくは他のデバイスなどの格納デバイス、またはデバイスの組み合わせであってもよい。別の態様では、上述のシステム及び方法の何れも、コンピュータで実行可能なコード及び／またはそのコードからの任意のインプットもしくはアウトプットを伝達する任意の適切な伝達媒体または伝搬媒体に組み込むことができる。

上述のデバイス、システム、及び方法は例として記載したものであり、限定するものではないことが理解されるであろう。逆に明記されていない場合には、本開示の範囲から逸脱しない限りにおいて、本開示した工程を変更、補充、除外し、及び／または並び替えることができる。多くの変化形、追加形、除外形、及び他の変更形が当業者には明らかである。さらに、本明細書及び上述の図面において、方法の工程が示す順序または表示は、その順序が特に必要であるかまたは文脈から明らかではない限り、列挙した工程の順序が必須であることを意図するものではない。

本明細書に記載された実施方法の工程は、別の意味が特に提供されているかまたは文脈から明らかでない限り、こうした方法の工程を実行させ、以下の特許請求の範囲の特許性に適合する、任意の適切な方法を含むことを意図するものである。例えば、工程Ｘの実行は、リモートユーザー、リモート処理リソース（例えば、サーバーまたはクラウドコンピュータ）、またはマシンなどの別のものに工程Ｘを実行させる任意の適切な方法を含む。同様に、工程Ｘ、工程Ｙ、及び工程Ｚの実行は、工程Ｘ、工程Ｙ、及び工程Ｚを実行して、これらの工程の効果が得られるように、こうした他の個体またはリソースの任意の組み合わせを誘導するかまたは制御する任意の方法を含んでもよい。したがって、本明細書に記載された実施方法の工程は、別の意味が特に提供されているかまたは文脈から明らかでない限り、こうした工程を１つまたは複数のものまたは実体に実行させ、以下の特許請求の範囲の特許性に適合する、任意の適切な方法を含むことを意図するものである。こうしたもの及び実体は、任意の他のものまたは実体の誘導または制御下にある必要はなく、特定の権限の範囲内に置かれている必要もない。

上記の本方法は例として提供されていることがさらに理解されるべきである。逆に明記されていない場合には、本開示の範囲から逸脱しない限りにおいて、開示した工程を変更、補充、除外し、及び／または並び替えることができる。

Claims (20)

1. 反復運動療法を提供する方法であって、
   オーディオコンテンツへのアクセスを提供することと、
   患者に届けるオーディオコンテンツを選択することと、
   前記選択したオーディオコンテンツの分析を行うことであって、
   前記分析が前記選択したオーディオコンテンツのオーディオ特性を特定し、
   前記選択したオーディオコンテンツのリズム特性及び構造特性を抽出する、分析を行うことと、
   前記選択したオーディオコンテンツのエントレインメント適合性分析を行うことと、
   前記選択したオーディオコンテンツに対してエントレインメントの補助的なキューを生成することであって、前記補助的なキューが前記オーディオコンテンツに加えられる音を含む、生成することと、
   前記選択したオーディオコンテンツの再生に同期させて前記補助的なキューを前記オーディオコンテンツに適用することと、
   前記患者への治療効果を評価することであって、
   治療しきい値が検出される場合には前記選択したオーディオコンテンツを再生し続け、治療しきい値が検出されない場合には第２のオーディオコンテンツを前記患者に届けるために選択する、評価することと、を含む方法。
2. オーディオコンテンツのデータベースをアップデートして、前記評価する工程からのフィードバックを組み込むことをさらに含む、請求項１に記載の方法。
3. 前記選択したオーディオコンテンツの分析を行うことが、ビートトラッキングアルゴリズムに範囲を提供することを含む、請求項１に記載の方法。
4. 前記オーディオコンテンツが音楽を含み、前記範囲が前記音楽ジャンルのテンポ平均である、請求項３に記載の方法。
5. 前記オーディオコンテンツの分析を行うことがオンセット検出関数（ＯＤＦ）を適用することを含む、請求項１に記載の方法。
6. 前記ＯＤＦが前記オーディオ信号の時間領域を時間周波数領域に変換する、請求項５に記載の方法。
7. 前記選択したオーディオコンテンツに変更を施すことをさらに含み、少なくとも１つの変更が前記オーディオコンテンツのタイミング調整を含んでいる、請求項１に記載の方法。
8. 前記オーディオコンテンツが前記患者にストリーミングされる、請求項１に記載の方法。
9. 反復運動療法を提供する方法であって、
   オーディオコンテンツへのアクセスを提供することと、
   患者に届けるオーディオコンテンツを選択することと、
   前記選択したオーディオコンテンツの分析を行うことであって、
   前記分析が前記選択したオーディオコンテンツのオーディオ特性を特定し、前記分析が前記選択したオーディオコンテンツのテンポを算出する、分析を行うことと、
   前記患者への治療効果を評価することであって、
   治療しきい値が検出される場合には、前記選択したオーディオコンテンツを再生し続け、治療しきい値が検出されない場合には、
   前記選択したオーディオコンテンツのエントレインメント適合性分析を行うことであって、前記エントレインメント分析が複数の音楽要素に対して適合性スコアを割り当てる、分析を行い、
   前記選択したオーディオコンテンツに対してエントレインメントの補助的なキューを生成することであって、前記補助的なキューが前記選択したオーディオコンテンツに加えられる音を含む、補助的なキューを生成し、
   前記選択したオーディオコンテンツの再生に同期させて前記補助的なキューを前記オーディオコンテンツに適用する、評価することと、
   オーディオコンテンツのデータベースをアップデートして、前記評価する工程からのフィードバックを組み込むことと、を含む方法。
10. 前記エントレインメント適合性分析が、平均テンポ、ビート強度、ビート時刻信頼度、リズム安定度、拍子記号、テンポ知覚信頼度、または有効演奏時間のうちの少なくとも１つに関して、エントレインメント適合性スコアを算出する、請求項９に記載の方法。
11. 生成するエントレインメントの補助的なキューが、前記選択したオーディオコンテンツの各ビートに乗せる単一ビート音楽キューを含む、請求項９に記載の方法。
12. 前記音楽キューが前記患者の片耳に届けられる、請求項９に記載の方法。
13. 前記音楽キューがリズム安定度の低いオーディオコンテンツのセクションに加えられる、請求項９に記載の方法。
14. 前記選択したオーディオコンテンツに変更を施すことをさらに含み、少なくとも１つの変更が前記オーディオコンテンツのタイミング調整を含んでいる、請求項９に記載の方法。
15. 第１のオーディオコンテンツに変更を施すことが、前記オーディオコンテンツにドラムの増強をもたらすことを含む、請求項１４に記載の方法。
16. 第１のオーディオコンテンツに変更を施すことが、前記オーディオコンテンツに構造的な変更を加えることを含む、請求項１４に記載の方法。
17. 第１のオーディオコンテンツに変更を施すことが、前記オーディオコンテンツをストレッチして、前記テンポを変えることを含む、請求項１４に記載の方法。
18. 反復運動療法を提供する方法であって、
    オーディオコンテンツへのアクセスを提供することと、
    患者に届けるオーディオコンテンツを選択することと、
    前記選択したオーディオコンテンツの分析を行うことであって、
    前記分析が前記オーディオコンテンツのオーディオ特性を特定し、前記分析が前記オーディオコンテンツのテンポを算出する、分析を行うことと、
    前記オーディオコンテンツのエントレインメント適合性分析を行うことであって、前記エントレインメント適合性分析が、
    平均テンポ、
    ビート強度、
    テンポ分散、
    テンポ知覚、
    拍子記号、
    リズムパターン分散、
    曲演奏時間、
    前記オーディオコンテンツ全体を通した複数のセクションにおけるリズム部分の検出、及び、
    前記オーディオコンテンツにおける最初のビートと最後のビートの位置、のうちの少なくとも１つを含む要素に対して適合性スコアを割り当てる、分析を行うことと、
    前記オーディオコンテンツに対してエントレインメントの補助的なキューを生成することであって、前記補助的なキューが前記オーディオコンテンツに加えられる音を含み、前記加えられる音が、
    前記オーディオコンテンツのビートで再生される単一の打楽器音、
    前記オーディオコンテンツ及びその細分のビートで再生される打楽器音、
    前記オーディオコンテンツに同調したドラムパターン、ならびに
    前記オーディオコンテンツのビートをカウントするボイス、のうちの少なくとも１つを含む、生成することと、を含む方法。
19. 前記患者の歩調と前記オーディオコンテンツのテンポとの相関に基づいて、前記オーディオコンテンツにエントレインメント適合性スコアを割り当てることをさらに含む、請求項１８に記載の方法。
20. エントレインメント適合性スコアが、エントレインメントの補助的なキューを前記オーディオコンテンツに適用する前及び適用した後に算出される、請求項１９に記載の方法。

Images