JP2017533790A - 運動タスク解析のシステムおよび方法 - Google Patents

Abstract

運動タスク解析のためのビデオ処理を説明する。様々な例では、人差し指を鼻に置くなどの運動タスクを実行する人のビデオが、トレーニングされた機械学習システムに入力されて、複数のクラスのうちの１つにこの運動タスクを分類する。一例では、ビデオのフレームの各ペアから、オプティカルフローなどの運動記述子が計算され、この運動記述子が機械学習システムに入力される。運動タスク解析を使用して、多発性硬化症および／またはパーキンソン病などの神経学的症状を査定または評価してもよい。

Description

共同研究契約の表明
本明細書において特許請求される本発明は、Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈ ＬｉｍｉｔｅｄとＮｏｖａｒｔｉｓ Ｐｈａｒｍａ ＡＧとの間の共同研究契約の下での共同研究から生まれたものである。

関連出願の相互参照
本出願は、「Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｉｎｇ Ｆｏｒ Ｍｏｔｏｒ Ｔａｓｋ Ａｎａｌｙｓｉｓ」と題する、２０１４年９月９日出願の米国特許仮出願第６２／０４８，１３２号明細書の優先権を主張し、あらゆる目的のために、この開示全体を参考として本明細書に援用する。

腕を持ち上げたり、直立したり、足を上げたりなど、運動タスクの能力は、通常、個人間で大きな差がある。たとえば、身体構造、体重、個人の専門知識および技能、経験、体力、身体能力など他の要因に依存する。運動タスク能力を解析する既存の方法は、通常は手動観測を伴い、したがって、解析する際の観察者の技量に依存して主観的なものであり、ばらつきやすいものである。

以下に述べる実施形態には、それだけには限らないが、既知の運動タスク解析システムの既に述べた欠点を解決する実装形態が含まれる。

本発明の実施形態は、動きおよび／もしくは運動協調性情報、ならびに／または対応する活動レベルを患者から取り込んで解析するためのシステム、装置、および方法を含み、ときとして患者は人および／または被験者とも呼ばれる。本発明の実施形態はさらに、動きおよび運動、ならびに／または、対応する患者もしくは被験者の活動レベルを含む協調情報を取り込んで解析するためのシステム、装置、および方法を含む。本発明の実施形態はさらに、動きおよび運動、ならびに／または、対応する患者もしくは被験者の活動レベルを含む協調情報を取り込んで解析するためのシステム、装置、および方法を含み、この活動レベルは、バイオマーカ、センサ、および／もしくは患者、または、データの取込み、記憶、交換、もしくは解析のうちの少なくとも１つを容易にするように動作する独立型装置によって、またはそれらとともにその状況が説明される。

このシステムの実施形態は、１つまたは複数の物理的側面を取り込んでスコア付けする、自動化されたインテリジェントなコンピュータシステムを備え、この物理的側面には、患者または被験者の運動、神経の協調性、歩行および運動の協調性、動き、手足の屈曲、手足の位置、刺激への反応、体位、および外見、たとえば神経学的評価の主要構成要素を含むが、それだけに限定されない。

システムの一実施形態が、被験者または患者用の、採点または評価のツールとして使用される。

本発明の実施形態は、運動に関連する神経機能について、感度の高い観察者に左右されない査定を実現する。

本発明の実施形態は、運動機能不全および／または正常機能について、自動化され、身体に触れなくてもよい信頼性の高い査定を実現する。

実施形態によっては、ビデオ処理が運動タスク解析に使用される。様々な例では、人差し指を鼻に置くなどの運動タスクを実行する人または動物の少なくとも一部分のビデオが、トレーニングされた機械学習システムに入力されて、複数のクラスのうちの１つにこの運動タスクを分類する。一例では、ビデオのフレームの各ペアから、オプティカルフローなどの運動記述子が計算され、この運動記述子が機械学習システムに入力される。たとえば、トレーニング中、機械学習システムは、時間依存および／または位置依存の加速度または速度の特徴を識別し、これらの特徴が、運動タスクのクラス間での違いを区別する。例において、トレーニングされた機械学習システムは、良好な判別子として学習した位置依存の加速度または速度の特徴を、運動記述子から計算する。様々な例では、ビデオの単一のサブボリュームを使用して、またはビデオの２つのサブボリュームを比較することによって特徴が計算される。

本発明の各実施形態は、動きを画像処理し、それによって患者の動きおよび／または身体活動への疾患もしくは症状の影響を取り込むことによって、その疾患もしくは症状を査定、評価、および／または診断するための、装置、システム、および方法を実現する。神経学的影響を示すことが知られており、または患者の運動もしくは動きの何らかの側面に影響を及ぼし、もしくはインパクトを与える疾患もしくは症状が数多く存在する。このような疾患または症状は、たとえばパーキンソン病、ハンチントン病、一般には「ルーゲーリック病」と呼ばれる筋萎縮性側索硬化症（ＡＬＳ）、および脳性麻痺がよく知られた例である。関節リウマチ、筋消耗、または慢性閉塞性肺疾患（ＣＯＰＤ）など、動きおよび／または活動を弱めることのある他の疾患および症状が知られている。たとえば、自閉症、統合失調症、アルツハイマー病など、さらに他の疾患および症状が、動きおよび活動に何らかの影響を示すことがある。さらなる例として、患者が活動的でなくなることによって、患者の活動レベルまたは活動範囲に疾患が影響を及ぼすことがある。たとえば、特定の身体活動または身体活動全般によって患者の感じる痛みが増す場合、慢性痛によって、患者はこのような活動を避けるようになることがある。患者の活動に影響を及ぼすことがある他の疾患には、振戦、パーキンソン病、多発性硬化症、痙縮などの運動障害が含まれ、これらの結果として、不規則な動きもしくは活動、他の神経障害、または活動レベルの全般的な低下が生じる場合がある。運動障害をもつ患者が経験する歩行または他の動きの困難によって、こうした患者は、可能な範囲内で動こうとしなくなることがある。さらに、認知症、うつ病、躁病、双極性障害、強迫性障害など他の精神神経疾患、またはうっ血性心不全、不整脈、胃腸障害、失禁などの症状は、一般的に患者が活動的でなくなる原因となることがある障害の他の例である。患者は、活動的でなくなると、横臥する可能性、すなわち横になったり座ったりする可能性がさらに高くなり、姿勢を変える頻度が低下することがある。

本発明の実施形態によって、患者の神経学的挙動、歩行、ならびに運動協調性および活動のレベルのうち１つまたは複数を査定することによって、運動疾患および／または神経学的症状向けに指示された適切な治療薬もしくは他の治療形態の、選択および／または運用が可能になる。さらに、これらのメトリクスは、長期の機能回復の重要な特定値である。本発明の実施形態によって、新規の治療法、たとえば新薬の安全性および有効性を判定するための臨床試験の過程において、患者および／または被験者の試験グループに対して、自動化された正確で再現性のある運動機能評価が可能になる。

本発明の実施形態は、運動活性および／または機能不全を正確に判定でき、運動機能の変化を確実に検出できるようにするための、システム、装置、および方法を実現する。本発明の実施形態は、特別な、または専用のセンサまたはコンピュータ機器を必要とせず、患者が、自分の家またはオフィスで使用でき、若い患者も年老いた患者も分け隔てなく容易に使用可能な、こうしたシステム、装置、および方法を実現する。本発明の一実施形態は、機械学習システムを用意するステップと、この機械学習システムをトレーニングして、運動タスクの複数のクラス間で違いを区別するビデオの位置依存の局所運動特徴を見つけるステップと、運動タスクを実行する人または動物の少なくとも一部分を示すビデオを受信するステップと、このビデオを、トレーニングされた機械学習システムに入力するステップと、複数のクラスのいずれに運動タスクが属していると予測されるのかについてのデータを、トレーニングされた機械学習システムから受信するステップと、運動タスクを実行する人または動物の、神経の疾患または症状を評価するステップとを含む、コンピュータ実施方法（computer-implemented method）を含む。

本発明の実施形態は、
複数のフレームを含むビデオデータを受信するステップであって、少なくとも２つのフレームが運動タスクを実行する人間のデジタル表現を含むステップと、ビデオデータの少なくとも２つのフレームのそれぞれについての複数の基準点を、ビデオデータの少なくとも２つのフレーム内での人間のデジタル表現にマッピングするステップと、ビデオデータの少なくとも２つのフレームについて複数の運動記述子を計算するステップであって、各運動記述子が、基準点のうちの１つに対応するステップと、各運動記述子の少なくとも１つに基づいて、疾患状況および疾患重症度のうちの１つまたは複数を査定するステップとを含む、方法を含む。実施形態によっては、この方法はさらに、運動失調、体幹運動失調、歩行運動失調、四肢運動失調、痙縮、振戦、脱力、測定障害、上肢運動機能障害、器用さ、可動性、下肢機能、およびそれらの組合せから選択される、１つまたは複数の症状を示す疾患重症度のサブスコアを特徴とする。

このシステムの一実施形態を使用して、神経学的症状、たとえば多発性硬化症もしくはパーキンソン病であると診断されたか、またはそう疑われている患者を評価もしくは査定する。

本発明の実施形態は、スマートフォン、または他のパーソナル／ポータブル／モバイルコンピューティング装置で採用されるシステムなど、患者が遠隔で使用できる、こうしたシステム、装置、および方法を実現する。

付随的な特徴の多くは、添付図面とともに考察する以下の発明を実施するための形態を参照することによってさらによく理解されるにつれて、より容易に理解されよう。本明細書では、「運動タスク」は、運動成分または筋肉成分を含め、人間または動物の解剖学的構造の何らかの要素の、選択または定義された動きであることに留意されたい。

この説明は、添付図面に照らして以下の発明を実施するための形態を読めば、さらによく理解されよう。

運動タスクを実行する人のビデオキャプチャの概略図、およびビデオを処理して運動タスクを解析する様子を示す図である。 運動タスクの例の概略図である。 図１の状況で使用してもよいキャプチャ装置の概略図である。 図１のビデオのフレーム、およびフレームを前処理した結果、ならびに前処理装置の概略図である。 機械学習システムをトレーニングして、運動タスクのビデオを解析するためのシステムの概略図である。 ランダム決定フォレスト（random decision forest）をトレーニングして、運動タスクのビデオを分類する方法の流れ図である。 ランダム決定フォレストの概略図である。 トレーニングされたランダム決定フォレストを使用して、運動タスクのビデオを分類する方法の流れ図である。 ビデオ処理システムの各実施形態を実装することができる、例示的なコンピュータベースの装置を示す図である。 一実施形態による方法の流れ図を示す図である。 一実施形態による識別能力のある時空領域学習を示す、加速度のグラフである。 一実施形態による識別能力のある時空領域学習を示す、加速度のグラフである。 運動タスクの追加例の概略図である。

同じ参照番号は、添付図面での同じ部品を指すのに使用される。

添付図面とともに以下に示す詳細な説明は、これらの例を説明するものであって、この例を構成または利用することのできる唯一の形態を表すものではない。この説明は、この例の機能、およびこの例を構成し動作させるためのステップのシーケンスを説明する。しかし、これらの同じまたは同等の機能およびシーケンスは、様々な例で実現してもよい。「患者」、「被験者」、および「人」という用語は、文脈から別のものであると明らかでない限り、区別なく使用されることに留意されたい。

図１は、（腕の位置１１４で示すように）腕を水平に差し出した位置から開始した後、（腕の位置１１２で示すように）人差し指を鼻に置くなどの運動タスクを実行する人１０１の概略図である。これは、運動タスクのほんの一例であり、図２および図１２を参照して、以下でさらに多くの例を示す。

運動タスクの解析は、以前より手動で（たとえば目視観測によって）実現してきたが、これには、観察者の先入観、観察者の経験レベル、観察者の環境などのばらつきが生じやすい。以下に述べる様々な例では、運動タスクのビデオを処理して、運動タスクを解析する。たとえば、良、中、弱など（たとえば運動タスクの成果レベルを示すため）２つ以上のクラスに運動タスクを分類するためである。本明細書に記載の自動化されたビデオ処理システムを使用することによって、高速かつ実用的な方式で、先入観のない正確な格付け／分類を手に入れることが可能である。

例によっては、提案するシステムは次のような利点を示す。臨床医、技能者、看護師、または患者自身によって査定を実行することができる。あらゆる査定が同じアルゴリズムによって実行されるので、この査定には意図的に一貫性がある。このシステムは、人間の知覚によって制限されないので、さらに感度よく状態を査定することができる。最後に、このシステムは、患者が自宅または遠隔でも使用することができ、医療センタまで移動したり、訪問するスケジュールを立てたりする必要もなく、頻繁に査定することが可能になる。

ビデオキャプチャ装置１００は、ある環境で運動タスクを実行する人１０１のビデオを取り込む。図１の例での環境は、壁にかかった絵１０６、長椅子１１０、および壁にかかった衣服１０８がある部屋である。しかし、これはほんの一例であり、他の環境を使用してもよい。ビデオキャプチャ装置１００は、壁に取り付けてユーザの方へ向けてもよく、コンピューティング装置、テーブル、または他の構造体など別の方式で支持してもよい。図２を参照しながら、ビデオキャプチャ装置１００についてさらに詳しく説明する。この装置は、毎秒３０フレーム以上などのフレームレートで取り込まれた複数のフレームを含む画像ストリーム１１６を取り込む。運動タスクおよびビデオキャプチャ機器のタイプに応じて、他のフレームレートを使用することができる。適切な同意の下で取り込まれた人のビデオ、およびビデオ素材は、安全かつ非公開の方式で記憶されることが好ましい。

取り込まれたフレームは、コンピューティング装置１０４に入力してもよく、この装置は、ビデオキャプチャ装置１００と一体化してもよく、または無線通信、有線接続、または他の方式でビデオキャプチャ装置に接続してもよい。コンピューティング装置１０４は、クラウド内にあって、クラウドサービスとして提供してもよい。図１の例では、単一のコンピューティング装置１０４が示してある。しかし、協力して機能を実現する複数の分散コンピューティング装置を使用することも可能である。

図１のコンピューティング装置１０４は、ビデオを前処理して、前処理済み画像１２０を生成する、前処理構成要素１１８を備える。したがって、実施形態によっては、前処理を使用して、たとえば空間内の同様の位置が同様の意味をもつようにビデオを標準化し、かつ／または査定される実際の運動機能もしくは機能不全とはほとんど関係ない情報を取り除く。コンピューティング装置１０４はまた、ランダム決定フォレスト、一群のサポートベクタマシン、または運動タスク分類データ１２４を出力する他のトレーニングされた機械学習システムなど、トレーニングされた機械学習システム１２２を備える。

機械学習システムをトレーニングして、運動タスクのクラスの良好な判別子である位置依存の局所運動特徴を学習する。たとえば、ランダムに選択された局所運動特徴をトレーニング中に査定することができ、良好な判別を実行する特徴が選択される。位置依存の特徴は、ビデオの１つまたは複数のサブボリュームの特性である。ビデオを形成するフレームのシーケンスは、相対的に大きいボリュームの隣接領域でのボリュームおよびサブボリュームを形成するものと考えることができる。サブボリュームは、ビデオの時間および空間における特定の位置にあるので、サブボリュームの特性は位置に依存する。局所運動特徴は、サブボリュームのフレーム内の画像要素が、画像フレーム間で位置をどのように変化させるのかに関係する、１つまたは複数のサブボリュームの特性である。たとえば、局所運動特徴は、画像要素の速度または加速度に関係することがある。加速度という用語は、ここでは、速度の大きさもしくは速度の方向の変化率、または速度の大きさと速度の方向の両方の変化率を指すために使用される。この文書でさらに詳細に説明するように、位置依存の局所運動特徴は、運動タスクのクラス用の有効な判別子を提供できることが分かってきた。

図２は、解析することのできる運動タスクの例示的なタイプの概略図である。第１の運動タスクは、指から鼻へのタスク２００であり、このタスクは、人が、身体から離れるように延びた水平位置まで腕を上げ、人差し指で指すことを含み、次いでこの人は、ひじを曲げることによって腕を動かして、水平位置から腕の位置を変えることなく人差し指を鼻に置く。通常、この試験は、それぞれの腕で実行され、それぞれ３回繰り返される。この試験は、被験者の目を開けて、目を閉じて、またはその両方で（すなわち、それぞれ少なくとも１回）実行してもよい。

指から指へのタスク２０４は、身体から離れるように延びた肩の高さの水平位置まで両腕を上げ、人差し指が身体から離れるように指すことを含む。次いでこの人は、両腕が水平のまま、身体の前の人差し指が互いに触れ合うように両腕を動かす。この運動が３回繰り返される。この試験は、被験者の目を開けて、目を閉じて、またはその両方で（すなわち、それぞれ少なくとも１回）実行してもよい。

正方形を描くタスク２０２と呼ばれている別の運動タスクでは、人は、仮想のサイズが等しい２つの正方形を、身体の前の目の高さで、それぞれの人差し指で１つずつ空中に描く。正方形は、目の高さから胸まで下方に延び、身体の両側に向けて外方へ延び、目の高さまで上方に戻り、次いで身体に向けて戻る。これらの正方形は、両手で同時に描かれる。この試験は、被験者の目を開けて、目を閉じて、またはその両方で（すなわち、それぞれ少なくとも１回）実行してもよい。

体幹運動失調タスク２０６では、人が、着座位置で開始し、両腕を水平外方に、身体の両側へ、かつ身体から離れるように、手の平を下側にして延ばすことを含む。同時に、この人は、両足を、身体の前方で、かつ身体から離れるように延ばし、少なくとも５秒間その位置を保持し、次いで開始位置まで戻る。この試験は、被験者の目を開けて、目を閉じて、またはその両方で（すなわち、それぞれ少なくとも１回）実行してもよい。

図１２を参照して、運動タスクのさらに多くの例を説明する。

カップから飲む運動タスク１２００は、座っている人がカップを片手で掴んで、これを持ち上げ、そこから一口飲み、次いでカップを取り替え、もう一方の手を使用してこの運動を繰り返す動作を含む。

通常の歩行運動タスク１２０２では、画像／ビデオキャプチャ装置に至るまで、画像／ビデオキャプチャ装置に向けて、人が通常通りに歩くことを含む。

片足で軽く跳ぶタスク１２０４では、人が、起立し、地面から片足を上げ（場合によっては、静止した物体または別の人に手を置くことによってバランスをとり）、画像／ビデオキャプチャ装置に最も近いもう一方の足で、元気よく１０回軽く跳ぶことを含む。

ロンベルクタスク１２０６では、身体の両側で両腕を保持し、身体の前方でこの腕と手を肩の高さまで水平位置で上げ、手の平を上に向けることを含む。５秒間この位置を保持し、次いで目を閉じ、さらに５秒間その位置を保持した後に、両腕を身体の両側に戻すことを含む。

その場で回転するタスク１２０８では、人が、腕を身体の側部に置いて起立し、可能な限り側方に踏み出すことなく３６０°回転することを含む。

ページをめくるタスク１２１０では、人が、左手を使用して読み進める方向に（右から左へ）本を３ページめくり、次いで右手を使用して逆向きに３ページめくる。

真っすぐ歩くタスク１２１２では、人が、かかととつま先を揃えるように一方の足をもう一方の足の前に出して、画像／ビデオキャプチャ装置に至るまで、画像／ビデオキャプチャ装置に向けて直線に沿って歩くことを含む。

図２および図１２に示した運動タスクの例は、考えられる運動タスクの例の網羅的なリストではなく、技術を例示するために示すものである。さらに、繰返しの数およびタスクの持続時間は例示的なものにすぎず、当業者には明らかなように、これに修正を加えてもよい。

実施形態によっては、評価するために信頼性の高い画像結果を提示するとともに、神経学的症状と良好な相互関係をもつように、特定の運動タスクが選択される。これらの目的に適したいくつかの運動タスクが図２および図１２に示してあり、これらのタスクのみで使用するか、または他の運動タスクとともに使用して、自動化された査定を実行するのに役立ててもよい。

次に、図３を参照する。図３には、図１のカメラベースのシステムで使用できる例示的なビデオキャプチャ装置１００の概略図が示してある。図３の例では、ビデオキャプチャ装置１００は、デプスビデオ（デプスカメラ３０２を使用して）ならびにカラービデオ（ＲＧＢカメラ３０６を使用して）を取り込むように構成される。本発明の実施形態は、カラービデオのみ、またはデプスビデオのみを取り込むように構成してもよい。デプスカメラ３０２を使用する場合、このカメラは、たとえば飛行時間型、構造光、ステレオ、または適切な組合せなど、任意の適切なタイプとすることができる。デプスカメラは、例によってはスペックル非相関を使用してもよい。カラービデオカメラを使用する場合、人を識別できる顔の特徴または他の視覚的特徴を、カラービデオから作成することができる。実施形態によっては、カラービデオをデプスビデオとともに使用してもよく、画像を連結してもよい。

ビデオキャプチャ装置１００は、少なくとも１つの画像センサ３００を備える。図３に示した例では、画像センサ３００は、シーンのデプス画像を取り込むように構成されたデプスカメラ３０２を備える。取り込まれたデプス画像は、取り込まれたシーンの２次元（２Ｄ）領域を含むことができ、ここで２Ｄ領域でのそれぞれの画像要素は、デプスカメラ３０２から取り込まれたシーン内の対象物の長さまたは距離などの深度値を表す。

キャプチャ装置は、深度情報をデプスカメラ３０２によって確認できるような方式でシーンを照明するように構成された発光体３０４を備えることもできる。たとえば、デプスカメラ３０２が赤外（ＩＲ）飛行時間型カメラである実施形態では、発光体３０４は、赤外（ＩＲ）光をシーン上に放射し、デプスカメラ３０２は、シーン内の１つまたは複数のターゲットおよび対象物の表面からの後方散乱光を検出するように構成される。例によっては、出力光パルスと対応する入力光パルスとの間の時間を、デプスカメラによって検出し、これを測定および使用して、ビデオキャプチャ装置１００から、シーン内のターゲットまたは対象物上の位置までの物理距離を決定できるように、発光体３０４からパルス状の赤外光を放射することができる。さらに、例によっては、発光体３０４からの出力光波の位相を、デプスカメラ３０２での入力光波の位相と比較して、位相シフトを決定することができる。次いで、位相シフトを使用して、キャプチャ装置１００からターゲットまたは対象物上の位置までの物理距離を決定することができる。さらなる例では、たとえばシャッタ光パルスイメージングを含む様々な技法を用いて、ある時間にわたって光の反射ビームの強度を解析することにより、飛行時間型解析を使用して、キャプチャ装置１００からターゲットまたは対象物上の位置までの物理距離を間接的に決定することができる。

他の実施形態では、キャプチャ装置１００は、構造光を使用して深度情報を取り込むことができる。このような技法では、発光体３０４を使用して、パターン光（たとえば、グリッドパターンまたは縞模様など既知のパターンとして表示される光）をシーンに投射することができる。シーン内の１つもしくは複数のターゲットまたは対象物の表面にぶつかると、このパターンが変形する。パターンのこのような変形をデプスカメラ３０２によって取り込み、次いでこれを解析して、キャプチャ装置１００からシーン内のターゲットまたは対象物上の位置までの物理距離を決定することができる。

実施形態によっては、デプスカメラ３０２は、深度情報を生成するために分解できる視覚的なステレオデータが得られるように、シーンを様々な角度から見る２つ以上の物理的に分離されたカメラの形態とすることができる。この場合、発光体３０４を使用してシーンを照明することができ、またはこの発光体３０４を省くことができる。

実施形態によっては、デプスカメラ３０２に加えて、またはそれに代えて、キャプチャ装置１００がＲＧＢカメラ３０６を備えることができる。ＲＧＢカメラ３０６は、可視光周波数においてシーンの画像のシーケンスを取り込むように構成され、したがって、デプス画像を増やし、かつ／または置き換えるために使用できる画像を提供することができる。例によっては、デプスカメラ３０６を必要とせず、ＲＧＢ画像から深度を計算してもよい。

たとえば、デプスカメラを使用せずにＲＧＢ画像を取り込んでもよく、たとえば、画像再構成技法によってＲＧＢ画像から深度を計算して、デプス画像と同様にして使用できるデータを提供してもよい。

図３に示すキャプチャ装置３０６はさらに、少なくとも１つのプロセッサ３０８を備え、このプロセッサは、画像センサ３００（すなわち、図３の例ではデプスカメラ３０２およびＲＧＢカメラ３０６）ならびに発光体３０４と通信する。プロセッサ３０８は、汎用のマイクロプロセッサ、または専用の信号／画像プロセッサとすることができる。プロセッサ３０８は、画像センサ３００および発光体３０４を制御して、デプスビデオおよび／またはＲＧＢビデオを取り込むための命令を実行するように構成される。本発明の実施形態によっては、プロセッサ３０８は、場合によっては、これらのビデオに処理を実行するように構成することができる。

図３に示すキャプチャ装置３０６はさらに、プロセッサ３０８が実行するための命令、ビデオもしくはデプスカメラ３０２もしくはＲＧＢカメラ３０６によって取り込まれたビデオのフレーム、または他の任意の適切な情報、画像などを記憶するように構成されたメモリ３１０を備えることができる。実施形態によっては、メモリ３１０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、キャッシュ、フラッシュメモリ、ハードディスク、または他の任意の適切な記憶構成要素を備えることができる。メモリ３１０は、プロセッサ３０８と通信する別個の構成部品とすることができ、またはプロセッサ３０８に統合することができる。

キャプチャ装置１００はまた、プロセッサ３０８と通信する出力インターフェース３１２を備え、通信リンクを介してコンピューティング装置１０４にデータを提供するように構成される。この通信リンクは、たとえば、有線接続（ＵＳＢ、ファイアワイヤ、イーサネット（登録商標）、もしくは同様のもの）、および／または無線接続（ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、もしくは同様のもの）とすることができる。他の例では、出力インターフェース３１２は、１つまたは複数の通信ネットワーク（インターネットなど）とインターフェースし、これらのネットワークを介してコンピューティング装置１０４にデータを提供することができる。

図４は、図１のビデオのフレーム４００およびこのフレームを前処理した結果４１０、ならびに前処理装置１１８の概略図である。ビデオのフレーム４００は、人が、この例では中心からわずかに外れていて、キャプチャ装置から任意の深度にある状態を示す。前処理装置１１８は、場合によっては、修復ステップ４０２を実行し、前景抽出４０４、センタリング４０６を実行し、深度情報が利用可能な場合、前景を標準的な深度にマッピングする。このようにして、前処理済みのビデオの各フレーム間の比較は、前処理しなかった場合よりも簡単に実行することができる。たとえば雑音によって値が欠落するか値に誤りのある画像要素を前景が含む場合、修復ステップ４０２を使用してもよい。デプスビデオカメラを使用する場合に、これが特に有用である。修復するステップは、欠落している画像要素に最も近い近接部に基づいて計算された値で、または他のよく知られた方式で、欠落している画像要素値を埋めるステップを含んでもよい。

深度データを使用して（深度データが利用可能な場合）、たとえば、深度のガウスモデルと、それに続く測地線改善段階を使用して、前景抽出４０４を実行してもよい。深度のガウスモデルは、フレーム内で観察される深度のヒストグラムに適合した、ガウス混合モデルを含んでもよい。一例では、第１のガウスモードは、前景に対応していると解釈される。しかし、他のモードまたはモードの組合せを使用してもよい。測地線改善段階は、シード領域として最も頻繁に生じる深度範囲になる深度値を有する画像要素を使用するステップと、シード領域からの他の各画像要素の測地線距離を計算するステップとを含んでもよい。次いで、閾値を使用して前景領域を改善するために、測地線距離を使用してもよい。

カラービデオを使用する実施形態では、カラーデータを使用することによって、画像内のエッジを識別することによって、または他の方式で、前景抽出４０４を実現してもよい。

センタリングプロセス４０６は、テンプレートマッチングを使用して、フレーム内に示した人の頭または他の指定された身体部位を検出するステップを含んでもよい。いったん検出されると、この身体部位は、前処理済みの画像４１０内でセンタリングされ、また（デプスフレームが関係する場合は）スケーリングされ、または標準的な深度にマッピングされてもよい（４０８）。他の例では、センタリングプロセスは、前景領域の質量中心を計算するステップと、この質量中心を前処理済みの画像の中心に位置合せするステップとを含む。カラービデオを使用する場合、身体部位は、標準的な深度にマッピングするのではなく、指定されたサイズにスケーリングされる。

機械学習システムを備える本発明の実施形態では、この機械学習システムをトレーニングして、運動タスクのクラスの良好な判別子である位置依存の局所運動特徴を見つけることができる。運動タスクのラベル付きビデオ５００を使用して、機械学習システムをトレーニングしてもよい（図５参照）。このラベルは、図示した運動タスクがいずれのクラスに該当するのかを示す。ラベルは、たとえば人間の判断によって割り当ててもよい。ラベル付きビデオは、様々な長さでもよい。ラベル付きビデオは、前述の前処理装置１１８を使用して前処理されて、トレーニングデータ５０２を生成する。運動記述子が、トレーニングデータビデオから計算され（５０４）、この運動記述子をトレーナ５０６が使用して、トレーニングされた機械学習システム５０８を生成する。たとえば、トレーニングされた機械学習システムは、ランダム決定フォレスト、一群のランダム化されたサポートベクタマシン、ニューラルネットワーク、またはブースティングシステムを含む。

運動記述子を計算するプロセス５０４の実施形態は、ビデオのうちの１つから（トレーニングデータ５０２から）ビデオフレーム５１０のペアを選択するステップと、他には「ペアワイズ」解析としても知られている、ビデオフレームの各ペアの間での画像要素の動きの大きさおよび／または方向（またはこれらの量の変化）を示す運動記述子を計算するステップとを含んでもよい。１対のフレームは、２つの連続したフレームでもよい。たとえば、運動記述子を、トレーニングビデオ内の連続したフレームの各ペアについて計算し、トレーナに入力してもよい。実施形態によっては、運動記述子５０４は、オプティカルフロー値を含む。オプティカルフロー値は、１対のビデオフレーム内での同じシーン要素を示す画像要素の、垂直変位および水平変位の値である。運動記述子としてオプティカルフロー値を使用することが、ロバストで正確な結果をもたらすことが分かってきた。本発明の実施形態では、確度は、少なくとも８０％、または８５％、または９０％以上である。別の例では、運動記述子５０４は、ビデオフレームのペア間での、身体の関節位置の変位を含む。別の例では、運動記述子５０４は、ビデオフレームのペア間での、身体部位の重心の変位を含む。別の例では、運動記述子は、あるフレームの前景領域と別のフレームの前景領域との間でのオーバラップしていない領域を含む。

図５の例では、トレーナへの入力に先立って、運動記述子が計算される。これはまた、試験時間に実行してもよい。ビデオが長く、画像サイズが大きい場合、計算すべき運動記述子の数は潜在的に非常に大きく（たとえば、連続したフレームの全てのペアについて）、したがって運動記述子を事前計算することが有益になる場合がある。しかし、トレーニングおよび／または試験段階の一部として、運動記述子を計算することも可能である。この試験段階は、これまで見えなかったビデオ（すなわち、機械学習システムにまだ提示されていないビデオ）において、トレーニングされた機械学習システムが使用されるときである。

実施形態によっては、機械学習システムはランダム決定フォレストを含む。ランダム決定フォレストは、１つまたは複数の決定木（decision trees）を含み、それぞれが、根ノード（root node）、複数の分岐ノード（split nodes）、および複数の葉ノード（leaf nodes）を有する。各分岐ノードで決定が実行されるプロセスにおいて、ビデオは、ランダム決定フォレストのいくつかの木を通って、根ノードから葉ノードへと送られる。以下でより詳細に説明されているように、位置依存の局所運動特徴に従って、この決定がなされる。分岐ノードにおいて、ビデオは、決定の結果に従って選択される分岐を下って、木の次のレベルへと進む。ランダム決定フォレストは、以下でより詳細に述べるように、回帰または分類を使用してもよい。トレーニング中、分岐ノードで使用するためのパラメータ値（位置依存の局所運動特徴を指定する）が学習され、データ（ラベル付きビデオ）が葉ノードで蓄積される。葉ノードで蓄積されるビデオのラベルは、ヒストグラムとして、または平均値、中央値、もしくは最頻値を使用することなど集合形式で、またはヒストグラムに確率分布を当てはめ、確率分布を記述する統計量を記憶することによって記憶してもよい。

システムの試験において、これまで見えなかったビデオを、このシステムに入力して、１つまたは複数の運動タスクのクラスを予測する。これが、図８を参照して説明してある。

図６を参照すると、決定木をトレーニングするために、前述のトレーニングセットがまず受信される（６００）。ランダム決定フォレストで使用される決定木の数が選択される（６０２）。ランダム決定フォレストは、決定論的な決定木の集合である。決定木は、分類または回帰のアルゴリズムで使用することができるが、過剰適合、すなわち正確さに欠ける一般化に陥る可能性がある。しかし、ランダムにトレーニングされた数多くの決定木（ランダムなフォレスト）の集団によって、改善された一般化が実現する。トレーニングプロセス中、木の数は固定されている。

例示的なランダム決定フォレストが、図７に図示してある。図７の例示的な決定フォレストは、３つの決定木、すなわち第１の木７００、第２の木７０２、および第３の木７０４を含む。それぞれの決定木は、根ノード（たとえば第１の決定木７００の根ノード７０６）、分岐ノード（たとえば第１の決定木７００の分岐ノード７０８）と呼ばれる複数の内接点、および複数の葉ノード（たとえば第１の決定木７００の葉ノード７１０）を含む。

決定フォレストからの決定木が選択され（６０４）（たとえば、第１の決定木６００）、根ノードが選択される（６０６）。次いで、候補特徴として根ノードにおいて実行されるバイナリテストが使用するための、試験パラメータのランダムなセットが生成される（６１０）。本明細書に記載の例では、位置依存の局所運動特徴が使用される。フレーム内の２Ｄおよび／またはフレームのシーケンス内の時間におけるビデオ内の位置が、ランダムに選択される。複数の様々なタイプの特徴から、特徴がランダムに生成される。たとえば、ビデオのサブボリュームに関連する以下の４つのタイプの特徴が使用される。ビデオのサブボリュームは、ビデオ内の時空窓を選択する直方体でもよい。サブボリュームは、シンボルＢで表してもよく、第１のフレーム内の２Ｄの水平および垂直の画像座標、ならびに第２のフレーム内の２Ｄの水平および垂直の画像座標によって指定してもよく、ここで、第１のフレームと第２のフレームの間のフレームの数が指定される。たとえば、Ｂ＝（ｘ１，ｙ１，ｘ２，ｙ２，Ｔ１’，Ｔ２’）である。しかし、直方体形状のサブボリュームを使用することは不可欠ではない。他の３Ｄ形状のサブボリュームも使用してよい。

第１のタイプの特徴は、単一のサブボリュームの関数である。第１のタイプの特徴の一例が、ｆ（ｄ_１，Ｂ_１）で示され、これはパラメータｄ_１の関数として文字で表現してもよく、このパラメータは、サブボリュームＢ_１内で計算するための局所運動特徴のタイプを示す。使用してもよい例示的な関数ｆについてのさらなる詳細を以下に述べる。

第２のタイプの特徴は、２つのサブボリュームの関数である。第２のタイプの特徴の一例が、ｆ（ｄ_１，Ｂ_１）＋ｆ（ｄ_２，Ｂ_２）で示され、これは、サブボリュームＢ_１内で計算するための局所運動特徴のタイプを示すパラメータｄ_１の関数と、サブボリュームＢ_２内で計算するための局所運動特徴のタイプを示すパラメータｄ_２の関数との合計として、文字で表現してもよい。

第３のタイプの特徴は、２つのサブボリュームの関数である。第３のタイプの特徴の一例が、ｆ（ｄ_１，Ｂ_１）−ｆ（ｄ_２，Ｂ_２）で示され、これは、サブボリュームＢ_１内で計算するための局所運動特徴のタイプを示すパラメータｄ_１の関数と、サブボリュームＢ_２内で計算するための局所運動特徴のタイプを示すパラメータｄ_２の関数との差として、文字で表現してもよい。

第４のタイプの特徴は、２つのサブボリュームの関数である。第４のタイプの特徴の一例が、｜ｆ（ｄ_１，Ｂ_１）−ｆ（ｄ_２，Ｂ_２）｜で示され、これは、サブボリュームＢ_１内で計算するための局所運動特徴のタイプを示すパラメータｄ_１の関数と、サブボリュームＢ_２内で計算するための局所運動特徴のタイプを示すパラメータｄ_２の関数との絶対差として、文字で表現してもよい。

加速度特徴または速度特徴など、局所運動特徴を合計することによって、関数ｆを計算してもよい。加速度特徴が計算される一例を次に示す。

ここで、Ｔ（Ｂ）はサブボリュームのフレームの数であり、シンボル

は推定された加速度特徴（局所運動特徴の一例）であり、以下に説明するように、サブボリューム内のそれぞれの画像要素位置（または、これらの位置のサブセット）について、この特徴を計算してもよい。前述の関数は、所与の局所運動特徴のタイプの関数ｆとして文字で表してもよく、所与のサブボリュームが、サブボリュームのフレーム当たりの加速度特徴の平均値として計算される。

オプティカルフローベクトルの変化率が方向を変える回数を数えるが、オプティカルフローベクトルの大きさが非常に小さい場合には方向の変化を無視することによって（ヘビサイドの階段関数もしくは閾値を使用することによって、または他の方式で）、推定された加速度特徴

を計算してもよい。

別の例では、上記の推定された加速度特徴の代わりに、推定された速度特徴を使用してもよい。たとえば、オプティカルフローベクトルの変化率を考慮に入れることによってではなく、オプティカルフローベクトルが方向を変える回数を数えることによってである。

図６のステップ６０１において、候補特徴として分岐ノードにおいて実行されるバイナリテストが使用するための、試験パラメータのランダムなセットが生成される（６１０）。一例では、これらのパラメータは、（１つまたは複数の）サブボリュームのパラメータ（すなわち、使用されるサブボリュームの位置および持続時間を指定する）と、閾値パラメータ（バイナリテストにおいて特徴を比較するための）と、計算すべき局所運動特徴のタイプを示すパラメータｄ（たとえば、ｘ方向での速度、ｙ方向での速度、ｘ方向での加速度、ｙ方向での加速度）と、上記４つの特徴のうち１つ（またはそのうちの他の数）を選択する変数ｋを含んでもよい。

次いで、試験パラメータのあらゆる組合せを、現ノードに到達したそれぞれのビデオに適用してもよい（６１２）。それぞれの組合せについて、判定基準（目標とも呼ばれる）が計算される（６１４）。一例では、計算された判定基準は、情報利得（別名相対エントロピー）を含む。情報利得を最大化することなど、判定基準を最適化するパラメータの組合せが選択され（６１４）、将来使用するため現ノードに記憶される。情報利得の代わりとして、ジニエントロピーまたは「ｔｗｏ−ｉｎｇ」判定基準もしくは他の基準など、他の判定基準を使用することができる。

次いで、計算された判定基準での値が、閾値よりも小さい（または大きい）かどうか判定される（６１６）。計算された判定基準での値が閾値よりも小さい場合、これは、木をさらに拡張してもメリットが得られないことを示す。これにより、さらなるノードが有益でないときに必然的に成長を止める、非対称な木が生じる。こうした場合には、現ノードが葉ノードとして設定される（６１８）。同様に、木の現在の深さが決定される（すなわち、根ノードと現ノードの間にノードのレベルがいくつあるのか）。これが、既定の最大値よりも大きい場合、現ノードが葉ノードとして設定される（６１８）。それぞれの葉ノードは、以下に述べるようにトレーニングプロセス中に各葉ノードで蓄積する、ラベル付きビデオを有する。

代わりとして、または既に述べたものと組み合わせて、別の停止判定基準、たとえばノードに到達するビデオの数の査定を使用することも可能である。（たとえば閾値と比較して）例が少なすぎる場合、プロセスは、停止して過剰適合を回避するように構成してもよい。しかし、この停止判定基準を使用することは不可欠ではない。

計算された判定基準での値が閾値以上であり、木の深さが最大値よりも小さい場合、現ノードが分岐ノードとして設定される（６２０）。現ノードが分岐ノードである場合、この現ノードは子ノードを有し、次いで、プロセスは、これらの子ノードをトレーニングするステップに移る。それぞれの子ノードは、トレーニングビデオのサブセットを使用して、現ノードにおいてトレーニングされる。判定基準を最適化したパラメータを使用して、子ノードに送られるビデオのサブセットが決定される。これらのパラメータがバイナリテストで使用され、このバイナリテストが、現ノードにおいて全てのビデオに対して実行される（６２２）。バイナリテストを通るビデオが、第１の子ノードに送られる第１のサブセットを形成し、バイナリテストに通らない画像要素が、第２の子ノードに送られる第２のサブセットを形成する。

子ノードのそれぞれにおいて、それぞれの子ノードに向けられるビデオのサブセットについて、図６のブロック６１０〜６２２で概要を述べたプロセスが再帰的に実行される（６２４）。すなわち、それぞれの子ノードについて、新規のランダムな試験パラメータが生成され（６１０）、ビデオのそれぞれのサブセットに適用され（６１２）、判定基準を最適化するパラメータが選択され（６１４）、ノードのタイプ（分岐または葉）が決定される（６１６）。このタイプが葉ノードである場合、再帰の現分岐が停止する。このタイプが分岐ノードである場合、バイナリテストが実行されて（６２２）、ビデオのさらなるサブセットを決定し、再帰の別の分岐が開始する。したがって、このプロセスは、木を通って再帰的に移動し、各分岐において葉ノードに達するまで、各ノードをトレーニングする。葉ノードに達すると、このプロセスは、全ての分岐でのノードがトレーニングされるまで待つ（６２６）。他の例では、再帰に代わる技法を使用して、同じ機能を実現できることに留意されたい。

それぞれの分岐ノードにおいて判定基準を最適化するバイナリテスト用のパラメータを決定するよう、木における全てのノードが訓練され、それぞれの分岐を終了するよう葉ノードが選択されると、木の葉ノードにおいてビデオラベルを蓄積してもよい（６２８）。蓄積されたビデオラベルの表示は、様々な異なる方法を使用して記憶してもよい（６３０）。

蓄積されたビデオラベルが記憶されると、決定フォレスト内に木がさらに存在するかどうか判定される（６３２）。存在する場合、決定フォレスト内の次の木が選択され、このプロセスが繰り返される。フォレスト内の全ての木がトレーニングされ、他に残っていない場合、トレーニングプロセスが完了し、このプロセスが終了する（６３４）。

したがって、トレーニングプロセスの結果として、実験的なトレーニングビデオを使用して、１つまたは複数の決定木がトレーニングされる。それぞれの木は、最適化された試験パラメータを記憶する複数の分岐ノード、および関連するラベル付きビデオまたは集合ビデオラベルの表示を記憶する葉ノードを含む。各ノードで使用される制限サブセットからパラメータがランダムに生成されるので、フォレストの木は互いに別個のものである（すなわち異なっている）。

トレーニングされた予測システムを使用して、ビデオ内での運動タスクのクラスを識別するのに先立って、トレーニングプロセスを実行してもよい。しばらく経って運動タスクのクラスを識別するのに使用するために、決定フォレストおよび最適化された試験パラメータを記憶装置に記憶してもよい。

図８には、前述の通りトレーニングされてきた決定フォレストを使用して、これまで見えなかったビデオ内の運動タスクのクラスを予測するためのプロセスの流れ図が示してある。まず、見えなかったビデオが受信される（８００）。運動タスクのクラスが指定されたトレーニングビデオと区別するため、ビデオは「見えなかった」と呼ばれる。図４を参照して先に述べた通り、見えなかったビデオは、ある程度は前処理することができることを留意されたい。

オプティカルフローまたは他の運動記述子が計算される（８０２）。決定フォレストからトレーニングされた決定木も選択される（８０４）。選択されたビデオは、（図６および図７を参照して先に述べたのと同様にして）選択された決定木を通って送られ（８０６）、その結果、トレーニングされたパラメータに対してノードにおいて試験され、次いで、試験の結果に基づいて適切な子に送られ、ビデオが葉ノードに到達するまでプロセスが繰り返される。ビデオが葉ノードに到達すると、この葉ノードに関連する蓄積されたラベルが、このビデオについて記憶される（８０８）。

フォレスト内に決定木がさらに存在すると判定されると（８１０）、新規の決定木が選択され（８０４）、この木を通ってビデオが送られ（８０６）、蓄積されたラベルが記憶される（８０８）フォレスト内の全ての決定木について実行されるまで、これが繰り返される。決定フォレスト内の複数の木を通ってビデオを送るためのプロセスは、図８に示すような順序通りではなく、並列に実行できることに留意されたい。

平均化することによって、または他の方式で、インデックス付き葉ノードからのデータが統合される（８１４）。たとえば、クラスラベルのヒストグラムが葉ノードにおいて記憶される場合、インデックス付き葉ノードからのヒストグラムが結合され、これを使用して、ビデオに関連する１つまたは複数の運動タスクを識別する。このプロセスは、結果として少なくとも１つの運動タスクのクラスを出力し（８１６）、この運動タスクのクラスの信頼度の重み付けを出力することができる。これにより、提案がよいかどうか、任意の後続アルゴリズムが査定する役に立つ。たとえば不確実性が存在する場合には、２つ以上の運動クラスを出力してもよい。

実施形態によっては、機械学習システムは、一群のサポートベクタマシンを含む。サポートベクタマシンは、特徴空間内の超平面を使用して分類を実現する、非確率論的バイナリ分類子である。

一例では、サポートベクタマシンは、たとえば図６〜８を参照して先に述べたようなランダム決定フォレストの分岐ノードに関連する（または、それを置き換える）。サポートベクタマシンは、それぞれの分岐ノードに到達したトレーニングビデオを、入力として取り入れる。これら入力されたトレーニングビデオは、その特徴空間を形成し、１つまたは複数の超平面を計算して、特徴空間のバイナリ分類を生成する。このようにして、サポートベクタマシンを使用して、ランダムな決定木において先に述べたように情報利得または他の判定基準を査定するのではなく二者択一を実行する。このようにして、ランダム決定フォレストをトレーニングするための図６のプロセスは、それぞれの分岐ノードにおいてサポートベクタマシンを使用することによって、一群のサポートベクタマシンをトレーニングするように適合することができる。分岐ノードのタイプ（ランダム決定分岐ノードまたはサポートベクタマシン分岐ノード）を混合したものを使用することも可能である。その結果得られる一群のサポートベクタマシン、またはサポートベクタマシン／ランダム決定ノードを混同したものを、図８のプロセスを修正することによって試験時間において使用してもよい。このようにして、実際的に、極めて高くかつ可変数の次元を含むタスクにおいて、サポートベクトルマシン技術を使用することが可能である。それぞれのサポートベクタマシンは、２進木構造を通って到達するトレーニングビデオのみを受信するので、実際的なタイムスケールでトレーニングが実現される。

一群のランダム化されたサポートベクタマシンが使用される別の例を、次に示す。一群のランダム化されたサポートベクタマシンをトレーニングするために、それぞれのラベル付きトレーニングビデオから固定長特徴ベクトルが計算される。固定長の特徴ベクトルは、ビデオの複数の位置依存の局所運動の特徴を含む。たとえば、ランダム決定フォレストについての説明で先に述べた４つの特徴のうち、１つまたは複数を任意に組み合わせたものを使用してもよい（ただし、他の特徴を使用してもよい）。ベクトルまたはリストなど、固定サイズの特徴記述子を作成することにより、結果として得られるシステムは、ビデオの長さに関係なく動作可能である。時間正規化技法とは対照的に、ビデオ内の動き特性を失うことなく、これが実現される。

それぞれの特徴記述子での特徴がランダムに選択される。特徴記述子は、サポートベクタマシンが学習を実行する特徴空間を定義する。一例では、一群のうちの個々のサポートベクタマシンがトレーニングされて、様々なクラスでラベル付けされたトレーニングビデオのサンプル間でのマージンを最大化する超平面を見つける。サポートベクタマシンのそれぞれが、このようにしてトレーニングされる。その結果得られる一群のランダム化されたサポートベクタマシンを、図８のプロセスを修正することによって試験時間において使用してもよい。

前述の実施形態および例では、機械学習システムが、運動タスクのビデオをクラスまたは評点に分類する。しかし、別法として、またはさらに、本発明の実施形態では、機械学習システムは、個別のクラスラベルとは対照的に、トレーニングされた機械学習システムから連続値出力が得られるように、分類ではなく回帰を使用してもよい。たとえば、これらの連続値出力は、運動タスクの査定尺度上の数値でもよい。

図９には、例示的なコンピューティングベースの装置１０４の様々な構成部品が示してあり、この装置は、どんな形式のコンピューティング装置および／または電子装置として実装してもよく、この装置では、運動タスク分類システムの実施形態を実装してもよい。

コンピューティングベースの装置１０４は、１つまたは複数のプロセッサ９００を備え、このプロセッサは、コンピューティング実行可能な命令を処理して、ビデオ内での運動タスクのクラスを予測するために装置の動作を制御するための、マイクロプロセッサ、コントローラ、グラフィック処理装置、並列処理装置、または他の任意の適切なタイプのプロセッサでもよい。システムオンチップのアーキテクチャが使用されるチームなどいくつかの例では、プロセッサ９００は、（ソフトウェアまたはファームウェアではなく）ハードウェアで運動タスク分類の方法の一部を実施する、１つまたは複数の固定機能ブロック（アクセラレータとも呼ばれる）を備えてもよい。

コンピューティングベースの装置１０４は、ユーザ入力装置（たとえば、キャプチャ装置１００、キーボード９０６および／またはマウス９０８）など、１つまたは複数の装置からの入力を受信および処理するように構成された、１つまたは複数の入力インターフェース９０２を備える。このユーザ入力を使用して、コンピューティング装置１０４で実行されるソフトウェアアプリケーションを制御してもよい。

コンピューティングベースの装置１０４はまた、表示装置９２４に表示情報を出力するように構成された出力インターフェース９１０を備える。この表示装置は、コンピューティング装置１０４から分離することもでき、またはそれと一体化することもできる。たとえば、重畳された運動タスク分類データとともにビデオを表示するためである。表示情報は、グラフィカルユーザインターフェースを提示してもよい。一例では、表示装置９２４はまた、タッチセンシティブ表示装置である場合、ユーザ入力装置の役割を果たしてもよい。出力インターフェースはまた、たとえばローカル接続された印刷装置など、表示装置ではない装置にデータを出力してもよい。

コンピューティングベースの装置１０４からアクセス可能な、任意のコンピュータ読取り可能な媒体を使用して、コンピュータ実行可能命令を提供してもよい。コンピュータ読取り可能な媒体は、たとえば、メモリや通信媒体などのコンピュータ記憶媒体を含んでもよい。メモリ９１２などのコンピュータ記憶媒体には、コンピュータ読取り可能な命令、データ構造、プログラムモジュール、または他のデータなど、情報を記憶するための任意の方法または技術で実装された、揮発性および不揮発性、取外し可能および取外し不可能な媒体が含まれる。コンピュータ記憶媒体には、それだけには限定されないが、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、もしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、もしくは他の磁気記憶装置、または、コンピューティング装置がアクセスする情報を記憶するのに使用できる他の任意の非伝送媒体が含まれる。対照的に、通信媒体は、搬送波、または他の搬送メカニズムなど変調されたデータ信号内に、コンピュータ読取り可能な命令、データ構造、プログラムモジュール、または他のデータを含んでもよい。本明細書において規定するように、コンピュータ記憶媒体には、通信媒体は含まれない。したがって、コンピュータ記憶媒体は、本質的に伝搬信号とみなすべきではない。伝搬信号は、コンピュータ記憶媒体内に存在していてもよいが、本質的に、伝搬信号はコンピュータ記憶媒体の例ではない。コンピュータ記憶媒体（メモリ９１２）の一例が、コンピューティングベースの装置１０４内に示してあるが、記憶装置は、分散してもよく、または遠隔に配置してもよく、ネットワークまたは他の通信リンクを介して（たとえば、通信インターフェース９１３を使用して）アクセスしてもよいことが理解されよう。

オペレーティングシステム９１４または他の任意の適切なプラットフォームソフトウェアを含むプラットフォームソフトウェアは、コンピューティング装置１０４に設けられて、アプリケーションソフトウェア９１６が装置上で実行できるようにする。コンピューティング装置１０４上で実行できる他のソフトウェアには、トレーニングロジック９１８（たとえば、図６〜図７および上記説明参照）、予測ロジック９２０（たとえば、図８および上記説明参照）が含まれる。これまでに受信したビデオ、中間機能結果、木トレーニングパラメータ、確率分布、分類ラベル、回帰目標、分類目標、他のデータなど、データを記憶するためのデータ記憶装置９２２が設けられる。

入力インターフェース９０２、出力インターフェース９１０、表示装置９２４、およびユーザ入力装置９０６、９０８は、マウス、キーボード、遠隔制御装置などの入力装置によって強いられる人工的な束縛がなく、ユーザがコンピューティングベースの装置と自然なやり方で対話できるようにする、ＮＵＩ（ナチュラルユーザインターフェース）技術を含んでもよい。実現できるＮＵＩ技術の例には、それだけには限らないが、音声認識および／または発話認識、タッチ認識および／またはスタイラス認識（タッチセンシティブ表示装置）、画面上と画面に隣接しての両方でのジェスチャ認識、エアジェスチャ、頭部追跡および視標追跡、音声および発話、視覚、触覚、ジェスチャ、ならびに機械知能に頼る技術が含まれる。使用してもよいＮＵＩ技術の他の例には、目的／目標理解システム、デプスカメラ（ステレオカメラシステム、赤外カメラシステム、ＲＢＧカメラシステム、およびこれらの組合せなど）を使用する運動ジェスチャ検出システム、加速度計／ジャイロスコープを使用する運動ジェスチャ検出、顔認識、３Ｄ表示装置、頭、目、および注視の追跡、没入型の拡張現実感およびバーチャルリアリティのシステム、ならびに電界検知電極を使用して脳活動を検知するための技術（ＥＥＧおよび関連する方法）が含まれる。

次に図１０を参照すると、一実施形態による、疾患、状態、もしくは症状、または疾患、状態、もしくは症状がないことを査定または評価するための方法１０００が示してある。方法１０００は、様々な実施形態の中でとりわけ図１〜図９に示した環境のいずれにおいても、本発明に従って実行してもよい。もちろん、この説明を読めば当業者には理解されるように、方法１０００には、図１０で具体的に説明する動作よりも多いまたは少ない動作が含まれてもよい。本明細書では、「疾患」または「症状」は、動き、運動協調性、活動状態、神経性の挙動もしくは状態など、生理機能の任意の外的発現に影響を及ぼすことがあり、または影響を及ぼす状態を指すものである。文脈から別のものであると明らかでない限り、「疾患」および「症状」が区別なく使用される。

方法１０００のステップのそれぞれは、動作環境の任意の適切な構成要素によって実行してもよい。たとえば、一実施形態では、方法１０００は、制御装置、プロセッサ、パーソナルコンピュータシステム、ラップトップコンピュータ、ＸＢＯＸ Ｋｉｎｅｃｔシステムなどによって、部分的または完全に実行してもよい。

動作１００２では、ビデオ／画像キャプチャ装置などから、複数のフレームを含むビデオデータが受信される。少なくとも２つのフレームが、人間のデジタル表現を含む。本明細書に記載のビデオ／画像キャプチャ装置、または本明細書には具体的に記載されていないが当技術分野で知られている他の装置のいずれかを使用して、人間のデジタル表現を取り込んでもよく、この装置は、人間の動きを記録するように人間が位置する場所に配置される。人間のデジタル表現には、ビデオ、一連の絵もしくはフレーム、深度データ、または当技術分野で知られている他の任意のタイプのデジタル表現が含まれ得る。

動作１００４では、ビデオデータの少なくとも２つのフレームのそれぞれについての複数の基準点が、ビデオデータの少なくとも２つのフレーム内の人間のデジタル表現にマッピングされる。本明細書に記載の様々な解析法、または本明細書には具体的に記載されていない他の解析法のいずれかを使用して、このマッピングを実行してもよい。

一実施形態では、マッピングは、オプティカルフロー解析を含んでもよく、ここで、それぞれの画素の近傍のフレーム間変位を利用して人間の動きへの洞察を得る。オプティカルフローにより、身体部位を明確に識別する必要もなく、動きを特徴付けることが可能になる。

動作１００６では、ビデオデータの少なくとも２つのフレームについて、複数の運動記述子が計算される。それぞれの運動記述子は基準点のうちの１つに対応し、その結果、それぞれの運動記述子の基になる基準の点が存在する。

動作１００８では、疾患または症状の状況、および疾患または症状の重症度のうちの１つまたは複数が、運動記述子のうちの少なくとも１つに基づいて査定される。本明細書では、疾患または症状の状況は、疾患のタイプ、人間における疾患の存在、人間における疾患の非存在、疾患の症状、進行具合、段階など、または、疾患もしくは疾患タイプに関連する、当技術分野で知られている他の任意の状況指標を指す。

疾患の状況は、人間に疾患があるかないかの簡略な２値査定を含んでもよく、またはそれより包括的でもよく、また疾患の微妙な差異、疾患の進行具合などを説明してもよい。

したがって、疾患状況は、人間が所定の症状に該当するかどうかの定性的判定、すなわち、疾患または段階の診断、査定、評価でもよい。

疾患重症度は、疾患に苦しめられた人が罹ったと分かった具体的な症状の定量的測定値である。

しかし、これら２つの考え方について、互いに矛盾することはない。疾患重症度スコアを定量化してもよく、次いで、定量的なスコアに基づいて、人間が特定の判定基準／症状を満たすかどうか定性的に判定して、疾患および人間の動き／可動性の質を、より完全に査定してもよい。

マッピングは、動きのシグネチャを提供してもよく、この動きのシグネチャから、各画素の局所的な近傍内での動きの方向が逆転する数を数える「加速度特徴」を計算してもよい。近傍の位置（２Ｄ＋ｔ）およびサイズは、本明細書においてより詳細に記述されているようにアルゴリズムによって学習してもよい。シグネチャ抽出ステップでは、重要な動き特性がビデオから抽出されて、後続のマッピングステップにおいてコンピュータにとって管理しやすい１組の数まで、ビデオデータを削減する。実施形態によっては、ビデオが運ぶ関連情報は動きパターンを含む。シグネチャ抽出により、動きのそれぞれのタイプについてシグネチャを導出することによって、動きシグネチャの情報量を最大化することができる。実施形態によっては、動きのシグネチャは、相補的な（直交する）側面のみを含んでおり、動きの詳細の最大適用範囲をもたらす。

一実施形態では、ビデオデータには、各画素の近傍のフレーム間変位など、当技術分野で知られているタイプのオプティカルフロー情報が含まれ得る。

本明細書に記載の実施形態によれば、ビデオデータの少なくとも２つのフレームが、互いに時間的にシフトされる。さらなる一実施形態では、人間のデジタル表現の少なくとも一部が、ビデオデータの少なくとも２つのフレーム間で空間的にシフトされてもよい。空間的および時間的にシフトされることによって、ビデオデータ内の人の動きが、ある期間にわたって取り込まれることが意図される。これによって、ビデオ内での人の動きが認識および解析できるようになり、その結果、ビデオデータの少なくとも２つのフレームにわたって複数の運動記述子を計算することができる。

別の実施形態によれば、ビデオデータは、被写界深度、デプススキャナからの深度情報など、非接触アクティブ３次元（３Ｄ）スキャン情報を含んでもよい。

他の実施形態では、ビデオデータは、２Ｄビデオカメラから生成される一連の静止フレームを含んでもよい。さらなる一実施形態では、ビデオデータのフレームのそれぞれは、１６ビットのグレースケール画像でもよく、それぞれの画素が、０〜６５，５３６で表される範囲内の輝度値によって特徴付けられる。別の実施形態によれば、ビデオデータのフレームは、１６ビット、３２ビット、６４ビット、１２８ビットなどのカラー画像でもよく、それぞれの画素が、０〜６５，５３６で表される範囲、または当技術分野で知られている輝度を示す何らかの他の範囲内の輝度値によって特徴付けられる。

方法１０００はまた、運動記述子のうちの少なくとも１つに基づいて、疾患重症度スコアを計算するステップを含む。この疾患重症度スコアに少なくとも部分的に基づいて、疾患重症度を査定してもよい。一実施形態では、疾患重症度スコアは、約０．０〜約１２．０の範囲の値を含んでもよく、これは、神経状態スコア、身体障害状況スケール、および／または拡張身体障害状況スケールを示す。実施形態によっては、疾患重症度スコアは、０〜１００の間、０〜１０の間、１〜１０の間など、任意の所望の範囲の値を有するようにスケーリングしてもよい。

疾患重症度スコアは、複数の疾患重症度サブスコアのうちの１つまたは複数に、少なくとも部分的に基づいてもよい。疾患重症度サブスコアのそれぞれは、運動タスクに対応する。用語「タスク」の使用は、本明細書において指定された人間の動きに限定されず、事実上、被験者（人間または動物）にその能力があり、定義し反復してもよい任意の動きでもよいことに留意されたい。

本明細書には具体的に記載されていない他の運動タスクとともに、本明細書に記載の運動タスクのいずれかを選択してもよい。たとえば、体幹運動失調タスク、指鼻タスク（finger-to-nose task）、指指タスク（finger-to-finger task）、ロンベルクタスク（Romberg task）、真っすぐ歩くタスク、通常の歩行タスク、その場で回転するタスク、片足で軽く跳ぶタスク、指で正方形を描くタスク、カップから飲むタスク、およびページをめくるタスクのうちのいずれかから、運動タスクを選択してもよい。

疾患重症度スコアは、複数の疾患重症度サブスコアに対応してもよく、それぞれの疾患重症度サブスコアは、１つまたは複数の症候を示してもよい。疾患重症度サブスコアは、本明細書に記載の症候のうちのいずれか、および／または本明細書には具体的に記載されていない他の症候を示してもよい。たとえば、それぞれの疾患重症度サブスコアは、運動失調、体幹運動失調、歩行運動失調、四肢運動失調、痙縮、振戦の有無、振戦の増減、弱点の有無、弱点の増減、測定障害、上肢運動機能障害、器用さの増減、可動性の増減、下肢機能の増減、筋消耗、筋力低下などから選択された１つまたは複数の症候を示してもよい。

別の実施形態では、方法１０００は、運動記述子のうちの少なくとも２つに基づいて、人間のデジタル表現の少なくとも一部分において振戦を検出するステップを含んでもよい。デジタル表現での人間の加速度および／または速度を検出することによって、これを実現してもよい。

検出、査定、評価、解析、定量化、または記録できる疾患は、多発性硬化症、ハンチントン病、パーキンソン病、ルーゲーリック病（ＡＬＳ）および他の疾患、ならびに／または、動きおよび／もしくは可動性に影響を及ぼす症状から選択してもよい。

疾患状況および疾患重症度のうちの１つまたは複数の査定は、ビデオデータ内でデジタルに表現された人間に対応する、これまでに判定された疾患状況、および／または、ビデオデータ内でデジタルに表現された人間に対応する、これまでに判定された疾患重症度のうちの１つまたは複数に少なくとも部分的に基づいてもよい。

これまでに判定された疾患状況および／または疾患重症度を使用して、これまでのところ査定された疾患状況および／または疾患重症度と比較して、疾患または症状に直面している人の改善または後退を判定してもよい。

ビデオデータは、疾患状況および／または疾患重症度を示す物理的な動きを人間が実行するのを示す。物理的な動きには、本明細書に記載の１つまたは複数の運動タスク、または当技術分野で知られている何らかの他の運動タスクが含まれる。さらなる一実施形態では、ビデオデータは、人間の動きおよび／または可動性のうち２つ以上の側面を査定するために、人間が運動タスクのうち少なくとも２つを実行するところを示してもよい。

手法によっては、運動記述子のそれぞれが、物理的な動きに対応する加速度、および／または物理的な動きに対応する速度を表す。ビデオデータ内でデジタルに表現された人間によって、物理的な動きが実行される。

一実施形態では、速度は、物理的な動きの大きさを統計的に示してもよい。一実施形態では、加速度、すなわち運動ベクトルの方向および／または大きさの時間変化は、物理的な動きの微小振動を示してもよい。加速度は方向変化を指してもよく、この変化は、物理学の意味での加速度（ある時間における速度記述子の変化、たとえば円に沿って速度の大きさが一定の動きは、内向きの加速度が一定の動きである）であるが、一般的な意味（ある時間における速度の大きさの変化）での加速度ではない。したがって、様々な実施形態では、加速度は、物理学の意味での加速度の定義、および一般的な意味での加速度の定義のいずれを指してもよい。

運動記述子のそれぞれは、基準点のうちの１つに対応する動きの大きさを表してもよい。大きさには、当技術分野で知られているタイプのスカラ運動記述子が含まれ得る。別の実施形態では、運動記述子のそれぞれがさらに、動きの方向を表してもよい。方向には、当技術分野で知られているタイプのベクトル運動記述子が含まれ得る。

好ましい手法では、現在開示されている疾患の状況および／または重症度の（１つまたは複数の）査定は、１つまたは複数の判別可能な時空的（ＤＳＴ）領域を示す画像データに、少なくとも部分的に基づいてもよい。本明細書において述べる通り、ＤＳＴ領域は、特定の症候または症状を示していない患者から、その特定の症候または症状を示す患者を区別する目的にとって特に有益な、画像データの部分である。たとえば、やはり多発性硬化症（ＭＳ）に関しては、比較的重症または進行した形のＭＳに罹っている患者は、たとえば、自分の口吻／下顎の物理的な近傍にまで自分の指骨を移動させようとするとき、ターゲットになる動きに対して「企図振戦」を示すことが知られているが、ＭＳに罹っていない患者は、そうした振戦を示さない。その結果、ＭＳの状況および／または重症度を査定するには、図２に示したような指鼻試験によれば、患者の顔を実質的に囲む領域をＤＳＴ領域とみなしてもよい。

したがって、この説明を読んでいる当業者には、ＤＳＴ領域がいくつかの要因に関して定義されることが理解されよう。一般に、ＤＳＴ領域は、特定の疾患の状況または重症度に関して判別可能である（たとえば、全員が共通の疾患の状況または重症度を示す、様々な患者の識別情報に関して判別可能であるのとは対照的に、共通の疾患の状況または重症度を生み出す症状を獲得するやり方に関して判別可能である、など）。

第１に、ＤＳＴ領域は、特定の疾患または症候に対して本質的に意味がある。ある疾患（疾患状況、疾患重症度スコアなど）に関して個々人のカテゴリ間で区別するのに特に有益なビデオの領域が、他の疾患に関して個々人のカテゴリ間で区別するのに、必ずしも有益でないこともある。たとえば、トレッドミルを歩こうとしている患者のビデオを解析することによって、火傷を負った患者への神経損傷の程度を査定するときには、ＭＳおよび指鼻タスクに関して先に述べた、顔を定義するＤＳＴ領域は有益ではない（または、さらに悪く、誤認させる）。

第２に、また同様に、ＤＳＴ領域は、疾患の状況および／または重症度を査定するために実行される特定のタスクに対して最も意味がある。やはり、指鼻試験を用いてＭＳの状況／重症度を査定するため、ＤＳＴ領域が患者の顔を含む前述の例では、互いに異なるタスク（たとえば、本明細書において全般的に論じ、図２に示した、ページをめくること、正方形を描くことなど）を患者が実行するのを示すビデオについて、その領域は判別可能にならないはずである。

第３に、本明細書に記載のＤＳＴ領域は、さらに時間に関しては意味があり、すなわち、ビデオフィードの時間部分が、疾患の状況および／または重症度の区別において有益で／意味のある情報を示すことが当業者には理解されよう。やはり、上記の指鼻試験を考慮すると、ＤＳＴは、患者の顔および周辺領域を包含するように定義されるだけでなく、たとえば振戦などの有益な動きを示すビデオフィードの（１つまたは複数の）フレームと一致するように定義されるはずである。ＤＳＴ領域定義の時間成分は、任意の適切な方式で定義してもよく（たとえば、特定のフレームを識別すること、ビデオのタイムスタンプまたは持続時間を識別することなど）、また検討中の疾患の状況／重症度に関して、ビデオデータの最も判別可能な時間領域を実質的に示してもよい。

この説明を読めば当業者には理解されるように、ＤＳＴ領域を任意の適切な方式でこのように定義して、少なくとも２つの疾患状況の状態（たとえば、苦しい／苦しくない、慢性／急性、タイプＩ／タイプＩＩ、伝染性／非伝染性など）、および／または疾患重症度の状態（たとえば、軽度／中程度／重度／極度、末期、数値スコアで示される疾患の進行状態など）の間での、特有の区別できる特性を示す情報を包含してもよい。

現在開示されている発明性のある考え方はまた、機械学習技法、具体的にはサポートベクタマシン（ＳＶＭ）技法、さらに具体的には、線形ＳＶＭ技法およびカーネルＳＶＭ技法のうちの１つまたは複数を使用することを包含する。特に、この発明性のある考え方は、これまで知られていなかった用途、たとえば、ビデオデータ内のＤＳＴ領域を見つけること、およびこれらＤＳＴ領域を後続のＳＶＭ解析で利用して患者集団の間で違いを区別することに適用される、よく知られたＳＶＭ技法を使用することを含む。

ＳＶＭの原理の現在開示されている使用により、従来は不可能だった忠実度および解像度を実現できる疾患査定が可能になる。例示的な技法は、様々な疾患状況／重症度を示すことが知られている患者の１つまたは複数の特性の特徴を利用して、「トレーニングセット」を定義してもよく、続いてサポートベクタマシンがこのセットを利用して、対応する特徴空間内で超平面を定義する。（１つまたは複数の）トレーニングセットを生成するときに実行される疾患査定と同様に疾患状況を査定することを目的に、後続のデータセットが評価されるとき、超平面は、ある疾患状態を示す患者をその他の患者から正確かつ一貫して区別する。

たとえば、一手法では、振戦、震え、または微小振動などの動きを利用して、疾患状況／重症度が査定される。物理的な動きを実行している間に患者がビデオ記録され、その結果得られるビデオデータが解析されて、動きの方向反転の頻度が求められる。動きの方向反転は任意の適切な方式で示してもよいが、好ましい実施形態では、動きの方向反転は、加速度運動記述子によって、特に好ましくは、少なくとも２つの加速度運動記述子によって示され、その一方が動きのＹ成分に対応し、もう一方が動きのＸ成分に対応する。反転の頻度に関して、時間の関数（すなわち、ビデオデータ内の時間位置）として、それぞれの加速度運動記述子を解析してもよく、図１１Ａ〜１１Ｂにほぼ示すように、この関数をプロットしてもよい。

前述のまたは同様の解析を２つの患者集団に実行してもよく、一方の集団は、特定の疾患状況／重症度特性を示し、他方の集団は、こうした疾患状況／重症度特性を示さない。それぞれの集団からのデータを統合して、患者集団のうちの１つに一義的に関連する１つまたは複数の特徴を全体として定義する「トレーニングセット」を形成する（たとえば、指鼻タスクを実行するＭＳ患者は、先に述べた顔のＤＳＴ領域内で振戦を特徴的に示すが、ＭＳに罹っていない個々人は、そうした振戦を示さない）。ＳＶＭは、この際立って特徴的な特性（特定の定量的な加速度運動記述子データの形式で、はるかに高い解像度で表される）を利用して、疾患状況／重症度特性を示す患者と、疾患状況／重症度特性を示さない患者とを区別する。

このようにして、この解析は、本質的に定量的であり、それらタスクのうちの１つを用いて患者を評価する医師または神経内科医が通常考えるよりも数の多い個々の特徴を解析するので、患者には、自分の疾患の特定の状況／重症度へのはるかに高い解像度の洞察を提示してもよい。同様にして、医師および神経内科医は、治療成績、患者満足度、または疾患状況／重症度の状態のより高い解像度について任意の治療関連情報を追跡してもよく、既存の治療プロトコルを評価し、ならびに系統的なアプローチを使用して大量のデータセットを処理することによってのみ実現可能な高解像度データを活用する新規の治療プロトコルを開発してもよい。

臨床的には、Ｋｕｒｔｚｋｅ総合障害度評価尺度（ＥＤＳＳ）が、多発性硬化症などの神経学的症状における運動機能を査定および定量化する方法である。ＥＤＳＳは、手動の（人間が査定および採点する）システムである。いくつかの欠点が、ＥＤＳＳに固有である。第１に、熟練した神経内科医が査定しなければならないことである。そのうちに、評価者の判断および神経学的診察に差がでると、不正確さの生じる可能性がある。分類の限界および人間の知覚によっても、症状の進行追跡が困難になる場合がある。患者の能力の日々の変動によって、たった一度の訪問査定が不正確になることがある。

人間が定性的に分類できる能力には限界があるので、臨床判断に基づく測定の感度は制限されたものである。したがって、これらの測定について感度がさらに高い手法を開発するとき、妥当性検査には元の測定を使用することができない。

本発明者は、本明細書において現実の用途に全般的に提示される発明性のある考え方を開発する過程を通して、現在開示されている発明性のある考え方を利用する運動タスク（疾患状況および／または疾患重症度を示すことができる）の対比較によって、評価者内および評価者間の信頼性が頑強になることが全般的に明らかである。

したがって、本発明の実施形態は、被験者の運動のペアになったビデオを提示することによって査定の信頼性を高めることのできる、方法またはプロセスを実現する。一例では、２人の患者が、「評価者」の委員会に対して同一の運動タスクを実行した。この場合、この評価者は、多発性硬化症診断、予後徴候、および治療において経験を積んだ臨床医であった。この臨床医は、ペアになった患者が等しく実行したかどうか、または等しくなかった場合、このペアの間で患者のいずれの実行が劣っていたのか（すなわち、より重度な症候を示したのか）を識別して、疾患状況／重症度を相対的に判断するよう求められた。

これら相対的な臨床医査定が、本明細書に記載の画像解析および機械学習ベースの技法を使用して実行された、疾患状況および／または疾患重症度の査定と比較された。全ての結果が、「評価者」識別情報について解析されて、評価者間および評価者内の信頼性を調査した。その結果、評価者の識別情報がばらついていても、この技法の忠実度が高いことを示している。すなわち、この方法を使用して求められた定量値は、臨床専門家の委員会によってその患者に与えられた評点と比較されるときでもほぼ一貫していた。具体的には、指鼻試験（ＦＮＴ）およびカップから飲む試験（ＣＵＰ）の身体障害比較等級付けは、対応する総合障害度評価尺度（ＥＤＳＳ）のサブスコアと著しく相関関係があった。

特定のいかなる理論にも束縛されるつもりはなく、本発明者は、これら有利な結果を以下のように説明できることを理論的に述べる。ＭＳ患者のビデオキャプチャされて定義された動きの、ペアになった比較によって、運動機能障害の神経学上の判断を確実に取り込めるように思われる。利点として、より細かい（解像度がさらに高い）区別を実現することが可能であり、その結果、ペアになった比較に基づいたこのような細かい等級付けが、感度のより高い（たとえば自動化された）成績測定法の開発において、改善された外部妥当性検査の役割を果たすことができる。

方法１０００は、たとえばマイクロプロセッサ、ＣＰＵ、ＡＳＩＣ、ＦＰＧＡなどの、当技術分野で知られているタイプの１つまたは複数のプロセッサなど、当技術分野で知られているシステム、装置、または他の何らかの適切な装置もしくは構成要素によって実行してもよい。このような実施形態の１つでは、装置は、１つまたは複数のプロセッサ、および、１つまたは複数のプロセッサと一体化され、かつ／またはそれによって実行される論理回路を備えてもよい。この論理回路は、少なくとも２つのフレームが人間のデジタル表現を含む複数のフレームを受信し、ビデオデータの少なくとも２つのフレームのそれぞれについての複数の基準点を、ビデオデータの少なくとも２つのフレーム内での人間のデジタル表現にマッピングし、ビデオデータの少なくとも２つのフレームについて、各運動記述子が基準点のうちの１つに対応する複数の運動記述子を計算し、運動記述子の少なくとも１つに基づいて、疾患状況および疾患重症度のうちの１つまたは複数を査定するように構成されてもよい。

別の実施形態では、コンピュータプログラム製品は、当技術分野で知られているタイプのコンピュータ読取り可能な記憶媒体を含んでもよい。コンピュータ読取り可能な記憶媒体は、プロセッサが、コンピュータ読取り可能なプログラムコードを実行しかつ／または読み取ると、少なくとも２つのフレームが人間のデジタル表現を含む複数のフレームを受信し、ビデオデータの少なくとも２つのフレームのそれぞれについての複数の基準点を、ビデオデータの少なくとも２つのフレーム内での人間のデジタル表現にマッピングし、ビデオデータの少なくとも２つのフレームについて、各運動記述子が基準点のうちの１つに対応する複数の運動記述子を計算し、運動記述子の少なくとも１つに基づいて、疾患状況および疾患重症度のうちの１つまたは複数を査定するように構成されたコンピュータ読取り可能なプログラムコードを含んでもよい。

一実施形態では、本発明の方法１０００は、スマートフォン、タブレット、腕時計もしくは装着式装置、または十分なビデオキャプチャ機能およびコンピューティング機能を有する他の装置など、パーソナルポータブル装置を用いて実装してもよい。

この説明を読めば当業者には理解されるように、方法１０００に関して説明する様々な他の実施形態のいずれも、この装置および／またはコンピュータプログラム製品において実装してもよい。

この例１では、深度検知カメラの容易な位置決めを可能にする物理装置と、査定の各ステップにおいて医療従事者に促すインターフェースと、動きを実行する際に患者を導く教育用システムと、データの質を管理する際に医療従事者をサポートするためのツールのセットとを備える査定ツールを定義する。したがって、記録ツールは、神経査定の動きにおいて患者を指導するのに使用される、患者に向けられた画面を備える。要求された動きをどのように正確に実行するかにおいて、患者ならびに医療従事者を指導するための教育用ビデオが提供される。これらは、文字および／または口頭での説明が付いている簡略な線画アニメーションを含む。位置決め画面は、デプス画像ストリームの表示に、患者を精密に位置決めするためのセンタークロスバーを設け、患者がカメラから適切な距離にいるかどうかを示す。一貫してゼロの値を示す、画像内の任意の領域を強調表示する初期散漫画面がある。このような領域は、通常、デプスカメラの赤外線信号を歪ませる、反射率の高い表面である。記録ツールは、医療従事者と患者の両方に許容できることが分かった。患者は、この記録ツールの使い方を理解し、医療従事者は、使用するのが容易であることが分かった。

この例２では、本明細書での１つまたは複数の実施形態において説明する、運動タスク解析システムが利用された。上肢および下肢ならびに胴体を含む、標準化された神経学的査定からの既定の動き、ならびに日常生活動作（ＡＤＬ）に典型的な動きが、７２人のＭＳ患者および１０２人の健康なボランティア被験者（ＨＶ）で記録された。患者全員について、標準化されたＥＤＳＳ査定が実行され、完全に文書化された。

記録済みビデオを区分けした後で、分類するために使用される情報が、赤外線デプスセンサの記録から直接抽出され、これを使用して、本発明の実施形態による自動化された画像解析アルゴリズムをトレーニングした。したがって、このシステムは。小脳機能システム（Ｋａｐｐｏｓら）からの、指鼻試験の神経状態サブスコア、０、１および≧２に従って、患者を正しく分類することができる。集団ベースの機械学習アルゴリズムを使用して、このシステムをトレーニングした。

機械学習アルゴリズムによって、動きが２つのクラスに分類された。すなわち（１）症候なし（ＭＳ患者とＨＶの両方を含む）、および（２）小脳機能システムの標準化されたＥＤＳＳ査定サブスコアに基づく上肢の振戦／測定障害に関して症候あり、である。

以下の表１に結果を示す。

ここで、感度＝ＴＰ／（ＴＰ＋ＦＮ）であり、特殊性＝ＦＰ／（ＦＰ＋ＦＮ）である。ＴＰ＝真陽性、ＴＮ＝真陰性、ＦＮ＝偽陰性、およびＦＰ＝偽陽性である。ＦＴＮ＝指鼻、ＦＴＦ＝指指、ＤＳ＝正方形を描く、およびＴＡ＝体幹運動失調である。

正しい分類の割合が、機械学習アルゴリズムによって、症候なしまたは症候ありとして正しく予測された記録の比率を表す。本来の分類は、標準化されたＥＤＳＳ査定に基づく。

この結果によれば、本発明のシステムおよび方法によって、有用な感度および特殊性で、ＭＳ患者における運動機能障害の自動化された定量的査定が可能になることが分かった。この例では、本発明のシステムおよび方法によって、運動機能障害の程度の信頼性の高い分類が可能になること、および本明細書において利用されるアルゴリズムによって、被験者の動きのどの成分が、それぞれの機能不全の臨床的分類に関連する可能性があるのかについての情報を提示することが示してある。

したがって、本発明の実施形態では、少なくとも８５％、または９０％、または９５％以上の分類確度が実現する。本発明の実施形態では、少なくとも７５％、または８０％、または８５％、または９０％以上の感度が実現する。本発明の実施形態では、少なくとも８５％、または９０％、または９５％以上の特殊性が実現する。

例３では、以下のステップを含むコンピュータ実施方法が提供される。

運動タスクを実行する人または動物の少なくとも一部を示すビデオを受信するステップ。

このビデオを、トレーニングされた機械学習システムに入力するステップであって、この機械学習システムが、運動タスクの複数のクラス間で違いを区別するビデオの位置依存の局所運動特徴を見つけるようにトレーニングされたステップ、および複数のクラスのいずれに運動タスクが属していると予測されるのかについてのデータを、トレーニングされた機械学習システムから受信するステップ。

このようにして、自動化され客観的な、正確で再現性のある方式で、人によって実行される運動タスクを解析および査定することができる。

多くの例で、局所運動特徴は、速度または加速度の特徴を含む。これらのタイプの特徴は、正確かつ効率的に計算することができ、機械学習のトレーニングおよび試験段階に先立って計算することができる。これにより、機械学習システムから得られる運動タスクデータの質、およびそのデータを得る速度が改善する。

多くの例では、前述の方法は、ビデオのフレームのペアについて運動記述子を計算するステップを含み、トレーニングされた機械学習システムにビデオを入力するステップが、運動記述子を入力するステップを含む。

たとえば、運動記述子は、オプティカルフロー値である。オプティカルフロー値が使用される場合、その結果として、システムは、ビデオ内の雑音またはエラーに対して非常に頑強になることが分かる。

例によっては、前述の方法は、機械学習システムにおいて、複数の運動記述子を使用して局所運動特徴を計算するステップを含む。たとえば、ビデオの少なくとも１つのサブスコア内の運動記述子を考慮に入れることによってである。たとえば、ビデオの２つのサブボリューム内の運動記述子を考慮に入れることによって、局所運動特徴を計算することである。たとえば、ビデオのサブボリューム内の運動記述子間の差を考慮に入れることによって、局所運動特徴を計算することである。このようにしてビデオのサブボリュームを使用することは、運動タスクのクラス間で区別する際、特に有効であることが分かっている。

例によっては、ビデオのサブボリュームのオプティカルフロー値の変化率の方向の変化の頻度を考慮に入れることによって、加速度特徴を計算するステップを含むものもある。方向性加速度特徴を使用することは、運動タスクのクラス間で区別する際、非常に有効であることが分かっている。

例によっては、オプティカルフロー値の変化率の方向の変化を無視するステップを含むものもあり、ここでオプティカルフローの大きさは閾値を下回る。これが、雑音に起因する運動と人の実際の運動の間で区別する助けとなる。

例によっては、スケーリングし、センタリングし、前景抽出を実行することによって、トレーニングされた機械学習システムにビデオを入力する前に、ビデオを前処理するステップを含むものもある。これにより、トレーニングされた機械学習システムの試験時間での使用が簡単になり、試験時間の処理持続時間が短縮される。

例によっては、ビデオの長さは任意であり、ビデオの長さを考慮に入れるようにして局所運動の特徴が計算される。運動タスクが、それぞれの間で持続時間に大きなばらつきを示す場合、これは非常に有用である。

いくつかの例では、運動タスクを実行する人のビデオを使用して機械学習システムをトレーニングするステップを含み、ここで、このビデオは、考えられる複数のクラスのいずれにこの運動タスクが属するのかを示すラベルでラベル付けされており、またビデオの長さが様々に異なっている。

多くの例では、ランダム決定フォレスト（random decision forest）、複雑な有向非巡回グラフ（jungle of directed acyclic graphs）、線形ＳＶＭ、カーネルＳＶＭなど一群のサポートベクタマシンのうちのいずれかを含む、トレーニングされた機械学習システムにビデオを入力するステップを含んでもよく、これは、この説明を読めば当業者には理解されるはずである。

例によっては、一群のサポートベクタマシンを含むトレーニングされた機械学習システムにビデオを入力するステップであって、それぞれのサポートベクタマシンが２分決定木の分岐ノードであるステップを含むものもある。これにより、ビデオデータの次元数が高くて可変であるにもかかわらず、サポートベクタマシンを使用する実用的な方式が得られる。

例によっては、一群のサポートベクタマシンを含むトレーニングされた機械学習システムにビデオを入力するステップであって、サポートベクタマシンのそれぞれが、ラベル付きトレーニングビデオから計算された、ランダム化された位置依存の局所運動特徴を含む、固定長の特徴記述子を使用してトレーニングされたステップを含むものもある。その結果得られる一群のサポートベクタマシンは、ランダム化された一群のサポートベクタマシンと呼んでもよい。

例４は、運動タスクを実行する人または動物の少なくとも一部を示すビデオを記憶するメモリと、運動タスクの複数のクラス間で区別するビデオの位置依存の局所運動特徴を見つけるようにトレーニングされてきた、トレーニングされた機械学習システムと、ビデオからの運動記述子を計算し、この運動記述子をトレーニングされた機械学習システムに加え、それに応じて、複数のクラスのいずれに運動タスクが属していると予測されるのかについてのデータを受信するように構成されたプロセッサとを含む、運動タスク分類器を実現する。

例５は、複数のフレームを含むビデオデータを受信するステップであって、少なくとも２つのフレームが人間のデジタル表現を含むステップと、ビデオデータの少なくとも２つのフレームのそれぞれについての複数の基準点を、ビデオデータの少なくとも２つのフレーム内での人間のデジタル表現にマッピングするステップと、ビデオデータの少なくとも２つのフレームについて複数の運動記述子を計算するステップであって、各運動記述子が、基準点のうちの１つに対応するステップと、運動記述子の少なくとも１つに基づいて、疾患状況および疾患重症度のうちの１つまたは複数を査定するステップとを含む。

たとえば、ビデオデータは、オプティカルフロー情報を含む。

一例では、ビデオデータの少なくとも２つのフレームが互いに時間的にシフトされ、人間のデジタル表現の少なくとも一部が、ビデオデータの少なくとも２つのフレーム間で空間的にシフトされる。

たとえば、ビデオデータは、非接触アクティブ３次元（３Ｄ）スキャン情報を含む。

たとえば、ビデオデータの少なくとも２つのフレームのそれぞれは、１６ビットのグレースケール画像であり、それぞれの画素が、０〜６５，５３６で表される範囲内の輝度値によって特徴付けられる。

たとえば、この方法はさらに、運動記述子のうちの少なくとも１つに基づいて疾患重症度スコアを計算するステップを含み、この疾患重症度が、疾患重症度スコアに少なくとも部分的に基づいて査定される。

たとえば、疾患重症度スコアは、約０．０〜約１２．０の範囲の値を有する。

一例では、疾患重症度スコアは、複数の疾患重症度サブスコアに少なくとも部分的に基づいており、この疾患重症度サブスコアのそれぞれが、以下から選択される運動タスクに対応する。

体幹運動失調タスク

指鼻タスク

指指タスク

ロンベルクタスク

真っすぐ歩くタスク

通常の歩行タスク

その場で回転するタスク

片足で軽く跳ぶタスク

指で正方形を描くタスク

カップから飲むタスク

ページをめくるタスク

一例では、疾患重症度スコアは複数の疾患重症度サブスコアに対応し、ここでそれぞれの疾患重症度サブスコアが、以下の症候から選択された１つまたは複数の症候を示す。

運動失調

体幹運動失調

歩行運動失調

四肢運動失調

痙縮

振戦

弱点

測定障害

上肢運動機能障害

器用さ

可動性

下肢機能

一例はさらに、運動記述子のうちの少なくとも２つに基づいて、人間のデジタル表現の少なくとも一部分において振戦を検出するステップを含む。

一例では、疾患は、多発性硬化症、ハンチントン病、およびパーキンソン病から選択される。

様々な例では、査定はさらに、ビデオデータ内でデジタルに表現された人間に対応する、これまでに判定された疾患状況、および、ビデオデータ内でデジタルに表現された人間に対応する、これまでに判定された疾患重症度のうちの１つまたは複数に少なくとも部分的に基づく。

一例では、ビデオデータは、疾患状況および疾患重症度のうちの少なくとも１つを示す物理的な動きを人間が実行するのを示す。

一例では、物理的な動きは、以下の運動タスクから選択された１つまたは複数の運動タスクを含む。

体幹運動失調タスク

指鼻タスク

指指タスク

ロンベルクタスク

真っすぐ歩くタスク

通常の歩行タスク

その場で回転するタスク

片足で軽く跳ぶタスク

指で正方形を描くタスク

カップから飲むタスク

ページをめくるタスク

前述の例では、ビデオデータは、運動タスクのうち少なくとも２つを人間が実行するのを示してもよい。

一例では、運動記述子のそれぞれは、物理的な動きに対応する加速度、およびこの物理的な動きに対応する速度のうちの１つまたは複数を表し、この物理的な動きは、ビデオデータ内でデジタルに表現された人間によって実行される。

一例では、速度は、物理的な動きの大きさを統計的に示す。

一例では、加速度は、物理的な動きでの微小振動を示す。

一例では、運動記述子のそれぞれは、基準点のうちの１つに対応する動きの大きさを表す。

一例では、運動記述子のそれぞれはさらに、動きの方向を表す。

本発明の実施形態では、運動タスク解析システムおよび／またはその構成要素は、疾患、状態または症状向けの治療とともに使用される。したがって、疾患、状態または症状の評価または進捗監視は、運動タスク解析システムおよび／またはその構成要素によって支援することができる。たとえば、本発明の実施形態を使用して、神経疾患、もしくは多発性硬化症、パーキンソン病などの症状を有する、またはそうした症状を有すると疑われた患者または被験者を評価する。したがって、運動タスク解析システムを使用して、治療過程の前に、その間に、またその後に、患者の物理的な動きを周期的に監視、査定、および評価する、本発明の実施形態が企図される。

この治療は、インターフェロンベータ１ｂなどの免疫調節薬、またはフィンゴリモド、シポニモドなどのＳ１Ｐ受容体アゴニスト、または２−アミノ−２−［２−［４−［３−（ベンジルオキシ）フェニルスルファニル］−２−クロロフェニル］エチル］プロパン−１，３−ジオールハイドロクロライドの投与を含んでもよい。パーキンソン病の治療は、レボドパ、カルビドパ、およびエンタカポンのグループから選択される薬剤の投与を含んでもよい。好ましくは、前記パーキンソン病の治療は、レボドパ、カルビドパ、およびエンタカポンの組合せを含む。

数多くの薬剤が、運動疾患の治療に利用可能であり、免疫調節薬およびＳ１Ｐ受容体アゴニストのクラスから選択してもよい。本明細書において述べたように、筋消耗および筋力低下など他の疾患は、以下のクラスの薬剤、すなわち、ミオスタチンアンタゴニスト、抗ＡｃｔＲＩＩ受容体抗体など、ビマグルマブなどによって治療してもよい。

したがって、本発明の実施形態は、フィンゴリモドなど治療用の適切な薬剤とともに、病院または臨床医のコンピューティングシステムにインストールしてもよいソフトウェア内で実施される、運動タスク解析システムを含むキットを備える。ソフトウェアおよび薬剤療法を備えるこのキットはさらに、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔシステムなど、適切なビデオキャプチャシステムを備えてもよい。

運動タスク解析システムの実施形態は、使用説明書とともに、アプリストアなどを介して、個人のスマートフォンまたは携帯用コンピューティング装置にインストールしてもよいソフトウェアを含んでもよい。

本発明の実施形態は、本明細書に記載の運動タスク解析システムを使用して、薬剤開発の研究者が、患者の運動機能または運動機能の変化に何らかの徴候を生じる要因となる疾患および症状に向けて開発中の薬剤（既存の薬剤、および新規徴候向けに評価される薬剤を含む）を、よりよく査定、改善、監視、定量化、または評価できるようにする方法を含む。

運動タスクの複数のクラス間で違いを区別するビデオの位置依存の局所運動特徴を見つけるようにトレーニングされてきた、トレーニングされた機械学習システムがさらに提供され、このビデオが、疾患または症状に関連する運動タスクを実行する人または動物の少なくとも一部を示し、前記ビデオが、前記トレーニングされた機械学習システムに入力され、前記トレーニングされた機械学習システムが、複数のクラスのいずれに運動タスクが属していると予測されるのかについてのデータを送達する。

多発性硬化症の治療に使用するためのフィンゴリモドがさらに提供され、前記治療が、請求項１〜１７のいずれかによるコンピュータ実施方法を含む。

多発性硬化症の治療に使用するためのシポニモドがさらに提供され、前記治療が、請求項１〜１７のいずれかによるコンピュータ実施方法を含む。

多発性硬化症の治療に使用するためのレボドパがさらに提供され、前記治療が、請求項１〜１７のいずれかによるコンピュータ実施方法を含む。

多発性硬化症の治療に使用するためのビマグルマブがさらに提供され、前記治療が、請求項１〜１７のいずれかによるコンピュータ実施方法を含む。

多発性硬化症の治療に使用するための２−アミノ−２−［２−［４−［３−（ベンジルオキシ）フェニルスルファニル］−２−クロロフェニル］エチル］プロパン−１，３−ジオールハイドロクロライドがさらに提供され、前記治療が、請求項１〜１７のいずれかによるコンピュータ実施方法を含む。

用語「コンピュータ」または「コンピューティングベースの装置」は、本明細書においては、命令を実行することのできるような処理能力を有する、任意の装置を指すものとして使用されている。このような処理能力が多くの様々な装置に組み込まれ、したがって、用語「コンピュータ」および「コンピューティングベースの装置」それぞれには、ＰＣ、サーバー、携帯電話（スマートフォンを含む）、タブレットコンピュータ、セットトップボックス、メディアプレーヤ、ゲーム機、携帯型情報端末、および多くの他の装置が含まれることが、当業者には理解されよう。

本明細書に記載の方法は、有形の記憶媒体上の機械読取り可能な形式、たとえば、プログラムがコンピュータ上で実行されるとき、またコンピュータプログラムをコンピュータ読取り可能な媒体上で実施してもよい場合に、本明細書に記載の方法のうち任意の方法の全てのステップを実行するように構成されたコンピュータプログラムコード手段を含むコンピュータプログラムの形式でのソフトウェアによって実行してもよい。有形の記憶媒体の例には、ディスク、サムドライブ、メモリなどコンピュータ読取り可能な媒体を含むコンピュータ記憶装置が含まれ、伝搬信号は含まれない。伝搬信号は、有形の記憶媒体内に存在していてもよいが、本質的に、伝搬信号は有形の記憶媒体の例ではない。ソフトウェアは、この方法ステップが、任意の適切な順序で、または同時に実行できるように、パラレルプロセッサまたはシリアルプロセッサ上で実行するのに適切なものとすることができる。

ソフトウェアは、貴重な、別々に売り物になる商品とすることができることが、これで分かる。「ダムハードウェア」または標準ハードウェア上で走り、またはそれを制御して、所望の機能を実行するソフトウェアを含むものである。シリコンチップを設計して、または汎用プログラム可能チップを構成して、所望の機能を実行するために使用される、ＨＤＬ（ハードウェア記述言語）ソフトウェアなど、ハードウェアの構成を「記述」または定義するソフトウェアをも含むものである。

プログラム命令を格納するのに利用される記憶装置は、ネットワークを介して分散できることが、当業者には理解されよう。たとえば、遠隔コンピュータは、ソフトウェアとして記述したプロセスの例を格納することができる。ローカルコンピュータまたは端末コンピュータは、遠隔コンピュータにアクセスし、プログラムを走らせるソフトウェアの一部または全部をダウンロードすることができる。あるいは、ローカルコンピュータは、必要に応じてソフトウェアの各部分をダウンロードすることができ、または、場合によってはローカル端末において、場合によっては遠隔コンピュータ（もしくはコンピュータネットワーク）において、ソフトウェア命令を実行することができる。当業者に知られている従来の技法を利用することにより、ＤＳＰ、プログラマブルロジックアレイなどの専用回路により、ソフトウェア命令の全てまたは一部分を実行することができることも当業者には理解されよう。

当業者には明らかになるように、本明細書において与えられたいかなる範囲または装置の値も、求める効果を失うことなく、拡張または変更することができる。

構造上の特徴および／または方法論的な行為に特有の用語で主題について述べてきたが、添付の特許請求の範囲で定義される主題は、必ずしも前述の具体的な特徴または行為に限定されるものではないことを理解されたい。むしろ、前述の具体的な特徴および行為は、特許請求の範囲を実施する例示的な形態として開示されている。

前述の利益および利点は、１つの実施形態に関する場合もあり、またはいくつかの実施形態に関する場合もあることが理解されよう。実施形態は、述べてきた問題のうちの任意もしくは全ての問題を解決する実施形態、または述べてきた利益および利点のうちの任意もしくは全てを有する実施形態に限定されない。「ａｎ」が付くアイテムは、それらアイテムのうちの１つまたは複数を指すことがさらに理解されよう。

本明細書に記載の方法のステップは、任意の適切な順序で、または必要に応じて同時に実行することができる。さらに、個々のブロックは、本明細書に記載の主題の趣旨および範囲から逸脱することなく、方法のうちの任意のものから削除してもよい。前述の例のうちのいずれかの態様を、説明した他の例のうちいずれかの態様と組み合わせて、求める効果を失うことなく、さらなる例を形成してもよい。

用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、本明細書においては、識別された方法ブロックまたは要素を含むことを意味するが、このようなブロックまたは要素は排他的なリストを含まないことを意味し、方法または装置は、さらなるブロックまたは要素を含んでもよいことを意味するように使用されている。

用語「サブセット」は、本明細書においては、セットのサブセットが、そのセットの全ての要素を含むわけではないように（すなわち、セットの要素のうち少なくとも１つがサブセットから欠けている）、適切なサブセットを指すように使用されている。

上記説明は、ほんの一例として示すものであり、当業者によって様々な修正を加えてもよいことが理解されよう。前述の仕様、例、およびデータは、例示的な実施形態の構造および使用法を完全に説明する。ある程度の具体性とともに、または１つもしくは複数の個々の実施形態を参照しながら、これまで様々な実施形態を説明してきたが、当業者であれば、本明細書の趣旨または範囲から逸脱することなく、開示した実施形態に数多くの改変を加えることもできる。

１００ ビデオキャプチャ装置
１０１ 人
１０４ コンピューティング装置
１０６ 絵
１０８ 衣服
１１０ 長椅子
１１２ 腕の位置
１１４ 腕の位置
１１６ 画像ストリーム
１１８ 前処理構成要素
１２０ 前処理済み画像
１２２ 機械学習システム
１２４ 運動タスク分類データ
２００ 指から鼻へのタスク
２０２ 正方形を描くタスク
２０４ 指から指へのタスク
２０６ 体幹運動失調タスク
３００ 画像センサ
３０２ デプスカメラ
３０４ 発光体
３０６ ＲＧＢカメラ
３０８ プロセッサ
３１０ メモリ
３１２ 出力インターフェース
４００ フレーム
４０２ 修復ステップ
４０４ 前景抽出
４０６ センタリング
４０８ 標準的な深度にマッピングされる
４１０ 前処理済みの画像、前処理した結果
５００ 運動タスクのラベル付きビデオ
５０２ トレーニングデータ
５０４ 計算する
５０６ トレーナ
５０８ 訓練された機械学習システム
５１０ ビデオフレーム
６００ トレーニングセットが受信される
６０２ ランダム決定フォレストで使用される決定木の数が選択される
６０４ 決定フォレストから決定木が選択される
６０６ 根ノードが選択される
６１０ 試験パラメータのランダムなセットが生成される
６１２ 試験パラメータのあらゆる組合せを現ノードに到達したそれぞれのビデオに適用する
６１４ 判定基準が計算される
６１６ 計算された判定基準での値が閾値よりも小さいか大きいか判定される
６１８ 現ノードが葉ノードとして設定される
６２０ 現ノードが分岐ノードとして設定される
６２２ バイナリテストが現ノードにおいて全てのビデオに対して実行される
６２４ それぞれの子ノードに向けられるビデオのサブセットについてブロック６１０〜６２２で概要を述べたプロセスが再帰的に実行される
６２６ 全ての分岐でのノードがトレーニングされるまで待つ
６２８ 木の葉ノードにおいてビデオラベルを蓄積してもよい
６３０ 蓄積されたビデオラベルの表示は様々な異なる方法を使用して記憶してもよい
６３２ 決定フォレスト内に木がさらに存在するかどうか判定される
６３４ プロセスが終了する
７００ 第１の決定木
７０２ 第２の決定木
７０４ 第３の決定木
７０６ 根ノード
７０８ 分岐ノード
７１０ 葉ノード
８００ 見えなかったビデオが受信される
８０２ オプティカルフローまたは他の運動記述子が計算される
８０４ 決定フォレストからトレーニングされた決定木も選択される
８０６ 選択されたビデオは選択された決定木を通って送られる
８０８ 葉ノードに関連する蓄積されたラベルがビデオについて記憶される
８１０ フォレスト内に決定木がさらに存在すると判定される
８１４ インデックス付き葉ノードからのデータが統合される
８１６ 少なくとも１つの運動タスクのクラスを出力する
９００ プロセッサ
９０２ 入力インターフェース
９０６ キーボード
９０８ マウス
９１０ 出力インターフェース
９１２ メモリ
９１３ 通信インターフェース
９１４ オペレーティングシステム
９１６ アプリケーションソフトウェア
９１８ トレーニングロジック
９２０ 予測ロジック
９２２ データ記憶装置
９２４ 表示装置
１０００ 方法
１００２ 動作
１００４ 動作
１００６ 動作
１００８ 動作
１２００ カップから飲む運動タスク
１２０２ 通常の歩行運動タスク
１２０４ 片足で軽く跳ぶタスク
１２０６ ロンベルクタスク
１２０８ その場で回転するタスク
１２１０ ページをめくるタスク
１２１２ 真っすぐ歩くタスク

Claims (38)

1. 機械学習システムを用意するステップと、
   前記機械学習システムをトレーニングして、運動タスクの複数のクラス間で違いを区別するビデオの位置依存の局所運動特徴を見つけるステップと、
   運動タスクを実行する人または動物の少なくとも一部分を示すビデオを受信するステップと、
   前記ビデオを、前記トレーニングされた機械学習システムに入力するステップと、
   前記複数のクラスのいずれに前記運動タスクが属していると予測されるのかについてのデータを、前記トレーニングされた機械学習システムから受信するステップと、
   前記運動タスクを実行する前記人または動物の、神経の疾患または症状を評価するステップと
   を含む、コンピュータ実施方法。
2. 前記局所運動特徴が、速度または加速度の特徴を含む、請求項１に記載の方法。
3. 前記ビデオのサブボリュームのオプティカルフロー値の変化率の方向の変化の頻度を考慮に入れることによって、前記加速度特徴を計算するステップを含む、請求項２に記載の方法。
4. 前記オプティカルフロー値の前記変化率の方向の変化を無視するステップを含み、前記オプティカルフローの大きさが閾値を下回る、請求項３に記載の方法。
5. 前記運動記述子が、オプティカルフロー値である、請求項３に記載の方法。
6. 前記機械学習システムにおいて、複数の運動記述子を使用して前記局所運動特徴を計算するステップを含む、請求項３に記載の方法。
7. 前記ビデオの少なくとも１つのサブボリューム内の運動記述子を考慮に入れることによって、前記局所運動特徴を計算するステップを含む、請求項３に記載の方法。
8. 前記ビデオの２つのサブボリューム内の運動記述子を考慮に入れることによって、前記局所運動特徴を計算するステップを含む、請求項３に記載の方法。
9. 前記ビデオの前記サブボリューム内の運動記述子間での差を考慮に入れることによって、前記局所運動特徴を計算するステップを含む、請求項８に記載の方法。
10. 前記ビデオのフレームのペアについて運動記述子を計算するステップを含み、前記トレーニングされた機械学習システムに前記ビデオを入力するステップが、前記運動記述子を入力するステップを含む、請求項１に記載の方法。
11. スケーリングし、センタリングし、前景抽出を実行することによって、前記トレーニングされた機械学習システムに前記ビデオを入力する前に、前記ビデオを前処理するステップを含む、請求項１に記載の方法。
12. 前記ビデオの長さが任意であり、前記ビデオの前記長さを考慮に入れるようにして前記局所運動特徴が計算される、請求項１に記載の方法。
13. 運動タスクを実行する人のビデオを使用して前記機械学習システムをトレーニングするステップを含み、前記ビデオが、考えられる複数のクラスのいずれに前記運動タスクが属するのかを示すラベルでラベル付けされており、前記ビデオが、長さの異なるものである、請求項１に記載の方法。
14. ランダム決定フォレスト、複雑な有向非巡回グラフ、一群のサポートベクタマシンのうちのいずれかを含むトレーニングされた機械学習システムに、前記ビデオを入力するステップを含む、請求項１に記載の方法。
15. 一群のサポートベクタマシンを含むトレーニングされた機械学習システムに前記ビデオを入力するステップを含み、それぞれのサポートベクタマシンが、２分決定木の分岐ノードである、請求項１に記載の方法。
16. 一群のサポートベクタマシンを含むトレーニングされた機械学習システムに前記ビデオを入力するステップを含み、前記サポートベクタマシンのそれぞれが、ラベル付きトレーニングビデオから計算された、ランダム化された位置依存の局所運動特徴を含む、固定長の特徴記述子を使用してトレーニングされた、請求項１に記載の方法。
17. 複数のフレームを含むビデオデータを受信するステップであって、少なくとも２つのフレームが人間のデジタル表現を含むステップと、
    前記ビデオデータの少なくとも２つのフレームのそれぞれについての複数の基準点を、前記ビデオデータの前記少なくとも２つのフレーム内での前記人間の前記デジタル表現にマッピングするステップと、
    前記ビデオデータの前記少なくとも２つのフレームについて複数の運動記述子を計算するステップであって、各運動記述子が、前記基準点のうちの１つに対応するステップと、
    前記運動記述子の少なくとも１つに基づいて、疾患状況および疾患重症度のうちの１つまたは複数を査定するステップと
    を含む、方法。
18. 前記ビデオデータが、オプティカルフロー情報を含む、請求項１７に記載の方法。
19. 前記ビデオデータの前記少なくとも２つのフレームが互いに時間的にシフトされ、前記人間の前記デジタル表現の少なくとも一部が、前記ビデオデータの少なくとも２つのフレーム間で空間的にシフトされる、請求項１７に記載の方法。
20. 前記ビデオデータが、非接触アクティブ３次元（３Ｄ）スキャン情報を含む、請求項１７に記載の方法。
21. 前記ビデオデータの前記少なくとも２つのフレームのそれぞれが、１６ビットのグレースケール画像であり、それぞれの画素が、０〜６５，５３６で表される範囲内の輝度値によって特徴付けられる、請求項１７に記載の方法。
22. 前記運動記述子のうちの少なくとも１つに基づいて疾患重症度スコアを計算するステップをさらに含み、前記疾患重症度が、前記疾患重症度スコアに少なくとも部分的に基づいて査定される、請求項１７に記載の方法。
23. 前記疾患重症度スコアが、約０．０〜約１２．０の範囲の値を有する、請求項２２に記載の方法。
24. 前記疾患重症度スコアが、複数の疾患重症度サブスコアの少なくとも一部に基づいており、前記疾患重症度サブスコアのそれぞれが、
    ａ．体幹運動失調タスク
    ｂ．指鼻タスク
    ｃ．指指タスク
    ｄ．ロンベルクタスク
    ｅ．真っすぐ歩くタスク
    ｆ．通常の歩行タスク
    ｇ．その場で回転するタスク
    ｈ．片足で軽く跳ぶタスク
    ｉ．指で正方形を描くタスク
    ｊ．カップから飲むタスク
    ｋ．ページをめくるタスク、
    から選択される運動タスクに対応する、請求項２３に記載の方法。
25. 前記疾患重症度スコアが、複数の疾患重症度サブスコアに対応し、それぞれの疾患重症度サブスコアが、
    ｌ．運動失調
    ｍ．体幹運動失調
    ｎ．歩行運動失調
    ｏ．四肢運動失調
    ｐ．痙縮
    ｑ．振戦
    ｒ．弱点
    ｓ．測定障害
    ｔ．上肢運動機能障害
    ｕ．器用さ
    ｖ．可動性
    ｗ．下肢機能、
    から選択される１つまたは複数の症候を示す、請求項２３に記載の方法。
26. 前記運動記述子のうちの少なくとも２つに基づいて、前記人間の前記デジタル表現の少なくとも一部分において振戦を検出するステップをさらに含む、請求項１７に記載の方法。
27. 前記疾患が、多発性硬化症、ハンチントン病、およびパーキンソン病から選択される、請求項２６に記載の方法。
28. 前記患者に治療を施すステップをさらに含む、請求項２７に記載の方法。
29. 前記治療がフィンゴリモドを含む、請求項２８に記載の方法。
30. 前記査定するステップがさらに、
    前記ビデオデータ内でデジタルに表現された前記人間に対応する、これまでに判定された疾患状況、および、
    前記ビデオデータ内でデジタルに表現された前記人間に対応する、これまでに判定された疾患重症度
    のうちの１つまたは複数に少なくとも部分的に基づく、請求項１７に記載の方法。
31. 前記ビデオデータが、前記疾患状況および前記疾患重症度のうちの少なくとも１つを示す物理的な動きを前記人間が実行するのを示す、請求項１７に記載の方法。
32. 前記物理的な動きが、
    ｘ．体幹運動失調タスク
    ｙ．指鼻タスク
    ｚ．指指タスク
    ａａ．ロンベルクタスク
    ｂｂ．真っすぐ歩くタスク
    ｃｃ．通常の歩行タスク
    ｄｄ．その場で回転するタスク
    ｅｅ．片足で軽く跳ぶタスク
    ｆｆ．指で正方形を描くタスク
    ｇｇ．カップから飲むタスク
    ｈｈ．ページをめくるタスク、
    から選択される１つまたは複数運動タスクを含む、請求項３１に記載の方法。
33. 前記ビデオデータが、前記運動タスクのうちの少なくとも２つを前記人間が実行するのを示す、請求項３２に記載の方法。
34. 前記運動記述子のそれぞれが、
    物理的な動きに対応する加速度、および
    前記物理的な動きに対応する速度
    のうちの１つまたは複数を表し、
    前記物理的な動きが、前記ビデオデータ内でデジタルに表現された前記人間によって実行される、請求項１７に記載の方法。
35. 前記速度が、前記物理的な動きの大きさを統計的に示す、請求項３４に記載の方法。
36. 前記加速度が、前記物理的な動きでの微小振動を示す、請求項３５に記載の方法。
37. 前記運動記述子のそれぞれが、前記基準点のうちの１つに対応する動きの大きさを表す、請求項１７に記載の方法。
38. 前記運動記述子のそれぞれがさらに、前記動きの方向を表す、請求項３７に記載の方法。