JP2015519596A - 自動インテリジェント指導システム（ａｉｍｓ） - Google Patents

Abstract

方法、システム、および非一時的なコンピュータプログラム製品が開示される。本発明の実施形態は、手技の能力モデルを提供することを含むことができ、該能力モデルは、手技の１つ以上の以前の能力に少なくとも部分的に基づく。実施形態はさらに、手技が行われている間に能力データを取得することを含むことができ、該能力データは、１つ以上の運動感知デバイスから受け取るセンサデータに少なくとも部分的に基づく。実施形態はさらに、手技の能力計量を決定することを含むことができ、該能力計量は、能力データを能力モデルと比較することによって決定される。実施形態はさらに、結果を出力することを含むことができ、該結果は、能力計量に基づく。【選択図】図１

Description

本出願は、合衆国法典第３５巻１１９条（ｅ）の下で、２０１２年４月１１に出願された米国仮特許出願第６１／６２２，９６９号、名称「Ａｕｔｏｍａｔｅｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｍｅｎｔｏｒｉｎｇ Ｓｙｓｔｅｍ（ＡＩＭＳ）」の利益を主張するものであり、参照によりその全体が本明細書に明確に組み込まれる。

[0001]
本開示は、概して、選択された手技を訓練するためのシステムおよび方法に関し、具体的には、コンピュータシステムと通信している少なくとも１つの運動感知カメラを使用して、医学的手技を訓練するためのシステムおよび方法に関する。

[0002]
手技スキルの教示およびヘルスケアの評価は、１人以上の臨床スキルの教員メンバーの直接的な指導または監督の下で、シミュレータ（例えば、パートタスクトレーナー、標準模擬患者、コンピュータ駆動の全身型マネキン、仮想現実システム、およびコンピュータに基づくプログラム）の範囲で行われる。この手法は、スキルの習得および評価のために、専門家の指導のアクセスを提供するが、幾通りかの方法に限定される。この従来の教示モデルは、個別の学習を十分にサポートしておらず、形成的フィードバックによる計画的で繰り返しの練習を重要視している。それは、教師または監督者に非常に多くの時間を求め、労力は、クラスおよびコースのサイズに直接関連する。学習者に対する理想的な教員と学生との比率は、概して、教育機関にとっては非現実的である。最後に、多くのスキルは、スキルの熟達を達成することに従うのではなく、監督されない既定の繰り返し回数に関して教示されるか、または練習の長さ（すなわち、時間）によって決定される。

[0003]
開示される主題に従う、手技の能力を評価するための方法、システム、および非一時的なコンピュータプログラム製品が提供される。

ある実施形態は、手技の能力を評価するための方法を含み、該方法は、手技の能力モデルを提供することを含み、能力モデルは、手技の１つ以上の以前の能力に少なくとも部分的に基づく。本方法はさらに、手技が行われている間に能力データを取得することを含み、能力データは、１つ以上の運動感知デバイスから受け取るセンサデータに少なくとも部分的に基づく。本方法はさらに、手技の能力計量を決定することを含み、能力計量は、能力データを能力モデルと比較することによって決定される。本方法はさらに、結果を出力することを含み、結果は、能力計量に基づく。

ある実施形態は、手技の能力を評価するためのシステムを含み、該システムは、１つ以上の運動感知デバイスと、１つ以上のディスプレイと、記憶装置と、少なくとも１つのプロセッサとを含む。１つ以上の運動感知デバイスは、手技の能力を追跡するセンサデータを提供することができる。少なくとも１つのプロセッサは、手技の能力モデルを提供するように構成することができ、能力モデルは、手技の１つ以上の以前の能力に少なくとも部分的に基づく。少なくとも１つのプロセッサはさらに、手技が行われている間に能力データを取得するように構成することができ、能力データは、１つ以上の運動感知デバイスから受け取るセンサデータに少なくとも部分的に基づく。少なくとも１つのプロセッサはさらに、手技の能力計量を決定するように構成することができ、能力計量は、能力データを能力モデルと比較することによって決定される。少なくとも１つのプロセッサはさらに、結果を出力するように構成することができ、結果は、能力計量に基づく。

ある実施形態は、手技の能力を評価するための非一時的なコンピュータプログラム製品を含む。非一時的なコンピュータプログラム製品は、コンピュータ読み出し可能な媒体において実体的に具体化することができる。非一時的なコンピュータプログラム製品は、データ処理装置に手技の能力モデル提供させるように動作可能な命令を含むことができ、能力モデルは、手技の１つ以上の以前の能力に少なくとも部分的に基づく。非一時的なコンピュータプログラム製品はさらに、データ処理装置に、手技が行われている間に能力データを取得させるように動作可能な命令を含むことができ、能力データは、１つ以上の運動感知デバイスから受け取るセンサデータに少なくとも部分的に基づく。非一時的なコンピュータプログラム製品は、データ処理装置に手技の能力計量を決定させるように動作可能な命令を含むことができ、能力計量は、能力データを能力モデルと比較することによって決定される。非一時的なコンピュータプログラム製品はさらに、データ処理装置に結果を出力させるように動作可能な命令を含むことができ、結果は、能力計量に基づく。

本明細書で説明される実施形態は、本発明の追加的な態様を含むことができる。例えば、能力モデルを決定することは、手技の複数の能力による行動を監視することによって取得されるデータを集約することを含むことができる。能力データは、ユーザ移動を含むことができ、１つ以上の運動感知デバイスから受け取るセンサデータは、動感知カメラから受け取るｘ、ｙ、およびｚ方向のうちの少なくとも１つにおける運動を含むことができ、能力データを能力モデルと比較することは、能力モデルからの能力データの偏差を決定することを含むことができる。能力データを取得することは、シミュレーション訓練デバイスの位置に基づくセンサデータを受け取ることを含むことができ、シミュレーション訓練デバイスは、医学的訓練マネキンを含むことができる。能力データを取得することは、２人以上の人々の間の関係に基づくセンサデータを受け取ることを含むことができる。能力データを取得することは、ユーザの下半身領域が不明瞭である間、ユーザの上半身領域に基づいて決定することを含むことができる。手技は、直接喉頭鏡検査による気管内挿管、静注開始、膀胱カテーテル挿入、血液ガス測定のための動脈血採集、切開および排液、皮膚注射、関節吸引、関節注射、腰椎穿刺、経鼻胃チューブ配置、心電図導線配置、腱反射評価、経膣分娩、創傷閉鎖、静脈穿刺、患者の安全な持ち上げおよび転送、理学および作業療法、装置の組み立て、装置の較正、装置の修理、装置の安全な取り扱い、野球の打撃、野球の投球、ゴルフのスイング、ゴルフのパット、ラケットボールのストローク、スカッシュのストローク、およびテニスのストローク、のうちの少なくとも１つを含むことができる。

本開示の種々の目的、特徴、および利点は、以下の図面とともに考慮すれば、以下の詳細な説明を参照してより完全に認識することができ、図面において、同じ参照番号は、同じ要素を指す。以下の図面は、例示目的のためだけのものであり、本発明を限定することを意図せず、その範囲は、以下の特許請求の範囲に記載される。

[0004]
本開示のある実施形態に従う、手技を訓練するためのシステムの限定的でない例を例示する図である。 本開示のある実施形態に従う、手技に対するフィードバックを提供するためのユーザインターフェースのスクリーンショットの実施例を例示する図である。 本開示のある実施形態に従う、システムが手技の能力を評価するために使用することができるステージまたはセグメントの例示的なブロック図である。 本開示のある実施形態に従う、システムが手技の能力を評価するために行う方法の実施例を例示する図である。 本開示のある実施形態に従う、手技の能力モデルを提供する例示的なブロック図である。 本開示のある実施形態に従う、システムが手技の能力モデルを提供するために行う方法の実施例を例示する図である。 本開示のある実施形態に従う、手技が行われている間にシステムが取得するセンサデータの実施例を例示する図である。 本開示のある実施形態に従う、手技が行われている間にシステムが決定する能力データの実施例を例示する図である。 本開示のある実施形態に従う、複数のユーザを追跡する実施例を例示する図である。 本開示のある実施形態に従う、システムが手技の能力を評価するために行う方法の実施例を例示する図である。 本開示のある実施形態に従う、システムと対話するためのユーザインターフェースの例示的なスクリーンショットを例示する図である。 本開示のある実施形態に従う、システムを較正するためのユーザインターフェースの例示的なスクリーンショットを例示する図である。 本開示のある実施形態に従う、生徒のプロファイルを表示するためのユーザインターフェースの例示的なスクリーンショットを例示する図である。 本開示のある実施形態に従う、訓練モジュールを選択するためのユーザインターフェースの例示的なスクリーンショットを例示する図である。 本開示のある実施形態に従う、個々のユーザの結果をレビューするためのユーザインターフェースの例示的なスクリーンショットを例示する図である。 本開示のある実施形態に従う、手技に対するコーススナップショットの管理者ビューの例示的なユーザインターフェースのスクリーンショットを例示する図である。 本開示のある実施形態に従う、手技に対する個々の参加者の概要の管理者ビューの例示的なユーザインターフェースのスクリーンショットを例示する図である。 本開示のある実施形態に従う、手技に対する個々の参加者の詳細ビューの管理者ビューの例示的なユーザインターフェースのスクリーンショットを例示する図である。 本開示のある実施形態に従う、手技に対する個々のイベント詳細ビューの管理者ビューの例示的なユーザインターフェースのスクリーンショットを例示する図である。

[0005]
全体的に、本開示は、改善された手技の訓練および（形成的および総括的な）評価のためのシステムおよび方法を含む。例示的な手技としては、直接喉頭鏡検査による気管内挿管、患者の安全な取り扱い、またはいくつかの他の手技を含む。本システムおよび方法は、コンピュータシステムと通信している運動感知カメラを使用して、手技の能力を評価する。例示的なシステムは、手技の能力モデルを提供することを含む。能力モデルは、臨床スキルの教員メンバーまたは開業医等の主題専門家によって決定されるデータを含む、手技の１つ以上の以前の能力から収集されるデータに基づくことができる。本方法は、手技が行われている間に能力データを取得する。例示的な能力データとしては、ユーザが手技を行っている間に取得される、身体位置付けデータ、運動精度、指関節運動、配置精度、物体認識、物体追跡、物体間の圧力印加、物体形状の変動、３Ｄゾーン検証、完了までの時間、身体力学、色追跡、口頭入力、顔認識、および頭部位置が挙げられる。能力データは、リアルタイムで空間的情報を捕捉することが可能な任意の運動感知デバイスから受け取るセンサデータに基づくことができる。限定的でない例示的な運動感知デバイスは、運動感知カメラである。例示的なセンサデータとしては、赤−緑−青（ＲＧＢ）ビデオ等の色成分、深度、ｘ、ｙ、もしくはｚにおける空間的位置、ｘ、ｙ、もしくはｚ方向における運動、マイクロフォンからの口頭入力等の音響データ、頭部追跡、ジェスチャー認識、またはユーザの仮想「骨格」をモデル化するラインセグメント等の特徴認識が挙げられる。本システムは、能力データを能力モデルと比較することによって、手技の能力計量を決定する。能力計量に基づいて、本システムは、結果を出力する。例示的な出力としては、例えばユーザが手技を行っている間に、またはユーザが手技を行った後に、動的データを表示することが挙げられる。

[0006]
本システムおよび方法は、能力のモデル化および訓練を提供するために、手技スキルを教示し、評価する。例示的な手技スキルとしては、気管内挿管、患者の安全な取り扱い、末梢静脈ライン配置、経鼻胃チューブ配置、反射試験等が挙げられる。本システムは、リアルタイムの３次元マッピングおよび物体に基づく測定、ならびに専門家の能力に基づく能力モデルに対する手技の個々の能力の評価に関わる。いくつかの実施形態において、本システムは、コンピュータおよび少なくとも１つの運動感知カメラを含む、市販のハードウェアを使用する。例えば、本システムは、Ｒｅｄｍｏｎｄ、Ｗａｓｈｉｎｇｔｏｎ、ＵＳＡのＭＩＣＲＯＳＯＦＴ（登録商標）Ｃｏｒｐｏｒａｔｉｏｎによる、ＫＩＮＥＣＴ（登録商標）運動感知カメラを使用することができる。

[0007]
本システムは、手技の臨床スキル、また、計画的身体力学（例えば、患者の持ち上げおよび／または移動）に関わるタスクを教示し、評価する。従来のシミュレーション訓練モデルとは異なり、本システムは、各セッションの結果に関する体系化され、サポートされるフィードバックと結び付けられる、オーディオに基づく手技の指示および能動的な視覚キューを提供する。本システムは、標準化された「専門家」の指導を直接サポートする能力を大幅に高める。例えば、健康専門家は、新しい手技の臨床スキルを学び、習得することができ、または手技スキルを行う際にそれらの熟達度を評価することができる。

[0008]
本システムは、生徒が、監督者を伴わずに「指導される」ことを可能にし、規範的な個別のフィードバックを与え、また、個々の学習者が指定された適性レベルを達成するために必要な手技を無制限に試行することを可能にする。この全てが、教員の時間および労力の消費を減らすことができる。現場の教師、およびしばしば学習者と教師との間で１対１の対話を必要とする従来のシミュレーション訓練モデルとは異なり、本システムおよび方法は、より正確で生産的な結果を促進しながら、連続する直接的な監督に対する必要性を大幅に低減させる。本システムは、教示過程を標準化し、指示のばらつきを低減させる。本システムは、最小のコストで組み立てることができる、容易に利用可能なハードウェア構成要素を使用する。本システムおよび方法は、能動的な視覚キューを含む総合的なリアルタイムの対話型指示、およびユーザへの動的フィードバックを提供する。

[0009]
本システムおよび方法は、標準化されたオンタイムでオンデマンドの指示、評価情報および規範的なフィードバック、ならびにスキルの熟達を達成するために計画的で繰り返しの練習に携わる機会を可能にする。対照的に、従来の実地の教師の観察および評価は、教員の時間および労力の大きな消費を必要とする。本システムおよび方法の経済的利点は、教師、監督者、または評価者の時間的拘束の低減であり、一方でまた、計画的および繰り返し練習の機会を拡大することでもある。教師の時間の高価な投資を伴わずに、ユーザをある熟達レベルまで訓練することに対する本システムの経済的影響は、膨大な潜在性を有する。教師リソースの効率的な配置転換および学習者の熟達度の保証は、正の投資対効果をもたらすことができる。従来の１対１の監督は、リソース集中型であり得、また、適性の達成がより遅い一部の学習者に対して、活動関与が広範囲である。本システムは、自身で作業することができる生徒、および他の場合では数多くの試行を必要とする生徒に、熟達を達成する無制限の機会を提供する。本システムによる評価に従って学習者が指定された適性レベルを達成すると、学習者は、教員監督者によって評価され得る。故に、教員の評価を受ける学習者が本システムによって設定される基準を満たしていることになるので、本システムは、効率を向上させる。本システムは、公式に評価されると、矯正を必要とする学習者の数を低減させる。本システムはまた、矯正の分岐点としての、ならびに証明または適性を維持する役割を果たす。

[0010]
本システムおよび方法を展開する潜在的な顧客は、機関またはプログラムを含み、学習者の間で手技スキルの適性を達成または維持する目的で、ライブ教育に投資する。好都合なことに、本システムは、安価で、利用し易く、使い勝手の良いユーザインターフェースを提供する。潜在的なコスト節減は、手技の熟達までの時間及び、監督に専念する関連する教師の時間に依存する。気管内挿管等の複雑なスキルの場合、例えば−薬剤およびヘルスケアにおける数多くの臨床手技スキルのように−教員監督の時間および労力要件は膨大である。本システムおよび方法は、教育、スキル評価、および能力の維持において使用することができる。例示的な加入者としては、医学および健康の専門学校、新しいユーザまたはスキルの維持を保証する事業体、ヘルスケア提供組織、ならびに本システムおよび方法によって追跡および解析することができる手技においてスタッフ、従業員、および職員を訓練し、監視し、また、評価する任意の事業体が挙げられる。本システムおよび方法は、リソースの有効で適時の使用、高度な患者の安全性、および医療事故の低減に重点を置いた拡大しているヘルスケア産業にとって魅力的であり得る。

[0011]
本システムおよび方法は、３つの部分から成る目的を有する。すなわち、医学界の必要性の増大を満たすこと、スキルを効果的に向上させ、手技の熟達を達成する製品を提供すること、および賢明な投資対効果を提供することによって、簡略化された訓練方法への関心を高めることである。本システムは、ヘルスケア界における手技の訓練の必要性に対処する。本システムは、ライブのフィードバック、およびユーザの結果のカリキュラム指定の基準との詳細な比較を提供する。リアルタイムの専門家の指導による手技の練習するためのフィードバックおよび無制限の機会によって、学習者は、自分自身のペースで、期待される熟達度を達成することができる。本システムは、訓練の方法および評価における不整合性を排除するための、および専門家の臨床教育者に対する要求の高まりを低減させるためのコスト効果的な方法である。これらの利点は、一実施形態ではインターネットまたはオンラインに基づく環境からのサブスクリプションを通して提供される、低コストのハードウェアおよびソフトウェアパッケージを通して達成される。

[0012]
本システムおよび方法は、ヘルスケア専門家、生徒、および開業医が、コースの目的の達成、証明書の更新、またはスキルの維持のために必要とする主要なスキルを学習し、完成させるための方法を彼／彼女らに提供する。本システムおよび方法は、監督およびスケジューリングが最小にされるので、スキルの熟達を達成し、スキルの習得を迅速化するために必要な計画的および繰り返し練習を高め、また、訓練および適正評価における均一性を提供する。これらの利点は、あるハードウェアおよび／またはソフトウェアモジュールを、それらを既存のシミュレーション訓練装置、コンピュータ、および１つ以上の運動感知カメラを含む運動捕捉システムとともに活用し及び組み合わせることによって達成することができる。

図面を参照すると、図１は、本開示のある実施形態に従う、手技を訓練するためのシステム１００の限定的でない例を例示する。システム１００は、コンピュータ１０２と、運動感知カメラ１０４と、ディスプレイ１０６とを含む。いくつかの実施形態において、システム１００は、随意の静的タスクトレーナーまたは随意のシミュレーション訓練デバイスに関連する手の移動等の、移動を測定および追跡することができる。ヘルスケアで使用されるようなシミュレーション訓練デバイスは、解剖学的に正確であり、また、該デバイスに対して行われる手技をシミュレーションしたように設計されるデバイスを指す。限定的でない例示的な随意のデバイスは、気管内挿管のための気道トレーナー１０８を含むことができる。当然、使用するデバイスは、気道トレーナーに限定されず、他の静的タスクトレーナーまたはシミュレーション訓練デバイスを含むことができる。シミュレーションデバイスはまた、医学的訓練またはヘルスケアとは無関係であり得る。シミュレーションデバイスとしては、検眼鏡、耳鏡、メス、聴診器、ストレッチャー、注射器、舌圧子、または車椅子等の医療器具、ピペットまたは試験管等の実験室装置、ハンマー、ねじ回し、スパナ、もしくは鋸等の手で使用する器具が挙げられ得る製造もしくは修理の際に使用される道具、またはさらに野球用バット、ゴルフクラブ、またはテニスラケット等のスポーツ用品が挙げられる。システム１００は、例えばディスプレイ１０６を介して、詳細な解析およびフィードバックを学習者に提供する。いくつかの実施形態において、コンピュータ１０２およびディスプレイ１０６は、ラップトップコンピュータ等の単一のユニットとすることができる。

[0013]
カメラ１０４は、手技を試行するユーザの運動を正確かつ精密に記録することができるように移動を追跡し、測定する。例示的な運動感知カメラとしては、ＭＩＣＲＯＳＯＦＴ（登録商標）Ｃｏｒｐｏｒａｔｉｏｎによる、ＫＩＮＥＣＴ（登録商標）運動感知カメラが挙げられる。当然、上で説明されるように、本システムは、運動感知カメラを使用することに限定されず、任意の運動感応性デバイスからのセンサデータを使用することが可能である。例示的な運動感知デバイスとしては、Ｗａｔｅｒｌｏｏ、ＣａｎａｄａのＴｈａｌｍｉｃ Ｌａｂｓ，Ｉｎｃ．によるＭｙｏ筋肉に基づく運動感知アームバンド、または、Ｓａｎ Ｆｒａｎｓｉｓｃｏ、Ｃａｌｉｆｏｒｎｉａ、Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ ＡｍｅｒｉｃａのＬｅａｐ Ｍｏｔｉｏｎ，Ｉｎｃ．によるＬｅａｐ Ｍｏｔｉｏｎ Ｃｏｎｔｒｏｌｌｅｒ、Ｋｙｏｔｏ、ＪａｐａｎのＮｉｎｔｅｎｄｏ Ｃｏ．，ＬｔｄによるＷＩＩ（登録商標）ゲームコントローラおよび運動感知システム、もしくはＴｏｋｙｏ、ＪａｐａｎのＳｏｎｙ ＣｏｒｐｏｒａｔｉｏｎによるＰＬＡＹＳＴＡＴＩＯＮ（登録商標）ＭＯＶＥゲームコントローラおよび運動感知システム等の、運動感知コントローラが挙げられる。カメラ１０４は、ユーザの能力からセンサデータを捕捉する。いくつかの実施形態において、センサデータとしては、赤−緑−青（ＲＧＢ）ビデオストリーム等の色成分、深度、またはｘ、ｙ、もしくはｚ方向における運動が挙げられる。例示的なセンサデータとしてはまた、マイクロフォンもしくは口頭入力等による音響データ、頭部追跡、ジェスチャー認識、またはユーザの仮想「骨格」をモデル化するラインセグメント等の特徴認識が挙げられる。

[0014]
コンピュータ１０２は、カメラ１０４から受け取るセンサデータを解析して、手技を行うユーザの能力データを取得し、そして、該能力データを使用して、手技の能力計量を決定し、結果を出力する。コンピュータ１０２は、インターフェース１１２を通じてカメラ１０４からセンサデータを受け取る。コンピュータ１０２は、正確な同期フィードバック、およびユーザの記録した能力計量と以前に確立した能力モデルとの詳細な比較を提供する。例えば、コンピュータ１０２は、能力スコアを定式化し、熟達度のベンチマークレベルを達成するためのステップを提案することができる。コンピュータ１０２は、インターフェース１１０を通じてディスプレイ１０６と通信して、能力スコアに基づく結果を出力すること、またはユーザの能力の他の動的フィードバックを提供することができる。

[0015]
いくつかの実施形態において、システム１００のモジュールは、随意のサービスとしてのソフトウェア（ＳａａＳ）クラウドに基づく環境１１８として実装することができる。例えば、顧客またはクライアントは、システム１００が、サーバ側データベースまたはリモートデータクラウドからデータを受け取るように選択することができる。いくつかの実施形態において、システム１００は、顧客またはクライアントが、各訓練演習または手技の完了時に能力データをクラウドに記憶することを可能にする。故に、クラウドに基づく環境１１８は、ある態様のシステム１００を、サブスクリプションを通して販売することを可能にする。例えば、サブスクリプションは、サブスクリプションサービスを通して利用可能な教示モジュール（または手技）のメニュー等の、特別なインターネットまたはウェブに基づく環境からのパッケージを含むことができる。システム１００は、セキュアに管理されたクラウドに基づく環境１１８によって容易に更新可能であり、また、管理される。いくつかの実施形態において、クラウドに基づく環境１１８は、医療保険の相互運用性および説明責任法（ＨＩＰＡＡ）、経済的および臨床的健全性のための医療情報技術（ＨＩＴＥＣＨ）法、および／または家庭教育の権利およびプライバシーに関する法（ＦＥＲＰＡ）等の、法的要件に準拠することができる。サブスクリプションは、インターネットを通じてアプリケーションのストアフロントで、手技のメニューを介して提供することができる。ユーザは、サブスクリプションに基づくサービスから持続可能な利点を受け取る。その第１は、例えば特徴のアップグレードまたはセキュリティの更新を受け取るために、クラウドに基づく環境１１８でソフトウェアを更新することの容易さである。加えて、ＳａａＳを特徴とするクラウドに基づく環境１１８は、製品またはモジュールをアプリケーションストアに加えることによって、システム１００の融通性を将来の学習および訓練の必要性に適合させることを可能にする。本システムはまた、ＳａａＳを介した配信チャネルの選択も可能にする。配信チャネル選択は、サブスクリプションライブラリが拡大したときに、本システムを容易に更新すること、および精緻化することを可能にする。

[0016]
例えば、本明細書で説明される処理および該処理による結果は、リモートシステム上で行うこと、および／またはそこに記憶すること、ならびにそこから取り出すことができる。いくつかの実施形態において、コンピュータ１０２は、ディスプレイ１０６およびカメラ１０４からリモートであることができ、インターフェース１１０、１１２、および１１６は、ネットワークを通じた通信を表すことができる。他の実施形態において、コンピュータ１０２は、インターフェース１１６を通じたクラウドに基づく環境１１８等のネットワークを通じてアクセスされる、リモートサーバおよび／またはデータベースから情報を受け取ることができる。ネットワークは、単一のネットワークまたは１つ以上のネットワークであり得る。上で説明されるように、ネットワークは、コンピューティングクラウドを確立し得る（例えば、本明細書で説明される、処理を実装するおよび／またはデータを記憶するハードウェアおよび／またはソフトウェアは、クラウドプロバイダによってホストされ、「クラウドの中に」存在する）。さらに、ネットワークは、パブリックおよび／またはプライベートネットワークの組み合わせとすることができ、これは、システム１００が記憶サーバにアクセスすること、ならびにデータを送ることおよび受け取ることを可能にする、インターネットおよびイントラネットシステムの任意の組み合わせを含むことができる。例えば、ネットワークは、データを転送するために、ＨｏｍｅＰＮＡもしくは電力線通信等の電気ケーブル、光ファイバー、または無線ＬＡＮ等の無線波を使用した、インターネット、イーサネットもしくはＷｉ−Ｆｉ等のローカルエリアネットワーク（ＬＡＮ）、もしくはインターネットトンネリングを介したＬＡＮツーＬＡＮ等のワイドエリアネットワーク（ＷＡＮ）、またはそれらの組み合わせを使用して、システム構成要素の１つ以上に接続する。これに関して、システムおよび記憶デバイスは、通信のための標準インターネットプロトコル（例えば、ｉＳＣＳＩ）を使用することができる。いくつかの実施形態において、システム１００は、インターネットへの有線接続を使用して、通信ネットワークに接続され得る。

図２Ａ〜２Ｃは、本開示のある実施形態に従う、手技に対するフィードバックを提供するためのユーザインターフェースのスクリーンショットの実施例を例示する。

[0017]
図２Ａは、ユーザが直接喉頭鏡検査手技によって気管内挿管を行っている間、ユーザフィードバックのテンプレートのスクリーンショットを例示する。フィードバックによって、学習者は、測定された熟達レベルを達成するまでタスクを繰り返すことができる。監督に対する必要性を伴わなくして、また、熟達度に到達するまでの無制限の試行を可能にすることで、本システムは、学習者が、学習者自身の学習ペースで継続すること、および学習者自身のスケジューリングの必要性に合わせることを可能にする。本システムは、教師の監督を殆どまたは全く必要とせず、一様な様式で手技を教示し、また、学習者の個別の必要性に従う。

[0018]
例えば、ユーザインターフェースは、リアルタイムビデオフィード２０２と、熟達レベルゲージ２０６と、ユーザの進入角を追跡する線グラフ２０８および棒グラフ２１０とを含み得る。図２Ａは、直接喉頭鏡検査によって気管内挿管を実践するユーザを例示する。リアルタイムビデオフィード２０２（マネキンに挿管する生徒を示す）は、生徒の身体および関節の位置を示す、ある能力データのリアルタイムビデオフィードにオーバーレイされる表示を例示する。使用中に、本システムは、移動を監視し、ユーザのリアルタイムビデオフィードをディスプレイ上に提供する。ユーザが自分自身を不適当に位置付けるかまたは移動させた場合、本システムは、ユーザに警告する。例示的な出力は、移動が不適当であることが分かるように、画面上の色の変化、可聴信号、またはユーザが聞くまたは見ることができる任意の他のタイプのフィードバックを含むことができる。ユーザが手技を行っているときに、この能力データは、本システムがユーザを訓練して、ユーザの運動の精度を改善することを可能にする。例えば、リアルタイムビデオフィード２０２は、ユーザの手の位置２０４ａおよびユーザの肩部の位置２０４ｄが良好であること、ユーザの手首の位置２０４ｂの位置が十分であること、およびユーザの肘の位置２０４ｃが改善を必要とすることを示す。いくつかの実施形態において、本システムは、良好な位置を緑色で、十分な位置を黄色で、また、改善を必要とする位置を赤色で表示することができる。

[0019]
いくつかの実施形態において、出力される結果はまた、能力計量を反映するゲージも含むことができる。本システムは、手技をセグメントに分割することができる。例えば、ゲージ２０６は、ユーザが手技の現在のセグメントまたはステージについて、約８５％の熟達レベルのスコアを受け取ったことを示す。いくつかの実施形態において、出力される結果はまた、訓練演習または訓練モジュールの現在のセグメントまたはステージの精度を表示する、線グラフおよび／または棒グラフも含むことができる。例えば、線グラフ２０８は、訓練演習または訓練モジュールの各セグメントまたはステージ中の進入角に基づいて、ユーザの能力の傾向を示す。同様に、棒グラフ２１０は、訓練演習または訓練モジュールの各セグメントまたはステージ中の進入角に基づいて、ユーザの能力のヒストグラムを示す。さらなる実施形態において、線グラフおよび／または棒グラフは、訓練演習の各セグメントまたはステージの、または現在の訓練演習全体の完了までの時間も追跡することができる。なおさらなる実施形態において、線グラフおよび／または棒グラフは、経時的な進捗、および経時的なス全体的なキル熟達のヒストグラムを含むことができる。

[0020]
図２Ｂは、ユーザが直接喉頭鏡検査手技によって気管内挿管を行っている間の、ユーザフィードバックのための代替のテンプレートのスクリーンショットを例示する。例えば、ユーザインターフェースは、リアルタイムビデオフィード２２０と、ステージまたはセグメント２２２と、精度ゾーン２２４とを含み得る。いくつかの実施形態において、本システムは、手技をセグメントに分割することができる。各セグメントは、どのように動作を行うべきかを示す図または他の描写を含むことによって、ユーザを支援することができる。ステージまたはセグメント２２２は、手技または訓練モジュールの以前のおよび次のステージまたはセグメントを示すことができる。例えば、本システムは、気道トレーナーを挿入するユーザの画像を表示し得る。当然、本システムは、ユーザに指示するテキストを表示し得、および／または可聴指示を提供し得る。リアルタイムビデオフィード２２０はまた、色分けされた精度ゾーン２２４を表すオーバーレイも表示することができる。いくつかの実施形態において、色分けされた３Ｄ精度ゾーンは、本システムが、コースの特定のステージまたはセグメントに関する、所定の正確および／または不正確なゾーン、領域、または範囲を認識することを可能にする。

[0021]
精度ゾーンは、ユーザの関節および／または随意のカラーラベル付き用具に関連して決定することができる。随意のカラーラベル付き用具は、本システムが対応する色を実際に追跡し、認識していることを検証するために、「Ｘ」２２６によって例示される。いくつかの実施形態において、本システムは、各カラーを追跡するために「ブロブ検出」を使用することができる。本システムは、ユーザの能力を捕捉するために、そのステージまたは１組のステージの必要性を満たすまで、物理的空間の特定の領域の中で予め定義された色に注目し、その色を追尾する。例えば、図２Ｂで例示されるように、管理者は、本システムが気管内挿管手技のステージ３の期間にわたって黄色を追跡するように予め定義することができる。随意の用具が黄色の「Ｘ」でラベル付けされているので、本システムは、ステージ３の期間にわたって随意の用具を追跡する。さらなる実施形態において、本システムは、照明温度の変動を補償するために、所定の色を較正することができる。本システムは、手技のユーザ較正段階中に（後で、図１１で示される）、または手技中の他の特定のステージで、所定の色を較正することができる。

[0022]
精度ゾーン２２４で例示されるように、本システムは、ユーザの追跡された身体の位置および／または用具が実質的に概ね正しい領域内に位置しているかどうかを評価するために、ユーザに対して検出された正確および不正確なゾーンを表示することが可能である。各精度ゾーンは、主題専門家（ＳＭＥ）から収集されるデータを集約することによって決定される能力モデルの一部である。集約されたデータは、種々の３Ｄゾーン、予め定義された経路、および移動ウォッチャーを有するステージに分けられる。予め定義された経路は、進入角または掃引運動の形態で、能力モデルにおいて決定される主題専門家の身体力学の経路を指す。本システムは、その特定のセグメントに関して、本システム内に記憶される予め定義された主題専門家の経路に対するユーザの経路を測定するために、精度測定方法として、予め定義された経路を使用する。ウォッチャーは、ユーザがあるステージから別のステージに進んだときにトリガーする、複数組の関節または色変数を指す。したがって、本システムは、本システムがステージ進歩イベントを欠落させないことを確実にするために、ウォッチャーがバリデーターとしての機能を果たすように設定することができる。もしステージ進歩イベントが発生した場合、本システムは、次のステージのウォッチャーがトリガーされる前に最後の既知の経路を決定するために、以前のステージからの経路追跡情報を使用することができる。

[0023]
いくつかの実施形態において、能力モデルの精度ゾーン、予め定義された経路、および移動ウォッチャーは、初期構成ステージ中に決定されるゼロ点に対して、ユーザからの能力データと比較することができる（図１１で示す）。

[0024]
各所定の精度ゾーンは、図２Ｂで例示されるように、ユーザの仮想空間のミラー画像の中に浮かんでいるフローティングチューブまたはブロックとして想像することができる。物理的空間におけるユーザの移動は、ユーザの身体力学および追跡される随意の器具から収集される情報のデータストリームを含む、運動感応性カメラからの未加工のセンサデータの解析および精緻化に基づいて、ならびにセンサデータに基づいて決定される能力データに基づいて、ユーザの仮想表現を、これらの３Ｄ精度ゾーンを通して移動させることを可能にする。本システムは、次いで、ユーザの移動の位置が３Ｄ精度ゾーンと交差する交差ポイントまたは領域を決定する。本システムは、これらの交差を使用して、ｘ軸、ｙ軸、またはｚ軸上の仮想精度ゾーン内のユーザの精度等の能力計量を決定することができる。

[0025]
本システムはさらに、物理学に基づく手段を含む能力データを決定することができる。例えば、本システムは、ユーザが随意の用具をｚ軸上で前方または後方に移動させる程度を決定することに基づいて、シミュレーション訓練デバイスに印加される圧力、および／またはシミュレーション訓練デバイスに印加される前方または後方の運動量を含む、能力データを決定することができる。ユーザはまた、ｙ軸上で上下に移動することもでき、これは、本システムが、垂直面上の全般的精度ゾーンを決定することを可能にする。ユーザはまた、随意の用具をｘ軸上で左右に移動させることもでき、これは、本システムが、水平面上の位置的精度ゾーンを決定することを可能にする。

[0026]
いくつかの実施形態において、本システムは、赤色、黄色、または緑色の色分け精度ゾーン等の能力計量を表示することによって、結果を出力することができる。赤色は、正しくない移動または配置を示すことができる。黄色は、平均のまたは十分な移動または配置を示すことができる。緑色は、良好な、優れた、または最適な移動または配置を示すことができる。本システムは、ユーザおよび管理者が、結果ページにおいて、色分けされた精度ゾーンをレビューすることを可能にすることができる（図１５で示す）。

[0027]
図２Ｃは、ユーザが患者の安全な取り扱い手技を行っている間の、ユーザフィードバックのテンプレートのスクリーンショットを例示する。例えば、ユーザインターフェースは、リアルタイムビデオフィード２１２と、各セグメントまたはステージのための指示２１４と、能力計量に基づいて出力結果を表示するためのゲージ２１６、２１８とを含み得る。患者の安全な取り扱い手技、および理学診断操作、理学療法行動等の他の人間の手技は、必ずしも器具または手持ち式デバイスを伴うとは限らない。

[0028]
上で説明されるように、本システムは、デバイスまたは器具を伴わない手技に適用することができて、また、医学的またはヘルスケア専門職以外の分野および業界に適用することができる。毎年、米国の人々は、職場での怪我または職業病を患う。米国では、特に女性の間で、看護補助者および業務員が、しばしば、最も高い職業的有病率を有し、また、作業に関連する背痛の最も高い年間率を構成する。ヘルスケア業界における背部損傷に関連する直接および間接コストは、毎年数１０億ドルに達する。看護従事者が高齢化し、米国における深刻な看護師不足が迫るにつれて、看護職員の健康を保ち、ヘルスケア要因の背部損傷を低減させることが重要になる。それでも、本システムの実施形態は、医学的またはヘルスケア専門職以外に適用できることが認識されるであろう。

[0029]
リアルタイムビデオフィード２１２は、ユーザの骨格の追跡領域毎に色分けされたオーバーレイ、または人間のようなモデル能力を示すオーバーレイを示すことができる。オーバーレイは、患者の安全な取り扱い手技のセグメントまたはステージ中に、ユーザがどのように位置付けしなければならいのかを示すことができる。各セグメントは、どのように動作を行うべきかを示す図または他の描写を含むことによって、ユーザを支援することができる。例えば、訓練セッションの開始時に、本システムは、ユーザに指示するテキストおよび／またはユーザに指示する画像を表示し得る。例えば、指示は、ユーザに医療デバイスを持ち上げるように指示するテキスト、および／または医療デバイスを持ち上げるユーザの画像を含み得る。当然、本システムは、可聴指示も提供し得る。指示２１４は、ユーザに「背中をまっすぐに保ち、膝から曲げてください」と指示する文字を含む。ゲージ２１６、２１８は、精度および安定度の能力計量に対応する出力結果を例示する。例えば、ゲージ２１６は、ユーザが、ユーザの安定度を評価する６７の熟達度スコアを有することを示す。同様に、ゲージ２１８は、ユーザが、ユーザの精度を評価する６１の熟達度スコアを有することを示す。

[0030]
図３は、本開示のある実施形態に従う、システムが手技の能力を評価するために使用することができるステージまたはセグメントの例示的なブロック図である。上で説明されるように、本システムは、手技をセグメント、ステージ、またはステップに分割するように構成することができる。例えば、初期化ステップ３０２は、システムを較正すること（図１１で示す）および較正に基づいて精度ゾーンを決定することを含むことができる。ステップ１（３０４）は、ユーザにマネキンまたは他のシミュレーションに基づく訓練デバイスの頭部を位置付けるように指示すること、およびユーザの手がマネキンの頭部の範囲から離れているかどうかを判定することを含むことができる。ステップ２（３０６）は、手がマネキンの頭部の範囲から離れたことを決定すること、およびユーザがいつ喉頭鏡を持ち上げたのかを決定することを含むことができる。ステップ３（３０８）は、喉頭鏡の挿入前のユーザの位置を評価すること、喉頭鏡の完全な挿入を評価すること、喉頭鏡の任意の変位を評価すること、マネキンの頭部の配置が適切かどうかを評価すること、バルーンカフを膨らませることを評価すること、チューブのオンを確認すること、確認に応じて喉頭鏡チューブの除去を評価すること、およびカフの膨張を評価すること、を含むことができる。ステップ４（３１０）は、マネキンの通気を評価すること、マネキンの胸部の上昇を評価すること、マネキンの腹部の上昇を評価すること、およびマネキンの酸素源を評価すること、を含むことができる。ステップ５（３１２）は、喉頭鏡チューブの固定を評価することを含むことができる。

[0031]
図４は、本開示のある実施形態に従う、システムが手技の能力を評価するために行う方法４００の実施例を例示する。本開示は、改善された手技の訓練のための方法を含む。例示的な手技としては、直接喉頭鏡検査による気管内挿管、患者の安全な取り扱い、またはいくつかの他の手技が挙げられる。追加的な手技としては、説明のためのものであり、限定するものではないが、製造過程、ゴルフスイングの解析等を含む競技的な運動のための訓練が挙げられ得る。本発明の実施形態は、運動および技法を改善するためのフィードバックを提供するためにユーザの正確な視覚的監視を必要とする、任意の手技に使用され得る。

[0032]
方法４００は、手技の能力モデルを提供する（ステップ４０２）。能力モデルは、臨床スキルの教員メンバーまたは開業医等の主題専門家によって決定されるデータを含む、手技の１つ以上の以前の能力から収集されるデータに基づくことができる。能力モデルはまた、外部ソースにも基づくことができる。外部ソースの限定的でない例としては、例えば患者の安全な取り扱い手技中の、外部的に検証された人間工学的なデータが挙げられる。本方法は、手技が行われている間に能力データを取得する（ステップ４０４）。いくつかの実施形態において、能力データは、ユーザが手技を行っている間に取得することができる。例示的な能力データとしては、身体位置付けデータ、運動精度、指関節運動、配置精度、物体認識、ゾーン検証、完了までの時間、骨格関節、色、および頭部位置が挙げられる。能力データは、運動感知カメラから受け取るセンサデータに基づくことができる。上で説明されるように、運動感知カメラから受け取る例示的なセンサデータとしては、赤−緑−青（ＲＧＢ）等の色成分、深度、およびｘ、ｙ、もしくはｚ方向における位置または運動が挙げられる。例示的なセンサデータとしてはまた、マイクロフォンもしくは音声認識から等の音響データ、または顔面認識、ジェスチャー認識、またはユーザの仮想「骨格」をモデル化するラインセグメント等の特徴認識も挙げられる。方法４００は、能力データを能力モデルと比較することによって、手技の能力計量を決定する（ステップ４０６）。能力計量に基づいて、本システムは、結果を出力する（ステップ４０８）。例示的な出力としては、例えばユーザが手技を行っている間、またはユーザが手技を行った後に、動的なフィードバックを表示することが挙げられる。

[0033]
図５Ａは、本開示のある実施形態に従う、手技の能力モデルを提供する例示的なブロック図である。主題専門家に所望の手技および分野を要請した後に、本システムは、各主題専門家による複数の能力５０２ａ〜ｄを記録する。いくつかの実施形態において、本システムは、運動感知カメラから受け取るセンサデータに基づいて、主題専門家の能力データを決定する。能力データは、ユーザの能力データを決定することと類似した様式で決定することができる（図７で示す）。記録過程は、群の各メンバーについて繰り返すことができる。例えば、２０人の主題専門家が、それぞれ５０回の手技を行って記録することができる。

本システムは、次いで、５０４で、主題専門家の能力データを集約する。本システムは、集約したデータを使用して、手技のスキル能力の平均および中央を決定する。例えば、集約したデータとしては、精度ゾーン、関節経路、および随意の器具経路が挙げられる。本システムは、次いで、５０６で、集計データ精緻化し、整理し、そして、能力モデル５０８を作成する。いくつかの実施形態において、本システムはまた、外部ソースを能力モデル５０８に組み込むこともできる。上で説明されるように、本システムは、患者の安全な取り扱い手技に関する公開された人間工学的データ等の、公開された計量を組み込むことができる。上で説明されるように、能力モデルは、本システムを使用するユーザの能力を比較するために使用することができる。いくつかの実施形態において、能力モデルは、主題専門家による集約能力に基づく精度ゾーン、関節経路、および随意の器具経路を含むことができる。

[0034]
図５Ｂは、本開示のある実施形態に従う、システムが手技の能力モデルを提供するために行う方法４０２の実施例を例示する。一般に、本システムは、複数回手技を行う主題専門家からの例示的な能力に基づいて能力モデルを決定する。例えば、５人の異なる主題専門家は、本システムによって監視されながら、それぞれ２０回の手技を行い得る。当然、より多い、またはより少ない専門家が使用され得、また、各専門家は、本システムによって監視されながら、より多いまたはより少ない回数の手技を行い得る。いくつかの実施形態において、本システムは、主題専門家を監視することによって収集される能力データを平均することによって、能力モデルを決定する。当然、主題専門家を監視することによって収集される能力データを組み合わせるために、数多くの他の方法が利用可能であり、平均することは、複数の専門家からの能力データを組み合わせるための単なる１つの方法に過ぎない。

本システムは、１人以上の専門家から１つ以上の能力を表すセンサデータを受け取る（ステップ５１０）。例えば、本システムは、手技の各ステージまたはセグメントについて、１人以上の主題専門家の記録に基づいて、運動感応性カメラからセンサデータを受け取ることができる。１人を超える専門家が記録される場合、各専門家の身体配置は、身長および／または体重等の身体計量の違いのため変動する。

本システムは、集約した精度ゾーンを決定する（ステップ５１２）。例えば、本システムは、例えば専門家がステージまたはセグメントを完了したときに相関させることによって、手技中の同じポイントでの各専門家の関節位置および器具配置を（２Ｄおよび３Ｄ空間の双方で）識別することができる。本システムは、手技における各ステージについて、関節位置および／または器具配置を識別することができる。本システムは、次いで、各専門家について、および各ステージについて、関節位置および／または器具配置の場所を平均することができる。本システムは、平均された場所に基づいて、各ステージの各関節位置および／または器具配置について、グループ平均位置を決定することができる。例えば、本システムは、ステージまたはセグメント中に、専門家について記録されるデータの標準偏差を決定することができる。本システムは、次いで、平均場所および標準偏差に基づいて、集約した精度ゾーンを決定することができる。例えば、本システムは、平均された場所の中央からの３つの標準偏差として、集約した精度ゾーンの高さ、幅、および奥行を決定することができる。

本システムはまた、専門家のセンサデータに基づく１人以上の専門家の関節位置に基づいて、集計した経路を決定する（ステップ５１４）。上で説明されるように、本システムは、例えば専門家がステージまたはセグメントを完了したときに相関させることによって、手技中の同じポイントでの各専門家の関節位置および器具配置を（２Ｄおよび３Ｄ空間の双方で）識別することができる。本システムは、手技における各ステージについて、関節経路および／または器具経路を識別することができる。各関節経路および／または器具経路について、本システムは、専門家間の技法の違いを識別する（ステップ５１６）。

いくつかの実施形態において、本システムはまた、後の識別または基準設定のために、変動にラベル付けすることもできる。

本システムは、次いで、集約した精度ゾーンおよび集約した経路に基づいて、能力モデルを提供する（ステップ５１８）。上で説明されるように、いくつかの実施形態において、能力モデルは、精度ゾーン、関節経路、および／または器具経路を含むことができる。例えば、本システムは、以下のように能力モデルの精度ゾーンを作成することができる。本システムは、主題専門家からの各ポイントの平均位置を使用して、手技のステージまたはセグメント内の各ポイントについて、グループ平均位置を決定することができる。上で説明されるように、本システムは、専門家からの平均位置の標準偏差を決定することができる。標準偏差に基づいて、本システムは、グループ平均位置の中央からの３つの標準偏差として、能力モデルの精度ゾーンの高さ、幅、および奥行を画定することができる。本システムは、以下のように関節経路および／または器具経路を決定することができる。各専門家の識別された経路を使用して、本システムは、専門家からの関節経路および／または器具経路に基づいて、手技のステージまたはセグメント内のグループ平均経路を決定することができる。いくつかの実施形態において、関節経路および／または器具経路はまた、外部ソースに基づいて決定することもできる。外部ソースの限定的でない例としては、患者の安全な取り扱い手技等の、検証された人間工学的なデータの外部公開された計量が挙げられる。いくつかの実施形態において、関節経路および／または器具経路は、経時的な位置の測定を含むことができる。本システムは、次いで、ユーザからのパスがどのくらい頻繁に専門家化からの経路と合致したのかを決定するために、ユーザから関節経路および／または器具経路の勾配を比較することができる。

図６は、本開示のある実施形態に従う、手技が行われている間にシステムが取得するセンサデータの実施例を例示する。図６で例示されるように、例示的なセンサデータ６００は、身体位置データを含むことができる。例えば、本システムは、ユーザの頭部６０２、肩中央６０４ａ、右肩６０４ｂ、または左肩６０４ｃの位置または運動を取得することができる。身体位置を表す能力データのさらなる例は、ユーザの脊椎６１４、臀部中央６０６ａ、右臀部６０６ｂ、または左臀部６０６ｃの位置または運動を取得することを含むことができる。能力データの追加的な例は、ユーザの右手６０８ａもしくは左手６０８ｂ、右手首６１０ａもしくは左手首６１０ｂ、または右肘６１２ａもしくは左肘６１２ｂの位置または運動を取得することを含むことができる。身体位置を表す能力データのさらなる例は、ユーザの右肘６１６ａもしくは左膝６１６ｂ、右足首６１８ａもしくは左足首６１８ｂ、または右足６２０ａもしくは左足６２０ｂの位置または運動を取得することを含むことができる。いくつかの実施例において、本システムは、運動感応性カメラと関連付けられるソフトウェア開発キット（ＳＤＫ）、アプリケーションプログラミングインターフェース（ＡＰＩ）、またはソフトウェアライブラリを使用して、センサデータを取り出すことができる。いくつかの実施形態において、運動感応性カメラは、ユーザが立っている間に２０個の関節を捕捉すること、およびユーザが座っている間に１０個の関節を捕捉することが可能である。

[0035]
図７は、本開示のある実施形態に従う、手技が行われている間にシステムが決定する能力データの実施例を例示する。能力データは、運動感応性カメラからのセンサデータに基づいて、ユーザの能力を測定する。いくつかの実施形態において、能力データとしては、身体追跡能力データ７０２、指関節運動能力データ７０６、物体認識能力データ７１０、およびゾーン検証能力データ７１２が挙げられる。身体追跡能力データ７０２は、ユーザが、本システムから改善された運動精度７０４を学習することを可能にする。指関節運動能力データ７０６は、ユーザが、本システムから改善された配置精度７０８を学習することを可能にする。ゾーン検証能力データ７１２は、ユーザが、完了するまでの予想時間７１４を少なくすることを可能にする。図２Ｂと関連して上で説明されるように、いくつかの実施形態において、ゾーン認識は、本システムが、ユーザの関節および／または用具の場所の大まかなレベルを決定するための、全般的ゾーンを認識することを可能にする。ゾーン認識は、本システムが、ユーザの手および／または用具が概ね正しい領域に位置しているかどうかを評価することを可能にする。いくつかの実施形態において、色認識は、本システムが、同じように色付けされた領域間で空間的態様を協調させることを可能にする。例えば、本システムは、器具の黄色い端部が黄色に色付けされたマネキンの顎の近くにあるかどうかを判定することができる。

能力データのさらなる例としては、（ｘ，ｙ，ｚ）座標の骨格位置、（ｘ，ｙ，ｚ）座標の骨格の関節位置、（ｘ，ｙ）座標の色位置、（ｘ，ｙ，ｚ）座標の奥行を有する色位置、ゾーン検証、ゾーン内の時間、ステージもしくはセグメントを完了するまでの時間、複数のステージもしくはセグメントを含むレッスンもしくは訓練モジュールを完了するまでの時間、インストラクターによって設定される要件を満たすまでの時間、および／または種々の経路が挙げられる。ゾーン検証は、指定された２Ｄおよび／または３Ｄ空間内の位置を指すことができる。限定的でない例示的な経路としては、持続的な色位置経路、骨格位置経路、および骨格関節経路が挙げられる。持続的な色位置経路は、物理的空間内から、経時的に予め定義された色に関する画素の量を追跡することによって作成される経路を指す。持続的な色位置経路は、精度ゾーン、進入角、印加される力、用具の取り扱いに関する実行順序、および物理的環境内の他の画定された物体および用具に対する相対的な運動の比較における用具自体の識別との相互作用を決定することができる。骨格位置経路および骨格関節経路は、ステージ毎に経時的に追跡されるユーザの身体力学、および現在のステージおよび手技の更新精度の検証を決定するために作成される経路を指す。

実験を通して、運動感応性カメラからのセンサデータは、運動補足過程中に常にユーザに正確にマップする能力において、ランダムな不定性を含むことが分かった。本システムは、センサデータを精緻化して、この不定性を多少なりとも解消することが可能である。例えば、本システムは、（一貫した関節間の測定を保ちながら、その場でのジャンプまたは振動から関節をロックするための）センサデータからの関節の関節平均化、（後で説明される、閉塞時に）センサデータからの関節の関節間距離のロック、訓練シナリオに関連しないセンサデータからの関節を無視すること、および（センサデータからのユーザの骨格が、運動感応性カメラへの視線内で他の人にジャンプすることを回避するための）「粘着性の骨格」によって、センサデータに基づいて、能力データを決定することができる。関節平均化は、センサデータのフレーム毎に、ユーザの以前に測定された関節位置をユーザの現在の位置と比較することを指す。関節間距離のロックは、（例えば、初期較正中に）隣接する関節間の距離を決定することを指す。ユーザの視界が後で不明瞭になった場合、本システムは、従来の運動監視カメラよりもはるかに正確にユーザを追跡するために、以前に決定された距離を使用することができる。関節を無視することは、関節間距離のロックの比較ができない関節の場所を推定することに基づいて、関節が「無効」であると判定すること、関節平均化中に、運動感知カメラからのセンサデータから受け取った関節の位置が、極端に異常値であると判定すること、以前の構成に基づいて、関節が現在のステージもしくはセグメント、または手技に対して重要でないと判定すること、または関節が別のユーザの仮想骨格に属している場合を指す。粘着性の骨格は、追跡されないまたは訓練セッションに参加していない、運動感知カメラの視野の中の他のユーザに基づく干渉を最小にするために、手技の全体を通して選択されたユーザまたは１組のユーザの仮想骨格にラッチングすることを指す。

[0036]
センサデータに基づいて能力データを決定する他の限定的でない例は、精度ゾーンを決定すること７１２（そして、完了までの時間を測定すること７１４）、指関節運動を決定すること７０６（そして、複雑な指配置／移動を測定すること７０８）、および／または色を追跡／物体を認識すること７１０（そして、訓練シナリオで使用される用具、器具、またはプロプを識別し、追跡すること）を含む。ゾーン精度の決定７１２および色追跡／物体認識７１０は、上で説明した通りである。本システムは、色ブロブの検出、ユーザの皮膚色の色追跡に重点を置くこと、および結果として生じるデータのエッジ検出に基づいて、指関節運動を決定する。本システムは、センサデータに基づいて決定される手首関節からの三角測量を使用することによって、ユーザの手の中心点を見つけ出す。本システムは、次いで、共通の配置を使用して、その三角測量したベクタの結果に基づいて指の場所および関節の作成を決定し、各指のエッジ検出によってさらに検証される。このエッジ検出方法に基づいて、また、上で説明されるような正確な奥行情報を含むことによって、本システムは、仮想セグメントとして手をモデル化することによって、各指の関節運動を明確に決定することができ、該仮想セグメントは、次いで、以前に生じた手関節の移動に対してロックされる。いくつかの実施形態において、本システムは、ユーザの手をモデル化するために、２７個のセグメントを使用する。次いで、ロックされた仮想セグメントおよび手関節の能力データを利用して、一連の簡潔なフレームを通じて手の関節運動を追跡する。

いくつかの実施形態において、色追跡７１０はまた、精度ゾーンとの相互作用を識別し、そして、随意の用具を用いるユーザの運動データを収集して、ユーザインターフェースに表示するための視覚的ベクタ線に基づく経路を作成する正確な方法を提供する。例えば、本システムは、ユーザまたは管理者が、得られたユーザの経路と画定された熟達経路との比較解析を行うことを可能にするために、後で、３Ｄ結果パネルに、視覚的ベクタ線に基づく経路を表示することができる（図１５で示す）。

いくつかの実施形態において、本システムは、センチメートル、ミリメートル、またはナノメートルの精度で能力データを決定することが可能である。好都合なことに、本システムは、運動感知カメラからセンサデータにアクセスするための標準ソフトウェアライブラリ、ソフトウェア開発キット（ＳＤＫ）、またはアプリケーションプログラミングインターフェース（ＡＰＩ）を通して利用可能な測定値よりも、大幅に改善された精度、例えばミリメートルの精度で、能力データを決定することが可能である。運動感知カメラから受け取るセンサデータを使用した能力データの決定は、図７と関連して、後でより詳細に説明される。

[0037]
いくつかの実施形態において、本システムは、ユーザの一部分だけしか運動感応性カメラに見えないときに、ユーザの移動のモニターリングに基づいて能力データを決定し、出力結果を表示することが可能である。例えば、ユーザがマネキンおよび手術台の後ろに立っている場合、運動感応性カメラは、おそらくユーザの身体の上部分だけしか見ることができない。従来の運動感応性カメラシステムとは異なり、本システムは、部分ビューを補償し、ユーザにフィードバックを提供することが可能である。例えば、本システムは、不明瞭であるときに、他の以前に収集されたユーザ較正データを使用して、関節を適所にロックすることができる。本システムは、既にユーザの身体を測定し、および関節を所定の領域に割り当てているので、それらの予め測定された領域間の測定は、本システムにおいて「ロックされる」か、または一定である。したがって、関節が不明瞭な状態で手足がある角度に向けられた場合、不明瞭な関節が再度見えるようになるまで、初期関節測定への参照が取り出され、見える関節に適用され、そしてそこにロックされる。例えば、本システムは、角度だけを変えることができ、長さは変えることができない２つの物体（Ａ、Ｂ）間の距離（Ｃ）を知っている場合がある。物体（Ａ）が不明瞭になった場合、本システムは、不明瞭な物体（Ａ）の位置が、不変の長さ（Ｃ）で見える物体（Ｂ）の角度に関連すると断定することができる。

運動監視カメラから受け取るセンサデータに基づいて決定される身体位置を表す追加的な能力データとしては、身長、体重、骨格サイズ、シミュレーションデバイスの場所、およびユーザの頭部までの距離が挙げられる。シミュレーションデバイス場所の例としては、挿管を含む手技を訓練する等のための、マネキンの頭部の場所が挙げられる。さらなる実施形態において、本システムは、既に決定された能力データに基づいて、追加的な能力データを決定することができる。例えば、本システムは、（ユーザの身長＝シミュレーションデバイスの場所＋ユーザの頭部までの距離）として、ユーザの身長の能力データを決定することができ、ここで、シミュレーションデバイスの場所およびユーザの頭部までの距離は、上で説明されるように既に決定された能力データを表す。本システムはまた、（骨格サイズ＝（左肩−肩中央）＋（右肩−肩中央））として、ユーザの骨格サイズを決定することもでき、ここで、左肩、肩中央、および右肩は、上で説明されるように既に決定された能力データを表す。同様に、本システムはまた、（ユーザの体重＝骨格サイズ＋身長）として、ユーザの体重の能力データを決定することもでき、ここで、骨格サイズおよび身長は、上で説明されるように既に決定された能力データを表す。いくつかの実施形態において、本システムは、運動感知カメラから受け取るセンサデータに基づいて、センチメートル、ミリメートル、またはナノメートルの精度で能力データを決定することが可能である。

いくつかの実施形態において、能力データは、奥行の測定を含むことができる。本システムは、従来の運動感知カメラシステムよりもかなり正確な奥行（すなわち、ｚ座標）の測定を提供することが可能である。本システムは、以下の過程に従って奥行を含む能力データの測定を改善するので、この改善された精度が達成される。本システムは、所望の物体の（ｘ，ｙ）座標を決定するために、色追跡を使用する。例えば、本システムは、カラーフレーム画像を含む、運動感知カメラから受け取るセンサデータを使用することができる。本システムは、カラーフレーム画像の中の各画素を通して、色相、色度、および彩度値の収集するために反復する。収集された値を使用して、本システムは、同じように色付けされた領域またはブロブを決定する。本システムは、所望の物体の（ｘ，ｙ）座標として、最も大きい領域の中心を使用する。本システムは、次いで、運動感知カメラから、カラーフレーム画像に対応する奥行フレーム画像を含む、センサデータを受け取る。本システムは、奥行フレーム画像をカラーフレーム画像にマップするかまたは合わせる。本システムは、次いで、カラーフレーム画像からの所望の物体の（ｘ，ｙ）座標に対応する、奥行フレーム画像からのｚ座標を取り出すことによって、所望のｚ座標を決定することが可能である。

いくつかの実施形態において、能力データはまた、物理的測定も含むことができる。例えば、本システムは、関連する器具の運動、速さ、速度、加速度、力、進入角、または回転角等の、能力データを決定することができる。いくつかの実施形態において、能力データは、シミュレーション訓練デバイスに関連する測定値を含むことができる。例えば、本システムは、挿管手技中に種々のハンドヘルド器具によってマネキンに印加される力を間接的に決定することができる。本システムは、挿管手技中にシミュレーションマネキンの口をこじあけるためのハンドヘルドデバイスに印加される力の量を決定するために、能力データを測定することが可能である。ユーザの印加する力が大き過ぎる場合、本システムは、ユーザが手技を行っているときにリアルタイムで、または手技の完了時点で、ユーザに警告することができる。

[0038]
図８は、本開示のある実施形態に従う、複数のユーザを追跡する実施例を例示する。本システムは、複数のユーザ８０４の構成を可能にする。複数のユーザについて追跡される能力データ８０２の例としては、身体位置の能力データ、および／または図７と関連して上で説明される任意の能力データが挙げられる。例えば、本システムは、ストレッチャー上の患者の複数の端部を担持することによって患者の安全な取り扱い手技を行うために、協調した行動で同時に作業する２人のユーザを監視することができる。患者の安全な取り扱いを確実にするためには、全ての職員の協調した行動が必要である。本システムはまた、特定の訓練モジュールについて６人のユーザまで検出すること、およびシナリオに応じてデフォルトモードと近接モードとを切り替えることも可能である。デフォルトモードは、ユーザが最初に近接モードで較正されたときに、１つのシーン内で２人のユーザの骨格を追跡することを指す。近接モードは、運動感知カメラによって行うことができる従来の２人ユーザ較正を指す。上で説明されるように、本システムは、ユーザの物理的空間を、ユーザが訓練演習の特定の部分中であると予想される奥行に基づく精度ゾーンに分割する能力を含む。本システムはまた、骨格の追跡を物理空間内の任意の位置の任意のユーザに切り替える「粘着性の骨格」能力に基づいて、能力データも決定することができる。「粘着性の骨格」能力は、初期の較正されたユーザから画面に最も近い任意のユーザに切り替えるための、運動感知カメラの従来の能力を改善する。

[0039]
本システムは、上で説明される能力データに基づいて、手技の能力計量を決定する。いくつかの実施形態において、本システムは、能力データを能力モデルと比較する。能力モデルは、専門家による能力を測定することができる（図５Ａ〜５Ｂで示す）。例えば、比較は、能力データと比較したときの、能力モデルからの偏差を決定することに基づくことができる。偏差の例としては、能力モデルと比較した垂直位置からの偏差、能力モデルと比較した水平位置からの偏差、能力モデルと比較した器具の進入角または回転角からの偏差、または能力モデルと比較した関節の距離からの偏差が挙げられる。いくつかの実施形態において、本システムは、各偏差測定値をともに乗算することによって、能力計量を決定することができる。当然、本システムは、偏差測定値を加算すること、偏差測定値を平均すること、または偏差測定値の加重平均をとることを含む、数多くの方法で偏差測定値を組み合わせ得る。

[0040]
本システムは、能力計量を以下のように決定する。上で説明されるように、本システムは、運動感受性カメラから収集され、記録されるセンサデータに基づいて、ユーザの能力データを決定する。本システムは、精度を決定するために、能力データを評価することによって、能力計量を決定する。これらの能力計量としては、用具の取り扱いに関連するユーザの実行順序を評価すること、ユーザの静的な物体との相互作用を評価すること、ユーザの３Ｄ精度ゾーンの交差を評価すること、および終了状態等のユーザの関節配置の状態を評価することが挙げられる。さらに、本システムは、ステージ毎のユーザの終了状態間の中間データを追跡することに基づいて、能力計量を決定することができる。例えば、本システムは、色追跡される用具のユーザの進入角および選択された関節に基づく身体力学を評価すること、指定変数（色、物体、または関節）により、ステージの開始から終了までのユーザの運動のベクタ経路を評価すること、３Ｄ「ステージ終了状態」ゾーンとの相互作用により、あるステージから別のステージへの完了までの時間を評価すること、一定の期間保持される位置を画定するが、終了状態ゾーンに到達する前に考慮される能力変数としてだけ使用される、複数の精度ゾーンとの相互作用を評価すること、（患者の安全な取り扱いを含む、協調した機能的手技等における）グループの中のユーザの経時的な物理的場所を評価すること、ユーザ間（個々の、ユーザ対ユーザ）の口頭による対話を評価すること、グループの中のユーザ間の用具または静的な物体の相互作用を評価すること、および各ユーザの完了までの時間および訓練演習全体に要する時間を評価することを含む、能力計量を決定することができる。

能力計量に基づいて、本システムは、ユーザが手技を行っている間か、またはユーザが手技を行い終わった後に、ユーザに不適当な移動を警告する等の結果を出力し得る。不適当な移動の例としては、ユーザの行動が早過ぎる、遅過ぎる、適切な角度ではない等が挙げられる。好都合なことに、本システムの改善された精度は、従来の方法によるものよりも頻繁に、よく見られる誤りを検出することを可能にする。例えば、従来の方法を使用すると、評価者が、２、３ミリメートル外れている正しくない移動に気付かない場合がある。その改善された精度により、本システムは、そのような不適当な移動を検出し、補正することが可能である。

例示的なユーザのＡＩＭＳとの対話

図９は、本開示のある実施形態に従う、システムが手技の能力を評価するために行う方法９００の実施例を例示する。本システムは、ユーザアカウント、インストラクターアカウント、および管理者アカウント等の、複数のアカウントタイプをサポートする。当然、本システムは、より多くのまたはより少ないタイプのアカウントもサポートし得る。

ユーザアカウントについて、本システムは、最初に、ユーザからログインを受け取る（ステップ９０４）。いくつかの実施形態において、ログインは、セキュアソケットレイヤー（ＳＳＬ）等の安全な接続を使用して、ユーザ名およびパスワードを伝送することを含むことができる。さらなる実施形態では、ソルティング（ｓａｌｔｉｎｇ）および一方向ハッシュを行うことによって、パスワードをさらに安全にすることができる。本システムは、ＡＩＭＳダッシュボードを表示する（ステップ９０６）。本システムは、メニューから、訓練モジュールのユーザ選択を受け取る（ステップ９０８）。例示的なモジュールとしては、直接喉頭鏡検査による気管内挿管、患者の安全な持ち上げ、またはユーザによる手技の能力を評価する任意の他の訓練モジュールが挙げられる。訓練モジュールのユーザ選択を受け取った後に、本システムは、ユーザが、練習を選択すること（ステップ９１０）、試験を受けること（ステップ９２４）、以前の結果を閲覧すること（ステップ９２８）、またはメッセージを閲覧し、送信すること（ステップ９３０）を可能にする。

ユーザが練習を選択した場合（ステップ９１０）、本システムは、較正から始める（ステップ９１２）。随意に、ユーザは、手技のチュートリアルを見ることを選択することができる（ステップ９３２）。上で説明されるように、較正は、ユーザが、ディスプレイ上の指示に従って、本システムが手技の能力を評価するように準備することを可能にする。例えば、本システムは、ある指示に応じて、ユーザの寸法および運動範囲を決定することができる。

[0041]
本システムは、手技を行っているユーザを監視する（ステップ９１４）。いくつかの実施形態において、本システムは、手技をセグメントに分割することができる。各セグメントは、どのように動作を行うべきかを示す図または他の描写を含むことによって、ユーザを支援することができる。例えば、訓練セッションの開始時に、本システムは、医療デバイスを持ち上げているユーザの画像および／またはユーザに医療デバイスを持ち上げるように指示するテキストを表示し得る。当然、本システムは、可聴指示も提供し得る。ユーザが各セグメントまたはステージを行うときに、本システムは、ユーザの対話を表す能力データを取得する。能力データは、ユーザが各セグメントまたはステージを行った速度および／または精度を表すことができる。図２を参照して、ステージ１〜１０に対する例示的なフィードバックが、マネキンに対するユーザの進入角に関して示される。

[0042]
監視は、運動感知カメラから受け取るセンサデータに基づいて能力データを取得することを含む（図６および図７で示す）。本システムは、手技の能力計量を決定する（ステップ９１６）。上で説明されるように、本システムは、クラウドに基づくシステムに能力の決定をオフロードすることができる。いくつかの実施形態において、クラウドに基づくシステムは、医療保険の相互運用性および説明責任法（ＨＩＰＡＡ）、経済的および臨床的健全性のための医療情報技術（ＨＩＴＥＣＨ）法、および／または家庭教育の権利およびプライバシーに関する法（ＦＥＲＰＡ）等の、法的要件を満たすサービス実装としてのソフトウェア（ＳａａＳ）とすることができる。本システムは、以前に取得された能力データに基づいて、能力計量を決定する。いくつかの実施形態において、本システムは、能力データを能力モデルと比較する。能力モデルは、専門家による能力を測定することができる（図５Ａ〜５Ｂで示す）。例えば、比較は、能力データと比較して、能力モデルからの偏差を決定することに基づくことができる。偏差の例としては、能力モデルと比較した垂直位置からの偏差、能力モデルと比較した水平位置からの偏差、能力モデルと比較した器具の進入角または回転角からの偏差、または能力モデルと比較した関節の距離からの偏差が挙げられる。いくつかの実施形態において、本システムは、各偏差測定値をともに乗算することによって、能力計量を決定することができる。当然、本システムは、偏差測定値を加算すること、偏差測定値を平均すること、または偏差測定値の加重平均をとることを含む、数多くの方法で偏差測定値を組み合わせ得る。

ユーザが手技を行っているときに、本システムは、練習セッションの結果を出力する（ステップ９１８）。本システムは、フィードバックループ等においてユーザが手技を行っている間に、またはユーザが手技を完了した後等に、結果を出力することができる。いくつかの実施形態において、本システムは、３Ｄパネル上へ結果を出力するか、または別様にはディスプレイ上に３Ｄビューを提供することができる（ステップ９２０）。３Ｄパネルまたはディスプレイ上の３Ｄ描写は、対話型ビューアを提供して、ユーザが、手技の再生セグメントを実質的に３６０°ビューで回転させることを可能にする。上で説明されるように、いくつかの実施形態において、出力結果はまた、訓練演習が試行された日付、およびセグメントもしくはステージ毎に達成されたスキル熟達または能力計量を反映するデータチャートも含むことができる。いくつかの実施形態において、出力結果はまた、以前の訓練演習のセグメントまたはステージ精度、および以前の訓練演習の完了までの時間を表示する、線グラフも含むことができる。さらなる実施形態において、線グラフは、経時的な進捗、および経時的なスキル熟達全体のヒストグラムを含むことができる。いくつかの実施形態において、本システムは、３Ｄレビューの正確さを改善するために、複数の運動感知カメラからのセンサデータを活用することができる。

いくつかの実施形態において、本システムは、ユーザが手技を行っている間に、関連するゾーンを表示することによって結果を出力する。例えば、本システムは、さらなるガイダンスをユーザに提供するために、ユーザが手技を行っているときに、色付けされたオーバーレイにゾーンを表示することができる。

[0043]
最後に、本システムは、訓練モジュールを再試行する、または終了するためのユーザ選択を受け取ることができる（ステップ９２２）。いくつかの実施形態において、本システムは、訓練シミュレーションを再試行する、または終了するために、結果を提出することをユーザに要求することができる。その機能が完了し、ユーザが終了すると、本システムは、「結果」ページを表示することができる（図１４Ａ〜１４Ｂで示す）。「結果」ページは、手技熟達を達成するまでのユーザの向上を観察するために、ユーザが、経時的にユーザの能力データをレビューすることを可能にする。いくつかの実施形態において、ユーザがタスク訓練演習または手技を完了すると、ユーザは、多数のグラフィカル表現でユーザの結果を閲覧することができる。例示的なグラフィカル表現としては、ゾーンオーバーレイを伴う２Ｄパネル、「ユーザのとった経路」対「熟達経路」のベジェ曲線を伴う３Ｄパネル、各ステージの詳細なフィードバック、仮想アシスタント介したユーザ能力の概要、およびタスク訓練演習または手技の各ステージまたはセグメントの成功率を示す棒グラフ等のグラフが挙げられる。

ユーザが試験を受けることを選択した場合（ステップ９２４）、本システムは、能力計量に基づく各セグメントの組み合わせたスコアおよび／またはそれぞれのスコア等の結果を決定し、出力することができる。ユーザは、試験の結果を提出することを選択することができる（ステップ９２６）。いくつかの実施形態において、試験結果は、集約して、スコアボード上に表示することができる。例えば、ランキングは、施設および／または国に基づくことができる。例示的な施設としては、病院および／または医学校が挙げられる。ランキングはまた、手技毎におよび／または施設毎の総合スコアを介して決定することもできる。

本システムはまた、ユーザが、以前の結果を閲覧すること（ステップ９２８）、ならびに／またはメッセージを閲覧および／もしくは送信すること（ステップ９３０）も可能にする。本システムは、ユーザが、選択したセグメントまで巻き戻すことによって以前の結果を閲覧すること、およびユーザがミスをした場所を確認するために、行った手技を見ることを可能にすることを可能にする。本システムは、ユーザが、メッセージを閲覧すること、および／または他のユーザに、または管理者に送信することを可能にする。本システムは、インストラクターまたは管理者が、メッセージで、生徒にフィードバックを提供し、また、生徒からフィードバックを受け取ることを可能にする。

[0044]
図１０Ａ〜１０Ｂは、本開示のある実施形態に従う、システムと対話するためのユーザインターフェース１０００の例示的なスクリーンショットを例示する。図１０Ａで例示されるように、ユーザインターフェース１０００は、ユーザ１００２と、仮想アシスタントとを含むことができる。いくつかの実施形態において、仮想アシスタントは、自動インテリジェント指導インストラクター（ＡＩＭＩ）と称することができる。仮想アシスタントは、メニューナビゲーションによって支援することができ、また、利用可能な教育ビデオによって適用可能な訓練演習または訓練モジュールをサポートすることができる。仮想アシスタントは、ユーザがインターフェースを通してナビゲートするのを補助し、フィードバックを提供し、また、ヘルパービデオを示すことができる。いくつかの実施形態において、フィードバックは、能力データおよび能力計量、ならびに／または訓練シミュレーションが完了したときの概要解析に基づいて、訓練中に与えられる即時的なフィードバックを含むことができる。例えば、ユーザ１００２は、「ＡＩＭＩ・・・ＩＶ開始の練習セッションを起動する。」等の指示１００４を話すことができる。仮想アシスタントは、静注（ＩＶ）開始手技のための訓練演習および／または訓練モジュールをロードすることができる。仮想アシスタントは、「ＩＶ開始のための練習セッションを初期化する」等の応答１００６によって、ユーザ１００２からのコマンドの受け取りを確認することができる。

図１０Ｂで例示されるように、例示的なユーザインターフェース１０１６は、音声コマンド１００８、１０１０と、音声応答１０１２、１０１４とを含むことができる。当然、上で説明されるように、コマンドおよび応答は、視覚的入力および出力としても実装することができる。例えば、ユーザは、「ＡＩＭＩ・・・ヘルプ！」等のコマンド１００８を話すことができる。本システムの仮想アシスタントは、「ＡＩＭＩは、ユーザが課題を有するステージを言葉で説明する。」等の応答１０１２を提供することができる。同様に、ユーザは、「ＡＩＭＩ・・・ビデオ！」等のコマンド１０１０を話すことができる。本システムは、「ビデオファイルにアクセスする。」等の応答１０１４を提供することができる。本システムは、次いで、現在の手技のステージまたはセグメントのモデルまたは予想される能力をデモンストレーションするビデオファイルのディスプレイ上での再生に進むことができる。

図１１は、本開示のある実施形態に従う、システムを較正するためのユーザインターフェースの例示的なスクリーンショットを例示する。例えば、ユーザインターフェースは、リアルタイムビデオフィード１１０２と、対応するアバター１１０４とを含むことができる。いくつかの実施形態において、本システムは、種々のデバイスまたはタスクトレーナーから能力データを取得する前に較正することができる。例えば、本システムは、運動感知カメラの間で特定のモデルブランドまたはモデルバリエーションを補償するように較正することができる。

例えば、本システムは、リアルタイムビデオフィード１１０２で示され、アバター１１０４で反映されるように、ユーザに手を上げるように指示することができる。本システムは、ユーザの寸法および測定値を決定するために、ユーザの周りにワイヤーフレームを決定することができる。図７と関連して上で説明されるように、ユーザの身長および平均体重を推定するために、骨格フレームの測定値等の能力データを使用することができる。これらの測定値は、訓練演習の期間を通じて、運動の範囲および印加された力を算出するために使用することができる。いくつかの実施形態において、全ての算出値は、訓練モデルの予め定義されたゾーンに対してミリメートルで測定される。訓練モデルの予め定義されたゾーンは、初期較正時に、（ｘ＝０，ｙ＝０，ｚ＝０）に設定することができる。図１０で例示されるように、いくつかの実施形態では、訓練者、ユーザ、または生徒の正しい骨格フレームの測定値を取得するために、任意のシミュレーション訓練デバイスの前で較正を直接行うことができる。

[0045]
図１２は、本開示のある実施形態に従う、生徒のプロファイルを表示するためのユーザインターフェース１２００の例示的なスクリーンショットを例示する。例えば、ユーザインターフェース１２００は、種々の曜日にわたる生徒の能力の棒グラフ１２０２を含むことができる。棒グラフ１２０２は、生徒が行ったワークアウト数、生徒が本システムを使用した期間、および本システムを使用している間に生徒が消費したカロリー数等の結果を出力することができる。

[0046]
図１３は、本開示のある実施形態に従う、訓練モジュールを選択するためのユーザインターフェース１３００の例示的なスクリーンショットを例示する。例えば、ユーザインターフェース１３００は、手技のリスト１３０２を含むことができる。リスト１３０２に例示されるように、本システムは、手技、患者の安全な取り扱い、および仮想患者に関する生徒またはユーザの訓練をサポートする。ユーザが手技に関する訓練を選択した場合、ユーザインターフェースは、気道、感染症制御、チューブおよびドレイン、静脈内（ＩＶ）療法、産科、新生児、小児、および／または標本収集等の、手技カテゴリを表示することができる。ユーザが気道手技カテゴリを選択した場合、ユーザインターフェースは、バッグ−マスク換気、喉頭マスク気道挿入、コンビチューブなどの盲目気道挿入、鼻咽頭気道挿入、および／または気管内挿管等の、利用可能な訓練モジュールまたは手技を表示することができる。各手技について、ユーザは、手技を実践すること、または手技を行う試験を受けることを選択することができる。

[0047]
図１４Ａ〜１４Ｂは、本開示のある実施形態に従う、個々のユーザの結果をレビューするためのユーザインターフェースの例示的なスクリーンショットを例示する。図１４Ａで例示されるように、ユーザインターフェース１４００は、手技または訓練モジュールのステージまたはセグメント毎のユーザのスコアの棒グラフ１４０２、およびユーザの以前の能力の結果ビューを含むことができる。結果ビューは、以前に記録されたユーザのビデオフィードを含むことができる。上で説明されるように、いくつかの実施形態において、「結果」ページは、手技熟達を達成するまでのユーザの向上を観察するために、ユーザが、経時的にユーザの能力データをレビューすることを可能にする。ユーザがタスク訓練演習または手技を完了すると、ユーザは、多数のグラフィカル表現でユーザの結果を閲覧することができる。例示的なグラフィカル表現としては、ゾーンオーバーレイを伴う２Ｄパネル、「ユーザのとった経路」対「熟達経路」のベジェ曲線を伴う３Ｄパネル、各ステージの詳細なフィードバック、仮想アシスタント介したユーザ能力の概要、およびタスク訓練演習または手技の各ステージまたはセグメントの成功率を示す棒グラフ等のグラフが挙げられる。例えば、２Ｄ／３Ｄボタン１４０４は、ユーザが、２Ｄ結果ビューと３Ｄ結果ビューの間でトグルすることを可能にする。

図１４Ｂで例示されるように、限定的でない例示的なユーザインターフェース１４１２は、手技のあるステージまたはセグメントに対する考慮点をユーザに指示する、フィードバックパネル１４０６を含むことができる。例えば、フィードバックパネル１４０６は、「患者に加重し過ぎないために、声帯を見ている間の肩の位置付けに注意すること。」、または「必ず患者の頭部の下で患者を支持すること。」等の、フィードバックを含むことができる。ユーザインターフェース１４１２はまた、手技の全てのステージを通した熟達または進捗の棒グラフ１４０８も含むことができる。例えば、棒グラフは、ステージ時間、身体力学、および用具の精度を含む、能力計量を示すことができる。ユーザインターフェース１４１２はまた、以前に評価した精度ゾーンを含む、リアルタイムビデオフィード１４１０も表示することができる。

例示的な管理者のＡＩＭＳとの対話

上で説明されるように、本システムは、ユーザアカウントに加えて、管理者アカウントもサポートする。図９を参照して、本システムは、管理者から、ログインを受け取ることができる（ステップ９０２）。本システムは、管理者が、手技または訓練モジュールを試行したユーザの以前の結果を閲覧することを可能にする（ステップ９３４）。例えば、管理者は、いくつかのクラス、単一のクラス、種々のクラスから選択した生徒群、または単一の生徒のグラフィカルな分析データをレビューすることができる。管理者は、生徒の進捗に従って、対処が必要な問題領域を見極めることができる。本システムはまた、管理者が、ユーザまたは他の管理者からのメッセージを閲覧し、および／またはメッセージを送信することも可能にする（ステップ９３６）。本システムは、例えば管理者および／またはインストラクターがユーザまたは生徒からフィードバックのオーバフローを受け取ることを回避することを好む場合、管理者が、応答機能を無効にすることを可能にする。

ユーザが試験を完了した後に、本システムは、管理者が、試験基準を画定することを可能にする（ステップ９３８）。本システムは、次いで、ユーザの能力に対して試験基準を適用する。本システムはまた、管理者が、ユーザからの以前の試験結果にアクセスすることも可能にする（ステップ９４０）。

図１５は、本開示のある実施形態に従う、手技に対するコーススナップショットの管理者ビューの例示的なユーザインターフェース１５００のスクリーンショットを例示する。例えば、ユーザインターフェース１５００は、参加者１５０２と、参加者のそれぞれの熟達スコアの視覚化１５０４とを含むことができる。管理者は、個々の熟達スコアを選択して、個々の参加者の概要を閲覧するために、ハンドカーソル１５０６または他のポインタを使用することができる。

図１６は、本開示のある実施形態に従う、手技に対する個々の参加者の概要の管理者ビューの例示的なユーザインターフェース１６００のスクリーンショットを例示する。例えば、ユーザインターフェース１６００は、個々の参加者の能力計量を示すことができる。限定的でない例示的な能力計量は、ユーザが手技（例えば、気道管理手技）を実践した試行回数のカウント１６０２を含むことができる。ユーザインターフェース１６００はまた、手技を実践するときのユーザの能力の視覚化１６０４を含む、能力計量も表示することができる。ユーザインターフェース１６００はまた、平均スコア１６０６（例えば、８２％）および誤り頻度解析１６０８を含む、能力計量も示すことができる。誤り頻度解析１６０８は、個々の参加者が最も頻繁に誤りを起こす（例えば、ステージ４、６、および９）、ステージまたはセグメントを示すことができる。ユーザインターフェース１６００はまた、個々の参加者の詳細ビューを閲覧するための詳細閲覧ボタン１６１０も含むことができる。

図１７は、本開示のある実施形態に従う、手技に対する個々の参加者の詳細ビューの管理者ビューの例示的なユーザインターフェース１７００のスクリーンショットを例示する。例えば、ユーザインターフェース１７００は、手技（例えば、気道管理手技）における個々の参加者の能力に関するより詳細な情報を示すことができる。ユーザインターフェースは、経時的な、例えば１日毎の、個々の参加者の結果の棒グラフ１７０２を含むことができる。管理者は、個々のイベントを選択して、選択したイベントの個々のイベント詳細に入るために、ハンドカーソル１７０４または他のポインタを使用することができる。

図１８は、本開示のある実施形態に従う、手技に対する個々のイベント詳細ビューの管理者ビューの例示的なユーザインターフェース１８００のスクリーンショットを例示する。例えば、ユーザインターフェース１８００は、個々の結果ペイン１４００の組み込みビューを含むことができる。

基準設定

[0048]
いくつかの実施形態において、本システムは、それぞれが手技を行う多数のユーザおよび／または主題専門家からの能力データを集約することによって、手技を行う標準的またはモデル的な方法を決定することができる。限定的でない例示的な能力データを決定する過程は、図４と関連して上で説明される。いくつかの実施形態において、本システムは、管理者が、主題専門家による能力の能力モデルを提供することに基づいて学習したデータまたは観察値を活用することを可能にする。例えば、能力モデルを提供するとき、本システムは、ほぼ全ての主題専門家が、例えば教科書で、因習的に教示または説明されている方法とは異なる方法で手技を行っていると判断し得る。いくつかの場合において、主題専門家または主題専門家グループは、５０度等の特定の角度で器具またはデバイスを取り扱う場合がある一方で、教科書は、その器具を４０度に保持すべきであると説明している場合がある。本システムは、予想外の発見およびその後の関連する基準の設定または修正を可能にする。同様に、本システムによって追跡される履歴データは、熟達を達成するために、学習者または生徒がどのくらい頻繁に手技の実践を繰り返す必要があるのかを決定すること、または関連する情報を保持するために、生徒がどのくらいの期間で練習間を進むことができるのかを決定すること等の、予想外の発見に対して活用することができる。

[0049]
他の実施形態において、本システムは、管理者が、「必須」または「不必須」として、セグメントまたは手技における移動を分類することを可能にすることができる。本システムは、個々の手技ステップおよび順序付けに必要な時間またはかかった時間を含む、リアルタイムの人間の能力のｘ、ｙ、ｚ絶対測定値を決定するその能力を活用すること、ならびに関連するセンサデータ、能力モデル、および手技スキルの目的評価を決定するための能力を適用することができる。本明細書で説明される能力および精度は、従来の方法を超える大幅な改善を表し、該従来の方法は、主に、本システムおよび方法から利用可能な客観的な測定値ではなく、主観的な評価基準および判断に依存する。従来の評価方法は、説明されるイベントの手順ステップ、技法、および順序付けの有効性に関して、多くの仮定を含む可能性がある。本システムによって提供される能力のリアルタイムの客観的な測定は、有意な情報、現在説明される手技を精緻化および改善するための洞察およびガイダンス、器具および用具の設計、ならびに手技の順序付けを提供することができる。例えば、本システムは、所与の臨床または手技の状況に対する最適な医療機器の使用の決定等の、基準を決定することを補助することができる（例えば、測定された進入角、患者、用具、およびデバイスの運動触覚操作、潜在的なデバイス設計の修正、または最適な手技の順序付けの検証）。本システムはさらに、必要とされる計画的な練習および／または繰り返しにおける時間のより良好な客観的測定を提供し得る。これらのより良好な客観的測定は、米国職業安全衛生管理局（ＯＳＨＡ）、国立労働安全衛生研究所（ＮＩＯＳＨ）、および病院認定合同委員会（ＪＣＡＨＯ）等の、認定団体、認可委員会、ならびに他の基準設定機関およびグループに、品質マーカーとして比較的必要とされるベンチマークを通知するのを補助し得る。

本システムおよび方法は、任意の手技スキルに適用することができる。限定的でない例示的な手技スキルとしては、随意のデバイスの使用を含む医学的手技、デバイスの使用を伴わない機能医学的手技、産業的手技、および／またはスポーツ手技が挙げられる。随意のデバイスの使用を含む医学的手技の限定的でない例としては、気道挿管、腰椎穿刺、静注開始、カテーテル挿入、気道シミュレーション、動脈の血液ガス、膀胱カテーテル挿入、切開および排液、外科的気道、注射、関節注射、経鼻胃チューブ配置、心電図導線配置、経膣分娩、創傷閉鎖、および／または静脈穿刺が挙げられる。デバイスの使用を伴わない機能医学的手技の限定的でない例としては、患者の安全な持ち上げおよび転送、ならびに／または理学および作業療法が挙げられる。産業的手技の限定的でない例としては、装置の組み立て、装置の較正、装置の修理、および／または装置の安全な取り扱いが挙げられる。スポーツ手技の限定的でない例としては、野球の打撃および／または投球、ゴルフのスイングおよび／またはパット、ならびにラケットボール、スカッシュ、および／もしくはテニスのサーブおよび／またはストロークが挙げられる。

Claims (20)

1. 手技の能力を評価するための、コンピュータにより実装される方法であって、
   手技の能力モデルを提供することであって、前記能力モデルは、前記手技の１つ以上の以前の能力に少なくとも部分的に基づく、提供することと、
   前記手技が行われている間に能力データを取得することであって、前記能力データは、１つ以上の運動感知デバイスから受け取るセンサデータに少なくとも部分的に基づく、取得することと、
   前記手技の能力計量を決定することであって、前記能力計量は、前記能力データを前記能力モデルと比較することによって決定される、決定することと、
   結果を出力することであって、前記結果は、前記能力計量に基づく、出力することと、を含む、方法。
2. 前記能力モデルを前記決定することは、前記手技の複数の能力による行動を監視することによって取得されるデータを集約することを含む、請求項１に記載の方法。
3. 前記能力データは、ユーザ移動を含み、
   前記１つ以上の運動感知デバイスから受け取る前記センサデータは、運動感知カメラから受け取るｘ、ｙ、およびｚ方向のうちの少なくとも１つにおける運動を含み、
   前記能力データを前記能力モデルと前記比較することは、前記能力モデルからの前記能力データの偏差を決定することを含む、請求項１に記載の方法。
4. 前記能力データを前記取得することは、シミュレーション訓練デバイスの位置に基づくセンサデータを受け取ることを含み、前記シミュレーション訓練デバイスは、医学的訓練マネキンを含む、請求項１に記載の方法。
5. 前記能力データを前記取得することは、２人以上の人々の間の関係に基づくセンサデータを受け取ることを含む、請求項１に記載の方法。
6. 前記能力データを前記取得することは、ユーザの下半身領域が不明瞭である間、前記ユーザの上半身領域に基づいてデータを決定することを含む、請求項１に記載の方法。
7. 前記手技は、直接喉頭鏡検査による気管内挿管、静注開始、膀胱カテーテル挿入、血液ガス測定のための動脈血採集、切開および排液、皮膚注射、関節吸引、関節注射、腰椎穿刺、経鼻胃チューブ配置、心電図導線配置、腱反射評価、経膣分娩、創傷閉鎖、静脈穿刺、患者の安全な持ち上げおよび転送、理学および作業療法、装置の組み立て、装置の較正、装置の修理、装置の安全な取り扱い、野球の打撃、野球の投球、ゴルフのスイング、ゴルフのパット、ラケットボールのストローク、スカッシュのストローク、およびテニスのストローク、のうちの少なくとも１つを含む、請求項１に記載の方法。
8. 手技の能力を評価するためのシステムであって、
   手技の能力を追跡するセンサデータを提供するための１つ以上の運動感知デバイスと、
   １つ以上のディスプレイと、
   記憶装置と、
   少なくとも１つのプロセッサであって、
   手技の能力モデルを提供するように構成され、前記能力モデルは、前記手技の１つ以上の以前の能力に少なくとも部分的に基づき、
   前記手技が行われている間に能力データを取得するように構成され、前記能力データは、前記１つ以上の運動感知デバイスから受け取る前記センサデータに少なくとも部分的に基づき、
   前記手技の能力計量を決定するように構成され、前記能力計量は、前記能力データを前記能力モデルと比較することによって決定され、また、
   前記ディスプレイに結果を出力するように構成され、前記結果は、前記能力計量に基づく、少なくとも１つのプロセッサと、を備える、システム。
9. 前記能力モデルを決定するように構成される前記少なくとも１つのプロセッサは、前記手技の複数の能力による行動を監視することによって取得されるデータを集約するように構成される前記少なくとも１つのプロセッサを含む、請求項８に記載のシステム。
10. 前記能力データは、ユーザ移動を含み、
    前記１つ以上の運動感知デバイスから受け取る前記センサデータは、運動感知カメラから受け取るｘ、ｙ、およびｚ方向のうちの少なくとも１つにおける運動を含み、
    前記能力データを前記能力モデルと比較するように構成される前記少なくとも１つのプロセッサは、前記能力モデルからの前記能力データの偏差を決定するように構成される前記少なくとも１つのプロセッサを含む、請求項８に記載のシステム。
11. 前記能力データを取得するように構成される前記少なくとも１つのプロセッサは、シミュレーション訓練デバイスの位置に基づくセンサデータを受け取るように構成される前記少なくとも１つのプロセッサを含み、前記シミュレーション訓練デバイスは、医学的訓練マネキンを含む、請求項８に記載のシステム。
12. 前記能力データを取得するように構成される前記少なくとも１つのプロセッサは、２人以上の人々の間の関係に基づくセンサデータを受け取るように構成される前記少なくとも１つのプロセッサを含む、請求項８に記載のシステム。
13. 前記能力データを取得するように構成される前記少なくとも１つのプロセッサは、ユーザの下半身領域が不明瞭である間、前記ユーザの上半身領域に基づいてデータを決定するように構成される前記少なくとも１つのプロセッサを含む、請求項８に記載のシステム。
14. 前記手技は、直接喉頭鏡検査による気管内挿管、静注開始、膀胱カテーテル挿入、血液ガス測定のための動脈血採集、切開および排液、皮膚注射、関節吸引、関節注射、腰椎穿刺、経鼻胃チューブ配置、心電図導線配置、腱反射評価、経膣分娩、創傷閉鎖、静脈穿刺、患者の安全な持ち上げおよび転送、理学および作業療法、装置の組み立て、装置の較正、装置の修理、装置の安全な取り扱い、野球の打撃、野球の投球、ゴルフのスイング、ゴルフのパット、ラケットボールのストローク、スカッシュのストローク、およびテニスのストローク、のうちの少なくとも１つを含む、請求項８に記載のシステム。
15. 手技の能力を評価するための非一時的なコンピュータプログラム製品であって、前記非一時的なコンピュータプログラム製品は、コンピュータ読み出し可能な媒体において実体的に具体化され、前記非一時的なコンピュータプログラム製品は、命令を含み、該命令は、データ処理装置に、
    手技の能力モデルを提供させるように動作可能であり、前記能力モデルは、前記手技の１つ以上の以前の能力に少なくとも部分的に基づき、
    前記手技が行われている間に能力データを取得させるように動作可能であり、前記能力データは、１つ以上の運動感知デバイスから受け取るセンサデータに少なくとも部分的に基づき、
    前記手技の能力計量を決定させるように動作可能であり、前記能力計量は、前記能力データを前記能力モデルと比較することによって決定され、また、
    結果を出力させるように動作可能であり、前記結果は、前記能力計量に基づく、非一時的なコンピュータプログラム製品。
16. 前記データ処理装置に前記能力モデルを決定させるように動作可能な前記命令は、前記データ処理装置に、前記手技の複数の能力による行動を監視することによって取得されるデータを集約させるように動作可能な命令を含む、請求項１５に記載の非一時的なコンピュータプログラム製品。
17. 前記能力データは、ユーザ移動を含み、
    前記１つ以上の運動感知デバイスから受け取る前記センサデータは、運動感知カメラから受け取るｘ、ｙ、およびｚ方向のうちの少なくとも１つにおける運動を含み、
    前記データ処理装置に前記能力データを前記能力モデルと比較させるように動作可能な前記命令は、前記データ処理装置に、前記能力モデルからの前記能力データの偏差を決定させるように動作可能な命令を含む、請求項１５に記載の非一時的なコンピュータプログラム製品。
18. 前記データ処理装置に前記能力データを取得させるように動作可能な前記命令は、（ｉ）前記データ処理装置に、シミュレーション訓練デバイスの位置に基づくセンサデータを受け取らせるように動作可能な命令であって、前記シミュレーション訓練デバイスは、医学的訓練マネキンを含む、命令、および（ｉｉ）前記データ処理装置に、２人以上の人々の間の関係に基づくセンサデータを受け取らせるように動作可能な命令、のうちの少なくとも１つを含む、請求項１５に記載の非一時的なコンピュータプログラム製品。
19. 前記データ処理装置に前記能力データを取得させるように動作可能な前記命令は、前記データ処理装置に、ユーザの下半身領域が不明瞭である間、前記ユーザの上半身領域に基づいてデータを決定させるように動作可能な命令を含む、請求項１５に記載の非一時的なコンピュータプログラム製品。
20. 前記手技は、直接喉頭鏡検査による気管内挿管、静注開始、膀胱カテーテル挿入、血液ガス測定のための動脈血採集、切開および排液、皮膚注射、関節吸引、関節注射、腰椎穿刺、経鼻胃チューブ配置、心電図導線配置、腱反射評価、経膣分娩、創傷閉鎖、静脈穿刺、患者の安全な持ち上げおよび転送、理学および作業療法、装置の組み立て、装置の較正、装置の修理、装置の安全な取り扱い、野球の打撃、野球の投球、ゴルフのスイング、ゴルフのパット、ラケットボールのストローク、スカッシュのストローク、およびテニスのストローク、のうちの少なくとも１つを含む、請求項１５に記載の非一時的なコンピュータプログラム製品。

Images