JP2020505686A - 手術室における予測ワークフローのための拡張現実 - Google Patents

Abstract

拡張現実システムは、ユーザに案内を提供するためのディスプレイを有する頭部装着可能拡張現実プラットフォーム１５２を備える。予測モジュール１１５は、手順においてトレーニングされ、現在の状態に基づいて手順における次のアクティビティを予測するように構成される。画像生成モジュール１４８は、予測モジュールに応答して、頭部装着可能拡張現実プラットフォームを通して、ユーザに、予測される次のアクティビティの視覚的合図を提供する。

Description

本開示は、拡張現実システム及び方法に関し、より詳細には、手術室環境におけるワークフローを改善するための、履歴及び選好に基づく挙動予測のためのシステム及び方法に関する。

ハイブリッド手術室（ＯＲ）及びカテーテル検査室（カテ室（ｃａｔｈｌａｂ））は、広い範囲のイメージングプロトコルをサポートする。これらのプロトコルの数及びタイプは、手順（ｐｒｏｃｅｄｕｒｅ）の各ステップのための正しいプロトコルを最適に見つけるには複雑であり得る。さらに、手順中に支援なしに新しいプロトコル、特徴、及びツールを導入することを試みるときに問題が起こる。

一例では、インターベンショナルＸ線スイートが、イメージングを最適化し、様々な画像フォーマットを獲得し、複雑なプロトコルを実施するための莫大な範囲の特徴及びツールを提供する。ユーザ対話が、一般に、イメージングモジュール、ジオメトリモジュール、ｘｐｅｒモジュール、及びレビューモジュールなど、モジュールを介して、並びに、キーボード、マウス、及び（データ及びレビューモニタなど）モニタを介した一般的なオンスクリーン対話を通して実施される。これらのモジュールのうちのいくつか（一般に、ジオメトリ、イメージング、及びｘｐｅｒモジュール）は、制御室内のサイドテーブルにも存在する。

拡張現実は、概して、ライブ画像ストリームが、追加のコンピュータ生成情報によって補われる状況を指す。ライブ画像ストリームは、カメラ、スマートフォン、タブレットなどを使用して提供され得る。この画像ストリームは、ユーザに対する表示によって拡張される。

本原理によれば、拡張現実システムが、ユーザに案内を提供するためのディスプレイを有する頭部装着可能拡張現実プラットフォームを備える。予測モジュールが、手順においてトレーニングされ、現在の状態に基づいて手順における次のアクティビティを予測するように構成される。画像生成モジュールが、予測モジュールに応答して、頭部装着可能拡張現実プラットフォームを通して、ユーザに、予測される次のアクティビティの視覚的合図を提供する。

別の拡張現実システムが、ユーザに案内を提供するためのディスプレイを有する頭部装着可能拡張現実プラットフォームを備える。１つ又は複数のモデルが、手順のアクティビティを記憶し、予測モジュールが、少なくとも１つの手順においてトレーニングされ、１つ又は複数のモデルと比較した現在の状態に基づいて少なくとも１つの手順における次のアクティビティを予測するように構成されて、現在のアクティビティに適合する最良のモデルを決定して、次のアクティビティを予測するか、又は少なくとも１つの手順におけるアクティビティのシーケンスを通してユーザを案内する。画像生成モジュールが、予測モジュールに応答して、頭部装着可能拡張現実プラットフォームのディスプレイを通して、ユーザに、予測される次のアクティビティの視覚的合図を提供する。

拡張現実システムにおける次のステップを予測するための方法が、頭部装着可能拡張現実プラットフォームを使用して、手順における現在の状態を表すデータを収集するステップと、現在の状態のデータと、過去のアクティビティのための記憶された履歴データとに基づいて、手順における次のアクティビティを予測するステップと、ユーザに、予測される次のアクティビティを示すために、頭部装着可能拡張現実プラットフォーム中のディスプレイ上に視覚的合図を生成するステップとを有する。

本開示のこれら及び他の目的、特徴及び利点は、添付の図面を参照して読まれ、本開示の例示的な実施形態の以下の詳細な説明から明らかになろう。

本開示は、以下の図を参照しながら、以下の好ましい実施形態の説明を詳細に提示する。

一実施形態による、アクティビティ予測又は案内を伴う拡張現実システムを示すブロック図／流れ図である。 別の実施形態による、例示的なトレーニング入力又は現在の状態入力を備える、別の拡張現実システムを示す別のブロック図／流れ図である。 一実施形態による、頭部装着ディスプレイを通した、及びシーケンスにおける次のアクティビティのための視覚的合図を示す、ビューを示す図である。 一実施形態による、頭部装着ディスプレイを通した、及びシーケンスにおける次のアクティビティのための視覚的合図を示す、図３からの後続のビューを示す図である。 例示的な実施形態による、拡張現実システムを用いたアクティビティ予測又は案内のための方法を示す流れ図である。

本原理によれば、拡張現実学習及びカスタマイゼーションのためのシステム、デバイス及び方法が提供される。本明細書で説明される実施形態は、医療手順、又は、たとえば、製造環境などにおける他の作業環境アクティビティに関連付けられた、拡張現実案内のための予測能力を提供する。特に有用な実施形態では、頭部装着ディスプレイが利用され、これは、ディスプレイ眼鏡、ディスプレイレンズ、コンタクトレンズ、頭部装着ディスプレイスクリーン、タブレット、スマートフォンを伴う仮想現実フィクスチャなどを含むことができる。

オペレータが拡張現実を利用する場合、ユーザのビュー、ジェスチャー、及びイメージングシステムとの対話の追跡が実施され得る。この情報から、オペレータの作業のやり方が、決定及びモデル化され得る。次いで、モデル及び手順ステップが、同じユーザ又は他のユーザのための次のステップを予測するために利用され得る。ワークフローを改善し、手順回数を低減するために、合図及びトリガが、頭部装着ディスプレイデバイス上に視覚的に表示されて、ワークフローを指示するか、又は適切な手順の順序付けを促すことができる。いくつかの実施形態では、拡張現実予測システムは、新しいワークフロー、ツール、デバイス及び特徴の導入を支援することができる。拡張現実はまた、フィードバック情報として利用され、拡張現実インターフェースを通してユーザに示唆を提供し得る。

一実施形態では、拡張現実は、ハイブリッド手術室又はカテーテル室内で臨床手順中に次のステップを予測するために利用され得る。そのような環境には、多数の入力モジュール、多数のボタン、ダイヤル、スクリーン、キーボード、マウス、遠隔制御装置などがある。拡張現実予測システムは、次のアクションを予測する際に、効率的及び高速なやり方で実施するための案内を提供することによって、複雑化を低減する。イメージングデバイスのパラメータ（たとえば、フレームレート、放射線強度、減算オン／オフなど）を変化させる複数のイメージングプロトコルがあるので、最適なイメージングプロトコルを選択することは、画像品質の改善、並びに患者及びスタッフに対する線量の低減をもたらすことができる。拡張現実予測システムは、画像品質の改善及び線量の低減を提供するために必要とされる、最適なイメージングプロトコル及び設定に関する案内を提供することができる。さらに、拡張現実予測システムは、ユーザが、新しい技術、プロトコル、又は特徴を学習するのを支援することができ、さもなければ、これらは、学習することが困難であり、それにより、採択が減ることがある。システムは、どのスイッチ、スライダー、ノブ、制御装置などを調整するべきか、及びどの程度だけ調整するべきかを、仮想的に示すことができる。教育用画像、サウンド、ビデオ、バーバル又はテキスト命令が表示され、必要又は要望に応じて、好都合なロケーションにおいて表示され得る。

本発明は医療器具に関して説明されるが、本発明の教示ははるかに広義であり、任意の拡張現実器具及び手順に適用可能であり、手順は、たとえば、原子炉、製造環境、或いは拡張現実が利用され得る任意の他の環境又は適用例に関する手順を含むことを理解されたい。いくつかの実施形態では、本原理は、生物学的又は機械的システムのための複雑な手順を追跡又は分析する際に利用される。特に、本原理は、心臓、循環系、肺、消化管、排出器など、身体、人間などのすべてのエリアにおける、医療処置又は診断のための手順に適用可能である。図に示される要素は、ハードウェア及びソフトウェアの様々な組合せにおいて実施され、単一の要素又は複数の要素において組み合わせられる機能を提供する。

図に示される様々な要素の機能は、専用ハードウェア、並びに適切なソフトウェアに関連してソフトウェアを実行することが可能なハードウェアの使用によって提供され得る。プロセッサによって提供されるとき、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又はそのうちのいくつかが共有され得る複数の個々のプロセッサによって提供され得る。その上、「プロセッサ」又は「コントローラ」という用語の明示的使用は、ソフトウェアを実行することが可能なハードウェアを排他的に指すと解釈されるべきでなく、限定はしないが、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、不揮発性記憶装置などを暗黙的に含むことができる。

その上、本発明の原理、態様及び実施形態、並びにその特定の例を具陳する本明細書でのすべての記述は、その構造的等価物と機能的等価物の両方を包含することが意図される。さらに、そのような等価物は、現在知られている等価物、並びに将来において開発される等価物（すなわち、構造にかかわらず、同じ機能を実施する開発される任意の要素）の両方を含むことが意図される。したがって、たとえば、本明細書で提示されるブロック図が、本発明の原理を具現する例示的なシステム構成要素及び／又は回路の概念ビューを表すことが、当業者によって理解されよう。同様に、任意のフローチャート、流れ図などが、コンピュータ可読記憶媒体で実質的に表され、コンピュータ又はプロセッサによって、そのようなコンピュータ又はプロセッサが明示的に示されているか否かにかかわらず、そのように実行される様々なプロセスを表すことが理解されよう。

さらに、本発明の実施形態は、コンピュータ又は任意の命令実行システムによって、又はそれに関して使用するためのプログラムコードを提供する、コンピュータ使用可能又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態をとることができる。本明細書では、コンピュータ使用可能又はコンピュータ可読記憶媒体は、命令実行システム、装置又はデバイスによって、又はそれに関して使用するためのプログラムを含むか、記憶するか、通信するか、伝搬するか又はトランスポートする任意の装置であり得る。媒体は、電子、磁気、光、電磁、赤外又は半導体システム（又は装置又はデバイス）或いは伝搬媒体であり得る。コンピュータ可読媒体の例としては、半導体又はソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、剛性磁気ディスク、及び光ディスクがある。光ディスクの現在の例としては、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク読取り／書込み（ＣＤ−Ｒ／Ｗ）、Ｂｌｕ−Ｒａｙ（商標）及びＤＶＤがある。

本原理の「一実施形態」並びにそれの他の変形形態への本明細書における言及は、実施形態に関して説明される特定の特徴、構造、特性などが、本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体にわたって様々な箇所に現れる、「一実施形態では」という句、並びに任意の他の変形形態の出現は、必ずしもすべてが同じ実施形態を指しているとは限らない。

たとえば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢのうちの少なくとも１つ」の場合、「／」、「及び／又は」、及び「のうちの少なくとも１つ」のうちのいずれの使用も、第１のリストされたオプション（Ａ）のみの選択、第２のリストされたオプション（Ｂ）のみの選択、又は両方のオプション（Ａ及びＢ）の選択を包含することが意図されることを理解されたい。さらなる例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合、そのような表現法は、第１のリストされたオプション（Ａ）のみの選択、第２のリストされたオプション（Ｂ）のみの選択、第３のリストされたオプション（Ｃ）のみの選択、第１及び第２のリストされたオプション（Ａ及びＢ）のみの選択、第１及び第３のリストされたオプション（Ａ及びＣ）のみの選択、第２及び第３のリストされたオプション（Ｂ及びＣ）のみの選択、又はすべての３つのオプション（Ａ及びＢ及びＣ）の選択を包含することが意図される。これは、この技術及び関連技術における当業者によって直ちに明らかになるように、リストされた項目の数だけ拡張される。

また、層、領域又は物質などの要素が、別の要素「上に」あると言及されるとき、その要素は直接別の要素上にあり得、又は介在要素も存在し得ることが理解されよう。対照的に、要素が、別の要素「の直接上に」あると言及されるとき、介在要素は存在しない。また、要素が、別の要素に「接続される」又は「結合される」と言及されるとき、その要素は別の要素に直接接続又は結合され得、或いは介在要素が存在し得ることが理解されよう。対照的に、要素が、別の要素に「直接接続される」又は「直接結合される」と言及されるとき、介在要素は存在しない。

次に、同様の数字が同じ又は同様の要素を表す図面を参照し、最初に図１を参照すると、例示的な一実施形態による、拡張現実予測のためのシステム１００が例示的に示されている。システム１００は、ワークステーション１１２に組み込まれ得るモジュールの集合を備えることができるか、単一のコンソールを備えることができるか、又は互いに接続された別個のモジュールを備えることができる。ワークステーション１１２は、好ましくは、１つ又は複数のプロセッサ１１４と、プログラム及びアプリケーションを記憶するためのメモリ１１６とを備える。メモリ１１６は、１つ又は複数のモデル１４２をトレーニングするために１つ又は複数の入力からのフィードバックを解釈することと、過去のイベント又はイベントシーケンスに基づいて将来の挙動を予測する（又は案内する）ために、その１つ又は複数のモデル１４２を利用することとを行うように構成された、予測モジュール１１５を記憶する。

予測モジュール１１５は、データベース又はアクションログ１３４に記憶された履歴データを利用する。この情報は、１つ又は複数のモデル１４２を構築するために利用される。アクションログ１３４は、拡張現実セッション中にユーザアクティビティを記憶する。アクションログ１３４は、イベントデータ（たとえば、時間データ、カウント（アクションが実施された回数（たとえば、イベント又は手順ステップ）））、アクションのタイプ、アクションを登録するソース又は機器、アクションの大きさ又は特性、ユーザの識別情報、アクションのビデオ又は画像などを記憶する。入力のタイプは、適用例、機器、環境の構成などに応じて、広範囲にわたって変化することができることを理解されたい。アクションログ１３４に入力されたデータは、入力タイプ又はソースに基づいて分類され得るが、多数の入力を伴う、より大規模な設定では、分類器又は分類モジュール１６８が利用される。分類器１６８は、入力を受信し、モデル比較及びデータベース記憶のための使いやすさのために入力をタグ付けする。予測モジュール１１５は、１つ又は複数の手順の適切な実施を学習するように構成され、複数のやり方で行う。各やり方は、必要又は要望に応じて、構成されるか又は場合によっては入力の異なるセットに依拠する。

たとえば、一実施形態では、拡張現実ユーザ１５０が、頭部装着デバイス１５２を利用する。デバイス１５２は、任意の好適な頭部装着仮想現実システム、たとえば、ＧＯＯＧＬＥ ＧＬＡＳＳ（商標）、ＨＯＬＯＬＥＮＳ（商標）、ＭＡＧＩＣ ＬＥＡＰ（商標）、ＶＵＳＩＸ（商標）、ＭＥＴＡ（商標））を含むことができ、２次元又は３次元能力を含むことができる。デバイス１５２は、手順中にユーザ１５０に案内を提供するために、オーバーレイ或いは他の画像又はインジケータの形態の視覚フィードバックを提供する。デバイス１５２はまた、ユーザ１５０の現在のアクション又はアクティビティに関するフィードバックを提供するために、カメラ１５８又は他の１つ又は複数のセンサーデバイスを備えることができる。一実施形態では、仮想スクリーンが、スマートな又は好都合なロケーションにおいて、及び適切な時間において、室内でデバイス１５２中に（ディスプレイ上に）表示され得る。これらの仮想スクリーンは、予測される次のセットアップとして生成され得るか、或いは、ユーザの選好に応じて、手動で又は自動的に有効にされ得る。仮想スクリーンは、じゃまにならない所にスクリーンを移動するために、視線追跡に応じて移動され得るか、又は、仮想スクリーンは、手順における指定された時間において、（たとえば、壁上の又は１つの機器上の）あるスポットに配置され得る。

さらに、データは、たとえば、トレーニングモードで、複数のソースを含む拡張現実を使用しているユーザから集められ得る。一例では、環境内でのユーザビュー及び／又は他のビューのカメラフィードが、カメラ１５８によって、及び（１つ又は複数の）遠隔カメラ１３２によって提供され得る。視線追跡及び／又は頭部追跡が、頭部装着デバイスの能力を使用して、或いは網膜スキャナ１６０、及び／又は１つ又は複数の動き追跡デバイス１６２、たとえば、加速度計、赤外線追跡、光ファイバー追跡、電磁（ＥＭ）追跡、若しくは（１つ又は複数の）他の追跡メカニズムを使用して、網膜追跡によって提供され得る。別の実施形態では、ボイスコマンドが、アクションを予測するために、又は将来のアクションを案内するために、記憶され、モデル化され、利用され得る。マイクロフォン１３０が、バーバルコマンドを記録するために利用され得、スピーカー１３６が、ユーザにフィードバック又は案内を提供するために利用されて、シーケンスにおける次のアクションを指示するか、或いは１つ又は複数の次のアクションのための警告又はアドバイスを提供し得る。

別の実施形態では、手のジェスチャー又は身体の構成が、トレーニングし、次のアクションを予測するために利用され得る。手のジェスチャー又は身体の構成は、遠隔追跡システム（たとえば、赤外線カメラ）によるカメラ１３２を使用して、及び／又はユーザ１５０上に設けられた１つ又は複数のセンサー１５４を使用して決定され得る。たとえば、センサー１５４は、ユーザ１５０の腕又は手１５６上に配置されて、その動きを追跡することができる。ここで説明される任意の数の技術が、ジェスチャー追跡のために利用され得る。

１つ又は複数のソースから受信された情報が、手順中に他の利用可能なデータと組み合わせられ得る。データベース１３４及び／又は分類器１６８は、データをイベントの手順シーケンスに編成することができる。イベントのこのシーケンスは、手順（及び、ユーザＩＤ、手順の変形タイプなど、他の指標）に関連付けられ、よく知っているアクションシーケンスが検出されたとき、手順の残りを通して拡張現実においてユーザを案内するために、或いは手順中に必要又は要望に応じて設定を変更するために呼び出され得る。

例として、ユーザは、患者又は他の監視されるオブジェクト１２８に対して医療手順を行うことによって、システム１００をトレーニングすることができる（たとえば、物理的トレーニングモデル）。イメージングシステム１１０が、Ｘ線システム、超音波システム、コンピュータ断層撮影（ＣＴ）システム、磁気共鳴（ＭＲ）システムなどを備えることができる。一実施形態では、イメージングシステム１１０は、ＣアームＸ線システムを備える。手順は、Ｘ線画像１２６が収集されている、ある量の時間の間、ディスプレイ１１８上に自身の眼の焦点を合わせることをユーザ１５０に要求するか、又は、ユーザ１５０は、ディスプレイ１１８とインターフェースモジュール１６６との間で何度も自身の焦点合わせを変更し、これは、Ｘ線画像モード、Ｘ線露出条件、ビュー設定などを制御するために利用される。システム１００は、ディスプレイ１１８上のユーザ１５０の視線を検知し、ディスプレイ１１８からのディスプレイイメージングモードを記録し、手の動き、インターフェースモジュール１６６の設定など、他のデータを利用して、これらのアクティビティを所与の手順に関連付けることができる。このデータは、データベース１３４及び／又は分類器１６８を使用して、分類され、関連付けられる。関連付けられたデータは、この手順に関連付けられ得るモデル１４２を構築するために利用され得る。モデル１４２は、使用される設定、経時的に利用されるイメージングモード、イメージングパラメータ（たとえば、フルオロフレーバー、コントラスト、フレーム毎秒など）、（たとえば、外科的ツール、ロボット、イメージング機器などの）デバイス追跡情報、ユーザジェスチャー追跡、（患者、ユーザ及びスタッフに対する）線量情報などを含むことができる。このデータが集められ、処理されると、モデル１４２はトレーニングされる。

次いで、モデル１４２は、予測モジュール１１５によって利用されて、手順における次のステップを予測するか、或いはモデル１４２によって記憶された履歴に基づいて将来の設定又はアクションに関する案内を提供する。モデル１４２は、適切な時間において適切な機器及び周辺機器に伝達される、ステップ及び設定の単純なリストであり得るか、又は、モデル１４２は、（デバイス設定、画像、ビデオ、器具識別情報などを含む）前の実施において存在した状態の履歴の綿密なカタログであり得る。特に有用な実施形態では、ステップ、設定、使用される機器などは、自身の拡張現実ディスプレイデバイス１５２を通して、ユーザ１５０に伝達される。これは、テキストメッセージ、色変化、強度変化、オーディオフィードバック、ビデオなどを含むことができる。一実施形態では、（放射線投与量情報に基づく）人々が立つべき最適な場所、機器のための最適な場所などを含む、次の手順をセットアップするための室内レイアウト／機器セットアップが、予測され得る。このレイアウト／セットアップ情報は、過去のレイアウトに基づくか、又は予測モジュール１１５によって実行された最適化に基づき、所与の手順のための効率的なワークフローを提供することができる。

たとえば、手順に備えて、システム１００は、モデル１４２に従って、異なる機器のための適切な設定などを決定するために、ユーザ１５０のアクティビティを監視する。いくつかのアクティビティの後に、システム１００は、次のステップ、又はステップの次の手順シーケンスを予測することができる。Ｘ線イメージング中に、ユーザ１５０は、ある量の時間の間、ディスプレイ１１８上に焦点が合わせられ、ディスプレイ１１８とインターフェースモデル１６６との間で何度も自分の視線を変更する。インターフェースモジュール１６６は、ジオメトリモジュール、イメージングモジュール、レビューモジュール、及び／又はｘｐｅｒモジュールのうちの１つ又は複数を含むことができ、これらは、Ｘ線制御室内に存在し得る。予測モジュール１１５は、モデル１４２によって識別されたものと同じ手順が展開されていたと予測する。システム１００は、ユーザ１５０に、前のタスクの完了時に、次のタスクを実施するように促す。予測は、ディスプレイデバイス１５２上のテキストメッセージの形態をとるか、或いは、回すべき次のノブ又は操作すべき次のスイッチを示す、矢印又は他のグラフィックの形態をとることができる。任意の数の、視覚、オーディオ又は触覚の、トリガ又はフィードバックメカニズムが展開され得る。

一例では、イメージングビューモードが、手順内のステップに応じて切り替えられ得る。たとえば、モード又はディスプレイ１１８は、たとえば、骨又は高密度軟組織中の血管を視覚化するためにインターベンショナルラジオロジーにおいて使用される透視技法のタイプである、デジタルサブトラクション血管造影（ＤＳＡ）モードから、経食道心エコー（ＴＥＥ）超音波画像モードのためのフル３Ｄビューに切り替えられ得る。選択されるイメージングパラメータは、拡張現実ディスプレイ１５２において切り替えられるか又は示され得る（たとえば、フレーム毎秒、Ｘ線のためのフルオロフレーバー、深度、超音波のためのゲインなど）。特定のソフトウェアツール又はハードウェア器具１０２とのユーザ対話が、示されるか又は予測され得る（たとえば、ＥｃｈｏＮａｖｉｇａｔｏｒ（商標）、ＶｅｓｓｅｌＮａｖｉｇａｔｏｒ（商標）においてターゲットマーカーを配置する）又は、使用されるべき次の器具を予測するなど。次の器具は、たとえば、デバイス追跡器１０４からの（たとえば、（「光形状検知」、「ファイバー形状検知」、「光ファイバー３Ｄ形状検知」、「光ファイバー形状検知及び位置特定」などとしても知られる）Ｆｉｂｅｒ−Ｏｐｔｉｃａｌ ＲｅａｌＳｈａｐｅ（商標）、その場追跡（超音波）、光追跡、ＥＭ追跡などを用いた）デバイス追跡情報を使用して、拡張現実ディスプレイ１５２において、位置決めされ、強調表示され得る。他の実施形態では、ツール又はイメージング機器のロボット測位情報が利用され得る。

予測モジュール１１５は、次のステップのための複数の可能性のためのスコアを生成するために、集められたデータの組合せを利用する。最高スコアが、次のステップ又はアクションのための最も可能性がある候補モデルを提供する。たとえば、どのモデル１４２が現在のアクティビティに最も良く適合するかに関して、手順のアクティビティを記憶する１つ又は複数のモデル１４２が、予測モジュール１１５によって決定され得る。最良適合モデルは、手順中の次のアクティビティを予測するために利用され得る。予測モジュール１１５は、必要に応じて、音声認識、音声生成、音声テキスト生成、テキスト生成及びジェスチャー認識アルゴリズムを含むことができる。

予測モデル１４２、分類器モジュール１６８及び予測モジュール１１５は、たとえば、ニューラルネットワーク、多層パーセプトロン（ＭＬＰ）、サポートベクターマシン（ＳＶＰ）、単純ベイズ、ｋ近傍法など、１つ又は複数の知られている学習技法を利用することができる。予測モジュール１１５は、任意の好適なスコアリング方法、たとえば、最大エントロピー、最尤などを利用することができる。

一実施形態では、ワークステーション１１２は、１つ又は複数のソースからのフィードバックを受信することと、拡張現実ディスプレイ１５２において、テキスト表示、グラフィック表示、強度変化などを提供することとを行うように構成された、画像生成モジュール１４８を備える。拡張現実ディスプレイ１５２は、ユーザ１５０に、次のステップの予測のための案内を提供するために、オーバーレイ又は他のレンダリングを利用することができる。

１つ又は複数のソースからの情報の組合せが、手順中にモデル１４２を学習及びトレーニングするために利用され得る。モデル１４２は、手順のその時点において使用されるデバイスを学習し、手順の様々なフェーズ中に利用されるイメージングモード／プロトコルを学習し、手順の各フェーズ中の室内レイアウトと、ワークフローに対するその影響とを理解し、手順中にどこでユーザがワークフローに苦労するかを学習し、室内の異なるロケーションにおけるピーク線量プロファイルを学習する、などである。システム１００が情報から学習し、それぞれの１つ又は複数のモデル１４２が作成されると、システム１００は、予測することと、ユーザのワークフローを支援することとを開始することができる。

システム１００は、どのイメージングプロトコルを次に使用するべきかを示唆することができる（又は、次のイメージングプロトコルを、（１つ又は複数のディスプレイモニタを備えることができる）インターフェースモジュール１６６上に、オプションとしてすでにプルアップしておくことができる）。システム１００は、画像品質（たとえば、ゲイン、フォーカス、深度、フレームレートなど）を改善するための最適化を示唆することができる。システム１００は、インベントリ及び課金の目的で、手順中に使用されるデバイスのインベントリを保有することができる。システム１００は、使用すべき次のデバイスなどを示唆することができる。

特に有用な実施形態では、システム１００は、異なるプロトコル、フルオロフレーバー、ｃアーム位置、又は室内で立っている人々のための異なるロケーションを選択することによって、患者及び／又はスタッフに対する線量を低減する機会がいつあるかを示唆することができる。システム１００は、同様であった過去の事例に基づいて、適切な時間において、プロトコル、イメージングデータ、デバイス情報、カメラフィードなどを提起することができる。次のステップは、特にユーザが新しいプロトコル、ツール、又は特徴を学習しているとき、「規定された」ワークフロー中に予測され得る。この場合、システム１００は、ワークフローを学習していないことがあるが、新しいプロトコル、ツール、又は特徴にユーザを導くように、ワークフローをプログラムしている。システム１００は、手順におけるその時点のための履歴データに基づいて、患者の統計、線量情報、異なるモダリティ画像などのような関連するスクリーンを立ち上げることができる。システム１００はまた、システム１００が学習したことに基づいて、同様の事例からの参照を提起することができる。

また、システム１００は、複数の異なるモード又はこれらのモードの組合せによって、フィードバック又は予測情報をユーザと共有するために使用され得る。一実施形態では、オーバーレイ画像がディスプレイデバイス１５２において使用されて、次のステップにユーザを案内し、ある事（適切な手順、この前に行われたことなど）についてユーザに警告し、同様の事例、患者又はシナリオからの画像を、比較のためにライブ画像の隣に又はライブ画像の上に表示し、ユーザにオーディオフィードバックを提供し、触覚デバイス又はシステム１３８を使用してユーザに触覚フィードバックを提供し得る。

１つ又は複数のモデル１４２は、ある特定のユーザのためにトレーニングされ得るか、或いは、たとえば、部門、病院、国において、又はグローバルに、複数のユーザにわたってトレーニング情報を組み込むことができる。これは、サイト、プライバシー問題などにわたって、技術的な多様可能性を考慮に入れることができる。一実施形態では、１人のオペレータ又はユーザからの学習が、単に、そのオペレータ又はユーザのために予測するために使用される。別の実施形態では、所与の病院内のオペレータのためのすべての学習が、あるオペレータのために予測するために使用される。さらに他の実施形態では、（グローバルな）システムの使用にわたるすべての学習が、あるオペレータのために予測するために利用される。これは、アルゴリズム／データのクラウドベースストレージ、又はロケーション間のネットワーク通信を含むことができる。

ユーザは、ユーザがより多くのフィードバックを希望するか、又は、新しいタスクを試みており、洞察を希望するとき、予測／示唆の量を大きくすることによって、予測／示唆の量を制御することができるか、或いは、ユーザが、どんな示唆をも希望しない極めて異例の手順を行っている場合、予測／示唆の量を小さくすることができる。予測制御装置１２２が、インターフェースモジュール１６６上に、インターフェース１２０上に、又は予測特徴の手動制御を可能にするための任意の他の好都合なロケーションにおいて設けられ得る。制御装置１２２は、ユーザ１５０の予測又は案内の所望のレベルに基づく、予測示唆又は案内の可変レベルを備えることができる。制御装置１２２は、自動式に設定され得、これは、ユーザのアクティビティに基づいて自動的に予測及び示唆をトリガする。

ユーザ１５０は、ユーザ１５０がシステム１００をよりよく知るようになるにつれて、追加のトレーニング情報を追加することができる。これは、手順中に追加のボイスコマンド／説明を追加すること、デバイス追跡のためのカメラビューにおいてデバイスパッケージをキャプチャすることを確実にすること、興味深い物又は重要な物を指すための、手又は他のジェスチャーを提供すること、或いは、次のステップを予測するように予測モジュール１１５をトリガするために、追加のデータを提供することを含む。このようにして、ユーザ１５０は、特定のジェスチャー又は音声を指定して、手順における特定のステップを識別することができる。これは、トレーニングし、次のステップをより正確に予測するのを支援する。

事例又は手順の最後に、集められた情報のすべて、作成された特定のモデルなどが、「事例ファイル」として保存され得る。これは、将来の事例のための参照として引き出され得るか、又はトレーニング目的で使用され得る。ユーザインターフェース１２０はまた、ユーザが、追加の注釈、ステップ、及びアクションを追加することによって、事例ファイルを変更及び改善することを可能にすることができる。

本実施形態は、ワークフローを学習及び予測するための、カテ室又はハイブリッド手術室における拡張現実の使用に適用される。本実施形態はまた、たとえば、モバイルＸ線、超音波、ＭＲ、内視鏡検査、ＣＴなど、或いは、任意の他の手順、商業又は工業用途、医療などに適用可能である。

ワークステーション１１２は、患者１２８又は他の対象者の画像を閲覧するためのディスプレイ１１８を備える。ディスプレイ１１８はまた、ユーザが、ワークステーション１１２並びにその構成要素及び機能、又はシステム１００内の任意の他の要素と対話することを可能にする。これは、さらに、キーボード、マウス、ジョイスティック、触覚デバイス、或いはワークステーション１１２からのユーザフィードバック及びワークステーション１１２との対話を可能にするための任意の他の周辺機器又は制御を含む、インターフェース１２０によって容易にされる。

図２を参照すると、ブロック図／流れ図が、別の実施形態による、拡張現実予測システム２００を示す。システム２００は、拡張現実プラットフォーム２０２を備える。プラットフォーム２０２は、拡張現実インターフェースを提供するために必要とされる任意の数の構成要素を備えることができる。これらの構成要素は、カメラ、マイクロフォン、頭部及び視線追跡デバイス、ジェスチャー認識、室内マッピングアプリケーション、視覚化デバイス（たとえば、ＧＯＯＧＬＥ ＧＬＡＳＳ（商標）、ＨＯＬＯＬＥＮＳ（商標）、ＭＡＧＩＣ ＬＥＡＰ（商標）、ＶＵＳＩＸ（商標）、ＭＥＴＡ（商標）頭部装着スマートフォン又はタブレットディスプレイ、カスタム頭部装着ディスプレイなど）を含むことができる。手順又は他のスクリプト化されたアクティビティに関連付けられた、アクティビティ及び選好を学習するために、情報が、プラットフォーム２０２から及び他のソースから収集される。

他のソースは、イメージングプロトコル２１２、線量情報２１０、ユーザ入力２０８、ナビゲーション情報２０６などに関する情報を含むことができる。イメージングプロトコル２１２は、イメージング設定、ビュー、イメージングシステムのタイプ（Ｘ線など）などを含むことができる。線量情報２１０は、イメージング、対象者セットアップなどを含む、機器アクティビティに関連付けられた放射線レベルを含むことができる。線量情報２１０は、タイミングを決定する際に有用であり得るが、ワークフローを改善するためのメトリックとしても有用であり得る（たとえば、より低い線量は改善である）。ユーザ入力２０８は、任意のユーザ選好、制限、警告又は任意の他の有用な情報を含むことができる。ナビゲーション情報２０６は、ジェスチャー、手術室のナビゲーション、器具のナビゲーション又は使用、頭部装着可能拡張現実プラットフォームの動き、患者の位置又は動き、イメージングシステムの位置又は動き、及び手順において利用された（１つ又は複数の）器具の位置又は動きなどを含むことができる。さらに、ナビゲーション情報２０６は、（たとえば、放射線量に基づく）人々が立つべき最適な場所、機器のための最適な場所などを含む、次の手順のためにセットアップするための室内レイアウト情報を含むことができる。また、他のカテゴリーの情報及びパラメータが、例示的に説明されたものの代わりに、又はそれに加えて利用され得る。

（１つ又は複数のソースからの）収集された情報２０４が、学習モジュール２１４において、特定のアクティビティのプロファイル又はモデルを作成するために、関連付けられるか又は組み合わせられる。この実施形態では、学習モジュール２１４は、図１で説明された、分類モジュール１６８、モデル１４２及びデータベース１３４の態様の一部又は全部を含むことができる。学習モジュール２１４は、拡張現実プラットフォーム２０２、イメージングプロトコル２１２、線量情報２１０、ユーザ入力２０８、ナビゲーション情報２０６などからの入力の所与のセットを用いて、ワークフローの次のステップを予測するためのモデルをトレーニングするために使用される１つ又は複数の学習アルゴリズムを実行する。計算顕著性モデルが、ユーザがどこを見ているかを追跡するために利用され得る。これは、ジェスチャー追跡とともに、将来の動きを予測するように学習モジュール２１４を教示するために利用され得る。

一例では、予測コンピュータビジョンが、手順イベント又はステップに関連付けられたアクティビティに関する追加の情報を提供するために、同様に利用され得る。一実施形態では、画像の視覚表現が、カメラを用いて集められ得、パターンを発見し、これらのパターンをビン又はカテゴリーに分類するために利用され得る。次いで、この情報は、将来のアクティビティを分類するために利用されるか、又は同様の挙動が生じたときに次の動きを予測する際に利用される。また、深層学習ベース目標認識が使用され得る。

学習モジュール２１４は、異なるデータソース間の関連付けを作成して、モデル及び／又は関連付けを作成する。たとえば、所与のサイト（サイト１、サイト２）について、ユーザ１が、手順中に収集された情報を含む、ワークフローパターン２１６を有し、サイト１におけるユーザ２が、同じ又は異なる手順のための異なるワークフローパターン２１８を有する。そのパターンは、比較され、組み合わせられて（クラスタ）、モデル（たとえば、予測モデル）を形成することができる。

十分なトレーニングの後に、そのシステムがワークフローに公開され得る。比較に基づいて、異なる仮説が、予測される次のステップのために決定され得る。これらの仮説は、予測モジュール１１５によって、最も可能性がある予測される次のステップを決定するために、（１つ又は複数の）モデルに対してスコアリングされ得る。これらの予測は、構成要素のいずれか又はすべてを次のステップのために準備するためにこれらの構成要素を変更するためにこれらの構成要素に提供され得るか、又は、それらの予測は、単に、拡張現実プラットフォーム２０２を着用しているユーザに提供され得、そのユーザは、予測に基づいて行動するか又は予測によって案内される。

図３及び図４を参照すると、頭部装着ディスプレイからの例示的なビューが、本原理による別の態様を示す。頭部装着ディスプレイからのビュー３０２が、ノブ３１０を有する現実のデバイス３０８を含む。また、現実のディスプレイ３０４と、第１の向き又はイメージングプロトコルを有する、ディスプレイ３０４におけるオブジェクト３０６とが示されている。テキストラベル３１２及び矢印が、予測される次のステップが、ノブ３１０を調整することを含むことをユーザ（たとえば、頭部装着ディスプレイの着用者）に示すために、仮想的に生成される。

一実施形態では、ディスプレイ３０４、さらには機器３０８は、予測又はユーザ選好に応じて自動的に生成された、仮想ディスプレイ又はデバイスであり得る。次のステップ又は指示は、シーケンスにおける次のアクションを実施するためのビュー３０２、３０３において表示され得る。仮想ディスプレイ３０４は、必要又は要望に応じて、有用な情報を示すか又は案内を提供する、画像、ビデオ、グラフィックを表示することができる。

ノブ３１０が調整されると、システムは次の予測を行う。ここで、次の予測は、図４に示されているように、ディスプレイ３０８において次のビュー３０３に変更することである。これは自動的に行われ得るか、又は、システムは、プロンプト、たとえば、ビューを変更する３１４を提供して、ディスプレイ３０８上の画像３０６のビューを変更することができる。任意の数の追加の視覚、ボイス、サウンド又は触覚プロンプトが、利用され得る。

図５を参照すると、拡張現実システム手順における次のステップのための予測又は案内のための方法が例示的に示されている。ブロック４０２において、１つ又は複数のモデルが、手順のアクティビティ（履歴）を記憶することによってトレーニングされ、その結果、１つ又は複数のモデルは、現在のアクティビティシーケンスに適合するように利用されて、手順における次のアクティビティを予測し得る。トレーニングステップは、特定の手順について随意であり、モデルは、早い時間において作成され、データベースに記憶され得る。

ブロック４０４において、手順における現在の状態を表す（及び、好ましくは、モデルに記憶されたデータに対応する）データが、頭部装着可能拡張現実プラットフォーム、及び任意の他のデータ収集メカニズム、たとえば、マイクロフォン、カメラ、線量計、ナビゲーション情報などを使用して収集される。

ブロック４０６において、次のアクティビティが、現在の状態のデータと、過去のアクティビティのための記憶された履歴データとに基づいて、手順において（たとえば、案内実施形態のために）予測されるか、又は示される。現在の状態は、ユーザアクションのシーケンス、眼の動き、頭部の動き、ジェスチャー、眼の焦点合わせ、放射線量情報、並びに、頭部装着可能拡張現実プラットフォーム、及び手順において利用される機器のうちの少なくとも１つのためのナビゲーション情報、のうちの少なくとも１つを含む。ユーザアクションは、眼の動き、頭部の動き、ジェスチャー、機器の使用及び眼の焦点合わせのうちの少なくとも１つを含むことができる。他の情報、たとえば、室内又は個人に関する空間情報、機器タイプなどが、現在の状態及びユーザアクションをも評価するために集められ得る。

ブロック４０８において、ユーザに、予測される次のアクティビティを示すために、視覚的合図が、頭部装着可能拡張現実プラットフォーム中のディスプレイ上に生成される。さらに、非視覚的合図又は指示も、１つ又は複数のフィードバックデバイス、たとえば、スピーカー、触覚デバイス、ディスプレイなどによって生成され得る。視覚的合図は、自動的に、適切な時間においてスマートな場所において（頭部装着ディスプレイを通して）室内に仮想スクリーンを追加することができるか、又は（たとえば、じゃまにならないようになど）手順における指定された時間において、あるスポットにスクリーンを移動することを含むことができる。

ブロック４１０において、ユーザは、頭部装着可能拡張現実プラットフォーム中のディスプレイ上の視覚的合図を使用して、手順におけるアクティビティのシーケンスを通して案内され得る。これは、次のステップを予測することに加えて、又はその代わりに行われ得る。一実施形態では、アクティビティは、カメラを使用してユーザの視点から記憶され得、ユーザは、カメラによって記憶されたアクティビティを使用して、頭部装着可能拡張現実プラットフォームを用いて手順におけるアクティビティのシーケンスを通して案内され得る。このようにして、実際のビデオが、次のステップを示すために利用され得る。

ブロック４１２において、予測又は示唆レベルが、手動で調整又は設定され得る。これは、特に、所与の手順を実施している経験を積んだユーザのために、ワークフローを改善するのを支援するために、予測又は案内の量を制御する。

添付の特許請求の範囲を解釈する際には以下を理解されたい。
ａ）「備える、含む、有する」という単語は、所与の請求項に記載されているもの以外の他の要素又は行為が存在することを除外するものではない。
ｂ）単数形の要素は、複数のそのような要素が存在することを除外するものではない。
ｃ）特許請求の範囲中のいかなる参照符号も、それらの範囲を限定するものではない。
ｄ）いくつかの「手段」は、同じ項目或いはハードウェア又はソフトウェア実施構造又は機能によって表される。
ｅ）特に示されない限り、行為の特定のシーケンスが必要とされることは意図されない。

（例示的なものであり、限定するものではないことが意図される）手術室における予測ワークフローのための拡張現実のための好ましい実施形態について説明したが、上記の教示に照らして修正及び変形が当業者によって行われ得ることに留意されたい。したがって、添付の特許請求の範囲によって概説される、本明細書で開示される実施形態の範囲内にある、開示される本開示の特定の実施形態において変更が行われ得ることを理解されたい。したがって、特許法によって必要とされる詳細及び委細について説明したが、特許請求され、特許証によって保護されることが望まれるものが、添付の特許請求の範囲に記載される。

Claims (22)

1. ユーザに案内を提供するためのディスプレイを有する頭部装着可能拡張現実プラットフォームと、
   少なくとも１つの手順においてトレーニングされ、現在の状態に基づいて前記少なくとも１つの手順における次のアクティビティを予測する、予測モジュールと、
   前記予測モジュールに応答して、前記頭部装着可能拡張現実プラットフォームを通して、前記ユーザに、予測される次のアクティビティの視覚的合図を提供するための、画像生成モジュールと
   を備える、拡張現実システム。
2. 前記現在の状態が、セッションの開始をトリガするためのユーザアクションのシーケンスを含む、請求項１に記載の拡張現実システム。
3. 前記ユーザアクションが、眼の動き、頭部の動き、ジェスチャー、機器の使用及び眼の焦点合わせのうちの少なくとも１つを含む、請求項２に記載の拡張現実システム。
4. 前記現在の状態が、イメージングモダリティからの線量情報を含む、請求項１に記載の拡張現実システム。
5. １つ又は複数のフィードバックデバイスによって提供される、非視覚的合図又は指示をさらに備える、請求項１に記載の拡張現実システム。
6. 手順のアクティビティを記憶する１つ又は複数のモデルであって、現在のアクティビティに適合し、前記少なくとも１つの手順における前記次のアクティビティを予測するモデルを決定するために、前記予測モジュールによって利用される、１つ又は複数のモデルをさらに備える、請求項１に記載の拡張現実システム。
7. 手順のアクティビティを記憶する１つ又は複数のモデルであって、前記少なくとも１つの手順におけるアクティビティのシーケンスを通してユーザを案内するために利用される、１つ又は複数のモデルをさらに備える、請求項１に記載の拡張現実システム。
8. ユーザの視点からのアクティビティを記憶するためのカメラであって、前記頭部装着可能拡張現実プラットフォーム上の前記カメラによって記憶された前記アクティビティを使用して、手順におけるアクティビティのシーケンスを通してユーザを案内するためのカメラをさらに備える、請求項１に記載の拡張現実システム。
9. 前記現在の状態が、前記頭部装着可能拡張現実プラットフォーム、患者、イメージングシステム、及び前記手順において利用される器具のうちの少なくとも１つのためのナビゲーション情報を含む、請求項１に記載の拡張現実システム。
10. ユーザに案内を提供するためのディスプレイを有する頭部装着可能拡張現実プラットフォームと、
    手順のアクティビティを記憶する１つ又は複数のモデルと、
    少なくとも１つの手順においてトレーニングされ、前記１つ又は複数のモデルと比較した現在の状態に基づいて前記少なくとも１つの手順における次のアクティビティを予測し、その結果、現在のアクティビティに適合する最良のモデルが利用されて、前記次のアクティビティを予測するか、又は前記少なくとも１つの手順におけるアクティビティのシーケンスを通してユーザを案内する、予測モジュールと、
    前記予測モジュールに応答して、前記頭部装着可能拡張現実プラットフォームの前記ディスプレイを通して、前記ユーザに、予測される次のアクティビティの視覚的合図を提供するための、画像生成モジュールと
    を備える、拡張現実システム。
11. 前記現在の状態が、セッションの開始をトリガするためのユーザアクションのシーケンスを含む、請求項１０に記載の拡張現実システム。
12. 前記ユーザアクションが、眼の動き、頭部の動き、ジェスチャー、機器の使用及び眼の焦点合わせのうちの少なくとも１つを含む、請求項１１に記載の拡張現実システム。
13. 前記現在の状態が、イメージングモダリティからの線量情報を含む、請求項１０に記載の拡張現実システム。
14. １つ又は複数のフィードバックデバイスによって提供される、非視覚的合図又は指示をさらに備える、請求項１０に記載の拡張現実システム。
15. ユーザの視点からのアクティビティを記憶するためのカメラであって、前記頭部装着可能拡張現実プラットフォーム上の前記カメラによって記憶された前記アクティビティを使用して、手順におけるアクティビティのシーケンスを通してユーザを案内するためのカメラをさらに備える、請求項１０に記載の拡張現実システム。
16. 前記現在の状態が、前記頭部装着可能拡張現実プラットフォーム、患者、イメージングシステム、及び前記手順において利用される器具のうちの少なくとも１つのためのナビゲーション情報を含む、請求項１０に記載のシステム。
17. 拡張現実システムにおける次のステップを予測するための方法であって、前記方法が、
    頭部装着可能拡張現実プラットフォームを使用して、手順における現在の状態を表すデータを収集するステップと、
    前記現在の状態の前記データと、過去のアクティビティのための記憶された履歴データとに基づいて、前記手順における次のアクティビティを予測するステップと、
    ユーザに、予測される次のアクティビティを示すために、前記頭部装着可能拡張現実プラットフォーム中のディスプレイ上に視覚的合図を生成するステップと
    を有する、方法。
18. 前記現在の状態が、ユーザアクションのシーケンス、眼の動き、頭部の動き、ジェスチャー、眼の焦点合わせ、機器の使用、放射線量情報、並びに、前記頭部装着可能拡張現実プラットフォーム、患者、イメージングシステム、及び前記手順において利用される器具のうちの少なくとも１つのためのナビゲーション情報、のうちの少なくとも１つを含む、請求項１７に記載の方法。
19. 手順のアクティビティを記憶することによって、１つ又は複数のモデルをトレーニングするステップであって、その結果、前記１つ又は複数のモデルが、現在のアクティビティシーケンスに適合するように利用されて、前記手順における前記次のアクティビティを予測する、トレーニングするステップをさらに有する、請求項１７に記載の方法。
20. 前記頭部装着可能拡張現実プラットフォーム中の前記ディスプレイ上の視覚的合図を使用して、前記手順におけるアクティビティのシーケンスを通してユーザを案内するステップをさらに有する、請求項１７に記載の方法。
21. 前記視覚的合図を生成するステップが、１つ又は複数のフィードバックデバイスによって非視覚的合図又は指示を生成するステップをさらに有する、請求項１７に記載の方法。
22. カメラを使用してユーザの視点からのアクティビティを記憶するステップと、
    前記カメラによって記憶された前記アクティビティを使用して、前記頭部装着可能拡張現実プラットフォームを用いて前記手順におけるアクティビティのシーケンスを通して前記ユーザを案内するステップと
    をさらに有する、請求項１７に記載の方法。

Images