本開示の原理の理解を促進する目的のため、ここで図面に図示された実施形態に関して参照がなされ、これを記述するために特定の用語が用いられる。しかしながら、開示の範囲に何らの限定も意図されないものと理解される。記述の装置、システム、及び方法に対する任意の変更及び更なる修正、また本開示の原理の任意の更なる適用が、また本開示が関連する技術分野の当業者に通常に生じるように十分に検討され、また本開示の範囲内に含まれる。特には、一実施形態に関して記述された特徴、コンポーネント、及び/又はステップが、本開示の他の実施形態に関して記述された特徴、コンポーネント、及び/又はステップに組み合わされ得る。しかしながら、簡潔さのため、これらの組み合わせの多数の反復が別々に記述されない。
図1は、本開示の一実施形態に係るマルチモダリティー処理システム101を含む医療システム100を図示する概略図である。概して、医療システム100は、ヒト生物学生理機能及び形態学情報の取得及び解釈、及び様々な状態の治療の協調のために用いられる様々な方法に敏感に設計される多数の形態の取得及び処理要素のコヒーレント合併及び統合を提供する。より詳細には、システム100においては、マルチモダリティー処理システム101は、マルチモダリティー医療センシングデータの取得、制御、解釈、及び表示のための統合された装置である。一実施形態においては、処理システム101は、ハードウェア及びソフトウェアで、マルチモダリティー医療データを取得、処理、及び表示するコンピューターシステムであるが、他の実施形態においては、処理システム101が、医療データを処理するように動作可能である任意の他の種類の計算システムである。処理システム101がコンピューターワークステーションである実施形態においては、システムは、マイクロコントローラー又は専用中央処理ユニット(CPU)といった少なくとも一つのプロセッサーと、ハードディスク、ランダムアクセスメモリー(RAM)、及び/又はコンパクトディスクリードオンリーメモリー(CD−ROM)といった非一時的コンピューター読み取り可能記憶媒体と、グラフックス処理ユニット(GPU)といったビデオコントローラーと、イーサネット(登録商標)コントローラー又は無線通信コントローラーといったネットワーク通信装置を含む。この点について、幾つかの特定の場合、処理システム101は、本明細書に記述のデータ取得及び分析に関連したステップを実行するようにプログラムされる。従って、データ取得、データ処理、機器制御、及び/又は本開示の側面の他の処理又は制御に関連した任意のステップが、処理システムによりアクセス可能である非一時的コンピューター読み取り可能媒体上又はそこに記憶された対応の指令を用いる処理システムにより実施され得るものと理解される。幾つかの場合、処理システム101がポータブルである(例えば、手持ち、ローリングカート上など)。更には、幾つかの場合、処理システム101が、複数の計算装置を備える。この点において、本開示の側面とは異なる処理及び/又は制御が、複数の計算装置を用いて事前規定のグループとは別又はそこで実施され得るものと特に理解される。多数の計算装置に亘る以降に記述の処理及び/又は制御の側面の任意の分割及び/又は組み合わせが、本開示の範囲内にある。
図示の実施形態においては、医療システム100が、制御室104を有するカテーテルラボ102に配備され、処理システム101が制御室に配置される。他の実施形態においては、処理システム101が、医療施設の中央エリアにおいて、又はサイト外の場所(つまり、クラウド)において、カテーテルラボ102といった他の場所に配置される。カテーテルラボ102は、手術エリアを概して包囲する無菌フィールドを含むが、その関連の制御室104が、手術及び/又はヘルスケア施設の要求に依存して無菌であるか又は無菌ではない。カテーテルラボ及び制御室は、血管造影法、血管内超音波法(IVUS)、仮想病理(VH)、前方視IVUS(FL−IVUS)、血管内光音響(IVPA)イメージング、冠血流予備量比(FFR)決定、インスタント・ウェーブ・フリー比(iFR)決定、X線血管造影法(XA)イメージング、冠血流予備能(CFR)決定、光コヒーレンス・トモグラフィー(OCT)、コンピューター・トモグラフィー、心臓内超音波検査法(ICE)、前方視ICE(FLICE)、血管内パルポグラフィー、経食道超音波、又は当該分野で知られた任意の他の医療センシングモダリティーといった多数の医療センシング法を患者に行うために用いられ得る。更には、カテーテルラボ及び制御室は、無線周波数アブレーション(RFA)、低温療法、アテローム切除術、又は該分野で知られた任意の他の医療治療法といった1以上の治療法又は療法を患者に行うために用いられる。例えば、カテーテルラボ102において、患者106が、単一の手順として又は1以上のセンシング手順の組み合わせのいずれかのマルチモダリティー手順を経験し得る。いずれの場合においても、カテーテルラボ102は、患者106から様々な異なる医療センシングモダリティーにおいて医療センシングデータを収集する医療センシング装置を含む複数の医療機器を含む。
図1の図示の実施形態においては、機器108及び110は、臨床医に用いられ、患者106に関する医療センシングデータを取得する医療センシング装置である。特定の場合、装置108が、一つのモダリティーにおいて医療センシングデータを収集し、また装置110が、異なるモダリティーにおいて医療センシングデータを収集する。例えば、各機器が、圧力、流速(速度)、画像(超音波(例えば、IVUS)、OCT、熱、及び/又は他のイメージング技術を用いて取得された画像を含む)、温度、及び/又はこれらの組み合わせの一つを収集する。装置108及び110が、管内に配置される大きさ及び形状を有し、患者の外部に取り付けられ、又は患者に亘りある距離でスキャンされる任意の形態の装置、機器、又はプローブであり得る。
図1の図示の実施形態においては、機器108は、IVUSカテーテル108であり、IUVSセンシングデータを収集するためのフェーズドアレイ・トランスデューサといった1以上のセンサーを含む。幾つかの実施形態においては、IVUSカテーテル108が、IVUS及びIVPAセンシングといったマルチモダリティーセンシングが可能である。更には、図示の実施形態においては、機器110が、OCTカテーテル110であり、OCTセンシングデータを収集するように構成された1以上の光学センサーを含む。幾つかの場合、IVUS患者インターフェイスモジュール(PIM)112及びOCT・PIM114が、各々、医療システム100へIVUSカテーテル108及びOCTカテーテル110を結合する。特には、IVUS・PIM112及びOCT・PIM114が、各々、IVUSカテーテル108及びOCTカテーテル110により患者106から収集された医療センシングデータを受け取るように動作可能であり、制御室104の処理システム101へ受け取ったデータを送信するように動作可能である。一実施形態においては、PIM112及び114が、アナログ・デジタル(A/D)変換器を含み、デジタルデータを処理システム101に送信する。しかしながら、他の実施形態においては、PIMは、アナログデータを処理システムへ送信する。一実施形態においては、IVUS・PIM112及びOCT・PIM114が、ペリフェラル・コンポーネント・インターコネクト・エクスプレス(PCIe)・データバス接続上で医療センシングデータを送信する。しかしながら、他の実施形態においては、それらは、USB接続、サンダーボルト(Thunderbolt)接続、ファイアーワイヤー(FireWire)接続、又は幾つかの他の高速データバス接続上でデータを送信する。他の場合、PIMが、IEEE802.11Wi−Fi標準、ウルトラワイド−バンド(UWB)標準、無線ファイアーワイヤー、無線USB、又は他の高速無線ネットワーク標準を用いて無線接続を介して処理システム101に接続される。
加えて、医療システム100においては、心電図(ECG)装置116は、処理システム101へ患者106からの心電図信号又は他の血流力学のデータを送信するように動作可能である。幾つかの場合、処理システム101が、ECG116からのECG信号を用いてカテーテル108及び110で収集されたデータを同期するように動作可能である。更には、血管造影システム117は、患者106のX線、コンピューター・トモグラフィー(CT)、又は磁気共鳴画像(MRI)を収集し、これらを処理システム101へ送信するように動作可能である。一実施形態においては、血管造影システム117が、アダプター装置を介して、処理システム101に通信可能に結合される。そのようなアダプター装置は、所有第三者フォーマットを処理システム101により使用可能なフォーマットへ変換する。幾つかの実施形態においては、処理システム101は、IVUS及びOCTカテーテル108及び110からのセンシングデータと、血管造影システム117からイメージデータ(例えば、X線データ、MRIデータ、CTデータ等)を同時登録するように動作可能である。この一側面としては、同時登録が実行され、センシングデータで3次元イメージを生成する。
臨床コントローラー118は、処理システム101にも通信可能に接続され、また患者106を診断するために用いられる特定の医療モダリティー(モダリティー群)のユーザー制御を提供する。本実施形態においては、臨床コントローラー118は、タッチスクリーンコントローラーであり、単一の画面においてユーザー制御部及び診断イメージを提供する。しかしながら、代替の実施形態においては、臨床コントローラー118は、非相互作用ディスプレイと物理的なボタン及び/又はジョイスティックといった別体の制御部の両方を含む。統合された医療システム100においては、臨床コントローラー118は、グラフィカル・ユーザー・インターフェイス(GUIs)でワークフロー制御オプション及び患者イメージデータを提示するように動作可能である。図2に関連してより詳細に記述するように、臨床コントローラー118は、ユーザーインターフェイス(UI)フレームワークサービスを含み、これを通じて、多数のモダリティーに関連するワークフローが実行する。従って、臨床コントローラー118は、多数のモダリティーについてワークフロー及び診断イメージを表示することができ、単一インターフェイス装置でマルチモダリティー医療・センシングデータの取得を制御することを臨床医に許容する。
制御室104のメインコントローラー120は、また処理システム101に通信可能に接続され、図1に示すように、カテーテルラボ102に隣接する。本実施形態においては、メインコントローラー120は、臨床コントローラー118と同様、タッチスクリーンを含み、またその上で実行するUIフレームワークサービスを介して異なる医療センシングモダリティーに対応する多数のGUIベースのワークフローを表示するように動作可能である。幾つかの実施形態においては、メインコントローラー120が用いられ、臨床コントローラー118とは異なる手順ワークフローの側面を同時実行する。代替の実施形態においては、メインコントローラー120は、非相互作用ディスプレイ及び、マウス及びキーボードといったスタンドアローン制御部を含む。
医療システム100は、処理システム101に通信可能に結合したブーム(boom)ディスプレイ122を更に含む。ブームディスプレイ122は、モニターのアレイを含み、各々が、医療センシング手順に関連した異なる情報を表示することができる。例えば、IVUS手順の過程で、ブームディスプレイ122の一つのモニターが、トモグラフィービューを表示し、一つのモニターがサジタル(sagittal)・ビューを表示する。
更には、マルチモダリティー処理システム101は、データネットワーク125に通信可能に結合される。図示の実施形態においては、データネットワーク125が、TCP/IPベースのローカルエリアネットワークであるが、他の実施形態においては、同期光ネットワーキング(SONET(Synchronous Optical Networking))といった異なるプロトコルが用いられ、若しくはワイド・エリア・ネットワーク(WAN)である。処理システム101は、ネットワーク125を介して様々なリソースに接続する。例えば、処理システム101は、ネットワーク125を介して、デジタルイメージング・アンド・コミュニケーション・イン・メディシン(DICOM(Digital Imaging and Communications in Medicine))システム126、ピクチャー・アーカイビング・アンド・コミュニケーション・システム(PACS(Picture Archiving and Communication System))127、及びホスピタル・インフォメーション・システム(HIS(Hospital Information System))128と通信する。加えて、幾つかの実施形態においては、ネットワークコンソール130が、ネットワーク125を介してマルチモダリティー処理システム101と通信し、医者又は他のヘルスケア専門家が、リモートに医療システム100の側面にアクセスすることが許容される。例えば、ネットワークコンソール130のユーザーが、マルチモダリティー処理システム101により収集された診断イメージといった患者医療データにアクセスし、若しくは、幾つかの実施形態においては、リアルタイムでカテーテルラボ102にて1以上の進行中の手順をモニター又は制御する。ネットワークコンソール130が、ヘルスケア施設内又は外に設けられるPC、ラップトップ、スマートフォン、タブレットコンピューター、又は他のそのような装置といったネットワーク接続を有する任意の種類の計算装置であり得る。
加えて、図示の実施形態においては、上述のシステム100の医療センシングツールが、標準銅リンク又は光ファイバーリンクといった有線接続を介して処理システム101に通信可能に結合されるように図示されているが、代替の実施形態においては、ツールが、IEEE802.11Wi−Fi標準、ウルトラワイド−バンド(UWB)標準、ワイヤレスファイアーワイヤー、ワイヤレスUSB、又は別の高速ワイヤレスネットワーキング標準を用いて無線接続を介して処理システム101に結合される。
当業者は、上述の医療システム100が、複数の医療モダリティーに関連する診断データを収集するように動作可能であるシステムの単なる実施形態の例であるものと理解する。代替の実施形態においては、異なる及び/又は追加のツールが、処理システム101に通信可能に結合され、医療システム100へ追加及び/又は異なる機能性を与える。
ここで図2を参照すると、図示されるものは、医療システム100の部分の機能ブロック図であり、マルチモダリティー処理システム101の実施形態において実行する処理フレームワーク200を含む。処理フレームワーク200は、マルチモダリティー医療センシングデータの取得、処理、及び表示を含む処理システム101の動作を制御する様々な独立及び従属の実行可能なコンポーネントを含み、一般的には、処理システム101の処理フレームワーク200は、モジュールであり、拡張可能である。つまり、フレームワーク200は、各々が異なる機能及び医療センシングモダリティーに関連した独立したソフトウェア及び/又はハードウェアコンポーネント(又は拡張部)から成る。このモジュール設計により、既存の機能性に影響することなく、又は基礎のアーキテクチャーへの変更を要求せず、追加の医療センシングモダリティー及び機能を許容するようにフレームワークが拡張される。更には、内部メッセージ交換システムが、フレームワーク内でのモジュール間の独立したデータ通信を促進する。ある場合、処理フレームワーク200は、処理システム101における非一時的コンピューター読み取り可能記憶媒体に記憶されたコンピューター実行可能指令として実施される。他の場合、処理フレームワーク200は、処理システム101内で実行するハードウェア及びソフトウェアモジュールの組み合わせである。
一般的には、図2に示す実施形態においては、処理フレームワーク200は、複数の医療センシング装置から医療センシングデータを受け取り、データを処理し、またメインコントローラー120、臨床コントローラー118、又は他のグラフィカルディスプレイ装置を介して診断イメージとしてデータを出力するように構成された複数のコンポーネントを含む。フレームワーク200は、処理システム101のコアシステム機能を管理し、また複数のモダリティー特定コンポーネントを調整する幾つかのシステムレベルのコンポーネントを含む。例えば、フレームワーク200は、患者診断データの取得及び処理に関連したハードウェア及びソフトウェアモジュールを含む、処理フレームワーク200の複数の実行可能なコンポーネントの起動及びシャットダウンを調整するシステムコントローラー202を含む。システムコントローラー202は、フレームワーク202内で実行するコンポーネントの状態(ステート)をモニターするようにも構成され、例えば、コンポーネントが予期せずに実行を停止するか否かを決定する。加えて、システムコントローラー202は、インターフェイスを提供し、これを介して他のフレームワークコンポーネントが、システム構成及びステータス情報を取得する。ソフトウェアフレームワーク200がモジュールであるため、システムコントローラー202は、それが管理するフレーム内のコンポーネントから独立であり、コンポーネントにおきるエラー及び変更が、システムコントローラーの実行又は構造に影響しない。
上述のようにシステムアーキテクチャーの変更なしで様々な拡張が追加又は削除されるように、フレームワーク200が構成される。ある実施形態においては、フレームワーク200内で実行の拡張部が、拡張部の全体の機能性を一緒に実施する複数の実行可能なコンポーネントを含む。そのような実施形態においては、拡張部が、拡張部に関連した様々な実行可能なコンポーネントを起動、シャットダウン、及びモニターするように動作可能であるシステムコントローラー202と同様の拡張コントローラーを含む。例えば、システム起動時、システムコントローラー202が、医療モダリティーに対応する拡張コントローラーを起動し、次に、拡張コントローラーが、順に、そのモダリティーに関連した実行可能なコンポーネントを開始する。ある実施形態においては、システムコントローラー202が、構成ファイル(configuration file)といった構成メカニズムから読み出されたパラメーターを介して、拡張コントローラーを特定のモダリティー又は他のシステムタスクに関連させるまで、拡張コントローラーが未使用である。
処理フレームワーク200は、マルチモダリティー医療センシングワークフローの過程でフレームワーク202の実行可能なコンポーネントの実行を統制するように概して構成されたワークフローコントローラーコンポーネント204を更に含む。ワークフローコントローラーコンポーネント204が、様々な異なる態様において処理フレームワーク200により実行されるワークフローを統制する。
処理フレームワーク200は、処理フレームワークの様々なコンポーネントから受け取ったメッセージをログ付けするように構成されたイベントログ付けコンポーネント206を更に含む。例えば、システム起動中、システムコントローラー202は、起動されるコンポーネントのステータスに関するメッセージをイベントログ付けコンポーネント206へ送信し、これが、続いて、標準化されたフォーマットでログファイルにメッセージを書き込む。加えて、処理フレームワーク200が、マルチモダリティー医療センシング及び/又は治療ワークフローの過程でフレームワーク202の様々な実行可能なコンポーネントの間で制限されたシステムリソースの共有を管理するように構成されたリソース調停コンポーネント208を含む。例えば、マルチモダリティーワークフローの過程で、処理フレームワーク200内の異なるモダリティーに関連した2以上のコンポーネントが、メインコントローラー120上のグラフィカルディスプレイといった同一のシステムリソースに競合する。リソース調停コンポーネント208が、ロックシステム、キューシステム、又は階層衝突管理システムの使用といった様々な態様において限られたシステムリソースの共有を調整する。
一実施形態においては、システムコントローラー202、ワークフローコントローラーコンポーネント204、イベントログ付けコンポーネント206、及びリソース調停コンポーネント208が、非一時的コンピューター読み取り可能記憶媒体に記憶されたプロセッサー実行可能ソフトウェアとして実施されるが、代替の実施形態においては、これらのコンポーネントが、特別用途マイクロプロセッサー、フィールド・プログラマブル・ゲートアレイ(FPGAs)、マイクロコントローラー、グラフィック処理ユニット(GPU)、デジタル信号プロセッサー(DSP)といったハードウェアコンポーネントとして実施される。代替的に、処理フレームワークのコンポーネントが、ハードウェア及びソフトウェアの組み合わせとして実施される。実行可能なコンポーネントがFPGAsにおいて実施される実施形態においては、システムコントローラー202が、FPGAs内のプログラム可能ロジックを動的に変更し、その時に必要な様々な機能性を実施するように構成される。この側面としては、処理システム101が、システム起動中にシステムコントローラーにより割り当てられる1以上の未割り当てのFPGAsを含む。例えば、処理システム101の起動時、システムコントローラーが、OCT PIM及びそこに結合したカテーテルを検出し、OCT機能性に関連したシステムコントローラー又は拡張コントローラーが、OCT医療データを受け取り及び/又は処理する機能性を含むように未割り当てのFPGAsの一つ内のプログラム可能ロジックを動的に変更する。
マルチモダリティー処理システム101における異なるハードウェア及びソフトウェアコンポーネント間のシステム間通信を促進するため、処理フレームワーク200は、メッセージ配信コンポーネント210を更に含む。一実施形態においては、メッセージ配信コンポーネント210は、フレームワーク202内のコンポーネントからメッセージを受け取り、メッセージの意図された配信先を決定し、時機良くメッセージを配達するように構成される(つまり、メッセージ配信コンポーネントは、メッセージの配達において能動的な参加者である)。そのような実施形態においては、メッセージメタデータが、送信コンポーネントにより生成され、目的地情報、ペイロードデータ(例えば、モダリティータイプ、患者データなど)、優先情報、タイミング情報、又は他のそのような情報を含む。別の実施形態においては、メッセージ配信コンポーネント210は、フレームワーク202内のコンポーネントからのメッセージを受け取り、一時的にメッセージを保持し、フレームワーク内の他のコンポーネントによる取り出しのために利用可能にするように構成される(つまり、メッセージ配信コンポーネント210は、受動的なキューである)。いずれにしても、メッセージ配信コンポーネント210は、フレームワーク202内の実行可能なコンポーネント間の通信を促進する。例えば、システムコントローラー202は、メッセージ配信コンポーネント210を用いて、システム起動シーケンス過程で起動するコンポーネントのステータスを問い合わせ、次に、ステータス情報を受け取ると、メッセージ配信コンポーネントを用いて、ステータス情報をイベントログ付けコンポーネント206に送信し、これにより、それが、ログファイルに書き込まれる。同様に、リソース調停コンポーネント208は、メッセージ配信コンポーネント210を用いて、限定されたリソースへのアクセスを要求するコンポーネント間でリソーストークンを渡す。
メッセージ配信コンポーネント210が受動的なキューである一つの例示の実施形態においては、フレームワーク200のコンポーネントが、到来する医療センシングデータをメッセージにパケット化し、次に、メッセージ配信コンポーネント210上のキューへメッセージを送信し、そこで、イメージデータ処理コンポーネントといった他のコンポーネントにより受け取られる。更には、幾つかの実施形態においては、メッセージ配信コンポーネント210は、受け取ったメッセージをファースト・イン・ファースト・アウト(FIFO)の態様で利用可能にするように動作可能であり、最初にキューに到着したメッセージが、最初にキューから除外される。代替の実施形態においては、メッセージ配信コンポーネント210は、異なる態様、例えば、メッセージヘッダーに記憶された優先値により、メッセージを利用可能にする。一実施形態においては、メッセージ配信コンポーネント210は、処理システム101においてランダムアクセスメモリー(RAM)において実施されるが、他の実施形態においては、不揮発性RAM(NVRAM)、2次ストレージ(例えば、磁気ハードドライブ、フラッシュメモリーなど)又はネットワーク基準のストレージにて実施される。更には、一実施形態においては、メッセージ配信コンポーネント210に記憶されたメッセージが、ダイレクト・メモリー・アクセス(DMA)を用いて処理システム101においてソフトウェア及びハードウェアモジュールによりアクセスされる。
処理フレームワーク200は、セキュリティーコンポーネント212、マルチモダリティーケース管理(MMCM)コンポーネント214及びデータベース管理コンポーネント216を含むコアシステム機能性を提供する多数の追加のシステムコンポーネントを更に含む。ある実施形態においては、セキュリティーコンポーネント212は、様々なセキュリティーサービスを全体の処理フレームワーク及び個別のコンポーネントに提供するように構成される。例えば、IVUSデータ取得ワークフローを実施するコンポーネントは、IVUSデータがネットワーク接続上に送信される前、セキュリティーコンポーネント212により表される暗号化アプリケションプログラミングインターフェイス(APIs)を用いてIVUSデータを暗号化する。更には、セキュリティーコンポーネント212は、システムレベル認証及び認証サービスといった他のサービスを提供し、認証されたユーザーのみに処理フレームワークへのアクセスを制限し、また拡張可能フレームワーク内での未信頼のコンポーネントの拡張を阻止する。マルチモダリティーケース管理(MMCM)コンポーネント214は、複数の医療モダリティーに関連した診断データをより簡単に管理できる統合された患者レコードに調整及び統合するように構成される。そのような統合された患者レコードが、データベースにより効率的に記憶され、データアーカイブ及び検索により適する。この点において、データベース管理コンポーネント216は、データベース接続及び管理詳細が他のコンポーネントから隠されるように、フレームワーク200の他のコンポーネントにデータベースサービスの透過を阻止するように構成される。例えば、ある実施形態においては、データベース管理コンポーネント216は、データベースストレージ及び検索機能を含むAPIをフレームワーク200のコンポーネントに提示する。換言すれば、医療センシングワークフローコンポーネントは、データベース接続詳細を認識することなく、データベースコンポーネントを介してDICOM又はPACSサーバーといったローカル及び/又はリモートデータベースに診断データを送信することができる。他の実施形態においては、データベース管理コンポーネント216は、データベースアーカイブのために診断データを準備するデータフォーマットサービスといった追加及び/又は異なるデータベースサービスを実行するように動作可能である。
上述のように、マルチモダリティー処理システム101の処理フレームワーク200は、複数のモダリティーに関連した医療データを受け取り及び処理するように動作可能である。この点において、処理フレームワーク200が、複数のモジュール取得コンポーネント及びワークフローコンポーネントを含み、各々が、異なる医療センシング及び診断モダリティーに関連される。例えば、図2の説示の実施形態に示すように、処理フレームワーク200は、各々がIVUS PIM112からIVUS医療センシングデータを受け取り及び処理するように構成されたIVUS取得コンポーネント220及びIVUSワークフローコンポーネント222を含む。処理フレームワーク200のモジュール及び拡張可能な特性によれば、任意の数の追加の取得及びワークフローコンポーネントが、モダリティー「N」PIM228からデータを取得及び処理するモダリティー「N」取得コンポーネント224及びモダリティー「N」ワークフローコンポーネント226により示されるように、独立して追加され得る。例えば、ある実施形態においては、処理システム101は、OCT PIM114、ECGシステム116、冠血流予備量比(FFR)PIM、FLIVUS PIM、及びICE PIMに通信可能に結合される。他の実施形態においては、追加及び/又は異なる医療センシング、治療、又は診断装置が、同分野で知られた追加及び/又は異なるデータ通信接続を介して処理システム101に結合される。そのような場合、IVUS取得モジュール220に加えて、処理フレームワーク200は、FFR PIMからFFRデータを受け取るためのFFR取得コンポーネント、FLIVUS PIMからFLIVUSデータを受け取るためのFLIVUS取得コンポーネント、ICE PIMからICEデータを受け取るためのICE取得コンポーネント、及びOCT PIMからOCTデータを受け取るように動作可能であるOCT取得コンポーネントを含む。この意味においては、処理フレームワーク200の実行可能なコンポーネントと、通信可能に結合した医療機器(例えば、PIM、カテーテルなど)の間で通信される医療データが、センサーにより収集されたデータ、制御信号、電源レベル、装置フィードバック、及びセンシング、治療、又は診断手順に関連した他の医療データを含む。更には、ある実施形態においては、患者治療装置が、無線周波数アブレーション(RFA)、低温療法、又はアテローム切除術に関連する装置及び任意のPIM又はそのような治療手順に関連した他の制御機器といった処理システム101に通信可能に結合される。そのような実施形態においては、モダリティー「N」取得コンポーネント224及びモダリティー「N」ワークフローコンポーネント226は、制御信号を中継し、電源レベルを中継し、装置フィードバックを受け取り、及び、治療装置に配されたセンサーにより収集されたデータを受け取るといったことのより、治療装置に通信され、またそれを制御するように構成される。
一実施形態においては、取得コンポーネント220及び224が、接続した医療センシング装置からデータを受け取ると、コンポーネントが、データをメッセージにパケット化し、システム間通信を促進する。詳細には、コンポーネントは、到来するデジタルデータストリームから複数のメッセージを生成するように動作可能であり、各メッセージが、デジタル化された医療センシングデータ及びヘッダーの部分を含む。メッセージヘッダーが、メッセージ内に含まれる医療センシングデータに関連したメタデータを含む。更には、幾つかの実施形態においては、取得コンポーネント220及び224は、フレームワーク200の他の部分に送信される前、幾つかの方法においてデジタル化された医療センシングデータを操作するように動作可能である。例えば、取得コンポーネントは、システム内通信をより効率化するためにセンシングデータを圧縮し、又はデータの後処理を補助するためにデータを標準化、スケール(scale)、又はさもなければ他の方法でフィルターする。幾つかの実施形態においては、この操作が、モダリティー固有である。例えば、IVUS取得コンポーネント220は、次ステップの処理時間を節約するため、IVUSデータが送られる前、冗長なIVUSデータを特定及び廃棄する。取得コンポーネント220及び224は、データバス(例えば、PCIe、USB)により生成された中断への応答、どの医療センシング装置が処理システム101に接続されたかの検出、接続された医療センシング装置に関する情報の取得、センシング装置固有データの記憶、及びデータバスへのリソースの割り当てを含むデータの取得に関連した多数のタスクを追加的に実行する。上述のように、データ取得コンポーネントがお互いに独立しており、他のコンポーネントによるデータ取得を妨害せず、インストール又は除外される。加えて、取得コンポーネントは、基礎のデータバスソフトウェア層(例えば、APIsの使用を通じて)から独立しており、従って、第三者により生成されて、第三者の医療センシング装置からのデータ取得を促進する。
IVUSワークフローコンポーネント222といった処理フレームワークのワークフローコンポーネントは、メッセージ配信コンポーネント210を介して個別の取得コンポーネントから未処理の医療センシング及び/又は診断データを受け取る。一般的には、ワークフローコンポーネントは、計算された時間でデータ収集を開始及び停止し、要求及び処理された患者データを表示し、及び臨床医による取得した患者データの分析を促進するといったことにより、医療センシングデータの取得を制御するように構成される。この側面としては、ワークフローコンポーネントは、患者から収集された未処理の医療データを、臨床医が患者の状態を評価することを可能にする診断イメージ又は他のデータフォーマットに変換するように動作可能である。例えば、IVUSワークフローコンポーネント222は、IVUS PIM112から受け取ったIVUSデータを解釈し、データを人間読み取り可能なIVUSイメージに変換する。一実施形態においては、フレームワーク内のソフトウェアスタックが、一連のAPIsを表し、これで、フレームワークのワークフローコンポーネント222及び他のワークフローコンポーネントが、計算リソース、メッセージ配信コンポーネント210、及び通信リソースといったシステムリソースへのアクセスをコールする。要求されたデータを処理した後、モダリティー中心ワークフローコンポーネントは、処理されたデータを含む1以上のメッセージを、メッセージ配信コンポーネント210を介してフレームワーク200内の他のコンポーネントに送信する。幾つかの実施形態においては、そのようなメッセージを送信する前、コンポーネント群は、メッセージが処理されたデータを含むことを示すフラグをヘッダーに挿入し得る。加えて、幾つかの実施形態においては、医療センシングデータの処理後、コンポーネントが、データベース管理コンポーネント216を用い、処理されたデータを、ローカルに取り付けられたマスストレージ装置又はネットワーク基準のPACSサーバー127といったアーカイブシステムに送信し得る。処理フレームワーク200のモジュールアーキテクチャーに応じて、ワークフローコンポーネント222及び226がお互いに独立しており、他のコンポーネントを妨害することなくインストール及び除外され、第三者により記述される。更には、それらの独立性のため、それらは、多数の医療センシング装置からの信号及びイメージングデータを同時に処理するように動作可能である。
加えて、処理フレームワーク200は、同時登録(co-registration)インターフェイスコンポーネント230及び同時登録ワークフローコンポーネント232を含み、これらは、任意の数のデータ収集ツール234からのデータを取得及び処理し、フレームワーク内の他の取得コンポーネントの一つにより取得されたデータと、取得したデータを同時に登録するように構成される。より詳細には、同時登録インターフェイスコンポーネント230は、図1のECG装置116又は血管造影法システム117といった、任意の数のモダリティーに関連した医療データ取得ツールに通信可能にインターフェイスを取るように動作可能である。ある実施形態においては、インターフェイスコンポーネント230が、処理システム101により取得された他のセンシングデータと同時登録される態様で、到来するモダリティーデータを標準化及び/又は変換するように動作可能である。医療データが、同時登録インターフェイスコンポーネント230により取得されるため、同時登録ワークフローコンポーネント232は、医療センシング装置間で空間的又は時間的にデータ収集を同期化し、空間又は時間的な登録マーカーに基づいて2以上の取得したデータセットを整列し、及び臨床医が患者の状態を評価することを可能にする同時登録される診断イメージ又は他の人間読み取り可能データを生成するといったことにより、異なるモダリティーからのデータの同時登録を促進するように構成される。更には、他の実施形態においては、同時登録ワークフローコンポーネント232は、前回生成された2Dイメージ又は3Dモデルを用いて2次元(2D)又は3次元(3D)空間にカテーテル収集データを空間的に同時登録するように動作可能である。例えば、カテーテル基準のセンシングツールが、基準指標(fiducials)を含み、センシング手順過程で位置データを生成するように追跡され、同時登録ワークフローコンポーネント232が、この位置データを前回取得したMRIデータに対して登録する。また、更には、同時登録ワークフローコンポーネント232が、IVUS取得コンポーネント220及びモダリティー「N」取得コンポーネント224といったフレームワーク200内の生来の取得コンポーネントにより取得されたマルチモダリティーデータの同時登録を促進する。加えて、幾つかの実施形態においては、リアルタイムクロックが、同時登録ワークフローコンポーネント232に一体化される。米国仮特許出願No.61/473,591「分散医療センシングシステム及び方法」が、より詳細に医療センシングデータ収集の時間的な同期を開示し、その全体が参照により本明細書に組み込まれる。
図1との関係で上述のように、処理システム101を利用する臨床医が、メインコントローラー120及び臨床コントローラー118を介して、ワークフローを制御し、診断イメージを見る。メインコントローラー120及び臨床コントローラー118が、各々、複数のユーザーインターフェイス(UI)拡張部(又はコンポーネント)を支持するユーザーインターフェイス(UI)フレームワークサービス240及び242を含む。一般的には、UIフレームワークサービス240及び242により支持されるUI拡張部が、各々が、医療センシングモダリティーに対応し、関連の取得ワークフローの制御のため、及び処理されたセンシングデータの表示のためのユーザーインターフェイスをレンダリングするように動作可能である。処理フレームワーク200と同様、UIフレームワーク240及び242は、お互いに独立しているUI拡張部を支持する点において拡張可能である。つまり、そのモジュール設計により、UIフレームワーク240及び242が、既存のユーザーインターフェイスに影響することなく、若しくは基礎のUIアーキテクチャーに変更を要求することなく、追加の医療センシングモダリティーユーザーインターフェイスを許容するように拡張される。図示の実施形態においては、メインコントローラー120が、システムUI拡張部244を含み、これが、コアシステム制御部及び構成オプションを含むユーザーインターフェイスをレンダリングする。例えば、臨床医が、システムUI拡張部244により表されたユーザーインターフェイスを用いて処理システム101を起動、シャットダウン、又はさもなければ管理する。一実施形態においては、メインコントローラー120のコンポーネントが、処理フレームワーク200の一部として考えられる。IVUS・UI拡張部246及び248が、各々、メインコントローラー120及び臨床コントローラー118について、ユーザーインターフェイスをレンダリングする。例えば、IVUS・UI拡張部246及び248が、IVUSワークフローを制御するために用いられるタッチスクリーンボタンをレンダリング及びディスプレイ表示し、またIVUSワークフローコンポーネント222により生成されたIVUS診断イメージをレンダリング及びディスプレイ表示する。同様に、モダリティー「N」UI拡張部250及び252が、モダリティー「N」ワークフローに関連した制御部及びイメージをレンダリングする。
一実施形態においては、UIフレームワークサービス240及び242が、APIsを表し、これで、UI拡張部は、ルック・アンド・フィール(look-and-feel)ツールボックス及びエラーハンドリングリソースといったシステムリソースへのアクセスをコールする。ルック・アンド・フィールツールボックスAPIsが、UI拡張部に、異なるモダリティーワークフローのための共通のボタン、パラレルワークフローフォーマット、及びデータプレゼンテーションスキームを有する標準化されたユーザーインターフェイスを提示することを可能にする。この態様において、臨床医は、追加のユーザーインターフェイスの訓練無しで、取得モダリティー間をより簡単に移行する。更には、同時登録UI拡張部は、多数のモダリティーからの処理されたイメージ又はシグナリング(signaling)データを提示及び/又は組み合わせる。例えば、UI拡張部が、IVUSイメージングデータに隣接して心電図(ECG)波を表示し、若しくはOCTイメージ上に前回に引かれた境界に重畳されるIVUSイメージを表示する。更には、幾つかの実施形態においては、UIフレームワークサービス240及び242が、現在実行中のUI拡張部を調整するマルチタスクフレームワークを含む。例えば、処理システム101が一つよりも多くのモダリティーに関連するデータを同時に取得する場合、UIフレームワークサービス240及び242が、ユーザーに対して、モダリティー選択スクリーンを提示し、ここで、所望のユーザーインターフェイスが選択される。
UIフレームワークサービス240が、メッセージ配信コンポーネント210を介して処理フレームワーク200のコンポーネントと通信する。図2に図示の実施形態に示すように、臨床コントローラー118が、ネットワーク接続254を介して処理フレームワーク200に通信可能に結合される。ネットワーク接続254は、イーサネット(登録商標)接続又はIEEE 802.11 Wi−Fi接続といった任意の種類の有線又は無線ネットワーク接続である。代替として、メイン及び臨床コントローラー120及び118の一つ又は両方が、PCIeデータバス接続、USB接続、サンダーボルト(Thunderbolt)接続、ファイアーワイヤー(FireWire)接続、又は他の幾つかの高速データバス接続といったローカルバス接続を介して処理フレームワーク200に通信する。更には、図2の図示の実施形態においては、臨床コントローラーが、メッセージ配信コンポーネント256を含み、これが、臨床コントローラー118のUI拡張部と処理フレームワーク200のコンポーネントの間でメッセージ基準の通信を促進するように構成される。ある実施形態においては、メッセージ配信コンポーネント256が、ネットワーク接続254上で到来する時、ネットワーク通信パケットから診断イメージデータを抽出する。
処理フレームワーク200は、追加のコンポーネントを含み、これにより、臨床医が、マルチモダリティー処理システム101において実行するワークフローにアクセス及び/又は制御することが許容される。例えば、フレームワーク200が、リモートアクセスコンポーネント260を含み、これが、ネットワークコンソール130(図1)を処理フレームワーク200に通信可能に結合する。一実施形態においては、リモートアクセスコンポーネント260が、処理システム101の制御機能をネットワークコンソール130にエクスポートするように動作可能であり、ネットワークコンソールが、そのユーザーインターフェイスにおいてワークフロー制御機能を提示ことができる。ある実施形態においては、リモートアクセスコンポーネント260が、ネットワークコンソール130からワークフローコマンドを受け取り、これらをリモートアクセスワークフローコンポーネント262に転送する。リモートアクセスワークフローコンポーネント262は、一連のコマンド及び診断データを要求し、これに対し、リモートユーザーがネットワークコンソール130を介してアクセスする。更には、レガシー制御コンポーネント264及びレガシー制御ワークフローコンポーネント266は、モダリティーワークフロー制御及びデータへのあるレベルのアクセス及びデータを、レガシーコンソール268(例えば、ボタンコンソール、マウス、キーボード、スタンドアローンモニター)のユーザーに提供する。
一実施形態においては、処理フレームワーク200のコアシステムコンポーネント及びモダリティー関連のコンポーネントといった追加コンポーネントは、非一時的コンピューター読み取り可能記憶媒体上に記憶されたプロセッサー実行可能ソフトウェアとして実施されるが、代替の実施形態においては、これらのコンポーネントが、特別用途マイクロプロセッサー、フィールド・プログラマブル・ゲートアレイ(FPGAs)、マイクロコントローラー、グラフィクス処理ユニット(GPU)、デジタル信号プロセッサー(DSP)といったハードウェアコンポーネントとして実施される。代替として、処理フレームワークのコンポーネントが、ハードウェア及びソフトウェアの組み合わせとして実施される。
当業者は、図2の処理フレームワーク200が単に例示の実施形態であり、代替の実施形態においては、フレームワークが、様々な医療センシングワークフローを実行するために構成された異なる及び/又は追加のコンポーネントを含み得るものと理解する。例えば、処理フレームワーク200は、拡張可能なコンポーネントを更に含み、これが、ヒトの血管の狭窄の評価のために構成され、又はコンピューター補助手術又はリモート制御手術の制御を促進するために構成される。
ここで図3を参照すると、図示のものは、IVUSワークフローコンポーネント222及びモダリティーNワークフローコンポーネント226を含む処理フレームワーク200の部分の機能ブロック図である。上述したように、処理フレームワーク200においては、医療モダリティーに関連した各ワークフローコンポーネントが、概して、患者からそのモダリティーにおける医療データを取得するようにワークフローを制御するように概して構成される。特には、各モダリティーワークフローコンポーネントが、少なくとも、医療機器により取得されるデータを制御し、生の取得データを処理し、ユーザーインターフェイスにおいて処理された患者データを表示し、臨床医による取得医療データの分析を促進するように構成される。この一側面としては、ワークフローコンポーネントが、患者から収集された未処理の医療データを、臨床医に患者の状態を評価することを可能にする診断イメージ又は他のデータフォーマットに変換するように動作可能である。例えば、IVUSワークフローコンポーネント222が、IVUSトランスデューサーから受け取った生データを解釈し、そのデータをヒトが理解できるIVUSイメージに変換する。
本開示の側面によれば、IVUSワークフローコンポーネント222及びモダリティーNワークフローコンポーネント226といったモダリティーワークフローコンポーネントは、上述の機能を実施する複数の内部階層的なステートマシーンから成る。ワークフローコンポーネントにおける各ステートマシーンが、取得ワークフローの異なる側面を実施する。例えば、一つのステートマシーンは、データ取得を制御するように構成され、一つのステートマシーンがユーザーインターフェイスを制御するように構成される。そのようなコンポーネント規制の区分が、ワークフロー実施を単純化し、従って、取得ワークフロー過程での誤動作又はエラーの可能性を低減する。従って、患者の安全性が改善される。
図3に図示のように、IVUSワークフローコンポーネント222が、IVUS拡張コントローラー302、ビジネスロジックステートマシーン304、及びグラフィカルユーザーインターフェイス(GUI)ロジックステートマシーン306を含む。拡張コントローラー302は、IVUSワークフローコンポーネント222に関連した様々な実行可能なコンポーネントを起動、シャットダウン、及びモニターするように構成される。例えば、システムの起動時、拡張コントローラー302が、まず起動し、次に、続いて、ワークフローコンポーネント222内の個別のステートマシーンを起動及びモニターする。この点について、マルチモダリティー医療システム内の独立のコンポーネントの従属基準の起動のための方法及びシステムが、米国仮特許出願No.61/720,816「マルチモダリティー医療システムにおける従属基準の起動」に開示されており、その全体において参照により本明細書に組み込まれる。
IVUSワークフローコンポーネント222においては、ビジネスロジックステートマシーン304は、患者からIVUSデータを取得及び処理することに関連したワークフロー機能を実施する階層的なステートマシーンである。特には、ビジネスロジックステートマシーン304は、IVUS取得ワークフローの異なる側面に対応する複数の異なる状態を有する。各状態は、順に、特定のワークフロータスクを実施する1以上のアクティビティーを含む。図4及び5に関連してより詳細に記述のように、そのようなアクティビティーが独立して実施され、従って、多数の異なる状態が同一のアクティビティーを再利用することができる。ビジネスロジックステートマシーン304の幾つかの状態例及びアクティビティー例が、図4に関連してより詳細に記述される。
より詳細には、ビジネスロジックステートマシーン304は、患者からのIVUSデータの取得を制御するように構成される。図示の実施形態においては、ビジネスロジックステートマシーン304が、IVUS取得コンポーネント220にコマンドを発行し、これが、続いて、患者の管内に配置されたIVUSトランスデューサーといったIVUS取得機器308を制御する。例えば、ビジネスロジックステートマシーン304は、IVUS取得コンポーネント220にコマンドを送信し、データ取得を開始し、そして、取得コンポーネントが、続いて、IVUSトランスデューサーを活性化する。IVUS取得機器308により収集された生のIVUSデータが、IVUS取得コンポーネント220を介してビジネスロジックステートマシーン304に送り戻される。生のIVUSデータを受け取ると、ビジネスロジックステートマシーン304は、ユーザーインターフェイスを介した操作者への表示のためそのデータをヒト読み取り可能なIVUSイメージに変換するように構成される。この点について、IVUSイメージは、適切な処理のためGUIロジックステートマシーン306に送信される。もし操作者がIVUS手順を記録することを選択するならば、ビジネスロジックステートマシーン304が、生成されたIVUSイメージをデータ記憶部310に記憶する。データ記憶部310が、データベースといった任意の種類の論理データ記憶部を実施し、マルチモダリティー処理システム101におけるハードディスク又はネットワーク基準の記憶場所といった任意の種類の記憶媒体に記憶される。一実施形態においては、記憶部310が、共有患者情報管理システム(SPIMS)を通じてアクセスされるXMLデータベースである。幾つかの実施形態においては、ビジネスロジックステートマシーン304は、同様にデータ記憶部310に生のIVUSデータを記憶する。ビジネスロジックステートマシーン304は、操作者がデータのレビューを望む時、又は記憶されたデータがアーカイブ媒体又はリモートのアーカイブデータベースにアーカイブされるように選択される時、データ記憶部310から記憶されたデータを取り出すように更に構成される。この点について、マルチモダリティー医療データのアーカイブのための方法及びシステムが、米国仮特許出願No.61/746,806「マルチモダリティー選択性アーカイブシステム及び方法」に開示され、その全体が参照により本明細書に組み込まれる。
GUIロジックステートマシーン306は、それがまたIVUS取得ワークフローの異なる側面に対応する複数の異なる状態を有する階層的なステートマシーンであることにおいてビジネスロジックステートマシーン304と同様である。GUIロジックステートマシーン306の状態が、グラフィカルユーザーインターフェイスにおいて取得したIVUSデータの表示及びレビューに関連したワークフロー機能を実施する。GUIロジックステートマシーン306の幾つかの状態例及びアクティビティー例が図5に関連してより詳細に記述される。
より詳細には、GUIロジックステートマシーン306は、IVUS取得ワークフローに関連した様々なスクリーン及び相互作用要素をレンダリングするように構成される。例えば、GUIロジックステートマシーン306は、ビジネスロジックステートマシーン304により生成されたIVUSイメージを受け取り、これらをディスプレイビューポートに表示する。更には、レビュー状態の時、GUIロジックステートマシーン306は、測定及び診断目的のため前回取得されたIVUSイメージを表示するように構成される。GUIロジックステートマシーン306は、ビジネスロジックステートマシーン304と並行に動作し、多数のワークフロータスクを同時に実行する。図示の実施形態においては、IVUS固有ユーザーインターフェイス要素をメインコントローラー120上にレンダリングするため、GUIロジックステートマシーン306は、コマンドをIVUS・UI拡張部246に送信し、これが、続いて、UIフレームワークサービス240により表される共通のレンダリング機能をコールする。IVUS固有ユーザーインターフェイス要素を臨床コントローラー118上にレンダリングするため、GUIロジックステートマシーン306は、IVUS・UI拡張部248にコマンドを送信し、これが、続いて、UIフレームワークサービス242により表される共通のレンダリング機能をコールする。
図3の実施形態に図示のIVUSワークフローコンポーネント222は、単なるワークフローコンポーネント例であり、他の実施形態においては、ワークフローコンポーネントは、追加のステートマシーンを含み、これが、IVUS取得ワークフローに関連の追加のタスクを実行する。更には、一実施形態においては、IVUS取得コンポーネント220が、IVUSワークフローコンポーネント222の内部又は外部の階層的なステートマシーンとして実施される。
処理フレームワーク200のモジュール及び拡張可能な性質に応じて、マルチモダリティー医療処理システムは、特定の医療モダリティーに関連した任意の数の更なるワークフローコンポーネントを含み得る。図3に図示の実施形態は、代表的なモダリティーNワークフローコンポーネント226を含み、これが、IVUSワークフローコンポーネント222と同様であるが、異なる医療モダリティー取得又は治療ワークフローに関連した機能を実施するように構成される。例えば、モダリティーNワークフローコンポーネント226が、OCTワークフロー、VHワークフロー、FL−IVUSワークフロー、IVPAイメージングワークフロー、FFRワークフロー、iFRワークフロー、XAワークフロー、CFRワークフロー、コンピューター・トモグラフィーワークフロー、ICEワークフロー、FLICEワークフロー、血管内パルポグラフィーワークフロー、経食道超音波ワークフロー、RFA療法ワークフロー、低温療法ワークフロー、又はアテローム切除術ワークフローに関連する。
IVUSワークフローコンポーネント222と同様、モダリティーNワークフローコンポーネント226は、2つの階層的なステートマシーン、ビジネスロジックステートマシーン314及びGUIロジックステートマシーン316を含み、これらが、モダリティーN拡張コントローラー318により起動及びモニターされる。一般的には、ビジネスロジックステートマシーン314が、モダリティーN取得機器320によるデータ取得を制御し、データ記憶部310にモダリティーNデータを記憶する。GUIロジックステートマシーン316は、一般的には、モダリティーN取得又は治療ワークフローに関連したユーザーインターフェイス要素及びデータをレンダリングするように構成される。
マルチモダリティー処理システム101における複数のモダリティーワークフローコンポーネントが、処理システム内の、データ記憶部310といった、共通の共有のリソースに依存し、従って、あるレベルの協調が、リソース・デッドロックを阻止するために要求される。図3に図示の実施形態においては、リソース調停コンポーネント208が、モダリティーコンポーネント208により共有されたリソースの利用を管理する。この点について、マルチモダリティー医療システムにおけるリソース管理の方法及びシステムが、米国仮特許出願No.61/739,833「マルチモダリティー医療システムにおけるリソース管理」に開示され、その全体が参照により本明細書に組み込まれる。
ここで図4を参照すると、図示のものは、図3に図示のビジネスロジックステートマシーン304についての単純化された状態フロー図である。特には、状態フロー図は、階層有向グラフであり、IVUS取得ワークフローの過程でビジネスロジックステートマシーン304が取る複数の状態を含む。一般的には、処理フレームワーク200に関して、ステートマシーンは、閉じた状態内に入れ子のサブ状態のシーケンスを含み得る点において階層的である。そのような入れ子状態について、まず閉じた状態に入る時に続く内部状態(inner state)の一つへの移行を規定する初期の偽状態(pseudo-state)ノードがある。更には、状態が、状態への進入の際にアクションを実行し、状態の間にアクションを継続し、及び状態から退去する時にアクションを実行する。状態間の移行の間、移行アクション(又は効果)が実行され得る。移行は、外部又は内部のいずれかにおいて、同一の状態に戻ることもできる。内部移行については、移行アクションが実行される。外部移行については、ソース状態(source state)の退去アクションが実行され、次に、移行アクション、次にターゲット状態のエントリーアクションが実行される。換言すれば、移行自体が、ステートマシーンの一部であるが、移行過程で生じる効果は、結果としての挙動である。
加えて、状態が、3種類のオペレーションを有し、これが、状態要素:エントリー、退去、及びオペレーションの実行で規定される。エントリー及び退去オペレーションは、エントリー及び退去ローカルコード(つまり、特定の状態に固有のコード)のために確保される。対照的に、状態の「実行」オペレーションが、状態の外で実行されるアクティビティーで実行される。より詳細には、トランスデューサーの活性化といったアクティビティーが、独立のモジュールとして実施され、異なるステートマシーンにおいて複数の異なる状態により利用される(コールされる)。例えば、IVUS GUIステートマシーンのレコード状態及びOCT GUIステートマシーンのレコード状態が、両方とも、レコーディングボタンをレンダリングする同一のアクティビティーモジュールをコールする。アクティビティーモジュールがソフトウェア、ハードウェア、又はこれらの幾つかの組み合わせとして実施される。
図4に図示の実施形態においては、ビジネスロジックステートマシーン304が、複数の入れ子状態を含み、各々が、1以上の独立のアクティビティーをコールする。ステートマシーン304が、3つの上位レベル状態を含む:実行(running)400、シャットダウン、及び例外(exception)404。ステートマシーン304は、実行状態400から、シャットダウン信号が受け取られる時、シャットダウン状態402に移行し、フォールトが受け取られる時、例外状態404に移行する。実行状態400が2つのサブ状態を含む:カテーテル又はPIMが非接続にされる時にエントリーされるイメージング状態への待機406、及びイメージング準備完了状態408、これは、続いて、IVUSデータ取得の過程でエントリーされる多数のサブ状態を含む。ステートマシーン304は、初期の偽状態410から、IVUSアイドル状態412、IVUSイメージング状態414、及びIVUSフリーズ状態416の間で移行する。一つの場合、操作者がIVUS取得GUIディスプレイ上の「フリーズ」ボタンを操作する時、ステートマシーン304は、IVUSイメージング状態414及びIVUSフリーズ状態416の間で移行する。注目すべきは、図4に図示の状態は、単なる状態例であり、ビジネスロジックステートマシーン304は、アーカイブ状態といった、IVUSワークフローの様々な側面に対応して多数の追加及び/又は異なる状態を持ち得る。
ビジネスロジックステートマシーン304は、操作者がGUI又は医療機器のボタンを操作する、若しくはカテーテル及びPIMといった機器を接続又は非接続にするといったトリガーアクションに基づいて状態間を移行する。この点については、モダリティーワークフローコントローラーにおけるステートマシーンが新しい状態に移行する時はいつも、典型的には、幾つかの挙動(取得したデータのレコーディング、アーカイブ、ディスプレイ表示等)を開始する。移行規則からこの挙動の詳細を分離するため、各状態は、1以上のアクティビティーモジュールを利用し、この分離を明確にする。上述のように、アクティビティーモジュールは、状態に関連のメイン挙動(群)を実施する。状態とアクティビティーの間の分離が、多数の異なるモダリティーワークフローコンポーネント間での、同一のステートマシーンの再利用、移行規則の同一のセットの具現化を含む重要な利益を提供する。更には、そのようなモジュールアクティビティーが、多くの異なる状態により再利用される。
図4に図示の実施形態においては、IVUSイメージング状態414が、IVUSデータの取得に関連したタスクを実施する複数のアクティビティー418を利用する。例えば、アクティビティー418は、IVUSトランスデューサーを活性化し、患者の管内のデータの収集を開始すること、及びIVUSトランスデューサーが配置されたカテーテルの引き戻しを開始及び停止することを含む。更には、IVUSイメージング状態414は、生のIVUSデータをヒト読み取り可能なIVUSイメージに変換するアクティビティー、及び生成されたIVUSイメージをデータ記憶部に記憶するアクティビティーを含む。更には、IVUSイメージの取得時のリアルタイム表示の過程で、操作者は、イメージストリームの特定のイメージフレームをブックマークするオプションを持ち得る。
図4に図示のように、IVUSフリーズ状態416は、例えば、操作者がGUIを操作することにより、ライブIVUSイメージストリームがフリーズする時に実行されるタスクを実行する複数のアクティビティー420を含む。注目すべきは、IVUSイメージ状態414により利用された同一の記憶ブックマークアクティビティーモジュールが、IVUSフリーズ状態416によっても利用される。当業者は、IVUSイメージ状態414及びIVUSフリーズ状態416に関連したアクティビティー404のリストが、単なる例示のリストであり、状態414及び416が、追加及び/又は異なるアクティビティーを含み得るものと理解する。例えば、ビジネスロジックステートマシーンの状態により利用される追加のアクティビティーが、ユーザーインターフェイスから開始される要求に応じてデータ記憶部からIVUSイメージを引き出すことを含み得る。IVUSイメージを見る時、操作者は、IVUSイメージに表される特徴の測定値、IVUSイメージの注釈、IVUSイメージの特徴のラベルといったIVUSイメージから派生するデータを生成し得る。データレビュー状態402は、測定値を計算するため、及び測定値及び他の派生データをデータ記憶部に記憶するためのアクティビティーモジュールを利用する。
この点について、マルチモダリティー医療イメージの改良された測定、操作、ナビゲーション、表示、及び注釈のための方法及びシステムが、米国仮特許出願No.61/746,012「マルチモダリティー医療イメージングシステムにおけるデータラベリング及びインデックシング」、米国仮特許出願No.61/746,010「マルチモダリティー医療イメージングシステムにおける測定及び改良」、米国仮特許出願No.61/745,999「マルチモダリティー医療イメージングシステムのためのジェスチャー基準のインターフェイス」、及び米国仮特許出願No.61/745,986「マルチモダリティー医療イメージングシステムにおける測定ナビゲーション」に開示されており、これら全てが、これらの全体が参照により本明細書に組み込まれる。
加えて、IVUSワークフローコンポーネントとは異なるモダリティーワークフローコンポーネントにおけるステートマシーンの様々な状態が、異なるアクティビティーモジュールを利用する。例えば、FFRワークフローコンポーネントにおけるステートマシーンのデータ取得状態が、大動脈圧を取得するためのセンサーを制御するアクティビティーモジュール、末端圧を取得するためのセンサーを制御するアクティビティー、及び圧力差計算を実行するアクティビティーを用いる。
ここで図5を参照すると、図示のものは、図3に図示のIVUSワークフローコンポーネント222のGUIロジックステートマシーン306についての単純化された状態フロー図である。特には、状態フロー図は、複数の入れ子(つまり、階層的)状態を示し、GUIロジックステートマシーン306が、IVUS取得ワークフローの過程にある。GUIロジックステートマシーン306の状態は、各々、IVUS取得ワークフローに関連したユーザーインターフェイスをレンダリングすることに関連した1以上の独立のアクティビティーモジュールをコールする。ステートマシーン306は、3つの上位レベル状態を含む:実行500、シャットダウン502、及び例外504。ステートマシーン306は、実行500から、シャットダウン信号が受け取られる時、シャットダウン状態502に移行し、フォールトが検出される時、例外状態504に移行する。実行状態500は、図示の実施形態において5つのサブ状態を含む:イメージング・アイドル・ディスプレイ状態506、ライブ・ディスプレイ状態508、フリーズ・ディスプレイ状態510、レビュー中ディスプレイ状態(review still display state)512、レコーディング・ディスプレイ状態514、及びレビュー・フルモーション・ディスプレイ状態516。IVUS取得ワークフローの過程で、ステートマシーン306が、操作者がGUI内のボタンを操作し、IVUS機器のボタンを操作し、及びそのような機器を接続及び非接続にするといったイベントトリガーに基づいて様々な状態の間で移行する。幾つかの実施形態においては、GUIロジックステートマシーン306の状態が、関連のユーザーインターフェイスのスクリーンに対応する。例えば、ステートマシーン306は、ユーザーがユーザーインターフェイスにおいてデータレビュースクリーンからデータ取得スクリーンに切り替える時、レビュー中・ディスプレイ状態512とライブ・ディスプレイ状態508の間で移行する。
患者からのIVUSデータの取得過程で、GUIロジックステートマシーン306は、概して、ライブ・ディスプレイ状態508、レコーディング・ディスプレイ状態514、及びフリーズ・ディスプレイ状態510の一つである。また、操作者が前回取得したデータをレビューし、また測定値といった派生データを生成する時、GUIロジックステートマシーン306は、概して、レビュー中ディスプレイ状態512、レビュー・フルモーション・ディスプレイ状態516の一つである。注目すべきは、状態506、508、510、512、514、及び516は、単なる状態例であり、GUIロジックステートマシーン306は、IVUSワークフローの様々な側面に対応して任意の数の追加及び/又は異なる状態を有し得る。例えば、GUIロジックステートマシーン306は、ユーザーインターフェイス内のユーザーアクションに基づいてステートマシーンが移行する多数の追加の状態を有し、例えば、レコーディング状態は、ユーザーがレコーディングボタンを操作する時にトリガーされ、測定状態は、ユーザーが測定ボタンを操作する時にトリガーされる。
ビジネスロジックステートマシーン304の状態と同様、GUIロジックステートマシーン306の状態は、各々、状態変化をトリガーするために用いられる任意の移行状態ロジックから分離される1以上の独立実施のアクティビティーモジュールを利用する。GUIロジックステートマシーン306状態のアクティビティーが、IVUS・UI拡張部246により表されるユーザーインターフェイス機能をコールすることによりユーザーインターフェイスロジックを実施する。つまり、一実施形態においては、アクティビティーが、UI要素を実際にレンダリングするためのコードを含まない−これらは、ユーザーインターフェイスレイアウト及びワークフローを生成するためのプログラムロジックを含む。従って、例えば、アクティビティーがユーザーインターフェイスにレコーディングのためにスクリーンを変えることを伝達する必要がある時、例えば、適切なボタンを有効又は無効にすることにより、インターフェイスを通じた変更を行い、フレームワーク200での任意のUI拡張を行う。
ライブ・ディスプレイ状態508は、IVUSデータの取得に関連したタスクを実行する複数のアクティビティー520を利用する。例えば、アクティビティー520は、ユーザー相互作用要素を含むIVUS取得スクリーンをレンダリングすること、及び取得スクリーン内に取得されるIVUSイメージを表示することを含む。この点について、IVUS取得スクリーン例が図6に詳細に図示される。IVUSトランスデューサーにより取得されるデータから生成される患者の管のイメージが表示され、患者を通じたカテーテルの配送を操作者が案内することが許容される。ライブ・ディスプレイ状態508のアクティビティー520は、レコーディングボタン、フリーズボタン、及びフレームキャプチャーボタンといったスクリーン上の相互作用要素を生成し、スクリーン上の要素でユーザー相互作用を取得する。図5に戻って参照すると、レコーディング・ディスプレイ状態514は、アクティビティーモジュールを用いて、IVUSトランスデューサーにより取得されるIVUSイメージのレコーディングの停止及び開始のユーザーインターフェイス要求(ボタン押圧といったもの)を取り扱う。更には、アクティビティーは、IVUSイメージストリームにブックマーク又は同様のタスクを追加する要求を取り扱うことを含む。加えて、フリーズ・ディスプレイ状態510は、IVUSイメージストリームの特定のフレームを取得し、IVUSイメージストリームをフリーズし、及びフリーズされたイメージに関連してブックマークするアクティビティーを含む。当業者は、ライブ・ディスプレイ状態508、レコーディング・ディスプレイ状態514、及びフリーズ・ディスプレイ状態510に関連のアクティビティーのリストが単なるリストの例であり、状態が追加及び/又は異なるアクティビティーモジュールを利用し得るものと理解する。
GUIロジックステートマシーン306のデータレビュー状態512及び516が、前回取得のIVUSデータの取り出し及びレビューに関連したタスクを実施するアクティビティー522及び524を利用する。アクティビティー522及び524が、ユーザー相互作用要素を含む取得したデータレビュースクリーンをレンダリングすること、及び前回取得したIVUSイメージを表示することを含む。一実施形態においては、特定のIVUSデータセットを表示するとのユーザーインターフェイスにおけるユーザー要求を受け取ると、GUIロジックステートマシーン306は、ビジネスロジックステートマシーン304に要求を送信し、データ記憶部から要求データセットを取り出す。取得された医療データレビュースクリーンの例が図7に図示される。ディスプレイ・スクリーンの例が、IVUS取得手順の過程で取得されたイメージデータセットを示す。IVUSイメージをレビューするにおいて、操作者は、測定を行い、またラベルや他の注釈をデータセットのIVUSイメージ上に追加する。図8は、取得された医療データレビュースクリーンの別例であるが、隣り合って表示された異なるモダリティーに関連したデータを示す。詳細には、患者から取得されたIVUSイメージは、同一の患者から取得されたFFRデータと同時に表示される。IVUSデータ及びFFRデータが、同一のカテーテルラボ手順の過程又は異なるカテーテル手順の過程で収集される。GUIロジックステートマシーン306のデータレビュー状態512及び516が、レビュースクリーンにおいて表示されるマルチモダリティーデータを空間的又は時間的に同期する同期化アクティビティーを含む。マルチモダリティー医療システムにおける前回取得されたデータの管理及び表示のための方法及びシステムが、米国仮特許手段No.61/746,897「マルチモダリティーケースエクスプローラーシステム及び方法」に開示され、その全体において参照により本明細書に組み込まれる。
図5に戻り参照すると、レビュー中ディスプレイ状態512は、更に、アクティビティーモジュールを利用して、ユーザーに、IVUSイメージの要素の測定を行うことや、IVUSイメージに注釈、図、及びラベルを追加することを許容する。また、レビュー中ディスプレイ状態512は、ユーザーに、IVUSイメージの部分を拡大することを許容するアクティビティーを含む。当業者は、データレビュー状態512及び516に関連するアクティビティー522及び522のリストが単なる例であり、状態512及び516が追加及び/又は異なるアクティビティーを含むものと理解する。
マルチモダリティー処理システムにおけるステートマシーンでマルチモダリティーワークフローを管理するための上述のシステム及び方法が単なる例示の実施形態であり、代替の実施形態においては、追加及び/又は異なるステップが方法に含められ、システムが、追加及び/又は異なるユーザーインターフェイススクリーンを含むものと理解される。
例示の実施形態が図示及び記述されたが、上述の開示において、また幾つかの場合、広範囲の修正、変更、及び代替が想定され、本開示の幾つかの特徴が、他の特徴の対応の使用抜きで採用され得る。更には、上述のように、マルチモダリティー処理システムに関連して上述したコンポーネント及び拡張部が、ハードウェア、ソフトウェア、及び両方の組み合わせにおいて実施され得る。また、処理システムは、任意の特定のアーキテクチャー上において作動するように設計される。例えば、システムは、単一のコンピューター上、ローカルエリアネットワーク、クライアント−サーバーネットワーク、ワイドエリアネットワーク、インターネット、手持ち及び他のポータブル及び無線装置及びネットワーク上で実行され得る。そのような変更が本開示の範囲から逸脱することなく上述において為され得るものと理解される。従って、添付請求項が、本開示の範囲に一貫する態様で広義に解釈されることが適切である。