JP2012515965A - 画像処理の間のユーザとの対話を予測する方法及び装置 - Google Patents

Abstract

本発明はユーザとの一連の対話を用いて画像を処理するための装置に関する。画像を処理する場合、ユーザは一連の対話に従う。好ましくは一連の対話は、再現性及び精度を確実にするために標準化される。しかしながら、ユーザから必要とされる一連の対話はユーザの必要度、処理される画像、又はユーザの好みにさえに依存している。本発明は、画像の可視化プロセスにおいて、標準化された一連のステップ又は手順と、必要であれば、ユーザがこの標準的な手順から逸脱するのを可能にすることとの両方を提供して、複雑な画像処理の要件を扱うことができる装置を提供する。これは、ユーザが周知の作業を種々異なる画像上で行うときに必要とされる対話を早め且つ単純化する。ユーザが不慣れな作業を行う場合、当該装置は有益な支援も提供し、これにより、医療用の撮像環境で深刻な結末になることがある、画像を取得する際の正しくない放射線レベルなどの誤りを回避する。

Description

本発明は、画像処理の間、（画面を通して）ユーザ（オペレータ/医師）との対話を予測するための方法と装置とに関し、且つコンピュータに搭載されて走るときに、当該方法を実行するためのコンピュータ・プログラムに関する。

本発明は、画像処理の間のユーザとの対話を予測する装置を有する医療用の撮像システムにも関する。

医療用画像（例えば診断用画像又は治療用画像）の処理は、ユーザとの相当な量の対話を通常必要とする。対話の例は、画像を取得する、ズームイン/ズームアウトする、特定の観察画面を選択する、特定の関心領域を選択する、特定のボリュームのスライス（画面）を選択する、特定のサブボリュームを選択する、画像処理アルゴリズム及び画像処理用フィルタを適用する、輝度及び疑似カラーマッピングなどの提示パラメータを変更する、を含んでいる。画像を処理する場合、ユーザは一連の対話に従う。好ましくは、この対話は再現性及び正確度を確実にするために標準化される。しかしながら、一連の対話はユーザの必要度に依存しており、処理される画像、又はユーザの好みにさえ依存している。本発明で言うところの画像処理とは、手動で、又はコンピュータに実装された対話を使用して、画像を処理することを意味する。

現行の医療用画像の画像保管通信システム（PACS）などの観察画面のアプリケーション、及び輝度拡大された作業スペース（EBW）型などのワークステーションは、幅広い範囲の観察画面のオプションと画像処理オプションとを提供しており、これは、同じ作業を行う異なるユーザ達が、容認できる結果を種々異なる態様でもたらすことを意味する。幾つかの標準化された観察画面が提供されるが、しかし、これは画像処理の間に行われるステップを標準化するには不足している。

一連の標準の対話のステップが、特定のタイプの画像処理のために規定されることができ、ユーザは、新しい画像データのセット毎にこれらのステップに従うように命じられる。例えば、肥大性の男性の心臓の画像処理で、放射線医学の専門医により行われるステップは、
− 心臓の長手方向の軸と直角をなす平面でデータを閲覧するステップと、
− 左下隅の大動脈を伴う基礎部位から開始するステップと、
− 観察画面を左心室で満たすよう、ズーム率を調整するステップと、
− 心筋層のみがグレイ値のウインドウ内にあるよう、ディスプレイのコントラストを設定するステップと、
− 表示のために、心室の高さの1/3及び2/3にある2つの平面を選択するステップと、
− 同心の円状ツールを使用して測定するステップと、
− 心室の高さの1/3及び2/3にある観察面を印刷するステップと、
− 標準面１を選択するステップと、
− レベルを調整し、且つウインドウを調整するステップと、
− 面１を印刷するステップと、
− 標準面２を選択するステップと、
− レベルを調整し、且つウインドウを調整するステップと、
− 面２を印刷するステップと、を含んでいる。

しかしながら、この例から、これらのステップを実行するためにユーザにより行われる実際のアクションが、画像のパラメータに応じてかなり変わることが当業者には明らかである。例えば、観察画面を左心室で満たす際、選択された実際の拡大倍率又はズーム選択ボックスのサイズは、オリジナル画像が得られた拡大倍率に依存する。また、画像中の心室の位置が変化して、ユーザにズームして且つパンすることを強いるか、又はズーム選択ボックスを異なる位置に描画することを強要する。

例えば、ユーザの好み、診断方法、及び画像データのセットを得るために使用された器材に応じて開始時の画像の設定が異なるので、実際には状況は一層複雑である。加えて、例えばユーザの好み及び観察する画像の内容に基づいて、ユーザは手順を変えることを望むかもしれない。

差を検出するために、放射線による画像の結果を一組の予想されるパラメータと比較することが知られている。Vano、Fernandez等による「コンピュータ化されたX線撮影を受ける患者に対する放射線量の測定及び検査」、Radiology誌 2002年 225巻：頁283-288：は、コンピュータ化されたX線撮影を監査するために、リアルタイムで患者の放射線量をモニタリングするシステムを開示している。各X線撮影からの技術データ及び検査タイプ毎の技術データが集められ、ネットワークによってワークステーションへと送信される。これらの技術データは、最も直近で検査した10人の患者の、皮膚に侵入した放射線量及び被爆エリアの生成物の移動平均値を算出する。平均値と基準値との比較は、基準値を越えている場合に警告メッセージを生成し、必要に応じて是正処置を促す。しかしながら、斯様な比較システムはユーザが処置を実施しなければならない自由度を制限し、差は事実の後に提示される。

本発明の目的は、ユーザとの一連の対話を用いて画像を処理する装置を提供することである。

本発明は独立請求項によって規定されている。好都合な実施例が従属請求項に規定されている。

本発明の第1の態様によれば、当該目的はユーザとの一連の対話を用いて画像を処理する装置を使用して実現され、当該装置は、ユーザとの対話を予測するよう構成された予測器と、画像処理の間のユーザとの一連の対話をモニタするよう構成され、一連の対話の中から少なくとも一つの手掛かりを予測器へと提供するよう構成且つ配置されたモニタと、を有し、当該予測器は、ユーザと対話する少なくとも一つの後続するステップを提供するよう構成される。

本発明は、画像の可視化プロセスにおいて標準化された一連のステップ又は手順と、必要であれば、ユーザがこの標準的な手順から逸脱するのを可能にすることと、の両方を提供して、複雑な画像処理の要件を扱うことができる装置を提供する。この装置は、周知の作業が種々異なる画像上で行われる場合に必要とされる対話を早め且つ単純化する。不慣れな作業が行われる場合、当該装置は有益な支援も提供し、これによって、医療用の撮像環境で深刻な結末になることがある、画像が取得される際の正しくない放射線レベルなどの誤りを回避する。

本発明は、ユーザとの対話は比較的集めやすいが、しかし周知の技術が使用される場合、このデータの実用的な使用は非常に限定されるとの知見に基づいている。同じ結果を実現する多くの態様があり、この結果、これらの態様をお互いに比較することは、多くの実用的な事例において好都合ではない。本発明が予測モデルと組み合わされる場合、このデータの豊富なソースが一層十分に利用され、この結果、ユーザとの対話のみが比較されるのではなく、行われたユーザとの対話の内容もまた比較されるとの知見に基づいている。

本発明の一態様によれば、前記予測器は更に、少なくとも一つの後続するステップを実行するよう構成される。このように、ユーザとの対話が、より高度に自動化される。

本発明の一態様によれば、前記予測器は、少なくとも一つの後続するステップを実行することをユーザに促すよう構成される。ある状況下では、後続するステップが実行されねばならないことを確認するのをユーザに促すことは好都合である。装置が予測器に対する入力を提供するために用いられている場合、これは特に有利である。

本発明の別の態様では前記モニタは更に、現在の画像をユーザに表示するよう構成されており、前記予測器は更に、次の画像をユーザに表示するために、ユーザとの対話の少なくとも一つの後続するステップを提供するよう構成されている。画像処理の際に画像毎の態様を提供するので、これは好都合である。医療用の撮像分野において、ユーザは観察画面から観察画面へと行くことができるので、これは特に直観的でユーザ・フレンドリである。

本発明の更に別の態様では予測器は、これまで記録された、画像処理の間に行われた少なくとも一つのユーザとの対話の手掛かりを使用して、ユーザとの対話を予測するよう構成されている。ユーザとの一連の対話で予想されるバリエーションに応じて、一つ以上の実際のユーザとの対話を習熟モードにある予測器へと供給することは好都合である。

本発明の別の態様によれば、画像処理の間のユーザとの対話を予測するための方法が提供されており、当該方法は、ユーザとの対話の予測モデルを決定するステップと、画像処理の間のユーザとの一連の対話をモニタするステップと、一連の対話から、少なくとも一つの手掛かりを予測モデルへと提供するステップと、予測モデルを用いて、少なくとも一つの次のステップを決定するステップと、を含んでいる。本発明による画像処理装置は、本方法を実施するよう構成される。

本発明の更に別の態様によれば、コンピュータに搭載されて走るとき、本発明の方法を実施するコンピュータ・プログラムが提供される。

上に記した本発明の2つ以上の実施例、実装例、及び/又は態様が、役立つと考えられる何らかの態様で組み合わされることが当業者により理解されよう。

本方法又は本装置について説明された修正及び変更に対応して、画像処理装置、ワークステーション、システム、及び/又はコンピュータ・プログラムの修正及び変更が、本説明をベースにして当業者により実行されることができる。

本方法が、限定的されるものではないが、標準X線撮像、コンピュータ断層撮影（CT）、磁気共鳴撮像（MRI）、超音波（US）、ポジトロン放出断層撮影（PET）、単光子放出型コンピュータ断層撮影（SPECT）及び核医学（NM）のような様々な画像取得手段により取得された多次元の画像データ、例えば二次元（2-D)の、三次元(3-D）の、又は四次元（4-D）の画像に適用され得ることを、当業者は理解するであろう。

本発明のこれらの態様及び他の態様は、これ以降説明されている実施例から明らかであり、当該実施例を引用して解明されることであろう。

画像処理の間のユーザとの対話を予測する本発明による方法を示す。 本発明による予測モデルの例を示す。 ユーザとの一連の対話を用いて画像を処理する、本発明による装置の一例を示す。 脳画像の処理の間、ユーザとの対話を選択することをユーザに促している表示画面の例を示す。 心臓画像の処理の間、ユーザとの対話を選択することをユーザに促している表示画面の例を示す。

全ての図が単に概略図であり、一定の縮尺比で描画されてはいない。特に明確にするため、幾つかの寸法が強く誇張されている。図中の類似のコンポーネントは、可能な限り同一の引用番号により記されている。

図1は、画像処理の間のユーザとの対話を予測する、本発明による方法500を表している。画像処理は、スキャンすることを含む画像の生成又は取得を必要とするステップのいかなる部分もカバーする一般用語として用いられており、ユーザにより行われるこれらのステップは画像に影響を及ぼす。（画像）処理は、コンピュータに実装されたツール又は同ツールの何らかの組み合わせを用いて手動にて行われることができる。

方法500は、
− ユーザとの対話の予測モデルを決定するステップ510と、
− 画像処理の間のユーザとの一連の対話をモニタするステップ520と、
− 一連の対話からの少なくとも一つの手掛かりを予測モデルへと提供するステップ530と、
− 予測モデルを使用して少なくとも一つの次のステップを決定するステップ540と、を含む。

図1に描かれている方法500では、ユーザとの対話の予測モデルがステップ510で決定される。予測モデルを構築するために、統計学又はファジー理論など、当業者が利用可能な何らかの技術が使用されることができるものの、好ましい実施例はマルコフ・モデルを利用する。マルコフ・モデルは、ユーザとの一連の対話において、時間が離散したステップをモデル化している状態変数と、追加で、画像に関連した有意な変数を表している観察変数とを含む。マルコフ・モデルでは、これらの変数は条件付きの確率分布によって互いに関連しており、遷移確率は一つ前の状態によって与えられる状態の条件付きの確率であり、出力確率は現在の状態によって与えられる観察の条件付きの確率を表す。斯様な有意な画像の特徴は、
− コントラスト及びヒストグラムなどの全体的な画像特性と、
− 関心領域の画像特性と、
− 解剖学的なランドマークに対する関心領域と、
− 自動的に決定された解剖学的なランドマークに対する関心領域と、
− 画像データセットの分析により決定される特徴と、
− 様々な単純な、例えばハール・ウエーブレットなどの画像フィルタを通して（強調され）、広範囲に及ぶ習熟により確定された特徴と、を有する。

低栄養の男性の心臓の検査など特定の検査タイプに対する予測モデルを生成して且つ最適化することは、複雑さを減じるので好都合である。

代替的には、自動的に検査タイプを識別する共通のモデルが習熟される。マルコフ・モデルのフレームワークの範囲内で、隠れた（観察されてはいない）変数が隠れマルコフ・モデル（HMM）を規定するために導かれ、モデルのライブラリの必要性を減じる。隠れた変数は、ユーザと対話する手順のタイプを示し、これは検査タイプとは確立論的に関連があるに過ぎない。この隠れた変数をクラスタ化することにより、このモデルの最適化が行われることができる。

図2に描かれている隠れマルコフ・モデルは学習した情報を表し、ユーザとの対話の手順において、画像を可視化するための次の手掛かりを推測する（可視化の手順）。これは、観察されたシーケンスをi個の離散時間のステップへと分割することによって、例えば本発明による可視化の手順などの時系列データを記述しており、ここでiは1からTまでの整数である。各々の時間ステップにおいて、当該モデルは観測不能な（「隠れた」）変数Ziと、当該観測不能な変数Ziに関連する観測可能な特徴Xi及びYiとを有する一組の離散的な状態（Zi、Xi、Yi）のうちの一つの状態である。本発明において、観測可能な変数は、所与の時間ステップiにおける観察画面の設定Xiと、（観察されたデータ、例えば示された画像又は対象物から抽出された）他の観測可能な特徴Yiとを含んでいる。

この構造が図2の確率論的な図解モデルで表されている。例えば可視化の手順Z1、同Z2、同Zi、及び同ZT内にある4つの隠れた状態110、同120、同130、同140が、それぞれ描かれている。矢印170は状態ZlからZTまでの時間の一般的な経過を示し、ある状態から次の状態への移行が水平の矢印により示されている。

モデル内の関係が、状態とノードとの間にある垂直の矢印により示されている。各々の隠れた状態110、同120、同130、同140は特徴ノードY1、同Y2、同Yi及び同YTをそれぞれ付随しており、210、220、230、及び240とそれぞれラベル付けされている。各々の隠れた状態Z1乃至ZTは設定ノードX1、同X2、同Xi及び同XTもそれぞれ付随しており、310、320、330、及び340とそれぞれラベル付けされている。各々の特徴ノードY1、同Y2、同Yi、及び同YTが、それぞれ設定ノードX1、同X2、同Xi、及び同XTを付随している。状態Z1 110、同Z2 120、同Zi 130、同ZT 140、及びノードXT 340は、隠れていることを示すハッチング（斜線）が付与されている。他の状態及び他のノードはハッチングがなく、これ故観察可能である。時間離散値である状態Z1 110、同Z2 120、同Zi 130、及び同ZT 140は正方形で示されており、時間連続値である特徴ノード210、同220、同230、同240、及び設定ノード310，同320，同330，同340は円で示されている。本モデルは、将来のある時点Tでの次の設定XTを推測するために使用される。

本モデルは、状態Z1、同Z2、同Zi、及び同ZTに付随する2種類の条件付きの確率を介して、学習した情報を符号化する。図2の水平の矢印により示されている状態Zi−1の次にある状態Ziにおけるシステムの確率が、遷移確率P（Zi｜Zi−1）によって与えられる。システムが状態Ziにある場合の観察の確率がP（Xi、Yi｜Zi）により決定される。この場合、シーケンス全体の確率は以下の式で表されることができる。

ここでPOは、システムの初期状態における先行する分布状態である。

HMMモデルの有限の（時間）離散した状態のセットは、ユーザが行う異なるタイプの中間ステップを提示する。複雑さを減じるために、各々の中間ステップを特定の所望の中間画像の観察画面と関連付けることは好都合である。換言すれば、ユーザとの対話は、所望の中間画像又は観察画面を結果として生じるようクラスタ化される。これは、各々のステップが観察画面を付随している複数のステップで画像を処理する装置をユーザに提供する。これらのステップは異なった名前（例えば「心臓の長軸の観察画面」、「ウインドウの設定がXYである肺動脈弁の平面の観察画面」）を付与されるにもかかわらず、これらの名前が前記モデルに事前に知らされている必要はない。代わりに、当該モデルが学習フェーズの間に最適化されているときに、典型的な観察画面のシーケンスを横断する共通の状態が習熟データから自動的に発見されることがある。

観察結果が（状態による条件付きの）同時正規分布としてP（Xi，Yi｜Zi）を用いた連続変数としてモデル化される。当業者は、よく知られた技術である混合モデルなど、より複雑な観察モデルも使用する。これらの観察モデルは観察画面の設定X1 310、同X2 320、同Xi 330、及び同XT 340を有し、観察画面のジオメトリ（例えば、観察する2-D面の選択）又は強度伝達関数の設定など、ユーザが使用可能な対話の可能性の広範な選択を含む。

他の観測可能な特徴Y1 210、同Y2 220、同Yi 230、及び同YT 240は、自動的にセグメント化された解剖学的な対象物の位置及びジオメトリと、全体的及び局所的な強度ヒストグラムと、観察画面を決定する条件になることもある、計算的にアクセス可能な他の対象となる特徴と、を含む画像データ又は表示された対象物自体から算出される。（例えば、モデルにおいては考慮された対象物が、画像では見出されないことに起因して）見落とされた特徴が、同特徴の考え得る値を取り残すことによって扱われてもよい。

離散値である状態の数は学習モデルの重要なパラメータである。モデルがより多くの状態を有するほど、習熟データにより良く適応できる。考え得る過度適合の影響を回避するために、最適な状態の数は、尤度法又はクロス確認技術を過去のものとしたAIC（赤池の情報量基準）及びBIC（ベイズの情報量基準）など、標準的なモデル選択方法を用いて選択される。これらの詳細は例えば、Gilles Celeux及びJean-Baptiste Durandによる「クロス確認された尤度を備えた隠れマルコフ・モデルの状態数の選択」、Computer Statics誌：23(4)巻、頁541-564、2008年、及びBurnham及びAndersonによる「モデル選択及びマルチ・モデル推論」、Springer社、ニューヨーク、NY、米国、2002年、で見出される。

モデルが予測用に使われる場合、現在の時点までに部分的に観察された対話のシーケンスがモデルに提供される。例えば、ビタビHMM復号化アルゴリズムを使用して、最も起こり得る状態のシーケンスが見出され、これは、モデルが見出した状態のシーケンスの確率の評価と共に、ユーザがシステムへと入力した最も高い可能性がある、現在（隠れている）観察状態を含む。この確率の評価は、閾値を課すことによって、（システムが知らない）低い確率のシーケンスを排除するために用いられる。

マルコフ理論の力を借りて推定された最も可能性が高い状態は、前の状態に対して決定されねばならない次の状態の確率の算出も可能にする。このように、一組の状態の観察を生じさせる起こり得る次の状態毎に、状態遷移の影響が予測されることができる。次の状態に関連する未知の設定が、次に、これらに対する追加の条件付けを行うことにより、及びP（XT｜YT，ZT）に対してこれらを解くことにより見出されるであろう。

予測モデル100を生成する又は最適化するステップが、画像処理の間にモニタされたユーザとの対話を習熟データとして使用してもよい。この態様で可視化のための典型的な手順が決定され、且つ最適化されることができる。

図1で描かれている方法500において、画像処理の間のユーザとの一連の対話がモニタされ（ステップ520）、一連の対話から、少なくとも一つの手掛かりを有する予測モデルが提供され（ステップ530）、当該予測モデルを使用して、少なくとも一つの次のステップが決定される（ステップ540）。ユーザはこれらの対話を行うために、例えば画像の獲得の間、画像の観察の間、画像の解析の間、及び画像の修正の間、ワークステーションを使用してもよい。

斯様なワークステーション400の例が図3に描かれている。ワークステーション400は、画像430を表示するため及びユーザとの一つ以上の対話440を表示するための表示スクリーン410を有する。ユーザとの対話440が、アイコン、サムネイル、メニュー、及びプルダウンメニューなど一つ以上の方式で提供されてもよい。

ワークステーション400は、ユーザが当該ワークステーション400と対話するために、キーボード、マウス、トラックボール、ポインタ、描画タブレットを含む手段420も有している。

ワークステーション400は更に、ユーザとの対話を予測するための予測器460と、対話手段420を用いて作られ、画像処理の間のユーザとの一連の対話をモニタするためのモニタ450と、を有する。

予測器460は、予測モデル100中で利用可能な一連（の対話）に関し、ユーザとの対話が一連の対話中の何処にあるかについて判断するよう構成される。これ故モニタ450は、実際のユーザとの対話のうちの少なくとも一つを予測器460へと提供するよう構成されている。

ステップ520でモニタされたユーザとの対話は標準的なセットであり、これらは、例えば、処理される画像のタイプに基づいて、処理される画像の内容に基づいて、及び画像処理の目的に基づいて手直しされることができる。モニタされるであろう典型的なユーザとの対話は、
− 新しい視野の選択
− ズームのレベル
− パンされる距離
− 表示される領域
− 表示されるスライス
− 適用される明るさの伝達関数
− 適用される画像処理フィルタ
− 可視化に関する注釈
− 可視化のセグメンテーション
− 消えた観察画面の（再）表示、を含むことであろう。

情報の前後関係が失われないことを確実にするために、モニタ450は対話のステップが実施された順序もモニタする。次のステップの決定540を最適化するために、ユーザに情報、例えば、処理される画像タイプ、処理される画像の内容、及び画像処理の目的、を直接提供するよう促すことも好都合であろう。

画像に関連した情報、例えば、画像の強度、解剖対象物内にある基準物、解剖学的なランドマーク、画像が得られた方法についてのデータ、をモニタ450に提供することは好都合であろう。このデータは画像データを伴うメタデータとして、DICOMエントリなどのデータセットの注記として提供されるか、又は画像の特徴に基づいたクラスタ化の手順など、画像処理の幾つかの方式を用いて抽出される。

ヒトの心臓用のMRIなど幾つかの画像診断法では、ランドマークがSmartExam（Philips社製品名：自己学習機能付き検査機器）アプリケーション、又はコンピュータ支援検出（CAD）アプリケーションなどの画像処理ツールを用いて生成される。斯様なランドマークは、画像中にある解剖学的に意味があるポイント又は関心領域を識別する。

各々のユーザとの対話にタイムスタンプを提供することは好都合であり、この結果、各々の対話の継続時間が予測器460により考慮されることができる。

予測器460は予測モデル100を有し、モニタ450により提供された対話に基づいて、ユーザとの次の対話の手掛かりを当該ユーザへと提供するよう構成される。当業者は理解しているように、どのように次のステップの情報が使われるかに応じて、ユーザとの対話の前記次のステップが異なる態様で提供されてもよい。ユーザが次のステップを選択できるようモニタ450に提供されてもよいし、さもなければ次のステップが自動的に実行されることができるよう装置400に直接提供されてもよい。

ワークステーション400は、この予測された次の対話を完全に自動的に、又はユーザによる確認の後での何れかで実施するよう構成される。予測器460が唯一つの対話を高い確率で提供する場合、これは特に役立つ。しかしながら、一つの対話が自動的に実施される著しく高い確率をもっている場合、上記は複数の予測された可能性がある事例においてさえも好都合である。

加えて、カウントダウン・タイマが、最も確率が高い次のステップに関連して使用されてもよい。カウントダウン後、最も確率が高い次のステップが自動的に選択される。斯様なタイマのユーザ・フレンドリ度が、タイマの説明をユーザに示すことによって、及び最も確率が高い次のステップをユーザに示すことによって、改善されることであろう。予測モデルが詳細な時間情報を組み込んでいる場合、カウントダウン・タイマの使用する値がモデルにより決定されることもできる。

本発明の実施例では、手動及び自動の両方によるステップの実行が組み合わされてもよい。例えばサムネイル440が選択された場合、当該サムネイルにより示される観察画面が、予測モデル100により決定された一つ以上の適切なユーザとの対話を実行することによって表示される。

サムネイル440が存在する場合、オリジナルの画像をサムネイル440を生成するために使用することは好都合である。即ち、（画像又はセグメンテーションの目的、ジオメトリ、コントラストを参照して）サムネイルの特徴が予測モデル100を使用して次に決定されることができ、現在のステップに対する画像データに適用できる。代替的にはサムネイル440は、学習フェーズを用いて習熟データから収集された典型的な画像データ又は平均的な画像データを使用して生成されてもよい。サムネイルを、複数の後続する観察画面の表示で、例えば異なる観察角度で見た器官を用いてアニメーションすることは好都合である。

カウントダウン・タイマを使用する場合、一時停止又は自動シーケンスをキャンセルするオプションが、ユーザ・インターフェース420を介して提供されてもよい。

ユーザとの全ての一連の対話が予測される状況では、全自動のモードがユーザにより開始されてもよく、開始後、ユーザは画像処理のビデオストリームを見ることであろう。

ユーザが全体の可視化の手順の説明460を提示されることは好都合であり、この結果、当該ユーザは既に実施されたステップと、手順内における現在の位置とを見ることができる。好ましくは、これらの説明は、生成された一連の中間画像を示しているサムネイルとして提示されよう。オプションで予測モデルが、説明460中で提示されねばならない後続の中間画像を決定してもよい。

ワークステーション400が、ユーザとの一つ以上の予測される対話を表示スクリーン410上に適切な態様440で提示するよう構成されることもできる。このように促され、ユーザは次に彼が所望する対話440を選択できる。対話のオプションを、ユーザが最高度の確率を有する対話を選択する動機を与えられる態様で示すことは好都合である。例えば、最高度の確率を有するオプションが、以下によってユーザの注意を引くようにもたらされることができる。即ち、
− 確率の数値表示をする、
− 最高度の確率のオプションをリストの最上位に、又はディスプレイの先頭に配置する、
− 最高度の確率を、残りのオプションとは視覚的に異なるようにする、例えば、より大きくする、表示強度を点滅させる、アニメーションにする、又は異なる色の光にする。

表示スクリーン410上でユーザに対する提示を行っている例が、図4及び図5に示されている。図4は、人間の脳の画像を可視化するための手順におけるステップ700を示している。主画像431が表示スクリーン410に生成されている。即ち、これは、一連の可視化のステップのうちの現在のステップにおいて、ユーザによって可視化された画像である。主画像431のすぐ近くに、ユーザは考え得る3つの後続するステップ441を提示される。これらの後続するステップが予測モデル100により決定され、ここでサムネイルとして提示されている。この例では、上部のサムネイルが最も可能性が高い次のステップ441を表している。サムネイルとして提示することは、提示されたオプションをユーザが視覚的に認識し、最も可能性が高いパスから逸脱するオプションをユーザに与えるという長所を提供し、この結果、ユーザが今までに従ってきたステップに基づいて、ユーザは従ってきた可視化の手順に適応することができ、得られた診断結果又は治療結果に適応することができる。脳の複数の後続する観察画面を使用するアニメーションのサムネイルは、特にユーザ・フレンドリである。

同様に、図5は、ヒトの心臓の画像を可視化するための手順におけるステップ600を示している。主画像432が表示画面410に生成されている。即ち、これは、一連の可視化のステップのうちの現在のステップにおいて、ユーザによって可視化された画像である。主画像432のすぐ近くに、ユーザは考え得る3つの後続するステップ442を提示される。これらの後続するステップが予測モデル100により決定され、ここでサムネイルとして提示されている。この例では、上部のサムネイルが最も可能性が高い次のステップ442を表している。

ユーザとの一連の対話が、予測器460内の予測モデルを生成又は調整するための入力を提供するために、モニタ450により記録されてもよい。このように、本発明による方法を実際に使用することは、予測モデル100の連続的な改善を結果として生じることであろう。

これらの装置の実施例は、ユーザとの対話を予測するための予測器や、ユーザとの対話をモニタするためのモニタなどの要素を含む。当業者にとって、この役割分担は機能に基づくものであり、独立の別個のハードウェア部を必ずしも含むというわけではない。例えば全ての機能が単一のプロセッサにより実行されてもよく、各々の機能が別々のプロセッサ割り当てられてもよく、又は各々の機能が複数のプロセッサに分割されてもよい。加えて、複数のプロセッサの物理的な場所は重要ではない。即ち、同プロセッサが、一つ以上の場所に分散されてもよく、ネットワークなどの通信経路によって何らかの態様で接続されてもよいし、又はインターネットを通じてでさえ接続されてもよい。好ましい実施例では、画像処理装置は医療用のワークステーション内に含まれる。

上記の実施例が本発明を限定するよりはむしろ例示していること、及び当業者は、添付の請求項の範囲から逸脱することなく多くの代替実施例を設計することが可能である点に留意されたい。請求項において、括弧の間に置かれたいかなる参照符号も当該請求項を限定するものとして解釈されてはならない。動詞「有する」及びその活用型の使用が、請求項に記載された以外のエレメント又はステップの存在を除外することはない。エレメントに先行する冠詞「a」又は「an」が、斯様なエレメントの複数の存在を除外することはない。本発明は、複数の異なったエレメントを有するハードウェアによって、及び最適にプログラムされたコンピュータによって実行されることができる。複数の手段を列挙しているデバイスの請求項において、これらの手段の幾つかが全く同一のハードウェアにより実施されることができる。特定の手段が相互に異なる従属請求項において、再引用されているという単なる事実は、これらの手段の組合せが有効に使われることができないことを示してはいない。

Claims (12)

1. ユーザとの一連の対話を用いて画像処理する装置であって、当該装置は、
   前記ユーザとの対話を予測するための予測器と、
   画像処理の間に行われた前記ユーザとの一連の対話をモニタし、当該一連の対話中における少なくとも一つのステップを前記予測器へと提供するモニタと、
   を有し、
   前記予測器が、前記ユーザとの対話の少なくとも一つの後続するステップを提供する、
   ことを特徴とする、装置。
2. 前記予測器が更に、前記ユーザとの対話の少なくとも一つの後続するステップを実行することを特徴とする、請求項１に記載の装置。
3. 前記予測器が更に、前記ユーザとの対話の少なくとも一つの後続するステップを実行するよう前記ユーザに促すことを特徴とする、請求項１又は２に記載の装置。
4. 前記モニタが更に現在の画像を前記ユーザに表示し、且つ前記予測器が更に次の画像を前記ユーザに表示するために、前記ユーザとの少なくとも一つの後続する対話の手掛かりを提供することを特徴とする、請求項１又は２に記載の装置。
5. 前記予測器は更に、前記ユーザとの2つ以上の後続する対話の手掛かりから、前記ユーザとの対話を選択するよう前記ユーザに促すことを特徴とする、請求項１又は２に記載の装置。
6. 前記予測器は更に、アイコン、サムネイル、メニュー、プルダウンメニュー、及び何らかのこれらの組み合わせから選択された方式を使用して、前記ユーザとの対話を選択するよう前記ユーザに促すことを特徴とする、請求項４に記載の装置。
7. 前記予測器がマルコフ・モデルを含むことを特徴とする、請求項１に記載の装置。
8. 前記予測器が隠れマルコフ・モデルを含むことを特徴とする、請求項１に記載の装置。
9. 前記予測器が、以前記録された、画像処理の間に行われた少なくとも一つの前記ユーザとの対話の手掛かりを用いて、前記ユーザとの対話を予測することを特徴とする、請求項１に記載の装置。
10. 請求項１乃至９の何れか一項に記載の装置を有する、医療用の撮像システム。
11. 画像処理の間のユーザとの対話を予測する方法であって、当該方法は、
    前記ユーザとの対話の予測モデルを決定し、
    画像処理の間の前記ユーザとの一連の対話をモニタし、
    前記一連の対話から、少なくとも一つのステップを前記予測モデルに提供し、
    前記予測モデルを用いて少なくとも一つの後続するステップを決定すること、
    を含む、方法。
12. コンピュータに搭載されて走るときに、請求項１１に記載の方法を実行するコンピュータ・プログラム。

Images