JP2014526946A - 画像処理において使用されるguiにおける多次元画像のサブボリュームのための状態インジケータ - Google Patents

画像処理において使用されるguiにおける多次元画像のサブボリュームのための状態インジケータ Download PDF

Info

Publication number
JP2014526946A
JP2014526946A JP2014530366A JP2014530366A JP2014526946A JP 2014526946 A JP2014526946 A JP 2014526946A JP 2014530366 A JP2014530366 A JP 2014530366A JP 2014530366 A JP2014530366 A JP 2014530366A JP 2014526946 A JP2014526946 A JP 2014526946A
Authority
JP
Japan
Prior art keywords
slice
slices
state
image data
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014530366A
Other languages
English (en)
Other versions
JP6055476B2 (ja
Inventor
シャーデヴァルト,ニコーレ
ビストロフ,ダニエル
シュルツ,ハインリヒ
ヴィク,トルビョルン
ペータース,ヨッヘン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2014526946A publication Critical patent/JP2014526946A/ja
Application granted granted Critical
Publication of JP6055476B2 publication Critical patent/JP6055476B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • G06F3/04855Interaction with scrollbars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Abstract

3D又はそれより高い次元の画像データセット(100)の2Dサブボリューム(110a〜c)における又はそれらに関連した描写(117a〜c)をナビゲート及び変更するのを支援する装置及びユーザインターフェース(155)に関する。状態及び位置はいずれも、装置によって生成されたユーザインターフェース(155)の機能を用いることによって変更可能である。装置は、医用画像後処理システムにおいて使用され得る。

Description

本発明は、少なくとも3D画像データセットをナビゲート又は変更するのを支援する装置、少なくとも3D画像データセットをナビゲート又は変更するのを支援する方法、少なくとも3D画像データセットをナビゲート又は変更するのを支援するグラフィカルユーザインターフェース、少なくとも3D画像データセットをナビゲート又は変更するのを支援する医用画像後処理システム、コンピュータプログラム要素、及びコンピュータ可読媒体に関する。
多くの医療は、医用画像において示される特定のオブジェクトの描写を必要とする。その例には、コンピュータ断層撮影(CT;Computed Tomography)における腫瘍描写又は放射線治療計画のためのCT画像におけるリスクのある臓器及び目標ボリュームの描写、診断のための磁気共鳴(MR;Magnetic Resonance)又は機能画像がある。医用画像セグメンテーション適用は、自動プロシージャのトレーニング及び評価のために‘分割すべきオブジェクト(object to segment)’の手動による描写を必要とする。
そのような手動による描写は、スクリーンに表示される場合にオブジェクト又はオブジェクトの表面に印を付けるツールを必要とする。自動の3D描写プロシージャは、結果の品質保証のための有効な表示装置とともに、必要に応じて、手動による補正のための描写ツール、可能ならば3Dツールを必要とする。
ほとんどの医用画像データは3次元(3D)ボリューム又はより高い次元、例えば、ビデオシーケンス、すなわち、複数種類の撮像装置から取得された画像が同時に考慮されるべきである場合、である。たった2次元(2D)のデータはスクリーンに完全に表示可能であり、3D描写インタラクションは3Dボリュームの2Dサブボリューム(“スライス”)において表示される。3D画像データに関する制限された2Dビューは、時々3D描写ツールの取り扱いを扱いにくくする。
本発明の目的は、スライスを描写するために3D描写ツールを使用する場合に医療関係者への負担を緩和することである。
本発明の目的は、独立請求項の主題によって解決される。更なる実施形態は従属請求項において組み込まれる。
本発明の以下に記載される態様は、下記の装置によって生成されるグラフィカルユーザインターフェース、少なくとも3D画像データセットをナビゲート又は変更するのを支援する方法、少なくとも3D画像データセットをナビゲート又は変更するのを支援する医用画像後処理システム、並びにコンピュータプログラム要素及びコンピュータ可読媒体にも当てはまることが留意されるべきである。
本発明の第1の態様に従って、少なくとも3D(又はより高い次元)の画像データセットをナビゲート又は変更するのを支援する装置が提供される。前記3D画像データセットは、第1及び第2のスライスを含む複数の断面2D画像スライスを含む。前記複数のスライスは、前記3D画像データセットにおける断面図を表す。夫々のスライスは、複数の状態のうちの1つを有するか又はそのような状態にある。当該装置は:
a)前記3D画像データセット及び該3D画像データセットにおける前記複数のスライスにアクセスするデータベースインターフェース;
b)グラフィカルユーザインターフェース(GUI)をスクリーンに表示するよう構成されるグラフィカルユーザインターフェースコントローラ。前記グラフィカルユーザインターフェースは、そのように制御されて前記スクリーンに表示される場合に:
b.1)前記3D画像データセットの前記第1のスライスを画像としての表示のために選択する選択ウィジェット;
b.2)前記第1のスライスを画像として表示するウィンドウウィジェット;
b.3)i)前記3D画像データセットにおける前記第1のスライスの空間的位置の視覚的指示を表示し、且つii)前記3D画像データセットにおける前記第2のスライスの空間的位置の視覚的指示を表示し、前記3D画像データセットにおける前記第1のスライスと前記第2のスライスとの間の相対位置を示すスライス位置インジケータウィジェット;
b.4)前記第1のスライスの現在の状態及び前記第2のスライスの現在状態の視覚的指示を表示するグラフィカル要素を有する。異なる状態は異なる視覚的指示によって表される。
前記グラフィカルユーザインターフェースコントローラは更に、i)前記第1のスライス又は前記第2のスライスの現在の状態を前記複数の状態の中の新しい状態に変化させるユーザ要求を受け取り、且つ、前記第1のスライス又は前記第2のスライスの現在の状態を変化させる前記ユーザ要求が受け取られた場合に、ii)前記第1のスライス又は前記第2のスライスの状態の視覚的指示の表示を更新して前記第1のスライス又は前記第2のスライスの要求された前記新しい状態を示すよう構成される。
本発明の一実施形態に従って、前記GUIは、表示される場合に、前記3D画像データセットの前記第1のスライスを画像としての表示ために選択する選択ウィジェットを有する。
関心領域は、前記3D画像データセットにおいて示される患者の特定の器官であってよい。前記3D画像データセット(“ボリューム”)は、スライスとも呼ばれる2Dサブボリューム画像から構成されか又はそれらの画像を生成することを可能にする。
3D描写は、スライスにおいて画像ピクセルの幾何学的部分又は領域を識別し表示することを可能にするデータ構造である。3D描写はスライス(“2Dサブボリューム描写”)ごとであり、唯一のスライスと関連づけられて、そのスライスにおける関心領域の特定の断面を特定する。なお、(3D)描写された関心領域自体は多数の他のスライスにわたって延在する。従って、関心領域の3D描写は、関連づけられ論理的に連結されたスライス描写の集合である。3D描写は、それが関連づけられているスライスにオーバーレイされて示される場合に、特に、かかる描写が“表示される”又は“オーバーレイされる”と言われる場合に、“3D描写”とも呼ばれ得る。3D描写は、装置によって見られる前に、予め割り当てられてよく、あるいは、かかる描写は、見るために3D画像データセットをロードした際に、自動的に適用されてよい。特に、自動3D描写プロシージャの場合に、しかしそのような場合に限らないが、いずれかのスライスにおいて複数の描写が存在する可能性がある。画像データは、スライスと、3D描写と関連づけられるスライスにオーバーレイされて見られる場合に該3D描写を示すのに必要な情報を格納するデータ構造とを含む。画像の変更は、ここで理解されるように、描写情報自体を変更することを含む。よって、描写情報を変更することは、変更された描写がオーバーレイされたスライスとして見られる場合に、スライスと描写との結合画像のグラフィカル表現に作用する。
状態は、スライスの特性を全体として又は、特に、スライスにおける又はそのスライスと関連づけられる2Dサブボリューム描写の特性を示す。状態は、自動的に又は、見るために3D画像データセットのスライスをロードした際若しくは装置を起動した際に、割り当てられてよい。状態は、1つずつスライスの表示の前にスライスへ何らかの適切なデータ構造によって手動により割り当てられてよい。状態はまた、スライス毎に同じデフォルト状態を割り当てることによって、スライス及び/又はスライスと関連づけられる描写へ割り当てられてよい。
本発明の一実施形態に従って、状態又はデフォルト状態を割り当てることは、ユーザにより開始されてよく、コンピュータのマウスを使用して、前記ウィンドウウィジェットの中又はその周りに表示されたスライドバー又はチェックボックスをマウスでクリックすることによって達成される。
スライス毎に適用され、描写される特定のスライスにのみ作用する2D描写装置を使用することは、低速且つ退屈である。3Dペイントブラシのような、より高い次元の3D描写装置はより高速な描写を可能にするが、3D描写装置が適用される時点で目下ユーザにとって可視的でないスライスにも作用する。
当該装置の前記GUIは、3Dボリュームの隠れたスライス又は部分の状態さえ伝えるスライス状態インジケータとして働くグラフィカル要素を有する。当該装置は、表示されていない2Dサブボリュームのどれが3D描写ツールの適用によって作用されるか(又はされないか)を視覚化することを可能にする。
本発明の一実施形態に従って、夫々のスライスはサブボリューム描写を含む。夫々のサブボリューム描写は、輪郭を描くことによって又は色づけすることによって、3D画像データセットにおける関心領域の3D(又はより高い次元の)描写の異なる断面を表す。前記3D描写は少なくとも前記第1及び第2のスライスにわたって延在する。前記3D描写は3D描写ツールの前記第1のスライスへの適用の結果であってよい。前記3D描写ツールの動作は、前記第1のスライスにおけるサブボリューム描写の同じ又は他の3D描写ツールによる後の変更が前記第2のスライスにおけるサブボリューム描写の対応する共変更を自動的に生じるように、前記複数のスライスの又は該複数のスライスにおける夫々の描写を論理的に連結する。夫々のスライスは、保護された状態又は保護されていない状態のいずれかである2つの状態のうちの1つを有するか又はそのような状態にある。前記第2のスライスが前記保護されていない状態にあり且つ前記第1のスライスが前記3D描写ツールの適用によって変更される場合に、前記第2のスライスの共変更は許可され、一方、前記第2のスライスが保護された状態にある場合に、前記第2のスライスの共変更は阻止される。
当該装置は、医療関係者が3D画像ボリュームにおけるスライスの集合に対する3D描写装置の影響をより良く評価し制御することを可能にする。
保護された/保護されていない状態を有することの概念は、カテゴリ又は“親状態(super-states)”の場合を含む。夫々の親状態はそれ自体、保護された“親状態”と保護されていない“親状態”との間で切り替え可能であってよい。例えば、3つの“親状態”は夫々順に、スライスにおいてノイズが低レベル、中レベル、及び高レベルであることを示してよい。ノイズレベル親状態の夫々はその場合に依然として、現在表示されているスライスの親状態を三色のうちのいずれか一色において示すスライドバー要素により、保護された親状態と保護されてない親状態との間で切り替え可能であってよい。保護された/保護されていない親状態はその場合に、前記ウィンドウウィジェットの構成要素を色分けすることによって示される。
本発明の一実施形態に従って、前記グラフィカルスライス位置インジケータはスライドバーGUIウィジェットである。スライドバーはグラフィカルスライダーアイコン及びグラフィカルバーアイコンを有する。スライダアイコンは、ポインタデバイス(例えば、マウス又はスクリーンペン)によるユーザインタラクションによりバーアイコンに沿ってスライドすることが可能である。バーアイコンは、前記グラフィカル要素として一連のセグメントを有する。夫々のセグメントは、前記第1及び第2のスライスを含む前記複数のスライスの中の1つと関連づけられ、異なるセグメントは異なるスライスを示す。隣接するセグメントは、夫々のスライスの前記3D画像データセットにおける隣接した空間関係を示す。前記3D画像データセットにおける関心領域の実際の空間関係(例えば、前、真ん中、最後)は、バーアイコン上の要素の相互のグラフィカル/空間配置によって、このようにしてマッピングされて表される。
スライドバーを有することは、当該装置の高速且つ直感的な動作を可能にするとともに、3D画像データセットにおける状態及び空間位置の両方を読む者に伝えることを可能にする。
一実施形態に従って、バーアイコンのインタラクティブなバーセグメントは、ユーザがその上をマウスによりクリックすることによって、ウィンドウ内のビューを変更することと、クリックされたセグメントに関連する他のスライスを見ることとを可能にする。他の実施形態では、前記GUIは、1つずつスライスをスクロールするスクロール機能を含む。
本発明の一実施形態に従って、前記第1及び第2のスライスを含むいずれかのスライスの状態の視覚的指示の表示は、前記グラフィカルバーのセグメントを色分けすることによる。夫々の色は異なる状態を示し、前記スライダアイコンは、前記バーアイコンをマウスインタラクションの使用によりをスライド又はドラッグする場合に自身の色を変える。前記スライダアイコンは、前記セグメントのいずれか1つに位置する場合にそのセグメントの色を反映するか又は帯びる。
本発明の一実施形態に従って、前記グラフィカル要素は、前記ウィンドウウィジェットのフレームである。前記第1のスライス又は前記第2のスライスの状態の視覚的指示は、前記ウィンドウウィジェットにおいて現在表示されているスライスごとに1つの色で前記フレームを色分けすることによる。他の実施形態に従って、前記グラフィカル要素は、前記ウィンドウウィジェットにおいてオーバーレイされてその中に位置する色分けされたディスクアイコンである。上記の異なる色分けスキームは、描写レビューの間の状態の一層より良い伝達を可能にする。
一実施形態に従って、状態を色分けするのは、スライスにおいてオーバーレイされた表示される描写自体である。
一実施形態に従って、スライドバーのスライダは、左右方向のスライス位置決め線を有する。左右方向のスライス位置決め線の色は、現在表示されているスライスの状態を色分けする。
一実施形態に従って、状態は、現在のスライスと、3D画像データセットにおける現在可視的でないスライスの全て又はユーザ設定可能な選択とに関して示される。
一実施形態に従って、保護された(“固定された”)状態は緑色で示され、一方、保護されていない(“固定されていない”)状態は現在のスクリーン背景色で示されるか、あるいは、状態は、背景色と比較して異なる濃淡によって示される。
領域(スライスのスタック)の色分けはまた、スライス又はその描写の手動又は自動アセスメントを示すためにも使用され得る。例えば、状態は、上級者が見習いスタッフの描写作業を精査する場合に描写の品質を示してよい。状態はその場合に、緑色=優れたセグメンテーション、黄色=不十分、赤色=深刻を示してよい。状態及びそれらの色分けは更に、又は代替的に、取得されたスライスにおける画像信号ノイズレベル(低、中、高)を示してよい。
本発明の一実施形態に従って、前記第1のスライスと前記第2のスライスとの間での表示の切り替え又は状態変化は、前記グラフィカルユーザインターフェースコントローラがマウスクリックイベント又はキーストロークイベントをインターセプトすることによって生じる。連続したイベントは、スライス毎に厳密に2つの状態が存在する場合にそれらの2つの状態の間を切り替えることを引き起こし、あるいは、前記連続したイベントは、スライス毎に2よりも多い状態が存在する場合にそれらの状態を周期的に繰り返すことを引き起こす。これは、状態を変更するための高速且つ簡単なインタラクションを提供する。前記GUIの構成要素はそれらの色を、状態の変更が要求される場合に変化させる。キーストロークインタラクションに関する一例は、スライスを固定又は解除するよう‘f’キーを割り当てるよう当該装置を構成することである。
これは、現スライス状態インジケータを交互に有効/無効にするよう‘f’キーを繰り返し叩くことを伴う使用にとって直感的である。複数のスライス状態が存在する場合には、とり得る状態を切り替えるために単純なキーボードインストラクションを使用することが可能である。
描写の(固定された/固定されていない)状態を視覚化するために前記GUIの構成要素を色分けするよう当該装置を構成させることによって、前記3D描写ツールの有効な使用が可能となる。
要するに、本発明に従う装置によって提供される視覚化は、ボリューム全体のどの部分がどれくらいどんな状態にあるのかと、現在表示されているスライスに隣接するスライスの状態がどのようであるかとにユーザが直ちにアクセスすることを可能にする。それは、3D画像ボリュームの隠れたスライスに対する多次元ツールの作用又は非作用を把握するための高速且つ直感的な方法を提供する。当該装置は、既にユーザの思うように描写されているスライスをユーザが不注意により変更又は修正することを防ぐのを支援する。当該装置は、そのような変更からスライスを保護することを可能にする。同じか又は他のスライスへの3Dツールの更なる適用はその場合に、そのスライスのその保護された描写の固定された描写を変更しない。
本発明は、インタラクティブな医用画像セグメンテーションのための医用画像後処理ワークステーションや放射線治療計画ワークステーションにおける使用に置かれてよい。
本発明のこれら及び他の態様は、以下で記載される実施形態から明らかとなり且つそれらを用いて説明されるであろう。
3D医用画像データセットと、その画像データセットに対する3D描写ツールの作用とを概略的に示す。 本発明の一実施形態に従う、3D画像データセットをナビゲート又は変更するのを支援する医用画像後処理システムを概略的に示す。 3D画像データセットのナビゲーション又は変更を支援する装置の図である。 3D画像データセットのナビゲーション又は変更を支援する装置の異なる図である。 図3A及び図3Bで使用されるスライドバーの実施形態である。 図3A及び図3Bで使用されるスライドバーの異なる実施形態である。 本発明の一実施形態に従う方法に関するフローチャートを示す。
本発明の例となる実施形態は、図面を参照して以下で記載される。
図1を参照すると、医用3D画像データ100のボリュームは複数のサブボリュームスライス110a〜cを含む。3D画像データセットは、患者の検査スキャンの間に医用撮像装置によって取得された。医用撮像装置の例には、コンピュータ断層撮影(CT)スキャナがある。スライス110a〜cの集合は、患者の体内の関心領域120、例えば、肝臓又は腎臓に関する断面図を提供する。
スライス110a〜cの夫々1つにおける関心領域120の個々の断面115a〜cは、図1において、ハッチングされた楕円として示されている。関心領域120は、夫々のスライス110a〜cが特定の断面115a〜cを示しながら、スライス110a〜cにわたって延在すると考えられ得る。画像データセット100は、夫々のスライス110a〜cが2つの軸x、yに沿った座標によって記述され得るので、3次元である。個々のスライス110a〜cの夫々は、患者の長手軸と整列された軸zに沿ってCT装置が漸進的に動いた場合に、“深さにおいて”取得された。スライス110a〜cの夫々の各自の取得位置は、z軸に沿った第3の座標によって示され得る。それらのスライス110a〜cを含む3D画像データセット100は、DICOM又はJPEGのような適切なファイルフォーマットにおけるデジタル画像データとして後処理又は表示のために利用可能である。画像データセット100は適切なデータベースにおいて保持される。
図1は更に、コンピュータスクリーン150と通信するプロセッシングユニット140を示す。コンピュータスクリーン150では、スライス110a〜cが放射線科医のような医療関係者によって見られ得る。
医用画像後処理におけるタスクは、スライス110a〜cの夫々又は選択において関心領域120の断面115a〜c(の輪郭)を描くことである。このために、3D描写ツール130が使用されてよい。3D描写ツール130は、コンピュータのマウスのような指示装置と通信する。放射線科医は次いで、断面115aの描写117aを得るよう断面115aの外周を囲むか又は示す。3D描写ツール130は次いで、残りの、現在表示されていないスライス110b及び110cにおいて関心領域120の断面115b及び115cの対応する描写117b及び117cを外挿するよう、描写117aによって定義される領域の内外のピクセル又はボクセル値を使用する。3D描写ツール130は、夫々のスライス110b及び110cにおいて描写117b及び117cを特定するために画像又はパターン認識ソフトウェアを使用する。外挿された描写117b及び117c並びにそれらの描写117b及び117cによって輪郭を描かれた夫々の断面115b及び115cは、ピクセル/ボクセル値及び形状において第1又は最初の描写117aとより良く整合する。
3D描写ツール130は、たとえ放射線科医が自身が現在見ている最初の2Dスライス110aに対してしか描写動作を実行しないとしても、放射線科医が全てのスライス110a〜cにわたって関心領域120を“3次元的に捕らえる”ことを可能にする。
描写117a〜c自体は、その夫々のスライス110a〜cにおける描写117a〜cに係る座標位置及び幾何学形状を符号化するメタデータである。描写117a〜cは、後の取り出しのために3D画像データセット100とともに、又は3D画像データセット100と関連づけて記憶され得る。再びスクリーン150において見られる場合に、描写117a〜cは次いで、どのスライスがその場合に見られているかに依存して、その対応するスライス110a〜cにグラフィカルにオーバーレイされて再び示される。
通常、自動的に生成される描写117a〜cの全てが、放射線科医によって満足か判断されなくてよい。放射線科医は次いで、描写117a〜cを編集又は変更するためにスライス110a〜cの夫々又は幾つかをレビューする必要がある。例えば、最初のスライス117aから外挿される描写117bは、不適切な形状を有すると認められることがあり、故に、それは、スライス110bにおいて示される関心領域の断面を適切にカバーしない。放射線科医は次いで、描写117bを再調整又は編集するために再び3D描写ツール130を使用してよい。
図2は、本発明の一実施形態に従って、放射線科医が3D画像データセット100をナビゲート及び/又は変更するのを支援する医用画像後処理システムを示す。システムは、スライス110a〜cを含む3D画像データセット100を保持するデータベース(DB)170を有する。プロセッシングユニット140は、スクリーン150に表示されるグラフィカルユーザインターフェース(GUI)155の外観及び機能を制御するGUIコントローラ160を実行する。
GUI155は、図3A及び図3Bにおいてより詳細に示されている。GUI155は、フレーム307を有するウィンドウウィジェット305と、ウィンドウウィジェット305に隣接して配置されるグラフィカルスライドバー320とを有する。グラフィカルスライドバー320は、他の実施形態では、縦方向でなく横方向にウィンドウウィジェット305の上又は下に配置されてよい。スライドバー320はスライダ315及びバー317を有する。バー317は、連続した関係において並んで配置されているセグメント310から構成される。GUI155は、そのインタラクティブなウィジェット及びアイコンコンポーネントにより、マウスクリック又は他のポインタツールによるユーザインタラクションを可能にする。他の実施形態では、コントローラ160は、プロセッシングユニット140へ接続されたキーボードにおけるキーストロークに更に応答するよう構成される。
GUI155並びにその要素であるスライドバー320及びウィンドウウィジェット305はGUIウィジェットツールキットとして利用可能であり、C++のようなオブジェクト指向のプログラミング言語を用いてプログラミング可能である。
[動作]
GUIコントローラ160の起動時に、GUI155は、空のウィンドウイジェット305を有して表示される。GUI155は、ユーザが3D画像データセット100のスライス110a〜cをロードするのを開始することを可能にするロードボタンウィジェット(図示せず。)を含む。コントローラ160は次いで、デフォルトの又はユーザ選択可能なスライス110aを選択し、それをウィンドウウィジェット305においてスクリーン150でのビューのために提示する。
図3Aにおいて、スライス110aは、関心領域120の断面115aと、描写117aとを示す。3D描写は、描写ツール130の以前の適用の結果であってよい。他の実施形態では、描写117aは描写117b及び117c(スライド110aに関する現在のビューでは隠れているので図示せず。)とともに、代わりに、スライス110a、b又はcのロード時に自動的に生成されてよい。
ユーザが3D画像データセット100を選択した場合に、コントローラ160は、個々に記憶されている描写117a〜cの夫々へ2つの状態のうちの1つを割り当てるルーチンを呼び出す。最初のフェーズにおいて、たとえスライスの1つ、この場合には117aしかGUI155の呼び出し時にウィンドウウィジェット305においてスクリーン上で示されないとしても、全ての描写117a〜cが状態を割り当てられている。他の実施形態では、スライス110a〜cをロードしたときに既に状態が割り当てられているので、デフォルト状態は割り当てられない。
一実施形態に従って、ユーザは、描写117a〜cのうちのどれが状態を割り当てられるべきかを選択してよい。これは、特定の描写が放射線科医にとって先験的に関心がない場合にCPU時間をセーブしてよい。描写117a〜cへの状態の割当は、連想的な方法(associative way)のような適切なデータ構造によって実施され得る。夫々の描写117a〜cはその場合にフラグと関連づけられる。フラグが特定の描写、例えば、117aに関して設定される場合には、描写117aは1つの状態にあり、フラグが設定されない場合には、描写117aは他の状態にある。更に、夫々の描写117a〜cは、スライス110a〜cのうちの唯一1つへのポインタ又はリファレンス構造によって関連づけられる。第1の描写117aに関する説明は例示に過ぎず、同様の説明は全ての他の描写117b及び117c並びにそれらのスライス110b及び110cに当てはまる。
本発明の一実施形態に従って、2つの状態は、保護された状態及び保護されていない状態である。保護されていない状態にある場合に、夫々の描写117a〜cは3D描写ツール130によって変更され得る。保護された状態にある場合に、夫々の描写117a〜cは3D描写ツール130によって変更され得ない。最初のフェーズにおいて、描写117a〜cの夫々はデフォルト状態を割り当てられ、例えば、全てが保護されていない状態又は保護された状態のいずれか一方である。ユーザは、スライドバー320を使用することによってスライス110a〜cをナビゲートすることができる。スライドバー320は、スライドバー320のバー317を上下にドラッグされ得る、コンピュータのマウスに応答するインタラクティブなスライダ315を有する。バー317は、スライス110a〜cのうちの厳密に1つに夫々対応するセグメント310を有する。バー317にわたるセグメント310の配置は、3D画像データセット100にわたるスライス110の相互空間関係に対応する。つまり、2つの隣接した要素310は、夫々のスライス110a及びbが3D画像データセット100において隣接したスライスであることをユーザに示す。
スライダ350をドラッグすることによって、ユーザは従って、3D画像データセット100において一度に1つのスライスをスクロールすることができる。スライダ315が特定のセグメント310の上に位置する場合に、ウィンドウウィジェット305は次いでビューを変化させ、その特定のセグメント310に関連付けられたスライス110b又は110cを代わりに示す。そのスライス110a〜cにおいて示される描写117a〜cが保護されているか否かは、夫々のスライス110a〜cに関連付けられるセグメント310の着色によって色分けされる。色分けは、ハッチングされた(“保護された”)又はハッチングされていない(“保護されていない”)セグメント310として図式的に図3aにおいて示されている。
保護されていない状態にある場合に、コントローラ160は、要素310にGUI155のキャンバスの背景色を帯びさせるよう構成される。より良いビューを可能にするために、本発明の一態様に従って、スライダ315は、スライダ315が現在位置づけられているセグメント310の色を反映するか又は帯びるようプログラムされる。スライダ315はこのように、“トランスペアレントな”挙動を示すよう構成されると考えられ得る。
ユーザは、スライス110aの現在示されている描写117aを、その描写117aが保護されていない状態にある場合にのみ変更することができる。3D描写ツール130によって描写117aを変更した後に、ユーザは次いで、現在示されているスライス110aに対応するセグメントをダブルクリックすることによって描写117aを保護又は固定することができる。夫々のセグメント310をダブルクリックすることは、コントローラ160によって制御されるイベントリスナーによってインターセプトされるイベントをトリガする。コントローラ160は次いで、イベントをイベントハンドラへ送る。イベントハンドラは、連想配列にクエリを行うルーチンを呼び出し、スライス110aにおける対応する描写117aに関してフラグをユーザ要求されたものとして設定する。
ユーザは次いで、図3Bに示されるように、スライダ315をセグメント1つ分上に動かすことによってスライス110bへスクロールすることができる。スライス110bに関連付けられるセグメント310はハッチングされて示されており、故に、現在表示されているスライス110bにおいて示される描写117bは保護されている。GUI155は、ユーザがスライス110a、bをスクロールし、スライドバー320において夫々のセグメントをクリックすることによって、又はキーストロークによって保護された状態と保護されていない状態とを切り替えることを可能にする。
描写の変更は、描写を形成する線又は面の形状をシフトし、スケーリングし、変更することを含む。
描写117a〜cは、3D描写ツール130が、スライス110aにおける描写117aを操作するために適用される場合に、対応する変更を、スライス110b及び110cのうちの他の1つにおける描写117b及び117cのうちの他の1つに自動的に適用することができるように、論理的に接続されている。論理的に連結された描写117a〜cの集合は、関心領域120の3D描写を形成する。例えば、ユーザが描写117aの形状を変更するために3D描写ツール130を提供すると決める場合に、ツール130は次いで、隣接する描写117b及び117cへ同様の変更を自動的に適用する。現在見られていない描写117b及び117cのこのような自動的な共変更によって、描写117a〜cの集合によって定義される関心領域120の幾何学的連続性はそのように確保又は強化され得る。
図2及び図3に従うシステムは、現在見られていないスライス110b及び110cにおける描写117b及び117cに対する描写ツール130の動作が制御可能であるために、放射線科医が画像データセット100の全体にわたってサブボリューム描写117a〜cをナビゲートし変更/操作するのを支援する。描写ツール130は、現在見られていない描写117a〜cへの野放しのアクセスを与えられていない。ユーザがウィンドウウィジェット305において表示される描写117aの変更を描写ツール130を介して要求する場合に、コントローラ160は、自動発行された共変更要求を登録し、図2に示される変更トラッカルーチン145を呼び出す。トラッカ145はガードとして働き、3D描写ツール130によって発行される全ての変更要求をインターセプトする。インターセプトされた描写(共)変更要求に基づき、トラッカ145は、現在の描写117aへ適用される変更に対する結果として共変更されるべき描写117b及び117cの同一性を確立する。トラッカ145は次いで、まさに共変更されようとしている描写117b及び117cの夫々のフラグを連想配列において検索する。トラッカ145は、フラグが保護されていない状態を示す場合にのみ変更を認める。そうではなく、共変更されるべき描写117b又は117cが保護された状態にある場合には、トラッカ145は、要求された共変更を阻止する。トラッカ145はまた、現在見られている描写117aの変更を要求する場合にも使用され、要求を認める前に現在見られている描写117aの状態にクエリを行う。
図2及び図3に従うシステムは、放射線科医が、自動生成された描写117a〜cの中から、自身が保存に値すると信じる集合を定義することを可能にする。放射線科医は次いで、保護された描写における状態を失う心配をする必要なしに、保護されていない描写を変更するよう3D描写ツール130を使用することができる。
本発明の一実施形態に従って、現在見られているスライス110aにおける描写117aの保護された又は保護されていない状態は、図3Bに示されるようにウィンドウウィジェット305のフレーム307によって色分けされるか、あるいは、ウィンドウウィジェット305の中にオーバーレイされる色付きディスク175によって更に示されるか又は代替的に示される。ウィンドウフレーム307又はディスク175の着色は状態変化に応じて変化する。
図4A及び図4Bはスライドバーの種々の実施形態を示す。
図4Aを参照すると、“2D”のインジケータ420は、4Dのような、より高次元のデータセットに適する。ウィジェット420は、ユーザが、スライスの夫々の状態を夫々示すグラフィカル要素/セグメント310をタイル状に敷き詰めたウィンドウ枠のような“チェスボード”にわたって2次元においてスライダ315を動かすことを可能にする。インジケータ420は、図3A及び図3Bにおけるスライドバー320と同様に“2D”スライドとして考えられ得る。
図4Bを参照すると、スライダ415は、主ウィンドウウィジェット306において表示されるスライスに直交するスライスを表示する余分のウィンドウウィジェット305にわたって延在する線418を有し、線418は、スライダ415とともに可動である。3D画像データセット100に対する主ウィンドウウィジェット306における表示スライスの正確な位置は、放射線科医によって、ウィンドウウィジェット305における直交スライス全体を見ることでより容易に確定され得る。交差線418は、主ウィンドウウィジェット306において現在表示されているスライス110aにおける描写117aの現在の状態を示すよう色分けされる。線418の色は、現在見られているスライスにおける描写の状態に従って変化し、線418及びスライダ415はその場合に同じ色合いを示す。
図5を参照すると、3D画像データセットのナビゲーション/変更を支援する方法のフローチャートが示されている。
ステップS510で、スライス110a〜cが受け取られる。それらのスライスは関連付けられた夫々の描写117a〜cを有し、それらの描写は2つの状態のうちの1つ、すなわち、保護された状態又は保護されていない状態にある。
代替案として、最初のステップS505において、描写117a〜cは、それらの描写の夫々又はそれらの描写の断面へ自動的に割り当てられたデフォルト状態を有して自動生成される。
ステップS520で、描写117aを有するスライス110aがGUIで表示される。ユーザ要求があると、スライス110b及び110cのうちの他の1つが代わりに表示されてよい。
スライス110aの表示と同時に、ステップS530で、3D画像データセットにおけるスライスの空間的位置の視覚的指示が表示される。一実施形態において、3D画像データセットにおけるスライスの位置は、現在見られていようとなかろうとデータセット内の全てのスライスに関して表示される。代替的に、スライスのユーザ選択可能なサブ選択が定義可能である。選択されたスライスの位置しかその場合には表示されない。
ステップS540で、スライス110a並びに現在見られていないスライス110b及び110cの現在の状態の視覚的指示が表示され、異なる状態は異なる視覚的な指示によって表される。一実施形態において、全てのスライスの状態が表示されるか、又はユーザは、描写状態が表示されるべきそれらのスライスのサブ選択を定義してよい。
ユーザ要求があると、ステップS550で、要求は、第1のスライス110aにおける第1の描写117a又は第2のスライス110bにおける第2の描写117bの状態を夫々の他の状態に変えるよう受け取られる。状態を変更する要求に応答して、第1のスライス又は第2のスライスの状態の視覚的指示の表示は次いでステップS560で更新される。
ステップS570で、スライス110aにおける描写117aを変更するユーザ要求が受信される場合に、その変更要求は、スライス110b及び110cにおける残りの描写117b及び117cのうちの1又はそれ以上に向けられる1又はそれ以上の自動生成される共変更要求とともにインターセプトされる。
更なるステップで、変更又は共変更要求が受信された描写毎に、状態が確認される。状態が保護されていないと認められる場合は、その特定のスライスに対する変更又は共変更要求は許可される。そうではなく、状態が保護された状態であると認められる場合は、変更又は共変更要求は阻止されて認められない。
ステップの上記シーケンスは例示に過ぎず、ステップは、状態又は位置が表示されると如何なる順序でも実行されてよい。表示ステップS520,S530は同時に実行されてよい。
本発明の他の例となる実施形態では、コンピュータプログラム又はコンピュータプログラム要素であって、適切なシステムにおいて上記の実施形態の1つに従う方法の方法ステップを実行するよう構成されることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
そのために、コンピュータプログラム要素は、本発明の実施形態の部分であってもよいコンピュータユニットに記憶されてよい。このコンピュータユニットは、上記の方法のステップを実行するか又はその実行を引き起こすよう構成されてよい。更に、それは、上記の装置の構成要素を作動するよう構成されてよい。コンピュータユニットは、自動的に作動するよう及び/又はユーザの命令を実行するよう構成され得る。コンピュータプログラムは、データプロセッサの作業メモリにロードされてよい。よって、データプロセッサが本発明の方法を実行するよう装備されてよい。
本発明のこの例となる実施形態は、最初から本発明を使用するコンピュータプログラムも、既存のプログラムを更新により本発明を使用するプログラムに変えるコンピュータプログラムもカバーする。
これより先、コンピュータプログラム要素は、上記の方法の例となる実施形態のプロシージャを果たすよう全ての必要なステップを提供することができる。
本発明の更なる例となる実施形態に従って、CD−ROMのようなコンピュータ可読媒体が提供され、該コンピュータ可読媒体は、先の段落によって記載されるコンピュータプログラム要素を自身に記憶して有する。
コンピュータプログラムは、他のハードウェアとともに又はその部分として供給される光記憶媒体又は固体状態媒体のような適切な媒体において記憶及び/又は配布されてよいが、インターネット又は他の有線若しくは無線の電気通信システムを介するような他の携帯においても配布されてよい。
なお、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワーク上で提供されてよく、そのようなネットワークからデータプロセッサの作業メモリにダウンロードされ得る。本発明の更なる例となる実施形態に従って、コンピュータプログラム要素をダウンロードに利用可能とする媒体が提供され、そのコンピュータプログラム要素は、本発明の上記の実施形態の1つに従う方法を実行するよう配置される。
本発明の実施形態は、異なる主題を参照して記載されることが留意されるべきである。特に、幾つかの実施形態は、方法タイプの請求項を参照して記載され、一方、他の実施形態は、装置タイプの請求項を参照して記載される。しかし、当業者は、上記及び下記の記載から、別なふうに述べられない限り、主題の1タイプに属する特徴のいずれかの組み合わせに加えて、異なる主題に関連する特徴の間の如何なる組み合わせも本願により開示されていると見なされるとの結論を下すであろう。なお、全ての特徴は、それらの特徴の単純な和を超える相乗効果を提供しながら組み合わされ得る。
本発明は図面及び上記の記載において詳細に例示及び説明されてきたが、そのような例示及び説明は制限ではなく単なる実例であると考えられるべきである。本発明は、開示される実施形態に制限されない。開示される実施形態に対する他の変形例は、図面、本開示、及び従属請求項の検討から、請求される発明を実施する際に当業者によって理解され達成され得る。
特許請求の範囲において、語「有する(comprising)」は他の要素又はステップを除外せず、不定冠詞「1つの(a又はan)」は複数個を除外しない。単一のプロセッサ又は他のユニットが、特許請求の範囲で挙げられている複数の項目の機能を満たしてよい。特定の手段が相互に異なる従属請求項において挙げられているという単なる事実は、それらの手段の組み合わせが有利に使用され得ないことを示すわけではない。特許請求の範囲における如何なる参照符号も、適用範囲を制限するよう解釈されるべきではない。
ほとんどの医用画像データは3次元(3D)ボリューム又はより高い次元、例えば、ビデオシーケンス、すなわち、複数種類の撮像装置から取得された画像が同時に考慮されるべきである場合、である。たった2次元(2D)のデータはスクリーンに完全に表示可能であり、3D描写インタラクションは3Dボリュームの2Dサブボリューム(“スライス”)において表示される。3D画像データに関する制限された2Dビューは、時々3D描写ツールの取り扱いを扱いにくくする。
国際公開第2009/074930号は、医用画像データセットから複数のデータスライスを取り出す方法を公表している。複数のデータスライスに関連付けられたインジケータが表示される。インジケータと複数のデータスライスとの間の関連づけは、医用画像データセットのセグメンテーションに基づく。インジケータは、医用画像データセットのセグメンテーションにおいて取得されるオブジェクトを表す。
本発明は、添付の特許請求の範囲に従う。
第1の態様に従って、少なくとも3D(又はより高い次元)の画像データセットをナビゲート又は変更するのを支援する装置が提供される。前記3D画像データセットは、第1及び第2のスライスを含む複数の断面2D画像スライスを含む。前記複数のスライスは、前記3D画像データセットにおける断面図を表す。夫々のスライスは、複数の状態のうちの1つを有するか又はそのような状態にある。当該装置は:
a)前記3D画像データセット及び該3D画像データセットにおける前記複数のスライスにアクセスするデータベースインターフェース;
b)グラフィカルユーザインターフェース(GUI)をスクリーンに表示するよう構成されるグラフィカルユーザインターフェースコントローラ。前記グラフィカルユーザインターフェースは、そのように制御されて前記スクリーンに表示される場合に:
b.1)前記3D画像データセットの前記第1のスライスを画像としての表示のために選択する選択ウィジェット;
b.2)前記第1のスライスを画像として表示するウィンドウウィジェット;
b.3)i)前記3D画像データセットにおける前記第1のスライスの空間的位置の視覚的指示を表示し、且つii)前記3D画像データセットにおける前記第2のスライスの空間的位置の視覚的指示を表示し、前記3D画像データセットにおける前記第1のスライスと前記第2のスライスとの間の相対位置を示すスライス位置インジケータウィジェット;
b.4)前記第1のスライスの現在の状態及び前記第2のスライスの現在状態の視覚的指示を表示するグラフィカル要素を有する。異なる状態は異なる視覚的指示によって表される。
一実施形態に従って、前記GUIは、表示される場合に、前記3D画像データセットの前記第1のスライスを画像としての表示ために選択する選択ウィジェットを有する。
一実施形態に従って、状態又はデフォルト状態の割当は、ユーザにより開始されてよく、コンピュータのマウスを使用して、前記ウィンドウウィジェットの中又はその周りに表示されたスライドバー又はチェックボックスをマウスでクリックすることによって達成される。
一実施形態に従って、夫々のスライスはサブボリューム描写を含む。夫々のサブボリューム描写は、輪郭を描くことによって又は色づけすることによって、3D画像データセットにおける関心領域の3D(又はより高い次元の)描写の異なる断面を表す。前記3D描写は少なくとも前記第1及び第2のスライスにわたって延在する。前記3D描写は3D描写ツールの前記第1のスライスへの適用の結果であってよい。前記3D描写ツールの動作は、前記第1のスライスにおけるサブボリューム描写の同じ又は他の3D描写ツールによる後の変更が前記第2のスライスにおけるサブボリューム描写の対応する共変更を自動的に生じるように、前記複数のスライスの又は該複数のスライスにおける夫々の描写を論理的に連結する。夫々のスライスは、保護された状態又は保護されていない状態のいずれかである2つの状態のうちの1つを有するか又はそのような状態にある。前記第2のスライスが前記保護されていない状態にあり且つ前記第1のスライスが前記3D描写ツールの適用によって変更される場合に、前記第2のスライスの共変更は許可され、一方、前記第2のスライスが保護された状態にある場合に、前記第2のスライスの共変更は阻止される。
一実施形態に従って、前記グラフィカルスライス位置インジケータはスライドバーGUIウィジェットである。スライドバーはグラフィカルスライダーアイコン及びグラフィカルバーアイコンを有する。スライダアイコンは、ポインタデバイス(例えば、マウス又はスクリーンペン)によるユーザインタラクションによりバーアイコンに沿ってスライドすることが可能である。バーアイコンは、前記グラフィカル要素として一連のセグメントを有する。夫々のセグメントは、前記第1及び第2のスライスを含む前記複数のスライスの中の1つと関連づけられ、異なるセグメントは異なるスライスを示す。隣接するセグメントは、夫々のスライスの前記3D画像データセットにおける隣接した空間関係を示す。前記3D画像データセットにおける関心領域の実際の空間関係(例えば、前、真ん中、最後)は、バーアイコン上の要素の相互のグラフィカル/空間配置によって、このようにしてマッピングされて表される。
一実施形態に従って、前記第1及び第2のスライスを含むいずれかのスライスの状態の視覚的指示の表示は、前記グラフィカルバーのセグメントを色分けすることによる。夫々の色は異なる状態を示し、前記スライダアイコンは、前記バーアイコンをマウスインタラクションの使用によりをスライド又はドラッグする場合に自身の色を変える。前記スライダアイコンは、前記セグメントのいずれか1つに位置する場合にそのセグメントの色を反映するか又は帯びる。
一実施形態に従って、前記グラフィカル要素は、前記ウィンドウウィジェットのフレームである。前記第1のスライス又は前記第2のスライスの状態の視覚的指示は、前記ウィンドウウィジェットにおいて現在表示されているスライスごとに1つの色で前記フレームを色分けすることによる。他の実施形態に従って、前記グラフィカル要素は、前記ウィンドウウィジェットにおいてオーバーレイされてその中に位置する色分けされたディスクアイコンである。上記の異なる色分けスキームは、描写レビューの間の状態の一層より良い伝達を可能にする。
一実施形態に従って、前記第1のスライスと前記第2のスライスとの間での表示の切り替え又は状態変化は、前記グラフィカルユーザインターフェースコントローラがマウスクリックイベント又はキーストロークイベントをインターセプトすることによって生じる。連続したイベントは、スライス毎に厳密に2つの状態が存在する場合にそれらの2つの状態の間を切り替えることを引き起こし、あるいは、前記連続したイベントは、スライス毎に2よりも多い状態が存在する場合にそれらの状態を周期的に繰り返すことを引き起こす。これは、状態を変更するための高速且つ簡単なインタラクションを提供する。前記GUIの構成要素はそれらの色を、状態の変更が要求される場合に変化させる。キーストロークインタラクションに関する一例は、スライスを固定又は解除するよう‘f’キーを割り当てるよう当該装置を構成することである。

Claims (15)

  1. 第1及び第2のスライスを含む複数の断面2D画像スライスを含む少なくとも3D画像データセットをナビゲート又は変更するのを支援する装置であって、前記複数のスライスは前記3D画像データセットにおける断面図を表し、夫々のスライスは複数の状態のうちの1つを有する、装置において、
    前記3D画像データセット及び該3D画像データセットにおける前記複数のスライスにアクセスするデータベースインターフェースと、
    グラフィカルユーザインターフェースをスクリーンに表示し、該グラフィカルユーザインターフェースが、そのように制御されて前記スクリーンに表示される場合に、
    前記3D画像データセットの前記第1のスライスを画像としての表示のために選択する選択ウィジェットと、
    前記第1のスライスを画像として表示するウィンドウウィジェットと、
    i)前記3D画像データセットにおける前記第1のスライスの空間的位置の視覚的指示を表示し、且つii)前記3D画像データセットにおける前記第2のスライスの空間的位置の視覚的指示を表示し、前記3D画像データセットにおける前記第1のスライスと前記第2のスライスとの間の相対位置を示すスライス位置インジケータウィジェットと、
    前記第1のスライスの現在の状態及び前記第2のスライスの現在状態の、該状態が異なる毎に異なる視覚的指示を表示するグラフィカル要素と
    を有するよう構成されるグラフィカルユーザインターフェースコントローラと
    を有し、
    前記グラフィカルユーザインターフェースコントローラは更に、i)前記第1のスライス又は前記第2のスライスの現在の状態を前記複数の状態の中の新しい状態に変化させるユーザ要求を受け取り、且つ、前記第1のスライス又は前記第2のスライスの現在の状態を変化させる前記ユーザ要求が受け取られた場合に、ii)前記第1のスライス又は前記第2のスライスの状態の視覚的指示の表示を更新して前記第1のスライス又は前記第2のスライスの要求された前記新しい状態を示すよう構成される、装置。
  2. 夫々のスライスは、前記3D画像データセットにおける関心領域の3D又はそれより高い次元の描写の夫々異なる断面を表すサブボリューム描写を含み、前記3D描写は少なくとも前記第1及び第2のスライスにわたって延在し、前記3D描写は3D描写ツールの前記第1のスライスへの適用の結果であり、前記複数のスライスの夫々のサブボリューム描写は、前記第1のスライスにおけるサブボリューム描写の同じ又は他の3D描写ツールによる後の変更が前記第2のスライスにおけるサブボリューム描写の対応する共変更を自動的に生じるように論理的に連結され、夫々のスライスは、保護された状態又は保護されていない状態のいずれかである2つの状態のうちの1つを有し、前記第2のスライスが前記保護されていない状態にある場合に、前記第2のスライスの共変更は許可され、一方、前記第2のスライスが保護された状態にある場合に、前記第2のスライスの共変更は阻止される、
    請求項1に記載の装置。
  3. 前記スライス位置インジケータウィジェットは、グラフィカルスライダ及びグラフィカルバーを含むスライドバーであり、前記グラフィカルスライダは、ポインタデバイスによるユーザインタラクションにより前記グラフィカルバーに沿ってスライドすることが可能であり、前記グラフィカルバーは、前記グラフィカル要素として一連のセグメントを有し、夫々のセグメントは、前記第1及び第2のスライスを含む前記複数のスライスの中の1つと関連づけられ、異なるセグメントは異なるスライスを示し、隣接するセグメントは、夫々のスライスの前記3D画像データセットにおける隣接した空間関係を示す、
    請求項1又は2に記載の装置。
  4. 前記第1及び第2のスライスを含むいずれかのスライスの状態の視覚的指示の表示は、前記グラフィカルバーのセグメントを色分けすることにより、夫々の色は異なる状態を示し、前記グラフィカルスライダは、前記グラフィカルバーをスライドする場合に自身の色を変え、前記グラフィカルスライダは、前記セグメントのいずれか1つに位置する場合にそのセグメントの色を反映する、
    請求項3に記載の装置。
  5. 前記グラフィカル要素は、前記ウィンドウウィジェットのフレームであり、前記第1のスライス又は前記第2のスライスの状態の視覚的指示は、前記ウィンドウウィジェットにおいて現在表示されているスライスごとに1つの色で前記フレームを色分けすることにより、あるいは、前記グラフィカル要素は、前記ウィンドウウィジェットにおいてオーバーレイされてその中にある色分けされたディスクである、
    請求項1乃至4のうちいずれか一項に記載の装置。
  6. 前記第1のスライスと前記第2のスライスとの間での表示の切り替え又は状態変化は、前記グラフィカルユーザインターフェースコントローラがマウスクリックイベント又はキーストロークイベントをインターセプトすることによって生じ、連続したイベントは、スライス毎に厳密に2つの状態が存在する場合にそれらの2つの状態の間を切り替えることを引き起こし、あるいは、前記連続したイベントは、スライス毎に2よりも多い状態が存在する場合にそれらの状態を周期的に繰り返すことを引き起こす、
    請求項1乃至5のうちいずれか一項に記載の装置。
  7. 前記グラフィカルユーザインターフェースコントローラは更に、前記第1のスライスの代わりに又は該第1のスライスとともに前記ウィンドウウィジェットにおいて前記第2のスライスを表示するユーザ要求を受け取るよう構成され、該ユーザ要求は、前記スライス位置インジケータウィジェットとのユーザインタラクションによって、又はキーストロークによってもたらされる、
    請求項1乃至6のうちいずれか一項に記載の装置。
  8. 前記グラフィカルスライダは交差線を有し、該交差線は、ユーザが前記グラフィカルスライダの移動を要求する場合に、前記ウィンドウウィジェットを横切って且つ該ウィンドウウィジェットに表示されるスライスの上をスイープする、
    請求項3乃至7のうちいずれか一項に記載の装置。
  9. スクリーンに表示される場合に、請求項1乃至8のうちいずれか一項に記載の装置に含まれる前記グラフィカルユーザインターフェースコントローラによって制御されるグラフィカルユーザインターフェース。
  10. 第1及び第2のスライスを含む複数の断面2D画像スライスを含む少なくとも3D画像データセットをナビゲート又は変更するのを支援する医用画像後処理システムであって、夫々のスライスは複数の状態のうちの1つを有する、システムにおいて、
    請求項1乃至8のうちいずれか一項に記載の装置と、
    前記装置を実行するコンピュータユニットと、
    前記3D画像データセットを保持するデータベースと、
    前記スライスを画像として表示するスクリーンと、
    前記スライスにおける描写を変更する3D描写ツールと、
    ユーザ入力のためのキーボード又はポインタと
    を有するシステム。
  11. 第1及び第2のスライスを含む複数の断面2D画像スライスを含む少なくとも3D画像データセットをナビゲート又は変更するのを支援する方法であって、夫々のスライスは複数の状態のうちの1つを有する、方法において、
    スクリーン上にグラフィカルユーザインターフェースにおいて画像として前記第1のスライスを表示するステップと、
    前記第1のスライスの表示とともに、前記グラフィカルユーザインターフェースにおいて、前記3D画像データセットに含まれる、該3D画像データセットにおけるビューを表す前記第1のスライスの空間的位置の視覚的指示を表示するステップと、
    前記3D画像データセットに含まれる前記第2のスライスの空間的位置の視覚的指示を前記グラフィカルユーザインターフェースにおいて表示するステップと、
    前記第1のスライスの現在の状態及び前記第2のスライスの現在状態の、該状態が異なる毎に異なる視覚的指示を表示するステップと、
    ユーザインタラクションにより、前記第1のスライス又は前記第2のスライスの現在の状態を前記複数の状態の中の新しい状態に変化させるユーザ要求を受け取るステップと、
    前記第1のスライス又は前記第2のスライスの現在の状態を変化させる前記ユーザ要求が受け取られた場合に、前記第1のスライス又は前記第2のスライスの状態の視覚的指示の表示を更新して前記第1のスライス又は前記第2のスライスの要求された前記新しい状態を示すステップと
    を有する方法。
  12. 夫々のスライスは、前記3D画像データセットにおける関心領域の3D又はそれより高い次元の描写の夫々異なる断面を表すサブボリューム描写を含み、前記3D描写は少なくとも前記第1及び第2のスライスにわたって延在し、前記3D描写は3D描写ツールの前記第1のスライスへの適用の結果であり、前記複数のスライスの夫々のサブボリューム描写は、前記第1のスライスにおけるサブボリューム描写の同じ又は他の3D描写ツールによる後の変更が前記第2のスライスにおけるサブボリューム描写の対応する共変更を自動的に生じるように論理的に連結され、夫々のスライスは、保護された状態又は保護されていない状態のいずれかである2つの状態のうちの1つを有し、前記第2のスライスが前記保護されていない状態にある場合に、前記第2のスライスの共変更は許可され、一方、前記第2のスライスが保護された状態にある場合に、前記第2のスライスの共変更は阻止される、
    請求項11に記載の方法。
  13. ウィンドウウィジェットにおいて前記第2のスライスを表示するユーザ要求を受け取り、該ユーザ要求が受け取られる場合に、前記ウィンドウウィジェットを更新して前記第1のスライスに代えて又は該第1のスライスとともに前記第2のスライスを表示するステップ
    を更に有する請求項11又は12に記載の方法。
  14. 請求項1乃至8のうちいずれか一項に記載の装置を制御するコンピュータプログラムであって、プロセッシングユニットによって実行される場合に、請求項11乃至13のうちいずれか一項に記載の方法を実行するよう構成されるコンピュータプログラム。
  15. 請求項14に記載のコンピュータプログラムを記憶したコンピュータ可読媒体。
JP2014530366A 2011-09-19 2012-09-14 画像処理において使用されるguiにおける多次元画像のサブボリュームのための状態インジケータ Active JP6055476B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161536112P 2011-09-19 2011-09-19
US61/536,112 2011-09-19
PCT/IB2012/054818 WO2013042025A1 (en) 2011-09-19 2012-09-14 Status-indicator for sub-volumes of multi-dimensional images in guis used in image processing

Publications (2)

Publication Number Publication Date
JP2014526946A true JP2014526946A (ja) 2014-10-09
JP6055476B2 JP6055476B2 (ja) 2016-12-27

Family

ID=47258038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014530366A Active JP6055476B2 (ja) 2011-09-19 2012-09-14 画像処理において使用されるguiにおける多次元画像のサブボリュームのための状態インジケータ

Country Status (6)

Country Link
US (1) US9317194B2 (ja)
EP (1) EP2745273B1 (ja)
JP (1) JP6055476B2 (ja)
CN (1) CN103814398B (ja)
MX (1) MX2014002938A (ja)
WO (1) WO2013042025A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020099672A (ja) * 2018-10-19 2020-07-02 キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc 2次元画像上の3次元画像データの可視化

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035026A1 (en) * 2011-09-07 2013-03-14 Koninklijke Philips Electronics N.V. Interactive live segmentation with automatic selection of optimal tomography slice
CN105228518B (zh) * 2013-03-12 2018-10-09 火山公司 用于诊断冠状微脉管疾病的系统和方法
US10831356B2 (en) 2014-02-10 2020-11-10 International Business Machines Corporation Controlling visualization of data by a dashboard widget
USD751107S1 (en) * 2014-06-03 2016-03-08 Microsoft Corporation Display screen with graphical user interface
US10586398B2 (en) * 2014-12-18 2020-03-10 Koninklijke Philips N.V. Medical image editing
US10013781B1 (en) * 2017-06-13 2018-07-03 Google Llc Sewing machine-style polygon drawing method
DE102017210528A1 (de) * 2017-06-22 2018-12-27 Siemens Healthcare Gmbh Visualisierung eines medizintechnischen Objekts
US11194461B2 (en) * 2019-01-15 2021-12-07 Fujifilm Medical Systems U.S.A., Inc. Smooth image scrolling with dynamic scroll extension
US20210052240A1 (en) * 2019-08-19 2021-02-25 Covidien Lp Systems and methods of fluoro-ct imaging for initial registration
WO2021216860A1 (en) * 2020-04-22 2021-10-28 Canon U.S.A., Inc. Visualization of three-dimensional image data on two-dimensional images
US11922668B2 (en) * 2020-11-05 2024-03-05 Google Llc Asynchronous region-of-interest adjudication for medical images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10146395A (ja) * 1996-11-18 1998-06-02 Hitachi Ltd 放射線照射システム
JP2004173910A (ja) * 2002-11-27 2004-06-24 Fuji Photo Film Co Ltd 画像表示装置
US20060126909A1 (en) * 2004-11-26 2006-06-15 Julian Marshall Monitoring and control of mammographic computer-aided detection processing
US20070025685A1 (en) * 2005-07-26 2007-02-01 Ziosoft, Inc. Image processing method and computer readable medium
JP2007111123A (ja) * 2005-10-18 2007-05-10 Hitachi Medical Corp 医用画像表示装置
JP2011508616A (ja) * 2007-12-13 2011-03-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療画像データの組からデータを検索する方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080279429A1 (en) * 2005-11-18 2008-11-13 Koninklijke Philips Electronics, N.V. Method For Delineation of Predetermined Structures in 3D Images
EP1975877B1 (en) * 2005-11-23 2018-09-19 Agfa HealthCare N.V. Method for point-of-interest attraction in digital images
US20070116357A1 (en) * 2005-11-23 2007-05-24 Agfa-Gevaert Method for point-of-interest attraction in digital images
CN109584996A (zh) * 2007-12-13 2019-04-05 皇家飞利浦电子股份有限公司 一系列图像中的导航
JP5241357B2 (ja) * 2008-07-11 2013-07-17 三菱プレシジョン株式会社 生体データモデル作成方法及びその装置
JP5616352B2 (ja) * 2008-11-24 2014-10-29 コーニンクレッカ フィリップス エヌ ヴェ 三次元guiにおける二次元グラフィックスの拡張
EP2751779B1 (en) * 2011-10-11 2018-09-05 Koninklijke Philips N.V. A workflow for ambiguity guided interactive segmentation of lung lobes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10146395A (ja) * 1996-11-18 1998-06-02 Hitachi Ltd 放射線照射システム
JP2004173910A (ja) * 2002-11-27 2004-06-24 Fuji Photo Film Co Ltd 画像表示装置
US20060126909A1 (en) * 2004-11-26 2006-06-15 Julian Marshall Monitoring and control of mammographic computer-aided detection processing
US20070025685A1 (en) * 2005-07-26 2007-02-01 Ziosoft, Inc. Image processing method and computer readable medium
JP2007034572A (ja) * 2005-07-26 2007-02-08 Ziosoft Inc 画像処理方法及び画像処理プログラム
JP2007111123A (ja) * 2005-10-18 2007-05-10 Hitachi Medical Corp 医用画像表示装置
JP2011508616A (ja) * 2007-12-13 2011-03-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療画像データの組からデータを検索する方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020099672A (ja) * 2018-10-19 2020-07-02 キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc 2次元画像上の3次元画像データの可視化
US11344371B2 (en) 2018-10-19 2022-05-31 Canon U.S.A., Inc. Visualization of three-dimensional image data on a two-dimensional image

Also Published As

Publication number Publication date
WO2013042025A1 (en) 2013-03-28
CN103814398A (zh) 2014-05-21
MX2014002938A (es) 2014-04-25
JP6055476B2 (ja) 2016-12-27
EP2745273A1 (en) 2014-06-25
US9317194B2 (en) 2016-04-19
US20140229881A1 (en) 2014-08-14
CN103814398B (zh) 2016-12-07
EP2745273B1 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
JP6055476B2 (ja) 画像処理において使用されるguiにおける多次元画像のサブボリュームのための状態インジケータ
EP2486548B1 (en) Interactive selection of a volume of interest in an image
JP6118325B2 (ja) 最適なトモグラフィスライスの自動選択を備えた対話式ライブセグメンテーション
JP6088498B2 (ja) 医用画像を処理するシステム及び方法
WO2009147841A1 (ja) 投影画像作成装置、方法およびプログラム
JP2008521462A (ja) 2次元/3次元の統合されたコンターエディター
JP2006513503A (ja) 三次元表示における複数箇所を管理する装置及び方法
US20130249903A1 (en) Medical image display device, medical information management server
US7420575B2 (en) Image processing apparatus, image processing method and image processing program
US9053574B2 (en) Calibrated natural size views for visualizations of volumetric data sets
EP3198565B1 (en) Visualizing volumetric image of an anatomical structure
RU2563158C2 (ru) Усовершенствования для планарного преобразования криволинейной структуры
US10324582B2 (en) Medical image display apparatus, method for controlling the same
US11403809B2 (en) System and method for image rendering
JP7132921B2 (ja) ビューポートサイズ変更に基づく3dコンテンツのための動的次元切替え
CN109727662B (zh) 医学影像检测的显示方法及装置、设备和非暂态存储介质
JP6572370B2 (ja) 医用画像表示装置およびその制御方法、プログラム
KR101138969B1 (ko) 고속 구동을 위한 3차원 투과 영상데이터의 액세스 방법 및 이를 위한 사용자 인터페이스 장치
JP2008029703A (ja) 三次元画像表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140320

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161202

R150 Certificate of patent or registration of utility model

Ref document number: 6055476

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250