JP2014528341A - 肺葉の曖昧性ガイドインタラクティブセグメンテーションのためのワークフロー - Google Patents

肺葉の曖昧性ガイドインタラクティブセグメンテーションのためのワークフロー Download PDF

Info

Publication number
JP2014528341A
JP2014528341A JP2014535189A JP2014535189A JP2014528341A JP 2014528341 A JP2014528341 A JP 2014528341A JP 2014535189 A JP2014535189 A JP 2014535189A JP 2014535189 A JP2014535189 A JP 2014535189A JP 2014528341 A JP2014528341 A JP 2014528341A
Authority
JP
Japan
Prior art keywords
segmentation
slice
dimensional
new
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014535189A
Other languages
English (en)
Other versions
JP2014528341A5 (ja
JP6208670B2 (ja
Inventor
ラファエル ウィームケル
ラファエル ウィームケル
トマス ブラッフェルト
トマス ブラッフェルト
クリスチャン ローレンツ
クリスチャン ローレンツ
ダニエル ビストロフ
ダニエル ビストロフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2014528341A publication Critical patent/JP2014528341A/ja
Publication of JP2014528341A5 publication Critical patent/JP2014528341A5/ja
Application granted granted Critical
Publication of JP6208670B2 publication Critical patent/JP6208670B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

三次元画像ボリュームを規定する二次元画像スライス110a‐cを後処理するための装置と方法。装置はグラフィカルユーザインターフェースコントローラ160、二次元セグメンター170、及び三次元セグメンター180を有する。装置はユーザがスライス110aに表示されるオブジェクトの断面の二次元セグメンテーションの計算と表示、及び三次元画像ボリュームにわたるオブジェクトの三次元セグメンテーションの計算と表示をもたらすことを可能にし、三次元セグメンテーションはオブジェクトの前に計算された二次元セグメンテーションに基づく。

Description

本発明は2D断面スライス画像を後処理するための装置、2D断面スライス画像を後処理するための方法、コンピュータプログラム要素及びコンピュータ可読媒体に関する。
コンピュータ支援診断では、医療オブジェクトの画像を、オブジェクトの関連する生理学的特徴をあらわすサブオブジェクトにセグメント化するセグメンテーションツールが使用される。例は左若しくは右肺のCT(コンピュータ断層撮影)画像ボリュームをその肺葉へセグメント化するために使用されるCOPD(慢性閉塞性肺疾患)及び肺がん診断セグメンテーションツールである。
完全に自動化されたセグメンテーションアルゴリズムが知られるが、常に所望の結果をもたらすわけではない。そうして作られるセグメンテーションはレビュー及び修正若しくは編集されなければならず、これは時に煩雑になり得る。これは二次元より高次元のセグメンテーションに特に当てはまる。
従って医師が医療画像データによってあらわされるオブジェクトのコンピュータ生成(若しくは他の方法の)セグメンテーションを扱うのをよりよく支援する必要があり得る。
本発明の目的は独立クレームの主題によって解決される。さらなる実施形態は従属クレームに組み込まれる。
本発明の下記の態様は2D断面スライス画像を処理する方法、2D断面スライス画像を後処理するための医療システム、コンピュータプログラム要素及びコンピュータ可読媒体に等しく当てはまることが留意されるべきである。
本発明の一態様によれば、3D画像ボリュームデータセットを規定する2D断面スライス画像を後処理するための装置が提供される。装置は、
グラフィカルユーザインターフェースコントローラ、
2Dセグメンター、及び
3Dセグメンターを有する。
グラフィカルユーザインターフェースコントローラは画面上での表示のためにグラフィカルユーザインターフェースを生成するように構成される。ユーザインターフェースはそのように表示されるとき、2Dスライスの中から初期スライスを画面上に表示するインタラクティブな第1のウィンドウウィジェットを有する。スライスは関心オブジェクトの断面を示し、ウィンドウウィジェットはユーザが、表示された初期スライス上のどこでも単一初期点の位置データをポインタツールによって指定することを可能にするように構成される。
2Dセグメンターはユーザがそうして位置データを指定することに応答して、指定された単一初期点を通過する若しくはそこから開始する曲線セグメンテーションラインをスライスにわたって計算することによって、表示された初期スライスを2Dセグメント化するように構成される。
グラフィカルユーザインターフェースコントローラはさらに、初期スライス上にオーバーレイされる計算されたセグメンテーションラインを第1のウィンドウウィジェットでの表示のために生成するように構成される。
3Dセグメンターはユーザ要求に応答して、計算されたセグメンテーションラインを(幾何若しくは断面)制約として使用することによって3D画像ボリュームを構成する複数の2Dスライスにわたってオブジェクトの3Dセグメンテーションを計算するように構成される。
グラフィカルユーザインターフェースコントローラはさらに、そうして計算された3Dセグメンテーションの少なくとも一部を画面上での表示のために生成するように構成される。
装置は、装置が提案したセグメンテーション結果が納得のいくものでないことがわかる場合、インタラクティブ2D及び3Dセグメンテーションレビューを提供する。
装置は例えば肺のスライス画像の、肺葉フットプリントをあらわす画像部分への2Dセグメンテーションを容易にもたらすことも可能にする。そして3D画像ボリュームにわたる肺の3Dフットプリントの3Dセグメンテーションが、前に計算された2Dセグメンテーションによって規定される境界制約から計算される。2Dセグメンテーションは肺の裂線(fissure lines)をあらわすセグメンテーションラインと、肺のフットプリント境界をアウトラインする輪郭を含み得る。そしてセグメンテーションラインは輪郭の一部と一緒に肺葉フットプリントセグメントを形成する。
2Dセグメンテーションが計算され、そしてGUIコントローラはウィンドウウィジェットにそれらの表示をもたらす。ユーザ"クリック"が、半自動的に生成された2Dセグメンテーションを承認してはじめて、承認された2Dセグメンテーションに基づいて3Dセグメンテーションが計算される。そのため装置は、ユーザがどの2Dセグメンテーションから3Dセグメンテーションが構築されるべきかを決定することができるようにする。ユーザが依然として2Dセグメンテーションのための初期点を提供しなければならないので、装置は全自動というよりも半自動である。しかしながらユーザによって指定される必要があるのは単一点のみである。装置はこの単一初期点に基づく2Dセグメンテーションを実施するので、わずかのユーザインタラクションが必要であり、ユーザの注意散漫を最小限に抑えながら迅速なワークフローが確保される。
本発明の一実施形態によれば、計算されたセグメンテーションラインはユーザが3Dセグメンテーションを要求するとバッファに保存される。ユーザが新たな初期点を指定すると、セグメンターは新たな初期点を通過する新たなセグメンテーションラインを計算する。そして新たに計算されたセグメンテーションラインは初期スライス上にオーバーレイされて第1のウィンドウウィジェットに前に計算されたセグメンテーションラインと一緒に表示される。ユーザが新たな3Dセグメンテーションの計算を要求すると、新たなセグメンテーションラインも前のセグメンテーションラインと一緒にバッファに保存される。そしてセグメンターはそうしてバッファされたセグメンテーションラインの両方を制約として使用してオブジェクトの新たな3Dセグメンテーションを計算する。そしてグラフィカルユーザインターフェースコントローラは肺の新たに計算された3D肺葉セグメンテーションを表示するように画面を更新する。
ユーザが、表示されたスライス上に目に見える裂線付近にマウスカーソルを位置付けた後、マウスクリックは1秒未満の計算/CPU時間で2Dセグメンテーションと、そうして計算された2Dセグメンテーションラインの即時グラフィカルレンダリングを第1のウィンドウウィジェットにおいてもたらす。ユーザがマウス位置を再度変更すると、新たな2Dセグメンテーション解が提案され表示される。
ユーザは、2Dセグメンテーション結果に満足する場合、現在表示されている2Dセグメンテーションをマウスクリックによって承認し得る。マウスクリックは現在見えているスライスの2Dセグメンテーションの、確認済み2Dセグメントのバッファへの追加をもたらす。2Dセグメンテーションのバッファリングはユーザがまだセグメンテーションを後でレビューすることを可能にし、3Dセグメンテーションの各ランが今までのところユーザが承認した2Dセグメンテーションの全てを考慮することを可能にする。一実施形態によれば、2Dセグメンテーションは肺の輪郭アウトラインと一緒に裂線セグメンテーションラインを含む。2Dセグメンテーションのバッファリングはそうして計算された2Dセグメンテーションによって2Dセグメント化されるスライスへの参照をバッファリングすることを含む。
提案された2D裂セグメントをユーザが承認すると、3Dセグメンテーションの更新された3D解が、新たに承認された2Dセグメンテーションの各々に対して表示される。従ってユーザはより多くの2Dセグメンテーションを段階的に承認することによって、3Dセグメンテーション解の質、すなわち肺及びその肺葉の真の幾何学構造への"忠実性"を連続的に改良することができる。その結果肺の実フットプリントに忠実な3Dセグメンテーションが比較的短時間で得られる。
本発明の一態様によれば、グラフィカルユーザインターフェースコントローラは第2のウィンドウウィジェットでの表示のためにそのように計算された3Dセグメンテーションを生成するように構成される。コントローラはスライスワイズ(slice‐wise)2Dセグメンテーションの表示のために使用される第1のウィンドウウィジェットと異なる第2のウィンドウウィジェットにおいて3Dセグメンテーションの表示をもたらす。
そうして生成されたグラフィカルユーザインターフェースは"2ペイン"であり、スーパーウィンドウウィジェット("コンテナ")内部に表示されるGUIコンポーネントとして第1及び第2のウィンドウウィジェットを含むか、又は各々が画面平面全体を互いに独立してマウスクリック及びドラッグインタラクションによってシフトされ得る、二つの個別ウィンドウに関して画面上のこうした共通ウィンドウなしに表示され得る。別の実施形態では単一スライス2Dセグメンテーション若しくは3Dセグメンテーションの一部としてのスライスのいずれかを表示する単一ウィンドウGUIが代替的に使用される。
一実施形態によれば、グラフィカルユーザインターフェースコントローラはそうして計算された3Dセグメンテーションの3Dレンダリングを表示のために生成するように構成される。
3Dセグメンテーションの表示は、フル3Dの、インタラクティブに回転可能な、3Dレンダリングが表示される点で完全であり得るか、若しくは表示は、3Dセグメンテーションのスライスワイズ2D断面の一つが表示される点で部分的であり得る。
本発明の一実施形態によれば、ポインタツールはコンピュータマウスであり、位置データ若しくは新たな位置データの指定はマウスクリックイベントを用いずに、マウスがユーザによって動かされるときにマウスによって生成される位置記録を用いることによってもたらされる。対照的に、3Dセグメンテーション及び2Dセグメンテーションのバッファリングに対するユーザ要求はマウスクリック及び位置記録の使用の両方によってもたらされる。
ポインタツール(コンピュータマウス若しくはライトペン若しくは同様のもの)を介する装置とのユーザ要求インタラクションはゼロクリック実施によってさらに最小化され、その結果これまで以上に競争の激しい臨床環境において迅速なワークフローをさらにもう一度促進する。2Dセグメンテーションは単にマウスカーソルを選択されたスライスリフォーマットの上に"重ねる"ことによってユーザに提案される。
ユーザにとって一見ほぼ同時に起こり、現在表示されている2Dセグメンテーションを承認するためのマウスクリックによってトリガされて、3D画像ボリュームにわたる肺のフットプリントの3Dセグメンテーションが計算され、そして少なくとも部分的に表示される。
本発明の一実施形態によれば、セグメンターは要求された3Dセグメンテーションに加えて少なくとも一つの追加サンプル3Dセグメンテーションを計算するように構成される。サンプル3Dセグメンテーションは、計算に使用されない若しくは要求された3Dセグメンテーションの一部を形成しない3Dボリューム内の少なくとも一つのサンプル領域に基づく。装置はさらに要求された3Dセグメンテーションをサンプル3Dセグメンテーションと比較して偏差値を確立するように構成されるコンパレータを有する。コンパレータは、偏差値が設定可能な閾値を超えるときに、そのように特定されたサンプル領域の断面を示すスライスを表示するように第1のウィンドウウィジェットを更新するためのコマンドをグラフィカルユーザインターフェースコントローラに発するように構成される。
この機能は高い若しくは最高の"アルゴリズム曖昧性(ambiguity)"の3D領域を含む3Dボリュームのスライスの中からのスライス若しくはリフォーマットへユーザの注意を自動的に向けることを可能にする。これは、現在表示されている3Dセグメンテーションの3D計算にこの領域が含まれていた場合に、現在表示されている3Dセグメンテーションからの最大(プリセット値より大きい)偏差を生じたであろう領域である。偏差は各3Dセグメンテーションを形成する3D画像ボリューム部分を比較することを可能にする適切な偏差尺度に関して測定される。
最大の若しくは大きな対数曖昧性を持つ肺領域を特定するために、使用された3Dセグメンテーションアルゴリズムの決定木における内部決定ノード若しくは決定点が分析される。アルゴリズムにおける関連する内部決定点は、もしこの点におけるアルゴリズムが、現在見られている3Dセグメンテーションをもたらしたものと異なる経路に沿って実行されたとしたら、3Dセグメンテーション結果における変化をもたらしたであろうものである。一実施形態によれば決定点分析は、単に一つだけでなく、アルゴリズムによって解かれる関数の極小値の異なるものと関連する複数の3Dセグメンテーション解を探ることによって実施され得る。
3Dセグメンテーションアルゴリズムの分析はバックグラウンドで実行され、一旦完了すると、そのように確立された高曖昧性の領域を通るスライスを前のスライスの代わりに表示するようにスライスワイズ表示のための第1のウィンドウウィジェットが更新されるか若しくはリセットされる。一実施形態によればスライスは領域とその中心で交差するように選択される。この選択は最大曖昧性の領域の表示をもたらすようにスクロールすること及び場合により回転を含む。そしてユーザは高い若しくは最高曖昧性の領域を示す現在表示されているスライスをマウスクリックによって承認し、バッファへ追加することができる。そしてスライスは3Dセグメンテーションのための有効な制約として使用される。
装置はユーザが他の3Dセグメンテーション解の一部若しくは全部をサンプリングすることを可能にするので、医学的に最も適切な解に対する最終決定は実にユーザ次第である。事実上、ユーザは現在の3Dセグメンテーション問題への解のために3D画像ボリュームの全体をより完全に"サンプリングする"ように3Dセグメンテーションアルゴリズムの実行を制御することができる。
本発明にかかる装置は、ユーザができる限り少ないユーザアクションで、提案された3Dスライスセグメンテーションを楽にレビューすることを可能にする。ユーザは、さもなければ考慮されなかったかもしれない2Dセグメンテーションのためのスライスを装置が提案することによって、場合によりさらによい3Dセグメンテーション解の発見を支援される。3Dボリュームセットにわたる解空間がよりよくサンプリングされるので、ユーザが検査される肺の完全な生理学的幾何学構造をとらえる可能性がその結果増加され得る。ユーザは肺若しくは関心オブジェクトの真の幾何学形状についての情報を実際に追加する2Dスライスによって3Dセグメンテーションの計算を有意義に制約するようにガイドされる。手短に言えば、装置はインタラクティブなアルゴリズム曖昧性ガイド3Dセグメンテーションを提供する。
装置はCOPD及び肺がん応用のためのスクリーニング診断及び治療モニタリングのためのイメージングワークステーション及びPACSにおいて使用され得る。
定義
セグメンテーションとはスライス中のこれまでの非構造化ピクセル若しくはボクセル情報のピクセル若しくはボクセル領域への分割である。その結果領域は独立してオブジェクトとして処理されることができる。そして画像中の各ピクセル若しくはボクセルはオブジェクトの内部若しくは外部のいずれかであると言える。画像が分割されている各オブジェクト若しくは複数のオブジェクトは"セグメンテーション"とよばれる。
領域が単一スライスの画像スライス平面に限定される場合、セグメンテーションは2Dであると言える。そのときセグメンテーションは一つ以上の曲線境界によって規定され得る。
領域が3D画像ボリューム内のスライスの集合に広がる場合、セグメンテーションは3Dであると言え、そのとき3Dセグメンテーションはそれらのスライスの各々における2Dセグメンテーションによって規定される。そのとき3Dセグメンテーションは一つ以上の面によって規定され得る。3D若しくは2Dセグメンテーションを規定する面若しくは曲線は"セグメンテーション"若しくは"セグメンテーション面"若しくは"セグメンテーションライン"と同様によばれる。
画像中の実オブジェクトのフットプリントは一緒にそのオブジェクトをあらわすピクセル若しくはボクセルのセットである。
アルゴリズムの決定木における決定ノードは、そのノードにおいて適切な3Dセグメンテーションのための解が一つよりも多く存在する場合曖昧であり、アルゴリズムは少なくとも二つの可能な実行経路の一つに沿って進行し、解の一つを出力する。
曖昧決定点の概念の延長で、3D画像ボリュームの領域は3Dセグメンテーション解の一つの一部を成すが他の解の一部を成さない場合曖昧であるとよばれる。最終的に、その領域を持つ3Dセグメンテーションがその領域を持たないいかなる他の3Dセグメンテーションよりも大きく現在表示されている3Dセグメンテーションから逸脱する場合、領域は他より高い曖昧性を持つ。
本発明の実施形態例は以下の図面を参照して以下に記載される。
2D断面スライス画像を後処理するための装置のブロック図を概略的に示す。 2D断面スライス画像を後処理するためのグラフィカルユーザインターフェースを示す。 2D断面スライス画像を後処理する方法のフローチャートを概略的に示す。
図1を参照すると、後処理装置は3D画像ボリュームを規定するCT断面スライス画像110a‐cを保持するデータベース105を有する。スライスの一つ、例えばスライス110aはコンピュータ画面150上の2ペイングラフィカルユーザインターフェース155において表示され得る。グラフィカルユーザインターフェース(GUI)155の外観及びそれによって提供されるユーザインタラクション機能はGUIコントローラ160によって制御される。装置はさらに2Dセグメンター170と3Dセグメンター180を有する。3Dセグメンター180と通信するコンパレータ185もある。装置はさらにGUIコントローラ160、2Dセグメンター170、3Dセグメンター180及びコンパレータ185と通信するワークステーションなどの処理ユニット190を有する。ユーザがGUIコントローラ160の制御下でGUI155と相互作用することを可能にする処理ユニット190と通信するコンピュータマウス195などのポインタツールも設けられる。
装置のコンポーネントは図1に展開されて図示される。しかしながら、これは例示の明確さのために過ぎない。装置コンポーネントである処理ユニット190、2Dセグメンター170、3Dセグメンター180及びコンパレータ185は実際には適切な通信ネットワークにおいて局所的に分布し接続され得る。しかしながら他の実施形態においてコンポーネント170、180及び185は処理ユニット190上のソフトウェアルーチンとして実行している。コンポーネントは専用FPGA若しくはハードワイヤードスタンドアロンチップとしても構成され得る。コンポーネントはMatlab(登録商標)若しくはSimulink(登録商標)などの適切な科学計算プラットフォームにおいてプログラムされ、そしてライブラリに保持されるC++若しくはCルーチンに翻訳され、処理ユニット190によって要求されるときにリンクされ得る。
大まかに言えば図1の装置は放射線科医などのユーザが左若しくは右の人若しくは動物の肺などの関心オブジェクトの2D及び3Dセグメンテーションを生成するのを支援する。この場合セグメンテーションは例えば左肺の全断面輪郭のセグメンテーションと、左肺を構成する肺上葉及び下葉のセグメンテーションを含み得る。しかしながら関心オブジェクトは動物若しくは人体の異なる生理学的部分であり得、セグメンテーションは異なる生理学的特徴に向けられ得ることが理解される。
3Dセグメンテーションはスライス画像110a‐cの一つ以上の2Dセグメンテーションに基づく。装置はユーザが一つ以上のスライス画像を2Dセグメント化するのも助ける。スライス110aはその2Dセグメンテーションと一緒に第1のウィンドウウィジェット114aによって形成される左ペインに表示可能である。前に計算された一つ以上の2Dセグメンテーションに基づく肺葉の3Dセグメンテーションの少なくとも部分的な表現は第2のウィンドウウィジェット114bによって形成される第2のペインに表示可能である。ユーザはマウス195を介してインタラクションイベントを発することによってグラフィカルユーザインターフェース155と相互作用し得る。そしてGUIコントローラはそれらのインタラクションイベントをインターセプトし、二つのGUIウィンドウウィジェット114a,114bの画面上の表示を制御するようにシステムグラフィックカード(不図示)へ対応するコマンドを発する。
ユーザはロードボタン205(図2参照)を起動して第1のウィンドウウィジェット114aに適切なスライス110aを見るためにロードすることができる。そしてユーザは"アルファ"ボタン215を起動することによって3Dボリューム全体の投影角を調節し得るか、若しくはスライス110a‐cの別のものを見るためにデータベース105に保持されるスライス110a‐c内をスライドバー156を用いてスクロールし得る。GUI155のスライドバー156を用いることによって、放射線科医はスライス画像110a‐b内をスクロールし、そしてこれらは左ペインウィンドウ114aに一つずつ表示される。スライスは好適には約1‐5mmのスライス厚で矢状リフォーマットとして表示される。好適には頭尾軸(矢状面と冠状面の間の交点によって形成される)まわりの回転角アルファとスライス厚は"アルファ"ボタン215若しくは"設定"ボタン210を起動することによって調節され得る。設定ボタン210若しくはアルファボタン215の起動は"設定"ポップアップウィンドウをグラフィカルユーザインターフェース155上に一時的にオーバーレイさせる。そしてユーザはスライス厚、回転角、又は彼若しくは彼女が見たいスライス110a‐bの3Dボリューム内の位置などの所望の設定パラメータを入力するか若しくは四角にレ点を付け得る。
装置はユーザが現在表示されているスライス110a上の単一点を選択することによって2Dセグメンテーションを開始することを可能にする。単一点の位置データはマウスポインタの動きによって生成され、そしてGUIコントローラ160を介して2Dセグメンター170へ渡される。そして2Dセグメンター170は図2に例示的に図示される通り"十字"マウスカーソル195aを位置付けることによってユーザによって指定される初期単一点109から開始する若しくはそれを通過するセグメンテーションライン108(図2参照)を生成する。
図示の肺の二つの肺葉(つまりセグメンテーションライン108の上部(上葉)と下部(下葉))へのこの半自動2Dセグメンテーションはスライス110aに現在表示されている左肺のフットプリントの外側輪郭線107を生成することも含む。セグメンテーションライン108はスライス110aに示す通り多かれ少なかれ目に見える肺葉の裂線を描く。初期単一点109の指定はゼロクリックインタラクションによる。言い換えれば、マウスカーソル195aがその配置後所定制限時間動かされないとき、現在ポインタが指す位置に基づくセグメンテーションライン108が2Dセグメンター170によって自動的に生成される。2Dセグメンテーションを実行させるためにユーザによるマウスクリックアクションは要求されない。ユーザは単にマウスカーソル195aを画像平面の上に"重ねる"だけでよい。そしてセグメンテーションライン108はその結果ポインタが指す単一点109に基づく。所定の遅延は"設定"ボタン210を用いることによって設定され得る。
生成された2Dセグメンテーションライン108は初期点109から開始して左若しくは右へのびて1点のみにおいて肺輪郭107と交差するか、又はセグメンテーションライン108は初期セグメンテーション109を通過して二つの対向点において外側輪郭線107と交差するかのいずれかである。装置は設定ボタン205を起動することによってそれに応じて設定され得る。
そして計算された2Dセグメンテーションのグラフィカルレンダリングが、ウィンドウ114aにおいて現在表示されているスライス110aの上にオーバーレイされて表示される。グラフィカルレンダリングはセグメンテーションライン108と輪郭107に対するコンポーネントを含む。左ペインウィンドウ114aに表示される自動的に生成された2Dセグメンテーションがユーザの満足のいくものである場合、ユーザが確認マウスクリックイベントを発するとすぐに、現在表示されている2Dセグメンテーション、つまり外側輪郭107とセグメンテーションライン108がバッファに保存される。2Dセグメンテーションの保存と一緒に、そうして計算された2Dセグメンテーションによってセグメント化されるスライスへの参照(この場合スライス110a)もバッファに保存される。ユーザが確認マウスクリックイベントを発することなくマウス位置を変更する場合、現在表示されている2Dセグメンテーションは放棄され、マウスカーソルがプリセット遅延よりも長く新たな位置に存在する場合、新たなセグメンテーションが計算され表示のためにレンダリングされる。
マウスクリックによって2Dセグメンテーションを確認すると、3Dセグメンター180によって3Dボリュームデータセットにわたって3Dセグメンテーションが生成され、そして3Dセグメンテーションは確認された2Dセグメンテーションに基づく。そして3Dセグメンテーション113若しくはその少なくとも部分的な表現は第2のウィンドウウィジェット114bに表示される。そしてユーザはスライドバー156若しくはキーストロークを用いることによって別のスライス110bへスクロールし、ウィンドウウィジェット114aにその時表示されているスライス110bの同様の2Dセグメンテーションをもたらすことができる。先と同様に、ユーザが現在表示されている新たなスライス110b上に表示されるシステムが提案した2Dセグメンテーションに満足すると、対応するセグメンテーションラインとその輪郭がマウスクリックアクションによって同様にバッファに保存される。第2のスライス110bに対する2Dセグメンテーションをバッファに保存すると、3Dセグメンテーションウィンドウ114bが更新され、今回はバッファに保存された2Dセグメンテーション全てに基づく新たな3Dセグメンテーションが表示される。バッファされた2Dセグメンテーションは3Dセグメンター180によって実施される3Dアルゴリズムに対する幾何制約を規定する。
肺フットプリントの3Dセグメンテーション113はレンダラー(不図示)による3Dレンダリングとして表示され得るか、又は3Dセグメンテーションを形成する3Dボリュームからのスライスの一つによってあらわされ得、スライスはフル3Dセグメンテーションの対応する断面2Dセグメンテーションをオーバーレイしている。この実施形態においてGUI155は、ユーザが3Dセグメンテーションを形成するスライスの集合内をスクロールすることを可能にし得る追加のスライドバーを含み得る。各スライスは右ペイン114bにそのように表示されるとき、その対応する断面2Dセグメンテーションをオーバーレイしている。さらに別の実施形態において、GUI155は単一スライスの、又は各スライスが対応する2Dセグメンテーションをオーバーレイした、3Dセグメンテーションを形成するスライスの集合のスライスの、いずれかの2Dセグメンテーションを交互に表示する単一ウィンドウウィジェットを有する。代替的に、3Dセグメンテーションの3Dレンダリングは単一ウィンドウに表示される。単一ウィンドウの実施形態において、ユーザは単一スライス2Dセグメンテーションビュー若しくは3Dセグメンテーションビューを切り替えることができる。
ウィンドウ114aに表示される2Dセグメンテーションをスライスごとにレビューし確認することによって、ユーザは"収集フェーズ"において適切な2Dセグメンテーションを収集して蓄積し、そして3Dセグメンター180によって組み合わせて使用される幾何制約の"貯蔵(stockpile)"を規定することができる。これはユーザが、グラフィカルユーザインターフェース155の左ペインに一つずつ表示されるよりよい若しくはより多くの適切な2Dセグメンテーションを徐々に選び、GUI155の右ペイン114bに表示される改良された3Dセグメンテーション113を徐々に生成することを可能にする。"収集フェーズ"で収集される3Dセグメンテーションに対する2D断面制約は各々左ペイン114aにおいて目視検査によって品質管理レビューされ、そして実際の3Dセグメンテーションは後の"3Dセグメンテーションフェーズ"において実行され、そして右ペイン114bに目視検査のために表示される。
操作
単一点109の位置データを指定する現在のマウス位置はセグメンテーションライン108をトレースする裂線を計算するための開始点若しくは通過点として2Dセグメンター170に渡される。2Dセグメンター170はパターン認識及び/又は勾配ベース法を用いてスライス110aに現在表示されている画像平面にわたって指定された単一点109から適切な方向を決定する。この目的のために、単一初期点109から発するベクトルの星状ファミリを形成する候補方向が規定される。肺葉裂線は裂線の両側のボクセル領域と比較して低いボクセル強度を持つと予想される。このボクセル強度パターンはその側面のいずれかへの裂線方向にわたる急な勾配上昇を要求する。2Dセグメンターは候補方向の集合の中からこの予想勾配特性に最もよくマッチする方向を選ぶ。
予想勾配特性に最もよくマッチする適切な方向が見つかると、計算されるべきセグメンテーションラインのための新たな座標点がその方向に沿って適切な距離において選ばれ、適切な候補方向を選ぶための前述の手順が繰り返される。距離は設定可能な、2Dセグメンテーションの計算に必要な分解能を反映する"ステップ幅"である。この方法で、2Dセグメンター170は逐一計算し、そして反復的に肺葉裂線を描き、セグメンテーションライン108の座標記述を生成する。
2Dセグメンターは適切な輪郭線候補を規定し、ボクセル強度勾配値を用いて肺のフットプリント境界をトレースすることによって、輪郭線107を計算するように同様に進行する。一実施形態において計算されたセグメンテーションラインに沿ったボクセルグレー値強度が記録される。グレー値強度の急落が起こるライン上の点は、スライス中のセグメンテーションラインと肺のフットプリントの境界の間の交点と解釈される。その交点に基づき、輪郭107は既知のエッジ検出アルゴリズムを用いて計算され得る。
一緒に2Dセグメンテーションを形成するセグメンテーションライン108と輪郭107のそのように計算された座標はGUIコントローラ160に渡され、そしてこれはウィンドウウィジェット114aにおけるグラフィカル要素として2Dセグメンテーションの表示を生じるか若しくはもたらす。2Dセグメンテーション、つまり外側輪郭107及びセグメンテーションライン108は、現在表示されているスライス110a上にオーバーレイされるオーバーレイグラフィックスとして表示される。
2Dセグメンテーション確認マウスクリックイベントは2Dセグメンテーションの座標記述も3Dセグメンテーション制約バッファに保存させる。このようにバッファは確認済み2Dセグメンテーションのリストに対する"クリップボード"を規定する。一実施形態によればGUI155はユーザがクリップボードバッファをレビューすることを可能にするボタンを提供する。バッファはユーザが左ウィンドウペイン114aにわたってマウス位置を変更し確認マウスクリックイベントを発するにつれて徐々に更新され、ユーザが承認した2Dセグメンテーションの集合を構築する。
現在見られている2Dセグメンテーションを保存するための各マウスクリックイベントは3Dセグメンター180によって実行される3Dセグメンテーションをトリガする。3Dセグメンター180は現在バッファされているスライスワイズ2Dセグメンテーションの全部を複合制約として使用して、スライス110a‐dの集合によって規定される3Dボリュームデータセットにわたる肺の3Dセグメンテーションを計算する。左ペイン114aにおいてそのようにマウス位置を変更し新たな初期単一セグメンテーション点を選ぶことは、ユーザが左ペイン114aでのマウスクリックによって現在見られている2Dセグメンテーション114aを承認する場合、右ペイン114bに表示される3Dセグメンテーションの更新をもたらす。
3Dセグメンター180は適切な3Dセグメンテーションアルゴリズムを実施する。アルゴリズムはバッファされた2Dセグメンテーションによって制約される3Dボリュームデータセット上で定義される関数への解を見つけることとしてあらわされ得る。可能な3Dセグメンテーションの各々は、スライス110a‐cの各々においてその断面として、バッファされた2Dセグメンテーションのいずれか一つを持つはずである。3Dセグメンターは規定された断面から、3Dボリュームセットにおける他のスライスへのバッファされた2Dセグメンテーションを推定して、そうした他のスライスにおける"欠けている"断面を確立する。3Dセグメンターはパターン認識技術を使用して、ボクセル強度及び形状においてバッファされた2Dセグメンテーションに最もよくマッチするフットプリントを持つスライスを発見する。そしてマッチしたスライスにおけるフットプリントが2Dセグメント化される。
従って各3Dセグメンテーション解は2Dセグメンテーションの集合によって形成される。集合は前にバッファされた2Dセグメンテーションと、マッチしたスライスの2Dセグメンテーションを含む。スライスの集合は3Dセグメンテーションを構成する3Dボクセル領域を規定する。この3Dボクセル領域は関数の極小"点"としてあらわされ得る。極小値は関数の勾配のゼロについて解くことによって発見され得る。関数は3D画像ボリューム若しくはボリュームの粗視化バージョン上に定義される実数値関数である。粗視化態様は以下により詳細に説明される。
通常は多数の解がある。従って3Dセグメンテーションアルゴリズムは解のただ一つを出力するために決定木を使用する。そして出力解への参照がGUIコントローラ160に渡される。GUIコントローラ160は右ペイン114bにおいて出力3Dセグメンテーション解の表示をもたらす。
一実施形態によれば3Dセグメンター180は3Dボリュームデータセットの全ての適切なボクセル領域にわたって極小値について関数を解く。
しかしながら好適な実施形態によれば、CPU時間を節約するために、可能な解空間は3Dセグメント化される肺の予想寸法(長さ、幅及び厚さ)に等しい球によって制限される。
さらに別の実施形態において、そのように定義される球内部のボクセル若しくは3Dボリューム全体はボクセルの"塊"若しくは個々の3D領域へ粗視化され、それから肺の3Dフットプリントの3Dセグメンテーションが構築され得る。一実施形態によれば、3Dセグメンター180は3Dセグメンテーションの計算の前の離散化フェーズにおいて3Dボリュームデータの粗視化を実行する。3Dセグメンター180は各塊について、ボクセルグレー値強度と形状においてバッファされた2Dセグメンテーションの集合にフィットされ得る、2Dセグメンテーションが構成され得る断面スライスをそれが含むかどうか、分析する。2Dセグメンテーションがフィットされ得る場合、塊はフラッグアップされ、3Dセグメンテーション解の一部を成す。
こうした粗視化は例えば肺若しくは関心のある特定臓器についての生理学的事実を利用することによってガイドされ得る。3Dの塊を規定する一つの方法は肺のフットプリント周辺の3D画像ボリュームを、肺血管をあらわす部分へ事前セグメント化することである。血管は裂線を横切って広がらず、左肺の場合、二つの肺葉のいずれか一方に限局されることがわかっている。バッファされた2Dセグメンテーションにおけるセグメンテーションラインによって規定される制約はこの粗視化のために使用されることができ、塊がセグメンテーションラインをあらわす裂線を超えることは許されない。これらの3D血管の塊にわたって3Dセグメンテーション関数を解くことは生理学的現実が尊重されることを確実にし得る。
本発明の一実施形態によれば、装置はユーザが、3Dセグメント化される肺の幾何学形状を最もよくとらえる方法で左ペイン114aにおける2Dセグメンテーション制約を選ぶのをガイドする。この趣旨でセグメンター180は表示のために単一3Dセグメンテーションを出力するだけでなく、設定可能な数の他の極小値に対する追加の候補3Dセグメンテーション解も計算する。他の極小値に対応する候補3Dセグメンテーション解はバックグラウンドで計算されるが、この時点では表示されず代わりにコンパレータ185に渡される。コンパレータ185は現在表示されている3Dセグメンテーション解と、バックグラウンドで計算された候補3Dセグメンテーションの各々との間の偏差を確立する。一実施形態によれば偏差の尺度は、各候補解と現在表示されている解に対して、各3Dセグメンテーションを構成するスライス中の各外側輪郭及びセグメンテーションラインによって規定される肺葉フットプリントのボリューム比を確立することによる。
各肺葉ボリューム比は現在表示されている解の肺葉ボリューム比と比較される。候補解のボリューム比の一つが、現在表示されている解の肺葉ボリューム比からプリセット閾値偏差よりも大きく逸脱することがわかる場合、逸脱する解を構成する塊と現在表示されている解を構成する塊が比較される。現在見られている3Dセグメンテーションの一部でない少なくとも一つの塊が逸脱する解において特定される。処理ユニット190はデータベース105にアクセスしてその塊と交差するスライスを選択する。そのように特定されたスライスへの参照、例えばスライス110cは、3Dボリュームのスライス110a‐cの中からGUIコントローラ160へ転送される。GUIコントローラ160はスライス110aの代わりにスライス110cを表示するように左ペイン114aを更新し、ここでスライス110cは偏差を生じたかもしれない特定された塊の断面を示す。別の実施形態によれば、逸脱する塊は単純に現在表示されている3Dセグメンテーション解を構成する塊から最も遠く離れている一つであるように選ばれ得る。
つまり装置は、もし3Dセグメンテーションアルゴリズムがその塊を有する解を出力することを決定したとしたら、大きく異なる3Dセグメンテーションの表示を生じたであろう、"曖昧な"肺領域をユーザが知ることを可能にする。このようにして装置はユーザを支援し、彼若しくは彼女が、その肺葉へ3Dセグメント化される肺の真の幾何学形状をとらえる可能性が増すように、3Dボリュームの全体にわたって2Dセグメンテーション制約に対する選択肢をより広く広げるのを促す。ユーザはそのように提案され、表示される、高曖昧性を持つ塊を示すスライス110cを2Dセグメント化し、そのスライスをバッファに加えるように進行し得る。新たな2Dセグメンテーションをバッファリングすると、バックグラウンドで計算された候補3Dセグメンテーションが前の3Dセグメンテーションの代わりに第2のウィンドウウィジェットに表示される。ユーザが提案された3Dセグメンテーションに満足しない場合、GUI155のバッファボタン(不図示)が起動され、クリップボードとしてオーバーレイウィンドウの表示をもたらし得る。クリップボードオーバーレイウィンドウはバッファされた2Dセグメンテーションへの参照リンクのリストを含み、リンクのマウスクリックはスライスの各々の上にオーバーレイされた各2Dセグメンテーションのウィンドウ144aにおける表示をもたらし得る。ユーザは高曖昧性の塊を示すスライスの提案された2Dセグメンテーションの参照をバッファから抹消し得る。第2のウィンドウウィジェット114bにおける表示は前に表示された3Dセグメンテーションに戻る。一実施形態によれば、ユーザは常に及びいかなる段階でもバッファクリップボードを起動してバッファから2Dセグメンテーション制約を除去することができ、このような除去はバッファに残っている制約に基づいて3Dセグメンテーションを表示するように第2のウィンドウウィジェット114bの更新をもたらす。
図3を参照すると、2D断面スライス画像を後処理する方法のフローチャートが示される。
ステップS305において初期スライス画像がグラフィカルユーザインターフェースの第1のウィンドウウィジェットに表示される。
ステップS310において、及びユーザが表示された初期スライスにおいて単一初期点の位置データを指定することに応答して、指定された単一初期点を通過する若しくはそこから開始する曲線セグメンテーションラインに基づいて、表示されたスライスの2Dセグメンテーションが計算される。
ステップS320において、そのように計算された2Dセグメンテーションは、初期スライス上にオーバーレイされ、セグメント化されるオブジェクトのフットプリントに沿って重ね合わされるグラフィックとして表示のためにレンダリングされる。
ステップS330において及びユーザ要求に応答して、2Dセグメンテーションがバッファに保存され、3D画像ボリュームにわたるオブジェクトの3Dフットプリントの3Dセグメンテーションが計算される。3Dセグメンテーションの計算は表示された2Dスライスにおける前に計算された2Dセグメンテーションに基づく。
ステップS340において、そのように計算された3Dセグメンテーションの少なくとも部分的なグラフィックレンダリングが、第2のウィンドウウィジェットに若しくはスライスの代わりに第1のウィンドウウィジェットに、画面上で表示される。
要求された3Dレンダリングセグメンテーションに加えて、追加3Dセグメンテーションがバックグラウンドで計算される。追加3Dセグメンテーションは実際に要求された3Dセグメンテーションの計算に使用されていない3D画像ボリューム中の少なくとも一つのサンプル領域に基づく。二つの3DセグメンテーションはステップS350において比較され、二者間の偏差値が確立される。偏差値がプリセットの及び設定可能な閾値を超える場合、第1のウィンドウウィジェットはそのように特定されたサンプル領域の断面を示すスライスを表示することによって更新される。
ステップS305からS350は、現在表示されているスライスにおいて若しくは追加スライスにおいてセグメンテーションのためのさらに追加の単一初期点をユーザが指定すると繰り返され、その結果2Dセグメンテーションのセットを制約として連続的に収集し、ここまで収集された2Dセグメンテーションの全て若しくは設定可能な数に基づいて3Dセグメンテーションを連続的に再計算することができる。
本発明の別の実施形態例において、適切なシステム上で先の実施形態の一つにかかる方法の方法ステップを実行するように構成されることを特徴とするコンピュータプログラム若しくはコンピュータプログラム要素が提供される。
従ってコンピュータプログラム要素は本発明の一実施形態の一部でもあり得るコンピュータユニット上に保存され得る。このコンピュータユニットは上記方法のステップを実行するか若しくは実行を誘導するように構成され得る。さらに、これは上記装置のコンポーネントを操作するように構成され得る。コンピュータユニットは自動的に作動するか及び/又はユーザの命令を実行するように構成され得る。コンピュータプログラムはデータプロセッサのワーキングメモリにロードされ得る。従ってデータプロセッサは本発明の方法を実行するように装備され得る。
本発明のこの実施形態例ははじめから本発明を使用するコンピュータプログラム及びアップデートによって既存のプログラムを本発明を使用するプログラムへ変えるコンピュータプログラムの両方をカバーする。
これより先、コンピュータプログラム要素は上記方法の一実施形態例の手順を満たすために必要な全ステップを提供することができるようになってもよい。
本発明のさらなる実施形態例によれば、CD‐ROMなどのコンピュータ可読媒体が提示され、コンピュータ可読媒体は前節によって記載されるコンピュータプログラム要素を保存している。
コンピュータプログラムは他のハードウェアと一緒に若しくはその一部として供給される光記憶媒体若しくは固体媒体などの適切な媒体上に保存及び/又は配布され得るが、インターネット又は他の有線若しくは無線通信システムなどを介して他の形式でも配布され得る。
しかしながら、コンピュータプログラムはワールドワイドウェブのようなネットワーク上に提示されてもよく、かかるネットワークからデータプロセッサのワーキングメモリにダウンロードされることができる。本発明のさらなる実施形態例によれば、コンピュータプログラム要素をダウンロードに利用可能にするための媒体が提供され、このコンピュータプログラム要素は本発明の上記実施形態の一つにかかる方法を実行するように構成される。
本発明の実施形態は異なる主題に関して記載されることが留意されるべきである。特に、一部の実施形態は方法タイプクレームに関して記載されるが、他の実施形態は装置タイプクレームに関して記載される。しかしながら、当業者は上記及び下記から、他に明記されない限り、一つのタイプの主題に属する特徴の任意の組み合わせに加えて、異なる主題に関する特徴間の任意の組み合わせも本開示とともに開示されるものとみなされることを推測するだろう。しかしながら、全ての特徴は組み合わされて特徴の単なる総和に留まらない相乗効果をもたらし得る。
本発明は図面と先の説明において詳細に図示され記載されているが、かかる図示と記載は例示若しくは説明であって限定ではないとみなされるものとする。本発明は開示の実施形態に限定されない。開示の実施形態への他の変更は図面、開示及び従属クレームの考察から、請求される発明を実施する上で当業者によって理解されもたらされることができる。
クレームにおいて、"有する"という語は他の要素若しくはステップを除外せず、不定冠詞"a"若しくは"an"は複数を除外しない。単一のプロセッサ若しくは他のユニットはクレームに列挙される複数の項目の機能を満たし得る。特定の手段が相互に異なる従属クレームにおいて列挙されるという単なる事実はこれら手段の組み合わせが有利に使用されることができないことを示さない。クレームにおける任意の参照符号は範囲を限定するものと解釈されてはならない。

Claims (15)

  1. 三次元画像ボリュームデータセットを規定する二次元断面スライス画像を後処理するための装置であって、
    グラフィカルユーザインターフェースコントローラと、
    二次元セグメンターと、
    三次元セグメンターとを有し、
    前記グラフィカルユーザインターフェースコントローラが、画面上での表示のためにグラフィカルユーザインターフェースを生成するように構成され、前記ユーザインターフェースは表示されるとき、前記画面上に前記二次元スライスの初期スライスを表示するインタラクティブな第1のウィンドウウィジェットを有し、前記スライスは関心オブジェクトの断面を示し、前記ウィンドウウィジェットは、ユーザが前記表示された初期スライス上のどこでも単一初期点の位置データをポインタツールによって指定することを可能にするように構成され、
    前記二次元セグメンターは前記ユーザが前記位置データを指定することに応答して、前記スライスにわたって前記指定された単一初期点を通過する若しくはそこから開始する曲線セグメンテーションラインを計算することによって、前記表示された初期スライスを二次元セグメント化するように構成され、
    前記グラフィカルユーザインターフェースコントローラがさらに、前記初期スライス上にオーバーレイされる前記計算されたセグメンテーションラインを前記第1のウィンドウウィジェットでの表示のために生成するように構成され、
    前記三次元セグメンターが、ユーザ要求に応答して、前記計算されたセグメンテーションラインを制約として使用することによって、複数の前記スライスにわたって前記オブジェクトの三次元セグメンテーションを計算するように構成され、
    前記グラフィカルユーザインターフェースコントローラがさらに、前記計算された三次元セグメンテーションの少なくとも一部を前記画面上での表示のために生成するように構成される、
    装置。
  2. 前記ユーザが前記三次元セグメンテーションを要求すると、前記計算されたセグメンテーションラインがバッファに保存され、前記ユーザが新たな初期点を指定すると、前記セグメンターが前記新たな初期点から開始する若しくはそれを通過する新たなセグメンテーションラインを計算し、前記新たに計算されたセグメンテーションラインは前記初期スライス上にオーバーレイされて前記第1のウィンドウウィジェットに表示され、前記ユーザが新たな三次元セグメンテーションの計算を要求すると、前記新たなセグメンテーションラインが前記前のセグメンテーションラインと一緒に前記バッファに保存され、前記セグメンターはバッファされた前記セグメンテーションラインの両方を制約として使用して前記オブジェクトの新たな三次元セグメンテーションを計算し、前記グラフィカルユーザインターフェースコントローラが前記オブジェクトの新たな三次元セグメンテーションの少なくとも一部を表示するように前記画面を更新する、請求項1に記載の装置。
  3. 前記ポインタツールがコンピュータマウスであり、前記位置データ若しくは前記新たな位置データの指定が、マウスクリックイベントを用いることなく、前記ユーザによって前記マウスが動かされるときに前記マウスによって生成される位置記録を用いることによってもたらされ、前記三次元セグメンテーション及び前記セグメンテーションラインのバッファリングに対する前記ユーザ要求は、マウスクリック及び前記位置記録の使用の両方によってもたらされる、請求項1又は2に記載の装置。
  4. 前記セグメンターが、前記要求された三次元セグメンテーションに加えて、前記計算に使用されない若しくは前記要求された三次元セグメンテーションの一部を成さない前記三次元ボリューム中の少なくとも一つのサンプル領域に基づく少なくとも一つの追加サンプル三次元セグメンテーションを計算するように構成され、前記装置が、
    前記要求された三次元セグメンテーションを前記サンプル三次元セグメンテーションと比較して偏差値を確立するように構成され、前記偏差値が設定可能な閾値を超えるときに、前記グラフィカルユーザインターフェースコントローラへ前記サンプル領域の断面を示すスライスを表示するように前記第1のウィンドウウィジェットを更新するコマンドを発するように構成される、コンパレータをさらに有する、請求項1乃至3のいずれか一項に記載の装置。
  5. 一つ若しくは複数の前記制約が、前記初期若しくは新たな初期スライスにおける前記オブジェクトの断面をアウトラインする輪郭曲線を含む、請求項1乃至4のいずれか一項に記載の装置。
  6. 前記グラフィカルユーザインターフェースコントローラがさらに、前記計算された三次元セグメンテーションを第2のウィンドウウィジェットでの表示のために生成するように構成される、請求項1乃至5のいずれか一項に記載の装置。
  7. 前記関心オブジェクトが人若しくは動物の肺の一部であり、前記セグメンテーションラインが前記肺の二つの肺葉間の裂線をあらわす、請求項1乃至6のいずれか一項に記載の装置。
  8. 請求項1乃至7のいずれか一項に記載の装置によって前記画面上に表示されるときのグラフィカルユーザインターフェース。
  9. 二次元断面スライス画像を後処理する方法であって、
    前記二次元スライスの初期スライスを画面上に表示するステップであって、前記スライスは関心オブジェクトの断面を示し、ユーザが前記表示された初期スライス上のどこでも単一初期点の位置データをポインタツールによって指定することを可能にするようにウィンドウウィジェットが構成される、ステップと、
    ユーザが前記表示されたスライス上に前記単一初期点の位置データを指定することに応答して、前記指定された単一初期点を通過する若しくはそこから開始する曲線セグメンテーションラインを前記スライスにわたって計算するステップと、
    第1のウィンドウウィジェットにおいて前記初期スライス上にオーバーレイされる前記計算されたセグメンテーションラインを表示するステップと、
    ユーザ要求に応答して、前記計算されたセグメンテーションラインを制約として使用することによって複数の前記スライスにわたって前記オブジェクトの三次元セグメンテーションを計算するステップと、
    前記画面上に前記計算された三次元セグメンテーションの少なくとも一部を表示するステップとを有する、方法。
  10. 前記セグメンテーションラインを含む前記計算された二次元セグメンテーションをバッファに保存するステップと、
    前記ユーザが新たな初期点を指定すると、前記新たな初期点から開始する若しくはそれを通過する新たなセグメンテーションラインを計算するステップと、
    前記初期スライス上にオーバーレイされる前記新たに計算されたセグメンテーションラインを前記第1のウィンドウウィジェットに表示するステップと、
    前記ユーザが新たな三次元セグメンテーションの計算を要求すると、前記前のセグメンテーションラインと一緒に前記新たなセグメンテーションラインを前記バッファに保存するステップと、
    バッファされた前記セグメンテーションラインの両方を制約として用いて前記オブジェクトの新たな三次元セグメンテーションを計算するステップと、
    前記オブジェクトの新たな三次元セグメンテーションの少なくとも一部を表示するステップとをさらに有する、請求項9に記載の方法。
  11. 前記ポインタツールがコンピュータマウスであり、前記位置データ若しくは前記新たな位置データの指定が、マウスクリックイベントを用いることなく、前記マウスが前記ユーザによって動かされるときに前記マウスによって生成される位置記録を用いることによってもたらされ、前記三次元セグメンテーション及び前記セグメンテーションラインのバッファリングに対する前記ユーザ要求は、マウスクリック及び前記位置記録の使用の両方によってもたらされる、請求項9又は10に記載の方法。
  12. 前記要求された三次元セグメンテーションに加えて、前記計算に使用されない若しくは前記要求された三次元セグメンテーションの一部を成さない前記三次元ボリューム中の少なくとも一つのサンプル領域に基づく少なくとも一つの追加サンプル三次元セグメンテーションを計算するステップと、
    前記要求された三次元セグメンテーションを前記サンプル三次元セグメンテーションと比較して偏差値を確立するステップと、
    前記偏差値が設定可能な閾値を超えるとき、前記サンプル領域の断面を示すスライスを表示するステップとをさらに有する、請求項9乃至11のいずれか一項に記載の方法。
  13. 二次元断面スライス画像を後処理するための医療システムであって、装置が、
    前記二次元画像スライスを保持するためのデータベースと、
    請求項1乃至7のいずれか一項に記載の装置と、
    前記装置によって出力される第1及び/又は第2のウィンドウウィジェットを表示するための画面とを有する、医療システム。
  14. 処理ユニットによって実行されるときに、請求項8乃至12のいずれか一項に記載の方法ステップを実行するように構成される、請求項1乃至7のいずれか一項に記載の装置を制御するためのコンピュータプログラム要素。
  15. 請求項14のプログラム要素を記憶したコンピュータ可読媒体。
JP2014535189A 2011-10-11 2012-10-01 肺葉の曖昧性ガイドインタラクティブセグメンテーションのためのワークフロー Active JP6208670B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161545605P 2011-10-11 2011-10-11
US61/545,605 2011-10-11
PCT/IB2012/055241 WO2013054224A1 (en) 2011-10-11 2012-10-01 A workflow for ambiguity guided interactive segmentation of lung lobes

Publications (3)

Publication Number Publication Date
JP2014528341A true JP2014528341A (ja) 2014-10-27
JP2014528341A5 JP2014528341A5 (ja) 2015-11-12
JP6208670B2 JP6208670B2 (ja) 2017-10-04

Family

ID=47178241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014535189A Active JP6208670B2 (ja) 2011-10-11 2012-10-01 肺葉の曖昧性ガイドインタラクティブセグメンテーションのためのワークフロー

Country Status (8)

Country Link
US (1) US9678620B2 (ja)
EP (1) EP2751779B1 (ja)
JP (1) JP6208670B2 (ja)
CN (1) CN103959331B (ja)
BR (1) BR112014008461A2 (ja)
IN (1) IN2014CN02389A (ja)
RU (1) RU2601212C2 (ja)
WO (1) WO2013054224A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018023709A (ja) * 2016-08-12 2018-02-15 キャノンメディカルシステムズ株式会社 画像処理装置及び画像処理方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9269141B2 (en) * 2011-09-07 2016-02-23 Koninklijke Philips N.V. Interactive live segmentation with automatic selection of optimal tomography slice
EP2745273B1 (en) * 2011-09-19 2020-03-25 Koninklijke Philips N.V. Status-indicator for sub-volumes of multi-dimensional images in guis used in image processing
EP2916738B1 (en) * 2012-09-13 2018-07-11 The Regents of the University of California Lung, lobe, and fissure imaging systems and methods
US20150348309A1 (en) * 2014-06-03 2015-12-03 Schlumberger Technology Corporation Cross section creation and modification
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
CN108352067B (zh) * 2015-11-19 2022-01-25 皇家飞利浦有限公司 用于优化分割中的用户交互的系统和方法
US10991102B2 (en) * 2016-08-12 2021-04-27 Canon Medical Systems Corporation Image processing apparatus and image processing method
US10013781B1 (en) * 2017-06-13 2018-07-03 Google Llc Sewing machine-style polygon drawing method
US10607114B2 (en) * 2018-01-16 2020-03-31 Siemens Healthcare Gmbh Trained generative network for lung segmentation in medical imaging
CN109658425B (zh) * 2018-12-12 2021-12-28 上海联影医疗科技股份有限公司 一种肺叶分割方法、装置、计算机设备及存储介质
CN110110617B (zh) * 2019-04-22 2021-04-20 腾讯科技(深圳)有限公司 医学影像分割方法、装置、电子设备和存储介质
US11348250B2 (en) * 2019-11-11 2022-05-31 Ceevra, Inc. Image analysis system for identifying lung features
CN111627028B (zh) * 2020-05-22 2024-09-24 深圳前海微众银行股份有限公司 图像区域划分、装置、设备及存储介质
US20230196698A1 (en) * 2021-12-20 2023-06-22 GE Precision Healthcare LLC Interactive 3d annotation tool with slice interpolation
CN114332087B (zh) * 2022-03-15 2022-07-12 杭州电子科技大学 Octa图像的三维皮层表面分割方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008142481A (ja) * 2006-12-13 2008-06-26 Med Solution Kk 肺を肺区域の単位に自動的にセグメンテーションする装置およびプログラム
US20090097727A1 (en) * 2007-10-10 2009-04-16 Siemens Corporate Research, Inc. 3D General Lesion Segmentation In CT
WO2009157946A1 (en) * 2008-06-27 2009-12-30 Mako Surgical Corp. Automatic image segmentation using contour propagation
JP2010035635A (ja) * 2008-07-31 2010-02-18 Takeshi Joko Ardsの重症度のスコアを算出する方法、装置およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246784B1 (en) * 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
US6744911B1 (en) * 2000-11-22 2004-06-01 General Electric Company Tomographic segmentation
WO2002086797A1 (en) * 2001-03-06 2002-10-31 The John Hopkins University School Of Medicine Simulation method for designing customized medical devices
GB2374776A (en) * 2001-04-19 2002-10-23 Discreet Logic Inc 3D Text objects
WO2002103065A2 (en) * 2001-06-20 2002-12-27 Koninklijke Philips Electronics N.V. Method for segmentation of digital images
WO2003005298A2 (en) * 2001-07-06 2003-01-16 Koninklijke Philips Electronics N.V. Image processing method for interacting with a 3-d surface represented in a 3-d image
US6993174B2 (en) * 2001-09-07 2006-01-31 Siemens Corporate Research, Inc Real time interactive segmentation of pulmonary nodules with control parameters
US20030095696A1 (en) 2001-09-14 2003-05-22 Reeves Anthony P. System, method and apparatus for small pulmonary nodule computer aided diagnosis from computed tomography scans
US7739623B2 (en) * 2004-04-15 2010-06-15 Edda Technology, Inc. Interactive 3D data editing via 2D graphical drawing tools
US7388973B2 (en) * 2004-06-01 2008-06-17 General Electric Company Systems and methods for segmenting an organ in a plurality of images
JP2008521462A (ja) 2004-11-27 2008-06-26 ブラッコ イメージング エス.ピー.エー. 2次元/3次元の統合されたコンターエディター
US7548649B2 (en) 2005-01-25 2009-06-16 Siemens Medical Solutions Usa, Inc. Multidimensional segmentation based on adaptive bounding box and ellipsoid models
CN101479763A (zh) * 2006-06-28 2009-07-08 皇家飞利浦电子股份有限公司 基于可变分辨率模型的图像分割
US8805034B2 (en) * 2006-08-11 2014-08-12 Koninklijke Philips N.V. Selection of datasets from 3D renderings for viewing
CN101529475B (zh) * 2006-10-17 2013-12-25 皇家飞利浦电子股份有限公司 3d图像结合2d投影图像的呈现
JP2010515472A (ja) * 2006-11-27 2010-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 事前収集された医用画像に実時間超音波画像を融合させるシステム及び方法
US20100153081A1 (en) * 2008-12-11 2010-06-17 Mako Surgical Corp. Implant planning for multiple implant components using constraints
US8155405B2 (en) * 2007-04-20 2012-04-10 Siemens Aktiengsellschaft System and method for lesion segmentation in whole body magnetic resonance images
US8306320B2 (en) * 2008-03-07 2012-11-06 Samsung Electro-Mechanics Co., Ltd. 2D image segmentation apparatus and method, and apparatus and method for removing red-eye in the image
US8131036B2 (en) * 2008-07-25 2012-03-06 Icad, Inc. Computer-aided detection and display of colonic residue in medical imagery of the colon
WO2011128791A1 (en) * 2010-04-16 2011-10-20 Koninklijke Philips Electronics N.V. Image data segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008142481A (ja) * 2006-12-13 2008-06-26 Med Solution Kk 肺を肺区域の単位に自動的にセグメンテーションする装置およびプログラム
US20090097727A1 (en) * 2007-10-10 2009-04-16 Siemens Corporate Research, Inc. 3D General Lesion Segmentation In CT
WO2009157946A1 (en) * 2008-06-27 2009-12-30 Mako Surgical Corp. Automatic image segmentation using contour propagation
JP2010035635A (ja) * 2008-07-31 2010-02-18 Takeshi Joko Ardsの重症度のスコアを算出する方法、装置およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018023709A (ja) * 2016-08-12 2018-02-15 キャノンメディカルシステムズ株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
EP2751779B1 (en) 2018-09-05
JP6208670B2 (ja) 2017-10-04
CN103959331A (zh) 2014-07-30
WO2013054224A1 (en) 2013-04-18
RU2014118566A (ru) 2015-11-20
US9678620B2 (en) 2017-06-13
BR112014008461A2 (pt) 2017-04-11
US20140298270A1 (en) 2014-10-02
EP2751779A1 (en) 2014-07-09
IN2014CN02389A (ja) 2015-06-19
CN103959331B (zh) 2016-12-28
RU2601212C2 (ru) 2016-10-27

Similar Documents

Publication Publication Date Title
JP6208670B2 (ja) 肺葉の曖昧性ガイドインタラクティブセグメンテーションのためのワークフロー
JP5224451B2 (ja) 投影画像作成装置、方法およびプログラム
JP5312801B2 (ja) 医用画像ビューイングプロトコル
CA2776186C (en) Image display of a centerline of tubular structure
US9349220B2 (en) Curve correction in volume data sets
US11132801B2 (en) Segmentation of three-dimensional images containing anatomic structures
US20210132687A1 (en) Device and system for volume visualization and interaction in a virtual reality or augmented reality environment
US10535189B2 (en) Image display of a centerline of tubular structure
JP5566370B2 (ja) 医用画像処理装置及び方法
CN107851337B (zh) 交互式网格编辑
JP2010528750A (ja) 管状構造の検査
KR101693808B1 (ko) 3d기반의 비강 수술 시뮬레이션 방법 및 그 장치
CN106716496B (zh) 对解剖结构的体积图像进行可视化
Sun et al. Lung segmentation refinement based on optimal surface finding utilizing a hybrid desktop/virtual reality user interface
JP2024023303A (ja) 医用画像処理システム、医用画像処理方法および医用画像処理プログラム
JP6169912B2 (ja) 医用画像処理装置、医用画像診断装置及び医用画像処理プログラム
JP2012085833A (ja) 3次元医用画像データの画像処理システム、その画像処理方法及びプログラム
CN107004300B (zh) 体积形状的虚拟交互式定义
Fong et al. Development of a virtual reality system for Hepatocellular Carcinoma pre-surgical planning
Cui et al. Three-Dimensional Coronary Artery Centerline Extraction and Cross Sectional Lumen Quantification from CT Angiography Images
WO2023031151A1 (en) Interactive handling of 3d images
Wischgoll Visualizing vascular structures in virtual environments
Wischgoll et al. A quantitative analysis tool for cardiovascular systems
BR112017005715B1 (pt) Sistema e método para visualização de uma imagem volumétrica de uma estrutura anatômica, e equipamento de imageamento

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150925

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161201

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170907

R150 Certificate of patent or registration of utility model

Ref document number: 6208670

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250