JP2019522299A - ロバスト肺葉セグメンテーション - Google Patents

ロバスト肺葉セグメンテーション Download PDF

Info

Publication number
JP2019522299A
JP2019522299A JP2019505018A JP2019505018A JP2019522299A JP 2019522299 A JP2019522299 A JP 2019522299A JP 2019505018 A JP2019505018 A JP 2019505018A JP 2019505018 A JP2019505018 A JP 2019505018A JP 2019522299 A JP2019522299 A JP 2019522299A
Authority
JP
Japan
Prior art keywords
constellation
input
image
image processing
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019505018A
Other languages
English (en)
Other versions
JP6634186B2 (ja
Inventor
ヴィームカー，ラファエル
クリンダー，トビーアス
シュミット−リヒベルク，アレクサンダー
ザールバッハ，アクセル
ヴェヒター−シュテーレ，イリーナ
フィリップ ハルダー，ティム
フィリップ ハルダー，ティム
ベルク，イェンス フォン
ベルク，イェンス フォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2019522299A publication Critical patent/JP2019522299A/ja
Application granted granted Critical
Publication of JP6634186B2 publication Critical patent/JP6634186B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

画像処理システム及び関連する方法。本システムは、n[≧2]次元の入力画像を、そこで規定されるアンカー・ポイントのセットとともに受信するように構成される入力インターフェース(IN)を有し、アンカー・ポイントのセットは入力コンステレーションを形成する。コンステレーション修正部(CM)は入力コンステレーションを修正されたコンステレーションに修正するように構成される。コンステレーション評価部は、スコアを生成するために、超表面に基づいて入力コンステレーションを評価するように構成される。比較部(COMP)はスコアを品質の基準と比較するように構成される。スコアが基準を満たす場合に、出力インターフェース(OUT)により、コンステレーションが出力される。コンステレーションは入力画像のセグメンテーションを決定するために相応しい。（選択図）図１

Description

本発明は画像処理システム、画像処理方法、コンピュータ可読媒体、コンピュータ・プログラム・エレメントに関連する。
CTによる肺癌スクリーニングは死亡率を低下させ且つコスト効果的なものとして認められている。しかしながら、高リスク・グループの中でさえ、20個の肺結節のうち1つしか実際には癌性でない。肺結節悪性腫瘍(lung nodule malignancy)に関して広く認識されているリスク因子の1つは位置であり、即ち検出された結節が5つの肺葉のうちの何れに存在するかである。従って5つの肺葉の良好なセグメンテーションが望ましい。
広範囲に及ぶ刊行物が、肺葉を区分けするための半自動化又は完全に自動化された画像処理のための方法を述べている。例えば次の文献を参照されたい：
Shouliang Qi et al in “Automatic pulmonary fissure detection and lobe segmentation in CT chest images”, BioMedical Engineering OnLine, 13:59, 2014。
既存のアプローチは、標準的な線量及び薄いスライスの再構築とともに取得されるいわゆる診断CTスキャンにおいて開発及び検査されている。
しかしながら、CT(computed tomography)に基づく肺のスクリーニングは、高画像ノイズを伴う低線量又は超低線量スキャンを利用して実行され、従ってこれらは低解像度の肉厚スライス再構築を利用して検討され、薄い肺裂(the thin pulmonary fissures)は十分な鮮明度で与えられないかもしれない。
従って、画像をセグメント化する代替的な方法及びシステムに対するニーズが存在し得る。
本発明の課題は、独立請求項の対象事項により解決され、更なる実施形態は従属請求項に組み込まれる。本発明の以下に説明される側面は、画像処理方法、コンピュータ・プログラム・エレメント、及びコンピュータ読み取り可能な媒体に等しく適用されることに留意すべきである。
本発明の第1側面によれば、画像処理システムが提供され、本システムは：
n[≧2]次元の入力画像を、そこで規定されるアンカー・ポイントのセットとともに受信するように構成される入力インターフェースであって、アンカー・ポイントのセットは入力コンステレーションを形成する、入力インターフェース；
入力コンステレーションを修正されたコンステレーションに修正するように構成されるコンステレーション修正部；
スコアを生成するために入力コンステレーションを評価するように構成されるコンステレーション評価部；
スコアを品質の基準と比較するように構成される比較部；及び
スコアが基準を満たす場合に、コンステレーションを出力する出力インターフェースであって、コンステレーションは入力画像に対するセグメンテーションを規定することに適している、出力インターフェースを有する。
別の側面によれば、画像処理システムが提供され、本システムは：
n[≧2]次元の入力画像を、入力画像内で規定されるアンカー・ポイントのセットとともに受信するように構成される入力インターフェースであって、アンカー・ポイントのセットは入力コンステレーションを形成する、入力インターフェース；
少なくとも1つのアンカー・ポイントの少なくとも1つの座標を変化させ、入力コンステレーションの少なくとも1つのアンカー・ポイントの座標の少なくとも1つを、アンカー・ポイントを通る超平面(a hyperplane)に投影することにより、入力コンステレーションを修正されたコンステレーションに修正するように構成されるコンステレーション修正部であって、超平面は入力コンステレーション中のアンカー・ポイントに事前に適合させられており、変化は超平面内に拘束される、コンステレーション修正部；
スコアを生成するために修正されたコンステレーションを評価するように構成されるコンステレーション評価部；
スコアを品質の基準と比較するように構成される比較部であって、基準は、入力画像に対するセグメンテーションを規定するために、修正されたコンステレーションの適性を評価する、比較部；及び
スコアが基準を満たす場合に、修正されたコンステレーションを出力する出力インターフェースを有する。
一実施形態によれば、コンステレーション修正部は、修正されたコンステレーションを取得するために、少なくとも1つのアンカー・ポイントの少なくとも1つの座標を変化させるように構成される。
一実施形態によれば、コンステレーション修正部は、少なくとも1つの座標を変化させるためにランダム操作を適用するように構成される。
一実施形態によれば、コンステレーション修正部は、少なくとも1つのアンカー・ポイントの少なくとも1つの初期座標を、アンカー・ポイントを通る超平面に投影するように構成され、変化は超平面に拘束される。
一実施形態によれば、画像処理システムは、修正された入力コンステレーションに、[n-1]次元の超表面([n-1]-dimensional hypersurface)を適合させるように構成される表面適合化部を有し、コンステレーション評価部は、超表面に基づいてスコアを生成する。この実施形態において、コンステレーションは超表面を規定し、これはセグメンテーションとして出力されてもよい。
一実施形態によれば、画像処理システムは、入力画像において区分けされた画像部分が、超表面の何れかの側に存在するか否か、あるいは区分けされた画像部分が超表面を通り抜けて延びているか否かを分類するように構成される分類コンポーネントを有する。
一実施形態によれば、画像処理システムは、ディスプレイ・デバイスにおいて超表面又はコンステレーションとともに入力画像を可視化するように構成される可視化部を有する。
一実施形態によれば、画像処理システムは、スコアを改善する又は少なくとも維持するために入力コンステレーションを含む複数のコンステレーションを通じて反復するように構成される。
一実施形態によれば、アンカー・ポイントの個数は一定のまま残る。
一実施形態によれば、入力画像は、特に人間又は動物の肺の3D画像ボリュームである。超表面という用語は、ここでは一般的な意味で使用される。即ち、入力画像が3Dである場合、超表面は通常の意味で3Dにおける2D表面である。入力画像が2Dである場合、超表面は2Dにおける1Dカーブである。
別の側面によれば、画像処理方法が提供され、本方法は：
n[≧2]次元の入力画像を、そこで規定されるアンカー・ポイントのセットとともに受信するステップであって、アンカー・ポイントのセットは入力コンステレーションを形成する、ステップ；
入力コンステレーションを修正されたコンステレーションに修正するステップ；
スコアを生成するために入力コンステレーションを評価するステップ；
スコアを品質の基準と比較するステップ；及び
スコアが基準を満たす場合に、コンステレーションを出力するステップであって、コンステレーションは入力画像に対するセグメンテーションを規定する、ステップを有する。
別の側面によれば、画像処理方法が提供され、本方法は：
n[≧2]次元の入力画像を、入力画像内で規定されるアンカー・ポイントのセットとともに受信するステップであって、アンカー・ポイントのセットは入力コンステレーションを形成する、ステップ；
少なくとも1つのアンカー・ポイントの少なくとも1つの座標を変化させ、入力コンステレーションの少なくとも1つのアンカー・ポイントの座標の少なくとも1つを、アンカー・ポイントを通る超平面に投影することにより、入力コンステレーションを修正されたコンステレーションに修正するステップであって、変化は、少なくとも1つのアンカー・ポイントの少なくとも1つの座標を変化させ、入力コンステレーションの少なくとも1つのアンカー・ポイントの座標の少なくとも1つを、アンカー・ポイントを通る超平面に投影することにより、超平面内に拘束され、超平面は入力コンステレーション中のアンカー・ポイントに事前に適合させられており、変化は前記超平面内に拘束される、ステップ；
スコアを生成するために修正されたコンステレーションを評価するステップ；
スコアを品質の基準と比較するステップであって、基準は、入力画像に対するセグメンテーションを規定するために、修正されたコンステレーションの適性を評価する、ステップ；及び
スコアが基準を満たす場合に、修正されたコンステレーションを出力するステップを有する。
一実施形態によれば、本方法は：修正された入力コンステレーションに、[n-1]次元の超表面を適合させるステップを有し、評価するステップにおけるスコアは超表面に基づいている。この実施形態において、セグメンテーションとして出力されるものは超表面である。
別の側面によれば、1つ以上の処理ユニットにより実行される場合に、上記の方法のステップを実行するように構成されるコンピュータ・プログラム・エレメントが提供される。
別の側面によれば、プログラム・エレメントをそこに保存するコンピュータ読み取り可能な媒体が提供される。
提案されるシステムは、特にCTスクリーニング画像に基づく肺葉セグメンテーションのような低解像度で高ノイズの画像に関し、正確で演算効率の良いセグメンテーションを提供する。システムは、肺葉構造を区分けするように望まれる肺画像セグメンテーション・タスクで使用されることが可能である。提案されるアプローチは、低線量CTスクリーニング・アプリケーションに適用可能である程度に十分に堅牢であり高速である。
本発明の例示的な実施形態は以下の図面に関連して説明される。
図1は画像処理システムのブロック図を示す。 図2は画像処理システムのフロー・チャートを示す。 図3は説明されるシステム及び方法に関連する画像例を示す。 図3は説明されるシステム及び方法に関連する画像例を示す。 図3は説明されるシステム及び方法に関連する画像例を示す。 図4は提案方法が反復的な方法で使用される場合の収束挙動例を示す。
一実施形態に従う本願で想定されるような画像処理システムの概略ブロック図である図1を参照する。画像処理システムは、PACS又はHIS又はその他の画像アドミニストレーション・システムに統合されることが可能である。画像処理システムは分散アーキテクチャにおける1つ又は複数のサーバーPUにおいて構成されてもよい。代替的に、画像処理システムは、(例えば、CTのような)撮像装置に関連するワーク・ステーションのような他のコンピューティング装置に配置されてもよいし、あるいはモバイル・ユニット(例えば、ラップトップ、タブレット、スマートフォン等)に配置されてもよい。画像処理システムIPSは画像の処理を可能にする。画像は、画像処理装置IAにより直接的に供給される、あるいはデータ・ベースDB又はその他のメモリから取り出される。代替的に、IPSのうちの全部又は一部のコンポーネントが、適切にプログラムされたFPGA(field-programmable-gate-array)のような又は結線されたICチップのようなハードウェアにおいて構成されてもよい。
本願で想定されるアプリケーションの1つは、肺癌スクリーニングに関連して生成されるコンピュータ断層撮影(CT)画像の処理である。以下はこの肺のスクリーニングの文脈に主に関連するが、これは限定ではなく、医療(又は非医療分野)における他のアプリケーションも本願で想定されている。
肺のスクリーニングCTでは、関心対象(この場合、人又は動物の肺)の1つ以上の体積画像が取得される。この画像は、本願では対象画像として言及される。
対象画像は好ましくは3D(あるいは4D、即ち、体積画像の時系列でさえあってもよい)が、このことは必須の限定ではなく、なぜなら他のアプリケーションでは2D画像の処理も本願で想定されているからである。対象画像は、3Dアプリケーションに関するボクセル位置x,y又はx,y,zにおける画像値を含み、この点について更に詳細に考察されることになる。画像値は特定の関心量(a particular quantity of interest)をエンコードする。CTでは、画像値は、通常、インテロゲーションx線ビームが被る減衰量を表現し、x線ビームは、画像取得の際に対象を横切った後、ディテクタでの投影画像で取得され、(例えば、フィルタリングされたバック・プロジェクションその他の再構築アルゴリズムを利用することにより)対象画像に処理される。減衰の相違量は様々な組織密度に相違させることを可能にする。画像値は、通常、ハウンズフィールド単位(Hounsfield units)でエンコードされ、これらの単位は様々な組織密度を表現する。画像値は、患者の生体構造の詳細を表現する画像構造をエンコードする。特に、肺のスクリーニングの状況では、対象画像の画像値は、左及び/又は右肺の人又は動物の肺組織をエンコードする。
各々の肺は「葉(lobes)」と呼ばれる部分を有する。具体的には、左肺に2つの葉が存在し、及び右肺に3つの葉が存在する。これらの葉は、いわゆる裂(fissures)と呼ばれる互いにつながる別個の肺部分を形成する。葉のインターフェース(interfacing)は肺画像の中で裂線として表現される。左肺には上葉と下葉との間に1つの裂線が存在し、右肺を上、中、下葉の3つの葉に分ける2つの裂が存在する。左肺の裂、及び右肺の上葉と中葉との間の裂は斜裂(oblique fissures)(裂線)と呼ばれる一方、右肺の上葉と中葉との間の裂は水平裂と呼ばれる。
CTスクリーニングで実行したいことは、人間の肺の中で生じているかもしれないいわゆる肺結節の悪性腫瘍にアクセスすることである。肺結節は、一様な肺組織により囲まれる組織成長又は同様な病変のうちの顕著な特異性である。所与の結節の悪性腫瘍は、裂線に対する相対位置に依存することが観察されている。例えば、裂線を越えて延びているように発見された結節(即ち、2つの異なる葉の中に部分的に位置する)は、裂線を横切らない結節よりも、癌を表す多くの機会を有する。更に、裂線からの距離も悪性腫瘍に対する統計的なインジケータであることが分かっており、裂線から遠く離れている結節は、裂線に非常に近いがそれを越えて延びていないものより危険性が大きい。別の悪性腫瘍インジケータは、何れの葉に結節が位置しているかである。例えば、上葉に位置する結節は、下葉に位置する結節よりも高い悪性腫瘍の可能性を有する。
肺のCTでは、従って、正確なリスク分類を作成できるようにするには、裂線の正確な位置及び方向を知ることが有用である。本願では、ミリメートル又はミリメートル未満に至るまで裂線の位置及び方向を学習するために肺スクリーン画像データを活用することが提案される。本願において、裂線の概念は、対象画像の3Dボリュームを通るセクション画像の表現を指すことが認められるであろう。特に、3Dでは、肺葉どうしの間のインターフェースを形成する裂表面(fissure surface)と言うのがより正確である。特に、葉の正確な範囲を知ることは、それは実行可能なことであったとしても、必須ではない。本目的に関し、葉が出会う又はつながる裂線/裂表面を設定するだけで十分である。画像の構造は所定の断面画像において線状構造として現れる実際には2D表面であるという理解とともに、「裂線」という概念は明確に確立され、本願で使用される。
本説明の背景において先に上述したように、対象画像、特に肺癌スクリーニングCTは、比較的低い線量で取得されている。対象画像は、従って、比較的高レベルのノイズを被り、比較的低い空間解像度を有する。これは、患者に対するx線勝者を減らすが、このことは、裂線のコースを必要位置にわたって確立するタスクを、よりいっそう困難にする。
過去において、画像中の裂の局所的に線状の概観に概ね応答するライン又はエッジ・フィルタのような画像フィルが開発されている。これらのフィルタは、対象画像を、いわゆるフィッシャー・ボリューム(fissure volume)(又はより一般的には、フィルタ・ボリューム)に変換するように動作し、目下の各画像値は、少なくとも1つの列が個々のボクセル位置を通過する可能性を表現する。
これらの裂又はより一般的にはフィルタ・ボリュームは、一般に裂線の非常に粗い定義をもたらすに過ぎず、一般に多数の偽陽性を含み、図3Aのフィルタ画像例に示されるように、裂線に所属するように誤って識別される多数の位置を含む。これらの何れの短所も、CT肺スクリーニング画像の低い解像度及び高ノイズ・レベルに大いに起因する。
提案される撮像システムIPSは、特に既存のライン又はエッジ・フィルタについてのオペレーションを改良することを許容するが、提案される画像処理システムはそのようなフィルタ無しに動作することが可能である。広く、以下に詳細に説明されるように、提案される画像処理システムは、裂線を求めて対象画像を探索する場合に、既存のエッジ・フィルタの動作が局所的な極値に捕らえられてしまうことを克服できるようにする。より具体的には、そのような局所的な極値に捕らえられてしまうことを回避するために、提案される画像処理は、ランダム化方式を含む。このランダム化方式は、フィルタにより提供される裂応答(a fissure response)の近傍で画像をサンプリングし、それにより、対象画像中の裂線のより正確な特定を確立する。
画像処理システムは、好ましくは、反復的な形式で動作させられる。即ち、システムは、裂線の位置及びコースに対する初期推定からスタートする。初期推定は、多数の補助的なアンカー・ポイント(a number auxiliary anchor points)APにより提供され、APの空間又はコンステレーションにおける幾何学的な分布は、裂線の3D形状を全体的に捕捉するように考えられることが可能である。そして、これらのアンカー・ポイントは、多数の反復の後に、1つ以上の裂線の改善された更に正確な定義に最終的に到達するように、画像処理システムの実行中に変化させられる。
図1のブロック図を更に詳細に参照すると、対象画像(例えば、肺の画像)が画像処理システムの入力ポートINで受信される。例えば、ワーク・ステーションにおいてユーザーはリクエストを送信してもよく、所定の患者等の所望の対象画像が、PACS又はHISから取り出され、画像処理システムの入力ポートINに提供される。しかしながら、対象画像を処理してもらうリクエストは、HIS又はPACSシステムにより自動的に始動されてもよく、そのため必ずしもユーザーにより開始されなくてもよい。代替的に、画像は、撮像モダリティ、即ち、CT、MRI、US、SPECT、PET又はその他のものからの取得の後に直接的に供給されてもよい。
対象画像は、フィルタ応答ボリューム(特に、上述したようなフィッシャー・ボリューム)を生成するエッジ・フィルタFILを特に含む光学的予備処理ステージに通される。選択的に、フィルタ応答ボリュームは、画像ノイズに良く対処するために平滑化されてもよい。
この実施形態において入力ポートINで入力画像として受信されるのはそのようにフィルタリングされた又は平滑化された対象画像である。フィルタ及び/又はスムーザー(存在する場合)は、ユーザーにより選択されてもよいし、あるいはユーザーの入力なしに自動的に適用されてもよい。
上述した複数のアンカー・ポイントは、入力画像内で既に指定されている、あるいはユーザーにより別途供給される。より詳細に説明されることになるが、この複数のアンカー・ポイントAPは、追求する裂線又は構造の仮定された位置及びコースに対する或るコンステレーションを規定する。
各々のアンカー・ポイントAPiは、それらの座標(x,y,z)iにより規定され、アンカー・ポイントのこれらの座標の集まりは、3D空間の中で(即ち、入力画像の中で)コンステレーションを規定する。コンステレーションは、裂構造が通る幾何学的構造の近似的な離散化された表現である。
先に簡単に言及されており後に詳細に説明されるように、画像処理システムは、反復の結末においてアンカー・ポイントの別のコンステレーションを生成するように、1回以上の反復でこれらのアンカー・ポイントを洗練するように処理を進め、これは裂構造の実際の位置及びコース(即ち、1つ以上の(好ましくは全ての)裂線)に対する推定として出力ポートOUTで出力されることになる。言い換えれば、出力ポートOUTにおける出力としてのアンカー・ポイントは、裂線に対するセグメンテーションを規定する。以下において更に詳細に説明されるように、離散化された表現を準連続的なもの(a quasi-continuous one)に洗練するように、ある表面は、3D対象画像中のアンカー・ポイントを通ることが可能である。
図1を引き続き参照しながら詳細に画像処理システムの動作を説明すると、システムはコンステレーション修正部CMを含み、CMは受信したアンカー・ポイントの初期セットについてそれを修正し本方法で修正されたコンステレーションを規定するように動作する。これは、例えば、受信した複数の初期アンカー・ポイントのうちの何れか1つ又は1つより多いものについての1つ以上の座標を変化させることにより、実行されることが可能である。好ましくは、この変化はランダムに実行され、より好ましくはその変化は画像体積内の超平面に拘束され、あるいは別に幾何学的に拘束される。幾何学的に拘束された変化は、改善されたセグメンテーション結果を許容し、演算時間を減らす。一実施形態において、ランダムな選択は、受信したアンカー・ポイントのうちの何れか1つを選択するように実行される。そして、何れか1つの又は複数のそれらの座標がランダムに変化させられる。例えば、APの座標のうちx,y成分のみ又はz成分のみ等々を変化させることが望まれてもよい。従って一実施形態において、修正部は、先ず1つ以上の地点をランダムに選択し、次に選択された1つ以上のAPの座標成分のうちの全部又は一部をランダムに変化させることにより、二重にランダムに動作する。しかしながら、提案されるシステムは、単独の座標のみ及び/又は1点の座標のみを変化させるように制限されるわけではない。このアプローチの代替的な実施形態も想定され、アンカー・ポイントのセットから、1つより多い地点のサブセットが選択され、選択されたアンカー・ポイントのうちのサブセット又は1つより多い座標成分(例えば、全て)がその後に変化させられる。(初期)アンカー・ポイントの変化のこの自由度は、ユーザーにより調整されることが可能であり、あるいはシステム設計者によりハード・コード化される。
システムのコンステレーション評価部CEは、特に、コンステレーション修正部CMによる出力のような修正されたコンステレーションを評価するように動作する。コンステレーション評価部CEは評価を定量化するためにスコアを利用する。(必ずしも全ての実施形態ではない)好ましい実施形態において、評価スコアは、修正されたコンステレーションに適合される超表面に基づく。この好ましい実施形態では、従って、修正されたコンステレーションに超表面を適合する表面適合化部CF(又は2D画像に対するカーブ・フィッター(curve fitter))が存在する。言い換えれば、修正されたコンステレーションにおけるアンカー・ポイントは、空間境界条件を規定する。具体的には、アンカー・ポイントは、通過するように適合させられる表面の位置を規定する。スプライン曲線/表面又はその他の適合化技術がこの目的に使用されることが可能である。評価は、適合させられた表面の幾何学的特徴を評価することにより進められることが可能である。特に、初期入力の対象画像に関連付けられるフィルタ応答ボリュームが生成される一実施形態では、評価は次のように進められることが可能である：適合させた表面上の各ボクセル位置について、各自の位置におけるフィルタ応答を決定し、その後、適合させた表面全体にわたって全てのフィルタ応答を合計する。この動作は本質的には離散表面積分加算(a discretized surface integral summation)である。これに対する代替例として、CPU時間を節約するために、合計が表面地点のサブセットに制約され、表面全体にわたっては広がらない。フィルタ応答値は非負であることが主に想定されており、それにより、そのようにして取得されるトータルの表面合計の大きさ全体は、その表面が適切に配置されているか否かに関する優れた指標となる。合計は、実際の裂線セグメンテーションの探索を案内するためのスコア又は「性能指数(figure of merit)」として使用されることが可能である。言い換えれば、比較的高いフィルタ応答とともにボクセル位置を通るように、「最適」表面は期待されることが可能である。しかしながら、画像は多くのノイズを含むので、フィルタ応答それ自体が必ずしも信頼できないかもしれない。そこで、提案されるランダム変動方式は、この点に対処し、ノイズの渦中で適切な裂セグメンテーションを見出すことを許容する。そして、適切に修正されたコンステレーション及び/又はそこを通る表面により生成されるスコアは、比較器COMPにより、閾値又はその他の中断基準と比較される。基準は満たされることが判明した場合、現在の修正されたコンステレーションは、セグメンテーションを十分に良く規定するものと考えられ、従ってこれは先に簡単に言及したように出力ポートOUTで出力される。修正されたAPに加えて、現在の修正されたアンカー・ポイントを通る適合させられた表面も、セグメンテーションとして出力される。上述したように、次の反復サイクルにおいて現在の修正されたコンステレーションを再び修正する等々により、多数のコンステレーションを経て画像処理方式が反復され、上記の処理ステップは、中断条件が満たされることが判明するまで反復される。
一実施形態では、アンカー・ポイントのランダム変化を幾何学的に制約するために、コンステレーション修正部は、現在考察されているコンステレーションのうちの1つ又は複数の座標を超平面に投影する。超平面は、現在のコンステレーションにおけるアンカー・ポイントに事前に適合させられている。(肺のスクリーニングについてここで仮定されるように)考察されている画像が3Dである場合、超平面は2D平面である。画像が2Dである場合、超平面は単に線である。この超平面(this hyper-plane)は、上記の超表面(the hyper-surface)とは異なる点に留意を要する。超表面は、スコアを算出し、セグメンテーションの準連続的表現を提供するために使用されていた。一方、超平面は、座標成分の変化を制約するために使用される。具体的には、上記のランダム変化は、現在のコンステレーションの1つ以上のアンカー・ポイントについて超平面の中でのみ実行される。超平面の中で変化させられる座標の各々について、超平面から、適合させられる超表面に向かって離れる方向の高さは、新たなアンカー・ポイントの残りの座標成分の構築をそのように完成させるように補間される。先行する反復サイクルから変更されていないアンカー・ポイントととともにそのように新たに構築されたアンカー・ポイントは、次の反復サイクルに対する新たな後続のコンステレーションを形成する。アンカー・ポイント、先行するもの、及び新たに構築されるものの総数は好ましくは一定のまま残る。超平面の操作はコンステレーション修正部CMにより実行される。
ランダム操作を幾何学的に拘束する他の方法も本願で想定されている。ランダムな形式で変化を行わせることは好ましい実施形態であるが、このことは決定論的方法を排除しない。ランダム操作それ自体は、通常的には0ないし1である所定の範囲内で乱数を発生させるように乱数生成器を動作させることにより実行されることが可能である。そして、乱数は、変化させられる座標成分近辺の座標にマッピングされる。これは更に変化を幾何学的に制限することを許容する。言い換えれば、超平面に基づく実施形態に関し、アンカー・ポイントが超平面に投影されると、座標成分の変化は、その超平面内の近傍(楕円、円、四角形など)に制限される。乱数がマッピングされる近傍のサイズは、ここでもユーザーにより調整可能であってもよいし、あるいは設計変数として設計者により予め設定されていてもよい。
ここで、反復は、所定数のステップの後に中止されることが可能であること、あるいは十分な収束が検出されると中止されることが可能であることが、認められるであろう。
入力ポートで提供される初期コンステレーションは、例えば熟練者により実行される、トレーニング画像のコホート(a cohort)に関して実行されるマニュアル・セグメンテーションから導出されてもよい。コホート画像、及び現在処理されている対象画像は、空間的に互いに十分に位置合わせされていると仮定されることが可能であり、そのため、アンカー・ポイント座標はそのままで(at face value)使用されることが可能であり、初期コンステレーションを決めるために対象画像に直接的に適用されることが可能である。言い換えれば、コホート画像及び対象画像が位置合わせされていない場合でさえ実行されることが可能であるが、座標変換は必須でない。
ここで提案されるような画像処理システムは、ランダム化された最適化方式を実現するように考えられることが可能であり、その場合においてスコアは目的関数を形成する。ここで、スコアが反復を通じて向上することを強いるために、様々な方法が想定される。
これを行う1つの方法は、先行する反復サイクルで返されたスコアより低いスコアを返すコンステレーションを単に無視することである。これを行う1つの方法は、予め算出されたスコアに従って順序付けられたリスト中の複数のN個のコンステレーションとともに始まり、リストの上位(N＞n≧1)個のメンバーのみを修正部CMの動作により修正することである。改善されたセグメンテーション結果(即ち、調整されたコンステレーション及び/又はそこを通過する表面)が出力ポートOUTでいったん出力されると、これは、可視化部VIZにより入力画像と一緒に選択的に可視化され、モニター・デバイスMTにおける表示のためにレンダリングされることが可能である。
セグメンテーション結果を可視化する代わりに又は追加的に、分類コンポーネントCCは、対象画像において、個別結節セグメンテーション方式により識別される結節を分類するように、裂線セグメンテーションに基づいて動作する。そのようなセグメンテーション方式は当該技術分野でよく知られており、これらの何れもが本願で提案されるシステムの目的のために適用されることが可能である。より詳細には、結節セグメンテーションは、入力画像における一部分(a sub-portion)を規定する。この一部分は、多数のボクセルを、各自の画像値とともに含む。結節セグメンテーションにおける各々のボクセル位置に関し、その位置は、出力ポートOUTにおいて出力される裂セグメンテーションと比較される。特に、各々の結節ボクセルに関し、その位置は裂位置表面の座標と比較されることが可能であり、セグメンテーション表面の何れの側に、各自のボクセル位置が配置されているかを判断することが可能である。セグメンテーションされた裂の何れの側に、結節が全体的に配置されているかを、結節セグメンテーションに関して全体的にグローバルに判断するために、投票手順(A voting procedure)が使用されてもよい。適切な閾値処理又は「投票」を利用して、例えば、ボクセル位置全体のうち過半数(おそらくは大多数)が表面の一方の側にある場合、その結節全体は裂表面のその側に存在しているものと分類される。この分類動作の成果は、従って3つの内容から成る：結節セグメンテーションが全体的に裂表面の一方の側、又は裂表面の他方の側に存在する、あるいは結節は実際には裂表面を横切って延びる「トランス結節(trans-nodule)」であることが、決定されることが可能である。医学的な知見を利用して、結節の悪性に関する推定が行われることが可能である。正確な裂セグメンテーションは、肺葉それ自体の位置についても情報を与える。従って、何れの葉に結節が位置しているかを高精度に決定することが可能である。上述したようにその位置は悪性のインジケータになるので、高精度に決定できることは望ましいことである。
図1の画像処理システムを詳細に説明するために、図2のフロー・チャートが参照される。しかしながら、以下において説明されるステップはそれ自体教示として理解されてよいことが理解されるであろう。特に、教示は画像処理システムのアーキテクチャに関するものに必ずしも拘束されない。
ここでも裂セグメンテーションの目的で肺の画像が主に参照される。しかしながら、このことは限定として解釈されるべきではなく、他の生体構造をエンコードする画像又は医療分野に関連しない画像の処理も、本願では別の実施形態で具体的に想定されている。提案される方法は、低解像度及び/又は高ノイズ・レベルの画像においてもロバストなセグメンテーションを許容する。
ステップS210において、対象画像(特に、CT、MRIその他のもの等による3D画像体積)が受信される。入力画像において幾何学的コンステレーションを規定するアンカー・ポイントのセットが受信され又は別途受信され、この画像において組み込まれる。
選択的に、入力画像から背景情報を除去するように、対象の生体構造全体(例えば、片方又は双方の肺)が対象画像から事前に区分けされている。その他の選択的な事前処理ステップは、裂線又はその他の対象構造に関する可能性のある場所を決定するために対象画像に適用されるエッジ・フィルタリングを含む。
対象画像の各ボクセルにフィルタ応答が適用される。(「応答」として本願で言及される数である)フィルタ値は、(例えば、CTボリュームのような)対象画像の各ボクセルに関する裂の確からしさ(a fissure likelihood)を提供する。そのような様々なフィルタについては、例えば以下の文献に記載されており、本願ではこれらの任意のフィルタ又はその組み合わせが様々な実施形態で想定されている：
Alexander Schmidt-Richberg et al in “Evaluation of Algorithms for Lung Fissure Segmentation in CT Images”, Bildverarbeitung fuer die Medizin 2012, Editors: T. Tolxdorff et al, pp 201-206, 2012, Spinger Berlin Heidelberg。
背景技術の欄で言及されているShouliang Qi, et al.の文献の第3頁表2も参照されたい。裂フィルタは、ハウスフィールド値のような裂の現れ、又は(距離変換における稜線のような)肺血管どうしの間のローカルな隙間の何れかに直接的に基づくことが可能である。具体的には、裂の位置の決定は、明示的、黙示的、又は双方の組み合わせにより実行されることが可能である。明示的な検出は、周辺の肺実質と比較してより高いハウスフィールド値の観点から列を検出するようにフィルタを適用することに基づく。黙示的な検出では、(より大きな)肺血管の局所的な不存在により、列の位置が決定される。これは、例えば、先ず血管フィルタを利用して血管を強調し、次に閾値処理された血管特徴画像に距離変換を適用することにより実行されることが可能である。距離変換における稜線は、列の位置に対する候補を提供する。(画像中の裂の現れに基づく)明示的なアプローチ及び(欠陥構造の不存在に基づく)黙示的なアプローチの双方のアプローチは組み合わせられることも可能である。
別の予備処理ステップとして、フィルタ応答ボリュームが、ガウシアン・スムージング又は何らかの他のスムージング・フィルタを利用して平滑化される。何らかのエッジ・フィルタが使用される場合、好ましくは先ずそれが適用され、スムージング・フィルタがエッジ・フィルタ応答ボリュームに適用される。(先ずスムージング・フィルタ、次にエッジ・フィルタという)逆の順序も可能である。
そのように事前に処理された画像体積は本願ではフィルタ応答ボリューム(又はフィッシャー・ボリューム)と言及され、それが、入力画像として以下のステップで処理されるフィルタ応答ボリュームである。
始めに受信されるアンカー・ポイントにより規定されるような初期コンステレーションは、入力画像に関して適切に位置合わせされる。初期コンステレーションは、例えば、医療専門システム又はデータ・ベース又はその他から要求を受けるかもしれず、トレーニング肺画像の適切なコホートに関する先行するマニュアル・セグメンテーションから導出される。アンカー・ポイントのこれらの初期セットは、後続の反復手順を初期化するために後述されるように使用される。
本方法は好ましくは反復的である。反復の最中に、各反復ステップに関し、一連のコンステレーションが生成される。以後、現在のコンステレーションに対して参照が行われ、それは初期コンステレーション又は後の反復ステップで生成されたものである。
ステップS220において、現在のコンステレーションが好ましくはランダムな方法で修正されるが、必須ではない。このランダムに行われる修正は、一実施形態では、1つ以上の現在のアンカー・ポイントAPのうちの1つ以上の座標成分にランダム操作を適用することにより実現される。
選択的なステップ230において、(例えば、3Dボリュームにおける2D表面のような)超表面が、APの現在のコンステレーションに適合させられる。より具体的には、2次元薄板スプライン表面が、3次元ボリュームにおいて、3つの肺葉裂(右側の2つ及び左側の1つ)の各々に適合させられる。各々のスプライン表面は、固定数Fの3Dアンカー・ポイントにより支持される。例えば、F=16はメジャー縦裂(major vertical fissure)に関連し、12はマイナー水平裂(minor horizontal fissure)に関連してもよい。
次に、ステップS240において、コンステレーションが評価される。これは本願で想定される多数の様々な実施形態で実行されることが可能である。一実施形態において、評価は、フィルタ応答ボリュームの値と組み合わせた超表面に基づく。より具体的には、適合させられた表面は、フィルタ応答値のセット(即ち、表面が通る位置における値)を選び出す。言い換えれば、表面積分の離散化されたバージョンが形成される。適合させられた表面にわたるフィルタ応答値の合計は、目的関数を規定し、その合計はスコア/性能指数と考えられ、本願ではスコアを反復的に改善する(目下の場合は増やす)。従って提案される方法はランダム化された最適化手順である。しかしながら、スコアの増加等は多大に定式化の問題なので、即ちスコアが(ここでのように)ユーティリティとして又はコストとして定式化されるか否かによるので、必ずしも、スコアが必ず増長しなければならないというわけではない。後者の定式化に関し、反復的な最適化は、スコアを減らすことを目的とする。一実施形態において、スコアは数値ウェイトとともに重み付けされ、数値ウェイトは、例えば各肺葉の典型的な体積、裂の典型的な法線ベクトル方向(角度)などのような所定の生体構造の境界条件を反映する。例えば、マイナー右水平裂に関し、フィルタ応答は、専らメジャー縦裂よりも頭側である位置に関して累積される。
ステップS250において、現在の性能指数、このケースでは現在のコンステレーションに対する表面積分が、1つ以上の停止条件又は基準の所定のセットに対して比較される。
基準が満たされない場合、手順は、現在のコンステレーションを再び新たなものに修正するためにステップS220に戻り、本方法は上記のステップを経て更新された性能指数に至るように進行する。1つの停止条件は、2つの連続する性能指数の間で変化の程度を判断するために、反復の際に生成された現在の及び先行する性能指数を比較することを含んでもよい。その変化が所定の閾値未満に落ちる場合、反復は十分なレベルまで収束していると判断され、反復は中断される。
停止条件が満たされる場合、最新の利用可能なコンステレーションが、ステップS260において、裂セグメンテーションの定義として出力される。
一実施形態によれば、画像処理の提案方法は、各反復サイクルの最中に生成される性能指数が、悪化せずに少なくとも維持され、更に改善されることを保証するように構成される。これを行う方法の1つは、以下において更に詳細に説明されるリストに基づくアプローチを利用することである。より具体的には、一実施形態によれば、単独の初期コンステレーションではなく、N個(≧1)の典型的なコンステレーションのリストとともに、コンステレーション・リストが設定される。具体的には、コンステレーション・リストは、多数のマニュアル・セグメンテーションから導出される多数のN個の典型的なコンステレーションにより初期化される。リストにおける新たなコンステレーションの夫々はステップS240で評価され、リストは最高スコア(性能指数)に従って並べ替えられる。上位n個のコンステレーション各々(高スコアを有するもの)についてのみ、M(≧1)個のランダム変化がステップS220で導出され、リストに加えられる。
しかしながら、収束を強制するこの方法は、性能指数の改善を達成する他のアプローチを排除するように解釈されるべきでない。
一実施形態によれば、現在のコンステレーションを修正するステップS220は、1つ以上のアンカー・ポイントの1つ以上の座標成分を変化させる場合に、幾何学的な自由度を幾何学的に制限することを含む。これは、一実施形態では、以下の方法で所与の現在のコンステレーションを使用して実行されることが可能である：3Dスプライン・アンカー・ポイントが線形サポート平面(超平面)に投影される。この投影操作は、超平面におけるx,y平面座標及び補間された高さzをもたらす。そして、新たなスプライン・アンカー・ポイントのx-y-位置が、超平面における既存のx-yスプライン・アンカー位置の所定の固定された近傍半径の中でランダムに選択される。この新たなx-yサポート平面位置に関し、最適なz-高さが、所定の探索範囲内で現在の高さの変分により(現在のスプライン表面から補間されるようにして)決定される。この1つ(各々のz-高さ変分)において一連のコンステレーションが生成され、それぞれが、各z-高さについて目的関数を利用することにより(例えば、表面積分を算出することにより)ステップS250で再評価される。そして、新たなx,y座標成分及び新たなz-高さはともに3Dにおける新たなアンカー・ポイントを規定する。上記のアプローチでは、追加的なアンカー・ポイントは生成されないこと、即ちアンカー・ポイントの総数は一定のまま残ることが、理解されるべきである。そして、上述した変分アプローチにより取得された新たなアンカー・ポイントは、変分に委ねられたアンカー・ポイントの代わりに、コンステレーションにおいて採用される。しかしながら、代替的な実施形態では、アンカー・ポイントの個数は実際に変化してもよい。
反復の結末において、セグメンテーション結果は、i)リストのトップにあるコンステレーション、又はii)より一般的には、リスト中の上位n個のエントリ内の全コンステレーションである。コンステレーションそれ自体はセグメンテーションの離散的な定義付けである。セグメンテーションの適切な(少なくとも「準」)連続的な表現は、元の対象画像の中で裂線又は葉界面を形成する各自の超表面である。
適合させた超表面の観点から性能指数を規定する上記のアプローチは、ここで想定される唯一の実施形態ではないことが、理解されるべきである。幾何学的に引き起こされる又はその他の性能指数を規定するために、コンステレーションの他の幾何学的特性がここで考慮されてもよい。例えば、コンステレーションは離散的な格子細工(a discrete lattice work)として眺められてもよい。材料科学(弾性理論)での考察による発想から、最適化を誘導するために、内的及び外的な「仮想的な」力が規定されることが可能である。
上記のリスト・アプローチにおいて、出力は必ずしも(トップ・エントリに対する)単独の最良セグメント結果であるとは限らず、リストの上端側にあるn個(n＞1)全てのコンステレーションが「最適」として考慮されてよいことが、理解されるであろう。言い換えれば、この実施形態では、複数の(n個の)出力がステップS260で供給されてよいが、これはユーザーにより整えられることが可能である。言い換えれば、トップのコンステレーションのみが最終的なセグメンテーション結果として出力される、あるいは上位n個(＞1)のコンステレーション全てがそのように出力される。
そして、個々のアンカー・ポイント・コンステレーション及び/又はそれらの超表面により規定される1つ以上の裂セグメンテーションは、初期の対象画像を処理するために使用されることが可能である。一実施形態において、この処理はステップ270Bで行われ、セグメンテーション結果が、初期画像にオーバーレイされ、ディスプレイ・ユニットでの表示のためにレンダリングされる。これは、算出されたセグメンテーションの質を視覚的に検査することをユーザーに許容する。
これに加えて及び/又は代替的に、画像構造の分類がセグメンテーションに基づいてステップS270Aで実行される。一実施形態では、上記のセグメンテーション手順を実行する前又は後に別個のステップで初期入力画像に適用される結節セグメンテーションが、何らかの既知の結節セグメンテーション技術により実行される。そして、ステップS260で取得された裂セグメンテーションの、セグメント化された結節構造の近傍は、結節セグメンテーションの悪性を分類するために使用されることが可能である。より具体的には、所与の肺結節セグメンテーションに関し、投票のために全てのボクセル位置がサンプリングされ、おそらくは定量化された過半数は、結節が全体として何れの葉に所属しているかを決定するために使用される。
必ずしも全ての実施形態においてではないが、好ましい実施形態では、アンカー・ポイントの総数が反復を通じて固定されたまま残る。言い換えれば、存在する1つ以上のアンカー・ポイントは変更されるが、各々のコンステレーションでアンカー・ポイントの総数は一定のまま残る。使用されるアンカー・ポイントの個数はアプリケーション毎に異なるであろう。例えば、目下の肺の撮像の状況では、個数F=#(AP)〜10又はそれ未満は、十分に良好な結果をもたらすように観察されている。これは、典型的な裂が、多くの表面皺(many surface wrinkles)のない区分的に滑らかな表面であるからである。そして、F個のアンカーに対する制約は、解剖学的に意味のあるコンステレーションに有利に働く規制として役立つ。拘束された数F(A bounded number F)は、(フィルタ応答ボリュームのサンプリングのような)評価に必要とされる各スプライン表面が、非常に短時間のうちに算出されることが可能である。(スプライン表面演算コストはF2で上昇する)。包含される表面構造がゴツゴツしてより複雑である(craggier and more difficult)別の状況では、個々のコンステレーションを規定するために、より大きな数のアンカー・ポイントが使用されてよい。
特に、生成するステップ(S220)及びコンステレーション変化を評価するステップ(S250)は、演算時間の高速化をもたらすように完全に又は少なくとも部分的に並列化されることが可能である。例えば、並列的な方法でこれらのコンステレーションを評価できる場合、異なるコンステレーションを並列的に算出してもよい。n個の上位に格付けされたコンステレーションのランダム変動の生成は、最適化が局所的な最大値に捕らわれないことを保証する。
要するに、提案される方法(及び関連するシステム)は：
- 低線量スクリーニングCTのような高ノイズに対してロバスト的である
- 肉厚スライス再構築CTのような限られた解像度に対してロバスト的である
- 効率的な演算及び低い実現コストを可能にする
- 不具合のケースでもグレースフル・デグラデーションを提供する
- フィルタ応答ボリュームで遭遇するような多数の誤った局所的な最大値さえも首尾よく折り合いを付ける。
ここで、提案方法に対する画像例を示す図3が参照される。(既に言及されている)図3Aは裂フィルタ応答ボリュームの例を示す。肺ボリューム内に分散するグレーの画像部分として示されるように、真の裂位置に加えて多数の「偽陽性(false positive)」がフィルタにより生成されていることが、見受けられる。
図3B及び図3Cは、肺癌スクリーニングからの典型的な低線量、高ノイズ、低解像度CT再構築を示す。それらの図は、右肺の上葉、中葉及び下葉を区別するメジャー及びマイナー裂に対してホワイトで示される適合される解とともに、グレーで示される誤った又は偽陽性の裂フィルタからの結果を示す。
図4はメジャー(上のグラフ)及びマイナー(下のグラフ)右裂に対するスコア評価の例示である。十分なレベルの収束が、特に1000回の反復付近におけるマイナー右裂に対して達成できていることが見受けられる。
図3の画像及び図4の反復評価は単なる例示に過ぎず、ここで説明されるものを限定しているに過ぎないことが、理解されるであろう。
本発明の別の例示的な実施形態では、適切なシステムにおいて、上記の何れかの実施形態に従う方法の方法ステップを実行するように構成されることで特徴付けられるコンピュータ・プログラム又はコンピュータ・プログラム・エレメントが提供される。
従って、コンピュータ・プログラム・エレメントは、本発明の実施形態の一部であってもよいコンピュータ・ユニットに保存されてもよい。このコンピューティング・ユニットは、上記の方法のステップを実行するように又はステップの実行を引き起こすように構成されてもよい。更に、それは上記の装置のコンポーネントを操作するように構成されてもよい。コンピューティング・ユニットは自動的に動作するように及び/又はユーザーの指令を実行するように構成されることが可能である。コンピュータ・プログラムはデータ・プロセッサのワーキング・メモリにロードされてもよい。従ってデータ・プロセッサが本発明の方法を実行するように備えられてもよい。
本発明のこの例示的な実施形態は、最初から本発明を利用するコンピュータ・プログラムと、アップデートにより既存のプログラムを本発明を利用するプログラムに変えるコンピュータ・プログラムとの双方をカバーする。
更に、コンピュータ・プログラム・エレメントは、上述した方法の例示的な実施形態の手順を満足するために必要な全てのステップを提供することが可能であってもよい。
本発明の別の例示的な実施形態によれば、CD-ROMのようなコンピュータ読み取り可能な媒体が提供され、コンピュータ読み取り可能な媒体は、そこにコンピュータ・プログラム・エレメントを保存させ、コンピュータ・プログラム・エレメントは上記のセクションで説明されている。
コンピュータ・プログラムは、他のハードウェアと一緒に又はその一部として供給される光ストレージ媒体又はソリッド・ステート媒体のような適切な媒体(特に、非一時的な媒体であるが、必ずしもそうであるとは限らない)に保存され及び/又は分散されてもよいが、インターネット又はその他の有線若しくは無線通信システムを介するような他の形式で分散されていてもよい。
しかしながら、コンピュータ・プログラムは、ワールド・ワイド・ウェブのようなネットワーク上で提供されてもよく、そのようなネットワークからデータ・プロセッサのワーキング・メモリへダウンロードされることが可能である。本発明の別の例示的な実施形態によれば、コンピュータ・プログラム・エレメントをダウンロードに利用可能にする媒体が提供され、コンピュータ・プログラム・エレメントは、本発明の上記の何れかの実施系チアに従って方法を実行するように構成される。
本発明の実施形態は様々な対象事項に関連して説明されていることに留意を要する。特に、ある実施形態は方法のタイプの請求項に関連して説明される一方、別の実施形態はデバイスのタイプの請求項に関連して説明される。しかしながら、当業者は、別段の言及がない限り、あるタイプの対象事項に属する特徴の任意の組み合わせに加えて、異なる対象事項に関連する特徴どうしの任意の組み合わせが本願により開示されているように考えられることを、上記及び下記の説明から把握するであろう。しかしながら、全ての特徴は組み合わせられることが可能であり、それらの特徴の単なる寄せ集めを上回る相乗効果を奏する。
本発明は図面及び上記記述にて詳細に図示及び説明されてきたが、そのような図示及び説明は模範的又は例示的であり、制限ではないと考えられる。本発明は開示された実施形態に限定されない。開示された実施形態に対する他の変形は、図面、本開示及び従属請求項から、請求項に係る発明を実施する当業者によって理解及び把握されることが可能である。
特許請求の範囲において、「有する(comprising)」という言葉は他のエレメント又はステップを排除しておらず、「ある(“a” or “an”)」という不定冠詞的な語は複数を排除していない。単独のプロセッサ又はその他のユニットが請求項に記載される複数の事項の機能を充足してもよい。複数の所定の事項が相互に異なる請求項で引用されているという唯それだけの事実は、これらの事項の組み合わせが有利に利用できないことを示してはいない。特許請求の範囲における如何なる参照符号もその範囲を限定するように解釈されるべきでない。

Claims (13)

  1. 画像処理システムであって：
    n[≧2]次元の入力画像を、前記入力画像内で規定されるアンカー・ポイントのセットとともに受信するように構成される入力インターフェースであって、前記アンカー・ポイントのセットは入力コンステレーションを形成する、入力インターフェース；
    少なくとも1つの前記アンカー・ポイントの少なくとも1つの座標を変化させ、前記入力コンステレーションの前記少なくとも1つのアンカー・ポイントの前記座標の少なくとも1つを、前記アンカー・ポイントを通る超平面に投影することにより、前記入力コンステレーションを修正されたコンステレーションに修正するように構成されるコンステレーション修正部であって、前記超平面は前記入力コンステレーション中の前記アンカー・ポイントに事前に適合させられており、前記変化は前記超平面内に拘束される、コンステレーション修正部；
    スコアを生成するために前記修正されたコンステレーションを評価するように構成されるコンステレーション評価部；
    前記スコアを品質の基準と比較するように構成される比較部であって、前記基準は、前記入力画像に対するセグメンテーションを規定するために、前記修正されたコンステレーションの適性を評価する、比較部；及び
    前記スコアが前記基準を満たす場合に、前記修正されたコンステレーションを出力する出力インターフェース；
    を有する画像処理システム。
  2. 前記コンステレーション修正部は、前記少なくとも1つの座標を変化させるためにランダム操作を適用するように構成される、請求項1に記載の画像処理システム。
  3. 前記修正された入力コンステレーションに、[n-1]次元の超表面を適合させるように構成される表面適合化部を有し、前記コンステレーション評価部は、前記超表面に基づいて前記スコアを生成し、特に前記超表面は前記セグメンテーションとして出力される、請求項1又は2に記載の画像処理システム。
  4. 前記入力画像において区分けされた画像部分が、前記超表面の何れかの側に存在するか否か、あるいは前記区分けされた画像部分が前記超表面を通り抜けて延びているか否かを分類するように構成される分類コンポーネントを有する請求項3に記載の画像処理システム。
  5. ディスプレイ・デバイスにおいて前記超表面又は前記コンステレーションとともに前記入力画像を可視化するように構成される可視化部を有する請求項1ないし4のうちの何れか一項に記載の画像処理システム。
  6. 前記スコアを改善する又は少なくとも維持するために前記入力コンステレーションを含む複数のコンステレーションを通じて反復するように構成される請求項1ないし5のうちの何れか一項に記載の画像処理システム。
  7. 前記アンカー・ポイントの数が一定のまま残る、請求項1ないし6のうちの何れか一項に記載の画像処理システム。
  8. 前記入力画像は、特に人間又は動物の肺の3D画像ボリュームである、請求項1ないし7のうちの何れか一項に記載の画像処理システム。
  9. n[≧2]次元の入力画像を、前記入力画像内で規定されるアンカー・ポイントのセットとともに受信するステップであって、前記アンカー・ポイントのセットは入力コンステレーションを形成する、ステップ；
    少なくとも1つの前記アンカー・ポイントの少なくとも1つの座標を変化させ、前記入力コンステレーションの前記少なくとも1つのアンカー・ポイントの前記座標の少なくとも1つを、前記アンカー・ポイントを通る超平面に投影することにより、前記入力コンステレーションを修正されたコンステレーションに修正するステップであって、前記変化は、少なくとも1つの前記アンカー・ポイントの少なくとも1つの座標を変化させ、前記入力コンステレーションの前記少なくとも1つのアンカー・ポイントの前記座標の少なくとも1つを、前記アンカー・ポイントを通る超平面に投影することにより、前記超平面内に拘束され、前記超平面は前記入力コンステレーション中の前記アンカー・ポイントに事前に適合させられており、前記変化は前記超平面内に拘束される、ステップ；
    スコアを生成するために前記修正されたコンステレーションを評価するステップ；
    前記スコアを品質の基準と比較するステップであって、前記基準は、前記入力画像に対するセグメンテーションを規定するために、前記修正されたコンステレーションの適性を評価する、ステップ；及び
    前記スコアが前記基準を満たす場合に、前記修正されたコンステレーションを出力するステップ；
    を有する画像処理方法。
  10. 前記修正された入力コンステレーションに、[n-1]次元の超表面を適合させるステップを有し、前記評価するステップにおける前記スコアは前記超表面に基づいている、請求項9に記載の画像処理方法。
  11. 前記超表面は前記セグメンテーションとして出力される、請求項10に記載の画像処理方法。
  12. 1つ以上の処理ユニットにより実行される場合に、請求項9ないし11のうち何れか一項に記載の方法のステップを実行するように構成されるコンピュータ・プログラム・エレメント。
  13. 請求項12に記載の前記コンピュータ・プログラム・エレメントを保存するコンピュータ読み取り可能な媒体。
JP2019505018A 2016-08-02 2017-07-26 画像処理システム及び画像処理方法 Active JP6634186B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16182422.2 2016-08-02
EP16182422 2016-08-02
PCT/EP2017/068826 WO2018024555A1 (en) 2016-08-02 2017-07-26 Robust pulmonary lobe segmentation

Publications (2)

Publication Number Publication Date
JP2019522299A true JP2019522299A (ja) 2019-08-08
JP6634186B2 JP6634186B2 (ja) 2020-01-22

Family

ID=56683734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019505018A Active JP6634186B2 (ja) 2016-08-02 2017-07-26 画像処理システム及び画像処理方法

Country Status (5)

Country Link
US (1) US11295451B2 (ja)
EP (1) EP3494544B1 (ja)
JP (1) JP6634186B2 (ja)
CN (1) CN109564685B (ja)
WO (1) WO2018024555A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020101860A (ja) * 2018-12-19 2020-07-02 キヤノンメディカルシステムズ株式会社 医用画像処理装置、システム及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008501486A (ja) * 2004-06-08 2008-01-24 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド 規則抽出に基づいてディジタル画像における特徴を識別するためのシステムおよび方法
JP2009100230A (ja) * 2007-10-16 2009-05-07 Canon Inc 画像処理装置およびその方法
US20150254843A1 (en) * 2012-09-13 2015-09-10 The Regents Of The University Of California Lung, lobe, and fissure imaging systems and methods
JP2016059457A (ja) * 2014-09-16 2016-04-25 富山 憲幸 診断補助装置及び診断補助プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6634800A (en) * 1999-08-11 2001-03-05 Case Western Reserve University Method and apparatus for producing an implant
NO316480B1 (no) * 2001-11-15 2004-01-26 Forinnova As Fremgangsmåte og system for tekstuell granskning og oppdagelse
CN101048795A (zh) * 2004-10-26 2007-10-03 皇家飞利浦电子股份有限公司 模糊图像部分的增强
US20070047790A1 (en) * 2005-08-30 2007-03-01 Agfa-Gevaert N.V. Method of Segmenting Anatomic Entities in Digital Medical Images
US7689021B2 (en) * 2005-08-30 2010-03-30 University Of Maryland, Baltimore Segmentation of regions in measurements of a body based on a deformable model
JP2008142481A (ja) 2006-12-13 2008-06-26 Med Solution Kk 肺を肺区域の単位に自動的にセグメンテーションする装置およびプログラム
US8718320B1 (en) * 2007-02-05 2014-05-06 Vy Corporation Codification of a time series of images
EP2006803A1 (en) * 2007-06-19 2008-12-24 Agfa HealthCare NV Method of segmenting anatomic entities in 3D digital medical images
US8369593B2 (en) * 2007-12-21 2013-02-05 Siemens Medical Solutions Usa, Inc. Systems and methods for robust learning based annotation of medical radiographs
CN101477688B (zh) * 2009-01-08 2011-01-05 清华大学 一种提取对象边缘的方法和装置
US8896592B2 (en) * 2009-08-21 2014-11-25 Align Technology, Inc. Digital dental modeling
CN102254097A (zh) 2011-07-08 2011-11-23 普建涛 肺部ct图像上的肺裂识别方法
US9361352B2 (en) * 2011-08-26 2016-06-07 Lawrence Livermore National Security, Llc Point pattern match-based change detection in a constellation of previously detected objects
CN104683814B (zh) * 2015-03-20 2018-10-16 北京大学 面向视觉感官质量的图像传输方法和装置
CN107567638B (zh) * 2015-04-23 2021-10-15 皇家飞利浦有限公司 对解剖结构的基于模型的分割

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008501486A (ja) * 2004-06-08 2008-01-24 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド 規則抽出に基づいてディジタル画像における特徴を識別するためのシステムおよび方法
JP2009100230A (ja) * 2007-10-16 2009-05-07 Canon Inc 画像処理装置およびその方法
US20150254843A1 (en) * 2012-09-13 2015-09-10 The Regents Of The University Of California Lung, lobe, and fissure imaging systems and methods
JP2016059457A (ja) * 2014-09-16 2016-04-25 富山 憲幸 診断補助装置及び診断補助プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
北坂 孝幸 TAKAYUKI KITASAKA: "気管支木構造解析に基づく肺区域分けの一手法 A method for dividing the lung into bronchopulmonary seg", 電子情報通信学会技術研究報告 ＶＯＬ．１０７ ＮＯ．２２０ IEICE TECHNICAL REPORT, vol. 第107巻、第220号, JPN6019027920, 13 September 2007 (2007-09-13), JP, pages 29 - 32, ISSN: 0004079039 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020101860A (ja) * 2018-12-19 2020-07-02 キヤノンメディカルシステムズ株式会社 医用画像処理装置、システム及びプログラム
JP7163168B2 (ja) 2018-12-19 2022-10-31 キヤノンメディカルシステムズ株式会社 医用画像処理装置、システム及びプログラム

Also Published As

Publication number Publication date
JP6634186B2 (ja) 2020-01-22
EP3494544B1 (en) 2020-05-27
US20210295524A1 (en) 2021-09-23
EP3494544A1 (en) 2019-06-12
WO2018024555A1 (en) 2018-02-08
CN109564685A (zh) 2019-04-02
CN109564685B (zh) 2023-04-28
US11295451B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
Shen et al. An automated lung segmentation approach using bidirectional chain codes to improve nodule detection accuracy
US9230320B2 (en) Computer aided diagnostic system incorporating shape analysis for diagnosing malignant lung nodules
Caballo et al. An unsupervised automatic segmentation algorithm for breast tissue classification of dedicated breast computed tomography images
JP2015528372A (ja) 医用画像中の肺結節を自動検出するためのシステム及び方法
JP7346553B2 (ja) 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定
Pu et al. An automated CT based lung nodule detection scheme using geometric analysis of signed distance field
CN107633514B (zh) 一种肺结节周边血管量化评估系统及方法
US9317926B2 (en) Automatic spinal canal segmentation using cascaded random walks
Maitra et al. Accurate breast contour detection algorithms in digital mammogram
WO2014192187A1 (ja) 乳房画像病変検出システム、乳房画像病変検出方法、乳房画像病変検出プログラムおよび乳房画像病変検出プログラムを記録したコンピュータ読み取り可能な記録媒体
Jas et al. A heuristic approach to automated nipple detection in digital mammograms
Zhao et al. An automated pulmonary parenchyma segmentation method based on an improved region growing algorithmin PET-CT imaging
JP7278224B2 (ja) 医用画像の病変の定量化される態様
Iqbal et al. Potential lung nodules identification for characterization by variable multistep threshold and shape indices from CT images
Farag et al. Appearance models for robust segmentation of pulmonary nodules in 3D LDCT chest images
Zhou et al. Computerized image analysis: texture‐field orientation method for pectoral muscle identification on MLO‐view mammograms
US20220301177A1 (en) Updating boundary segmentations
JP6634186B2 (ja) 画像処理システム及び画像処理方法
CN112529900A (zh) 匹配乳腺图像中roi的方法、装置、终端与存储介质
Duan et al. Segmentation of pulmonary vascular tree by incorporating vessel enhancement filter and variational region-growing
US20200013171A1 (en) Method for quantification of uncertainty of contours in manual & auto segmenting algorithms
Dhalia Sweetlin et al. Patient-Specific Model Based Segmentation of Lung Computed Tomographic Images.
Zhang et al. Automatic detection and segmentation of lung nodules in different locations from CT images based on adaptive α‐hull algorithm and DenseNet convolutional network
Steger et al. Lymph node segmentation in CT slices using dynamic programming
JP5132559B2 (ja) デジタル画像のセグメント化方法およびコンピュータ読み取り可能なプログラム記憶装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190130

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190130

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191213

R150 Certificate of patent or registration of utility model

Ref document number: 6634186

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250