JP2016523154A - 画像ノイズ情報を利用する方法 - Google Patents
画像ノイズ情報を利用する方法 Download PDFInfo
- Publication number
- JP2016523154A JP2016523154A JP2016522508A JP2016522508A JP2016523154A JP 2016523154 A JP2016523154 A JP 2016523154A JP 2016522508 A JP2016522508 A JP 2016522508A JP 2016522508 A JP2016522508 A JP 2016522508A JP 2016523154 A JP2016523154 A JP 2016523154A
- Authority
- JP
- Japan
- Prior art keywords
- image
- noise
- edge
- low
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims description 86
- 230000006870 function Effects 0.000 claims description 45
- 238000009826 distribution Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 20
- 230000006978 adaptation Effects 0.000 claims description 17
- 238000005457 optimization Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 230000001419 dependent effect Effects 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 7
- 230000009977 dual effect Effects 0.000 claims description 4
- 230000001351 cycling effect Effects 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 claims description 2
- 238000012804 iterative process Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 abstract description 4
- 238000002591 computed tomography Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 210000000056 organ Anatomy 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000004154 testing of material Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 206010060965 Arterial stenosis Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 210000000579 abdominal fat Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000005228 liver tissue Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20116—Active contour; Active surface; Snakes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20124—Active shape model [ASM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Abstract
画像処理方法および関係する装置(SEG、UV)。装置(SEG、UV)は、画像(IM)におけるノイズ信号情報を利用するよう動作する。ある側面によれば、装置(SEG)はノイズ情報(FX)を使って、モデル・ベースのセグメンテーションを制御する。さらなる側面によれば、装置(UV)は、ノイズ情報(FX)に基づいて、当該またはある画像(IM)のエッジ部分にある画像情報の不確定性を視覚化するよう動作する。
Description
本発明は、画像処理方法、画像処理装置、コンピュータ・プログラム要素およびコンピュータ可読媒体に関する。
医療分野のようなある種の活動分野、また地質学もしくは非破壊材料試験のような他の分野では、画像データに頼っている。たとえば、CT(コンピュータ断層撮影)のような医療撮像では、(イメージャ装置の検出器によって測定される)X線投影データが、再構成アルゴリズムによって、ある体積の「画像スライス」に再構成される。そのようなスライス画像は、表示されるときに、患者の内部の解剖学的構造をグレースケール視覚化において示すために使用できる。この場合、画像情報は、X線が患者の身体の通過において経験した(一般には)異なる減衰値の形である。残念ながら、前記画像情報には、蔓延するノイズ信号によって引き起こされる不確定性があるのがしばしばである。こうしたノイズ信号は検出器における測定プロセスから生じることがあり、あるいは再構成アルゴリズム自身から生じることがある。以前には、ノイズの蔓延は主として、なくす必要のある害だと考えられていたか、あるいは全く無視されていた。
したがって、画像ノイズに関して異なるアプローチに基づく方法および関係した装置の必要があるかもしれない。
本発明の目的は、独立請求項の主題によって解決される。さらなる実施形態は従属請求項に組み込まれる。本発明の以下の記載される側面は画像処理装置、コンピュータ・プログラム要素およびコンピュータ可読媒体に等しく当てはまることを注意しておくべきである。
本発明の第一の側面によれば、画像処理のための方法であって:
画像および前記画像における異なる位置を横断したノイズ信号レベルの空間的に変動する分布の指定を受領する段階と;
モデルについて前記画像をセグメンテーションする段階であって、該セグメンテーション段階は、複数の異なる適応をされたモデルを得るよう前記モデルを異なる画像位置に逐次反復的に適応させることを含み、前記モデルの適応は、前記異なる画像位置におけるノイズ信号レベルによって制御される、段階と;
前記異なる適応をされたモデルのうちの一つを出力する段階であって、出力モデルは前記画像のセグメンテーションの輪郭を描く、段階とを含む、
方法が提供される。
画像および前記画像における異なる位置を横断したノイズ信号レベルの空間的に変動する分布の指定を受領する段階と;
モデルについて前記画像をセグメンテーションする段階であって、該セグメンテーション段階は、複数の異なる適応をされたモデルを得るよう前記モデルを異なる画像位置に逐次反復的に適応させることを含み、前記モデルの適応は、前記異なる画像位置におけるノイズ信号レベルによって制御される、段階と;
前記異なる適応をされたモデルのうちの一つを出力する段階であって、出力モデルは前記画像のセグメンテーションの輪郭を描く、段階とを含む、
方法が提供される。
提案される方法の主要な応用分野は、モデル・ベースのセグメンテーションである。しかしながらこれまでのセグメンテーション方法とは異なり、本稿では、セグメンテーションのための入力としてあらかじめ定義されたモデルを使うだけではなく、セグメンテーションされるべき画像にわたるノイズ分布レベルの指定をも使うことが提案される。該指定は、局所的分散または確率分布のようないかなる好適な形を取ることもできる。本方法は、いかなる画像にも適用可能であるが、本方法はノイズ分布が当該画像にわたって比較的顕著な空間的変動をもつ画像で特に有益であることが観察されている。たとえば、ある種の逐次反復的画像再構成方法を用いて生成される画像では、ノイズ・レベルはエッジ部分のまわりに(すなわち、平坦部としても知られる高コントラストおよび低コントラストの画像部分の間の界面に)集中しているように見えることが観察された。そのような挙動は、たとえば、検出器挙動をモデル化するためにポワソン分布を使い、画像値の分布についてマルコフ・ランダム場のような先験的モデルを使う最尤再構成法(MLIR: maximum likelihood reconstruction method)について観察されている。この方法は、本質的には、ノイズが画像構造のまわりに集中する傾向があるという知識を、モデルの画像情報への適応を案内または制御するために役立てるものである。セグメンテーションはエッジに沿っているが、高度なノイズ・エッジ自身は避ける傾向がある。提案される方法は、画像中の異なる位置に繰り返しモデルを適応させるという点で、逐次反復的な性質である。ノイズ分布の指定自身は、任意の形を取ることができる。たとえば、局所的な(すなわち、各画像点または少なくとも画像部分に付随する)確率分布のパラメータ化された族またはノイズ・マップである。
画像中のノイズ(レベル)分布についての知識を実用に供することは、多くの形を取りうる。たとえば、ある実施形態によれば、逐次反復的なモデル適応の制御は、モデル点を前記異なる画像位置のほうに偏向させることを含む。ここで、それぞれの偏向アクションの強さは、異なる位置における局所的なノイズ信号レベルと逆に変化する(ただし、必ずしも数学的な意味での反比例ではない)。モデル自身は、頂点位置が独立して変化させられることのできるメッシュとして与えられてもよい。すると、もとの理想的な形(偏向されない(乱されない)状態でのモデルによって具現される)からのモデル(メッシュ)点のうちの一つまたは複数の点の位置の変化、すなわち偏向は、この実施形態において、モデルの適応の例をなす。偏向アクションの強さは、本質的には、所与のモデル点が所与の画像点に到達するために変位される必要のある距離(ピクセルもしくはボクセルまたは画像を形成する「ブロブ(blob)」のような他の好適な画像要素の単位で指定可能)によって測定される。換言すれば、本願で構想されているところでは、所与のモデル点について偏向または変位の量は、モデル点が変位されるべき先の画像点におけるノイズの量によっても制御される。
たとえば、ある実施形態によれば、偏向強さの変動は、セグメンテーション段階のための最適化プロセスを駆動する目的関数の項にノイズ・レベル依存の重みを適用することによって達成される。前記項は、前記異なる位置へのモデル点の誘引レベルを測るよう構想される。ある実施形態では、偏向強さは、本質的には、モデル点が偏向されるべき先の画像点におけるノイズの量と逆に変化する(必ずしも数学的な意味での反比例ではない)。さらに換言するならば、画像点におけるノイズ・レベルが高いほど、最適化プロセスにおいてそれぞれのモデル点に適用される必要のある偏向に関連付けられるコストが高くなる。ノイズ依存の重みの空間的な(すなわち当該画像を横断する)分散は、他の画像位置よりも高いノイズ信号レベルをもつ画像位置へのモデル適応にペナルティーを与える作用をする。
重みは、ある実施形態では、なめらか〔平滑〕でない適応またはモデルの想定される人工的な「弾性」によって課されるあらかじめ定義された制約を破る適応にペナルティーを与えるよう作用するさらなる重みと組み合わされることもできる。非平滑性尺度はたとえば、想定されるモデル表面に沿った、変位ベクトルの変化の絶対値の面積分であることができる。
いくつかの実施形態では、ノイズ・レベルの制御関数は、1より大きな重み(本質的には数)が、それぞれの変位についてより小さなコストを被る1より小さな重みより、それぞれの変位についてより高いコストを被るという点で乗法的である。しかしながら、これは単に一つの実施形態であり、加法的に作用する制御関数も本願で構想されている。
たとえば、ある実施形態によれば、セグメンテーション段階は、該セグメンテーション段階のための最適化プロセスを駆動する(コストを表わす)目的(またはコスト)関数を計算することを含む。最適化プロセスは、異なる位置を通じて逐次反復することを含む。目的関数は、それぞれが異なる目的を表わす複数の項を含む。その際、この実施形態における項の一つは、異なる画像位置のそれぞれにおけるノイズ信号レベルを表わす。前記ノイズ項は、より高いノイズ信号レベルをもつ位置においてペナルティーを与える作用をする。特に、前記「ノイズ項」は、より高いノイズ信号レベルをもつ位置においてなめらかでないモデル適応にペナルティーを与える作用をする。
提案されるモデル・ベースのセグメンテーション方法は、二重エネルギー撮像において使用に供されてもよい。この実施形態では、二重エネルギー画像は、各エネルギー・チャネルについて一つで、二つの画像を含み、ノイズ・レベル指定は各エネルギー・チャネルについて別個のノイズ・レベル指定を含む。本方法の段階は、二つのエネルギー・チャネル画像のそれぞれについて別個に適用される。
まとめると、ノイズ信号は、避けられるまたは無視されるのがいちばんである害であると広く考えられているが、出願人は、ノイズの存在が実際には、モデル・ベースのセグメンテーションにおける最適化プロセスの経過を案内または制御するために、恩恵をもって使用されることができることを発見した。この目的のために、初期モデルの、画像位置または特徴への適応と関連付けられたコスト(時に「外部エネルギー」と呼ばれる)について、空間的に変化するノイズ依存の重みが本稿において提案される。前記恩恵は、特に、ノイズ信号がエッジのような関心対象となる画像特徴のまわりに集中する傾向がある画像の型(たとえばMLIR再構成)で影響してくる。
第二の側面によれば、画像処理のさらなる方法であって:
i)初期画像であって、画像情報の少なくとも一部が、高低の平坦部の間にエッジ領域を画定する少なくとも高低二つの異なる平坦部をエンコードする、初期画像および、ii)前記画像にわたるノイズの空間的に変化する分布の指定を受領する段階と;
エッジ領域点値を担持するエッジ領域点について、前記点に適用可能なノイズ指定に基づいて、信頼閾値に関して前記点における不確定性を評価する段階と;
前記局所的なノイズ評価に依存して、前記エッジ領域点の値を前記高いほうの平坦部のほうにシフトさせて高画像を得ることによって、または前記エッジ領域点値を前記低いほうの平坦部のほうにシフトさせて低画像を得ることによって、前記初期画像から高(HI)画像または低(LW)画像を生成する段階と;
前記エッジの進路(すなわち、前記エッジがどこを「走る」かまたは前記エッジの広がりまたは形状)についての、少なくとも部分的には前記ノイズによって引き起こされる前記不確定性についての情報を与えるよう、前記画像の代わりにまたは前記画像と並んで前記高画像または低画像を表示する段階とを含む、
方法が提供される。
i)初期画像であって、画像情報の少なくとも一部が、高低の平坦部の間にエッジ領域を画定する少なくとも高低二つの異なる平坦部をエンコードする、初期画像および、ii)前記画像にわたるノイズの空間的に変化する分布の指定を受領する段階と;
エッジ領域点値を担持するエッジ領域点について、前記点に適用可能なノイズ指定に基づいて、信頼閾値に関して前記点における不確定性を評価する段階と;
前記局所的なノイズ評価に依存して、前記エッジ領域点の値を前記高いほうの平坦部のほうにシフトさせて高画像を得ることによって、または前記エッジ領域点値を前記低いほうの平坦部のほうにシフトさせて低画像を得ることによって、前記初期画像から高(HI)画像または低(LW)画像を生成する段階と;
前記エッジの進路(すなわち、前記エッジがどこを「走る」かまたは前記エッジの広がりまたは形状)についての、少なくとも部分的には前記ノイズによって引き起こされる前記不確定性についての情報を与えるよう、前記画像の代わりにまたは前記画像と並んで前記高画像または低画像を表示する段階とを含む、
方法が提供される。
エッジ/エッジ領域は本質的には、前記二つの平坦部の界面にまたは界面のまわりに位置する画像点/要素(ピクセル、ボクセルなど)である(ただしそれだけではない)。ある実施形態では、エッジ点は、エッジ検出器(ソーベル、キャニーなど)によって画像を処理させることによって定義されることができる。次いで、エッジ点は、エッジ検出器に十分に強い応答を返させる点である。これは画像、エッジ検出器およびその設定に依存する。画像平坦部は、検出されたエッジによって囲まれる画像部分である。これは、平坦部内の画像点の値が、エッジに比べて、一般に比較的小さな分散を示すことを意味しうる。
一般にはユーザー定義される信頼レベルは、画像中のエッジ点の信頼性を測り、よってそれとともに変化する数である。信頼レベルは、所与のエッジ点が高い平坦部の点または低い平坦部の点である可能性を定量化することをねらいとする。信頼レベルは、確率であってもよく、あるいは任意の正の数であってもよい。ある実施形態では、信頼レベルは、前記エッジ点における局所的な分散の倍数(またはスケーリング)である。正確に不確定性評価がどのようになされるかは、一般に、ノイズ・レベル指定の形および信頼レベルの定義に依存する。また、信頼レベルの定義(信頼が正確には何を示すか)は、一般には、局所的なノイズ・レベルがどのように(すなわち、どの形で)指定されるかの関数である。たとえば、ある実施形態では、前記第一の側面の関係において先に述べたのと同様に、ノイズ・レベルは「ノイズ・マップ」によって、すなわち点の値の局所的な分散によって指定される。その際、評価は、それぞれのエッジ点に対して、近隣の高い平坦部の点および低い平坦部の点を比較することによる。もう一つの実施形態では、ノイズ・レベルは、点の値の局所的な確率分布の族によって指定される。この実施形態では、評価は、エッジ点がそれぞれ所与の高い平坦部の点または低い平坦部の点より高いおよび/または低い確率(信頼レベルとして設定される)を計算することによる。
不確定性の評価は、信頼レベルをノイズ・レベル指定と組み合わせて、エッジ点値を変えるか否かおよびもし肯定なら前記値を高い平坦部の点(すなわち、前記高い平坦部からの点)または低い平坦部の点(すなわち、前記低い平坦部からの点)に上方および/または下方シフトさせるか否かについての基準に到達することによる。不確定性情報の局所的な変化がインクルーシブであれば、エッジ点のもとの値が保持される。不確定性情報がエッジ点が高い平坦部の点および低い平坦部の点の両方でありうることを示すためにエッジ点値を上方および下方シフトさせる必要がある場合には、高画像および低画像の両方が生成される。いくつかの実施形態では、下方または上方シフトさせることは、エッジ点の値が近隣の低いまたは高い平坦部の点の値を取るよう、あるいはそれぞれの平坦部の平均値を取るよう変更されることを意味する。しかしながら、他の実施形態では、エッジ点値は、現在のエッジ点値と前記高いまたは低い点との間の差の一部だけ変えられる。当該エッジ点に隣接する二つ以上の平坦部がある場合には、不確定性はそれぞれについて評価され、次いで、エッジ点はそれぞれ最低または最高の平坦部点に変えられる。
ある実施形態では、本方法は、高画像およびまたは低画像に逐次反復的に適用される。換言すれば、低画像では、(前に)変えられたエッジ点の近隣の点が、完全に類似の仕方で評価される。次いで、低画像において下方シフトが適用され、一方、高画像における対応する点には上方シフトが適用される。高画像における(前に)変更されたエッジ点の近隣の点は同様に評価される。このようにして、逐次反復の経過の間に、高画像のシーケンスおよび低画像のシーケンスという二つのシーケンスが生成される。逐次反復は、エッジ領域から離れてそれぞれの平坦部に移っていくとき、徐々に収束する。
ある実施形態では、表示する動作は、前記画像の代わりにまたは前記画像と並んで高画像および/または低画像を含む対話的なグラフィカル・ユーザー・インターフェース(GUI)をディスプレイ・ユニット上での表示のためにレンダリングするようディスプレイ・ユニットを制御するよう、グラフィカル・ユーザー・インターフェース生成器を動作させることを含む。
ある実施形態によれば、本方法は、高画像と低画像を交互に表示するよう高画像と低画像の間でトグルすることを含む。好ましくは、トグルは、反復的に実行される。ピクセル値の下方/上方シフトによって引き起こされる、領域点の、そして等価だが平坦部の見かけの動きまたは変化を人間のユーザーに対して、よりよく視覚化するためである。変化の量または動きの程度は、エッジ(領域)にあるおよびエッジ(領域)のまわりにある不確定性を測るためのユーザーにとっての便利かつ直観的な手がかりのはたらきをする。より大きな変化またはより大きな動きがより高い不確定性を示す。トグルは、ある実施形態では、GUIとの対話を介して発されるユーザー要求に応答する。高画像および低画像のいずれか一方と前記(初期)画像との間のトグルも本願で構想されている。ある実施形態では、トグル・モードは、GUIを介した好適な対話によって調整可能である。
ある実施形態によれば、本方法は、ユーザー定義の順序で高画像、低画像および前記画像を通じて巡回することを含む。ここでもまた、巡回動作は、好ましくは(決して限定するものではないが)GUIを介して供給されるユーザー入力に応答してである。巡回シーケンスは調整可能である。
ある実施形態によれば、本方法は、i)高画像と前記画像および/またはii)低画像と前記画像のいずれかから形成される差分画像を表示することを含む。このことは、エッジ部分および/または二つの平坦部の形状および/またはサイズにおける変化を簡単に視覚的に把握することを許容する。
ある実施形態によれば、本方法は、高画像および低画像のいずれか一方または両方と並んでエッジについての平均進路を表示することを含む。該平均進路は、エッジを形成するエッジ点における確率分布の平均から計算される。
上記からわかるであろうように、いずれの方法も本質的には画像処理のために、特に、セグメンテーションまたはエッジ不確定性視覚化のために、画像中のノイズ信号を利用する。これら二つの方法は、ノイズ信号によって案内/制御されるセグメンテーションによって生成されるエッジ不確実性を視覚化するよう組み合わせにおいて使われることができるが、これら二つの方法のいずれかが他方から完全に離別してそれ自身で使われることもできる。
本発明の例示的実施形態についてここで以下の図面を参照しつつ述べる。
第一の側面に基づく画像処理装置を示す図である。
第一の側面に基づく画像処理方法のフローチャートを示す図である。
MLIR再構成された画像におけるノイズ分布を示す図である。
異なる方法に従って再構成された画像においてノイズ分布がどのように変わるかを示す図である。
第二の側面に基づく画像処理装置を示す図である。
図5の装置によって生成される画像およびグラフィカル・ユーザー・インターフェースの概略的なレンダリングを概略的に示す図である。
図5の装置の入力データおよび出力データを示す図である。
第二の側面に基づく画像処理方法のフローチャートを示す図である。
図1を参照するに、第一の側面に基づく、画像IM中のノイズ情報FXを利用するための装置SEGを備える構成100が示されている。その基本的コンポーネントでは、前記装置は、画像IMを保持するデータベースと、入力ポートINおよび出力ポートOUTをもつセグメンテーション器SEGとを有する。
大まかには、セグメンテーション器SEGは、その入力ポートINにおいてデータベースDBからの画像IMを読み込み、下記でより詳細に述べる仕方で前記画像を画像処理し、出力ポートOUTにおいてセグメンテーションされた画像を生成する。該セグメンテーションされた画像は、モニタM上で閲覧のためにレンダリングされるか、あるいはさもなくばさらに画像処理されることができる。画像セグメンテーションは広く、画像中のピクセルまたはボクセルをチャンクに分割する仕事である。チャンクは通例、関心対象のオブジェクト、たとえば医療コンテキストでは血管または他の器官の画像フットプリントの形状を表わし、その輪郭を描く。
本稿で提案されるセグメンテーション器SEGは、画像特徴探索と器官の形状について先験的知識との両方を使うことによって、堅牢なセグメンテーション結果を達成するためにモデル・ベースのセグメンテーション・アルゴリズムを実行する。これは、セグメンテーション器が、セグメンテーションされるべき画像部分の近似形状についての前の知識を役立てることを意味する。形状についてのこの事前の知識は、アルゴリズム中にモデルMODを含めることによって表わされる。より具体的には、モデルはある実施形態では、相互接続された三角形のようなメッシュ要素から構成される2Dまたは3Dメッシュを表わしていてもよい。大まかには、本アルゴリズムは、初期モデル・メッシュMODをセグメンテーションされるべき画像IMG中の画像特徴に逐次反復的に適合させるよう動作する。この適合は、逐次反復的プロセスであり、この実施形態では、目的関数、特にエネルギー関数Eによって制約される最適化プロセスとして定式化されることができる。任意的に、視覚化器UVもあり、その目的は下記で図5〜図8においてより詳細に説明する。
モデル・ベースのセグメンテーション器SEGによって実装されるセグメンテーション方法についてこれから図2のフローチャートを参照してより詳細に述べる。
大まかには、本稿に提案されるモデル・ベースのセグメンテーション方法は、モデルMODのみならず、セグメンテーションされるべき画像IM中の空間的に可変なノイズ信号情報の明示的な指定(図1では記号的にFXとして示されている)をも役立てる。
ステップS205では、i)画像IMが受領され、ii)画像中の異なる位置にわたるノイズ信号レベルの空間分布の指定FXもである。換言すれば、提案される方法によれば、画像IM自身がセグメンテーション・アルゴリズムに入力されるだけでなく、ノイズの空間分布の推定も入力され、ステップS210としてのセグメンテーションの間にこの追加的な(ノイズ・レベル)情報を使うことが提案される。
ノイズ指定は、局所的分散σiの集合を介して、あるいはセグメンテーションされるべき画像中の各画像ピクセルについて確率密度または分布のパラメータ化された族を指定することによる。しかしながら、画像IMのピクセルにわたるノイズの空間的変動性を捕捉するのに好適である限り、ノイズ情報指定の他の形も構想される。
画像IMは、データベースDBから取り出されることができる。ある実施形態によれば、画像は、X線、CTまたはMRIのような撮像モダリティーによるオブジェクト(患者または関心対象の他のオブジェクト)の取得された投影画像からの再構成である。ある実施形態では、画像は、再構成器RECONによって生成されたMLIR再構成である。これについては図3、図4を参照して下記でより詳細に説明する。
ある実施形態によれば、画像を横断したノイズ分布は非一様である。すなわち、蔓延するノイズの量は画像を通じて変化するとされる。換言すれば、ノイズ・レベルの有意な差をもつ少なくとも二つの画像部分がある。
ステップS210では、前記モデル・ベースのセグメンテーションがモデルMODに適用される。このセグメンテーション・ステップは、モデルMODを異なる画像位置に逐次反復的に適応させて、複数の異なる適応をされたモデルを得ることを含む。このモデル適応は、異なる画像位置における異なるノイズ信号レベルによって制御される。
ステップS215では、今やセグメンテーションされた画像は、画像IM中のセグメンテーションを定義する、適応されたモデルの一つと一緒に出力される。適応されたモデルの境界(これは2D面であってもよく、あるいはより単純な場合には2D曲線であってもよい)のアウトラインを描く画像IM中の画像ピクセルは、セグメンテーション境界を定義する。適応されたモデルの境界は、医療コンテキストでは、肝臓などのような関心対象の器官の輪郭を定義してもよい。
図2によるようなステップS210におけるセグメンテーションについてこれからより詳細に説明する。ある実施形態では、S210におけるモデル・ベースのセグメンテーション・ステップは数学的には最適化問題として表わせる。ここで、エネルギー・コスト関数(すなわち、目的関数)
E(v)=Eext(v)+αEint(v) (1)
が最小化されるものである(これは一般性を失うものではない。どんな最大化も最小化として表現できる)。
E(v)=Eext(v)+αEint(v) (1)
が最小化されるものである(これは一般性を失うものではない。どんな最大化も最小化として表現できる)。
添え字extおよびintはそれぞれ外部および内部エネルギーを指す。パラメータ・ベクトルvは、理想的な初期モデルMODのメッシュの頂点位置の集合を表わす。外部エネルギーは、メッシュ頂点を、理想的な形状MODから頂点の偏向によって画像特徴のほうに「引きつける」。一方、αによって重み付けされる内部エネルギーは、MODによって指定される形状を保存する。因子αは、二つのエネルギー項を匹敵させるために適用される。初期に、モデルは、画像IMに対して剛体的に(並進および/または回転を介して)位置合わせされる。次いで、非剛体的な適応が下記のようにして適用される。
ある実施形態では、外部エネルギーは、画像IM内の勾配に依存する画像特徴関数によって定式化される。三角形の重心
メッシュ頂点の画像特徴への引きつけまたは偏向は、さまざまな特徴関数、たとえばそれぞれのメッシュ三角形の場所における(たとえば1〜2mmの半径をもつ近傍内の)期待されるピクセル・パターンをエンコードしたグレー値テンプレートを評価することによって達成されることができる。ある実施形態では、特徴関数は局所的な近傍における画像勾配を評価する。
エネルギー目的関数をより詳細に考えると、検出された目的地点xi dstを用いて、外部エネルギー項は、ある実施形態では二次の形で与えられる。
Eext(v)における和の中のそれぞれは、セグメンテーションしたい器官またはオブジェクトの表面が画像位置Mivに位置している「エビデンス」を表わす。これは、モデル点をそれぞれの点Mivに偏向させるために費やされる必要のある偏向の量または「コスト」の指標である。そこで、本願では、目的地点xi dstにおける供給されるノイズ指定レベルをセグメンテーション・プロセスに組み込むことが提案される。ある実施形態では、ノイズ・レベルは、各画像点における局所的な分散によって測られる局所的なノイズ・レベルσiの集合の形で指定される。それぞれの局所的な画像ノイズ情報のセグメンテーション・ステップS210への組み込みは、ある実施形態では、式(5)の外部エネルギー項を次のように修正することによる。
ノイズ・レベルに依存する重みが、それぞれのモデル点の、画像空間中の異なる候補位置への引きつけのレベルを表わすまたは測る項または目的関数の部分に適用される限り、上記の他の定式化も構想される。
たとえば、式(6)によるある実施形態では、ノイズがより少ない画像位置に、より高い重みが与えられ、きわめてノイズの多い画像点または領域により少ない重みが与えられる。換言すれば、式(6)は、最適化プロセスが低いノイズ・レベルをもつ画像点より高いノイズの画像点を信頼するようにされている。さらに換言すれば、低いノイズ・レベルをもつ候補目的地点における画像特徴については、初期モデルにおいて具現されている理想的な形状をより進んで放棄する傾向がある。逆に、そのほうへの偏向が考えられている画像点におけるノイズ・レベルが高い場合には、最適化プロセスは、モデル頂点をその点のほうに偏向させず、むしろモデルMODによって定義される理想的な形状を維持するようバイアスをかけられる。
外部エネルギーのためにノイズ依存の、空間的に適応された(すなわち、画像平面にわたって変化する)重み付けパラメータwiを使うことは、重み付けパラメータαが経験的にグローバル定数として選択され、外部エネルギーは画像(「フェース」)値にのみ依存し、局所的なノイズ情報には考慮が払われなかった以前に提案されたものとは非常に異なっている。
提案される方法は、高い空間的変動性をもつノイズ分布をもつ画像とともに最もよく機能する。そうした場合にのみ、ノイズ情報FXの選択的な制御関数が式(6)において影響力をもつ。
提案される方法が恩恵をもって適用されることのできる好適な画像は、最尤逐次反復再構成(MLIR: maximum likelihood iterative reconstruction)のような逐次反復的な再構成方法によって再構成された画像であることが見出されている。そうした画像におけるノイズ・レベル分布は画像内で非常に強く変化することが見出された。フィルタ補正逆投影画像に比べたMLIR画像の普通でないノイズ分布は、図3および図4による画像例によって裏付けられる。MLIR画像では、均質な画像領域は事実上ノイズなしである一方、画像ノイズは、強いグレースケール勾配のところだけに(または大半がそこに)存在する。換言すれば、この属性が、ノイズ・レベルを手がかりとして使ってエッジ領域を見出すために、およびエッジに沿って、ただしきわめてノイズの多いエッジ自身における点へのモデル適応は避ける傾向をもって最適化を進めるために、提案される方法によって役立てられることができる。
図3は、左から右へ、ファントム、通常のフィルタ補正逆投影(FBP)を使ったサンプル再構成およびMLIRを使ったサンプル再構成を示している。図3は、MLIRが均一な背景領域におけるノイズを2分の1に減らす一方、高コントラスト・オブジェクトは相変わらず鮮鋭に再構成されることを実証している。
図4は、FBP再構成された画像(左)およびMLIR再構成された画像(右)におけるノイズ・レベルを示している。
FBPおよびMLIR再構成について図4に示されるノイズ・レベルは、数千のノイズ・サンプルのアンサンブルを評価することによって生成されたものである。図4は、MLIR画像におけるノイズ・レベルが画像自身に強く依存し、均一な領域および低コントラスト・エッジではFBPよりずっと低いノイズ・レベルをもつが、高コントラスト・エッジではFBPよりさらに高いノイズをもつことを示している。FBP画像におけるノイズ・レベルは、画像特徴にはそれほど依存せず、再構成された画像におけるなめらかな遷移を示すのみである。これらの観察を隣接器官/組織へのコントラストが強く変化する(肺および肋骨への高いコントラスト、腹部の脂肪組織への中程度のコントラストおよび筋肉および他の隣接する腹部の軟組織構造への低いコントラスト)肝臓セグメンテーションのようなセグメンテーション・シナリオに翻訳すると、画像全体にわたる一定のノイズ・レベルの想定が十分でなく、対照的に、提案される方法は非一様なノイズ・レベルを考慮に入れ、この情報を、モデル・ベースのセグメンテーション最適化を制御するために使うことを許容することが明白になる。
ノイズ情報をセグメンテーション最適化に組み込む代替的な実施形態によれば、ノイズ・マップを、セグメンテーションの間に追加的な特徴として使うことが提案される。ノイズ・マップは、セグメンテーションされるべき初期画像IMから導出される画像であり、ノイズ・マップ中のピクセルはノイズのレベルをエンコードする。たとえば、ノイズ・マップを生成する一つの方法は、画像IM中の各位置x,yにおける局所的な分散σ(x,y)を計算することである。すると、局所的な分散σ(x,y)のアレイがノイズ画像をなす。この実施形態では、追加的な外部エネルギー項Enoise(v)が追加されることができる。式(4)による初期画像IM中の特徴探索と同様に、この新しい項は今やノイズ・マップ中の高ノイズ値を測り、制御する、すなわちこれに応答する。たとえば、式(4)と同様に、Fは画像IMのノイズ・マップ中で(も)作用する(すなわち、探索する)ようにされることができる。
次いで、「ノイズ特徴」のこのパラレル探索は、ノーマル画像(normal image)中の勾配の探索と組み合わされて、
E(v)=Eext(v)+αEint(v)+Enoise(v) (7)
として新たな目的関数を形成することができる。
E(v)=Eext(v)+αEint(v)+Enoise(v) (7)
として新たな目的関数を形成することができる。
新たな項は、異なる画像位置のそれぞれにおけるノイズ信号レベルを表わし、高ノイズ・レベルに応答する。換言すれば、ノイズ・レベル項Enoise(v)は直接的にノイズ・レベルとともに変動する。応答強さまたは振幅は好適なモデル関数、たとえば1/σを使うことによって調整されることができる。換言すれば、新たなノイズ項は、より高いノイズ信号をもつ位置にペナルティーを与え、それにより最適化を駆動する作用をする。この実施形態は、図4の右の画像と同様の挙動を示す、すなわち画像のエッジ部分において大半の高ノイズ・レベル分散の集中を示すノイズ・マップについて使用されうる。
乗法的または加法的な形でノイズによりペナルティーを課す重みは、メッシュ点のなめらか〔平滑〕でない変位またはモデルMODの想定される「弾性」に課された制約条件を破ることになる変位にペナルティーを与える作用をするさらなる重みと一緒に使用されることができる。材料科学または弾性理論のような固体力学からの物理的な概念が、たとえばメッシュ・モデルについての上記の弾性制約条件を定式化するために使用されることができる。実際、本稿で使われている「内部エネルギー」という用語自身、本願の目的のための固体力学からのこの借用を反映している。非平滑性指標はたとえば、想定されるモデル表面に沿った変位ベクトルの絶対的な変化に対する面積分であることができる。そうした物理的な弾性制約条件をモデル化する指標についての例は、所与の変位がモデルの「物理的に合理的」な「伸張」または「屈曲」に対応するかどうかを評価するようなものにされる。これらの平滑性指標項および物理的制約条件をモデル化する上記の指標は、ある実施形態では、組み合わされて、モデルをその乱されない(適応されない、もとの)形状に近いままに保持するよう作用する内部エネルギー項にされる。
図5を参照するに、ここで視覚化器(UV)がより詳細に示される。視覚化器UVはそのコンポーネントとして、入力ポートINおよび出力ポートOUTを含む。セグメンテーション器SEGと一緒にシステムまたは構成中に一緒に示されているが、セグメンテーション器SEGが視覚化器UVなしでスタンドアローンで使用できるのと同様に、視覚化器UVは完全にスタンドアローンで使われてもよい。
大まかには、視覚化器UVは初期画像IMをその入力ポートINにおいて受領する。画像IMはデータベースDBまたは他の記憶設備において保持されることができ、そこから取り出される。あるいは画像再構成器RECONによる処理後のイメージング・ラン後にイメージャによって直接供給される。任意的には、画像セグメンテーション器SEGによってさらに処理される。さらにユーザー定義可能な信頼レベルαおよび図1で先に説明した指定と同様の画像IM中の諸ピクセルにおける局所的なノイズ・レベルの指定FXが入力される。次いで、初期画像IMは視覚化器によって画像処理され、出力ポートOUTにおいて前記初期画像の少なくとも一つの修正されたバージョンを生成する。ある実施形態では、そのように修正された画像はグラフィカル・ユーザー・インターフェースGUIに含められる。修正された単数または複数の画像IM、LW(グラフィカル・ユーザー・インターフェースと一緒でも一緒でなくてもよい)は次いで、モニタM上に閲覧のためにレンダリングされることができる。
視覚化器UVは、初期画像IMがエッジ保存正則化(edge-preserving regularization)を用いる逐次反復的再構成から得られるときに、格別の恩恵をもって使用できる(これは決して限定するものではないが)。それらの画像は非常に低いノイズ・レベルおよびよく定義された「ハードな」エッジをもつ。しかしながら、エッジ・ピクセルの位置、すなわちエッジの幅および進路にはいまだ不確定性が残っていることがある。初期画像における画像情報の構造はしばしば、より高いおよびより低い平均ピクセル値の平坦部を含むというものである。「平坦部」〔プラトー〕は、エッジを境とする画像中の閉じた画像部分であり、キャニー・エッジ検出器のような標準的なエッジ検出方法によって見出すことができる。それらの平坦部は、二つの平坦部の間の「谷」またはエッジ領域を定義する。エッジはそれら二つの間の「界面〔インターフェース〕」(領域)によって定義される。エッジは、通例、たとえば骨、血管または肝臓のような他の器官といった関心対象のある種のオブジェクトのフットプリントの輪郭を描く。たとえば、低いほうの平坦部は周囲の(脂肪)組織の減衰/密度をエンコードする一方、高いほうの平坦部は、肝臓組織の減衰/密度をエンコードするピクセルを示してもよい。
このエッジの不確定性は、通常、ユーザーによって簡単には認識されない。一般に、エッジ点が高い平坦部または低い平坦部のどちらに属するかは観察するユーザーにとっては明瞭とはほど遠い。どのピクセルがエッジの部分をなすかについての不確定性は、エッジからの距離が増すとともに低下する。ますます多くのピクセルが同様な、エッジでない値をもつことが期待でき、よってエッジに近くに位置するピクセルより小さな分散があるからである。この不確定性の視覚化は、ユーザーが、再構成されたエッジ領域のどの部分が「信頼できる」かを理解する助けとなりうる。この不確定性の認識が有益な役割を演じる一例は、動脈狭窄の画像ベースの診断においてまたは低コントラスト病変の画像ベースの直径測定においてである。いずれも正確な測定に依存し、上記の「エッジの不確定性」に起因する測定誤差を定量化する助けとなるツールを手近にもつことは歓迎されるであろう。
視覚化器UVによって生成される前記少なくとも一つの修正された画像HI、LWは、ユーザーが初期画像におけるエッジの進路に関し(蔓延するノイズ信号に起因する)不確定性を視覚的に評価することを許容する。ユーザーは、エッジ・ピクセルが隣接する平坦部のそれぞれに属する可能性をグラフィックに呈示される。追加的なグラフィック・オーバーレイなどは必要ない。ユーザーは、高HI、低LW画像を互いとまたは初期画像IMと比較することによって、ピクセル変化の程度(グレースケール・レベルまたはハウンズフィールド単位で示される)から不確定性を定量的に導出できる。
図6は、修正された画像HI、LWがどのように初期画像IMと比べられるかの非常に概略的なスケッチを示している(同時に、図6は、画像を含むグラフィカル・ユーザー・インターフェースGUIの概略的な表現のはたらきもするが、GUIの機能については下記でのちにより詳細に説明する)。
三つの画像IM、HI、LWのそれぞれが形成されるもとになる画像要素(ボクセルまたはピクセル)は、小さな四角として示されている。初期画像IMにおけるエッジ領域は、対角線をなす諸四角として表わされ、濃いハッチで示されている。高いほうの平坦部のピクセルは空の四角で示され、低いほうの平坦部のピクセルは薄いハッチの四角の集合として示されている。上記で手短かに述べたように、画像情報におけるノイズ・レベル蔓延は、あるエッジ領域ピクセルEPXが実際に低いほうの平坦部のピクセルまたは高いほうの平坦部のピクセルのいずれであるかの不確定性を引き起こす。この不確定性は、いずれかの方向を指す「?」を帯びた矢印として概略的に示されている。換言すれば、図6では、濃いハッチの四角は「バランス点」である、すなわち二つの平坦部のどちらの側にはいることもありえ、よって高平坦部ピクセルまたは低平坦部ピクセルでありうる。
下記でより詳細に説明するが、手短かには、視覚化器UVはエッジ・ピクセルEPXの値を、隣接する、低いほうの平坦部のピクセルの値までの下方への「下方シフト」によって変え(または場合によってはそのままにする)、低画像LWを生成し、それにより初期画像IMを局所的に修正するよう動作してもよい。他方、視覚化器UVは、エッジ点EPXの値を高いほうの平坦部のピクセルまで上方に「上方シフト」させて高画像HIを生成することによって、初期画像IMを局所的に変化させるよう動作してもよい。図7で見て取れるように、上方/または下方シフトに起因する変化は、変更されたピクセルEPXの近隣のピクセルに伝搬する。これは、提案される方法の逐次反復的な性質を反映している。ひとたびバランス点(図7で濃いハッチ)に関する(レベルαでの)不確定性が解決されれば、同じ質問(高平坦部ピクセルか低平坦部ピクセルか?)は上方または下方シフトされた(または保持された)ピクセル値の近傍ピクセルに関して問うことができる。このことは、図7では、今では前に処理されたピクセルEPXの近傍ピクセルが代わりに濃いハッチで示されることにおいて、概略的に示されている。このようにして、このアルゴリズムは、ある実施形態では、逐次反復的にもとのエッジから離れるように進行でき(逐次反復は下記で図8においてより詳細に説明する)、それにより事実上、エッジ自身の進路を変える。換言すれば、高画像では、高平坦部が本質的には拡大されるまたは以前に低平坦部だった領域に「こぼれ出す」(空の四角で定義される領域が「増大する」)。一方、低画像LWでは、低平坦部のほうが、高平坦部を犠牲にして地歩を得る(このことは、薄いハッチの四角によって定義される領域の増大によって図に概略的に示されている)。
換言すれば、高、低画像HI、LWは、それぞれのエッジ点が代わりに二つの平坦部のいずれか一方または両方に属するとした場合にエッジ領域はどのように見えるかを表わすので、所与の信頼レベルにおける仮定上の「もし…だったら?」というシナリオのグラフィックなレンダリングである。
図7は、本稿で提案される方法に関わるさまざまな入力および出力の基本的な概観である。三つのペインをもつ左端の列は、中央のペインにおいて初期画像IMを示している(この場合、画像IMはイメージング・ランにおいて得られた投影画像から再構成されたCTスライス)。この列の上のペインは、初期画像IMのエッジ領域の任意の「エッジ画像」を表わす。エッジ画像は、初期画像をソーベルまたはキャニー演算子のようなエッジ検出器によって処理させることによって得ることができる。上のペインは、初期画像にわたる不確定性の分布を示すノイズ・マップの形でノイズ指定を示している。この実施形態では、指定は、たとえば通常の仕方で局所的な分散を局所的に評価することによって初期画像から得られるノイズ画像またはマップの形である。中央の列は、上のペインにおいて高画像HIを、下のペインにおいて低画像LWを示している。これらは不確定性視覚化器UVの動作によって得られるものである。第三の列は、任意的な出力として、エッジの局所的なダイナミクスをよりよく示すために、三つの画像それぞれのクローズアップを含んでいる。たとえば、初期画像は平坦部の上に暗いドットDOTを示しているが、高画像HIは示していない。このことは、該ドットDOTによって表わされる画像構造に関する不確定性を示す。最後の第四の列は、初期画像と低LW画像および/または高画像HWそれぞれとの間で取られた二つの(ピクセルごとの)差分画像の形で任意的な出力を示している。図7の例示的な図は、全変動ノイズ除去を行なった(total variation denoised)CT画像に基づく。エッジはキャニー・エッジ検出器を使って抽出された。ノイズ除去結果における不確定性は、加法的ガウシアン・ノイズの100の異なるノイズ実現を用いて全変動(TV)ノイズ除去を走らせることによって推定された。提案される方法を用いて10回の逐次反復がなされた。出力画像HIおよび画像LWは、低コントラスト領域が、根底にある不確定性とともに変わる実質的な縮小または拡張を受けることの証拠となる。変化は、もとの画像IMに関する差分画像においてより容易に見て取れる。
低LWおよび高HWの修正された画像がどのように得られるかについて、ここで、不確定性視覚化器UVによって実装される方法の基本的なステップを示す図8のフローチャートを参照して説明する。
ステップS805では、i)初期画像、ii)ノイズ指定、iii)エッジ情報およびiv)信頼レベルα、すなわち数αが受領される。0<α<1だがα>1もいくつかの実施形態では考えられる。
エッジ情報は、どの画像部分がエッジ(エッジ領域)をなすかを指定する。この目的に向け、エッジ検出器が初期画像IMに適用される。これはエッジ/エッジ領域を自動的に判別する。それについて不確定性情報が視覚化されることになる。エッジの検出は、閾値と組み合わせたソーベル演算子またはキャニー・エッジ検出器のようなよく知られた方法を用いてできる。エッジ検出演算子は、画像の各点における画像値の勾配を計算する。定義された閾値tより上の大きな絶対値の勾配値をもつ位置がエッジとして検出される。さらに、キャニー・エッジ検出器のような方法は、諸線分として接続されているような検出されたエッジを許容するのみである。そのようなエッジ演算子によって返される、そのようにしてマークアップされたエッジ点は、図7において濃いハッチを付された四角として示されている。検出されたエッジ点の集合も、エッジ・ピクセル/点以外のピクセルがマスクされた「エッジ画像」においてエッジ検出器によって供給されることができる。これは、その後以下のステップが適用されることができる、初期画像におけるエッジ点のプールを提供する。
画像ノイズ指定は、図2において前の実施形態において述べた種々の形で供給されることができる。ある実施形態では、ノイズ指定は、画像にわたるノイズ(レベル)を記述するために、空間的に変動する確率分布の定義を含む。たとえば、ノイズ指定は、各ピクセルについての近似的に知られている確率密度関数、たとえば既知の分散をもつガウシアンに基づいていてもよい。
ある実施形態では、ノイズ指定は、生成の際に画像中に導入される、推定されたノイズ・レベルを捕捉してもよい。たとえば、計算機断層撮影(CT)では、(イメージャの検出器において登録される)投影生データにおけるノイズは、効率的に推定され、次いで既知の不確定性伝搬方法を使って画像に伝搬させられることができる。より具体的には、CT画像におけるノイズ信号は、たとえば、直接的に推定できる投影生データの分散から導出されることができる。誤差伝搬を使って、たとえばフィルタ補正逆投影(FBP)再構成方法を使って個々の画像ボクセル中に再構成されるノイズの量を推定することができる。
あるいはまた、ノイズは、各画像ボクセル中の局所的な分散から、画像空間自身において推定されることができる。必ずしもガウシアンである必要はない好適な確率密度関数またはそのためのモデルが、生データにおけるさまざまなノイズ実現を用いた再構成実験から導出されることができる。
信頼レベルαは、テキストまたはGUI入力(これについては後述)を介してユーザーによって供給される。この代替では、信頼レベルはシステム変数として事前設定される。
局所的に適用可能な前記点としてのエッジ情報およびノイズ指定に基づいて、ステップS810において、エッジ点における(信頼レベルαによって定量化される)不確定性が評価または計算される。
前記評価に基づいて、初期画像がステップS815において処理されて、二つの追加的な画像のうちの少なくとも一方、高画像HIおよび/または低画像LWを生成する。好ましくは、両方の画像LW、HIが生成される。ある実施形態では、二つのLW、HI画像のうちの一方(または両方)が生成されるべきであることをユーザーが指定してもよい。
追加的な画像LW、HIのステップS815における生成は、先に示したように、本質的には、画像IMにおけるエッジ領域ピクセル値のピクセル値変化(下方または上方へのシフト)動作である。個々のエッジ点EPXは単にここでは例として使われているのであって、ステップS810、S815に関する以下の計算はエッジ検出器によって同定されるところの(ステップS805で)同定されたエッジ領域の一部をなす本質的にすべてのピクセル値について実行されることが理解される。しかしながら、他の実施形態では、視覚化器UVの動作は、計算がすべてのエッジ領域ピクセルには適用されず、どのエッジ部分について信頼計算が実行されるべきかをユーザーが指定できるよう制約されてもよい。制約オプションをもつこの実施形態では、エッジ画像(初期画像に対してエッジ検出器を走らせることから導出される)が初期に(すなわち、ステップS810、S815の実行前に)GUIにおいて表示され、エッジ部分の選択が、それぞれのエッジ画像部分上でのマウス・クリックまたは(モニタMのタッチスクリーン実施形態では)タッチスクリーン・ユーザー・アクションによることが構想される。
図6、図7を参照して上記で手短かに概説したように、低画像LWは初期画像IMの修正されたバージョンを表わすが、今や、信頼レベルに従って、エッジ・ピクセルEPXは、そのもとの値の代わりにより低い値をもつ。ステップS815では、エッジ・ピクセルのもとの値は、(ステップS810において使われるような)指定された信頼レベルが到達されるまたは満足されるまで、下方シフトされる。しかしながら、ピクセルEPX値が下方シフトされる量は、修正されたピクセルEPX値が、当該ピクセル点EPXのエッジの隣の隣接低平坦部の平均グレー値を下回らないよう、「上限〔キャップ〕を設けられる」。同様だが逆に、高画像HIは、ステップS815においてエッジ・ピクセルEPXの値を、(ステップS810において使われるような)信頼レベルに従って、ただし隣接する高平坦部のレベルは上回らないよう上昇するよう、上方シフトさせることによって初期画像IMから得られる。両方の画像は今や、当該ピクセルが上または下の平坦部に属しうる指定された信頼レベルでの二つのシナリオを視覚的に表わす。むろん、エッジ・ピクセルEPXの現在のピクセル値に関する評価が決定的でない場合がありうる。この場合、エッジ・ピクセルEPXの現在のピクセル値は維持される。図6において概略的に示されるように、ひとたびエッジ・ピクセルが高平坦部または低平坦部のどちらでありうるかの(レベルαの)不確定性が解決されたら、それまで「不確定」であったエッジ・ピクセルEPX(それまで濃いハッチの四角で示されていた)は今や高HI画像中の空の四角としておよび/または低画像LW中の薄いハッチの四角として示される。
以下では、信頼レベルαが満たされているか否かを知るために(ノイズ指定において指定される)局所的なノイズがステップS810においてどのように評価されることができるかについて二つの実施形態が記述される。
ある実施形態では、各ピクセルにおけるノイズは、諸画像ピクセルを横断して変動する、それぞれが独自の標準的な分散をもつ別個の確率分布によって支配されると想定される。換言すれば、ある実施形態では、各ピクセルに、空間的に可変なガウス分布が取り付けられ、各ガウス分布はピクセル位置x,yにおいて独自の標準的な分散σ(x,y)をもつ(x,yは画像内座標)。
ある実施形態では、信頼レベルαは位置x,yでのそれぞれの標準分散を乗算される。次いで、近隣の上または下の平坦部ピクセル値(それぞれf_high、f_low)がf(x,y)±α*σ(x,y)による信頼範囲内であるかどうかが検査される。ここで、f(x,y)は画像位置x,yにおけるピクセル値である。肯定であれば、すなわちf_high、f_lowのいずれかまたは両方が該信頼範囲内であれば、これは、現在のピクセル値f(x,y)に関して十分な不確定性があるしるしと解釈される。したがって、f_highが上記信頼範囲内であれば、(他の点では初期画像と同一である)高画像HIにおいて、f(x,y)は値f_highを取るよう上方シフトされる。同様に、f_lowが上記信頼範囲内であれば、f(x,y)はf_lowの値を取るよう下方シフトされて、低画像LWにおけるピクセルを形成する。図7に示したような状況は、実際のf_highおよびf_lowの両方が上記信頼範囲内にあるというもので、よって高HIおよび低画像LWの両方においてピクセル変化がある。上記の代替として、ピクセル値f(x,y)は、より少ない量だけ上方または下方シフトされてもよく、よって必ずしもf_highまたはf_lowまでシフトされない。この実施形態では、EPXとf_highまたはf_lowとの間のある割合だけ、ピクセル値EPXを変化させることが構想される。エッジ点EPXがたまたま異なる複数の平坦部からの隣接点をもつ場合には、前の評価がそれぞれについて別個に実行され、最終的にエッジ点が変化させられるまたは上方/下方シフトの割合が計算されるもとになるのは、最高のf_highおよび/または最低のf_lowである。
f_lowもf_highも上記範囲内でなければ、現在のピクセル値f(x,y)が維持され、信頼レベルαをもって信頼されることができる(すなわち、上記評価はインクルーシブである)。
まとめると、各逐次反復ステップにおいて、高画像HIもしくは低画像LWのいずれかまたは両方がf(x,y)において初期画像から異なることがあり、あるいはピクセル値f(x,y)が維持され、三つの画像が前記維持される点f(x,y)において同じエントリーをもつときには変化なしのこともある。
代替的な実施形態では、ノイズ・レベルは確率密度関数fによって記述される、あるいは少なくとも該確率密度関数
上記からわかるように、ステップS810、S815がすべてのエッジ領域ピクセルに適用されるとき、(初期画像IMにおいてエンコードされる)初期エッジ領域の進路およびまたは広がり(たとえば「幅」)は、一般に、高および/または低画像において記録されている新たなエッジによって裏付けられるように変化する。各画像における変化したエッジの進路は追跡される。本方法は今や、高および/または低画像に基づいて逐次反復式に進行できる。変化したピクセルEPXの近傍におけるピクセルが今や新たなエッジ点と考えられる。次いで新たなエッジ点は低/高画像のエッジ画像中に含められる。ステップS810、S815は次いで、新たなエッジを評価することによって逐次反復を再開するために二つの画像LW、HUに別個に再適用される。(画像LW、HIのいずれかにおける)上方シフト変化は高画像に適用され、一方、下方シフト変化は低画像に適用される。次いで、新たな高および/または低画像が形成される。換言すれば、今高い平坦部と低い平坦部の間の界面にある新たなエッジ点が登場する。これは、図6では、初期には対角線に沿って走っていた濃いハッチを付けた四角の連続の方向を直すこと(redirection)によって図6に示されている。ある実施形態では、したがって、ステップS810、S815は逐次反復的に適用される。すなわち、ステップS810、S815は繰り返され、前の高および低画像のそれぞれに別個に適用される。このようにして、高および低画像のそれぞれのシーケンスまたは「ストリーム」が生成され、それぞれそこにエンコードされた更新されたエッジ領域の広がり/進路におけるより顕著なまたはより顕著でない変化を示す。しかしながら、ピクセルが高平坦部ピクセルであるか低平坦部ピクセルであるかについての不確定性は、初期画像IMに記録されているもとのエッジ領域からの距離が増すとともに減少することが期待される。換言すれば、平坦部が互いの中に「こぼれ出す」度合いが少なくなり、本稿で提案される方法は自然に収束する。それらの(初期エッジから)遠方のピクセルのますます多くはステップS810において評価されるときに、マージン範囲内で非常に似通っていると判明することになり、下方シフトまたは上方シフトの量はますます小さくなるからである。逐次反復は、固定数の反復工程実行後に中断されることができる。あるいはまた、その後の低画像LWおよび/またはその後の高画像HIの間の差が計算されることができる。それぞれの「高」または「低」逐次反復は、ひとたびこの差がそれぞれのストリームにおいて所定の差分マージンより低いことが見出されたら、中断される。
ステップS820では、画像HI、LWはモニタ上に表示される。ある実施形態では、該画像(単数または複数)はGUIに表示される。該GUIの機能についてここでより詳細に説明する。ある実施形態では、表示されるのは最終的な高および/または低画像のみである。すなわち、表示は、逐次反復が中断された後にのみ行なわれる。別の実施形態では、逐次反復の過程においてそれぞれの中間的な画像LW、HIが表示される。高および/または低画像は逐次的に表示され、先のものがフェーズアウトされ、より新しいものが各逐次反復ステップで利用可能になるにつれてフェーズインされる。換言すれば、高および/または低画像はそれぞれ更新され、ユーザーは逐次反復が展開するにつれてエッジの進路および/または広がり(幅)がどのように変化しつつあるかを見ることができる。ある実施形態では、視覚化器UVはこれら二つの表示挙動の間でユーザーにより構成設定可能である。
GUI機能
図6に戻って参照するに、ある実施形態では、GUIは、画像(すなわち、低画像LWおよび/または高画像HIおよび/または初期画像IM)が表示される主ペインを含む。別個のGUI部分(図6では下部によって形成されるが、これは単に一つのGUIデザインであって、GUI部分は代わりに上に置かれてもよく、あるいはGUI主ペインの左側または右側に下に走ってもよい)には、いくつかのGUIウィジェットが配置され、ユーザーは以下の機能の一つまたは複数を呼び出すことができる。
図6に戻って参照するに、ある実施形態では、GUIは、画像(すなわち、低画像LWおよび/または高画像HIおよび/または初期画像IM)が表示される主ペインを含む。別個のGUI部分(図6では下部によって形成されるが、これは単に一つのGUIデザインであって、GUI部分は代わりに上に置かれてもよく、あるいはGUI主ペインの左側または右側に下に走ってもよい)には、いくつかのGUIウィジェットが配置され、ユーザーは以下の機能の一つまたは複数を呼び出すことができる。
ある実施形態によれば、スライドバーSLのように形成されたGUIウィジェットがある。バーSL上でスライド可能なスライダー・ボタンCONFがある。スライドバーは、たとえば0(含まれない)と1(含まれない)の間の範囲のさまざまな信頼レベルを示すスケールをもつ。これは、ユーザーが、高/低画像が生成されるべき所望される信頼レベルを調整することを許容する。初期には、初期画像IMのみが表示されることが構想される。その際、ユーザーは、たとえば画像の任意の部分をクリックすることによってまたはキーボード上のキーなどをたたくことによってまたはスライダーSLをしかるべく位置決めすることでαレベルを指定することによって、高/低画像HI、LWを生成するための上記の逐次反復をトリガーする。高/低画像HI、LWはひとたび生成されたら、初期画像の代わりにまたは初期画像と並んで表示される。異なる信頼レベルが所望される場合には、ユーザーはスライダー・ボタンCONFを位置決めし直す。次いで、スライダーCONFの該位置決めし直しが、上記のステップS810、S815の再実行をトリガーし、更新された信頼レベルで新たな高低画像が生成され、次いでGUI表示ペインにおける表示のためにレンダリングされる。ある実施形態によれば、三つの画像(初期IM、高HIおよび低LW)のうちの一つのみが一時に表示され、ユーザーは三つの画像の間の、あるいは高/低HI、LW画像の間のみでのトグルを実施することができる。
たとえば、下LW、もとIMおよび上限画像HIの間でトグルすることにより、ユーザーは、エッジ領域の広がりについての不確定性のレベルの視覚的な印象を与えられる。これは、二つの異なる平坦部の間で(トグルで行ったり来たりすることによって引き起こされる)エッジ・ピクセルの見かけの動きに反映される。きわめて不確実なエッジは、ピクセルが本質的にはすべての画像において同じ位置のままであるそれほどの不確定性のないエッジよりも、二つの画像LW、HIの間でのずっと大きな「ピクセル値動き範囲」をもつことになる。トグル・ボタンTGLは、ユーザーが、トグル・サイクルを通じて進行することを許容する。ある実施形態では、トグル・サイクルは、マウス・カーソルがトグル・ボタンTGL上でホバーさせられるときにポップアップするポップアップ・ウィンドウによって調整可能であるが、これはトグル・シーケンスを供給または指定するための単に一実施形態であり、たとえばテキスト・ベースまたはその他の他の手段も本願で構想されている。ある実施形態によれば、トグル・シーケンスは、任意の二つのIM、LW画像の間にIM初期画像インスタンスがあるようなものである:IM→LW→IM→HI→IM→など。しかしながら、たとえば、初期画像がスキップされてトグルは高画像と低画像の間であり、それらが交互に繰り返し表示されるLW→HI→LW→HIなど、他のサイクル・パターンも構想されている。ある実施形態では、トグルは初期画像と高画像高HIの間のみまたは低LW画像の間のみである。図6では、トグルは、画像間の遷移を表わす曲がった矢印によって概略的に示されている。むろん三つの画像IM、LW、HIすべてが同時に表示される他の実施形態もある。
ある実施形態では、図7の右端の列に示されるように、もとの画像IMと下LWおよび上HI信頼画像のいずれか一方(または両方)との間のピクセルごとの差分画像が形成される。ある実施形態では、差分画像のそれぞれはそれ自身として表示される、あるいは差分画像はたとえば色コーディングを使って初期画像上に重畳される。
ある実施形態では、GUIは、図7のような画像IM、画像HIまたは画像LWの「クローズアップ」を生成するためのユーザー操作可能なズーム機能を含む。
暫時上述した制約機能(ユーザーが、画像のどの部分においてエッジ不確定性が視覚化されるべきかを制約することを許容する機能)を参照すると、これはGUIによって次のように実装できる。ユーザーはポインター・ツールまたは指タッチ・アクションによって、画像IMにおけるある関心対象エッジ部分を、GUIの閲覧ペインにおいて初期に表示されるものとして指定する。前記エッジ選択は、関心対象エッジ部分にズームインすることによって先述したズーム・ツールによって実施されてもよい。ひとたびエッジ部分がそのようにして指定されたら、そのようにして指定されたエッジ部分のみについて、先述した方法ステップS810、S815が実行される。換言すれば、選択されたエッジ部分についてのみエッジ不確定性を記述する「サブ」高および「サブ」低画像が生成される。ここでもまた、ユーザーは、トグル・ボタンTGLを使って、エッジ位置を上または下平坦部ピクセルとして表わす二つのサブ高および低画像の間でトグルすることができる。加えて、先述した実施形態のすべてにおいて、ピクセル値も、高いほうおよび低いほうの平坦部に関連付けられた小さなポップアップとして数値的に示されることができる。これは、ユーザーが、エッジまたは選択されたエッジ部分において蔓延する不確定性を定量的に評価することをも許容する。
ある実施形態では、セグメンテーション器SEGによって(または実際には他の任意のセグメンテーション器によって)定義される特定の病変、狭窄または他のセグメンテーションされた構造について、ノイズ指定に基づく平均輪郭が、所与の信頼閾値における最小/最大輪郭とともに示されることができる。たとえば、確率分布の期待値は、計算されるまたは好適なテーブルにおいて探索されることができる。その際、局所的な期待値はたとえば色コーディングされ、関心対象エッジ領域のエッジ点においてそれぞれ重畳される。
GUIはウィジェット・ライブラリを使うことによってプログラミングされることができ、視覚化器は、モニタMを駆動するようワークステーションのビデオ・カードとインターフェースをもつよう構成されたイベント駆動のGUI生成器モジュールを含む。該イベント駆動生成器は、上記のGUI機能をトリガーするマウス・クリック、スタイラスまたはタッチスクリーン・イベントのようなユーザー・イベントをインターセプトして解釈する。
装置SEG、UVのそれぞれは別個に使用されることができるが、ある実施形態では、両者は一緒に接続されて画像処理システム100をなす。その場合、装置UVは、装置SEGによって前にセグメンテーションされた画像においてエッジ領域の不確定性を視覚化するために使用されることができる。
上記二つの方法はエネルギー・チャネル当たり異なるノイズ・レベルをもつ二重エネルギー画像に適用されることができる。
また、本稿で使用されるところの用語「画像」は必ずしも立方体ボクセルに関わらないことは理解されるであろう。たとえば、画像IMの再構成は、立方体ボクセル以外の基底関数に基づいていてもよい。たとえば、MLIRでは、生成されたカイザー・ベッセル窓関数(ブロブまたはブロブ基底関数としても知られる――本質的には、ベッセル関数のスケーリングされ、区分ごとに定義された変形である)が代わりに使われてもよい。
装置SEG、UVは、Matlab(登録商標)のような好適な科学計算プラットフォームにおいてプログラムされて、次いで、ライブラリによって維持されX線、CTまたはMRIイメージャのワークステーションによって要求されるときにリンクされるC++またはCルーチンに翻訳されてもよい。Matlabはたとえば、ソーベル演算子モジュールをもつ「画像処理ツールボックス」をフィーチャーする。コンポーネントは、専用のFPGAとしてまたは固定構成のスタンドアローンチップとして構成されてもよい。
ある実施形態では、装置SEG、UVは、ワークステーションに存在し、その上でソフトウェア・ルーチンとして走るソフトウェア・コンポーネントである。しかしながら、イメージャ・プロセッサSEG、UVが好適な通信ネットワークにおいて一つまたは複数のイメージャ・ワークステーションと接続される分散アーキテクチャ実施形態も構想される。
本発明のもう一つの例示的な実施形態では、上記の実施形態の一つに基づく方法の方法ステップを適切なシステム上で実行するよう適応されていることを特徴とするコンピュータ・プログラムまたはコンピュータ・プログラム要素が提供される。
したがって、コンピュータ・プログラム要素は、本発明のある実施形態の一部であってもよいコンピュータ・ユニット上で記憶されてもよい。このコンピューティング・ユニットは、上記の方法のステップを実行するまたはその実行を誘起するよう適応されていてもよい。さらに、上記の装置のコンポーネントを動作させるよう適応されていてもよい。コンピューティング・ユニットは、自動的に動作するようおよび/またはユーザーの命令を実行するよう適応されることができる。コンピュータ・プログラムはデータ・プロセッサの作業メモリ中にロードされてもよい。このように、データ・プロセッサは本発明の方法を実行するよう装備されてもよい。
本発明のこの例示的な実施形態は、最初から本発明を使うコンピュータ・プログラムおよびアップデートによって既存のプログラムを本発明を使うプログラムに変えるコンピュータ・プログラムの両方をカバーする。
さらに、コンピュータ・プログラム要素は、上記の方法の例示的な実施形態の手順を充足するようすべての必要なステップを提供できてもよい。
本発明のあるさらなる例示的な実施形態によれば、CD-ROMのようなコンピュータ可読媒体が呈示される。該コンピュータ可読媒体には、先の節で述べたコンピュータ・プログラム要素が記憶されている。
コンピュータ・プログラムは、他のハードウェアと一緒に供給されるまたは他のハードウェアの一部として供給される光記憶媒体または半導体媒体のような好適な媒体上で記憶および/または頒布されてもよいが、インターネットまたは他の有線もしくは無線遠隔通信システムを介してなど他の形で頒布されてもよい。
しかしながら、コンピュータ・プログラムは、ワールドワイドウェブのようなネットワーク上で呈示されてもよく、そのようなネットワークからデータ・プロセッサの作業メモリ中にダウンロードされることができる。本発明のあるさらなる例示的な実施形態によれば、本発明の先述の実施形態の一つに基づく方法を実行するよう構成されたコンピュータ・プログラム要素をダウンロードのために利用可能にするための媒体が提供される。
本発明の実施形態が種々の主題を参照して記述されていることを注意しておく必要がある。特に、いくつかの実施形態は方法型の請求項を参照して記述され、他の実施形態は装置型の請求項を参照して記述される。しかしながら、当業者は、上記および下記の記述から、特に断わりのない限り、ある型の主題に属する特徴の任意の組み合わせに加えて、異なる主題に関する特徴の間の任意の組み合わせも本願で開示されていると考えられることを理解するであろう。しかしながら、特徴の単なる寄せ集め以上の相乗効果を提供するすべての特徴が組み合わされることができる。
本発明は図面および以上の記述において詳細に図示され、記述されているが、そのような図示および記述は制約ではなく例解または例示するものと考えられるべきである。本発明は開示されている実施形態に限定されるものではない。開示されている実施形態に対する他の変形が、図面、本開示および付属の請求項の吟味から、特許請求される発明を実施する際に当業者によって理解され、実施されることができる。
請求項において、「有する/含む」の語は他の要素やステップを排除するものではない。単数表現は複数を排除するものではない。単一のプロセッサまたは他のユニットが請求項において記述されているいくつかの項目の機能を充足してもよい。ある種の施策が互いに異なる従属請求項において記載されているというだけの事実が、これらの施策の組み合わせが有利に使用できないことを示すものではない。請求項に参照符号があったとしても、範囲を限定するものと解釈するべきではない。
医療分野のようなある種の活動分野、また地質学もしくは非破壊材料試験のような他の分野では、画像データに頼っている。たとえば、CT(コンピュータ断層撮影)のような医療撮像では、(イメージャ装置の検出器によって測定される)X線投影データが、再構成アルゴリズムによって、ある体積の「画像スライス」に再構成される。そのようなスライス画像は、表示されるときに、患者の内部の解剖学的構造をグレースケール視覚化において示すために使用できる。この場合、画像情報は、X線が患者の身体の通過において経験した(一般には)異なる減衰値の形である。残念ながら、前記画像情報には、蔓延するノイズ信号によって引き起こされる不確定性があるのがしばしばである。こうしたノイズ信号は検出器における測定プロセスから生じることがあり、あるいは再構成アルゴリズム自身から生じることがある。以前には、ノイズの蔓延は主として、なくす必要のある害だと考えられていたか、あるいは全く無視されていた。
F. Lecellierらは"Region-based active contour with noise and shape priors", ICEEE international Conference On Image Processing, 1 October 2006, pp.1649-1652において、ノイズおよび形状プライアーを領域ベースのアクティブ輪郭において組み合わせるセグメンテーション・アルゴリズムを開示している。
F. Lecellierらは"Region-based active contour with noise and shape priors", ICEEE international Conference On Image Processing, 1 October 2006, pp.1649-1652において、ノイズおよび形状プライアーを領域ベースのアクティブ輪郭において組み合わせるセグメンテーション・アルゴリズムを開示している。
Claims (14)
- 画像処理のための方法であって:
画像および前記画像における異なる位置を横断したノイズ信号レベルの空間的に変動する分布の指定を受領する段階と;
モデルについて前記画像をセグメンテーションする段階であって、該セグメンテーション段階は、逐次反復の過程の間に複数の異なる適応をされたモデルを得るよう前記モデルを異なる画像位置に逐次反復的に適応させる逐次反復を含み、前記モデルの適応は、前記異なる画像位置におけるノイズ信号レベルによって制御される、段階と;
前記異なる適応をされたモデルのうちの一つを出力する段階であって、出力モデルは前記画像のセグメンテーションの輪郭を描く、段階とを含み、
逐次反復的なモデルの適応の前記制御は、モデル点を前記異なる画像位置のほうに偏向させることを含み、それぞれの偏向アクションの強さは、前記異なる位置における局所的なノイズ信号レベルと逆に変化する、
方法。 - 前記偏向強さの変動は、前記セグメンテーション段階のための最適化プロセスを駆動する目的関数の項にノイズ・レベル依存の重みを適用することによって達成され、前記項は、前記異なる位置へのモデル点の誘引レベルを測る、請求項1記載の方法。
- 前記セグメンテーション段階は、該セグメンテーション段階のための最適化プロセスを駆動する目的関数を計算することを含み、前記最適化プロセスは、前記異なる位置を通じて逐次反復することを含み、前記目的関数は、それぞれが異なる目的を表わす複数の項を含み、それらの項の一つは、前記異なる画像位置のそれぞれにおけるノイズ信号レベルを表わし、前記ノイズ項は、より高いノイズ信号レベルをもつ位置においてペナルティーを与える作用をする、請求項1記載の方法。
- 前記画像がMLIR再構成である、請求項1ないし3のうちいずれか一項記載の方法。
- 前記画像が、各エネルギー・チャネルについて一つで二つの画像を含む二重エネルギー画像であり、前記ノイズ・レベル指定は各エネルギー・チャネルについて別個のノイズ・レベル指定を含み、当該方法の段階は、前記二つのエネルギー・チャネル画像のそれぞれについて別個に適用される、請求項1ないし3のうちいずれか一項記載の方法。
- モデル・ベースの画像セグメンテーションを実施するよう構成された装置であって、当該装置は請求項1ないし5のうちいずれか一項記載の方法を実行するよう構成されている、装置。
- 画像処理のための方法であって:
i)初期画像であって、画像情報の少なくとも一部が、高低の平坦部の間にエッジ領域を画定する少なくとも高低二つの異なる平坦部をエンコードする、初期画像および、ii)前記画像にわたるノイズの空間的に変化する分布の指定を受領する段階と;
エッジ領域点値を担持するエッジ領域点について、前記点に適用可能なノイズ指定に基づいて、信頼閾値に関して前記点における不確定性を評価する段階と;
前記局所的なノイズ評価に依存して、前記エッジ領域点の値を高いほうの平坦部のほうにシフトさせて高画像を得ることによって、または前記エッジ点値を低いほうの平坦部のほうにシフトさせて低画像を得ることによって、前記初期画像から高画像または低画像を生成する段階と;
前記エッジの進路についての、少なくとも部分的には前記ノイズによって引き起こされる前記不確定性についての情報を与えるよう、前記画像の代わりにまたは前記画像と並んで前記高画像または低画像を表示する段階とを含む、
方法。 - 前記高画像および前記低画像を順番に表示するよう前記高画像と低画像の間でトグルすることを含む、請求項7記載の方法。
- ユーザー定義の順序で前記高画像、低画像および前記画像を通じて巡回することを含む、請求項7または8記載の方法。
- i)前記高画像と前記画像(IM)および/またはii)前記低画像と画像(IM)のいずれか一方から形成される差分画像を表示する段階を含む、請求項7ないし9のうちいずれか一項記載の方法。
- 前記高画像および低画像のいずれか一方または両方と並んでエッジについての平均進路を表示することを含み、前記平均進路は、エッジを形成するエッジ点における確率分布の平均から計算される、請求項7ないし10のうちいずれか一項記載の方法。
- 入力ポートおよび出力ポートを有する画像処理装置であって:0
i)入力ポートにおいて、初期画像であって、画像情報の少なくとも一部が、高低の平坦部の間にエッジ領域を画定する少なくとも高低二つの異なる平坦部をエンコードする、初期画像および、ii)前記画像にわたるノイズ・レベルの空間的に変化する分布の指定を受領する段階と;
エッジ領域点値を担持するエッジ領域点について、前記点に適用可能なノイズ指定に基づいて、信頼閾値に関して前記点における不確定性を評価する段階と;
前記局所的なノイズ評価に依存して、前記エッジ領域点の値を高いほうの平坦部のほうにシフトさせて高画像を得ることによって、または前記エッジ点値を低いほうの平坦部のほうにシフトさせて低画像を得ることによって、前記初期画像から高画像および/または低画像を生成する段階と;
出力ポートにおいて、前記高画像または低画像を出力し、前記エッジの進路についての、少なくとも部分的には前記ノイズによって引き起こされる前記不確定性についての情報を与えるよう、前記画像の代わりにまたは前記画像と並んで前記高画像または低画像をディスプレイ・ユニット上に表示することを実施する段階とを実行するよう構成されている
画像処理装置。 - 請求項6または12記載の装置を制御するためのコンピュータ・プログラムであって、処理ユニットによって実行されたときに、請求項1ないし5または7ないし11のうちいずれか一項記載の方法段階を実行するよう適応されている、コンピュータ・プログラム。
- 請求項13記載のプログラムを記憶しているコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13174196.9 | 2013-06-28 | ||
EP13174196 | 2013-06-28 | ||
PCT/EP2014/063589 WO2014207139A1 (en) | 2013-06-28 | 2014-06-26 | Methods of utilizing image noise information |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016523154A true JP2016523154A (ja) | 2016-08-08 |
Family
ID=48700384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016522508A Pending JP2016523154A (ja) | 2013-06-28 | 2014-06-26 | 画像ノイズ情報を利用する方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9761006B2 (ja) |
EP (1) | EP3014573B1 (ja) |
JP (1) | JP2016523154A (ja) |
CN (1) | CN105339984B (ja) |
WO (1) | WO2014207139A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022118536A (ja) * | 2021-02-02 | 2022-08-15 | 富士フイルムヘルスケア株式会社 | 医用画像処理装置および医用画像処理方法 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9808222B2 (en) | 2009-10-12 | 2017-11-07 | Acist Medical Systems, Inc. | Intravascular ultrasound system for co-registered imaging |
US9846927B2 (en) * | 2014-05-20 | 2017-12-19 | Qualcomm Incorporated | Systems and methods for haziness detection |
US9734425B2 (en) | 2015-02-11 | 2017-08-15 | Qualcomm Incorporated | Environmental scene condition detection |
CN107251095B (zh) * | 2015-02-03 | 2021-02-26 | 皇家飞利浦有限公司 | 图像重建系统、方法和计算机可读介质 |
JP6694239B2 (ja) * | 2015-03-04 | 2020-05-13 | キヤノンメディカルシステムズ株式会社 | 放射線診断装置および医用画像診断装置 |
JP6423094B2 (ja) * | 2015-06-22 | 2018-11-14 | 株式会社日立製作所 | 画像診断装置,及び方法 |
EP3314572B1 (en) | 2015-06-26 | 2019-08-07 | Koninklijke Philips N.V. | Edge detection on images with correlated noise |
US10909661B2 (en) | 2015-10-08 | 2021-02-02 | Acist Medical Systems, Inc. | Systems and methods to reduce near-field artifacts |
US10789683B2 (en) | 2015-11-10 | 2020-09-29 | Koninklijke Philips N.V. | Method for automatic optimization of quantitative map generation in functional medical imaging |
CN110073412B (zh) | 2016-12-06 | 2023-11-03 | 皇家飞利浦有限公司 | 使用交替否定的图像噪声估计 |
US10559079B2 (en) | 2017-05-19 | 2020-02-11 | Uih America, Inc. | System and method for image reconstruction |
US10762603B2 (en) | 2017-05-19 | 2020-09-01 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for image denoising |
DE102017114811A1 (de) * | 2017-07-03 | 2019-01-03 | Volume Graphics Gmbh | Verfahren zur Bestimmung von Unsicherheiten in Messdaten aus einer Messung eines Objekts |
US10478134B2 (en) | 2017-09-26 | 2019-11-19 | General Electric Company | Systems and methods for improved diagnostics for nuclear medicine imaging |
EP3503026A1 (en) * | 2017-12-20 | 2019-06-26 | Koninklijke Philips N.V. | Device, system and method for interacting with vessel images |
US10307209B1 (en) * | 2018-08-07 | 2019-06-04 | Sony Corporation | Boundary localization of an internal organ of a subject for providing assistance during surgery |
US11250613B2 (en) * | 2019-06-03 | 2022-02-15 | Nvidia Corporation | Bayesian machine learning system for adaptive ray-tracing |
US11024034B2 (en) * | 2019-07-02 | 2021-06-01 | Acist Medical Systems, Inc. | Image segmentation confidence determination |
CN111209792B (zh) * | 2019-12-02 | 2023-08-01 | 河南科技学院 | 增值税普通发票的图像识别方法及装置 |
CN111091517B (zh) * | 2019-12-26 | 2023-05-02 | 东软医疗系统股份有限公司 | 一种残差加权成像方法和装置 |
US11222425B2 (en) * | 2020-02-11 | 2022-01-11 | DeepVoxel, Inc. | Organs at risk auto-contouring system and methods |
CN117897722A (zh) | 2021-08-31 | 2024-04-16 | 皇家飞利浦有限公司 | 使用机器学习方法进行的医学图像去噪 |
CN116092015B (zh) * | 2023-04-06 | 2023-06-27 | 安徽乾劲企业管理有限公司 | 一种道路施工状态监测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6169817B1 (en) * | 1998-11-04 | 2001-01-02 | University Of Rochester | System and method for 4D reconstruction and visualization |
US7957572B2 (en) * | 2005-02-11 | 2011-06-07 | Koninklijke Philips Electronics N.V. | Image processing device and method |
EP2633495A1 (en) * | 2010-10-25 | 2013-09-04 | Koninklijke Philips Electronics N.V. | System for the segmentation of a medical image |
US8824753B2 (en) * | 2011-10-06 | 2014-09-02 | Carestream Health, Inc. | Task oriented noise suppression in medical images |
CN102790844B (zh) * | 2012-07-13 | 2014-08-13 | 浙江捷尚视觉科技股份有限公司 | 基于人眼视觉特性的视频噪声估计方法 |
-
2014
- 2014-06-26 US US14/896,827 patent/US9761006B2/en active Active
- 2014-06-26 JP JP2016522508A patent/JP2016523154A/ja active Pending
- 2014-06-26 CN CN201480036936.8A patent/CN105339984B/zh active Active
- 2014-06-26 EP EP14733623.4A patent/EP3014573B1/en active Active
- 2014-06-26 WO PCT/EP2014/063589 patent/WO2014207139A1/en active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022118536A (ja) * | 2021-02-02 | 2022-08-15 | 富士フイルムヘルスケア株式会社 | 医用画像処理装置および医用画像処理方法 |
JP7395523B2 (ja) | 2021-02-02 | 2023-12-11 | 富士フイルムヘルスケア株式会社 | 医用画像処理装置および医用画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2014207139A1 (en) | 2014-12-31 |
EP3014573A1 (en) | 2016-05-04 |
CN105339984A (zh) | 2016-02-17 |
US20160140725A1 (en) | 2016-05-19 |
US9761006B2 (en) | 2017-09-12 |
CN105339984B (zh) | 2019-03-19 |
EP3014573B1 (en) | 2017-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016523154A (ja) | 画像ノイズ情報を利用する方法 | |
JP6877868B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US7773786B2 (en) | Method and apparatus for three-dimensional interactive tools for semi-automatic segmentation and editing of image objects | |
US8290247B2 (en) | Method and system for segmentation of tubular structures in 3D images | |
US20050147297A1 (en) | Unsupervised data segmentation | |
US7684602B2 (en) | Method and system for local visualization for tubular structures | |
US7787673B2 (en) | Method and apparatus for airway detection and segmentation using 3D morphological operators | |
US8577104B2 (en) | Liver lesion segmentation | |
WO2006024974A1 (en) | Feature weighted medical object contouring using distance coordinates | |
JP2006075602A (ja) | 血管構造の3d画像データセットからなるプラーク沈着の可視化方法 | |
WO2019152850A1 (en) | Segmentation of anatomic structures | |
Moon et al. | 3D freehand ultrasound reconstruction using a piecewise smooth Markov random field | |
Karimov et al. | Guided volume editing based on histogram dissimilarity | |
WO2006055031A2 (en) | Method and system for local visualization for tubular structures | |
Levinski et al. | Interactive surface-guided segmentation of brain MRI data | |
Engelkes | Accuracy of bone segmentation and surface generation strategies analyzed by using synthetic CT volumes | |
US9196030B2 (en) | System and method for determining a property of blur in a blurred image | |
US8284196B2 (en) | Method and system for reconstructing a model of an object | |
EP3786887A1 (en) | Segmenting a tubular feature | |
CN109564685B (zh) | 鲁棒的肺叶分割 | |
Lu et al. | Improved 3D live-wire method with application to 3D CT chest image analysis | |
US11200976B2 (en) | Tracking method and apparatus | |
Bornik et al. | Augmented-reality-based segmentation refinement | |
Cui | Quantitative analysis of coronary artery from computed tomography angiography images | |
Altarawneh | 3D LIVER SEGMENTATION FROM ABDOMINAL COMPUTED TOMOGRAPHY SCANS BASED ON A NOVEL LEVEL SET MODEL |