JP2006521118A - ３次元形状強調フィルタによる小結節のコンピュータ支援検出を行う方法、システムおよびコンピュータプログラム製品 - Google Patents

Abstract

対象を含む画像を評価する(S2)ための方法、システムおよびコンピュータプログラム製品は、大きさおよび尤度フィルタ要素を有している第１の幾何学的強調フィルタにより画像から得られた画像データをフィルタ処理して(S6)、第１の幾何学的パターンが強調されている第１のフィルタ処理された画像データを生成する。

Description

本発明は部分的に米国政府のサポートによりＵＳＰＨＳ許可ＣＡ62625 およびＣＡ64370 の下に作成された。米国政府は本発明に対してある権利を有する可能性がある。

本発明は、低い偽陽性率により肺癌その他の悪性腫瘍小結節のコンピュータ支援検出（ＣＡＤ）を行う方法、システムおよびコンピュータプログラム製品に関する。

本発明はまた一般に、たとえば、この明細書において全て参考文献とされている米国特許第4,839,807 号明細書；米国特許第4,841,555 号明細書；米国特許第4,851,984 号明細書；米国特許第4,875,165 号明細書；米国特許第4,907,156 号明細書；米国特許第4,918,534 号明細書；米国特許第5,072,384 号明細書；米国特許第5,133,020 号明細書；米国特許第5,150,292 号明細書；米国特許第5,224,177 号明細書；米国特許第5,289,374 号明細書；米国特許第5,319,549 号明細書；米国特許第5,343,390 号明細書；米国特許第5,359,513 号明細書；米国特許第5,452,367 号明細書；米国特許第5,463,548 号明細書；米国特許第5,491,627 号明細書；米国特許第5,537,485 号明細書；米国特許第5,598,481 号明細書；米国特許第5,622,171 号明細書；米国特許第5,638,458 号明細書；米国特許第5,657,362 号明細書；米国特許第5,666,434 号明細書；米国特許第5,673,332 号明細書；米国特許第5,668,888 号明細書；米国特許第5,732,697 号明細書；米国特許第5,740,268 号明細書；米国特許第5,790,690 号明細書；米国特許第5,832,103 号明細書；米国特許第5,873,824 号明細書；米国特許第5,881,124 号明細書；米国特許第5,931,780 号明細書；米国特許第5,974,165 号明細書；米国特許第5,982,915 号明細書；米国特許第5,984,870 号明細書；米国特許第5,987,345 号明細書；米国特許第6,011,862 号明細書；米国特許第6,058,322 号明細書；米国特許第6,067,373 号明細書；米国特許第6,075,878 号明細書；米国特許第6,078,680 号明細書；米国特許第6,088,473 号明細書；米国特許第6,112,112 号明細書；米国特許第6,138,045 号明細書；米国特許第6,141,437 号明細書；米国特許第6,185,320 号明細書；米国特許第6,205,348 号明細書；米国特許第6,240,201 号明細書；米国特許第6,282,305 号明細書；米国特許第6,282,307 号明細書；米国特許第6,317,617 号明細書；米国特許第6,335,980 号明細書；米国特許第6,363,163 号明細書；米国特許第6,442,287 号明細書；米国特許第6,470,092 号明細書、および米国特許出願第08/173,935号；米国特許出願第08/398,307号（ＰＣＴ公報 WO 96/27846）；米国特許出願第08/536,149号；米国特許出願第08/900,189号；米国特許出願第09/692,218号；米国特許出願第09/759,333号；米国特許出願第09/760,854号；米国特許出願第09/773,636号；米国特許出願第09/816,217号；米国特許出願第09/830,562号；米国特許出願第09/818,831号；米国特許出願第09/842,860号；米国特許出願第09/830,574号；米国特許出願第09/842,860号；米国特許出願第09/881,002号；米国特許出願第09/990,310号；米国特許出願第09/990,311号；米国特許出願第09/990,377号；米国特許出願第10/036,541号；米国特許出願第10/078,694号；米国特許出願第10/097,820号；米国特許出願第10/097,727号；米国特許出願第10/120,420号；米国特許出願第10/126,523号；米国特許出願第10/198,141号；米国特許出願第10/223,442号；米国特許出願第10/231,064号；米国特許出願第10/270,674号；米国特許出願第60/160,790号；米国特許出願第60/176,304号；米国特許出願第60/176,304号；米国特許出願第60/329,322号；米国特許出願第60/331,995号；米国特許出願第60/332,005号；米国特許出願第60/354,523号；米国特許出願第60/395,305号、ならびに国際特許出願PCT/US98/15165号；国際特許出願PCT/US98/24933号；国際特許出願PCT/US99/03287号；国際特許出願PCT/US00/41299号；国際特許出願PCT/US01/00680号；国際特許出願PCT/US01/01478号；国際特許出願PCT/US01/01479号；国際特許出願PCT/US01/08626号；国際特許出願PCT/US01/43146号；国際特許出願PCT/US02/06638号；国際特許出願PCT/US02/16018号；および国際特許出願PCT/US02/31578号；および本出願人の別出願（attorney docket number 229350US ）の１つ以上に開示されているデジタル画像の自動解析のためのコンピュータ化された技術に関する。

本発明は、上述した米国特許明細書および米国特許出願において参照され、記載され、また、以下の参考文献のリストに示されている参考文献に記載されている種々の技術の使用を含んでいる。出版物の著者および年は、参考文献の各番号を挿入的に参照することによりその明細書において相互参照される。

米国において、肺癌は全てのタイプの癌の中で主要な死亡原因である。そのために米国では毎年１５万人を超える死者が出ており（参考文献１−３）、これは、結腸癌、乳癌および前立腺癌による死亡者の合計数より多い。肺癌の早期発見および治療は、生存率を改善する有効な方法であり、米国および日本国においては、コンピュータ化された断層撮影（ＣＴ）を使用することにより１９９６年から試みられている（参考文献４−８）。肺癌スクリーニングに対するＣＴの使用における１つの問題は、放射線専門医が大量のデータを読まなければならないことである。典型的に３１以上のセクション（画像）を各ケースに対して読まなければならず、また、高い解像度のＣＴが使用された場合には、この数は幾百もの数に増加する可能性がある。このデータ量の結果、放射線専門医によるデータの評価に長い時間を要するために費用が高くなるだけでなく、大量のデータ中で疑わしいエリアを見出すことが困難であるために癌の識別／検出のミスが発生する可能性もある。

肺小結節を検出するためのコンピュータ支援検出（ＣＡＤ）方式は、放射線専門医が胸部Ｘ線写真（参考文献９−１２）および胸部ＣＴスキャン（参考文献１３−１８）中の小結節を検出するのを助ける有効な方法である。小結節検出に関するＣＡＤ方式の重要であるが困難な問題は、小結節候補の最初の選択／検出である。既知のＣＡＤ方式の大部分はしきい値処理技術（またはその等価なもの）を使用して、初期検出段階において背景から小結節候補をセグメント化する。いくつかのＣＡＤ方式においては、しきい値処理技術は元の画像に直接適用され（参考文献１５−１８）、一方別の方式においては、小結節強調フィルタがしきい値技術の適用の前に予備処理ステップとして使用される（参考文献９−１４）。胸部Ｘ線写真における初期小結節の検出のためには肋骨構造および血管のために生じた複雑な背景パターンのために小結節強調フィルタが適用される。肋骨構造および血管は小結節と空間的に重なっている可能性もあり、また小結節の画素値に類似した画素値を有する可能性もある。ＣＴ画像においては、肺のフィールドが胸部Ｘ線写真におけるものと比較して比較的均一であるため、この予備処理ステップをしばしば除外することができる。しかしながら、適切なフィルタ処理を行わずに元のＣＴ画像をしきい値処理することにより、結果的に以下の問題が発生することが本発明者によって認められている：
（１）いくつかの小結節、とくに、ピントグラス不透明部（ＧＧＯ）を有するものは、非常に低いＣＴ値とコントラストを有し、しきい値の適切な選択を非常に困難にする。低いしきい値レベルを使用することによりこれらの種類の小結節のセグメント化は可能かもしれないが、実質的に偽陽性の数が増加する。
（２）多数の小結節は血管および気管壁のＣＴ値に類似したＣＴ値を有し、このことはこれらの小結節の検出時に血管および気管壁による多くの偽陽性が小結節候補として含まれることを意味する。
（３）小結節は血管および気管壁に結合されている可能性があり、それによって小結節検出の作業はさらに複雑化する。これは、次の段階で小結節をこれらの正常な解剖学的構造から分離する必要があるからである。
したがって、フィルタ処理が必要である。

しかしながら、本発明者は、全ての小結節強調フィルタが最初の小結節検出に対してうまく動作するわけではないことを認識した。実際に、それらの多くのものが小結節だけでなく、血管、気管壁および肋骨のような解剖学的構造もまた強調するために有効ではない。換言すると、これらの予備処理フィルタは、小結節状のパターンに対する感度は良好であるが、特定性は低い。ＣＡＤ研究の結果の大部分を表している上述の文献のいずれにおいても、感度および特定性の両基準は小結節強調フィルタを構成するための指針として使用されていない。シミズ氏による文献（参考文献１２）およびオクムラ氏による文献（参考文献１３）において提案されているフィルタは、他のものと比較して比較的良好な特定性を有しているが、それらは依然として、球形の小結節と細長い小結節とを区別する十分な弁別力が不足している。たとえば、円（小結節様対象）の直径が楕円の短軸に関係なくその長軸に等しい（短軸が小さければ細長い対象）とき、シミズ氏の文献に記載されているフィルタは、これら２つの異なった対象に対して同じ応答を出力する。オクムラ氏の文献に記載されているクオイト(Quoit) フィルタも同様である。

本発明により発見されたように、上述した限界に対処するように構成されたＣＡＤシステムにより使用される強調フィルタが必要とされている。

本発明の目的は、大部分の小結節の良好な初期検出を行うと同時に最小の偽陽性数を維持することにより特徴付けられる癌検出方法を提供することである。

すなわち、本発明は、画像中の複数の関心領域（ＲＯＩ）を識別し、そのＲＯＩに対応した画像のサブセットを平滑化するステップを含んでいる医療画像中に含まれている小結節を検出するための方法、システムおよびコンピュータプログラム製品に関する。これらの画像サブセットは幾何学的強調フィルタによりフィルタ処理されて強調された画像サブセットを生成し、それは悪性または非悪性の両対象の存在を識別するために人工的なニューラルネットワークにより解析される。

２つの基準、すなわち、感度および特定性は強調フィルタの設計においてその強調フィルタの構成に対する目標を与えるために使用される。２つの別々の成分、すなわち、大きさおよび尤度が強調フィルタを構成するために使用される。大きさ成分は、対象が存在するかどうかの基準に相当し、尤度成分は、対象が強調されるべき特定の形状に属している確率に相当する。２つの成分の組合せは、本発明の強調フィルタが良好な感度および良好な特定性を同時に獲得できるようにする。

本発明およびそれに付随する多数の利点は、以下の詳細な説明および添付図面を参照することによって容易に認識され、さらに良好に理解されるであろう。

本発明の３つの強調フィルタの構造は、３次元（３Ｄ）画像空間における３種類の理想化された基本形状、すなわち、点、線および平面に基づいている。これらの形状は、胸郭ＣＴ画像における小結節、血管および気管壁の簡単化された表現である。各強調フィルタに対する要求は、１つの特定の基本形状に対して１つの大きい応答特性が生成され、他の２つの基本形状に対しては小さい出力が与えられることである。それ故、これらのフィルタのそれぞれが３つの基本形状の１つに対して良好な感度と良好な特定性を有している。フィルタは、３次元画像空間中の各位置におけるヘッシアン(Hessian) 行列の固有値解析に基づいており、これは、Koller氏の文献（参考文献１９）を原点としており、さらにLorenz氏の文献およびFranzi氏の文献（参考文献２０および２１）のそれぞれには血管強調を目的としたその発展した形態のものが記載されている。これらの参考文献において使用されている血管強調フィルタは１つの球形に対して１つの大きい応答を生じさせる可能性が高く、それは、これらのフィルタが血管の強調に対する良好な特定性を有しないことを意味している。

胸郭ＣＴ画像において、３つの形式の対象（小結節、血管および気管壁）は、肺の分野において比較的大きいＣＴ値を有する。これらの対象は、１つの球、多数の断片状の円筒、および多数の断片状のシートによりそれぞれ近似されることができる。小結節、血管および気管壁に対する３つの強調フィルタの構造を簡単化するために、本発明は、以下の３つの方程式によって球、円筒およびシートがそれぞれ表現されることができると仮定し、ここでσは寸法パラメータを表している：

ここで、ｓ（ｘ，ｙ，ｚ）は３次元ガウス関数の形態の“ファジー”球であり、ｃ（ｘ，ｙ，ｚ）はｚ軸上に位置する“ファジー”円筒であり、ｚ軸に垂直な任意の平面は２次元ガウス関数である。またｈ（ｘ，ｙ，ｚ）はｙ−ｚ平面上に位置する“ファジー”シートであり、そのｙ−ｚ平面に垂直な任意の線は１次元ガウス関数である。これらの“ファジー”形状は、それらが連続した２次の微分可能な関数であり、３つの強調フィルタの設計に都合がよいために使用される。ガウス関数のスケール（または厚さ）が無限小に小さいサイズに減少されたとき、球、円筒およびシートは、図１に示されているように、それぞれ点、線および平面になる。それ故、球、円筒およびシートはそれぞれ２つの成分、すなわち、（１）中心点、中心線および中心平面と、（２）厚さとに分解されることができる。したがって、構成されたフィルタは、３次元空間中の点、線および平面に対する強調フィルタとして特徴付けられる。点、線および平面はそれぞれ３次元画像空間における基本形状である０次元、１次元および２次元を表しているため、その基本形状の強調および微分を行うために点、線および平面に対する強調フィルタが使用される。原理的に、上記の３つの“ファジー”形状の使用により構成された点、線および平面に対する強調フィルタはまたそれらの各“ソリッド”形状に対しても良好に動作する。

ここではフィルタにおいて所望された形状を近似するためにガウス関数が使用されているが、所望の形状が結果的に生成される別の分布関数を使用する別の実施形態が可能である。

特定の基本形状（点、線または平面）を強調するフィルタの設計において、以下の２つの基準が使用される：
（１）強調される形状に対してフィルタがどの程度敏感であるかを測定する感度（たとえば、良好な点強調フィルタは点に対して他の２つの形状より強い応答を出力し、したがって感度が高くなると、それだけ一層フィルタは良好なものになる）；
（２）強調される形状に対してフィルタがどの程度特定的であるかを示す特定性（たとえば、良好な点強調フィルタは線または平面に対して強い応答を出力せず、したがって特定性が高くなると、それだけ一層フィルタは良好なものになる）。

感度および特定性は一般に、フィルタを設計するときに妥協される矛盾している概念である。その特定性（または感度）に関係なく高い感度（または特定性）を有する、あるいはその逆であるフィルタを設計することは簡単である。しかしながら、本発明の目的は、良好な感度および良好な特定性の両方をそれぞれが備えている点、線および平面に対するフィルタを構成することである。

強調フィルタを設計するために、フィルタ設計の微分幾何学的方法（とくに、２次導関数）が使用される。一般的に対象のエッジの強調に適している勾配演算子のような１次導関数とは異なり、２次導関数は一般的に、暗い（明るい）背景の中の明るい（暗い）対象の強調および検出に適している。もっとも、それらはまたゼロ交差の特性を使用することによって対象のエッジを検出するために使用されることができる。３次元画像はｆ（ｘ，ｙ，ｚ）によって示され、使用されるその６個の２次導関数は一般的にｆｘｘ，ｆｙｙ，ｆｚｚ，ｆｘｙ，ｆｘｚおよびｆｙｚにより表されると仮定する。３つの付加的な２次導関数（ｆｙｘ，ｆｚｘおよびｆｚｙ）は、それらがそれぞれｆｘｙ，ｆｘｚおよびｆｙｚに等しいために使用されない。式（１）によって示されている３つの形状の中心点、中心線または中心平面上の任意の地点に対して、混合された２次導関数ｆｘｙ，ｆｘｚおよびｆｙｚはゼロの値を有する。後述するように、混合された２次導関数がゼロ以外の値を有する場合、それらを消滅させるために座標系が回転される。それ故、フィルタはλ１ ，λ２ およびλ３ でそれぞれ表される３つの２次導関数（ｆｘｘ，ｆｙｙおよびｆｚｚ）だけに依存する。これは、それらが｜λ１ ｜≧｜λ２ ｜≧｜λ３ ｜を満足させるヘッシアン行列の３つの固有値であるためである。

以下は、σが小さいときに３つの２次導関数λ１ ，λ２ およびλ３ が点、線および平面に対して満足しなければならない条件を示している：

本発明では、ｅ２ ＝｜λ２ ｜／｜λ１ ｜およびｅ３ ＝｜λ３ ｜／｜λ１ ｜とし、３つの２次導関数の符号の意味を一時的に無視する。したがって、上記の条件は以下のように書き直すことができる：
（１）点： ｅ２ ＝１，ｅ３ ＝１
（２）線： ｅ２ ＝１，ｅ３ ＝０
（３）平面： ｅ２ ＝０，ｅ３ ＝０

０≦ｅ３ ≦ｅ２ ≦１であるため、上記の条件は以下のようにさらに簡単化されることができる：
（１）点： ｅ３ ＝１
（２）線： ｅ２ ＝１，ｅ３ ＝０
（３）平面： ｅ２ ＝０

上述したように、良好な感度および良好な特定性を得るための任意の実施形態について、強調フィルタの応答特性は、以下の２つの成分：大きさおよび尤度を含んでいることが好ましい。

大きさは、３つの２次導関数の関数ｇ（λ１ ，λ２ ，λ３ ）によって与えられる。大きさは、明るい（暗い）対象が暗い（明るい）背景の中に存在しているかどうかを示すが、一般にその対象の形状に関する情報は提供しない。したがって、この成分だけでは種々の異なった形式の対象を区別する十分な弁別力に欠けている。しかしながら、それが他の２つの形状を支持しない限り、それは１つの特定の形状（点、線または平面）に対する良好な強調フィルタを構成するための要因であることは確かである。たとえば、ｇ（λ１ ，λ２ ，λ３ ）＝｜λ１ ｜＋｜λ２ ｜＋｜λ３ ｜は、線または平面に対する良好な大きさ関数ではない。それは、点がこの関数に対して線または平面が有するものより大きい値を有し、この関数が一般的に点を支持していることを意味しているためである。この関数は点強調フィルタに対する合理的な良好な大きさ関数であるが、線および、たとえ、平面でもこの関数に対して大きい値を示す可能性がある。

シミズ氏による文献（参考文献１２）においては、大きさ関数ｇ（λ１ ，λ２ ，λ３ ）＝｜λ３ ｜の使用に概念的に類似した小結節に対する強調フィルタが使用され、この場合２次導関数を計算するために非常に多数の方位が使用された。これは、小結節強調フィルタの大きさ関数に対して良好な選択である。何故ならば、それはこの関数からの線または平面の応答が非常に弱いためである。しかしながら、この関数だけを小結節強調フィルタの出力として使用しても、円形と大きく引き延ばされた楕円形とを区別することはできない。それ故、本発明はまた異なった形状を区別するために尤度関数も使用する。

１実施形態において、尤度もまた３つの２次導関数の関数ｋ（λ１ ，λ２ ，λ３ ）によって与えられる。別の実施形態では、別の尤度関数が使用されてもよい。尤度が関数ｋ（λ１ ，λ２ ，λ３ ）によって与えられるとき、この関数は、１つのボクセルが１つの特定の形状に属している確率を示し、その出力は０と１の間の値である。点強調フィルタに対して、この関数は点に対して１の値を有し、線および平面に対して０の値を有することが好ましい。

点に関して、線および平面では満足されないその特有の条件はｅ３ ＝１である。したがって、点の尤度は以下のように定められる：

同様に、線および平面に対する尤度関数は、以下のように上記に列挙したそれらの特有の要求にしたがって定められる：

各尤度関数は１つの特定の形状に対して１の出力値を与え、他の２つの形状に対して０の出値を与える。それ故、各関数は１つの特定の形状に対して良好な特定性を有する。

上述したように、｜λ３ ｜は点強調フィルタの大きさ関数に対して良好な選択であり、したがって、以下のように本発明の１実施形態において使用されている：

同様に、線および平面に対する大きさ関数は以下のように定められることができる：

１つの特定の形状に対する大きさ関数で他の２つの形状を支持した応答を出力するものはない。したがって、尤度関数に加えて大きさ関数もまた、３つの強調フィルタの良好な特定性の要因となる。

点、線および平面に対する強調フィルタは、以下のように大きさ関数と尤度関数の積によって規定される：

暗い背景における明るい対象を強調するために、２次導関数の符号が随意的に考慮される。１つの特定の形状に関して、以下の条件が満足されない場合には、式（２）におけるその対応した強調フィルタの出力はほぼゼロとなる：

点、線および平面に対する最終的な強調フィルタは、式（２）と（３）を組合せたものである。

３つの混合された２次導関数（ｆｘｙ，ｆｘｚおよびｆｙｚ）の効果を考慮する必要はない。何故ならば、それらは図１に示されている３つの理想化された形状に対してゼロの値を有しているためである。しかしながら、この条件は常に真とは限らない。たとえば、線が３次元空間の中の３つの軸のいずれの軸上にも位置していない場合には、３つの混合された２次導関数（ｆｘｙ，ｆｘｚおよびｆｙｚ）はゼロに等しくないものとなり、それによって強調フィルタの構成が複雑なものになる。この問題を克服する簡単な方法は、その線が３つの軸の１つの上に位置し、混合された２次導関数が消滅するように座標系を回転させることである。同様に、１つの平面をｘ−ｙ、ｘ−ｚおよびｙ−ｚ軸によって規定された３つの平面の１つと整列させるために座標系が回転される。問題は、混合された２次導関数を消滅させるために使用される３つの軸に対する３つの回転角度を決定することである。

実際には、座標系の明確な回転は必要ない。３つの混合された２次導関数を消去することは許容可能であり、それはPress 氏による文献（参考文献２２）に記載されているさらに効率的な数学的方法の使用によって達成される。したがって、以下のように、その成分が元の３次元画像ｆ（ｘ，ｙ，ｚ）のヘッシアン行列がボクセル（ｘ，ｙ，ｚ）において構成され、その成分はｆ（ｘ，ｙ，ｚ）の２次導関数で構成される：

ここで、ｆｘｙ＝ｆｙｘ、ｆｘｚ＝ｆｚｘおよびｆｙｚ＝ｆｚｙである。

Ｈは実数の対称マトリックスであるため、ヘッシアン行列Ｈを対角行列Ｒに変換するために３×３の実数行列Ｚが使用される：

ここで、Ｚ^Ｔ は行列Ｚの転置行列である。

行列Ｚの３つの列ベクトルはヘッシアン行列Ｈの３つの固有値ベクトルであり、行列Ｒの３つの対角成分λ１ 、λ２ およびλ３ は行列Ｈの３つの固有値であることがわかる。また、その３つの固有値は、｜λ１ ｜≧｜λ２ ｜≧｜λ３ ｜が満足されるような順序で分類される。

行列Ｒにおいて６つの非対角成分は消去されているため、上述したように、３つの固有値λ１ 、λ２ およびλ３ が強調フィルタを構成するために使用される。これは、固有値を計算することがヘッシアン行列を対角行列にすることと等価であり、さらに、座標系を回転させることと等価であることを意味する。新しい座標系では、３つの軸はヘッシアン行列の３つの固有値である。ヘッシアン行列の３つの固有値の決定は、あらゆるボクセルに対して行われる。

別の実施形態においては、ヘッシアン行列を使用するのではなく、３つの２次導関数を計算するラジアル方法が以下のように使用されることができる：
（１）当該ボクセルについて、３次元空間においてそのボクセルを通過する均一に分布した多数の直線（ラジアルライン）を獲得する。結果的に得られた各線上のボクセルの１次元アレイが１次元信号を構成する。
（２）上述した全ての各１次元信号に対して２次導関数を計算する。
（３）上記で計算された全ての２次導関数の中で最大絶対値を有する２次導関数を決定する。この２次導関数はヘッシアン行列の第１の固有値（λ１ ）に対応している（近似的に）。この２次導関数に（近似的に）対応しているラジアルラインはヘッシアン行列の第１の固有値に対応している。
（４）ステップ３において決定された直線に対してそのラジアルラインが垂直である全ての２次導関数の中で最大絶対値を有している２次導関数を決定する。この２次導関数はヘッシアン行列の第２の固有値（λ２ ）に（近似的に）対応している。この２次導関数に対応しているラジアルラインは、ヘッシアン行列の第２の固有値ベクトルに（近似的に）対応している。
（５）ステップ３および４において決定された２つの直線に対してそのラジアルラインが垂直である１つの（特有の）２次導関数を決定する。この２次導関数はヘッシアン行列の第３の固有値（λ３ ）に（近似的に）対応している。この２次導関数に対応したラジアルラインは、ヘッシアン行列の第３の固有値ベクトルに近似的に対応している。

上述の点、線および平面に対する強調フィルタは、雑音および対象のスケール（厚さ）の影響を考慮していない。したがって、これらの強調フィルタのみを実際の画像に適用した場合、常に良好な結果が常に得られるとは限らない。これは、２次導関数が本質的に画像雑音に敏感であり、また、それらが異なった寸法を有する小結節のような種々のスケールを有する対象に対して大きい応答を与える能力に欠けているためである。

この問題を解決する１つの方法は、Press 氏の文献およびKoenderink氏の文献（それぞれ参考文献２２および２３）にしたがって２次導関数を計算する前に、３次元ガウス関数を元の３次元画像でたたみこむ（ｃｏｎｖｏｌｖｅ）ことである。実際に、ガウス関数によるたたみこみは画像雑音を平滑化するだけでなく、それはまた整合フィルタとして機能し、対象を適切なスケールで保存する。強調される対象のスケールに関するアプリオリな知識（対象スケール）が知られている場合、ガウス平滑化フィルタに対して選択すべきスケール（平滑化スケール）を知ることができる。簡単にするために、および一般性を損なわずに、ガウス平滑化フィルタのスケールは１次元空間で決定される。このようにして得られた平滑化スケールはまた、２次元および３次元画像に対して適応可能である。

ここではガウス平滑化関数が使用されているが、画素の１つの領域にわたる平均化、整数次数の修正されたベッセル関数およびその他を含む別の平滑化関数を使用する別の実施形態もまた可能である。

１次元空間中の対象は、スケールパラメータσ０ を有する１次元ガウス関数で表されることができる。したがって、このような対象はそのガウス関数の９５％を超えるエリアを考慮に入れられているために、この対象は２σ０ の半径を有していると仮定することが合理的である。換言すると、半径ｗの対象に対して、スケールパラメータｗ／２を有するガウス関数を使用することによりその対象を近似することができる。強調フィルタを構成するために３次元画像中の対象の２次導関数を実際に計算する前に、最初にその対象をガウス平滑化関数でたたみこむことが好ましい。

ガウス平滑化および２次導関数の計算というこれら２つのステップは、単一のステップすなわち、対象とガウス平滑化関数の２次導関数との間のたたみこみに結合されることが可能である。スケールσ０ の対象とスケールσｓ のガウス関数の２次導関数との間のたたみこみから最大応答値を対象の中心に生成するために、２つのスケールσ０ およびσＳ はナカムラ氏による文献（参考文献２５）に示されているものと同じでなければならない。それ故、半径ｗの対象に対して、ガウス平滑化フィルタの“最適な”スケールはｗ／２である。

本発明のフィルタを使用して点、線および平面対象を強調する前に、強調される対象の半径が範囲［ｗ０ ，ｗ１ ］中のものであると仮定して、このスケールの範囲内の全ての対象を強調するために、［ｗ０ ／２，ｗ１ ／２］のスケール範囲内のガウスフィルタを随意に使用して３次元画像を平滑化することができる。これら２つのステップは増加した平滑化スケールでＮ回繰返されてＮ個の強調された画像を得ることができる。［ｗ０ ／２，ｗ１ ／２］の範囲内のＮ個の不連続のスケールは以下のように計算できる：

スケールの間の関係は、Koenderink氏の文献（参考文献２３）に示されているように指数関数的である。各強調フィルタは１つの特定のスケールで対象を強調し、１つの位置におけるマルチスケール強調フィルタの最終的な出力はＮ個の個々のフィルタからの最大値である。しかしながら、Lindeberg 氏の文献（参考文献２５）に示されているように、ガウス関数の２次導関数によるたたみこみの大きさは、それのスケールの２乗に反比例する。したがって、そのフィルタ応答を異なった平滑化スケールに対して匹敵したものにするために、ガウス関数の２次導関数によるたたみこみの出力にσｓ２の係数を乗算する。図１１は、本発明の１実施形態によるに点、線および平面に対するマルチスケール強調フィルタのアルゴリズムのフローチャートであり、ここでステップ１乃至１０はそれぞれＳ１乃至Ｓ１０で表されている。

強調される対象の半径の範囲［ｗ０ ，ｗ１ ］は対応したスケールの数Ｎと共に決定され、また、個々のスケールは式（６）を使用することによって決定される（Ｓ１）。各スケールσｓ に対して、ステップ３乃至９を行う（Ｓ２）。スケールσｓ の３次元ガウス関数によって元の３次元画像は平滑化される（Ｓ３）。各ボクセルに対して、ステップ５乃至７を行う（Ｓ４）。式（４）のヘッシアン行列、および式（５）に示されているようなその３つの固有値λ１ 、λ２ およびλ３ を計算する（Ｓ５）。式（２）および（３）を使用することによって点、線および平面強調フィルタの出力を計算する（Ｓ６）。その他の全てのボクセルに対して、ステップＳ５およびＳ６が繰返され、そうでない場合にはステップ８に進む（Ｓ７）。スケールσｓ において強調フィルタからの出力画像中の各ボクセルにσｓ２を乗算する（Ｓ８）。全てのスケールに対してステップＳ３乃至Ｓ８が繰返され、その他の場合にはこのプロセスはステップ１０に進む（Ｓ９）。各ボクセルに対して、Ｎ個のスケールの個々のフィルタの全ての出力からの最大値として最終的な出力が決定される（Ｓ１０）。

上記のアルゴリズムのステップ５において、３次元画像中のボクセルで決定された２次導関数である要素から構成されたヘッシアン行列を計算することが好ましい。これらの２次導関数を決定するために、以下のように中心差分を使用して１次導関数ｆｘ を近似する：

同様に、他の２つの１次導関数ｆｙ およびｆｚ を定めることができる。

以下のように、１次導関数を３次元画像に２回適用することよって２次導関数を得ることができる：

同様に、他の２次導関数を決定することができる。

図２は、３つの強調フィルタを使用することにより３次元ＨＲＣＴ画像中の結節を検出する全体的な方法を示している。最初に、しきい値処理技術を使用することにより３次元において、あるいは、その代わりに、各２次元断面において肺がセグメント化されることが好ましい（Ｓ２２）。しかしながら、セグメント化が行われない実施形態も可能である。−４００ＨＵ乃至−１０００ＨＵのＣＴ値を有する画素は、肺領域の内部に位置されていると考えられ、したがって１の値を割当てられる。その他の場合には、画素は背景に属していると考えられ、したがって０の値を割当てられる。しかしながら、Armato氏による文献（参考文献１５）に記載されているように、小結節が胸膜に結合している場合、その小結節は肺領域から除外される。これは、その小結節内部の画素に対するグレースケール値が−４００ＨＵ乃至−１０００ＨＵの範囲外にあるためである。肺領域の輪郭に沿ってローリングボールアルゴリズムを使用し、この形式のセグメント化エラーを補正する。

全ての断面中の２次元肺領域が３次元２進ボリュームを構成し、これに対して、３つのマルチスケール強調フィルタの少なくとも１つ、好ましくは、これらマルチスケール強調フィルタのそれぞれが同時に並列に適用され、それは３次元点強調フィルタにより始められる（Ｓ２３）。

線および平面フィルタを適用する前または後のいずれかで、随意に、小結節候補を含む関心領域（ＲＯＩ）が識別される（Ｓ２４）。これには、第１のフィルタから得られた値と予め定められたしきい値とのコンピュータ支援比較を含むコンピュータベースのしきい値処理が含まれてもよい。その代り、しきい値処理技術は、初期小結節候補を選択するためのさらに複雑な方法であってもよい。しきい値処理の代りに、本出願人の別出願である米国特許出願第 09/121,719 号および米国特許出願第 09/830,574 号に記載されているもの、ならびに米国特許第 6,088,473号明細書、米国特許第 5,881,124号明細書および米国特許第 4,907,156号明細書に記載されているもののような別のＲＯＩおよび小結節候補識別技術が使用されてもよい。また、関心領域の手作業による識別も可能である。これらの技術のいずれかにおいて、関心領域は全体的な画像であってもよく、あるいはその画像のサブセットであってもよい。たとえば、ＲＯＩはフィルタ処理された画像データの各画素を中心とする核として定義されることができる。それぞれの核は３×３画素またはそれより大きい画素であることが可能であり、また、以下に説明するように、分類装置へ後で供給するために、それぞれの核が使用されて特徴をフィルタ処理された画像データから抽出することができる。

関心領域および、または小結節候補が小結節の強調された（点フィルタ処理された）画像から識別されるか否かにかかわらず、元の画像はまた、３次元線および平面強調フィルタの少なくとも一方でフィルタ処理される（Ｓ２５）。次に、各初期候補の内部のボクセルに対する予め定められた画像の特徴（たとえば、寸法、コントラスト、形状、規則性、真円度、直線性、平滑さ、密集度等）およびそれらの対応した統計学的基準（たとえば、平均および標準偏差）がデータの強調された画像、すなわち、線強調された画像および平面強調された画像から、好ましくは上述したように決定された１以上のＲＯＩから抽出され、解析特徴として使用される（Ｓ２６）。これらの特徴は、評価されている対象に対する強度の基準（画素値）を含んでいる。その後、特徴は低い偽陽性率で小結節候補が選択される（Ｓ２８）少なくとも１つの分類装置中に入力される（Ｓ２８）。この分類装置は人工的になニューラルネットワーク（ＡＮＮ）であることが好ましいが、それはまたベイズネットワーク、線形弁別解析装置（ＬＤＡ）、Ｋ最隣接分類装置（Ｋ−ＮＮ）、サポートベクトルマシン、またはその他の画像分類装置であってもよい。分類装置は、その入力が１以上のフィルタの出力である単一の分類装置であってもよい。その代り、分類装置は、並列におよび、または直列に接続された複数の分類装置であってもよい。

線および平面フィルタの出力はそれぞれ単一の分類装置に入力されることが好ましい。随意に、各初期候補の内部のボクセルに対する平均および標準偏差もまた点強調された画像から決定され、それらはまたＡＮＮ（図示せず）において特徴として使用される。

小結節の直径の範囲を、マルチスケール点強調フィルタに対して１ｍｍと６ｍｍの平滑化スケールにそれぞれ対応した４ｍｍと２４ｍｍとの間であると仮定すると、本発明は式（６）にしたがってシングルまたはマルチスケール（たとえば、１，１．６，２．４，３．８および６ｍｍの５つのスケール）を使用することができる。いくつかの医療条件に関して、２４ｍｍより大きく３０ｍｍより小さい小結節はまた、２４ｍｍの小結節の強調を意図されたフィルタに対して強く応答する可能性があることが認識される。したがって、アプリオリな情報または仮定に応じて、異なったスケールの寸法および数が使用されてもよい。

別の実施形態において、第１のフィルタは線強調フィルタ（たとえば、血管またはその他の線特徴を識別して抽出する）または平面強調フィルタ（たとえば、器官壁またはその他の平面特徴を識別して抽出する）のいずれかである。これらの実施形態において、その後、しきい値／選択基準を満たす画像が残り２つのフィルタによりフィルタ処理される。その後、１以上のフィルタ処理されたデータセットからの統計学的特徴が抽出され、分類装置に供給される。

２以上の点、線および平面強調フィルタが直列に配置された別の実施形態もまた可能である。直列フィルタと並列フィルタを組合せることも可能である。また、線フィルタ処理されたデータまたは平面フィルタ処理されたデータのいずれかに関してＲＯＩを識別するための対応したしきい値処理が行われる実施形態が可能である。

図３のａは、小結節が矢印によって識別されている３つの３次元ＨＲＣＴ画像の最大強度投影（ＭＩＰ）を示している。図３のｂ中の小結節は血管に結合されており、図３のｃ中の小結節は胸部壁に結合されている。両者は低コントラストのものである。これらは、基本的なＨＲＣＴ画像に対してしきい値処理技術を適用しただけではセグメント化することは困難である小結節の例である。

図４のａは、マルチスケール小結節強調フィルタを使用することによって強調された３つの３次元画像（それぞれ図３のａ、ｂおよびｃ）のＭＩＰを示している。図４のｂおよびｃはそれぞれ、線強調フィルタおよび平面強調フィルタを使用することによって強調された画像を示している。小結節の強調された画像においては小結節の寸法がわずかに減少しているが、小結節のような球形構造（たとえば、図３のｃに示されている）は著しく強調され、一方血管および気管壁のような他の構造（たとえば、図３のｂ中の小結節に結合された血管）が顕著に抑制されたことが明らかである。この画像処理により、初期小結節検出作業が著しく簡単なものになる。

その後、小結節が強調された画像は２０の固定された値でしきい値処理される、すなわち、２０より大きい値を有するボクセルは対象ボクセルであるとみなされ、１の値を割当てられる。この条件を満足させないボクセルは背景ボクセルであるとみなされ、０の値を割当てられる。その後、３次元の接続されたコンポーネントラベル付け技術を使用して、全ての孤立した対象を識別する。１５ｍｍより小さい容積（近似的に直径３ｍｍの球の容積）を有する各対象は小結節ではないとみなされ、除去される。

小結節検出時の偽陽性のほとんどは血管および気管壁によって生じるため、線および平面に対する強調フィルタが使用される。ここでは、平滑化スケールが経験的に１ｍｍおよび０．２５ｍｍにそれぞれ設定されたシングルスケール方式が使用されている。図４のｂおよびｃはそれぞれ、線強調フィルタおよび平面強調フィルタを図３中の元の画像に適用することにより強調された画像の最大強度投影を示している。これらの図は、線および平面強調された画像において小結節が著しく抑制されたことを示し、したがって本発明が血管および気管壁によって生じる偽陽性の減少に有効であることを強調している。

上述した本発明の方法を使用する研究においては、８５のＨＲＣＴケースにおいて合計９１５の偽陽性を伴って９０のうち８８（９７．８％）の小結節が検出された。したがって、ケース当りの偽陽性の平均数および断面当りの偽陽性の平均数はそれぞれ１０．８および０．４である。これは、初期小結節検出段階において一般的に各２次元画像（断面）ごとに何十もの偽陽性が小結節候補として選択される他の小結節検出方式（参考文献９乃至１８）におけるものと比較して優れた初期検出結果を表している。

また、本発明が検出に失敗した２個の小結節は良性であった。それぞれの良性の小結節に対する２次元断面画像は図５に示されている。各小結節に対して示されている断面は、その小結節が最も顕著に現れる断面である。２個の小結節は純粋なＧＧＯ不透明部のものであり、それらのコントラストが非常に低く、したがってそれらを検出することが非常に困難であることが明らかである。実際に、本発明の初期検出技術により、ＧＧＯ不透明部を有する多くの小結節の選択に成功している。図６は、検出された純粋なＧＧＯ不透明部を有する小結節のうちの３個の小結節の２次元断面を示している。以下、このテストに関して詳細に説明する。

図７のａおよびｂは、図３のａ乃至ｃのそれぞれの場合に対する元の断面および対応した強調された断面を示している。平面強調された画像中において小結節および血管のエッジが残っているが、気管壁はさらに顕著に強調されたことが明らかである。

その後、各小結節候補に対して、線強調された画像および平面強調された画像から２つの特徴（平均および標準偏差）が抽出される。平均および標準偏差は、上述したように点強調された画像からセグメント化された小結節候補の内部のボクセルに基づいて決定される。

図８は、全ての小結節候補（８８個の真の小結節および９１５個の偽陽性）に対する線強調された画像と平面強調された画像とから決定されたボクセル平均の２つの特徴の間の関係を示している。小結節は一般に線および平面に対する強調フィルタの出力からの小さい平均値を有しており、一方偽陽性は大きい平均値を有していることが明らかである。

図９は、全ての小結節候補に対する線強調された画像と平面強調された画像とから決定された標準偏差の２つの特徴の間の関係を示している。再び、小結節は一般に線および平面に対する強調フィルタの出力からの小さい標準偏差値を有し、一方偽陽性は大きい標準偏差値を有していることが明らかである。これらの特徴が偽陽性の減少に有効であることを確認するために、人工てきニューラルネットワーク（ＡＮＮ）を使用して小結節を偽陽性から弁別する。

ＡＮＮは、入力層と、出力層と、 隠蔽層とを有する３層ＡＮＮである（参考文献２６および２７）。ボクセルの平均および標準偏差の４つの特徴に対応した４個の入力ユニットが使用される。これらの特徴は、線強調された画像および平面強調された画像から決定される。単一の出力ユニットは真の小結節の尤度の基準を表している。０または１の出力はそれぞれ０％または１００％の信頼度を示し、それは小結節候補が真の小結節であることを示す。隠蔽層中のユニットの数は経験的に４に設定される。評価の手順における偏りを最小にするために、ラウンドロビン（１つを除外する）方法を使用して、偽陽性の減少における４つの特徴の有効性を確認する。１つの小結節候補は、ＡＮＮの訓練時の小結節候補から一時的に除外される可能性がある。

ＡＮＮが訓練された後、訓練のために除外された小結節候補の特徴が、尤度の基準の決定のためにＡＮＮへの入力として供給されることができる。このプロセスは全ての小結節候補に対する尤度の基準が計算されるまで小結節候補のそれぞれに対して反復される。その後、ＡＮＮの出力値は固定された値によりしきい値処理される。しきい値より大きい出力値を有する小結節候補は小結節であるとみなされ、保存される。他の小結節候補は偽陽性であるとみなされ、除去される。

別の実施形態において、種々の幾何学的フィルタから得られた画像は医療用画像表示装置に表示される。別の実施形態においては、種々の幾何学的フィルタから得られた画像は記憶され、電子メールによって転送され、および、または別の画像処理装置によって処理される。

ラウンドロビンテスト方法によりＡＮＮを使用する上述のテストにおいて、本発明のＣＡＤ方式は、ケース当り２．４の偽陽性の平均数により、９０個の小結節のうち８４個を検出した（９３．３％）。この研究において、４１個の悪性小結節（癌）の全てがこの偽陽性率レベルで検出された。

３次元ＣＴ画像における小結節の強調および初期検出のために点フィルタを使用することにより、テストにおいて使用された小結節の９７．８％（９０中の８８）が最初に検出され、ケース当りの偽陽性は１０．８であった。これらの結果は、肺の小結節検出に対して現在のＣＡＤ方式における初期検出方法により得られるものより優れている（参考文献９乃至１８）。小結節を血管および気管壁から区別する場合における線および平面強調フィルタの有効性を確認するために、他の２つのフィルタの出力が偽陽性をさらに減少させるために使用された。３つのフィルタの全ての出力を使用することにより、本発明のＣＡＤ方式は９３．３％の感度と、ケース当り２．４の偽陽性とを達成し、これら３つのフィルタが小結節と別の解剖学的構造との区別に非常に有効であることを示した。以下にこれらのテストに関する詳細を示す。

背景として、１９９６年５月から１９９９年３月までに、日本国の長野県における肺癌早期発見のための年に一度の低線量ヘリカルＣＴ（ＬＤＣＴ）スクリーニングプログラムの一部として、７，８４７人（平均年齢６１歳）について１７，８９２の検査が行われた（参考文献４乃至７）。最初の年に７，８４７の初期検査が行われ、その後の２年に５，０２５および５，０２０の反復検査が行われた。ＬＤＣＴにおいて６０５人の患者が７４７の疑わしい肺小結節（＜３０ｍｍ）を有していることが発見され、その中で確認された小結節を有する２７１人の患者が高分解能ＣＴスキャナ（ＨＲＣＴ）を使用してさらに検査された。しかしながら、本発明をテストするときにこれらの履歴的なＨＲＣＴスキャンのうち８５しか使用されなかった。これは、残りのスキャンが十分な数の連続断面を有していなかった（１６より少ない）ためである。この８５人の患者のうち、４０人が４１の第一期の肺癌を有していることが外科手術またはバイオプシによって確認され、また、４５人が４９の良性の小結節を有していることがＨＲＣＴの読取り、２年のフォローアップ検査または外科手術によって確認された。したがって、本発明をテストするときに使用されたデータベースは、９０の確認された小結節を有する８５のＨＲＣＴスキャンから構成されていた。

さらに、これらの履歴的なケースにより使用されたＨＲＣＴスキャナは、１ｍｍのコリメーション（断面の厚さ）および０．５ｍｍの再構成インターバルにより患者の胸部をスキャンした。各断面はＤＩＣＯＭ画像フォーマットで保存され、そのマトリックスサイズは５１２×５１２、画素サイズは０．３９１ｍｍ、ハウンズフィールドユニット（ＨＵ）におけるグレーレベルは４０９６（１２ビット）であった。各３次元画像は、ボクセルが等方性になり、３つのディメンションのそれぞれにおいて０．５ｍｍのサイズを有するように補間によって再スケールされた。これらの履歴的スキャンにおける小結節の寸法は４ｍｍ乃至３０ｍｍの範囲（平均１１ｍｍ）であった。その後、合意に基づいて、３人の放射線専門医が９０の小結節を３つのカテゴリー、すなわち、固体小結節、ＧＧＯを有する小結節、および混合されたＧＧＯを有する小結節に分類した。９０個の小結節のセット中には、４４個（４８．９％）の固体小結節と、１３個（１４．４％）のＧＧＯを有する小結節と、３３個（３６．７％）の混合されたＧＧＯを有する小結節とが存在していた。ＧＧＯ不透明部を有する小結節は、そのコントラストおよび低いＣＴ値のために、一般に検出が非常に困難である。

本発明の３次元強調フィルタは、特定の対象を早期検出するための予備処理フィルタとして使用できるだけでなく、有効な小結節特徴を決定すると共に既存のＣＡＤ方式の性能を改良するために使用することもできる。本発明の点フィルタは、ＨＲＣＴ画像における肺小結節の強調および初期検出に使用されることができる。本発明の線フィルタおよび平面フィルタは、小結節特徴を決定すると共に偽陽性を除去するために使用されることができる。

本発明の３次元強調フィルタはまた多くの肺癌以外の診断において使用されることができる。その例には、３次元ＣＴ結腸画像中のポリープ検出および３次元ＣＴ肝臓画像中の腫瘍検出が含まれている。

本発明の強調フィルタはまた簡単化されて、２次元画像の強調に適用されることができる。簡単化された２次元フィルタは、２次元ＣＴ画像および胸部レントゲン写真における肺小結節の検出に使用されることができる。簡単化された２次元フィルタはまた、乳房Ｘ線写真および超音波画像における塊および微小石灰化の検出に使用されることができる。

２次元画像空間には、２つの形式の基本的形状（点および線）が存在する。したがって、本発明の別の実施形態は、上述したフィルタ構成技術を適合させて２次元画像中の点および線に対する強調フィルタを生成する。

２次元画像ｆ（ｘ，ｙ）に対して、ヘッシアンマトリックスは次のように計算される：

ここで、ｆｘｙ＝ｆｙｘである。

２次元画像空間において、ヘッシアンマトリックスの２つの固有値は次式によって決定されることができる：

｜λ１ ｜＜｜λ２ ｜ならば、固有値λ１ およびλ２ の値は交換される。したがって、２次元画像中の点および線に対する強調フィルタは以下のように示されることができる：
点：λ１ ＜０，λ２ ＜０ならば、ｄｄｏｔ （λ１ ，λ２ ）＝｜λ２ ｜^２ ／｜λ１ ｜
線：λ１ ＜０ならば、ｄｌｉｎｅ（λ１ ，λ２ ）＝｜λ１ ｜−｜λ２ ｜

２次元強調フィルタが良好な感度および特定性を有していることを確認するために、研究において２つの例示的なフィルタを使用して、最初に低線量のコンピュータ断層撮影（ＬＤＣＴ）のデータセット中の小結節を検出した。１９９６年５月から１９９９年３月までのあいだに、日本国の長野県におけるＬＤＣＴによる肺癌の早期発見のための一年に一度のスクリーニングプログラムにおいて、７３人の患者が７６の第一期の肺癌（＜３０ｍｍ）を有していることが発見された。これらの癌患者はまた１５の良性の小結節を含んでいた。したがって、そのデータセットは合計９１の小結節から構成されていた。各ＬＤＣＴ検査は１０ｍｍのコリメーションおよび１０ｍｍの再構成インターバルでスキャンされ、３１の断面を含んでいた。各断面は５１２×５１２のマトリックスサイズ、０．５８６ｍｍの画素サイズ、および４０９６のグレーレベルを有していた。９１個の小結節の直径は５ｍｍ乃至３０ｍｍ（平均１２．５ｍｍ）であった。スライスはその厚さが大き過ぎたために、小結節の初期検出のために上述の３次元強調フィルタを適用することは適切ではない。その代り、このような状況において２次元強調フィルタが有効である。

２次元画像における小結節の初期検出は、３次元画像におけるものと同様に行われた。最初に、しきい値処理技術を使用することにより、各断面において肺がセグメント化された。その後、小結節および血管をそれぞれ強調するために点および線に対する２次元フィルタが使用された。

図１０のａは各小結節が矢印で示されている３つの元の断面を示しており、図１０のｂは２次元の点強調された画像を示しており、図１０のｃは２次元の線強調された画像を示している。血管は、２次元画像で点強調フィルタにより強調される確率が３次元画像で強調される確率より高いことが明らかである。何故ならこれは、いくつかの血管が２次元画像において円形（点状の）対象として現れる可能性があるからである。血管上の分岐の大部分はも２次元点強調フィルタによって強調されることが認識される。その結果、断面当りの偽陽性の数は、一般に、２次元点強調フィルタが個々の２次元断面に適用されたときのほうが、３次元点強調フィルタが３次元画像に直接適用されたときより大きくなる。

その後、固定されたしきい値を使用して、小結節候補が背景からセグメント化された。小さい面積の領域を除去するために結合コンポーネントラベル付け技術が使用された。この技術により、最初に９１個の小結節のうち８５個（９３．４％）が断面当り４．２の平均偽陽性率で検出された。この結果は、最初に９１個の小結節のうち７１個（７８％）が断面当り９．３の平均偽陽性率で検出されたLee 氏による文献（参考文献１４）に記載されているテンプレート整合技術の結果より著しく優れている。

この研究の結果に基づいて、本発明の２次元強調フィルタは、２次元ＣＴ画像中の小結節検出に対して有用であることが判明した。２次元強調フィルタはまた、胸部レントゲン写真中の小結節検出のためにコンピュータ化された方式に適用されることができる。

本発明は、画像中においてターゲットパターンが他のパターンから区別されなければならない医療画像化以外の分野に適応されることが可能である。ここに記載されている技術は、パターン（特徴）の差を使用することによりターゲット対象／区域を他の対象／区域から区別するために使用可能である。上述したように訓練された分類装置は人間が一見して直観的に認識し得るターゲット対象／区域を検出するように適合されることができる。たとえば、医療画像化技術に加えて、本発明は以下に適用可能である：
・道路画像における車両、白線レーンマーカ、交通信号機、歩行者およびその他の障害物の検出および、または強調、
・顔面画像中の目、口および鼻の検出および、または強調、
・“ダスト”画像中の指紋の検出および、または強調、
・半導体集積回路パターン画像中の誤配線の検出および、または強調、
・ロボットの目の画像中の機械的部品の検出および、または強調、
・手荷物のＸ線画像中の銃、ナイフ、ボックスカッター、あるいはその他の武器または持込み禁止品の検出および、または強調、
・レーダまたはソナー画像中の航空機の影、潜水艦の影、魚群およびその他の対象の検出および、または強調、
・軍用画像中のミサイル、ミサイル発射機、戦車、人員運搬車または他の可能な軍事ターゲットの検出および、または強調、
・衛星またはレーダ画像中の雨雲、雷雨、台風またはハリケーンの前兆等のような気象パターン構造の検出および、または強調、
・衛星または高高度の航空機の画像中の植生区域の検出および、または強調、
・たとえば、テクスチャ解析等の使用による織物中のパターンの検出および、または強調、
・石油または鉱物探査において使用される地震または地質パターンの検出および、または強調、
・望遠鏡画像中の星、星雲、銀河、その他の宇宙構造の検出および、または強調、
・その他。

上記のリストに例示された検出および、または強調の種々の応用は、１つの特定のターゲット構造と別の特定の構造が検出されたときにそれらを区別することにより行われることができる。たとえば、“ダスト”画像中において指紋が検出された後、その検出された指紋を容疑者の指紋と比較し、検出された指紋を残した人物と同一人物であることが正しいこと、あるいは誤っていることを証明することができる。

本発明は、コンピュータ技術の当業者によって認識されるように、本発明の教示にしたがってプログラムされた通常の汎用コンピュータまたはマイクロプロセッサを使用して実行されることが可能である。ソフトウェア技術の当業者によって認識されるように、適切なソフトウェアは、開示されている本発明の教示に基づいて通常の技術を有するプログラマーにより容易に処理されることが可能である。

相互参照されている米国特許出願第09/773,636号に開示されているように、コンピュータ900 は本発明の方法を実施することが可能であり、それにおいてコンピュータハウジングは、ＣＰＵ、メモリ（たとえば、ＤＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＳＲＡＭ、ＳＤＲＡＭ、およびフラッシュＲＡＭ）およびその他オプションの専用論理装置（たとえば、ＡＳＩＣＳ）または構成可能な論理装置（たとえば、ＧＡＬおよび再プログラム可能なＦＰＧＡ）を含むマザーボードを収容している。コンピュータはまた、複数の入力装置（たとえば、キーボードおよびマウス）およびモニタを制御するディスプレイカードとを備えている。さらに、コンピュータはフロッピー（登録商標）ディスクドライブ、その他の取外し可能な媒体装置（たとえば、コンパクトディスク、テープおよび取外し可能な磁気光学媒体）、ならびに適切な装置バス（たとえば、ＳＣＳＩバス、増強されたＩＤＥバス、またはウルトラＤＭＡバス等）を使用して接続されたハードディスクまたはその他の固定された高密度媒体ドライブを有することが可能である。コンピュータはまた、コンパクトディスク読取装置、コンパクトディスク読取り／書込み装置、またはコンパクトディスクジュークボックスを備えることが可能であり、それらは同じ装置バスまたは別の装置バスに接続されることができる。

本発明に関連したコンピュータ読取り可能な媒体の例には、コンパクトディスク、ハードディスク、フロッピー（登録商標）ディスク、テープ、磁気光学ディスク、ＰＲＯＭ（たとえば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＥＰＲＯＭ）、ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ等が含まれる。本発明は、これらのコンピュータ読取り可能な媒体の任意の１つまたは組合せたものに記憶されるソフトウェアを含んでおり、このソフトウェアはコンピュータのハードウェアを制御すると共に、コンピュータが人間のユーザと対話できるようにする。このようなソフトウェアには、開発ツールのようなデバイスドライバ、オペレーティングシステムおよびユーザアプリケーションが含まれるが、それらに限定されない。本発明のコンピュータプログラム製品には、コンピュータにより実行されたときにコンピュータに本発明の方法を行わせるコンピュータプログラム命令を記憶する任意のコンピュータ読取り可能な媒体（たとえば、コンピュータコードデバイス）が含まれる。本発明のコンピュータコードデバイスは、スクリプト、インタープリタ、動的リンクライブラリ、Ｊａｖａ（登録商標）クラスおよび完全な実行可能なプログラムを含む任意の解釈可能なまたは実行可能なコードメカニズムであることができるが、それに限定されない。さらに、本発明の処理の部品は、よりよい性能、信頼性および、またはコストを目指して分散されることが可能である［たとえば、（１）多数のＣＰＵまたは（２）１以上のＣＰＵと１以上の構成可能な論理装置との間において］。たとえば、アウトラインまたは画像が第１のコンピュータで選択され、遠隔診断のために第２のコンピュータに送られることができる。

本発明はまた、小結節のコントラスト、不規則性の程度、テクスチャ特徴などを考慮に入れるために追加フィルタ処理技術およびツールで補われることができる。

本発明はまた、当業者によって容易に認識されるように、特定用途向け集積回路の製品により、あるいは通常の素子回路の適切なネットワークとの相互接続により構成されることができる。

本発明に対する画像データのソースは、Ｘ線撮影装置、超音波装置、ＣＴ装置、およびＭＲＩ装置のような任意の適切な画像収集装置であることができる。さらに、収集されたデータは、まだデジタル形式でなければ、デジタル化されることが可能である。その代りに、獲得されて処理される画像データのソースは、画像収集装置により生成されたデータを記憶するメモリであってもよく、このメモリは局部メモリであってもよいし、あるいは遠隔のメモリであってもよく、その場合、ＰＡＣＳ（ピクチャアーカイビングコンピュータシステム）のようなデータ通信ネットワークを使用して画像データにアクセスし、本発明にしたがって処理することが可能である。

上記の教示を考慮して、本発明の種々の修正および変更が可能である。したがって、添付された特許請求の範囲の技術的範囲内において、この明細書においてとくに記載された以外のやり方で本発明を実施することが可能であることを認識すべきである。

３次元画像空間における３つの基本形状（点、線および平面）の概略図。 点、線および平面に対する３つの強調フィルタを使用することにより３次元ＨＲＣＴ画像において結節を検出する全体的な方式を示す概略図。 小結節が矢印によって識別されている３つの元のＨＲＣＴ画像の最大強度投影図。 マルチスケール小結節強調フィルタ、シングルスケール線強調フィルタおよびシングルスケール平面強調フィルタを使用することにより強調された画像のそれぞれの最大強度投影図。 本発明により検出されない２個の小結節の２次元断面図。 本発明による検出に成功したＧＧＯ不透明部を有する３個の小結節の２次元断面図。 図３に示されている３個の小結節に対する元の断面および平面強調された断面の比較図。 ８８個の小結節および９１５の偽陽性に対する線強調された画像と平面強調された画像から決定された平均ボクセル値の間の関係図。 ８８個の小結節および９１５の偽陽性に対する線強調された画像と平面強調された画像から決定された標準偏差値の間の関係図。 小結節が矢印で示されている３つの元の断面、２次元点強調された画像、および２次元線強調された画像のそれぞれの比較図。 本発明の１実施形態によるマルチスケール強調フィルタに対するアルゴリズムのフローチャート。

Claims (43)

1. 対象を含む画像を評価する方法において、
   大きさおよび尤度フィルタ要素を有する第１の幾何学的強調フィルタによって画像から得られた画像データをフィルタ処理して、点、線または平面の１つを含んでいる第１の幾何学的パターンが強調されている第１のフィルタ処理された画像データを生成する評価方法。
2. 前記フィルタ処理するステップは、
   ヘッシアン行列およびラジアル導関数アルゴリズムの一つを使用して画像データを処理して１組の２次導関数を生成し、
   ３つの直交方向における３つの２次導関数（λ１ 、λ２ 、λ３ ）を前記１組の２次の導関数から選択し、
   

   

   からなるフィルタ特性のグループから選択された第１のフィルタ特性によってフィルタ処理を行うステップを含んでいる請求項１記載の方法。
3. 前記フィルタ処理するステップは、
   

   

   からなるフィルタ特性のグループから選択された第１のフィルタ特性によってフィルタ処理を行うステップを含んでいる請求項２記載の方法。
4. さらに、前記第１のフィルタ処理された画像データを処理して画像中に前記対象が存在することを示す基準を得るステップを含んでいる請求項１記載の方法。
5. 前記処理するステップは、
   画像中の関心領域を設定し、
   前記関心領域内の第１のフィルタ処理された画像データから少なくとも１つの特徴を抽出し、
   その少なくとも１つの抽出された特徴を分類装置に供給するステップを含んでおり、前記分類装置は前記画像中に前記対象が存在していることを示す前記基準を出力するように構成されている請求項４記載の方法。
6. 少なくとも１つの抽出された特徴を分類装置に供給する前記ステップにおいて、
   前記少なくとも１つの抽出された特徴を人工的なニューラルネットワーク、ベイズ解析装置、線形弁別解析装置、Ｋ- 最隣接分類装置およびサポートベクトルマシンの１つに供給する請求項５記載の方法。
7. 前記抽出するステップは、
   （ａ）寸法と、
   （ｂ）形状と、
   （ｃ）コントラストの基準と、
   （ｄ）規則性の基準と、
   （ｅ）真円度の基準と、
   （ｆ）直線性の基準と、
   （ｇ）平滑度の基準と、
   （ｈ）密集度の基準と、
   （ｉ）特徴（ａ）乃至（ｈ）の少なくとも１つの標準偏差と、
   （ｊ）特徴（ａ）乃至（ｈ）の少なくとも１つの平均との少なくとも１つの強度の基準を抽出するステップを含んでいる請求項５記載の方法。
8. 前記抽出するステップは、
   前記少なくとも１つの特徴を各画素に中心が位置している核から抽出するステップを含んでいる請求項５記載の方法。
9. 前記関心領域を設定するステップは、
   前記第１のフィルタ処理された画像データを予め定められたしきい値データによってしきい値処理するステップを含んでいる請求項５記載の方法。
10. 前記画像データを処理するステップは、２次元および３次元ガウスフィルタの一つによって画像データを平滑化するステップを含んでいる請求項２記載の方法。
11. 前記平滑化するステップは、予め定められた数の平滑化スケールで反復的に画像データを平滑化するステップを含んでいる請求項１０記載の方法。
12. 前記画像データを得るためにフィルタ処理を行う前に画像をセグメント化するステップをさらに含んでいる請求項２記載の方法。
13. 前記セグメント化するステップは、セグメント化された画像をローリングボールアルゴリズムによって処理するステップを含んでいる請求項１２記載の方法。
14. 大きさおよび尤度フィルタ要素を有する第２の幾何学的強調フィルタによって画像データをフィルタ処理して画像中の第２の幾何学的パターンが強調されている第２のフィルタ処理された画像データを生成するステップをさらに含んでおり、前記第２の幾何学的パターンは第１の幾何学的パターンとは異なっている請求項１記載の方法。
15. 第１および第２の幾何学的強調フィルタによってフィルタ処理する前記ステップは、
    ヘッシアン行列およびラジアル導関数アルゴリズムの一つを使用して画像データを処理して１組の２次導関数を生成し、
    ３つの直交方向における３つの２次導関数（λ１ 、λ２ 、λ３ ）を前記１組の２次導関数から選択し、
    

    

    からなるグループから選択された第１および第２のフィルタ特性のそれぞれによってフィルタ処理するステップを含んでいる請求項１４記載の方法。
16. 前記第１および第２のフィルタ特性のそれぞれによってフィルタ処理する前記ステップは、
    

    

    からなるグループから選択された第１および第２のフィルタ特性のそれぞれによってフィルタ処理するステップを含んでいる請求項１５記載の方法。
17. さらに、第１および第２のフィルタ処理された画像データの少なくとも１つを処理して前記画像中に前記対象が存在することを示す基準を導出するステップを含んでいる請求項１３記載の方法。
18. 前記処理するステップは、
    画像中の関心領域を設定し、
    前記関心領域内の第１および第２のフィルタ処理された画像データから少なくとも１つの特徴を抽出し、
    その少なくとも１つの抽出された特徴を少なくとも１つの分類装置に供給するステップを含んでおり、その分類装置は前記画像中に前記対象が存在していることを示す前記基準を出力するように構成されている請求項１７記載の方法。
19. 少なくとも１つの抽出された特徴を少なくとも１つの分類装置に供給する前記ステップは、
    その少なくとも１つの抽出された特徴を人工的なニューラルネットワーク、ベイズ解析装置、線形弁別解析装置、Ｋ最隣接分類装置およびサポートベクトルマシンで照合するステップを含んでいる請求項１８記載の方法。
20. 抽出するステップは、
    （ａ）寸法と、
    （ｂ）形状と、
    （ｃ）コントラストの基準と、
    （ｄ）規則性の基準と、
    （ｅ）真円度の基準と、
    （ｆ）直線性の基準と、
    （ｇ）平滑度の基準と、
    （ｈ）密集度の基準と、
    （ｉ）特徴（ａ）乃至（ｈ）の少なくとも１つの標準偏差と、
    （ｊ）特徴（ａ）乃至（ｈ）の少なくとも１つの平均との少なくとも１つの強度の基準を抽出するステップを含んでいる請求項１８記載の方法。
21. 前記抽出するステップは、
    前記少なくとも１つの特徴を各画素に中心が位置している核から抽出するステップを含んでいる請求項１８記載の方法。
22. 関心領域を設定する前記ステップは、
    第１および第２のフィルタ処理された画像データの少なくとも１つを予め定められたしきい値データによってしきい値処理するステップを含んでいる請求項１８記載の方法。
23. 前記画像データを処理するステップは、２次元および３次元ガウスフィルタの一つによって画像データを平滑化するステップを含んでいる請求項１５記載の方法。
24. 前記平滑化するステップは、予め定められた数の平滑化スケールによって反復的に画像データを平滑化するステップを含んでいる請求項２３記載の方法。
25. さらに、前記画像データを得るためにフィルタ処理する前に画像をセグメント化するステップを含んでいる請求項１５記載の方法。
26. 前記セグメント化するステップは、セグメント化された画像をローリングボールアルゴリズムによって処理するステップを含んでいる請求項２５記載の方法。
27. 大きさおよび尤度フィルタ要素を有する第３の幾何学的強調フィルタによって画像データをフィルタ処理して画像中の第３の幾何学的パターンが強調されている第３のフィルタ処理された画像データを生成するステップをさらに含んでおり、前記第３の幾何学的パターンは第１および第２の幾何学的パターンとは異なっている請求項１４記載の方法。
28. 第１、第２および第３の幾何学的強調フィルタによって画像をフィルタ処理する前記ステップは、
    ヘッシアン行列およびラジアル導関数アルゴリズムの一つを使用して画像データを処理して１組の２次導関数を生成し、
    ３つの直交方向における３つの２次導関数（λ１ 、λ２ 、λ３ ）を前記１組の２次導関数から選択し、
    

    

    からなるグループから選択された第１、第２および第３のフィルタ特性のそれぞれによってフィルタ処理するステップを含んでいる請求項２７記載の方法。
29. 第１、第２および第３のフィルタ特性のそれぞれによってフィルタ処理する前記ステップは、
    

    

    からなるグループから選択された第１、第２および第３のフィルタ特性のそれぞれによってフィルタ処理するステップを含んでいる請求項２８記載の方法。
30. さらに、第１、第２および第３のフィルタ処理された画像データの少なくとも２つを処理して前記画像中に前記対象が存在することを示す基準を得るステップを含んでいる請求項２７記載の方法。
31. 前記処理するステップは、
    関心領域を設定し、
    第１、第２および第３のフィルタ処理された画像データの少なくとも２つのそれぞれの前記関心領域内から少なくとも１つの特徴を抽出して抽出された各特徴を生成し、
    その抽出された特徴を少なくとも１つの分類装置に供給するステップを含んでおり、前記分類装置は前記画像中に前記対象が存在していることを示す前記基準を出力するように構成されている請求項３０記載の方法。
32. 抽出された特徴を供給する前記ステップは、
    その抽出された特徴を人工的なニューラルネットワーク、ベイズ解析装置、線形弁別解析装置、Ｋ- 最隣接分類装置およびサポートベクトルマシンの１つで照合するステップを含んでいる請求項３１記載の方法。
33. （ａ）寸法と、
    （ｂ）形状と、
    （ｃ）コントラストの基準と、
    （ｄ）規則性の基準と、
    （ｅ）真円度の基準と、
    （ｆ）直線性の基準と、
    （ｇ）平滑度の基準と、
    （ｈ）密集度の基準と、
    （ｉ）特徴（ａ）乃至（ｈ）の少なくとも１つの標準偏差と、
    （ｊ）特徴（ａ）乃至（ｈ）の少なくとも１つの平均との少なくとも１つの強度の基準を抽出するステップを含んでいる請求項３１記載の方法。
34. 抽出する前記ステップは、
    少なくとも１つの特徴を各画素に中心が位置している核から抽出するステップを含んでいる請求項３１記載の方法。
35. 前記関心領域を設定するステップは、
    第１、第２および第３のフィルタ処理された画像データの少なくとも１つを予め定められたしきい値データによってしきい値処理するステップを含んでいる請求項３１記載の方法。
36. 前記画像データを処理するステップは、２次元および３次元ガウスフィルタの一つによって画像データを平滑化するステップを含んでいる請求項２８記載の方法。
37. 前記平滑化するステップは、予め定められた数の平滑化スケールで反復的に画像データを平滑化するステップを含んでいる請求項３６記載の方法。
38. 少なくとも１つのフィルタ処理するステップはさらに、フィルタ処理して前記画像データを得る前に画像をセグメント化するステップを含んでいる請求項２７記載の方法。
39. 前記画像をセグメント化するステップは、セグメント化された画像をローリングボールアルゴリズムによって処理するステップを含んでいる請求項３８記載の方法。
40. 画像は医療画像である請求項１記載の方法。
41. 対象は小結節である請求項４０記載の方法。
42. 請求項１乃至４１のいずれか１項記載の方法を実行するように構成されたシステム。
43. コンピュータシステムにおいて実行されてる命令を記憶し、その命令はコンピュータシステムにより実行されたときに請求項１乃至３９のいずれか１項記載の方法を行わせるコンピュータプログラム製品。

Images