JP2006006359A - 画像生成装置、画像生成装置方法、およびそのプログラム - Google Patents

Abstract

【課題】 医用画像を比較読影する際に、使用する比較用の人工画像を効率的かつ精度よく作成する。
【解決手段】 人体等の被写体の所定の部位を撮影して得られた解剖学的特徴を有する構造物を含む医用画像において、医用画像を細分化した多数の小領域を構造物から得られる解剖学的特徴が互いに類似する小領域毎に分類する。分類された小領域のうち指定された領域について、前記構造物が正常な小領域の人工画像を生成する。
【選択図】 図１

Description

本発明は、医用画像の読影による異常陰影候補の検出を支援する画像生成装置、画像生成装置方法、およびそのプログラムに関するものである。

従来より、医療分野においては、ある患者についての撮影時期が異なる２つ以上の医用画像を比較読影して、画像間の差異を調べ、その差異に基づいて異常陰影を検出したり、疾患の進行状況や治癒状況を把握して治療方針を検討したりすることが行われている。

特に、異常陰影が初期の肺癌のような小型の陰影は見落としやすいため、このような異常陰影を検出する際には、撮影時期が異なる２つの医用画像について、画像間で画素を対応させた減算処理等を行って差異を求め、その差異を表す差異画像（経時サブトラクション画像）において、画素値が所定値以上の領域あるいは特徴的な形状、例えば略円形形状のものを異常陰影候補として検出する手法が提案されている（特許文献１等）。

しかし、比較対象となる撮影時期が異なる２つの時系列的な画像は、撮影時の患者の姿勢変化等により被写体の位置ずれが生じるため、差分画像を得る際に通常は比較対象となる画像の位置合わせが行なわれる。位置合わせを行う手法として、比較対象となる同一被写体についての２つの画像のうち少なくとも一方の画像全体に対して、回転、平行移動および拡大・縮小等の大局的位置合わせ（アフィン変換等の線形変換）や、局所領域ごとのテンプレートマッチングにより得られた対応位置関係に基づく非線形歪変換（例えば２次元多項式によるカーブフィッティングを用いた非線形歪み変換等）処理（ワーピング）による局所位置合わせ、またはこれら大局的位置合わせと局所位置合わせとを組み合わせて行う手法や、さらに位置ずれ程度の高い局所領域およびその近傍で再度位置合わせを行う手法が提案されている（特許文献２、特許文献３等）。

上記の手法は、あくまで２次元に投影された後の画像を用いて位置合わせを行うため、時系列的な画像間で患者の姿勢変化などにより大きく３次元的な変動（前傾、後傾、側旋）が生じた場合には、位置合わせしきれず、差異画像上にアーチファクト（偽像）が発生してしまい、異常陰影の検出が正確に行われなかった。また、過去に撮影された医用画像が存在しない患者の場合は、比較対象となる画像がなく、肺がんのような見落としやすい異常陰影の検出をする際に効果を発揮する差異画像による手法を上手く活用することができなかった。

そこで、被写体の正常な構造を表す正常構造画像が蓄積記憶されているデータベース中の各画像と、その各画像から抽出した解剖学的特徴の形状を教師データとして使用し、被写体の正常構造の統計的なモデル（形状変化モデル、テクスチャ変化モデル、形状とテクスチャの相関モデル）を作成し、このモデルを用いることにより、入力された画像に対応する正常構造画像を人工的に生成し、生成された正常構造画像と入力された医用画像とに基づいて異常陰影の候補領域を検出するものが提案されている（特許文献４等）。
特開２００２‐１５８９２３号公報 特開平７‐３７０７４号公報 特開２００２‐３２７３５号公報 特開２００４‐４１６９４号公報

しかしながら、上記の正常構造画像を人工的に生成する手法は、画像間で患者の姿勢変化などにより大きな３次元的変動が生じた場合や、過去に撮影された医用画像が存在しない患者の場合でも、見落としやすい小型の異常陰影の検出に効果を発揮するものであるが、通常、胸部CAD（computer aided diagnose）では検出された肺癌候補を部分的（ROI：region of interest）に切り出して、ROI毎に肺癌であるか否かの判別を行うことが行われていることからすると、胸部全体の人工画像を生成するのは非効率的である。

また、肋骨のような構造部が存在する部分と肋骨のような構造物が存在しない部分では現れる特徴が異なるため、胸部全体の人工画像を生成した場合には、部分的に元の画像とはずれた特徴を有したものが現れる場合がある。

そこで、胸部全体ではなく異常陰影が検出された注目する領域に対応した人工画像を精度よく生成することが望まれる。

本発明は、上記事情に鑑みてなされたものであり、比較読影による手法において従来に比べてより効率的でかつ精度よく異常陰影を検出することが可能となる画像生成装置、画像生成方法およびそのプログラムを提供することを目的とするものである。

本発明の画像生成装置は、人体等の被写体の所定の部位を撮影して得られた解剖学的特徴を有する構造物を含む医用画像において、該医用画像を細分化した多数の小領域を前記構造物から得られる解剖学的特徴が互いに類似する小領域毎に分類する分類手段と、
前記分類された小領域のうち少なくとも１つの小領域について、前記構造物が正常な小領域の人工画像を生成する人工画像生成手段とを備えることを特徴とするものである。

また、本発明の画像生成方法は、人体等の被写体の所定の部位を撮影して得られた解剖学的特徴を有する構造物を含む医用画像において、該医用画像を細分化した多数の小領域を前記構造物から得られる解剖学的特徴が互いに類似する小領域毎に分類する分類ステップと、
前記分類された小領域のうち少なくとも１つの小領域について、前記構造物が正常な小領域の人工画像を生成する人工画像生成ステップとを備えることを特徴とするものである。

また、本発明のプログラムは、コンピュータを、
人体等の被写体の所定の部位を撮影して得られた解剖学的特徴を有する構造物を含む医用画像において、該医用画像を細分化した多数の小領域を前記構造物から得られる解剖学的特徴が互いに類似する小領域毎に分類する分類手段と、
前記分類された小領域のうち少なくとも１つの小領域について、前記構造物が正常な小領域の人工画像を生成する人工画像生成手段として機能させることを特徴とするものである。

「人体等」とは、人体のみならず犬や猫などの動物のからだをも含むものである。

「被写体の所定の部位」とは、胸部や頭部や上腕部など人間や動物のからだなどの中で、それがどの辺に位置するかという観点から見た時の部分をいう。

「構造物」とは、被写体の所定の部位を構成する組織をいう。

「構造物から得られる解剖学的特徴が類似する」とは、各組織が存在する場所や各組織の構成などから得られる特徴が類似することをいう。例えば、胸部は肋骨、軟部、心臓などの組織から構成されるが、肋骨が１本のみ撮影されている箇所と肋骨が２本重なって撮影されている箇所では画素値の濃度が異なり解剖学的特徴は類似しないが、肋骨が１本のみ撮影されている箇所同士は画素値の濃度が近い値となり解剖学的特徴が類似した画像となる。また、胸部の肺野領域のうち辺縁部であるか縦隔部であるかなどの位置の相違によっても、現れる濃度やテクスチャが異なり類似しない画像となるが、同じ辺縁部内であれば肋骨が１本重なっているか２本重なっているかにより類似した画像があらわれる。

また、「構造物が正常」とは、各部位を構成する組織が正常であることを意味する。

また、画像生成装置には、医用画像から異常陰影の候補領域を検出する異常陰影検出手段をさらに備えるようにして、
前記人工画像生成手段が、前記候補領域が検出された位置を含む小領域に対応する前記人工画像を生成するものであってもよい。

また、人工画像生成手段は、前記分類された各小領域の構造物が正常であるときに該小領域毎に現れる固有の特徴を有する複数の固有画像を記憶する固有画像記憶手段を有し、
前記人工画像を生成する小領域と前記複数の固有画像それぞれとの類似度に応じた重み付けをして、該複数の固有画像を加算することにより該小領域の人工画像を生成するものであってもよい。

「固有画像」としては、例えば、複数の異なる正常構造の画像をサンプルとして、統計的な手法を用いて、構造物が正常であるときに各小領域毎に現れる特徴を有する画像を取得して固有画像とすることができる。

また、固有画像記憶手段に記憶される固有画像は、被写体を撮影して得られた医用画像の前記構造物が正常な前記各領域の画像に基づいて主成分分析して得た画像であってもよい。

また、前記医用画像が、前記被写体の胸部を撮影して得た胸部画像である場合には、
前記分類手段には、前記胸部画像より肺野領域を認識する肺野認識手段と、
前記胸部画像より肋骨を認識する肋骨認識手段とを有し、
肺野領域内の位置と肋骨の重なりに応じて前記多数の小領域を分類するものが望ましい。

本発明によれば、人体等の被写体の所定の部位を撮影した医用画像から、細分化した多数の小領域を前記構造物から得られる解剖学的特徴が互いに類似する小領域毎に分類して、分類された小領域に対応する人工画像を生成することにより、各領域の特徴に応じた人工画像を生成することができる。さらに、胸部全体ではなく指定された小領域のみの人工画像を生成するため効率的である。

異常陰影の候補領域を検出して、候補領域が検出された位置を含む小領域に対応する人工画像を生成するようにすれば、異常陰影の存在する箇所のみの画像を生成して比較読影をすることで効率的でかつ異常陰影の検出精度を向上させることが可能である。

分類された各小領域の構造物が正常であるときに該小領域毎に現れる固有の特徴を有する複数の固有画像を予め記憶して、各小領域と前記複数の固有画像それぞれとの類似度に応じた重み付けで加算して人工画像を生成するようにすれば、特定の小領域に対応する正常構造の画像人工的に生成することが可能になる。

固有画像が、正常な前記各領域の画像に基づいて主成分分析して得た画像であれば、少ない画像を組み合わせて、様々な画像に対応した人工画像を生成することが可能である。

医用画像が胸部を撮影して得た胸部画像の場合には、肺野領域の認識と、肋骨の認識から肺野領域内の位置と肋骨の重なりに応じて小領域を分類するようにすれば、肺ガン等の異常陰影の判定を行う際にも検出精度を向上させることが可能である。

本発明の画像生成装置について、図に基づいて説明する。図１に示すように、本発明の画像生成装置１は、医用画像Ｐに撮影された部位を細分化した多数の小領域を解剖学的特徴が互いに類似する小領域に分類する分類手段１０と、医用画像より異常陰影の候補領域を検出する異常陰影検出手段３０と、検出された異常陰影の候補領域を含む小領域の構造物が正常な人工画像を生成する人工画像生成手段２０とを備える。

人工画像生成手段２０は、解剖学的特徴に応じて分類された各小領域の構造物が正常な構造であるときに現れる固有の特徴を有する固有画像を、分類された小領域毎に複数記憶する固有画像記憶手段２１を備え、医用画像Ｐに撮影された部位を細分化した多数の小領域のうち指定された小領域の人工画像を、その小領域が分類された小領域に対応する固有画像を重み付け加算して人工画像を生成する。

例えば、医用画像Pが胸部を撮影した胸部画像の場合、肺野領域の位置や肋骨の重なり（具体的には、肋骨の重なりが１本であるか２本であるか）によって解剖学的に異なった特徴が現れる。また、肺ガンのような異常陰影は、肋骨上にあるか、肋骨以外のところにあるかによって、その見え方が異なってくる。そこで、本実施の形態では、以降、胸部画像に肺ガンのような異常陰影が現れた小領域の人工画像を生成する場合について具体的に説明する。

分類手段１０は、肺野を認識する肺野認識手段１１と、肋骨を認識する肋骨認識手段１２とを備え、心胸郭の位置や肋骨の重なり具合などの解剖学的な特徴に応じて、解剖学的特長が類似する小領域に分類する。

異常陰影検出手段３０は肺ガンのような異常陰影の候補領域を検出し、人工画像生成手段２０は、異常陰影検出手段３０より異常陰影の候補領域が検出された場所の正常構造の人工画像を生成する。

以下、本実施の形態の画像生成装置１の処理の流れを、図２のフローチャートに基づいて説明を行う。

まず、画像出力装置１に被写体の胸部画像Ｐが入力されると（ステップ１）、分類手段１０は、肺野認識手段１１により胸部画像Ｐから心胸郭を検出して肺野領域の認識を行い（ステップ２）、さらに、肋骨認識手段１２により肺野領域より肋骨認識を行う（ステップ３）。次に、異常陰影検出手段３０でガン化した部分の結節や腫瘤等の異常陰影を強調するような強調処理を行なって肺ガンのような異常陰影の候補領域を検出する（ステップ４）。そこで、分類手段１０は検出された候補領域の肺野領域内の位置と、その候補領域の位置での肋骨の重なり具合に応じて、候補領域を含む小領域を分類する（ステップ５）。この分類された小領域に対応した人工画像を生成するために、人工画像生成手段２０は、固有画像記憶手段２１に記憶された複数の固有画像と候補領域との類似度を算出し、この類似度に応じて各固有画像を加算して人工画像を生成する（ステップ６）。

上述の各ステップを以下詳細に説明する。

（１）肺野認識（ステップ２）
胸部画像に撮影された肺野領域を心胸郭を検出することにより認識する。まず、胸部画像からガボール関数等のエッジ検出マスクを用いて心胸郭のおおよその輪郭を抽出し、抽出した心胸郭の略中心となる位置を求め、その中心位置を基準に極座標変換する。極座標平面上で、基準となる平均的な心胸郭の輪郭と略相似形のテンプレートを用いてテンプレートマッチング処理を行なうことにより心胸郭の輪郭を自動検出する。検出した心胸郭の輪郭に囲まれた領域を肺野領域として認識し、得られた肺野領域を基準にして、図３に示すような肺尖部（２、７の部分）、辺縁部（３、８の部分）、縦隔部（４、９の部分）、横隔膜下部（５、１０の部分）の各領域を抽出する（例えば、本出願人が出願の特開２００３−６６６１号公報参照）。

あるいは、米国特許６５４９６４６号公報において提案されている方法を用いて、肺尖部（２、７の部分）、辺縁部（３、８の部分）、縦隔部（４、９の部分）、横隔膜下部（５、１０の部分）の各領域に分割して、辺縁部を抽出するようにしてもよい。

（２）肋骨認識（ステップ３）
肋骨認識は、例えば、胸部が撮影されたサンプル画像を教師データとして、異常陰影を含まない正常構造の構造物の統計学的なモデルを予め作成しておき、そのモデルから入力された胸部画像Pに対応する肋骨形状を人工的に生成して行う。

まず、多くの胸部画像から肋骨が明瞭に撮影されているサンプル画像としてＮ枚選択し、胸部画像を表示してマウス等のポインティングデバイスを用いて各画像の肋骨上の点を前肋骨と後肋骨とを合わせてランドマークをn点(例えば、400点)指定して教師データとして用いてモデルを予め作成する。

まず、Ｎ枚のサンプル画像の各々についてランドマークをｎ点指定した肋骨の形状X＝（ｘ1 ，ｙ1 ，・・・，ｘi ，ｙi ，・・・，ｘn ，ｙn ）と、Ｎ枚の肋骨の形状の平均から胸部肋骨の平均形状Xave＝（ｘ_ave1 ，ｙ_ave1 ，・・・，ｘ_avei ，ｙ_avei ，・・・，ｘ_aven ，ｙ_aven ）を求める（図４（ａ）参照。○は前肋骨を示し、△は後肋骨を示す）。Ｎ枚のサンプル画像の肋骨の形状Xとその平均形状Xaveとの差分ベクトルΔXｊ＝Xｊ−Xave（ｊ＝１、・・・、Ｎ）を求め、Ｎ個の差分ベクトルΔXｊ（ｊ＝１、・・・、Ｎ）について主成分分析を行ない、第１主成分から第ｍ主成分までの固有ベクトル（以下、主成分形状という）Pｓ（ｓ＝１、・・・、ｍ）を求める。

主成分分析を行うと図４(b）、(c)に示すように、第１主成分形状P１は肋骨を図４(b)の矢印の方向に拡げる成分として現れ、第２主成分形状P2は肋骨を図４(c)の矢印の方向に拡げる成分として現れる。肋骨の任意形状のモデルは平均形状Xaveと各主成分形状Ps（ｓ＝１、・・・、ｍ）の線形和により次式のように近似することができ、形状係数bｓを変えることにより、平均形状からワーピングして様々な肋骨形状を生成することができる。

そこで、入力された胸部画像Ｐと一致する肋骨形状を人工的に生成するために、上記形状係数bｓを求める。胸部画像Ｐから撮影されている肋骨の上の点を胸部画像Ｐからいくつか取得し、その肋骨の上の点の座標値を上式に代入して形状係数bｓの解を求める（具体的には、形状係数bｓと同じ数の点を代入することにより連立方程式の解として得られる）。肋骨の形状が明瞭に撮影されていない胸部画像Pであっても、求めた形状係数bｓを上記の式に代入することにより肋骨の全体の形状を生成することができる。具体的には、胸部画像では後肋骨などはエッジ検出により抽出することが容易であるため、後肋骨のエッジ上の点を抽出して形状係数ｂsを求めることが可能である（本出願人が出願の特開２００４‐４１６９４号公報等参照）。

あるいは、別の手法として、胸部画像から肋骨のエッジを抽出し、抽出された肋骨上の点をBスプラインなどで補間して肋骨形状を抽出する手法を用いてもよい。

具体的には、図５に示すように、胸部画像から検出された肋骨のエッジの曲線上の複数の点Ｐ１、Ｐ2、Ｐ3、・・・を抽出し、これらの点を補間するBスプライン曲線Ｐ(ｔ)を求める（図５及び図６参照）。ｎ次のBスプライン曲線Ｐ(ｔ)は、制御点Ｑｉ（ｉ＝1,2，・・・，n）とパラメータｔで定義され下式のように表される。

また、ｎ＝３の場合の3次のBスプライン曲線P(t)は、次のように表わすこともできる。

そこで、式（２）においてｔ＝０とすると、次式が導かれる。

制御点は図６に示すように与えられ、第２の制御点Q_２と第３の制御点Q_３は、肋骨のエッジを表す曲線の始点と終点の接線ｔ_１、ｔ_２上に存在する。そこで、この関係と肋骨のエッジの曲線上の点P_ｉの位置と上記(３)式の関係を満足するように制御点Q_ｉ（i＝1,2,3,・・・）を求め（詳細は、”MEDICAL IMAGING TECHNOLOGY Vol.20 No.6 November 2002，Page694-Page701”参照）、抽出したエッジ上の点をBスプライン曲線で補間して肋骨の形状を得るようにしてもよい。

（３）肺ガンの候補領域の検出（ステップ４）
異常陰影検出手段３０は、まず、胸部画像P上に表れる結節等の異常陰影候補を強調する強調処理を施し強調処理画像１１０を作成する。胸部画像P上に撮影された癌化した部分の結節や腫瘤等の異常陰影は、おおむね丸味をおびた輪郭を持ち、かつ、画像上では周囲に比べて画素値が大きく勾配ベクトルが集中する領域として観測される。このような異常陰影は、半球状で同じ濃度の画素が同心円状に広がる形状の円形凸領域として観測され、円形凸領域は、画素値（濃度値）の分布が周縁部から中心部に向かうにしたがって画素値が高く（濃度値が低く）なるという画素値の勾配が認められる。その勾配線は異常陰影の中心方向に向かって集中するもので、画素値の勾配を勾配ベクトルとして算出し、その勾配ベクトルの集中度から異常陰影を検出することができることができる。

勾配ベクトルの集中度は、具体的に、次のようにして求める。

まず、勾配ベクトルは計算対象となる画像を構成する全ての画素について、下記式（１）に示す計算式に基づいて勾配ベクトルの向きφを求める。

ここでｆ1１ 〜ｆ５５は、図７に示すように、その画素ｊを中心とした縦５画素×横５画素のマスクの外周上の画素に対応した画素値である。

そこで、対象となる画像を構成する全ての画素Ｐについて、勾配ベクトルの集中度Ｃを式（２）にしたがって算出する。

ここで、Ｎは注目画素を中心に半径ｌの円内に存在する画素の数、θj は、画素iとその円内の各画素ｊとを結ぶ直線と、その各画素ｊにおける上記式（１）で算出された勾配ベクトルとなす角である（図８参照）。

上記式（２）で表される集中度Ｃが大きな値となるのは、各画素ｊの勾配ベクトルの向きが集中する画素で大きな値をとる。結節や腫瘤の陰影近傍の各画素ｊの勾配ベクトルは、その陰影のコントラストの大小に拘らず、その腫瘤陰影の略中心部に向くため、上記集中度Ｃが大きな値を採る画素は、異常陰影の中心部の画素である。

また、このような集中度を評価するものの中には、異常陰影の大きさや形状に左右されない検出力を達成するために、フィルタの大きさと形状に工夫をしたものとして、適応リングフィルタ（Adaptive ring filter）が挙げられる。

異常陰影は中心から周辺に向かって画素値が次第に大きくなるものだけではなく、肺がんに現われる結節等のように中央部分における画素値の変化が単調ではなくベクトル場が乱れて集中度が小さくなるケースもある。適応リングフィルタは、画素値が単調に変化するものだけでなく、中央部分における画素値が単調ではなくベクトル場が乱れて集中度が小さくなるケースにも適応できるものである。

適応リングフィルタのマスク領域は図９に示すリング状領域で、内側半径は適応的に決定される。内円と外円の半径をそれぞれｒとＲとすると、その関係は式（３）のように表される。

Ｒ＝ｒ＋ｄ （３）
ただし、ｄは定数である。

また、適応リングフィルタの出力は、
となり、適応リングフィルタの出力は、円形凸領域の中心付近で極大値をとる。例えば、原画像上に現れる図１０（Ａ）に示すような円形凸領域は、白い線上で図１０（Ｂ）に示すような画素値を持ち、適応リングフィルタを施すと図１０（Ｃ）に示すように原画像より高い画素値が中心部分に現れる。（詳細は、例えば、魏 軍、荻原 義裕、小畑 秀文、“がん陰影候補抽出のための勾配ベクトル集中フィルタ”、電子情報通信学会論文誌（D-II） Vol.J83-D-II No.1，pp.118-125，Jan．2000．参照）。

そこで、この適応リングフィルタ処理を胸部画像Pに施して、結節や腫瘤が強調された強調処理画像１１０を作成する。図１１では、ｌ＝20mm、ｄ＝4mmとした適応リングフィルタを用いて結節を強調した例を示す（以下、結節の検出について説明する）。図１１（Ａ）の原画像上に現れている結節（白い矢印）の部分が適応リングフィルタ処理を施すと図１１（Ｂ）に示すように強調される。

しかし、心胸郭の辺縁部では、肋骨等が重なり合って撮影されるため濃度勾配の集中度が乱れ、原画像の胸部画像Pを用いて強調処理を行っても円形凸領域がうまく強調されない。そこで、辺縁部においては、背景画像の影響を除去して強調処理を行う方がよい。

具体的には、前述の胸郭を抽出方法を用いて得られた辺縁部（３、８の部分）に対して、原画像から背景画像を差し引いた差分画像１２０を作成し、差分画像１２０に対して強調処理を行うことにより、背景画像の影響を除去して結節を強調することができる。具体的には、例えば原画像をガウスフィルタでぼかした平滑化画像を原画像から差し引くことによって背景画像成分を除去することができる。

図１２は、適応リングフィルタを用いて強調処理画像１１０を作成したときの様子を示す。図１２（Ａ）は、原画像を用いて強調処理を施して強調処理画像１１０を作成したときの様子を示すが、背景画像の影響を受け結節がうまく強調されていない。一方、図１２（Ｂ）は、辺縁部の原画像１００から、ガウスフィルタでぼかした平滑化画像を差し引いた差分画像１２０に、適応リングフィルタを用いて強調処理を施して強調処理画像１１０を作成したときの様子を示すが、背景画像の影響を受けず結節が強調されている。

次に、強調処理画像１１０に閾値を低い値から高い値に徐々に変えて２値化処理を施して、複数の２値化画像１３０を作成する。２値化処理は、与えられた閾値以上の画素値を持つ画素を第１画素値（例えば、２５５（白））に置き換え、閾値以下の画素の画素値を第２画素値（例えば、０（黒））に置き換えて２値化画像１３０を作成する。２値化処理を行うと、２値化画像１３０上に構造物や結節や腫瘤等の高い画素値を持つ領域が第１画素値に置き換えられ、それ以外の領域が第２の画素値に置き換えられて第１画素値を持つ画素が連なった領域が島状の孤立領域として現れる。与えられた閾値が低いときには、２値化画像１３０上に現れる孤立領域には背景画像に現れる白い雲状の部分等を含んで抽出されるが、閾値が高くなるに従って、背景画像を含まない結節や腫瘤や構造物等の部分のみが孤立領域として抽出される。特に、適応リングフィルタを用いて強調された結節や腫瘤は、他の構造物と比較しても画素値が高く、高い閾値で２値化した２値化画像１３０上にも孤立領域として現われる。このことから、高い閾値で２値化した２値化画像１３０上に現れる孤立領域が異常陰影の可能性が高いものといえる。

図１３に、閾値を変えて２値化処理を行った一例を示す。図１３（Ａ）は、胸部画像Pの原画像に対して適応リングフィルタ処理を施して円形凸領域を強調した強調処理画像１１０である。この強調処理画像１１０は８ビットで量子化したもので、０〜２５５の階調を持つ。この強調処理画像１１０に対して１００を閾値として２値化処理を施すと、図１３（Ｂ）に示すような２値化画像１３０となり、白い孤立領域（第１の画素値に置き換えられた領域）が現れる。さらに、４刻みで閾値を変えていき３９段階の２値化画像１３０を作成し、各２値化画像１３０から孤立領域を抽出する。図１３（Ｃ）、（Ｄ）は、閾値、１７６、２５２で２値化した２値化画像１３０の例である。

結節は上述の孤立領域が円に近い形状で現れ面積が小さいという特徴がある。一方、背景画像が含まれて抽出された孤立領域や構造物が抽出された孤立領域は、円形度が低く、面積が大きいものが多い。そこで、２値化処理して得た複数の２値化画像１３０の各々から抽出した孤立領域のうち所定の値以下の円形度と所定値以下の大きさを持つものを結節の候補として抽出する。

円形度ｃは、例えば、抽出された孤立領域の面積Ａとその周長Ｌから以下のようにして求める。

面積Ａを持つ正円の半径Ｒは、
となり、面積Ａを持つ正円の円周の長さＬ１は、
となる。そこで、円形度ｃは、孤立領域の周長の長さＬと面積Ａを持つ正円の円周の長さＬ１から、
として求める。

具体的には、胸部画像で結節の陰影を判定する場合は、各２値化画像１３０上に現れた孤立領域のうち、円形度が０．７以上で、２．２６ｍｍ＜半径＜４．９４ｍｍとなる孤立領域を結節の候補領域として抽出するのが適当である。

また、適応リングフィルタで強調された結節は、図１０に示すように、原画像上に現れる結節より中心部分に高い画素値が現れるため、閾値を変えても同じ位置に孤立領域として現れる場合が多い。そこで、閾値を段階的に変えて２値化画像１３０を作成した場合、結節の候補が同じ位置で拾い上げられる回数が多いものを結節の候補領域として検出する。

以上、結節の検出について説明したが、適応リングフィルタの大きさや２値化画像による判定方法を変えることにより、結節に限らず腫瘤についても検出を行うことが可能である。

（４）分類（ステップ５）
次に、解剖学的特徴に基づいて肺野領域を分類する方法について説明する。まず、分類手段１０は、ステップ２の肺野認識により検出した心胸郭の輪郭を基準に図３に示す肺尖部（２、７の部分）、辺縁部（３、８の部分）、縦隔部（４、９の部分）、横隔膜下部（５、１０の部分）のいずれの位置にあるかを区分けする。

まず、図１４に示すように、左肺（あるいは、右肺）の心胸郭の外側の位置のＸ座標を０とし内側の位置のＸ座標を１となるようにＸ方向の座標値を正規化し、心胸郭の上部の位置のＹ座標を０とし下部の位置のＹ座標を１となるようにＹ方向の座標値を正規化する。

例えば、異常陰影検出手段３０により検出された肺ガンの候補領域の中心位置の座標を、胸部画像Ｐの左上を原点として表わしたときに、座標値が（ｘ、ｙ）のとき、肺ガンの候補領域の中心位置を通るY方向の直線が心胸郭と交わった２点のY座標がyup（最上部の点）とydown（最下部の点）の場合には、正規化したときのY座標値newyは、
newy＝(y −yup)/(ydown −yup)
となる。同様に、肺ガンの候補領域の中心位置を通るX方向の直線が心胸郭と交わった２点のY座標がxup（最上部の点）とxdown（最下部の点）の場合には、正規化したときのY座標値newxは、
newx＝(xout −x)/( xout −xin)
となる。ただし、心胸郭の縦隔部（４、９の部分）内では、常にｘ＝1.0とする。

この正規化された座標値に基づいて、図１５に示すように１１個に区分けする。
(1) 0≦newx<0.1，0≦newy<0.25
(2) 0.1≦newx<0.8，0≦newy<0.25
(3) 0.8≦newx<1.0，0≦newy<0.25
(4) 0≦newx<0.25，0.25≦newy<0.75
(5) 0.25≦newx<0.6，0.25≦newy<0.75
(6) 0.6≦newx<1.0，0.25≦newy<0.75
(7) 0≦newx<0.25，0.75≦newy<1.0
(8) 0.25≦newx<0.6，0.75≦newy<1.0
(9) 0.6≦newx<1.0，0.75≦newy<1.0
(10) newx=1.0
(11) newy=1.0

次に、肋骨認識により検出した肋骨の位置から、肋骨があるところかないところかや肋骨の重なりを求めて、これを表す肋骨特徴量よって、(1)から(9)の領域に属する肺ガンの候補領域を含む小領域をさらに３つに分類する。小領域には、一部に肋骨が１本重なっている画像を含み、一部には肋骨がない部分を含むような場合があるので、肋骨の特徴量は小領域に含まれる肋骨の重なりを平均したものを用いて分類する。
(a） 肋骨特徴量=0 ； 肋骨なし
(b) 0<肋骨特徴量≦1.0 ； 肋骨１本重なり
(c) 1.0<肋骨特徴量 ； 肋骨２本重なり
以上より、肺野領域は２９（＝９×３＋２）通りの小領域に分類される。

（５）人工画像生成（ステップ６）
次に、人工画像生成手段２０で分類された各小領域の人工画像を生成する方法について説明する。まず、分類された各小領域の構造物が正常な構造であるときに現れる固有の特徴を有する複数の固有画像を、主成分分析により生成する方法について説明する。固有画像は、上記の分類手段１０に分類された各小領域毎に生成する。例えば、上記の(4)に属する小領域で肋骨の特徴量が(b)（肋骨１本重なり）の場合（以下、カテゴリ4-１と記載する）を例に説明する。図１６に示すように、異常陰影が撮影されていない正常な胸部画像からカテゴリ4-１に属する80画素×80画素の矩形の小領域を抽出してサンプル画像としてＭ枚（同図(a)）選択して教師データとして用いる。図１６では、肋骨が１本重なっているところを主に抽出しているがその周辺の領域を含んで主成分分析を行っている。

まず、Ｍ枚のサンプル画像（80画素×80画素）に含まれる6400画素の画素値を成分とする画像ベクトルＱ＝（ｑ_1,１，・・・,ｑ_1,８０，ｑ_２,１，・・・,ｑ_２,８０，・・・,ｑ_ｉ,ｊ,・・・,ｑ_８０,１，・・・,ｑ_{８０,８０}）ついて（図１７参照）主成分分析を行い、固有ベクトル（固有画像）を求める。図１６に、サンプル画像を主成分分析して、上位９つの主成分ベクトルを求めて固有画像（80画素×80画素）Q1,Q2,・・・,Q9を取得した例を示す。得られた固有画像Q1,Q2,・・・,Q9はそれぞれ一次独立となり、固有画像Q1,Q2,・・・,Q9の線形和により人工画像を生成することができる。

例えば、異常陰影検出手段３０により検出された肺ガンの候補領域がカテゴリ4-bに属する場合には、肺ガンの候補領域を含んだ80画素×80画素の小領域の画像Rを胸部画像Pより切り取り、画像Rと各固有画像Q1,Q2,・・・,Q9との相関値a1, a2,・・・, a9を取得する。これより、小領域の画像Rに対応する人工画像R-modelは、
R-model＝a1×Q1＋ a2×Q2＋・・・＋a9×Q9
より生成される。

ここでは、サンプル画像を主成分分析して人工画像を生成する場合について説明したが、肋骨認識で説明した手法と同様に、まず、サンプル画像の平均画像を求め、平均画像と各サンプル画像との差分画像を主成分分析して、平均画像をワープして人工画像を生成するようにしてもよい。

図１８(a)（カテゴリ4-1）に、カテゴリ4-1にガンが存在する画像に対応した正常構造の人工画像を生成した一例を示す。カテゴリ4-1にガンが存在する原画像から人工画像を差し引くとガンのところが黒くに現れているようすがわかる。

一方、図１８(b)（カテゴリ4-1）には、ガンが存在しないカテゴリ4-1の画像に対応した人工画像を生成した一例を示す。カテゴリ4-1にガンが存在しないため、原画像から人工画像を差し引くと画像全体が一様な濃度を示す。

また、上記の人工画像生成手段２０で生成された人工画像R-modelと小領域の画像Rとの最小自乗距離や正規化相互相関を特徴量の１つとして用いて、他の特徴量と組み合わせてSVM(support vector machine)やマハラノビス距離やニューラルネットワークなどの判別器（具体例として、本出願人が出願の特開平9-167238号公報、特開2002-74325号公報などを参照）により、異常陰影であるか否かの判別を行うようにしてもよい。

以上、異常陰影が検出された候補領域に対応する人工画像を生成する場合について説明したが、表示装置上に表示された画像から人工画像を生成する位置を指定し、指定された位置の人工画像を生成するようにしてもよい。

以上、胸部画像について説明したが、乳房画像においても胸筋領域、乳腺領域、脂肪領域などに区分けして（例えば、本出願人出願の特開2003-334183公報参照）、人工画像を生成するようにしてもよい。

また、上述の処理をコンピュータ上で実行するプログラムをＣＤ−ＲＯＭやネットワークを介してパソコン等のコンピュータにインストールしたものを画像生成装置とすることができる。

以上詳細に説明したように、解剖学的特徴を有する構造物を含む医用画像を細分化し、各小領域を分類して分類された小領域毎にベースとなる固有画像を生成して、固有画像から人工画像を生成するため、その小領域にあった特長が現れた画像を生成することができ人工画像の精度を上げることが可能である。また、部分的な画像を生成するため、全体の画像を生成するより効率的に画像を生成することが可能になる。

本発明の画像生成装置の概略構成を示す図 本発明の画像生成装置の処理の流れを説明するためのフローチャート 肺野領域の分割結果の一例 主成分分析により肋骨認識をする手法を説明するための図 肋骨の形状をＢスプライン曲線を用いて抽出する手法を説明するための図 Ｂスプライン曲線の制御点を説明するための図 勾配を説明するための図 集中度の算出を説明する方法を説明するための図 適応リングフィルタの算出を算出する方法を説明するための図 適応リングフィルタで出力した画素値を説明するための図 適応リングフィルタの出力画像の一例 差分画像を用いた適応リングフィルタの出力結果を説明するための図 閾値を変えたときの２値化画像の変化の様子を表す図 肺野領域の正規化する方法を説明するための図 正規化された位置に基づく分類を説明するための図 主成分分析した一例を表す図 サンプル画像に含まれる画素の成分を説明するための図 人工画像を生成した例を示す図

符号の説明

１ 画像生成装置
10 分類手段
11 肺野認識手段
12 肋骨認識手段
20 人工画像生成手段
21 固有画像記憶手段
30 異常陰影検出手段
Ｐ 医用画像

Claims (7)

1. 人体等の被写体の所定の部位を撮影して得られた解剖学的特徴を有する構造物を含む医用画像において、該医用画像を細分化した多数の小領域を前記構造物から得られる解剖学的特徴が互いに類似する小領域毎に分類する分類手段と、
   前記分類された小領域のうち少なくとも１つの小領域について、前記構造物が正常な小領域の人工画像を生成する人工画像生成手段とを備えることを特徴とする画像生成装置。
2. 前記医用画像から異常陰影の候補領域を検出する異常陰影検出手段をさらに備え、
   前記人工画像生成手段が、前記候補領域が検出された位置を含む小領域に対応する前記人工画像を生成するものであることを特徴とする請求項１記載の画像生成装置。
3. 前記人工画像生成手段が、
   前記分類された各小領域の構造物が正常であるときに該小領域毎に現れる固有の特徴を有する複数の固有画像を記憶する固有画像記憶手段を有し、
   前記人工画像を生成する小領域と前記複数の固有画像それぞれとの類似度に応じた重み付けをして、該複数の固有画像を加算することにより該小領域の人工画像を生成するものであることを特徴とする請求項１または２記載の画像生成装置。
4. 前記固有画像記憶手段に記憶される固有画像が、被写体を撮影して得られた医用画像の前記構造物が正常な前記各領域の画像に基づいて主成分分析して得た画像であることを特徴とする請求項３記載の画像生成装置。
5. 前記医用画像が、前記被写体の胸部を撮影して得た胸部画像であり、
   前記分類手段が、
   前記胸部画像より肺野領域を認識する肺野認識手段と、
   前記胸部画像より肋骨を認識する肋骨認識手段とを有し、
   肺野領域内の位置と肋骨の重なりに応じて前記多数の小領域を分類するものであることを特徴とする請求項１から４いずれか記載の画像生成装置。
6. 人体等の被写体の所定の部位を撮影して得られた解剖学的特徴を有する構造物を含む医用画像において、該医用画像を細分化した多数の小領域を前記構造物から得られる解剖学的特徴が互いに類似する小領域毎に分類する分類ステップと、
   前記分類された小領域のうち少なくとも１つの小領域について、前記構造物が正常な小領域の人工画像を生成する人工画像生成ステップとを備えることを特徴とする画像生成方法。
7. コンピュータを、
   人体等の被写体の所定の部位を撮影して得られた解剖学的特徴を有する構造物を含む医用画像において、該医用画像を細分化した多数の小領域を前記構造物から得られる解剖学的特徴が互いに類似する小領域毎に分類する分類手段と、
   前記分類された小領域のうち少なくとも１つの小領域について、前記構造物が正常な小領域の人工画像を生成する人工画像生成手段として機能させるプログラム。