JP2004502262A - 指示介入不要なシーン分割 - Google Patents

Abstract

画像中のオブジェクトを分割するための方法に関して記述する。この方法は、画像にトップハットアルゴリズムを適用し、更に、内部及び外部マーカを構成してウォータシェッドアルゴリズムにおいて原画像に適用する。内部マーカは、２値化の縮小処理を用いて構成される。外部マーカは、２値化拡張処理及び境界処理を用いて構成される。この方法には、詳細な解析に先立つ細胞核の第１レベル分割用の特別な用途がある。

Description

【０００１】
本発明は、画像中のオブジェクトを分割するための改善方法に関する。特に、排他的ではないが、画像のシーン分割用のトップハット（Ｔｏｐ・Ｈａｔ）及びウォータシェッド（Ｗａｔｅｒｓｈｅ）変換法を用いて、画像を対象領域に変換するための方法に関する。
【０００２】
発明の背景
コンピュータ画像解析において、一般的なタスクは、取り込まれた画像中の対象オブジェクトの選択である。例えば、コンピュータ自動細胞学において、代表的なタスクは、数多くの細胞を含む画像から細胞核を選択すなわち分割することである。このタスクは、２つのサブタスクに分けられることが多い。
【０００３】
第１ のサブタスクは、シーン分割である。このサブタスクでは、原画像が対象領域に大まかに分割され、各領域には単一の対象細胞核が含まれる。こうして、各対象領域は、より小さな新しい画像と見なして処理し得る。
【０００４】
第２のサブタスクは、各対象領域内における対象細胞核を更に分割することから構成し得る。第２のサブタスクは、１９９８年４月３日付け豪州仮特許出願番号ＰＰ２７８６からの優先権を主張する同時系属出願中のＰＣＴ特許出願番号ＰＣＴ／ＡＵ９９／００２３１の主題である。この特許出願は、「指示介入不要な細胞核分割の方法」という表題が付されており、指示介入不要な細胞核分割に対してビタビ（Ｖｉｔｅｒｂｉ）検索アルゴリズムを用いる能動的輪郭線（ａｃｔｉｖｅ・ｃｏｎｔｏｕｒ）法を記述する。
【０００５】
シーン分割の第１ サブタスクは、ゼロから多数の対象オブジェクトとの間に含まれる画像に作用する。本発明の方法は、シーン分割の実現に関するものである。
【０００６】
画像中のオブジェクトの識別及び分割を行なうための手法には様々なものが存在する。シーン分割の１つの方法は、ベテル（ベテル）らによる「数学的形態学を用いた乳房Ｘ線写真に関する微小石灰化像の分割及び数値解析（１９９７年９ 月発刊の英国放射線医学機関紙、Ｖｏｌ．７０、Ｎｏ．８３７、９０３乃至９１７頁）」に記載されている。ここでは、数学的形態学の簡単なトップハット及びウォータシェッドアルゴリズムを用いて、デジタル化された乳房Ｘ線写真上の微小石灰化像を自動的に検出し分割するための方法が開示されている。このベテルプロセスは、不十分なノイズ耐性及び領域拡張の制約により、細胞核分割における用途が制限されている。
【０００７】
発明の目的
本発明の目的は、画像シーン分割の改善方法を提供することである。
本発明の更なる目的は、後続の核特性を決定するために、画像シーンを細胞核が含まれる対象領域に分割するための改善方法を提供することである。他の目的は、以下の説明から明らかになるであろう。
【０００８】
発明の概要
唯一の又は真に最も広範な形態である必要はないが、１つの形態において、本発明は、シーン分割の改善方法に属し、以下の段階を含む。即ち、
（ｉ）トップハット演算子によって入力画像を変換する段階と、
（ｉｉ）前記トップハット変換画像に対して縮小処理を行なって内部マーカ画像を生成する段階と、
（ｉｉｉ）前記内部マーカ画像による前記トップハット変換画像を再構成することによって対象オブジェクトの大きさ未満にオブジェクトを削除して再構成画像を生成する段階と、
（ｉｖ）前記再構成画像に対して拡張処理を行なって外部マーカ画像を生成する段階と、
（ｖ）前記外部マーカ画像の境界を決定する段階と、
（ｖｉ）ウォータシェッド演算子によって前記内部マーカ画像及び前記境界が決められた外部マーカ画像を用いて、前記入力画像を変換して分割画像を生成する段階と、
が含まれる。
【０００９】
好適には、この方法には、更に、各分割されたオブジェクトの周囲に対象領域を描き対象領域画像を生成する段階が含まれてもよい。
トップハット変換の段階に先立ち、好適には、この方法には、係数Ｎによって入力画像をダウンサンプリングして、より小さい画像を生成する段階が含まれる。
【００１０】
前記縮小処理及び拡張処理の段階の後、好適には、この方法には、係数Ｎによって縮小処理及び拡張処理された画像をアップサンプリングする段階が含まれる。
【００１１】
あらゆる適切なＮの値を用いてよい。アップサンプリング段階では、内部及び外部マーカ画像の大きさが入力画像の大きさと同じになるように、同じ係数Ｎを用いるのが適切である。
添付の図面を参照して、本発明の好適な実施形態に関して説明する。
【００１２】
好適な実施形態の詳細な説明
図１は、シーン分割プロセスに含まれる段階のフローチャートを示す。各段階の後に生成された画像は、太字で示す文字によって示す。太文字は、本説明において一貫して参照し、図１と相互参照してよい。
【００１３】
分割プロセスにおける第１ 段階は、入力シーン画像Ａをより小さい画像Ａ’にダウンサンプリングすることであり得る。このことを図２に示す。このことの実現には、他のダウンサンプリング方法も用い得るが、例えば、４分木分解を用い得ると考えられる。
【００１４】
これによって入力画像をダウンサンプリングする係数Ｎは、入力画像の大きさ及び解像度に依存し得る。入力画像を拡張すると、入力画像をダウンサンプリングし得る程度にも影響が生じ得る。Ｎの値が２である場合、４画素×４画素の画像が１画素にダウンサンプリングされる。Ｎは値１を取り得るが、この場合、ダウンサンプリングプロセスは、入力画像の大きさに影響を及ぼさない。本発明の方法は、入力画像の大きさを変化させることなく実行し得る。ウィルソン（Ｗｉｌｓｏｎ）及びスパン（Ｓｐａｎｎ）（画像分割と不確定性、Ｗｉｌｅｙ出版社、１９８８）は、半径２^ｒの円形画像オブジェクトを仮定して、以下のようにＮの最適値を計算した。
【００１５】
【数５】

しかしながら、入力画像をダウンサンプリングする利点の１つは、その結果生じる小さな画像がより少数の画素を含むために、処理時間が短くなることである。もう１つの利点は、ノイズの低減であり、ノイズは、ダウンサンプリングプロセス中に平滑処理される。従って、ダウンサンプリングした画像のコントラストは、原入力画像のコントラストよりも良い。
【００１６】
以下の擬似コードのブロックは、適切なダウンサンプリングを実現する。
【００１７】
【表１】

次にダウンサンプリングした画像は、ジャックウェイ（Ｊａｃｋｗａｙ）トップハット変換等のトップハット変換を受ける。
【００１８】
【数６】

ここで、ｆは、原画像であり、Ｂ_ｄｏ及びＢ_ｄｉは、それぞれ外部及び内部構成係数であり、
【００１９】
【数７】

は、それぞれ拡張処理、縮小処理及び所定の差異の標準的な形態演算子である。中間画像Ｈは、以下の式によってトップハット画像となるように値Ｔによって最終的に閾値処理される。
【００２０】
【数８】

ここで、Ｔｈはトップハット画像である。ジャックウェイ・トップハット変換は、電子工学書簡、Ｖｏｌ．３６、Ｎｏ．１４、１１９４乃至１１９５頁に詳述されている。他の可能なトップハット変換に関しては、電子工学書簡論文を参照されたい。
【００２１】
図３において、ダウンサンプリングした中間諧調画像Ａ’（図３の下の画像）は、地形図（図３の上の画像）として扱われ、高い高度のレベルは、中間諧調画像の暗い画素を表し、低い高度のレベルは明るい画素を表す。
【００２２】
トップハット変換は、トップハット形状をした３次元形状を３次元地形図上に移すことによって作用する。トップハットの縁は、トップハット真下の地形図の最も高い部分に載るように、地形図のあらゆる位置に配置される。トップハットは、同じ姿勢を維持する。すなわち、２つの異なるレベル上に載置されて傾くことはない。地形画像の一部がトップハットの先端部を貫通する場合、画像のこの部分は変換された画像においてラベリング処理される。画像の特定の部分がトップハットを貫通しない場合、この部分は変換された画像においてラベリング処理されない。このことについては、図４に２次元で示す。
【００２３】
図５は、図３のダウンサンプリング画像Ａ’をトップハット変換した結果Ｔ’を示す。トップハットを貫通する地形図の部分は白色で示し、そうでない部分は黒色で示す。図５と図２の入力細胞画像を比較すると、トップハット画像における白色領域の位置が、対象オブジェクトの位置に一致するものが幾つかあることが分かる。
【００２４】
シーン分割プロセスにおける次の段階は、対象オブジェクトに一致しない図５に示す白色領域を除去することである。このことは、図５の画像の縮小処理によって実現される。形態縮小処理は、画像の領域から画素を除去して、領域を一様に小さくする好適な手法である。係数Ｋ_１による２値化形態縮小処理に適したプロセスは、以下の擬似コードで示される。
【００２５】
【表２】

図５の画像の縮小処理結果が、図６に示す画像Ｉ’である。図５の小さい白色領域には完全に除去された領域が幾つかある一方で、大きい白色領域が小さくなったことが理解できる。プロセスにおけるこの段階において、目的とすることは、図６の全ての白色領域が、図２の入力画像中にある対象オブジェクト内の点に対応するということである。
【００２６】
図６の画像を用いて、固定した大きさのボックスを図６の各白色領域の周辺に描くことによって対象領域を生成することが潜在的に可能である。しかしながら、本発明の方法は、ウォータシェッド変換を用いて、より良い推定の対象領域を得ることである。
【００２７】
ウォータシェッド変換には、２つの入力が必要である。各対象オブジェクト内部の点である内部マーカ、及び各対象オブジェクト外部の閉じた領域である外部マーカが必要である。図６の白色領域は、良好な内部マーカの役割を果たし、又本発明に基づく良好な外部マーカの生成については、以下に述べる。
【００２８】
図６の画像Ｉ’は、外部マーカ生成のための始点として用いられる。２値化再構成として知られる演算を用いて、図６のＩ’の白色領域からの図５のＴ’の白色領域を再生長する。しかしながら、対象オブジェクトに一致することから、図６の白色領域のみが用いられる。以下の擬似コードにより、適切な２値化再構成方法を実演する。
【００２９】
【表３】

この演算結果は、図７に示す画像Ｒ’である。次に、図７の再構成画像Ｒ’は、以下の擬似コードに基づき係数Ｋ_２によって拡張処理される。
【００３０】
【表４】

形態拡張処理は、形態縮小処理とは反対の効果をもたらす好適な手法であり、この場合、図７の白色領域に画素を付加する。図８は、拡張処理の結果Ｍ’を示す。
【００３１】
拡張処理段階は、２値化再構成の前に行ない得るが、追加の計算を行なった後廃棄されることから、そうすることは計算上無駄である。
ウォータシェッド変換の最終出力は、原入力画像の大きさでなければならず、また、従って、この変換は、原入力画像の大きさで行なわなければならない。このため、変換用の入力は、原入力画像の大きさであることが必要である。その結果、図８に示す拡張処理した画像Ｍ’及び図６に示す内部マーカ画像Ｉ’は、原画像の大きさにアップサンプリングされる。画像をアップサンプリングする係数Ｎは、原入力画像をダウンサンプリングして原画像に縮小する係数と同じである。内部マーカ画像Ｉは、Ｉ’をアップサンプリングした結果であり、図９に示す。Ｍ’をアップサンプリングした結果は、画像Ｍであり、図１０に示す。
【００３２】
以下の擬似コードは、画像Ｉ’から画像Ｉへのアップサンプリングを例示する。同じアルゴリズムを適用して、Ｍ’をＭにアップサンプリングし得る。
【００３３】
【表５】

ウォータシェッド変換を必要とする外部マーカは、アップサンプリングした白色領域の境界を決定することによって、アップサンプリングした拡張処理画像から生成し得る。境界を図１１の画像Ｏに示す。
【００３４】
境界処理を行なう１つの方法は、入力画像の各黒色背景画素に注目することによるものであり、その近傍の何れかが白色であれば、境界画像中の対応する画素を白色に変える。他の全ての場合、境界画像中で黒色画素になる。このプロセスは、以下の擬似コードにおいて表される。
【００３５】
【表６】

境界処理アルゴリズムの結果は、図１１に示す画像Ｏである。図１２は、図２の原入力画像を基準とした図１１の外部マーカ及び図９の内部マーカの位置決め方法を示す。
【００３６】
このプロセスにおける次の段階は、１９９３年ニューヨークでマーセルデッカ（Ｍａｒｃｅｌ・Ｄｅｋｋｅｒ）によって出版された“画像処理における数学的形態論”の第１２章、４３３乃至４８２頁にボイヒャ（Ｂｅｕｃｈｅｒ）及びメーヤ（Ｍｅｙｅｒ）によって記載されたウォータシェッドアルゴリズムを適用することである。生成された内部及び外部マーカを入力として用いたウォータシェッド変換の結果が画像Ｗであり、これを図１３に示す。各対象オブジェクトの輪郭が描かれていることが分かる。
【００３７】
このプロセスの最終段階は、必要な対象領域ＲＯＩを抽出することである。境界を形成するボックスが各対象オブジェクトの周囲に配置され、その結果生じる対象領域画像ＲＯＩの最終的な集合を図１４に示す。以下のアルゴリズムがこのプロセスに適する。
【００３８】
【表７】

これらの画像は、上述した第２分割サブタスクの場合等、更に分割処理するために用い得る。
【００３９】
明細書全体において、その目的は、何れか１つの実施形態又は特徴の特定の集合に本発明を限定することなく、本発明の好適な実施形態を記述することである。当業者は、本発明の範囲内にある特定の実施形態からの変形例を実現し得る。
【図面の簡単な説明】
【図１】本発明の段階を示すフローチャートを示す図。
【図２】ダウンサンプリング前の入力画像Ａとダウンサンプリング後の画像Ａ’を示す図。
【図３】地形図の画像処理を示す図。
【図４】信号のジャックウェイ・トップハット変換を示す図。
【図５】ジャックウェイ・トップハット変換を画像Ａ’に適用した結果である画像Ｔ’を示す図。
【図６】形態縮小処理を画像Ｔ’に適用した結果である画像Ｉ’を示す図。
【図７】マーカ画像Ｉ’を用いて２値化再構成を画像Ｔ’に適用した結果である画像Ｒ’を示す図。
【図８】形態拡張処理を画像Ｒ’に適用した結果である画像Ｍ’を示す図。
【図９】アップサンプリングを画像Ｉ’に適用した結果である内部マーカ画像Ｉを示す図。
【図１０】アップサンプリングを画像Ｍ’に適用した結果である画像Ｍを示す図。
【図１１】境界演算を画像Ｍに適用した結果である外部マーカ画像Ｏを示す図。
【図１２】内部マーカ画像Ｉと外部マーカ画像Ｏとが重ね合わせられた入力画像Ａを示す図。
【図１３】内部マーカ画像Ｉ及び外部マーカ画像Ｏによる入力画像Ａのウォータシェッド変換画像Ｗを示す図。
【図１４】オブジェクト抽出を画像Ｗに適用した結果であるＲＯＩ画像を示す図。

Claims (14)

1. シーン分割の改善方法であって、
   （ｉ）トップハット演算子によって入力画像を変換する段階と、
   （ｉｉ）前記トップハット変換画像に対して縮小処理を行なって内部マーカ画像を生成する段階と、
   （ｉｉｉ）前記内部マーカ画像による前記トップハット変換画像を再構成することによって対象オブジェクトの大きさ未満にオブジェクトを削除して再構成画像を生成する段階と、
   （ｉｖ）前記再構成画像に対して拡張処理を行なって外部マーカ画像を生成する段階と、
   （ｖ）前記外部マーカ画像の境界を決定する段階と、
   （ｖｉ）ウォータシェッド演算子によって前記内部マーカ画像及び前記境界が決められた外部マーカ画像を用いて、前記入力画像を変換してオブジェクトの分割画像を生成する段階と、が含まれる方法。
2. 請求項１に記載の方法であって、更に、各オブジェクトの周囲に対象領域を描き対象領域画像を生成する段階が含まれる方法。
3. 請求項１に記載の方法であって、更に、或る係数によって入力画像をダウンサンプリングして、より小さい画像を生成する先行段階が含まれる方法。
4. 請求項１に記載の方法であって、更に、縮小処理及び拡張処理された画像を或る係数によってアップサンプリングする段階が含まれる方法。
5. 請求項１に記載の方法であって、更に、係数Ｎによって入力画像をダウンサンプリングして、より小さい画像を生成する段階と、係数Ｍによって縮小処理及び拡張処理された画像をアップサンプリングする段階と、が含まれる方法。
6. 請求項５に記載の方法であって、内部及び外部マーカ画像の大きさが入力画像の大きさと同じになるように、係数Ｎ及びＭが同じである方法。
7. 請求項１に記載の方法であって、トップハット演算子が、
   

   

   の形式で表され、ここで、ｆは原画像、Ｂ_ｄｏ及びＢ_ｄｉは、それぞれ外部及び内部構成要素、
   

   

   は、それぞれ拡張処理、縮小処理及び所定の差異の標準的な形態演算子である方法。
8. 請求項１に記載の方法であって、前記縮小処理は、形態縮小処理である方法。
9. 請求項１に記載の方法であって、前記拡張処理は、形態拡張処理である方法。
10. 以下の形式で表されるシーン分割のために入力画像を変換するためのトップハット演算子であって、前記形式は、
    

    

    の形式で表され、ここで、ｆは原画像、Ｂ_ｄｏ及びＢ_ｄｉは、それぞれ外部及び内部構成要素、
    

    

    は、それぞれ拡張処理、縮小処理及び所定の差異の標準的な形態演算子である方法。
11. シーン分割用の内部マーカを形成するための方法であって、請求項９に記載の演算子で入力画像を変換する段階が含まれ、トップハット変換した画像を縮小処理するための方法。
12. シーン分割用の外部マーカを形成するための方法であって、請求項９に記載の演算子で入力画像を変換する段階が含まれ、内部マーカ画像による前記トップハット変換した画像を再構成することによって対象オブジェクトの大きさ未満にオブジェクトを削除して再構成画像を生成し、再構成画像を拡張処理し、拡張処理された再構成画像の境界を決定するための方法。
13. 請求項１２に記載の方法であって、内部マーカが請求項１１の内部マーカである方法。
14. シーン分割の方法であって、入力として内部マーカ画像と、外部マーカ画像と、入力画像とによるウォータシェッド演算子を用いて、シーンを変換する段階が含まれ、内部マーカ画像は、請求項１１に記載の方法によって形成され、外部マーカ画像は、請求項１２に記載の方法によって形成される方法。

Images