JP2000331143A

JP2000331143A - 画像処理方法

Info

Publication number: JP2000331143A
Application number: JP11134780A
Authority: JP
Inventors: Junko Makita; 淳子牧田; Masanobu Takahashi; 正信高橋
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-05-14
Filing date: 1999-05-14
Publication date: 2000-11-30

Abstract

(57)【要約】【課題】病理画像から対象物の形状を抽出する際、移
動中の輪郭が画像中のノイズや他の組織のエッジとひっ
かかることがあり、移動中の輪郭が画像中のノイズ等に
ひっかかると、病理画像から対象物の形状を正確に抽出
することができなくなるなどの課題があった。【解決手段】エネルギー算出ステップ及び移動ステッ
プが相互の処理結果に基づいて処理を繰り返す一方、エ
ネルギー算出ステップがエネルギーを算出する際、初期
段階ではぼかされた入力画像からエネルギーを算出し、
段階的にぼかしが少ない入力画像からエネルギーを算出
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、エネルギーの極
小探索等を実施して画像上の対象物の形状や位置などを
抽出する画像処理方法に関するものである。また、この
発明は、適応的に変化させたサンプリングデータから求
まる分離度最大となる値を用いて領域分割を実行する画
像処理方法に関するものである。

【０００２】

【従来の技術】病理組織学とは、病変を組織学的に観察
して探求する病理学の一分野である。その対象となる病
的材料は、剖検によって得られる人の屍体の組織、生検
によって得られる人の生体組織、動物実験から得られる
動物の組織などである。病理組織学的観察は、疾病また
は病変の研究、疾病または病変の組織病理学的診断、病
理学の実習などを目的として行われる。

【０００３】病理組織学的観察の対象となる組織標本
は、剖検や生検によって得られた組織を顕微鏡による観
察に適するように、一般的には、固定→包埋→薄切→染
色の過程を経て作られる。

【０００４】顕微鏡による観察作業においては、まず、
最も低い倍率で、肉眼的外観と対比しながら、組織学的
レベルで標本の全体像を認識する。そして、どのような
構成成分（上皮組織、腺組織、線維結合識、平滑筋、横
紋筋、脂肪組織、骨、軟骨、リンパ組織、動脈、静脈、
神経組織、リンパ管、諸種の血球など）が見出され、そ
れらがどのように分布しているか、限局性の病変がある
かいなか、あるとすれば、その形、大きさ、数、分布、
周囲との関係はどうかなどを確かめる。

【０００５】その上で必要に応じ、顕微鏡の倍率を高め
て解析を進める。その為には、それぞれの臓器・組織に
ついて、正常の組織学、生理学、生化学、発生学の十分
な認識を備えておくべきであり、それらの認識を総合し
て、機能と構造とが、相互に如何に密接かつ必然的に相
関しているのかをより深く理解しなくてはならない。こ
のことが病理学診断は観察者の訓練と経験度に依存する
ところが大きいと言われる所以である。このため、病理
学検査に定量的客観性が求められてきている。

【０００６】病理検査の多くは、専門医である病理医に
よって行われる。組織を見て診断する組織診は年間５０
０万件以上、細胞を見て診断する細胞診は年間１０００
万件以上発生している。しかし、我が国では認定病理医
の資格を持つ病理医は約１５００名であり、その作業過
程では顕微鏡標本や参考文献の検索など、参照時間も要
することから、長時間作業になりがちであり、システム
化による負担軽減及び診断支援が望まれている。そこ
で、病理画像を定量的に評価するために、病理画像を対
象とするＳＮＡＫＥＳを用いた細胞の形状抽出方法（画
像処理方法）が提唱されている。図１７は従来の画像処
理方法を示すフローチャートである。

【０００７】まず、顕微鏡などから病理画像を入力する
と（ステップＳＴ１０１）、その病理画像に存在する１
つの細胞の輪郭を大まかに初期設定する（ステップＳＴ
１０２）この初期設定した輪郭を以下に示すＳＮＡＫＥＳ処理を
実行して、細胞の真の輪郭に近づける処理を実行する。

【０００８】ＳＮＡＫＥＳ処理は、真の輪郭に一致する
ときに極小となるようなエネルギー関数Ｅを予め定義
し、エネルギーの極小探索を実行して、初期輪郭を真の
輪郭に近づける動的輪郭抽出方法である。輪郭線上のｉ
番目の制御点におけるエネルギー関数Ｅは、次式のよう
に定義される。

【０００９】

【数１】

【００１０】ただし、Ｅ₁は収縮エネルギー、Ｅ₂は制
御点平均距離保持エネルギー、Ｅ₃は曲率エネルギー、
Ｅ₄は画像エネルギーであり、ω₁〜ω₄はエネルギー
Ｅ₁〜Ｅ₄に対応する重み係数である。

【００１１】ＳＮＡＫＥＳ処理を具体的に説明すると、
まず、輪郭上の１点を選択し（ステップＳＴ１０３）、
その選択した輪郭点における画素のエネルギーと、仮
に、その輪郭点を周辺領域に位置する点に移動した場合
における当該周辺領域に位置する点の画素（８近傍の画
素）のエネルギーをそれぞれ算出する（ステップＳＴ１
０４）。

【００１２】そして、合計９個の画素のエネルギーを計
算すると、その中でエネルギー値が最小となる画素の位
置に輪郭上の点を移動させる処理を実行する（ステップ
ＳＴ１０５）。ただし、輪郭上の点が最もエネルギーが
小さければ、その輪郭上の点は移動しない。

【００１３】上記の処理を全ての輪郭上の点について実
行し（ステップＳＴ１０６）、全ての点が収束して移動
しなくなるまで、上記の処理を繰り返し実行することで
（ステップＳＴ１０７）、初期輪郭を真の輪郭に近づけ
る。

【００１４】

【発明が解決しようとする課題】従来の画像処理方法は
以上のように構成されているので、病理画像から対象物
の形状を抽出する際、移動中の輪郭が画像中のノイズや
他の組織のエッジとひっかかることがあり、移動中の輪
郭が画像中のノイズ等にひっかかると、病理画像から対
象物の形状を正確に抽出することができなくなるなどの
課題があった。

【００１５】この発明は上記のような課題を解決するた
めになされたもので、画像中のノイズや他の組織の影響
を回避して、対象物の形状等を正確に抽出することがで
きる画像処理方法を得ることを目的とする。

【００１６】

【課題を解決するための手段】この発明に係る画像処理
方法は、エネルギー算出ステップ及び移動ステップが相
互の処理結果に基づいて処理を繰り返す一方、エネルギ
ー算出ステップがエネルギーを算出する際、初期段階で
はぼかされた入力画像からエネルギーを算出し、段階的
にぼかしが少ない入力画像からエネルギーを算出するよ
うにしたものである。

【００１７】この発明に係る画像処理方法は、輪郭点と
周辺領域に位置する点の輝度値の変化量に依存するエネ
ルギーと、輪郭の形状に依存するエネルギーを加算し、
その加算結果をエネルギーの算出結果とするようにした
ものである。

【００１８】この発明に係る画像処理方法は、輝度値の
変化量が基準値より小さい場合には、輝度値の変化量に
依存するエネルギーを加算せず、輪郭の形状に依存する
エネルギーを算出結果とするようにしたものである。

【００１９】この発明に係る画像処理方法は、輝度値の
変化方向が輪郭の外側から内側に向かう方向と一致しな
い場合には、輝度値の変化量に依存するエネルギーを加
算せず、輪郭の形状に依存するエネルギーを算出結果と
するようにしたものである。

【００２０】この発明に係る画像処理方法は、入力画像
に存在する対象物が内空のある細胞核の場合、その内空
の周辺領域の輝度値に基づいて内空を塗りつぶすことに
より、その入力画像を補正するようにしたものである。

【００２１】この発明に係る画像処理方法は、輪郭上に
位置する輪郭点の曲率エネルギーを算出し、その曲率エ
ネルギーが規定値以上の輪郭点が存在する場合、その輪
郭点の周辺領域に位置する点の中で曲率エネルギーが最
小の点に輪郭点を移動するようにしたものである。

【００２２】この発明に係る画像処理方法は、エネルギ
ーの極小探索を実施する際、その極小探索に使用するエ
ネルギー関数の重み係数を輪郭点の周辺領域の輝度分布
に応じて変更するようにしたものである。

【００２３】この発明に係る画像処理方法は、細胞核以
外の領域が所定の面積より小さい場合には、その領域の
周辺領域の輝度値に基づいて当該領域を塗りつぶすよう
にしたものである。

【００２４】この発明に係る画像処理方法は、細胞核以
外の領域を抽出すると、その領域を削除して残った領域
の骨格を抽出し、その骨格を構成する画素のうち、背景
に隣接している画素を削除するようにしたものである。

【００２５】この発明に係る画像処理方法は、細胞核の
位置を抽出すると、その位置の輝度値を参照して、その
抽出結果の正否を判定し、その抽出結果が正しくない場
合には、その位置を削除するようにしたものである。

【００２６】この発明に係る画像処理方法は、内積値の
ヒストグラムの頻度に基づいてサンプリング対象の画素
の変更をサンプリングステップに指示し、そのサンプリ
ング結果にしたがって入力画像の分割処理を繰り返すよ
うにしたものである。

【００２７】この発明に係る画像処理方法は、分割ステ
ップが入力画像を分割する際に使用する閾値を設定する
ようにしたものである。

【００２８】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。実施の形態１．図１はこの発明の実施の形態１による画
像処理方法を示すフローチャートであり、ＳＴ１はラプ
ラシアンフィルタでフィルタリング処理をするフィルタ
リングステップ（設定ステップ）、ＳＴ２はフィルタリ
ング結果を閾値処理する閾値処理ステップ（設定ステッ
プ）、ＳＴ３は二値化画像を生成する二値化画像生成ス
テップ（設定ステップ）、ＳＴ４はエッジで囲まれる領
域を収縮・膨張する収縮・膨張ステップ（設定ステッ
プ）、ＳＴ５は領域の外周を初期輪郭に設定する輪郭設
定ステップ（設定ステップ）、ＳＴ６はぼかした画像を
用いたＳＮＡＫＥＳ処理を実行する第１のＳＮＡＫＥＳ
処理ステップ（エネルギー算出ステップ、移動ステッ
プ）、ＳＴ７はぼかしていない画像を用いたＳＮＡＫＥ
Ｓ処理を実行する第２のＳＮＡＫＥＳ処理ステップ（エ
ネルギー算出ステップ、移動ステップ）である。

【００２９】次に動作について説明する。ＳＮＡＫＥＳ
を用いて形状抽出を行う際、まず、初期輪郭を設定す
る。即ち、入力画像に対して図１６に示すようなラプラ
シアンフィルタでフィルタイリング処理を実行し、ゼロ
クロス点でエッジ抽出を行う。そして、そのエッジ抽出
結果をＳＮＡＫＥＳ処理の初期輪郭とする。

【００３０】しかし、入力画像が図２（Ａ）に示すよう
に複数の対象物を含む場合、初期輪郭を用いてＳＮＡＫ
ＥＳ処理を実行しても、各対象物個別の輪郭を求めるこ
とができない。そこで、入力画像が１つの対象物のみを
含むように、次のような方法で初期輪郭を設定する。

【００３１】まず、入力画像に対してラプラシアンフィ
ルタでフィルタイリング処理を実行すると（ステップＳ
Ｔ１）、そのフィルタリングの処理結果に対して閾値処
理を実行し、ゼロ未満の領域を削除する（ステップＳＴ
２）。ゼロ未満の領域を削除すると、残った領域と削除
した領域の二値化画像を作成し（ステップＳＴ３）、残
った領域を収縮して、その後、膨張する処理を実行する
（ステップＳＴ４）。

【００３２】図２（Ｂ）は残った領域を収縮した様子を
示し、図２（Ｃ）は膨張した様子を示している。このよ
うに収縮・膨張することで、残った領域の細くくびれて
いる部分が切り離され、各対象物を1つずつ含む領域が
得られる。このようにして得られる領域の外周部をＳＮ
ＡＫＥＳ処理の初期輪郭に設定する（ステップＳＴ
５）。

【００３３】次に、ＳＮＡＫＥＳ処理を用いて初期輪郭
を真の輪郭に近づける処理を実行する（図１７を参
照）。ここで、ＳＮＡＫＥＳ処理とは、従来例の欄で説
明しているが、真の輪郭に一致するときに極小となるよ
うなエネルギー関数Ｅを予め定義し、エネルギーの極小
探索を実行して、初期輪郭を真の輪郭に近づける動的輪
郭抽出方法である。輪郭線上のｉ番目の制御点における
エネルギー関数は、上述したように、式（１）で定義さ
れる。

【００３４】ＳＮＡＫＥＳ処理を念のため説明すると、
図１７に示すように、まず、輪郭上の１点を選択し（ス
テップＳＴ１０３）、その選択した輪郭点における画素
のエネルギーと、仮に、その輪郭点を周辺領域に位置す
る点に移動した場合における当該周辺領域に位置する点
の画素（８近傍の画素）のエネルギーをそれぞれ算出す
る（ステップＳＴ１０４）する。

【００３５】そして、合計９個の画素のエネルギーを計
算すると、その中でエネルギー値が最小となる画素の位
置に輪郭上の点を移動させる処理を実行する（ステップ
ＳＴ１０５）。ただし、輪郭上の点が最もエネルギーが
小さければ、その輪郭上の点は移動しない。

【００３６】上記の処理を全ての輪郭上の点について実
行し（ステップＳＴ１０６）、全ての点が収束して移動
しなくなるまで、上記の処理を繰り返し実行することで
（ステップＳＴ１０７）、初期輪郭を真の輪郭に近づけ
る。

【００３７】この実施の形態１は、ＳＮＡＫＥＳ処理を
実行する点では、上記従来例と共通するが、下記の点が
大きく相違する。即ち、ＳＮＡＫＥＳ処理の初期段階で
は、入力画像内の小さなノイズ部分の影響を減らし、ノ
イズが対象物のエッジとして認識されるのを防止するた
め、５×５エリヤ内でぼかした入力画像から画像エネル
ギーＥ₄を算出し、その画像エネルギーＥ₄を要素とす
るエネルギーＥを用いて輪郭点の移動処理を実行する
（ステップＳＴ６）。ここで、ぼかした入力画像は、ス
テップＳＴ１でフィルタリング処理される入力画像に対
して、分解能が下げられた入力画像である。

【００３８】上記のＳＮＡＫＥＳ処理が終了すると、輪
郭をより正確な位置に近づけるため、今度は、ぼかして
いない入力画像から画像エネルギーＥ₄を算出し、その
画像エネルギーＥ₄を要素とするエネルギーＥを用いて
輪郭点の移動処理を実行する（ステップＳＴ７）。

【００３９】以上で明らかなように、この実施の形態１
によれば、初期段階ではぼかされた入力画像からエネル
ギーを算出してＳＮＡＫＥＳ処理を実行し、次にぼかし
ていない入力画像からエネルギーを算出してＳＮＡＫＥ
Ｓ処理を実行するように構成したので、画像中のノイズ
や他の組織の影響を回避して、対象物の形状を正確に抽
出することができる効果を奏する。

【００４０】実施の形態２．上記実施の形態１では、画
像エネルギーＥ₄（輪郭点と周辺領域に位置する点の輝
度値の変化量に依存するエネルギー）と、エネルギーＥ
₁〜Ｅ₃（輪郭の形状に依存するエネルギー）の総和を
加算し、その加算結果をエネルギーＥとするものについ
て示したが、輝度値の変化量が基準値より小さい場合に
は、画像エネルギーＥ₄を加算せず、エネルギーＥ₁〜
Ｅ₃の総和をエネルギーＥとするようにしてもよい。

【００４１】即ち、ＳＮＡＫＥＳ処理で用いられるエネ
ルギーＥの算出において、画像エネルギーのＥ₄が、対
象物の周辺の画像エネルギーと比較して相対的に大きい
場合にだけ加算し、そうでない場合には加算しないこと
にする。これにより、輝度差が大きくエッジが強い場合
にのみ画像エネルギーＥ₄の値を参照するため、初期輪
郭から真の輪郭に移動する途中にある比較的輝度差の小
さい偽のエッジに、輪郭が収束するのを防止でき、正確
に輪郭を抽出することができる効果を奏する。

【００４２】実施の形態３．上記実施の形態１では、画
像エネルギーＥ₄と、エネルギーＥ₁〜Ｅ₃の総和を加
算し、その加算結果をエネルギーＥとするものについて
示したが、輝度値の変化方向が輪郭の外側から内側に向
かう方向と一致しない場合には、画像エネルギーＥ₄を
加算せず、エネルギーＥ₁〜Ｅ₃の総和をエネルギーＥ
とするようにしてもよい。

【００４３】即ち、ＳＮＡＫＥＳ処理で用いられるエネ
ルギーＥの算出において、画像エネルギーＥ₄の値は、
例えば、背景の輝度値が対象物の輝度値より明るい場
合、輪郭上での輝度変化が輪郭の外から内に向かって、
明から暗に変化している場合にのみに加算し、そうでな
い場合には加算しないことにする。これにより、物体の
真の輪郭の内部に偽のエッジがある場合、輪郭がそのエ
ッジに向かって収縮しようとしても、輝度変化が暗から
明になり、逆方向に変化するため画像エネルギーＥ₄が
加算されず、偽のエッジによる収束するのを防止するこ
とができる効果を奏する。

【００４４】実施の形態４．病理画像から細胞核の形状
を抽出する場合、例えば、図３で示すような色の薄い核
内空のある細胞核には、輝度が大きく変化するエッジが
細胞核の外部と内部に存在する。このような大きい輝度
変化のある部分では画像エネルギーＥ₄の値も大きくな
る。この核内空が細胞核の端にあると、ＳＮＡＫＥＳ処
理により輪郭が細胞核の内部にあるエッジの方向に移動
し、その結果、抽出される輪郭が図３のように細胞核の
輪郭の内側に引っ張られて、形状を正確に抽出できない
ことがある。そこで、ＳＮＡＫＥＳ処理に用いる病理画
像内の細胞核に核内空がある場合には、予め核内空を周
囲の色で塗りつぶす処理を実行する。

【００４５】具体的には、輝度の平均値がある一定値以
上の空領域である可能性の高い領域を、核内空の候補領
域として選定する。次に、各候補領域毎にラベル付けを
実行し、その中で初期輪郭に一部でも触れている領域を
候補候補から削除する。

【００４６】そして、削除されずに残された候補領域は
核内空であると考え、各候補領域の一回り外にある画素
の輝度の平均値をそれぞれ算出し、各平均値で各候補領
域を塗りつぶす処理を実行する。その後、塗りつぶした
病理画像を用いてＳＮＡＫＥＳ処理を実行し、対象物の
輪郭を抽出する。これにより、細胞核以外のエッジに輪
郭がひっかかるのを防止することができる効果を奏す
る。

【００４７】実施の形態５．上記実施の形態４で示すよ
うなＳＮＡＫＥＳ処理を用いて細胞核の形状抽出を行っ
ても、図５中の輪郭のように、近くにある他の組織など
のエッジに引っ張られ、輪郭が正しく抽出できない場合
がある。そこで、この実施の形態５では、ＳＮＡＫＥＳ
処理を実施した後、その抽出した輪郭の中で他の組織に
ひっかかっている部分があれば、そのひっかかりを解除
し、その後、再度ＳＮＡＫＥＳ処理を実行して、他の組
織による影響を受けない輪郭を抽出する。以下、図４の
フローチャートを参照しながら説明する。

【００４８】まず、上記実施の形態４と同様に、ＳＮＡ
ＫＥＳ処理を実行して細胞核の輪郭を抽出する（ステッ
プＳＴ８）。その後、輪郭上の各点における曲率エネル
ギーＥ₃を算出する（ステップＳＴ９）。細胞の形状は
一般的に丸みを帯びていることから、輪郭上の点で曲率
エネルギーＥ₃の値がある一定値以上になっているもの
は、どこか別の組織のエッジにひっかかっているものと
考えられる。

【００４９】輪郭上の点で曲率エネルギーＥ₃の値が一
定値以上の輪郭上の点が検出された場合（ステップＳＴ
１０）、その輪郭点を８近傍の点の中で最も曲率エネル
ギーＥ₃の小さくなる点の方向に移動して、ひかかりを
解除し（ステップＳＴ１１）、その後、再びＳＮＡＫＥ
Ｓ処理を実行して、最終的に輪郭を抽出する（ステップ
ＳＴ１２）。これにより、近くにある他の組織などのエ
ッジに引っ張られることなく、輪郭を正確に抽出するこ
とができる効果を奏する。

【００５０】実施の形態６．上記実施の形態１等では、
エネルギー関数の重み係数ω₁〜ω₄の設定方法につい
て特に言及していないが、エネルギーの極小探索を実施
する際、エネルギー関数の重み係数ω₁〜ω₄を輪郭点
の周辺領域の輝度分布に応じて変更するようにしてもよ
い。

【００５１】即ち、ＳＮＡＫＥＳ処理で用いられるエネ
ルギーの重み係数ω₁〜ω₄を固定値にせず、初期輪郭
を含む矩形内の画素の輝度分布の様子を調べ、その状況
に応じて重み係数ω₁〜ω₄の値を決定する。例えば、
全体的に画像内の輝度の分布が小さく、コントラストが
弱い画像の場合、画像エネルギーＥ₄の重み係数ω₄を
大きくして、少しの輝度値の変化でもエネルギーＥに大
きな差が現れるようにする。逆に、画像内のコントラス
トが強い場合、画像エネルギーＥ₄の重み係数ω₄を小
さくして、多少の輝度変化ではエネルギーＥに大差が出
ないようにする。

【００５２】これにより、例えば、染色方法による色の
違いやむら、カメラの特性による色のばらつきなど、コ
ントラストの強さに影響を受けない抽出結果を得られる
効果を奏する。

【００５３】実施の形態７．図６はこの発明の実施の形
態７による画像処理方法を示すフローチャートである。
以下、図６を参照して説明する。まず、顕微鏡などから
得られる病理画像に対して、ラプラシアンフィルタでフ
ィルタリング処理を実行し、このフィルタリング結果を
閾値処理して細胞核領域を抽出する。

【００５４】しかし、例えば、核の中に色の薄い核内空
がある場合、閾値処理すると核内空が削除されてしまう
ため、細胞核が図７に示すようなドーナツ形状になるこ
とがある。このまま処理を続けると、最終的に、１つの
細胞核上に複数の核位置が抽出されるなど、処理結果に
影響を及ぼす。そこで、核内空を検出して、その近傍の
画素の輝度値で予め塗りつぶしておく処理を加える。

【００５５】具体的には、まず、ラプラシアンフィルタ
によるフィルタリング処理結果を用いて閾値処理を実行
し、細胞核領域を抽出する（ステップＳＴ１３）。次
に、閾値処理により削除されずに残った領域と、削除さ
れた領域の二値化画像を作成し（ステップＳＴ１４）、
削除された領域の方をラベリングする（ステップＳＴ１
５）。

【００５６】そのラベリング結果の中で、背景以外で面
積がある程度小さい領域は核内空として抽出する（ステ
ップＳＴ１６）。そして、核内空として抽出された各領
域の一回り外にある画素の輝度の平均値をそれぞれ算出
し（ステップＳＴ１７）、その平均値でそれぞれの核内
空領域を塗りつぶす処理を実行する（ステップＳＴ１
８）。

【００５７】その後、病理画像を１／２に圧縮し（ステ
ップＳＴ１９）、再度、ラプラシアンフィルタを用いて
フィルタリング処理を実行する（ステップＳＴ２０）。
そのフィルタリング結果から、フィルタリング後の値が
極大となる点を抽出し（ステップＳＴ２１）、その抽出
点を細胞核のある位置とする（ステップＳＴ２２）。こ
れにより、ドーナツ形状を無くし、誤った核位置の抽出
を減らすことができる。

【００５８】なお、１／２圧縮は、２×２領域内の平均
値から作成する方法ではなく、２×２領域内で最も輝度
ＲＧＢの平均値が低い画素（色の濃い画素）を求め、そ
の値をその領域の代表色とする方法で行う。これによ
り、色の濃い細胞核を強調した圧縮をすることができ
る。

【００５９】実施の形態８．この実施の形態８では、上
記実施の形態７と同様に、病理画像に対してラプラシア
ンフィルタでフィルタリング処理を実行し、そのフィル
タリング結果を閾値処理して細胞核の領域を抽出したと
き、図８（Ａ）中の矢印で指した部分のように細胞核と
一体化して抽出されてしまう細長い細胞核以外の部分
を、骨格の抽出結果を用いて、削除または切り離す処理
を実行する。

【００６０】具体的には、図９に示すように、まず、入
力画像をラプラシアンフィルタでフィルタリング処理
し、そのフィルタリング結果を閾値処理して細胞核領域
を抽出する（ステップＳＴ２３）。その後、閾値処理に
より削除された領域と削除されなかった領域の二値化画
像を作成する（ステップＳＴ２４）。

【００６１】そして、二値化画像の各領域の丸みや面積
等の情報から明らかに細胞核である領域や、細胞核と細
胞核以外のものが一体化している可能性の低い面積の小
さい領域を削除し（ステップＳＴ２５）、残った領域の
骨格を抽出する（ステップＳＴ２６）。これにより、1
つの細胞核に複数の核位置が抽出されるのを防止でき、
核位置の抽出精度を高めることができる効果を奏する。

【００６２】図８（Ｂ）は、二値化画像から余分な領域
を削除し、残った領域の骨格を抽出した結果である。そ
の後、図８（Ｂ）の黒い太い線で示した骨格の中で、背
景に隣接している画素を、細胞核領域を抽出した図８
（Ａ）の画像から削除することで、細くくびれていた
り、細長く伸びている細胞核以外の領域を削除する（ス
テップＳＴ２７）。図８（Ｃ）は図８（Ａ）から、骨格
抽出結果を用いて細胞核以外の領域を削除した結果であ
る。

【００６３】なお、図１０は骨格抽出の様子を模式的に
示したものであり、斜線部分は細胞核部分の画素、数字
はそれぞれ背景からの距離、太枠が骨格として抽出され
る画素、丸印のついている画素は骨格抽出の結果が背景
に隣接しているため削除される画素をそれぞれ示してい
る。骨格の抽出方法は、まず、背景部分の画素を０と設
定し、その他の全ての画素については、それぞれ背景か
らの距離を求める。そして、背景以外の画素において、
その８近傍にある全画素と比較して最大値となる画素を
骨格とする。

【００６４】実施の形態９．この実施の形態９は、上記
実施の形態７で抽出された核位置の画像上の色情報を解
析し、核位置として不正なものを削除することで、さら
に抽出精度を向上するものである。

【００６５】図１１の黒い部分は細胞核、灰色の部分は
細胞核以外の色の濃い間質などの領域を示し、Ａ，Ｂが
核位置として抽出された結果である。Ａは正しく抽出さ
れている核位置を示し、Ｂは細胞核以外の領域に誤って
抽出されている核位置を示している。

【００６６】色情報の解析方法は、まず、抽出された全
ての核位置毎に、その位置の画素の輝度値と周囲の画素
の輝度値の平均を算出して、ヒストグラムを作成する。
図１２はそのヒストグラムの様子を示したものである。

【００６７】次に、ヒストグラムの分離度と分離度最大
となる輝度値Ｔ０、輝度値がＴ０以上の明るい輝度値を
持つデータ群（図１２中のＢ）の平均値Ｔ１と標準偏差
δを求める。これらのデータから、ヒストグラムの分離
度がある程度大きく、かつ、輝度値Ｔ０以上のデータの
輝度の平均値が、細胞核の輝度値として考えられる値よ
り大きい場合、その抽出された核位置の輝度値の分布
が、輝度の高い核以外のものを示す部分と輝度の低い核
を示す部分に別れていると判断し、Ｔ１−２δ以上の輝
度値をもつ核位置は抽出結果から削除する。つまり、図
１２（Ａ）の斜線部分で示される平均輝度値を持つ核位
置の抽出結果を削除する。

【００６８】そうでない場合は、細胞核以外の領域には
ほとんど抽出結果が存在しないと判断し、Ｔ１＋２δよ
り高い輝度値を持つ一部の核位置抽出結果のみを削除す
る。即ち、図１２（Ｂ）の斜線部分で示される平均輝度
値を持つ核位置抽出結果が削除される。

【００６９】図１１中のＡ，Ｂで示される核位置の抽出
結果のうち、Ａはこの処理で不正な核位置の抽出結果と
して削除される。このような処理を追加することで、不
正な核位置の抽出結果を減らすことができる効果を奏す
る。

【００７０】実施の形態１０．この実施の形態１０は、
病理画像を輝度値が色空間内で最も分散値が大きくなる
方向を示すベクトルを用いて、細胞、間質、粘液、何も
無い空領域などの各構成要素ごとに分割する方法であ
る。

【００７１】例えば、図１３（Ａ）は、細胞、間質、空
領域を含む病理画像の輝度（ＲＧＢ）値の分布の様子を
示したものである。この時、ベクトルＶ１，Ｖ２，Ｖ３
は画像の輝度値の固有ベクトルを示し、図１３（Ｂ）は
その中で固有値最大となるベクトルＶ３の方向に輝度値
のヒストグラムをとった結果である。

【００７２】このヒストグラムにおいて３つのピーク
は、それぞれ輝度値の低いピークから順に、細胞、間
質、空に対応する。ここで、ヒストグラムの谷となる部
分を検出して、閾値処理を実行すれば、各要素を分割す
ることができる。図１３（Ｂ）に示すヒストグラムにお
いて、閾値Ｔ０は細胞領域を分割できる閾値を示し、こ
の値を境に細胞から間質に変ることを示している。よっ
て、例えば、細胞を抽出するのであれば、Ｔ０前後の低
めの輝度値を持つ画素から任意の数の画素をサンプリン
グし、その画素の輝度値を用いて作成したヒストグラム
の分離度が最大となる値を用いて閾値処理をすればよ
い。

【００７３】次に、図１４のフローチャートを参照し
て、閾値の算出方法を具体的に説明する。画像は、１画
素につきＲ（Ｒｅｄ），Ｇ（Ｇｒｅｅｎ），Ｂ（Ｂｌｕ
ｅ）のそれぞれ２５６階調で表現されるデジタルデータ
である。まず、この画像上の各画素毎に、ＲＧＢの平均
輝度値Ｍを算出し（ステップＳＴ２８）、ヒストグラム
を作成する（ステップＳＴ２９）。

【００７４】このヒストグラムの分布の頻度に応じて合
計ｎ個の画素をサンプリングする（ステップＳＴ３
０）。この時のサンプリングの対象とする画素の輝度値
の範囲は、分割したい領域に応じて変える。例えば、空
領域を抽出する場合には、平均輝度値Ｍがやや高めの明
るい画素を対象としてサンプリングする。

【００７５】その後、サンプリングした画素の輝度値Ｃ
_i＝（Ｒ_i，Ｇ_i，Ｂ_i）（ｉ＝０，…，ｎ−１）の平
均値と標準偏差を算出し（ステップＳＴ３１）、以下の
ような正規化を実施して、正規化後の画素の輝度値をＣ
_i’＝（Ｒ_i’，Ｇ_i’，Ｂ _i’）（ｉ＝０，…，ｎ−
１）’とする（ステップＳＴ３２）。

【００７６】

【数２】

【００７７】続いて、正規化後の画素の輝度値Ｃ’を用
いて、以下に示す共分散行列を算出する（ステップＳＴ
３３）。

【００７８】

【数３】

【００７９】この共分散行列から求められる固有ベクト
ルのうち、固有値最大となる固有ベクトルＶを求め（ス
テップＳＴ３４）、ベクトルＶと変換後の画像データで
あるＣ’の内積を求める（ステップＳＴ３５）。Ｐ＝Ｖ・Ｃ’

【００８０】次に、内積結果Ｐのヒストグラムを作成す
る（ステップＳＴ３６）。そして、サンプリングした画
素を、正規化したときに算出した平均値と標準偏差を用
いて正規化し、ベクトルＶと内積をとる変換処理を、全
画素に対して実施する（ステップＳＴ３７）。変換処理
した値をもとに、ステップＳＴ３６で作成したヒストグ
ラムの最大値から最小値の範囲内で、分布の頻度に応じ
た数の画素を合計ｎ個サンプリングし直す処理を実行す
る（ステップＳＴ３８）。

【００８１】そして、新たにサンプリングされた画素の
輝度値を用いて固有値最大となる固有ベクトルを算出す
る（ステップＳＴ３９）。この固有ベクトルと変換処理
したサンプリングデータの内積をとった後（ステップＳ
Ｔ４０）、繰り返し回数に達していなければステップＳ
Ｔ３６に戻る（ステップＳＴ４１）。

【００８２】この処理を繰り返し行うことで、固有ベク
トルを算出するためにサンプリングする画素を適応的に
変える。繰り返し回数に達していれば、内積値をもとに
ヒストグラムを作成し、ヒストグラムの分離度最大とな
る閾値ｔｈを求める（ステップＳＴ４２）。閾値ｔｈに
おける分離度εは以下のようにして求められる。

【００８３】

【数４】

【００８４】そして、変換処理済みの全画素を閾値ｔｈ
で分割する（ステップＳＴ４３）。もし１回の分割で不
十分ならば、更にこの分割結果を分割する。このよう
に、適応的に変化させたサンプリングデータを用いて求
めた分離度最大となる値を用いて閾値処理を実行するこ
とで、染色方法やカメラに依存する色の傾向によらず、
入力画像を２つに分割することができる。

【００８５】さらに、この分割を数回繰り返すことで、
あらゆる構成要素に分割することができる。例えば、図
１５に示すように、まず、固有ベクトルＶ１方向にデー
タを分割することで、核とリンパ球と間質を含むデータ
群Ａと、粘液と空領域を含むデータ群Ｂに分割すること
ができる。さらに、空領域の抽出が必要であれば、デー
タ群Ｂの固有ベクトルであるＶ２を用いることで、空領
域を抽出することができる。

【００８６】

【発明の効果】以上のように、この発明によれば、エネ
ルギー算出ステップ及び移動ステップが相互の処理結果
に基づいて処理を繰り返す一方、エネルギー算出ステッ
プがエネルギーを算出する際、初期段階ではぼかされた
入力画像からエネルギーを算出し、段階的にぼかしが少
ない入力画像からエネルギーを算出するように構成した
ので、画像中のノイズや他の組織の影響を回避して、対
象物の形状を正確に抽出することができる効果がある。

【００８７】この発明によれば、輪郭点と周辺領域に位
置する点の輝度値の変化量に依存するエネルギーと、輪
郭の形状に依存するエネルギーを加算し、その加算結果
をエネルギーの算出結果とするように構成したので、画
像中のノイズや他の組織の影響を回避することができる
効果がある。

【００８８】この発明によれば、輝度値の変化量が基準
値より小さい場合には、輝度値の変化量に依存するエネ
ルギーを加算せず、輪郭の形状に依存するエネルギーを
算出結果とするように構成したので、初期輪郭から真の
輪郭に移動する途中に、比較的輝度差の小さい偽のエッ
ジがある場合でも、正確に輪郭を抽出することができる
効果がある。

【００８９】この発明によれば、輝度値の変化方向が輪
郭の外側から内側に向かう方向と一致しない場合には、
輝度値の変化量に依存するエネルギーを加算せず、輪郭
の形状に依存するエネルギーを算出結果とするように構
成したので、物体の真の輪郭の内部に偽のエッジがある
場合でも、対象物の形状を正確に抽出することができる
効果がある。

【００９０】この発明によれば、入力画像に存在する対
象物が内空のある細胞核の場合、その内空の周辺領域の
輝度値に基づいて内空を塗りつぶすことにより、その入
力画像を補正するように構成したので、細胞核以外のエ
ッジに輪郭がひっかかるのを防止して、対象物の形状を
正確に抽出することができる効果がある。

【００９１】この発明によれば、輪郭上に位置する輪郭
点の曲率エネルギーを算出し、その曲率エネルギーが規
定値以上の輪郭点が存在する場合、その輪郭点の周辺領
域に位置する点の中で曲率エネルギーが最小の点に輪郭
点を移動するように構成したので、近くにある他の組織
などのエッジに引っ張られることなく、輪郭を正確に抽
出することができる効果がある。

【００９２】この発明によれば、エネルギーの極小探索
を実施する際、その極小探索に使用するエネルギー関数
の重み係数を輪郭点の周辺領域の輝度分布に応じて変更
するように構成したので、コントラストの強さに影響を
受けることなく、輪郭を正確に抽出することができる効
果がある。

【００９３】この発明によれば、細胞核以外の領域が所
定の面積より小さい場合には、その領域の周辺領域の輝
度値に基づいて当該領域を塗りつぶすように構成したの
で、1つの細胞核に複数の核位置が抽出されるのを防止
して、核位置の抽出精度を高めることができる効果があ
る。

【００９４】この発明によれば、細胞核以外の領域を抽
出すると、その領域を削除して残った領域の骨格を抽出
し、その骨格を構成する画素のうち、背景に隣接してい
る画素を削除するように構成したので、1つの細胞核に
複数の核位置が抽出されるのを防止して、核位置の抽出
精度を高めることができる効果がある。

【００９５】この発明によれば、細胞核の位置を抽出す
ると、その位置の輝度値を参照して、その抽出結果の正
否を判定し、その抽出結果が正しくない場合には、その
位置を削除するように構成したので、更に核位置の抽出
精度を高めることができる効果がある。

【００９６】この発明によれば、内積値のヒストグラム
の頻度に基づいてサンプリング対象の画素の変更をサン
プリングステップに指示し、そのサンプリング結果にし
たがって入力画像の分割処理を繰り返すように構成した
ので、染色方法やカメラの特性による色の傾向の違いに
依らず、画像の構成要素を分割することができる効果が
ある。

【００９７】この発明によれば、分割ステップが入力画
像を分割する際に使用する閾値を設定するように構成し
たので、画像の任意の構成要素を取得することができる
効果がある。

【図面の簡単な説明】

【図１】この発明の実施の形態１による画像処理方法
を示すフローチャートである。

【図２】収縮・膨張により複数の細胞核が切り離され
る様子を示す説明図である。

【図３】核内空があるために偽のエッジに輪郭が捉え
られる様子を示す説明図である。

【図４】この発明の実施の形態５による画像処理方法
を示すフローチャートである。

【図５】他の組織のエッジに輪郭がひっかかる様子を
示す説明図である。

【図６】この発明の実施の形態７による画像処理方法
を示すフローチャートである。

【図７】ラプラシアンフィルタでフィルタリング処理
した結果を用いて細胞核を抽出したとき、核内空のある
細胞核がドーナツ形状に抽出される様子を示す説明図で
ある。

【図８】骨格抽出結果を用いて細胞核と細胞核以外の
部分を切り離す様子を示す説明図である。

【図９】この発明の実施の形態８による画像処理方法
を示すフローチャートである。

【図１０】骨格抽出方法を模式的に示す説明図であ
る。

【図１１】色情報が異なる核位置が抽出される様子を
示す説明図である。

【図１２】色情報により削除される輝度値の範囲を示
す説明図である。

【図１３】輝度値の分布と固有ベクトルと、特定の固
有ベクトル方向のヒストグラムを示す説明図である。

【図１４】この発明の実施の形態１０による画像処理
方法を示すフローチャートである。

【図１５】画像を領域ごとに分割する様子を示す説明
図である。

【図１６】ラプラシアンフィルタを示す説明図であ
る。

【図１７】従来の画像処理方法を示すフローチャート
である。

【符号の説明】

ＳＴ１フィルタリングステップ（設定ステップ）、Ｓ
Ｔ２閾値処理ステップ（設定ステップ）、ＳＴ３二
値化画像生成ステップ（設定ステップ）、ＳＴ４収縮
・膨張ステップ（設定ステップ）、ＳＴ５輪郭設定ス
テップ（設定ステップ）、ＳＴ６第１のＳＮＡＫＥＳ
処理ステップ（エネルギー算出ステップ、移動ステッ
プ）、ＳＴ７第２のＳＮＡＫＥＳ処理ステップ（エネ
ルギー算出ステップ、移動ステップ）。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 AA07 CA01 CA08 CA12 CA16 CB01 CB06 CB12 CB16 CD02 CE03 CE04 CE06 CE12 CE16 DA07 DB02 DC02 DC17 DC23

Claims

【特許請求の範囲】

【請求項１】入力画像に存在する対象物の輪郭を初期
設定する設定ステップと、上記設定ステップで初期設定
された輪郭上に位置する輪郭点のエネルギーを算出する
とともに、その輪郭点を周辺領域に位置する点に移動し
た場合における当該周辺領域に位置する点のエネルギー
を算出するエネルギー算出ステップと、上記エネルギー
算出ステップで算出されたエネルギーの極小探索を実施
して、そのエネルギーの極小点に輪郭点を移動する移動
ステップとを備えた画像処理方法において、上記エネル
ギー算出ステップ及び移動ステップは、相互の処理結果
に基づいて処理を繰り返す一方、上記エネルギー算出ス
テップはエネルギーを算出する際、初期段階ではぼかさ
れた入力画像からエネルギーを算出し、段階的にぼかし
が少ない入力画像からエネルギーを算出することを特徴
とする画像処理方法。
【請求項２】エネルギー算出ステップは、輪郭点と周
辺領域に位置する点の輝度値の変化量に依存するエネル
ギーと、輪郭の形状に依存するエネルギーを加算し、そ
の加算結果をエネルギーの算出結果とすることを特徴と
する請求項１記載の画像処理方法。
【請求項３】エネルギー算出ステップは、輝度値の変
化量が基準値より小さい場合には、輝度値の変化量に依
存するエネルギーを加算せず、輪郭の形状に依存するエ
ネルギーを算出結果とすることを特徴とする請求項２記
載の画像処理方法。
【請求項４】エネルギー算出ステップは、輝度値の変
化方向が輪郭の外側から内側に向かう方向と一致しない
場合には、輝度値の変化量に依存するエネルギーを加算
せず、輪郭の形状に依存するエネルギーを算出結果とす
ることを特徴とする請求項２または請求項３記載の画像
処理方法。
【請求項５】入力画像に存在する対象物が内空のある
細胞核の場合、その内空の周辺領域の輝度値に基づいて
当該内空を塗りつぶすことにより、その入力画像を補正
する画像補正ステップを設けたことを特徴とする請求項
２から請求項４のうちのいずれか１項記載の画像処理方
法。
【請求項６】輪郭上に位置する輪郭点の曲率エネルギ
ーを算出し、その曲率エネルギーが規定値以上の輪郭点
が存在する場合、その輪郭点の周辺領域に位置する点の
中で曲率エネルギーが最小の点に当該輪郭点を移動する
輪郭補正ステップを設けたことを特徴とする請求項２か
ら請求項５のうちのいずれか１項記載の画像処理方法。
【請求項７】エネルギー算出ステップは、エネルギー
の極小探索を実施する際、その極小探索に使用するエネ
ルギー関数の重み係数を輪郭点の周辺領域の輝度分布に
応じて変更することを特徴とする請求項２から請求項６
のうちのいずれか１項記載の画像処理方法。
【請求項８】細胞核を構成する領域を含む入力画像か
ら細胞核以外の領域を抽出する領域抽出ステップと、上
記領域抽出ステップで抽出された細胞核以外の領域が所
定の面積より小さいか否かを判断する判断ステップと、
その領域が所定の面積より小さい場合には、その領域の
周辺領域の輝度値に基づいて当該領域を塗りつぶす塗り
つぶしステップと、塗りつぶし後の入力画像から細胞核
の位置を抽出する位置抽出ステップとを備えた画像処理
方法。
【請求項９】領域抽出ステップで細胞核以外の領域を
抽出すると、その領域を削除して残った領域の骨格を抽
出する骨格抽出ステップと、上記骨格抽出ステップで抽
出された骨格を構成する画素のうち、背景に隣接してい
る画素を削除する画素削除ステップとを設けたことを特
徴とする請求項８記載の画像処理方法。
【請求項１０】位置抽出ステップは、細胞核の位置を
抽出すると、その位置の輝度値を参照して、その抽出結
果の正否を判定し、その抽出結果が正しくない場合に
は、その位置を削除することを特徴とする請求項８また
は請求項９記載の画像処理方法。
【請求項１１】入力画像における輝度値の分布頻度に
応じて、その入力画像を構成する画素をサンプリングす
るサンプリングステップと、上記サンプリングステップ
でサンプリングされた画素の輝度値が空間内で分散値が
最大になる方向を示すベクトルを求めるとともに、その
ベクトルと当該画素の輝度値との内積値を求め、その内
積値を基準にして入力画像を分割する分割ステップとを
備えた画像処理方法において、上記分割ステップは上記
内積値のヒストグラムを作成し、そのヒストグラムの頻
度に基づいてサンプリング対象の画素の変更を上記サン
プリングステップに指示し、そのサンプリング結果にし
たがって入力画像の分割処理を繰り返すことを特徴とす
る画像処理方法。
【請求項１２】分割ステップが入力画像を分割する際
に使用する閾値を設定する閾値設定ステップを設けたこ
とを特徴とする請求項１１記載の画像処理方法。