JP2011095921A

JP2011095921A - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP2011095921A
Application number: JP2009248088A
Authority: JP
Inventors: Yuta Nakano; 雄太中野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-10-28
Filing date: 2009-10-28
Publication date: 2011-05-12

Abstract

【課題】他の領域と特徴の似ている画像領域であっても、当該画像領域における正しいオブジェクトの識別を行えるようにする。
【解決手段】特徴量算出部１１３では、画像分割部１１２で分割された画像の各領域から特徴量を算出し、対応付け手段（１１４及び１１５）では、当該特徴量に基づいて各領域に１又は複数のオブジェクトを対応付ける。そして、オブジェクト選択部１１６では、対応付け手段により１つの領域に対して複数のオブジェクトが対応付けられた場合、当該１つの領域に対応付けられた各オブジェクトへの帰属確率と、当該１つの領域の近傍に位置する近傍領域に係る近傍領域情報とに基づいて、複数のオブジェクトの中から１つのオブジェクトを選択して当該１つの領域に対応付ける。そして、領域統合部１１７では、画像において同じ種類のオブジェクトが対応付けられた領域を統合する。
【選択図】図１

Description

本発明は、入力された画像の処理を行う画像処理装置、当該画像処理装置による画像処理方法、当該画像処理方法をコンピュータに実行させるためのプログラム、及び、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体に関する。

近年、医療検査機器の技術開発に伴って、莫大なデータが画像や動画として生成されるようになり、それらのデータに基づき診断を行う医師の負荷が甚大なものとなっている。そのような状況の中、画像内に含まれるオブジェクトを自動で識別することで、画像内に描画された病変などをコンピュータにより認識する手法の開発が進められ、医療画像の異常認識への応用が進められている。

従来、画像内の領域に対して、オブジェクトへの対応付けを行う手法の１つとして、自己組織化マップを用いる手法が知られている（例えば、下記の特許文献１及び特許文献２参照）。この自己組織化マップは、複数の代表ベクトルが２次元空間上に配列された特徴空間を有し、学習により、特徴の似ているベクトルが近くに配置されるような特徴空間を構築する手法である。そして、自己組織化マップで構築した特徴空間にオブジェクトを割り当てておくことで、ある領域が特徴空間中のどこに写像されたかによって、領域とオブジェクトとの対応付けを行うことができる。

特開２００５−６３３０７号公報特開２００４−６２６０５号公報

しかしながら、従来の技術では、対応付けるオブジェクトが異なっているにも関わらず、特徴の似た領域が存在する場合、正しい対応付けを行うことが困難となる課題がある。

具体的に、特許文献１の技術では、そのような領域が存在する場合に無理に対応付けを行わず、不明クラスとすることで誤った対応付けを避ける工夫をしている。しかしながら、特許文献１の技術では、不明クラスとなった領域がオブジェクトに対応付けられないまま最終的な識別結果とされてしまうので、特徴が似ているにも関わらず、不明クラスの孤立した領域となってしまう。

また、特許文献２の技術では、孤立した領域に対して、面積や隣接領域との共有輪郭線などの情報を利用して周辺領域と統合することで、正しい対応付けを行う工夫をしている。しかしながら、特許文献２の技術では、統合処理に関して面積や隣接領域との共有輪郭線の長さだけを統合の判断材料としており、領域の特徴は考慮されていない。

これらの手法では、自己組織化マップにおいて、複数の異なるオブジェクトに対応する領域が同じ代表ベクトルに写像される場合に、その領域の特徴と画像空間での特徴との両方を考慮した総合的なオブジェクトの識別ができなかった。

本発明は、このような問題点に鑑みてなされたものであり、他の領域と特徴の似ている画像領域であっても、当該画像領域における正しいオブジェクトの識別を行えるようにすることを目的とする。

本発明の画像処理装置は、入力された画像の処理を行う画像処理装置であって、前記画像を複数の領域に分割する分割手段と、前記分割手段により分割された複数の領域における各領域から特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量に基づいて、前記各領域に１又は複数のオブジェクトを対応付ける対応付け手段と、前記対応付け手段により１つの領域に対して複数のオブジェクトが対応付けられた場合、当該１つの領域に対応付けられた各オブジェクトへの帰属確率と、当該１つの領域の近傍に位置する近傍領域に係る近傍領域情報とに基づいて、前記複数のオブジェクトの中から１つのオブジェクトを選択し、当該１つの領域に当該１つのオブジェクトを対応付ける選択手段と、前記画像において同じ種類のオブジェクトが対応付けられた領域を統合する統合手段とを有する。
また、本発明は、上述した画像処理装置による画像処理方法、当該画像処理方法をコンピュータに実行させるためのプログラム、及び、当該プログラムを記憶するコンピュータ読み取り可能な記憶媒体を含む。

本発明によれば、他の領域と特徴の似ている画像領域であっても、当該画像領域における正しいオブジェクトの識別を行うことができる。

本発明の第１の実施形態に係る画像処理システムの概略構成の一例を示す模式図である。本発明の第１の実施形態に係る画像処理装置による画像処理方法における学習プロセス処理の一例を示すフローチャートである。本発明の第１の実施形態に係る画像処理装置による画像処理方法における検出プロセス処理の一例を示すフローチャートである。図１に示す特徴空間作成部で作成した自己組織化マップの一例を示す模式図である。本発明の第１の実施形態を示し、ＯＣＴ断層画像の一例を示す模式図である。本発明の第２の実施形態を示し、ＯＣＴ断層画像の一例を示す模式図である。本発明の第３の実施形態を示し、ＯＣＴ断層画像の一例を示す模式図である。

本発明は、画像内の領域から算出される特徴量が似ているためにその特徴量のみではオブジェクトを正しく識別することが困難な領域に対して、領域同士の位置関係や近傍領域も含めた帰属確率を考慮して、オブジェクトを正しく識別できるようにしたものである。
具体的に、下記に示す本発明を実施するための形態では、近年、その利用が進んでいる光干渉断層計（以下、「ＯＣＴ」と称する）による網膜断層画像を対象とし、この断層画像から、オブジェクトとして解剖学的構造や病変を識別する手法について説明する。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。

図１は、本発明の第１の実施形態に係る画像処理システムの概略構成の一例を示す模式図である。
画像処理システム１００は、図１に示すように、画像処理装置１１０、画像取得装置１２０、及び、保存装置１３０を有して構成されている。

画像処理装置１１０は、入力された画像（本実施形態では、ＯＣＴ断層画像）の処理を行うものである。この画像処理装置１１０は、画像取得部１１１、画像分割部１１２、特徴量算出部１１３、特徴空間作成部１１４、特徴ベクトル写像部１１５、オブジェクト選択部１１６、領域統合部１１７、及び、画像表示部１１８を有して構成されている。この画像処理装置１１０は、画像取得装置１２０及び保存装置１３０と通信可能に接続されている。

画像取得部１１１は、画像取得装置１２０或いは保存装置１３０から処理対象の画像（本実施形態では、ＯＣＴ断層画像）を取得し、取得した画像を画像処理装置１１０内の画像分割部１１２に入力する処理を行う。
画像分割部１１２は、画像取得部１１１で取得され入力された画像を複数の領域に分割する処理を行う。
特徴量算出部１１３は、画像分割部１１２により分割された複数の領域における各領域から特徴量を算出する処理を行う。

特徴空間作成部１１４は、画像分割部１１２により分割された複数の領域における各領域にオブジェクトを対応付けるための特徴空間を作成する処理を行う。そして、特徴空間作成部１１４は、オブジェクトを認識するための自己組織化マップを作成する。さらに、特徴空間作成部１１４は、作成した自己組織化マップ上の代表ベクトルに対して、各オブジェクトの帰属確率を算出して割り当てる処理を行う。
特徴ベクトル写像部１１５は、特徴量算出部１１３において各領域から算出された特徴量（特徴量ベクトル）を、特徴空間作成部１１４により作成された自己組織化マップ上の代表ベクトルに写像する。この際、代表ベクトルには、オブジェクトへの帰属確率が割り当てられているため、入力ベクトルに対する各オブジェクトへの帰属確率が決められ、その値によって各領域にオブジェクトが対応付けられる。
この特徴空間作成部１１４及び特徴ベクトル写像部１１５は、例えば、特徴量算出部１１３により算出された特徴量に基づいて、画像分割部１１２により分割された複数の領域における各領域に１又は複数のオブジェクトを対応付ける対応付け手段を構成する。

オブジェクト選択部１１６は、対応付け手段により１つの領域に対して複数のオブジェクトが対応付けられた場合、当該１つの領域に対応付けられた各オブジェクトへの帰属確率と、当該１つの領域の近傍に位置する近傍領域に係る近傍領域情報とに基づいて、複数のオブジェクトの中から１つのオブジェクトを選択する。そして、オブジェクト選択部１１６は、当該１つの領域に選択した当該１つのオブジェクトを対応付ける処理を行う。

領域統合部１１７は、処理対象の画像において同じ種類のオブジェクトが対応付けられた領域を統合する処理を行う。そして、領域統合部１１７は、統合された領域を最終的なオブジェクトの領域として、画像表示部１１８に統合処理の結果得られた画像を表示する。

画像取得装置１２０は、不図示の操作者による操作に基づいて、不図示の被写体である被検眼の撮影を行い、必要に応じて、得られた画像（本実施形態では、ＯＣＴ断層画像）を画像処理装置１１０や保存装置１３０へ送信する。
保存装置１３０は、画像処理装置１１０において画像処理される画像（本実施形態では、ＯＣＴ断層画像）を保存するものである。

次に、図２及び図３のフローチャートを参照して、本実施形態の画像処理装置１１０が実行する具体的な処理手順について説明する。
具体的に、本実施形態の処理は、被検眼の網膜色素上皮や白斑のオブジェクトにラベル付けを行ったＯＣＴ断層画像に基づき自己組織化マップを作成する学習プロセス（図２）と、作成した自己組織化マップに基づき新たに入力されたＯＣＴ断層画像中の網膜色素上皮や白斑のオブジェクトを検出する検出プロセス（図３）とに分けられる。

図２は、本発明の第１の実施形態に係る画像処理装置による画像処理方法における学習プロセス処理の一例を示すフローチャートである。具体的に、図２に示す学習プロセス処理では、自己組織化マップを作成すると同時に、当該自己組織化マップ上の代表ベクトルに対して被検眼の網膜色素上皮や白斑への帰属確率を割り当てる。

＜ステップＳ２０１＞
図２のステップＳ２０１において、まず、画像取得部１１１は、被検眼の網膜色素上皮や白斑のラベル付けがされ、保存装置１３０に保存されている画像（本実施形態では、ＯＣＴ断層画像）を取得する。なお、ＯＣＴ断層画像に対するラベル付けは、予め医者等によって行われているものとする。その後、画像分割部１１２は、画像取得部１１１で取得した画像（ＯＣＴ断層画像）を複数の領域に分割する処理を行う。

具体的に、本実施形態の画像分割部１１２では、例えば、画像取得部１１１で取得した画像の各画素を１つの領域として画素数分だけ分割する。そして、ラベル付けされた領域の中から、網膜色素上皮の領域、白斑の領域及びその他の領域を３０サンプルずつ、つまり３０画素ずつ選び、合計９０サンプルの学習データセットとする。この学習データの選び方としては、画像特徴において多様性が高くなるように、できるだけ多くの症例や病変部から選択する。また、その他の領域のサンプルについては、網膜色素上皮及び白斑以外でＯＣＴ断層画像内に存在する、例えば神経線維層や外顆粒層などのオブジェクトから選択する。また、サンプル数は、画像特徴の観点から、考えられる網膜色素上皮や白斑の領域のパターン分、例えば本実施形態では３０サンプルずつ選択し、その他の領域に関しては、例えば網膜色素上皮や白斑のサンプル数と数を合わせて３０サンプルとする。但し、領域の分割方法は、前述したものに限定されるものではない。例えば、画像の端から５×５ピクセルのブロック状に分割し、それぞれのブロックを１つの領域としてもよい。また、ブロックのサイズや形状はどのようなものを設定してもよく、各領域が同じサイズ、形状である必要もない。

＜ステップＳ２０２＞
続いて、ステップＳ２０２において、特徴量算出部１１３は、ステップ２０１で画像分割された各領域から、輝度情報（輝度値）を用いて特徴量を算出する処理を行う。

具体的に、本実施形態では、各画素を１つの領域として設定しているため、輝度情報（輝度値）を用いて特徴量を算出する際には、例えば、当該各画素とその周辺領域の画素も含めた９×９の画素領域を特徴量の算出対象領域としている。また、本実施形態では、算出する特徴量として、階調特徴量、統計特徴量、エッジ特徴量を用いている。

具体的に、階調特徴量は、各領域における輝度値の特徴を数値化したものである。また、統計特徴量は、各領域における輝度値の分布特徴を数値化したものである。なお、統計特徴量には、ヒストグラムの特徴を数値化したものも含まれる。また、エッジ特徴量は、各領域におけるエッジ成分を数値化したものである。

本実施形態では、階調特徴量として、輝度値の平均、最大値、最小値を適用し、統計特徴量として、輝度値の標準偏差、中央値、最頻値を適用し、エッジ特徴量として、各領域のｓｏｂｅｌ成分を適用する。ここで、ｓｏｂｅｌ成分は、領域内のｓｏｂｅｌ成分に対して、階調特徴量、統計特徴量を算出したものである。本実施形態では、各領域に対して、輝度値の平均値、最大値、最小値、標準偏差、中央値、最頻値、ｓｏｂｅｌ成分の平均値、標準偏差を算出し、８次元ベクトルとして以下のステップでの特徴量とする。

なお、ステップ２０２で算出される特徴量の種類は、これらに限定されるものではなく、領域における何らかの特徴を数値化したものであれば、如何なるものを用いてもよい。例えば、各領域におけるＨａａｒウェーブレット成分の総量などのテクスチャ特徴量を用いてもよい。また、算出する特徴量の数に制限はなく、特徴量が少なくとも１つ算出されればよい。

＜ステップＳ２０３＞
続いて、ステップＳ２０３において、特徴空間作成部１１４は、被検眼の網膜色素上皮と白斑の領域を認識するための自己組織化マップを作成する。

具体的に、ステップＳ２０３では、まず、特徴空間作成部１１４は、入力ベクトルと同じ次元数の代表ベクトルをランダムに作成し、これを４×４の２次元空間上に配列する。そして、特徴空間作成部１１４は、入力ベクトルと各代表ベクトルとのユークリッド距離を計算し、最も近い代表ベクトルを選択する（以後、この処理を「写像する」と称する）。そして、特徴空間作成部１１４は、写像された代表ベクトルをＶklとし、その近傍にある代表ベクトルＶij（ｉ＝ｋ−１，ｋ，ｋ＋１：ｊ＝ｌ−１，ｌ，ｌ＋１）を、ベクトルの各次元の値が入力ベクトルに近づくように更新する。具体的に、特徴空間作成部１１４は、写像された代表ベクトルとその近傍の代表ベクトルを、下記の（１）式に従って更新する。

（１）式のように、代表ベクトルの更新は、更新前の代表ベクトル（Ｖij^old）と入力ベクトル（ｖ^input）との差に学習係数αを掛けた更新量を、更新前の代表ベクトル（Ｖij^old）に加えることで行われる。この代表ベクトルの更新を繰り返すことで、２次元空間上に特徴の似た代表ベクトルが集まった配列をもつ自己組織化マップが構築される。
本実施形態では、事前の予備実験において自己組織化マップが収束していく様子から、学習係数αの値を学習開始時に０．０５とし、学習データセットの９０（３０×３）領域を１周入力する度に０．００１ずつ減らしていくこととする。学習は、予備実験より、代表ベクトルの更新を学習データセット１０周分、つまり９００回行って終了とする。

＜ステップＳ２０４＞
続いて、ステップＳ２０４において、特徴空間作成部１１４は、ステップ２０３で作成した自己組織化マップ上の１６本の代表ベクトルに対して、被検眼の網膜色素上皮、白斑及びその他の各領域の帰属確率を算出する。これにより、各代表ベクトルへ帰属確率の割り当てが行われる。

具体的に、まず、特徴空間作成部１１４は、学習データセットとして用いられた、ラベル付けされた９０領域全てを、ステップＳ２０３で構築した自己組織化マップに写像する。次に、特徴空間作成部１１４は、各代表ベクトルごとに、写像された領域の数をラベルごとにカウントすることで、被検眼の網膜色素上皮、白斑及びその他の各領域の帰属確率を算出する。

ここで、上述した帰属確率の算出方法の詳細について以下に説明する。
マップ上のある代表ベクトルをＶij（ｉ＝０〜３，ｊ＝０〜３）とする。そして、代表ベクトルＶijに写像される領域数がＮijであり、そのうちｎＲijが網膜色素上皮とラベルされた領域数、ｎＥijが白斑とラベルされた領域数、ｎＯijがその他とラベルされた領域数とする。このとき、代表ベクトルＶijに対するラベルごとの帰属確率は、網膜色素上皮についてはｎＲij／Ｎij、白斑についてはｎＥij／Ｎij、その他についてはｎＯij／Ｎijとなる。ここで、ｎＲij、ｎＥij、ｎＯijの和はＮijであり、さらにＮijを全ての代表ベクトルについて和をとったカウント数の合計は９０となる。

特徴空間作成部１１４では、このようにして作成した自己組織化マップ、及び、算出した各代表ベクトルのオブジェクトへの帰属確率を互いに関連付けて、学習結果として保存装置１３０に保存する。

図４は、図１に示す特徴空間作成部１１４で作成した自己組織化マップの一例を示す模式図である。
図４に示す自己組織化マップに学習データセットを写像すると、代表ベクトルＶ０３及びＶ１３には、網膜色素上皮のみが写像され、網膜色素上皮への帰属確率１．０が割り当てられる。また、代表ベクトルＶ３３には、白斑のみが写像され、白斑への帰属確率１．０が割り当てられる。また、代表ベクトルＶ２３には、網膜色素上皮と白斑の双方が写像され、その割合は１対１なので、網膜色素上皮への帰属確率０．５、及び、白斑への帰属確率０．５の双方が割り当てられる。また、図４に示す、代表ベクトルＶ０３、Ｖ１３、Ｖ２３及びＶ３３以外の代表ベクトルには、網膜色素上皮と白斑は写像されず、帰属確率が割り当てられないか、その他の領域への帰属確率が割り当てられる。

なお、本実施形態における帰属確率の算出方法は、これらの手法に限定されるものではなく、代表ベクトルに写像される領域数や画像におけるオブジェクトの割合などを重みとして帰属確率に反映させる方法などを用いてもよい。また、本実施形態では、特徴空間作成部１１４において自己組織化マップを用いているが、この手法に限定されるものではない。例えば、ｋ最近傍法などのクラスタリング手法のように、ある特徴空間に写像する手法については、写像空間におけるクラスタ中心からの距離から帰属確率を求めることができるため、特徴空間作成部１１４において用いる手法として適用することができる。また、ベイジアンネットワークなども、出力される確率を帰属確率として扱うことで、特徴空間作成部１１４において用いる手法として適用することができる。

次に、図３のフローチャートを参照して検出プロセスの具体的な処理手順を説明する。
図３は、本発明の第１の実施形態に係る画像処理装置による画像処理方法における検出プロセス処理の一例を示すフローチャートである。具体的に、図３に示す検出プロセス処理では、まず、画像内の各領域に対して、網膜色素上皮もしくは白斑を対応付ける。さらに、網膜色素上皮及び白斑の双方に対応付けられる可能性のある画像内の領域に対して、近傍領域の情報を加味して帰属確率を再計算することで、より対応付けられる可能性の高い方のオブジェクトを選択する。

＜ステップＳ３０１＞
図３のステップＳ３０１において、まず、画像取得部１１１は、画像取得装置１２０で撮像された画像（本実施形態では、ＯＣＴ断層画像）を取得する。その後、画像分割部１１２は、ステップＳ２０１と同様の手法を用いて、画像取得部１１１で取得した画像（ＯＣＴ断層画像）を複数の領域に分割する処理を行う。

＜ステップＳ３０２＞
続いて、ステップＳ３０２において、特徴量算出部１１３は、ステップＳ３０１で画像分割された各領域から、ステップＳ２０２と同様の手法を用いて、特徴量を算出する処理を行う。具体的に、ステップＳ３０２では、ステップＳ２０２で作成したものと同じ８次元の特徴量ベクトルを算出する。

＜ステップＳ３０３＞
続いて、ステップＳ３０３において、まず、特徴ベクトル写像部１１５は、ステップＳ２０４において保存装置１３０に保存された自己組織化マップを取得する。そして、特徴ベクトル写像部１１５は、ステップＳ３０２において各領域から算出された特徴量（特徴量ベクトル）を、当該自己組織化マップ上の代表ベクトルに写像する。この際、代表ベクトルには、オブジェクトへの帰属確率が割り当てられているため、入力ベクトルに対する網膜色素上皮及び白斑への帰属確率が決められ、その値によってオブジェクトが対応付けられる。

本実施形態では、各代表ベクトル及び入力ベクトルにおいて、帰属確率０．３以上のオブジェクトを対応付けることとする。つまり、ステップＳ２０４で説明した帰属確率より、図４に示す自己組織化マップにおける点線で囲まれた範囲には、網膜色素上皮が対応付けられた代表ベクトル（Ｖ０３，Ｖ１３，Ｖ２３）が配置される。また、図４に示す自己組織化マップにおける実線で囲まれた範囲には、白斑が対応付けられた代表ベクトル（Ｖ２３，Ｖ３３）が配置される。この際、重複した範囲にある代表ベクトルＶ２３には、網膜色素上皮と白斑との両方のオブジェクトが対応付けられている。即ち、これらの代表ベクトルに写像された入力ベクトルには、本実施形態の場合、網膜色素上皮か白斑、もしくは両方のオブジェクトが対応付けられる。

入力ベクトルを自己組織化マップに写像した後、本ステップにおいて、最後に、特徴ベクトル写像部１１５は、オブジェクトが対応付けられた領域について、画像空間中で同じ代表ベクトルに写像された領域が隣り合っていた場合には当該領域を統合する。本実施形態では、ステップＳ３０１において、画素単位の領域分割を行っているので、８近傍に同じ代表ベクトルに写像された画素が存在していた場合にこれらを統合する。そして、帰属確率が等しい領域（本実施形態では、画素）を集めた領域を次のステップの入力とする。

＜ステップＳ３０４＞
続いて、ステップＳ３０４において、特徴ベクトル写像部１１５（或いはオブジェクト選択部１１６）は、ステップＳ３０３で対応付けたオブジェクトの数を調べて、複数のオブジェクトが対応付けられた領域が存在するか否かを判断する。本実施形態では、具体的に、図４に示す代表ベクトルＶ２３に写像された領域が存在するか否かが判断され、当該領域に対してはステップＳ３０５において処理され、その他の領域に関してはステップＳ３０６において処理される。

＜ステップＳ３０５＞
ステップ３０４の判断の結果、複数のオブジェクトが対応付けられた領域が存在する場合には、ステップ３０５に進む。
ステップＳ３０５に進むと、オブジェクト選択部１１６は、複数のオブジェクトが対応付けられた領域を対象として、当該対象領域の帰属確率と近傍領域の情報とを用いて、複数のオブジェクトの中から当該対象領域に対応付ける１つのオブジェクトを選択する。本例では、ステップＳ３０３において特徴ベクトル写像部１１５で網膜色素上皮と白斑との両方のオブジェクトが対応付けられた領域を対象として、当該対象領域の帰属確率と近傍領域の情報を用いて、網膜色素上皮か白斑のどちらかのオブジェクトを選択する。

第１の実施形態のステップ３０５における具体的な処理方法について、図５を用いて以下に説明する。
図５は、本発明の第１の実施形態を示し、ＯＣＴ断層画像の一例を示す模式図である。

図５に示すＯＣＴ断層画像おいて、画像領域Ｎ１は、例えば図４の代表ベクトルＶ１３に写像された領域であり、網膜色素上皮のオブジェクトに対応付けられている領域である。また、画像領域Ｎ２は、例えば図４の代表ベクトルＶ３３に写像された領域であり、白斑のオブジェクトに対応付けられている領域である。画像領域Ｕ１及びＵ２は、例えば図４の代表ベクトルＶ２３に写像された領域であり、網膜色素上皮と白斑の双方のオブジェクトに対応付けられている領域である。また、画像領域Ｎ１、Ｎ２、Ｕ１及びＵ２以外の画像領域は、例えば図４の代表ベクトルＶ０３、Ｖ１３、Ｖ２３及びＶ３３以外の代表ベクトルに写像されており、本例では、オブジェクトが対応付けられていない。

そして、本実施形態では、オブジェクト選択部１１６は、まず、複数のオブジェクトが対応付けられている画像領域Ｕ１及びＵ２について、各領域の近傍にある領域を求める。具体的に、図５に示す例では、画像領域Ｕ１についての近傍領域は画像領域Ｎ１であり、画像領域Ｕ２についての近傍領域は画像領域Ｎ２となる。この近傍領域の影響を考慮して、各領域の帰属確率を再評価した値（以後、「帰属指標」と称する）をＦ（）とすると、例えばオブジェクト選択部１１６は、画像領域Ｕ１の網膜色素上皮への帰属指標を下記の（２）式のように計算する。また、例えばオブジェクト選択部１１６は、画像領域Ｕ１の白斑への帰属指標を下記の（３）式のように計算する。

ここで、（２）式のＰ_U1（Ｒ）は、領域Ｕ１の網膜色素上皮への帰属確率を表し、（３）式のＰ_U1（Ｅ）は、領域Ｕ１の白斑への帰属確率を表している。また、（２）式のＰ_N1（Ｒ）は、領域Ｎ１の網膜色素上皮への帰属確率を表し、（３）式のＰ_N1（Ｅ）は、領域Ｎ１の白斑への帰属確率を表している。

同様に、領域Ｕ２について帰属指標を求めると、以下の（４）式及び（５）式のようになる。

ここで、ステップＳ２０４の説明より、Ｐ_N1（Ｒ）＝１、Ｐ_N1（Ｅ）＝０、Ｐ_N2（Ｒ）＝０、Ｐ_N2（Ｅ）＝１、Ｐ_U1（Ｒ）＝Ｐ_U1（Ｅ）＝Ｐ_U2（Ｒ）＝Ｐ_U2（Ｅ）＝０．５の場合に、これらの値を（２）式〜（５）式に代入し、算出したそれぞれの帰属指標の大小関係を表すと、ＦU1（Ｒ）＞ＦU1（Ｅ）、ＦU2（Ｒ）＜ＦU2（Ｅ）となる。この場合、オブジェクト選択部１１６は、画像領域Ｕ１については網膜色素上皮のオブジェクトを選択して対応付け、画像領域Ｕ２については白斑のオブジェクトを選択して対応付ける。

なお、本実施形態では、複数のオブジェクトが対応付けられた対象領域と接している領域を近傍領域としているが、これに限定されるものではない。例えば、重心間の距離がしきい値以下の領域を近傍領域としてもよい。

＜ステップＳ３０６＞
ステップ３０４において複数のオブジェクトが対応付けられた領域が存在しないと判断された場合、或いはステップ３０５の処理が終了した場合には、ステップ３０６に進む。
ステップ３０６に進むと、領域統合部１１７は、ＯＣＴ断層画像のオブジェクトが対応付けられた全領域に対して、近傍領域を調べて、同じ種類のオブジェクトに対応付けられた領域が存在する場合には、当該領域を統合する。そして、領域統合部１１７は、統合された領域を最終的なオブジェクトの領域として、画像表示部１１８に統合処理の結果得られたＯＣＴ断層画像を表示する。

なお、本実施形態では、２次元のＯＣＴ断層画像を用いた場合を例として説明したが、例えば、３次元ボリュームデータを用いて３次元領域を単位としても同様に扱うことができる。

本実施形態によれば、特徴の似ている画像領域について、当該画像領域の帰属確率に加えてその近傍領域の帰属確率も考慮することにより、当該画像領域における正しいオブジェクトの識別を行うことができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

第２の実施形態は、図３のステップＳ３０５において、選択対象となるオブジェクトへの帰属確率をもつ近傍領域が複数存在した場合、複数の近傍領域情報を一元的に扱い、帰属指標を算出して、オブジェクトを選択する実施形態である。このように、複数の近傍領域情報を一元的に扱うことで、オブジェクトが隣り合う画像においても正しくオブジェクトを識別することができる。

なお、図３のフローチャートにおいて、ステップＳ３０５以外の処理は、第１の実施形態と同様であるため、その説明は省略する。

＜ステップＳ３０５＞
第２の実施形態では、図３のステップＳ３０５において、オブジェクト選択部１１６は、ステップＳ３０４において特徴ベクトル写像部１１５で複数のオブジェクトが対応付けられた領域を対象として、当該対象領域の近傍領域情報を用いて帰属指標を算出する。そして、オブジェクト選択部１１６は、複数のオブジェクトの中から当該対象領域に対応付ける１つのオブジェクトを選択する。

第２の実施形態のステップ３０５における具体的な処理方法について、図６を用いて以下に説明する。
図６は、本発明の第２の実施形態を示し、ＯＣＴ断層画像の一例を示す模式図である。

図６に示すＯＣＴ断層画像おいて、画像領域Ｎ３は、例えば図４の代表ベクトルＶ１３に写像された領域であり、網膜色素上皮のオブジェクトに対応付けられている領域である。また、画像領域Ｎ４及びＮ５は、例えば図４の代表ベクトルＶ３３に写像された領域であり、白斑のオブジェクトに対応付けられている領域である。また、画像領域Ｕ３は、代表ベクトルＶ２３に写像された領域であり、網膜色素上皮と白斑の双方のオブジェクトに対応付けられている領域である。また、画像領域Ｎ３、Ｎ４、Ｎ５及びＵ３以外の画像領域は、例えば図４の代表ベクトルＶ０３、Ｖ１３、Ｖ２３及びＶ３３以外の代表ベクトルに写像されており、本例では、オブジェクトが対応付けられていない。

以下の説明においては、この場合の画像領域Ｕ３における網膜色素上皮及び白斑のオブジェクトに対する帰属指標を計算する場合について説明を行う。本実施形態では、帰属指標の算出の際に、対象領域における近傍領域との共有輪郭線長の割合を近傍領域情報として用いる。

ここで、画像領域Ｕ３の輪郭線長をＬU3とし、画像領域Ｕ３における画像領域Ｎ３、Ｎ４及びＮ５と共有する輪郭線長を、それぞれ、ＬN3、ＬN4及びＬN5とする。すると、共有輪郭線長の割合は、ＣN3＝ＬN3／ＬN3、ＣN4＝ＬN4／ＬU3、ＣN5＝ＬN5／ＬU3となる。

これを用いると、画像領域Ｕ３における網膜色素上皮及び白斑に対する帰属指標ＦU3（Ｒ）及びＦU3（Ｅ）は、それぞれ、下記の（６）式及び（７）式で算出される。

ここで、ステップＳ２０４の説明を流用して、Ｐ_N3（Ｒ）＝１、Ｐ_N3（Ｅ）＝０、Ｐ_N4（Ｒ）＝０、Ｐ_N4（Ｅ）＝１、Ｐ_N5（Ｒ）＝０、Ｐ_N5（Ｅ）＝１、Ｐ_U3（Ｒ）＝Ｐ_U3（Ｅ）＝０．５となるものとする。

また、図６に示す例では、それぞれの輪郭線長の割合は、ＣN3＝０．５、ＣN4＝０．２、ＣN5＝０．１と算出される。これらの値を（６）式及び（７）式に代入し、算出したそれぞれの帰属指標の大小関係を表すと、ＦU3（Ｒ）＞ＦU3（Ｅ）となる。この場合、オブジェクト選択部１１６は、画像領域Ｕ３については網膜色素上皮のオブジェクトを選択して対応付ける。

なお、本実施形態では、（６）式及び（７）式を用いて帰属指標を計算しているが、この算出方法に限定されるものではない。例えば、各近傍領域との重心間の距離を考慮して、画像領域Ｕ３と、画像領域Ｎ３、Ｎ４及びＮ５との重心間の距離を、それぞれ、ＤN3、ＤN4及びＤN5として、以下の（８）式及び（９）式を用いて帰属指標を計算してもよい。

また、近傍領域との面積比を考慮して、画像領域Ｕ３と、画像領域Ｎ３、Ｎ４及びＮ５との面積比を、それぞれ、ＳN3、ＳN4及びＳN5として、（８）式及び（９）式のＤN3、ＤN4及びＤN5と同様に掛け合わせてもよい。

本実施形態によれば、選択対象となるオブジェクトへの帰属確率をもつ近傍領域が複数存在した場合、対象となる画像領域の帰属確率と複数の近傍領域の情報を一元的に扱って帰属指標を計算することにより、当該画像領域における正しいオブジェクトの識別を行うことができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。

第３の実施形態は、図３のステップＳ３０５において、選択対象となるオブジェクトへの帰属確率をもつ近傍領域が複数存在し、且つ、対象となるオブジェクトのとりうる形状や存在しやすい位置、大きさについて予め知識がある場合、その知識を反映した帰属指標を算出する実施形態である。このように、オブジェクトに関する知識を帰属指標に反映させることで、複雑な構造のオブジェクトや大きさに差のあるオブジェクトを正しく識別することができる。

＜ステップＳ３０５＞
第３の実施形態では、図３のステップＳ３０５において、オブジェクト選択部１１６は、ステップＳ３０４において特徴ベクトル写像部１１５で複数のオブジェクトが対応付けられた領域を対象として、当該対象領域の近傍領域情報を用いて帰属指標を算出する。そして、オブジェクト選択部１１６は、複数のオブジェクトの中から当該対象領域に対応付ける１つのオブジェクトを選択する。

第３の実施形態のステップ３０５における具体的な処理方法について、図７を用いて以下に説明する。
図７は、本発明の第３の実施形態を示し、ＯＣＴ断層画像の一例を示す模式図である。

図７のＯＣＴ断層画像は、上述した実施形態における網膜色素上皮及び白斑のオブジェクトに加えて、外顆粒層及び外網状層のオブジェクトを含む４つのオブジェクトを対象としている。そして、図７のＯＣＴ断層画像は、図２のフローチャートに従って自己組織化マップを構築し、図３のフローチャートにおけるステップＳ３０１〜ステップＳ３０４までの処理を行った結果の画像である。

図７に示すＯＣＴ断層画像おいて、帰属確率より、画像領域Ｎ６には網膜色素上皮、画像領域Ｎ７には白斑、画像領域Ｎ８には外顆粒層、画像領域Ｎ９には外網状層の各オブジェクトが対応付けられている。また、画像領域Ｕ４は、本来、白斑の領域であるが、特徴が似ているため、白斑と外顆粒層の２つのオブジェクトが対応付けられており、ステップＳ３０５におけるオブジェクト選択対象領域となっている。

以下の説明においては、画像領域Ｕ４について、白斑と外顆粒層、外網状層との形状や存在しやすい位置関係を考慮して、それぞれの帰属指標を計算する場合について説明を行う。オブジェクトの形状については、白斑は塊状であり、外顆粒層及び外網状層は層状である。また、大きさについては、一般的に外顆粒層及び外網状層に対して白斑は小さい。そのため、白斑は外顆粒層及び外網状層に囲まれて存在することが多い。

第２の実施形態で説明した（６）式及び（７）式のように、対象領域と近傍領域の帰属確率を同等に扱うとき、画像領域Ｕ４のように白斑と外顆粒層の両方が対応付けられた領域について帰属指標を計算すると、白斑を囲む外顆粒層の方が対応するオブジェクトとして選ばれやすい。そこで、複数のオブジェクトが対応付けられている領域に関する重み係数をｗ_t、近傍領域に関する重み係数をｗ_nとして導入する。ここで、画像領域Ｕ４の白斑と外顆粒層に対する帰属確率をそれぞれ、ＰU4（Ｅ）、ＰU4（Ｏ）とする。また、画像領域Ｕ４の近傍領域にあたる画像領域Ｎ７及びＮ８の、当該画像領域Ｕ４の白斑及び外顆粒層に対する帰属確率をそれぞれ、ＰN7（Ｅ）、ＰN7（Ｏ）、ＰN8（Ｅ）、ＰN8（Ｏ）とする。また、画像領域Ｕ４について画像領域Ｎ７及びＮ８と共有する輪郭線の割合をそれぞれ、ＣN7及びＣN8とする。この場合、画像領域Ｕ４の白斑及び外顆粒層に対する帰属指標ＦU4（Ｅ）及びＦU4（Ｏ）は、以下の（１０）式及び（１１）式のように計算される。

ここで、（１０）式及び（１１）式において、それぞれの値が、ＰU4（Ｅ）＝０．６、ＰU4（Ｏ）＝０．４、ＰN7（Ｅ）＝０．８、ＰN7（Ｏ）＝０．２、ＰN8（Ｅ）＝０．２、ＰN8（Ｏ）＝０．８、ＣN7＝０．３、ＣN8＝０．７の場合に、重み係数ｗ_t、ｗ_nをそれぞれ１．０として、第２の実施形態と同様に計算すると、ＦU4（Ｅ）＜ＦU4（Ｏ）となる。この場合、オブジェクト選択部１１６は、画像領域Ｕ４について外顆粒層のオブジェクトを選択して対応付ける。

しかしながら、この場合、白斑は外顆粒層に囲まれて存在することが多いということを考慮して、近傍領域の影響を受けすぎないように重み係数ｗ_tの値を大きくすることで、対象領域の帰属確率を重視した帰属指標を算出することもできる。具体的には、ｗ_t＝２．０、ｗ_n＝１．０とし、これを（１０）式及び（１１）式に代入して帰属指標を計算すると、ＦＵ４（Ｅ）＞ＦＵ４（Ｏ）となる。この場合、オブジェクト選択部１１６は、画像領域Ｕ４について白斑のオブジェクトを選択して対応付ける。

本実施形態によれば、対象となるオブジェクトのとりうる形状や存在しやすい位置、大きさなどについて予め知識がある場合、その知識を反映して帰属指標を算出することにより、対象となる画像領域における正しいオブジェクトの識別を行うことができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。

なお、前述した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１０：画像処理装置、１１１：画像取得部、１１２：画像分割部、１１３：特徴量算出部、１１４：特徴空間作成部、１１５：特徴ベクトル写像部、１１６：オブジェクト選択部、１１７：領域統合部、１１８：画像表示部、１２０：画像取得装置、１３０：保存装置

Claims

入力された画像の処理を行う画像処理装置であって、
前記画像を複数の領域に分割する分割手段と、
前記分割手段により分割された複数の領域における各領域から特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量に基づいて、前記各領域に１又は複数のオブジェクトを対応付ける対応付け手段と、
前記対応付け手段により１つの領域に対して複数のオブジェクトが対応付けられた場合、当該１つの領域に対応付けられた各オブジェクトへの帰属確率と、当該１つの領域の近傍に位置する近傍領域に係る近傍領域情報とに基づいて、前記複数のオブジェクトの中から１つのオブジェクトを選択し、当該１つの領域に当該１つのオブジェクトを対応付ける選択手段と、
前記画像において同じ種類のオブジェクトが対応付けられた領域を統合する統合手段と
を有することを特徴とする画像処理装置。
前記対応付け手段は、前記特徴量算出手段により算出された特徴量に基づいて、前記各領域に１つのオブジェクトを対応付ける場合には、当該１つのオブジェクトへの前記帰属確率を算出し、前記各領域に複数のオブジェクトを対応付ける場合には、当該複数のオブジェクトの全てのオブジェクトへの前記帰属確率を算出することを特徴とする請求項１に記載の画像処理装置。
前記対応付け手段は、前記各領域に前記各オブジェクトを対応付けるための特徴空間を作成する作成手段を含むことを特徴とする請求項１又は２に記載の画像処理装置。
前記近傍領域情報は、前記１つの領域と前記近傍領域との位置関係の情報と、前記近傍領域における前記各オブジェクトへの帰属確率の情報を含むものであり、
前記選択手段は、前記近傍領域情報に含まれる当該位置関係の情報および当該帰属確率の情報のうちの少なくとも１つを用いて、前記１つの領域に前記１つのオブジェクトを対応付けることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
入力された画像の処理を行う画像処理装置による画像処理方法であって、
前記画像を複数の領域に分割する分割ステップと、
前記分割ステップにより分割された複数の領域における各領域から特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップにより算出された特徴量に基づいて、前記各領域に１又は複数のオブジェクトを対応付ける対応付けステップと、
前記対応付けステップにより１つの領域に対して複数のオブジェクトが対応付けられた場合、当該１つの領域に対応付けられた各オブジェクトへの帰属確率と、当該１つの領域の近傍に位置する近傍領域に係る近傍領域情報とに基づいて、前記複数のオブジェクトの中から１つのオブジェクトを選択し、当該１つの領域に当該１つのオブジェクトを対応付ける選択ステップと、
前記画像において同じ種類のオブジェクトが対応付けられた領域を統合する統合ステップと
を有することを特徴とする画像処理方法。
入力された画像の処理を行う画像処理装置による画像処理方法をコンピュータに実行させるためのプログラムであって、
前記画像を複数の領域に分割する分割ステップと、
前記分割ステップにより分割された複数の領域における各領域から特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップにより算出された特徴量に基づいて、前記各領域に１又は複数のオブジェクトを対応付ける対応付けステップと、
前記対応付けステップにより１つの領域に対して複数のオブジェクトが対応付けられた場合、当該１つの領域に対応付けられた各オブジェクトへの帰属確率と、当該１つの領域の近傍に位置する近傍領域に係る近傍領域情報とに基づいて、前記複数のオブジェクトの中から１つのオブジェクトを選択し、当該１つの領域に当該１つのオブジェクトを対応付ける選択ステップと、
前記画像において同じ種類のオブジェクトが対応付けられた領域を統合する統合ステップと
をコンピュータに実行させるためのプログラム。
請求項６に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。