JP2014171535A

JP2014171535A - 画像処理装置

Info

Publication number: JP2014171535A
Application number: JP2013044603A
Authority: JP
Inventors: Yusuke Noborimoto; 悠介登本; Hiroichi Nishimura; 博一西村; Kenichi Tanaka; 健一田中; Sawako Shoji; 佐和子東海林
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2013-03-06
Filing date: 2013-03-06
Publication date: 2014-09-22
Anticipated expiration: 2033-03-06
Also published as: JP6099436B2

Abstract

【課題】画像から粘膜微細構造を示す領域を安定的に抽出することが可能な画像処理装置を提供する。
【解決手段】画像処理装置は、生体粘膜を撮像して得た画像において、１以上の画素を有して構成される複数の単位領域毎に特徴量を算出する特徴量算出部と、特徴量算出部の算出結果に基づき、特徴量の極値を検出する極値検出部と、極値検出部の検出結果に基づき、極値検出部により極値が検出された各単位領域毎に、生体粘膜表層に存在する所定の構造物を示す構造領域の抽出に用いるパラメータを設定する設定部と、設定部により設定されたパラメータに基づく処理を行うことにより、画像の中から構造領域を抽出する構造領域抽出部と、を有する。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に、生体組織の診断等に用いられる画像処理装置に関するものである。

体腔内の生体組織を内視鏡より撮像して得られた内視鏡画像を用いた診断手法として、例えば、毛細血管及び上皮組織等のような、生体粘膜表層に存在する微細な構造（以降、粘膜微細構造とも称する）により形成されるパターンに基づく診断手法が近年提案されている。また、前述の診断手法をコンピュータ等により支援可能とするための技術として、例えば、前述の内視鏡画像等の画像から粘膜微細構造を示す領域を抽出するための様々な処理が近年提案されている。

具体的には、例えば、特許文献１には、前述の内視鏡画像に略相当する管腔内画像の各画素における画素値の勾配強度を算出し、当該算出した勾配強度に基づいて当該管腔内画像の中から粘膜構造の輪郭エッジを検出するような処理が開示されている。

ところで、前述の内視鏡画像のように、観察距離、方向、角度、及び、照明光量等の撮像条件が様々に変化し得る場合においては、画像から粘膜微細構造を示す領域を安定的に抽出することが困難であると考えられている。

そして、特許文献１に開示された技術によれば、撮像条件に応じて比較的変動し易い性質を有する画素値の勾配強度を用いた処理が行われることに起因し、粘膜構造の輪郭エッジの検出精度が安定せず、すなわち、画像から粘膜微細構造を示す領域を安定的に抽出することができない、という課題の少なくとも一部が未解決のままとなっている。

本発明は、前述した事情に鑑みてなされたものであり、画像から粘膜微細構造を示す領域を安定的に抽出することが可能な画像処理装置を提供することを目的としている。

本発明の一態様の画像処理装置は、生体粘膜を撮像して得た画像において、１以上の画素を有して構成される複数の単位領域毎に特徴量を算出する特徴量算出部と、前記特徴量算出部の算出結果に基づき、前記特徴量の極値を検出する極値検出部と、前記極値検出部の検出結果に基づき、前記極値検出部により前記極値が検出された各単位領域毎に、生体粘膜表層に存在する所定の構造物を示す構造領域の抽出に用いるパラメータを設定する設定部と、前記設定部により設定された前記パラメータに基づく処理を行うことにより、前記画像の中から前記構造領域を抽出する構造領域抽出部と、を有する。

本発明における画像処理装置によれば、画像から粘膜微細構造を示す領域を安定的に抽出することができる。

本発明の実施例に係る画像処理装置を具備する医用システムの要部の構成を示す図。本実施例の演算処理部が具備する主要な処理機能を示す図。本実施例の画像処理装置が行う処理等の一例を示すフローチャート。本実施例において処理対象となる画像データに含まれる画像領域の一例を示す図。特徴量の変動状態を画像データの画素位置に応じた連続関数として表した場合を説明するための図。極値が検出された画素位置の一例を示す図。所定の粘膜微細構造を示す構造領域の抽出に係る処理の一例を説明するためのフローチャート。所定の粘膜微細構造を示す構造領域の抽出に係る処理の、図７とは異なる例を説明するためのフローチャート。所定の粘膜微細構造を示す構造領域の抽出に係る処理の、図７及び図８とは異なる例を説明するためのフローチャート。所定の粘膜微細構造を示す構造領域の抽出に係る処理の、図７、図８及び図９とは異なる例を説明するためのフローチャート。所定の粘膜微細構造を示す構造領域の抽出結果に基づいて領域分割処理を行った場合に得られる処理結果の一例を示す図。

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。

図１から図１１は、本発明の実施例に係るものである。図１は、本発明の実施例に係る画像処理装置を具備する医用システムの要部の構成を示す図である。

医用システム１は、図１に示すように、体腔内の生体粘膜等の被写体を撮像して映像信号を出力する医用観察装置２と、パーソナルコンピュータ等により構成され、医用観察装置２から出力される映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する画像処理装置３と、画像処理装置３から出力される画像信号に基づく画像を表示するモニタ４と、を有して構成されている。

また、医用観察装置２は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡６と、内視鏡６により撮像される被写体を照明するための照明光（例えばＲＧＢ光）を供給する光源装置７と、内視鏡６に対する各種制御を行うとともに、内視鏡６から出力される撮像信号に対してガンマ補正等の信号処理を施すことにより映像信号を生成して出力するカメラコントロールユニット（以降、ＣＣＵと称する）８と、ＣＣＵ８から出力される映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するモニタ９と、を有して構成されている。

医用撮像装置としての内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の後端部に設けられた操作部１２と、を有して構成されている。また、挿入部１１の後端部から先端部１４にかけての内部には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。

ライトガイド１３の光出射側の端部は、挿入部１１の先端部１４に設けられた照明窓（不図示）に対向する位置に配置されている。また、ライトガイド１３の光入射側の端部は、光源装置７に接続されている。そして、このような構成によれば、光源装置７から供給される照明光は、ライトガイド１３及び照明窓を経て被写体へ出射される。

内視鏡６の先端部１４には、照明窓に隣接する位置に配置された観察窓（不図示）に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置された撮像素子１６と、を有する撮像部１７が設けられている。

撮像素子１６は、信号線を介してＣＣＵ８に接続されている。また、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動するように構成されている。さらに、撮像素子１６は、対物光学系１５により結像された光学像を撮像し、当該撮像した光学像に応じた撮像信号を生成してＣＣＵ８へ出力するように構成されている。

ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた信号処理回路（不図示）において信号処理されることにより、映像信号に変換されて出力される。そして、ＣＣＵ８から出力された映像信号は、モニタ９及び画像処理装置３に入力される。これにより、モニタ９には、ＣＣＵ８から出力される映像信号に基づく被写体の画像が表示される。

画像処理装置３は、医用観察装置２から出力される映像信号に対してＡ／Ｄ変換、ノイズ除去及び逆ガンマ補正等の処理を施して画像データを生成する画像入力部２１と、ＣＰＵ等を具備して構成され、画像入力部２１から出力される画像データに対する処理等を実施する演算処理部２２と、演算処理部２２において実施される処理に関するプログラム（及びソフトウェア）等が格納されているプログラム記憶部２３と、画像入力部２１から出力される画像データ等を記憶可能な画像記憶部２４と、演算処理部２２の処理結果に係るデータを格納可能な情報記憶部２５と、を有している。

また、画像処理装置３は、データバス３０に接続されている記憶装置Ｉ／Ｆ（インターフェース）２６と、記憶装置インターフェース２６を介して出力される様々なデータを保存可能な不揮発性記憶装置２７と、演算処理部２２の処理結果等をモニタ４に画像表示するための画像信号を生成して出力する表示処理部２８と、キーボード等の入力装置を具備して構成され、画像処理装置３に対する操作指示等を入力可能な入力操作部２９と、を有している。

なお、画像処理装置３の画像入力部２１、演算処理部２２、プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８、及び、入力操作部２９は、データバス３０を介して相互に接続されている。

一方、演算処理部２２は、図２に示すように、特徴量算出部２２ａの処理機能と、極値検出部２２ｂの処理機能と、設定部２２ｃの処理機能と、構造領域抽出部２２ｄの処理機能と、を有して構成されている。また、設定部２２ｃは、後述の距離算出部及び領域設定部の処理機能を利用できるように構成されている。図２は、本実施例の演算処理部が具備する主要な処理機能を示す図である。

次に、本実施例の医用システム１の画像処理装置３において行われる処理及び動作について、図３のフローチャート等を参照しながら説明する。図３は、本実施例の画像処理装置が行う処理等の一例を示すフローチャートである。

まず、ユーザは、医用システム１の各部の電源を投入した後、例えば、被検体の体腔内における所望の観察部位に先端部１４が達するまで挿入部１１を挿入する。これに応じ、先端部１４から出射される照明光（ＲＧＢ光）により生体粘膜を含む被写体が照明され、当該被写体が撮像部１７により撮像され、当該撮像された被写体に応じた撮像信号がＣＣＵ８へ出力される。

ＣＣＵ８は、信号処理回路において撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を施すことにより、該撮像信号を映像信号に変換して画像処理装置３及びモニタ９へ出力する。そして、モニタ９は、ＣＣＵ８から出力される映像信号に基づき、撮像部１７により撮像された被写体を画像表示する。

画像入力部２１は、医用観察装置２から入力された映像信号における画像サイズ（解像度）を維持しつつ、当該映像信号に対してＡ／Ｄ変換、ノイズ除去及び逆ガンマ補正等の処理を施すことにより画像データを生成し（図３のステップＳ１）、さらに、当該生成した画像データを演算処理部２２（及び画像記憶部２４）へ出力する。

なお、画像入力部２１は、図３のステップＳ１において、医用観察装置２から入力された映像信号における画像サイズを維持しつつ画像データを生成するものに限らず、例えば、医用観察装置２から入力された映像信号における２×２画素分のサイズを１画素分のサイズとするようなダウンサンプリング処理を施した画像データを生成するものであってもよい。

ここで、以降においては、画像入力部２１により生成された画像データの中から、ＰｉｔＰａｔｔｅｒｎ、または、ＭａｒｇｉｎａｌＣｒｙｐｔＥｐｉｔｈｅｌｉｕｍ（ＭＣＥ）のような、局所的に明るく撮像された粘膜微細構造を示す構造領域を抽出する場合を具体例として挙げつつ説明を行う。また、以降においては、画像入力部２１により生成された画像データの少なくとも一部に、図４に例示するような、明るさ分布（輝度分布）が非一様な画像領域が含まれているものとして説明を行う。図４は、本実施例において処理対象となる画像データに含まれる画像領域の一例を示す図である。

演算処理部２２は、画像入力部２１から出力される画像データの各画素毎に特徴量を算出する処理を行った（図３のステップＳ２）後、さらに、当該算出した特徴量の極値を検出する処理を行う（図３のステップＳ３）。

具体的には、演算処理部２２の特徴量算出部２２ａは、図３のステップＳ２の特徴量の算出に係る処理として、例えば、画像入力部２１から出力される画像データの画素位置（ｘ，ｙ）におけるＧ（緑色）成分の画素値Ｇ（ｘ，ｙ）を各画素毎に算出し、さらに、当該算出した画素値Ｇ（ｘ，ｙ）に対し、以下の数式（１）に示すようなガウス関数Ｆ（Ｇ（ｘ，ｙ））のσを２πに設定したものを畳み込む演算処理を行う。

なお、本実施例の演算処理部２２の特徴量算出部２２ａは、図３のステップＳ２において、Ｇ成分の画素値Ｇ（ｘ，ｙ）を用いた演算処理を行うことにより特徴量を算出するものに限らず、例えば、Ｒ（赤色）成分の画素値、Ｂ（青色）成分の画素値、Ｇ成分の画素値Ｇ（ｘ，ｙ）をＨＳＶ色空間に変換して得られる値、または、Ｇ成分の画素値Ｇ（ｘ，ｙ）をＬａｂ色空間に変換して得られる値のいずれかを用いた演算処理を行うことにより特徴量を算出するものであってもよい。

一方、演算処理部２２の極値検出部２２ｂは、図３のステップＳ３の極値の検出に係る処理として、例えば、画像データ内の任意の注目画素を中心とした複数の画素からなる注目領域において、当該注目画素の特徴量ＦＥと、当該注目領域内に存在する当該注目画素以外の各画素の中で最も大きな特徴量ＦＭと、の間でＦＥ＞ＦＭの関係が成り立つ場合に、当該注目画素の特徴量ＦＥを極大値として検出するような処理を行う。なお、このような処理を行う場合には、抽出対象とする所定の粘膜微細構造の種類に応じたサイズになるように注目領域のサイズを設定することにより、粘膜微細構造を示す構造領域の抽出精度を向上させることができる。具体的には、例えば、ＰｉｔＰａｔｔｅｒｎを抽出対象とする場合には、注目領域のサイズを１３×１３画素に設定することにより、粘膜微細構造を示す構造領域の抽出精度を向上させることができる。

また、本実施例の演算処理部２２の極値検出部２２ｂは、図３のステップＳ３において、前述の関係を満たす特徴量ＦＥを極大値として検出するような処理を行うものに限らず、例えば、図３のステップＳ２の処理により取得された特徴量の変動状態を、画像データの画素位置に応じた連続関数（図５参照）として表すことが可能な場合には、当該連続関数の微分値が０になるような画素位置の特徴量を極大値として検出するような処理を行うものであってもよい。図５は、特徴量の変動状態を画像データの画素位置に応じた連続関数として表した場合を説明するための図である。

演算処理部２２は、図３のステップＳ３により検出された各極値に基づき、図３のステップＳ１により生成された画像データの中から、所定の粘膜微細構造を示す構造領域を抽出する処理を行う（図３のステップＳ４）。

ところで、本実施例においては、図３のステップＳ１からＳ３までの処理を行うことにより、図６に例示するような極値（極大値）の検出結果を得ることができる。そのため、図６に例示するような極値（極大値）の検出結果が得られた場合においては、図７〜図１０に例示するような処理のうちの１つを図３のステップＳ４の処理として利用することができる。図６は、極値が検出された画素位置の一例を示す図である。

ここで、図３のステップＳ４において、図７に例示するような処理が行われる場合の例について説明する。

演算処理部２２の設定部２２ｃは、図３のステップＳ１により生成された画像データにおいて、図３のステップＳ３により極値が検出された各画素位置を中心とする局所領域を設定する（図７のステップＳ１１）。

なお、図７のステップＳ１１の処理においては、図３のステップＳ３により極値が検出された各画素位置を中心とする互いに同一の広さの局所領域が設定されるようにしてもよく、または、図３のステップＳ３により極値が検出された各画素位置同士の位置関係に応じて異なる広さの局所領域が設定されるようにしてもよい。

具体的には、演算処理部２２の設定部２２ｃは、例えば、図７のステップＳ１１において、一の極値が検出された一の画素位置を中心とする局所領域を設定する際に、当該一の画素位置から他の極値が検出された他の画素位置までの距離を当該一の画素位置から近い順に複数求め、当該求めた複数の距離の平均値を算出する処理を距離算出部としての機能を用いて実施し、当該算出した平均値の大小に応じて局所領域を拡縮する処理を領域設定部としての機能を用いて実施するようにしてもよい。そして、このような処理が図７のステップＳ１１において行われることにより、例えば、図３のステップＳ３の極値の検出結果が疎な領域には相対的に広い局所領域が設定され、図３のステップＳ３の極値の検出結果が密な領域には相対的に狭い局所領域が設定される。

演算処理部２２の設定部２２ｃは、図７のステップＳ１１により設定した各局所領域毎に閾値を設定する（図７のステップＳ１２）。具体的には、演算処理部２２の設定部２２ｃは、例えば、図７のステップＳ１１により設定した各局所領域において、一の局所領域の中心に位置する一の画素の特徴量（極大値）の半分の値を、当該一の局所領域の閾値として設定するような処理を行う。

そして、演算処理部２２の構造領域抽出部２２ｄは、図７のステップＳ１２により設定された閾値に基づき、図７のステップＳ１１により設定された各局所領域を２値化する処理を行う（図７のステップＳ１３）ことにより、図３のステップＳ１により生成された画像データの中から所定の粘膜微細構造を示す構造領域を抽出する。具体的には、演算処理部２２の構造領域抽出部２２ｄは、例えば、図７のステップＳ１１により設定された各局所領域において、図７のステップＳ１２により設定された閾値以上の特徴量を有する一の画素群の画素値を１とし、当該閾値未満の特徴量を有する他の画素群の画素値を０とする処理を行うことにより、所定の粘膜微細構造を示す構造領域を抽出する。

すなわち、演算処理部２２は、図３のステップＳ４において、図７に例示するような処理を行うことにより、２値化画像において画素値＝１とした画素群により構成される領域を、所定の粘膜微細構造を示す構造領域の抽出結果として取得する。

次に、図３のステップＳ４において、図８に例示するような処理が行われる場合の例について説明する。

演算処理部２２の設定部２２ｃは、図３のステップＳ１により生成された画像データにおいて、図３のステップＳ３により極値が検出された各画素位置を基点として設定する（図８のステップＳ２１）。

そして、演算処理部２２の設定部２２ｃは、図８のステップＳ２１により設定した各基点の特徴量（極大値）に基づいて閾値を設定する（図８のステップＳ２２）。さらに、演算処理部２２の構造領域抽出部２２ｄは、図８のステップＳ２２により設定された閾値に基づいて領域拡張法を実施する（図８のステップＳ２３）ことにより、図３のステップＳ１により生成された画像データの中から所定の粘膜微細構造を示す構造領域を抽出する。

具体的には、演算処理部２２の設定部２２ｃ及び構造領域抽出部２２ｄは、図８のステップＳ２２及びステップＳ２３において、一の基点に対する領域拡張法を実施する際に、例えば、当該一の基点の特徴量（極大値）の半分の値を閾値として設定し、さらに、当該一の基点から当該閾値未満の特徴量を具備する画素まで領域を拡張するような処理を行う。

すなわち、演算処理部２２は、図３のステップＳ４において、図８に例示するような処理を行うことにより、領域拡張法による拡張後の各領域を、所定の粘膜微細構造を示す構造領域の抽出結果として取得する。

次に、図３のステップＳ４において、図９に例示するような処理が行われる場合の例について説明する。

演算処理部２２の設定部２２ｃは、図３のステップＳ１により生成された画像データにおいて、図３のステップＳ３により極値が検出された各画素位置の周囲をそれぞれ囲むような初期輪郭を設定する（図９のステップＳ３１）。

なお、図９のステップＳ３１の処理においては、図３のステップＳ３により極値が検出された各画素位置に対して互いに同一の形状の初期輪郭が設定されるようにしてもよく、または、図３のステップＳ３により極値が検出された各画素位置同士の位置関係に応じて異なる形状の初期輪郭が設定されるようにしてもよい。

具体的には、演算処理部２２の設定部２２ｃは、例えば、図９のステップＳ３１の処理において、一の極値が検出された一の画素位置に対する初期輪郭を設定する際に、当該一の画素位置から他の極値が検出された他の画素位置までの距離を当該一の画素位置から近い順に複数求め、当該求めた複数の距離の平均値を算出する処理を距離算出部としての機能を用いて実施し、当該算出した平均値の大小に応じて初期輪郭の形状を変形する処理を領域設定部としての機能を用いて実施するようにしてもよい。そして、このような処理が図９のステップＳ３１において行われることにより、例えば、図３のステップＳ３の極値の検出結果が疎な領域には相対的に大きな形状の初期輪郭が設定され、図３のステップＳ３の極値の検出結果が密な領域には相対的に小さな形状の初期輪郭が設定される。

演算処理部２２の構造領域抽出部２２ｄは、図９のステップＳ３１により設定した初期輪郭を用い、Ｓｎａｋｅｓ等の所定の動的輪郭モデルに基づく演算を行うことにより、図３のステップＳ１により生成された画像データの中から所定の粘膜微細構造を示す構造領域を抽出する（図９のステップＳ３２）。

すなわち、演算処理部２２は、図３のステップＳ４において、図９に例示するような処理を行うことにより、所定の動的輪郭モデルに基づく演算の演算結果として得られた各輪郭に囲まれた領域を、所定の粘膜微細構造を示す構造領域の抽出結果として取得する。

続いて、図３のステップＳ４において、図１０に例示するような処理が行われる場合の例について説明する。

演算処理部２２の設定部２２ｃは、図３のステップＳ１により生成された画像データにおいて、図３のステップＳ３により極値が検出された各画素位置の周囲をそれぞれ囲むような初期輪郭を設定する（図１０のステップＳ４１）。

なお、図１０のステップＳ４１の処理においては、図３のステップＳ３により極値が検出された各画素位置に対して互いに同一の形状の初期輪郭が設定されるようにしてもよく、または、図３のステップＳ３により極値が検出された各画素位置同士の位置関係に応じて異なる形状の初期輪郭が設定されるようにしてもよい。

具体的には、演算処理部２２の設定部２２ｃは、例えば、図１０のステップＳ４１の処理において、一の極値が検出された一の画素位置に対する初期輪郭を設定する際に、当該一の画素位置から他の極値が検出された他の画素位置までの距離を当該一の画素位置から近い順に複数求め、当該求めた複数の距離の平均値を算出する処理を距離算出部としての機能を用いて実施し、当該算出した平均値の大小に応じて初期輪郭の形状を変形する処理を領域設定部としての機能を用いて実施するようにしてもよい。そして、このような処理が図１０のステップＳ４１において行われることにより、例えば、図３のステップＳ３の極値の検出結果が疎な領域には相対的に大きな形状の初期輪郭が設定され、図３のステップＳ３の極値の検出結果が密な領域には相対的に小さな形状の初期輪郭が設定される。なお、前述の処理が図１０のステップＳ４１において行われた場合には、後述の数式（２）の右辺第１項における係数αの値を、初期輪郭の拡張に伴って減少するとともに、初期輪郭の縮小に伴って増加するようにしてもよい。

演算処理部２２の構造領域抽出部２２ｄは、図１０のステップＳ４１により設定した初期輪郭を用い、所定のエネルギー関数に基づく演算を行うことにより、図３のステップＳ１により生成された画像データの中から所定の粘膜微細構造を示す構造領域を抽出する（図１０のステップＳ４２）。

具体的には、演算処理部２２の構造領域抽出部２２ｄは、例えば、図１０のステップＳ４１により設定した初期輪郭と、以下の数式（２）〜（５）により定義されるエネルギー関数と、に基づき、下記数式（２）の左辺のＥ（ｖ，ｃ）を最小化する閉曲線パラメータｖ及びｃを求めた後、当該求めた閉曲線パラメータｖ及びｃにより形成される閉曲線で囲まれた領域を所定の粘膜微細構造を示す構造領域の抽出結果として取得する。

ここで、上記数式（２）の右辺のα、β及びγは、重み付け用の係数を表し、例えば、α＝β＝γ＝１として設定される。また、上記数式（３）において、（ｖｉ_x，ｖｉ_y）は一の輪郭Ｂｄ上における任意の画素位置ｖｉを表し、（ｍ_x，ｍ_y）は当該一の輪郭Ｂｄ内において特徴量の極大値が検出された画素位置を示し、ｖは画素位置ｖｉの集合を表す（ｖ＝｛ｖｉ｝である）ものとする。また、上記数式（４）において、ｆ（ｖｉ）は一の輪郭Ｂｄ上における任意の画素位置ｖｉの特徴量を表し、μ_Bdは当該一の輪郭Ｂｄ上における各画素位置ｖｉの特徴量の平均値を表すものとする。また、上記数式（５）において、ｆ（ｃｉ）は一の輪郭Ｂｄにより囲まれた領域Ｒｇ内における任意の画素位置ｃｉ（但しｖ＝｛ｖｉ｝を除く）の特徴量を表し、μ_Rgは当該領域Ｒｇ内における各画素位置ｃｉの特徴量の平均値を表し、ｃは画素位置ｃｉの集合を表す（ｃ＝｛ｃｉ｝である）ものとする。

すなわち、演算処理部２２は、図３のステップＳ４において、図１０に例示するような処理を行うことにより、所定のエネルギー関数に基づく演算の演算結果として得られた各閉曲線に囲まれた領域を、所定の粘膜微細構造を示す構造領域の抽出結果として取得する。

そして、演算処理部２２は、図３の一連の処理を経て得られた、所定の粘膜微細構造を示す構造領域の抽出結果に基づいて領域分割処理を行うことにより、当該構造領域の内部（図１１の太実線を境とした領域の内部）と、当該構造領域の外部（図１１の太実線を境とした領域の外部）と、を好適に分割することができる。

なお、図３の一連の処理は、ＲＧＢ光を照明光として被写体に照射した際に得られる画像に対して施されるものに限らず、例えば、狭帯域光等の他の照明光を被写体に照射した際に得られる画像に対して施されるものであってもよい。

また、本実施例によれば、特徴量の極小値を検出するための処理が図３のステップＳ３において行われるようしてもよい。具体的には、図３のステップＳ３の極値の検出に係る処理として、例えば、画像データ内の任意の注目画素を中心とした複数の画素からなる注目領域において、当該注目画素の特徴量ＦＦと、当該注目領域内に存在する当該注目画素以外の各画素の中で最も小さな特徴量ＦＮと、の間でＦＦ＜ＦＮの関係が成り立つ場合に、当該注目画素の特徴量ＦＦを極小値として検出するような処理が行われるようにしてもよい。そして、このような処理が図３のステップＳ３において行われた場合には、毛細血管等のような、局所的に暗く撮像された粘膜微細構造を示す構造領域を画像データの中から抽出することができる。

以上に述べたように、本実施例によれば、撮像条件に応じて比較的変動し難い性質を有する特徴量の極値を検出した検出結果に基づき、所定の粘膜微細構造を示す構造領域を抽出するような処理が行われる。そのため、本実施例によれば、画像から粘膜微細構造を安定的に抽出することができる。

なお、本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

１医用システム
２医用観察装置
３画像処理装置
４モニタ
２１画像入力部
２２演算処理部

日本国特開２０１２−７３９５３号公報

Claims

生体粘膜を撮像して得た画像において、１以上の画素を有して構成される複数の単位領域毎に特徴量を算出する特徴量算出部と、
前記特徴量算出部の算出結果に基づき、前記特徴量の極値を検出する極値検出部と、
前記極値検出部の検出結果に基づき、前記極値検出部により前記極値が検出された各単位領域毎に、生体粘膜表層に存在する所定の構造物を示す構造領域の抽出に用いるパラメータを設定する設定部と、
前記設定部により設定された前記パラメータに基づく処理を行うことにより、前記画像の中から前記構造領域を抽出する構造領域抽出部と、
を有することを特徴とする画像処理装置。
前記設定部は、前記極値検出部により前記極値が検出された各単位領域を中心とする局所領域と、前記極値検出部により前記極値が検出された各単位領域毎に算出した閾値と、を前記パラメータとして設定し、
前記抽出部は、前記設定部により設定された前記局所領域及び前記閾値に基づき、前記極値検出部により一の極値が検出された一の単位領域を中心とする一の局所領域において、前記一の極値に基づいて算出した一の閾値以上の前記特徴量を具備する単位領域群を前記構造領域として抽出する処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
前記設定部は、前記極値検出部により前記極値が検出された各単位領域同士の位置関係に応じて異なる広さとなるように、前記局所領域を設定する
ことを特徴とする請求項２に記載の画像処理装置。
前記設定部は、前記極値検出部により前記極値が検出された各単位領域毎に算出した閾値を前記パラメータとして設定し、
前記抽出部は、前記設定部により設定された前記閾値に基づき、前記極値が検出された各単位領域を基点として領域拡張法を実施することにより、前記構造領域を抽出する
ことを特徴とする請求項１に記載の画像処理装置。
前記設定部は、前記極値検出部により前記極値が検出された各単位領域の周囲をそれぞれ囲む初期輪郭を前記パラメータとして設定し、
前記抽出部は、前記設定部により設定された前記初期輪郭を用い、所定の動的輪郭モデルまたは所定のエネルギー関数に基づく演算を行うことにより、前記構造領域を抽出する
ことを特徴とする請求項１に記載の画像処理装置。
前記設定部は、前記極値検出部により前記極値が検出された各単位領域同士の位置関係に応じて異なる形状となるように、前記初期輪郭を設定する
ことを特徴とする請求項５に記載の画像処理装置。
前記極値検出部は、前記特徴量算出部の算出結果に基づき、前記所定の構造物の種類に応じたサイズとなるように設定された注目領域内において最大値または最小値となる前記特徴量を前記極値として検出する
ことを特徴とする請求項１に記載の画像処理装置。