JP2012016453A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JP2012016453A
JP2012016453A JP2010155176A JP2010155176A JP2012016453A JP 2012016453 A JP2012016453 A JP 2012016453A JP 2010155176 A JP2010155176 A JP 2010155176A JP 2010155176 A JP2010155176 A JP 2010155176A JP 2012016453 A JP2012016453 A JP 2012016453A
Authority
JP
Japan
Prior art keywords
pixel
region
color
abnormal
color element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010155176A
Other languages
English (en)
Other versions
JP2012016453A5 (ja
JP5622461B2 (ja
Inventor
Masashi Hirota
昌士 弘田
Yamato Kanda
大和 神田
Makoto Kitamura
誠 北村
Takehiro Matsuda
岳博 松田
Takashi Kono
隆志 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010155176A priority Critical patent/JP5622461B2/ja
Priority to EP11005473A priority patent/EP2405397A1/en
Priority to US13/177,072 priority patent/US8989467B2/en
Priority to CN2011101901425A priority patent/CN102314605A/zh
Publication of JP2012016453A publication Critical patent/JP2012016453A/ja
Publication of JP2012016453A5 publication Critical patent/JP2012016453A5/ja
Application granted granted Critical
Publication of JP5622461B2 publication Critical patent/JP5622461B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Abstract

【課題】管腔内画像から異常領域を精度良く検出すること。
【解決手段】本発明のある実施の形態の画像処理装置1において、演算部15は、管腔内画像を構成する各画素の複数の色要素に関し、各色要素の画素値を用いてモルフォロジ処理を行い、各画素位置における色要素の基準値を表す基準面を色要素毎に作成する基準面作成部17と、管腔内画像の各画素の複数の色要素の画素値と色要素毎の基準面との色要素毎の差分をもとに、管腔内画像から異常領域を検出する異常領域検出部18とを備える。
【選択図】図1

Description

本発明は、管腔内を撮像した管腔内画像から異常領域を検出する画像処理装置、画像処理方法、および画像処理プログラムに関するものである。
従来から、患者等の被検者の体内に導入されて体内管腔内を観察する医用観察装置として、内視鏡が広く普及している。また、近年では、カプセル型の筐体内部に撮像装置やこの撮像装置によって撮像された画像データを体外に無線送信する通信装置等を備えた飲み込み型の内視鏡(カプセル内視鏡)が開発されている。これらの医用観察装置によって撮像された体内管腔内の画像(管腔内画像)の観察・診断は、多くの経験を必要とするため、医師による診断を補助する医療診断支援機能が望まれている。この機能を実現する画像認識技術の1つとして、管腔内画像から出血部位等の異常領域(病変領域)を自動的に検出することで、重点的に診断すべき画像を示す技術が提案されている。
例えば、特許文献1には、画像内の各画素の画素値または平均化した画素値をその色情報に基づく特徴空間に写像してクラスタリングを行い、正常な粘膜領域のクラスタからのユークリッド距離が所定値以上のデータを異常領域として検出する技術が開示されている。
特開2005−192880号公報
ところで、管腔内画像中の異常領域は、通常、周囲と異なる色を持つ領域として現れる。しかしながら、特許文献1の技術では、特徴空間に写像する際に画像上での位置情報が失われるため、周囲と異なる色を持つ領域であっても、特徴空間において正常粘膜クラスタの近傍に位置していれば、平均色から逸脱していないとして異常領域とは検出されない事態が生じ得る。一方で、周囲と異なる色を持つ領域には、異常領域の他にも、粘膜自体の凹凸によって画素値が変化した領域も含まれる。このため、単に周囲と異なる色を持つ領域を検出するだけでは、前述のような領域を誤って異常領域として検出してしまう場合があった。
本発明は、上記に鑑み為されたものであって、管腔内画像から異常領域を精度良く検出することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、管腔内画像から異常領域を検出する画像処理装置であって、前記管腔内画像を構成する各画素の複数の色要素に関し、前記各色要素の画素値を用いてモルフォロジ処理を行い、各画素位置における前記色要素の基準値を表す基準面を前記色要素毎に作成する基準面作成手段と、前記各画素の画素値と前記基準面との前記色要素毎の差分をもとに、前記管腔内画像から異常領域を検出する異常領域検出手段と、を備えることを特徴とする。
この態様にかかる画像処理装置によれば、管腔内画像の各画素の複数の色要素の画素値を色要素毎に用いてモルフォロジ処理を行うことができるので、周囲の画素における各色要素の画素値をもとに、各画素位置における色要素の基準値を表す基準面を作成することができる。また、各画素の画素値と基準面との色要素毎の差分をもとに、管腔内画像から異常領域を検出することができる。ここで、周囲に対する画素値の変化が粘膜の構造による変化の場合、それらは連続する粘膜領域であるため、色要素毎の画素値の比率も同様に変化する。色要素毎の差分を用いれば、例えば、前述のような粘膜の構造によって画素値が変化する領域を異常領域として検出する事態を防止できる。したがって、管腔内画像から異常領域を精度良く検出することができる。
また、本発明の別の態様にかかる画像処理方法は、管腔内画像から異常領域を検出する画像処理方法であって、前記管腔内画像を構成する各画素の複数の色要素に関し、前記各色要素の画素値を用いてモルフォロジ処理を行い、各画素位置における前記色要素の基準値を表す基準面を前記色要素毎に作成する基準面作成工程と、前記各画素の画素値と前記基準面との前記色要素毎の差分をもとに、前記管腔内画像から異常領域を検出する異常領域検出工程と、を含むを特徴とする。
また、本発明の別の態様にかかる画像処理プログラムは、管腔内画像から異常領域を検出するための画像処理プログラムであって、コンピュータに、前記管腔内画像を構成する各画素の複数の色要素に関し、前記各色要素の画素値を用いてモルフォロジ処理を行い、各画素位置における前記色要素の基準値を表す基準面を前記色要素毎に作成する基準面作成ステップと、前記各画素の画素値と前記基準面との前記色要素毎の差分をもとに、前記管腔内画像から異常領域を検出する異常領域検出ステップと、を実行させることを特徴とする。
本発明によれば、管腔内画像から異常領域を精度良く検出することができるという効果を奏する。
図1は、実施の形態1の画像処理装置の機能構成を説明するブロック図である。 図2は、実施の形態1の画像処理装置が行う処理手順を示す全体フローチャートである。 図3は、管腔内画像の一例を示す模式図である。 図4は、実施の形態1におけるサイズ決定処理の詳細な処理手順を示すフローチャートである。 図5は、分割領域の主軸および領域幅を説明する図である。 図6は、図5に示す領域幅を算出した主軸に直交するラインの方向におけるラインプロファイルを示す図である。 図7は、基準面作成処理の原理を説明する図である。 図8は、基準面作成処理の原理を説明する他の図である。 図9は、基準面作成処理の詳細な処理手順を示すフローチャートである。 図10は、異常領域検出処理の詳細な処理手順を示すフローチャートである。 図11−1は、正常な粘膜領域における画素値のR値の分布を示す図である。 図11−2は、正常な粘膜領域における画素値のG値の分布を示す図である。 図11−3は、正常な粘膜領域における画素値のB値の分布を示す図である。 図12−1は、異常領域における画素値のR値の分布を示す図である。 図12−2は、異常領域における画素値のG値の分布を示す図である。 図12−3は、異常領域における画素値のB値の分布を示す図である。 図13は、実施の形態2の画像処理装置の機能構成を説明するブロック図である。 図14は、実施の形態2の画像処理装置が行う処理手順を示す全体フローチャートである。 図15は、実施の形態2におけるサイズ決定処理の詳細な処理手順を示すフローチャートである。 図16は、本発明を適用したコンピューターシステムの構成を示すシステム構成図である。 図17は、図16のコンピューターシステムを構成する本体部の構成を示すブロック図である。
以下、図面を参照し、本発明の好適な実施の形態について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
ここで、本実施の形態の画像処理装置は、例えば内視鏡やカプセル内視鏡等の医用観察装置が被検者の体内の消化管等の管腔内を撮像した画像(管腔内画像)を処理し、出血部位等の異常領域を検出するものである。なお、本実施の形態において、医用観察装置によって撮像される管腔内画像は、例えば、各画素においてR(赤),G(緑),B(青)の各色成分に対する画素レベル(画素値)を持つカラー画像である。以下、本実施の形態では、各画素の画素値のR値、G値およびB値の3つの値を複数の色要素の画素値として用いる。
(実施の形態1)
先ず、実施の形態1の画像処理装置の構成について説明する。図1は、実施の形態1の画像処理装置1の機能構成を説明するブロック図である。実施の形態1の画像処理装置1は、図1に示すように、画像取得部11と、入力部12と、表示部13と、記録部14と、演算部15と、画像処理装置1全体の動作を制御する制御部30とを備える。
画像取得部11は、医用観察装置によって撮像された管腔内画像の画像データを取得するためのものであり、この画像取得部11によって取得された画像データは記録部14に記録され、演算部15によって処理された後、必要に応じて適宜表示部13に表示される。画像取得部11は、例えば医用観察装置がカプセル内視鏡の場合等のように医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合であれば、この記録媒体を着脱自在に装着して保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを適所に設置し、このサーバから取得する構成の場合には、画像取得部11を、サーバと接続するための通信装置等で構成する。そして、この画像取得部11を介してサーバとデータ通信を行い、管腔内画像の画像データを取得する。また、この他、内視鏡等の医用観察装置からの画像信号をケーブルを介して入力するインターフェース装置等で構成してもよい。
入力部12は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、入力信号を制御部30に出力する。表示部13は、LCDやELディスプレイ等の表示装置によって実現されるものであり、制御部30の制御のもと、管腔内画像を含む各種画面を表示する。
記録部14は、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記録媒体およびその読取装置等によって実現されるものであり、画像処理装置1を動作させ、この画像処理装置1が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。例えば、記録部14には、画像取得部11によって取得された管腔内画像の画像データが記録される。また、記録部14には、実施の形態1の処理を実現して管腔内画像から異常領域を検出するための画像処理プログラム141が記録される。
演算部15は、CPU等のハードウェアによって実現され、管腔内画像を処理して異常領域を検出するための種々の演算処理を行う。この演算部15は、領域分割手段としての領域分割部16と、基準面作成手段としての基準面作成部17と、異常領域検出手段としての異常領域検出部18とを含む。
領域分割部16は、管腔内画像をエッジ情報をもとに複数の領域(以下、分割された個々の領域を「分割領域」と呼ぶ。)に分割する。
基準面作成部17は、分割領域内の各画素の画素値をR値、G値およびB値の色要素毎に用いて分割領域毎にモルフォロジ処理を行い、分割領域内の各画素位置における色要素の基準値を表す基準面を色要素毎に作成する。この基準面作成部17は、分割領域の大きさと、分割領域内の各画素の画素値とをもとに、モルフォロジ処理で用いる構造要素と呼ばれる基準図形のサイズを決定するサイズ決定手段としてのサイズ決定部171を備える。このサイズ決定部171は、幅算出手段としての領域幅算出部172と、曲率算出手段としての曲率算出部173とを備える。領域幅算出部172は、分割領域の主軸に直交する方向における領域幅を算出する。曲率算出部173は、分割領域の主軸に直交する方向におけるプロファイルの曲率を算出する。
異常領域検出部18は、分割領域毎に、分割領域内の各画素のR値、G値およびB値である各色要素の画素値と色要素毎の基準面とをもとに異常領域を検出する。この異常領域検出部18は、候補画素検出手段としての候補画素検出部19と、異常画素判別手段としての異常画素判別部20とを備える。候補画素検出部19は、異常候補画素を検出する機能部であり、差分算出手段としての差分算出部191と、輝度正規化手段としての輝度正規化部192とを備える。差分算出部191は、色要素毎に、分割領域内の各画素の該当する色要素の画素値と該当する色要素の基準面との差分を算出する。輝度正規化部192は、分割領域内の各画素の輝度値をもとに、差分算出部191が算出した色要素毎の差分を正規化する。異常画素判別部20は、異常候補画素が異常領域に属する画素か否かを判別する機能部であり、色要素正規化手段としての色要素正規化部201と、相対比判定手段としての相対比判定部202とを備える。色要素正規化部201は、管腔内画像におけるR値、G値およびB値の各色要素の画素値について予め想定される大小傾向をもとに、候補画素検出部19が異常候補画素について算出した色要素毎の差分を正規化する。相対比判定部202は、色要素正規化部201が正規化した色要素毎の差分の相対比を判定する。
制御部30は、CPU等のハードウェアによって実現される。この制御部30は、画像取得部11によって取得された画像データや入力部12から入力される入力信号、記録部14に記録されるプログラムやデータ等をもとに画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。
次に、実施の形態1の画像処理装置1が行う具体的な処理手順について説明する。図2は、実施の形態1の画像処理装置1が行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部15が記録部14に記録された画像処理プログラム141を実行することにより実現される。
図2に示すように、先ず演算部15は、処理対象の管腔内画像を取得する(ステップa1)。ここでの処理によって、演算部15は、画像取得部11によって取得され、記録部14に記録された処理対象の管腔内画像を読み出して取得する。図3は、管腔内画像の一例を示す模式図である。図3に示すように、管腔内画像には、基本的に消化管内壁の粘膜5が映り、時として出血部位等の異常領域51が映る。また、管腔内画像には、粘膜5の折りたたみやうねり等によって発生する溝、粘膜5の輪郭等がエッジ52となって現れる。
処理対象の管腔内画像を読み出したならば、続いて、図2に示すように、領域分割部16が、処理対象の管腔内画像を領域分割する(ステップa3)。このとき、領域分割部16は、エッジ情報をもとに、粘膜の境界部分等のエッジ(例えば図3に示したエッジ52)が内部に含まれないように領域分割を行う。
具体的な処理手順としては、例えば先ず、処理対象の管腔内画像のエッジ強度を算出する。例えばソーベル(Sobel)フィルタ等を用いた1次微分処理やラプラシアン(Laplacian)等を用いた2次微分処理等、公知のエッジ抽出技術を用いて画素毎にエッジ強度を算出する。ここで、管腔内画像に映る出血部位等の異常領域の構成成分(血液の構成成分)であるヘモグロビンは、短波長帯の光を多く吸光する特性を持つ。このようなヘモグロビンの短波長帯での吸光特性のため、波長成分の多くが短波長帯で構成されるG値やB値は、ヘモグロビンの吸光によって輝度値が下がる。一方、波長成分の多くが長波長帯で構成されるR値は、吸光が少なくほとんどの光を反射する。このため、R値からは、粘膜の表面構造を最も反映した情報を得ることができる。そこで、各画素の画素値をR値としたR値画像を作成し、このR値画像をもとに各画素のエッジ強度を算出するようにしてもよい。
その後、算出した各画素のエッジ強度をもとに、公知の動的輪郭法(参考:CG−ARTS協会,ディジタル画像処理,P196〜P200,領域分割処理)を用いて管腔内画像を領域分割する。動的輪郭法は、画像内のエッジを閉曲線として抽出する方法であり、初期閉曲線の形状を変形させながら、閉曲線の連続性や滑らかさ、閉曲線上でのエッジ強度に基づくエネルギー和が最も安定するような閉曲線を抽出するものである。この動的輪郭法を用い、先ず、管腔内画像中に初期閉領域を設定してその輪郭線を初期閉曲線とする。続いて、初期閉領域の形状を変形させていくことでエッジ(粘膜の境界部分)を内部に含まない閉領域を抽出し、抽出した閉領域を分割領域とする。その後、管腔内画像の全域がいずれかの分割領域に属するまでこの処理を繰り返す。この結果、管腔内画像は、エッジを内部に含まない1つ以上の分割領域に分割される。
以上のようにして処理対象の管腔内画像を領域分割したならば、続いて、分割された領域(分割領域)毎にループAの処理を実行する(ステップa5〜ステップa13)。このループAでは、先ず、基準面作成部17において、サイズ決定部171がサイズ決定処理を実行し、後段のステップa9で処理対象の分割領域について行うモルフォロジ処理で用いる構造要素のサイズを決定する(ステップa7)。
図4は、実施の形態1におけるサイズ決定処理の詳細な処理手順を示すフローチャートである。実施の形態1のサイズ決定処理では、図4に示すように、先ず、領域幅算出部172が、分割領域の主軸(参考:CG−ARTS協会,ディジタル画像処理,P183,主軸)を設定する(ステップb1)。続いて、領域幅算出部172は、分割領域の大きさを示す値として、主軸に直交する方向の領域幅Wを算出する(ステップb3)。図5は、分割領域E1の一例を示す図であり、分割領域E1の主軸A1とこの主軸A1をもとに算出される領域幅Wを示している。図5に示すように、分割領域E1の主軸A1は、分割領域E1の長軸方向に設定される。そして、領域幅Wは、主軸A1の中心を通り、この主軸A1に直交するラインL11の方向における分割領域の幅、すなわちラインL11と分割領域E1の輪郭との交点P11,P12間を結ぶ線分の長さとして算出される。
続いて、曲率算出部173が、領域幅Wを算出した主軸に直交する方向におけるラインプロファイルの曲率Cを算出する(ステップb5)。ここで、ラインプロファイルの曲率Cの算出原理について説明する。図6は、図5に示すラインL11の方向におけるラインプロファイルを示す図であり、横軸を図5に示すラインL11上の画素位置とし、縦軸を該当する各画素の画素値として交点P11,P12間の画素値の変化曲線L12を示したものである。実施の形態1において、ラインプロファイルとは、主軸の中心を通り、主軸に直交する方向に存在する分割領域内の画素、すなわち領域幅Wを算出した分割領域内の線分上の画素の画素値の変化のことをいう。例えば、図5に示す交点P11,P12間のラインL11上の画素値の変化である図6に示す変化曲線L12のことをいう。そして、図4のステップb5では、この変化曲線L12が示す曲線形状の曲率を曲率Cとして算出する。
その後、サイズ決定部171が、ステップb3およびステップb5で算出した分割領域の領域幅Wと曲率Cとをもとに構造要素の半径Rを算出することで、構造要素のサイズを決定する(ステップb7)。ここでの処理は、例えば、予め領域幅Wと曲率Cとの組み合わせ毎に構造要素の半径Rを定義したテーブルを用意しておき、このテーブルを参照して算出した領域幅Wと曲率Cとに応じた構造要素の半径Rを決定することで行う。なお、構造要素の半径Rの決定方法はこれに限定されるものではなく、分割領域の領域幅Wと曲率Cとから構造要素の半径Rが決定されればよい。例えば、予め領域幅Wと曲率Cとから構造要素の半径Rを決定する関係式を定義しておき、この関係式に算出した領域幅Wと曲率Cと代入することで構造要素の半径Rを決定するようにしてもよい。以上のようにして構造要素のサイズ(半径R)を決定したならば、図2のステップa7にリターンし、その後ステップa9に移行する。
そして、ステップa9では、基準面作成部17が基準面作成処理を実行し、処理対象の分割領域に対して公知のモルフォロジ処理(参考:コロナ社,モルフォロジー,小畑秀文著)を行って色要素毎の基準面を作成する。
ここで、基準面作成処理の原理についてモルフォロジ処理の原理と併せて説明する。図7は、管腔内画像の画素値を高度として表した画素値分布を模式的に示した図であり、より詳細には、管腔内画像中の所定方向断面における画素値の分布を実線で示している。また、図7において、実線で示す分布を有する画素値を用いて行うモルフォロジ処理の結果作成される基準面P2を一点鎖線で示している。
モルフォロジ処理には、オープニング(Opening)処理(以下、「モルフォロジOpening処理」と呼ぶ。)とクロージング(Closing)処理(以下、「モルフォロジClosing処理」と呼ぶ。)とがある。モルフォロジOpening処理は、画素値を高度とみなした3次元空間において、図7に示す構造要素F21を対象画像の画素値の小さい方(下側)から外接させて移動させた際に構造要素F21の外周の最大値が通過する軌跡を算出する処理である。このモルフォルジOpening処理によれば、例えば図7中に示す凸形状の領域(凸領域)E21等のように周囲と比べて局所的に値の大きい凸領域が平滑化される。一方、モルフォロジClosing処理は、同様の3次元空間において、構造要素F22を対象画像の画素値の大きい方(上側)から外接させて移動させた際に構造要素F22の外周の最小値が通過する軌跡を算出する処理である。このモルフォロジClosing処理によれば、例えば図7中に示す凹形状の領域(凹領域)E22等のように周囲と比べて局所的に値の小さい凹領域が平滑化される。このモルフォロジOpening処理とモルフォロジClosing処理とを組み合わせて色要素毎に行えば、周囲の画素における各色要素の画素値をもとに、各画素位置における色要素の基準値を表す基準面P2を色要素毎に作成することができる。
より詳細には、このモルフォロジOpening処理およびモルフォロジClosing処理において、図4のサイズ決定処理によってサイズ決定部171が処理対象の分割領域について決定したサイズの構造要素を用いる。モルフォロジ処理は、図7に示して説明したように、構造要素を画素値の小さい方または大きい方から外接させて移動させることで周囲に対して凹形状の凹領域や周囲に対して凸形状の凸領域を平滑化するものである。このため、構造要素のサイズが小さいと、この構造要素が図7の凸領域E21や凹領域E22の内側に入り込んで通過する軌跡が得られ、凸領域E21や凹領域E22にくい込んだ基準面が作成されてしまう。一方で、構造要素のサイズが大きいと、例えば図7の画素値変化の全体を凸領域として平滑化する事態が生じ得る。実施の形態1では、上記したように、モルフォロジ処理の処理単位である分割領域の大きさと、分割領域内の各画素の画素値とをもとに(実際には分割領域の領域幅Wと曲率Cとをもとに)構造要素のサイズを決定することとしたので、小さすぎず、大きすぎない適切なサイズの構造要素を用いてモルフォロジ処理を行うことができ、基準面を適切に作成することができる。なお、実施の形態1では、上記した図4のステップb7で構造要素のサイズとして半径Rを決定しており、モルフォロジOpening処理およびモルフォロジClosing処理では、例えば決定した半径Rの円を構造要素として用いる。なお、この構造要素の形状は円形状に限らず、例えば楕円形等の他の形状であってもよい。
ところで、管腔内画像に映る粘膜面の立体形状は全体的に凸形状となっている。このため、先にモルフォロジOpening処理を行うと、凸形状の斜面に粘膜構造の窪みに起因する凹領域が存在すると、その周囲を凸領域として平滑化してしまうという問題がある。図8は、モルフォルジ処理においてモルフォロジOpening処理を先に行うことの問題点を説明するための図であり、管腔内画像の画素値分布を図7と同様の要領で模式的に示している。図8に示す画素値分布は、全体的に凸形状を有し、図8に向かって左側の斜面において粘膜構造の窪みに起因する凹領域E31が存在する。このような凸形状の斜面に存在する凹領域E31の周囲では、画素値が凸状に変化する。
このとき、モルフォロジOpening処理を先に行うと、凹領域E31の周囲の凸状の部分が平滑化されてしまい、図8中に二点鎖線で示すような基準面P21が作成されてしまう場合がある。後段の異常領域検出処理では、画素値と基準面との差分を色要素毎に算出し、色要素毎の差分の平均値である差分平均値を閾値処理することで異常候補画素を検出するため、前述のような基準面E31が作成されてしまうと、図8中に矢印A31,A32に示す差分によって凸状の部分が異常候補画素として検出されてしまう場合がある。そこで、実施の形態1では、先にモルフォロジClosing処理を行うことで凹領域E31を平滑化する。その後、このモルフォロジClosing処理の結果に対してモルフォロジOpening処理を行うことで右側の斜面の凸領域E32を平滑化し、図8中に一点鎖線で示す基準面P22を作成する。これによれば、より適切な基準面を作成することができる。
なお、実際の基準面作成処理は分割領域毎に行う。そして、分割領域内の各画素の画素値をR値、G値およびB値の色要素毎に用いてモルフォルジ処理を行い、基準面を色要素毎に作成する。図9は、基準面作成処理の詳細な処理手順を示すフローチャートである。
図9に示すように、基準面作成処理では、色要素毎にループBの処理を実行する(ステップc1〜ステップc7)。すなわち、ループBでは、先ず、基準面作成部17は、分割領域内の各画素の処理対象の色要素の画素値を用いてモルフォロジClosing処理を行う(ステップc3)。続いて、基準面作成部17は、ステップc3のモルフォロジClosing処理の結果に対してモルフォロジOpening処理を行う(ステップc5)。
その後、以上説明したループBの処理を全ての色要素について実行し、このループBの処理を終えたならば、図2のステップa9にリターンし、ステップa11に移行する。
そして、ステップa11では、異常領域検出部18が異常領域検出処理を実行し、処理対象の分割領域の内側から異常領域を検出する。図10は、異常領域検出処理の詳細な処理手順を示すフローチャートである。この異常領域検出処理では、先ず、ステップd1〜ステップd7において、処理対象の分割領域内の各画素の中から異常候補画素を検出する。
具体的には、図10に示すように、先ず、差分算出部191が、色要素毎に、分割領域内の各画素の該当する色要素の画素値と該当する色要素の基準面との差分を算出する(ステップd1)。ここでの処理によって、例えば、図7中に矢印で示す差分A21,A22が算出される。
続いて、輝度正規化部192が、処理対象の管腔内画像の輝度情報をもとに、分割領域内の各画素の色要素毎の差分を正規化する(ステップd3)。ステップd1で算出した色要素毎の差分は、明部の画素ほどその値が大きくなる。後段のステップd7では、色要素毎の差分の差分平均値を閾値処理することで異常候補画素を検出するが、ステップd3の正規化は、前述の閾値処理をその画素の明暗に起因する値の大小に左右されることなく適正に行うための処理である。具体的な処理手順としては、例えば、事前に処理対象の管腔内画像の各画素について輝度値I(x,y)を算出するとともに、算出した各画素の輝度値I(x,y)の最大値(最大輝度値)I_maxを取得しておく。そして、ステップd3では、算出した各画素の輝度値I(x,y)および最大輝度値I_maxを輝度情報として用い、正規化を行う。すなわち、分割領域内の各画素を順次処理画素とし、先ず、最大輝度値I_maxを処理画素の輝度値I(x,y)で除した比率I_max/I(x,y)を算出する。その後、処理画素の色要素毎の差分に算出した比率I_max/I(x,y)を乗じることで、処理画素の色要素毎の差分を正規化する。
その後、候補画素検出部19が、正規化した色要素毎の差分の平均値を画素毎に算出し、各画素の差分平均値を得る(ステップd5)。そして、候補画素検出部19は、分割領域内の各画素の差分平均値を閾値処理し、差分平均値が予め設定される閾値以上である画素を異常候補画素として検出する(ステップd7)。ここでの閾値処理に用いる閾値は、適宜設定でき、固定値であってもよいし、例えば処理対象の管腔内画像毎に可変に設定してもよい。例えば、処理対象の管腔内画像の平均輝度の大きさをもとに決定してもよい。具体的には、例えば、平均輝度に対して任意の係数を乗じた値を算出し、算出した値を閾値として用いることとしてもよい。
以上のように検出された異常候補画素には、実際に異常領域を構成する異常画素以外の画素、例えば、画像の色ムラや、粘膜等の撮像対象自体の凹凸等によって検出された画素も含まれる。そこで、続くステップd9〜ステップd17では、検出された異常候補画素が異常画素か否かを判別することで異常領域を検出する。
具体的には、異常候補画素毎にループCの処理を実行する(ステップd9〜ステップd17)。このループCでは、先ず、色要素正規化部201が、管腔内画像におけるR値、G値およびB値の各色要素の画素値について予め想定される大小傾向をもとに、前段のステップd1で処理対象の異常候補画素について算出した色要素毎の差分のそれぞれを正規化する(ステップd11)。管腔内画像においては、R値、G値およびB値の各色要素の画素値は、R値>G値>B値の関係を有し、R値に対してG値やB値が小さいという大小傾向を有する。したがって、色要素毎に算出した差分の値は、R値の差分に比べてG値やB値の差分が小さくなる。後段のステップd13では、色要素毎の差分の相対比をもとに処理対象の異常候補画素が異常画素か否かを判別するが、ステップd11の正規化は、前述の判別を各色要素の大小傾向に左右されることなく適正に行うための処理である。具体的な処理手順としては、例えば、事前に処理対象の分割領域(処理対象の異常候補画素が属する分割領域)内の各画素のR値の平均値(R平均値)Avg_R、G値の平均値(G平均値)Avg_GおよびB値の平均値(B平均値)Avg_Bを算出しておく。そして、ステップd11では、処理対象の異常候補画素のG値の差分にAvg_R/Avg_Gを乗じ、B値の差分にAvg_R/Avg_Bを乗じることで、処理対象の異常候補画素の色要素毎の差分を正規化する。
なお、正規化に用いる値は上記したR平均値Avg_R、G平均値Avg_G、B平均値Avg_Bに限定されるものではない。例えば、処理対象の異常候補画素のR値、G値、B値を用い、G値の差分にR値/G値を乗じ、B値の差分にR値/B値を乗じることで正規化を行ってもよい。
続いて、相対比判定部202が、処理対象の異常候補画素の正規化した色要素毎の差分の相対比を判定する(ステップd13)。ここで、出血部位等の異常領域は、赤味の強い色を示すため、正常な粘膜領域と異なり、R値、G値およびB値の各色要素の画素値の比率が異なる領域である。詳細には、G値およびB値に対してR値の比率が異なる。図11は、正常な粘膜が映る粘膜領域であって、粘膜構造によって窪んだ形状を有する粘膜領域における画素値分布を示す図であり、図11−1はR値の分布を示し、図11−2は、G値の分布を示し、図11−3は、B値の分布を示している。また、各図において、対応する色要素の基準面を一点鎖線で示している。一方、図12は、異常領域付近における画素値分布を示す図であり、図12−1はR値の分布を示し、図12−2は、G値の分布を示し、図12−3は、B値の分布を示している。また、各図において、対応する色要素の基準面を一点鎖線で示している。
図11−1,図11−2,図11−3に示すように、粘膜構造によって粘膜が窪んだ箇所では、R値、G値およびB値の各色要素の画素値はほぼ同様の形状の変化曲線を描いて変化し、各画素における色要素の画素値の相対比はほぼ等しくなっている。換言すると、各図中に矢印で示すR値の基準面に対するR値の差分A41と、G値の基準面に対するG値の差分A42と、B値の基準面に対するB値の差分A43とが同程度の値となる。特に、実施の形態1では、前段の図9の基準面作成処理においてモルフォロジOpening処理を先に行い、このモルフォロジOpening処理の結果に対してモルフォロジClosing処理を行うこととしたので、図8の粘膜構造の窪みに起因する凹領域E31の画素が矢印A33で示す差分によって異常候補画素として検出される場合がある。
一方、図12−1,図12−2,図12−3に示すように、赤味の強い異常領域では、R値、G値およびB値の各色要素の画素値の相対比が異なる。具体的には、G値およびB値はほぼ同じように変化するのに対し、R値の変化がG値やB値の変化と異なる。換言すると、各図中に矢印で示すR値の基準面に対するR値の差分A51と、G値の基準面に対するG値の差分A52およびB値の基準面に対するB値の差分A53とに差が生じる。
図10のステップd13では、このような色要素毎の差分の相対比を判定する。そして、続くステップd15において、異常画素判別部20は、相対比判定部202が判定した相対比をもとに、処理対象の異常候補画素が異常画素か否かを判別する。具体的には、R値の差分に対してG値の差分およびB値の差分が大きい場合に、処理対象の異常候補画素を異常画素と判別する。
その後、以上説明したループCの処理を全ての異常候補画素について実行し、このループCの処理を終えたならば、図2のステップa11にリターンする。そして、以上説明したループAの処理を全ての分割領域について実行し、このループAの処理を終えたならば、本処理を終える。
以上説明したように、実施の形態1では、管腔内画像を領域分割して得た分割領域毎に、分割領域内の各画素の処理対象の色要素の画素値を用いてモルフォロジ処理を行うことで色要素毎の基準面を作成することとした。したがって、周囲の画素における各色要素の画素値をもとに、各画素位置における色要素の基準値を表す基準面を色要素毎に作成することができる。また、実施の形態1では、分割領域内の各画素の画素値と基準面との色要素毎の差分をもとに異常候補画素を検出し、異常候補画素の色要素毎の差分の相対比をもとに異常候補画素が異常画素か否かを判別することで、異常領域を検出することとした。具体的には、色要素毎の差分の相対比をもとに、例えばR値の差分に対してG値の差分およびB値の差分が大きい等、色要素毎の差分が異なる異常候補画素を異常画素と判別することで異常領域を検出することとした。したがって、粘膜の構造に起因して周囲に対して画素値が変化している画素のように、色要素毎の差分が略同程度の画素を異常画素と判別する事態を防止できる。したがって、管腔内画像から異常領域を精度良く検出することができる。
(実施の形態2)
先ず、実施の形態2の画像処理装置の構成について説明する。図13は、実施の形態2の画像処理装置1aの機能構成を説明するブロック図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。実施の形態2の画像処理装置1aは、図13に示すように、画像取得部11と、入力部12と、表示部13と、記録部14aと、演算部15aと、画像処理装置1a全体の動作を制御する制御部30とを備える。
記録部14aには、実施の形態2の処理を実現して管腔内画像から異常領域を検出するための画像処理プログラム141aが記録される。
また、演算部15aは、領域分割部16と、基準面作成部17aと、異常領域検出部18とを含む。そして、実施の形態2は、基準面作成部17aの構成が実施の形態1と異なる。実施の形態2の基準面作成部17aは、分割領域内の各画素の画素値とをもとに、モルフォロジ処理で用いる構造要素のサイズを決定するサイズ決定部171aを備える。このサイズ決定部171aは、色エッジ画素抽出手段としての色エッジ画素抽出部174aと、連結手段としての連結部175aとを備える。色エッジ画素抽出部174aは、分割領域内の各画素の色エッジ強度を算出し、算出した色エッジ強度をもとに色エッジ画素を抽出する。連結部175aは、色エッジ画素のうち、連接している色エッジ画素を1つの色エッジ画素群として連結する。
次に、実施の形態2の画像処理装置1aが行う具体的な処理手順について説明する。図14は、実施の形態2の画像処理装置1aが行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、演算部15aが記録部14aに記録された画像処理プログラム141aを実行することにより実現される。また、図14において、実施の形態1と同一の処理工程には、同一の符号を付する。
図14に示すように、実施の形態2では、ステップa3で領域分割部16が管腔内画像を領域分割した後に、分割領域毎にループDの処理を実行する(ステップe5〜ステップe13)。そして、このループDでは、先ず、サイズ決定部171aがサイズ決定処理を実行し、後段のステップa9で処理対象の分割領域について行うモルフォロジ処理で用いる構造要素のサイズを決定する(ステップe7)。そしてこのサイズ決定処理の後、実施の形態1で説明したステップa9の基準面作成処理に移行する。
図15は、実施の形態2におけるサイズ決定処理の詳細な処理手順を示すフローチャートである。実施の形態2のサイズ決定処理では、図15に示すように、先ず、色エッジ画素抽出部174aが、分割領域内の各画素の色エッジ強度を算出する(ステップf1)。具体的な処理手順としては、先ず、分割領域内の各画素のR値,G値,B値をL***値に変換する(参考:CG−ARTS協会,ディジタル画像処理,P62)。その後、算出した分割領域内の各画素のL***値の各要素(L*,a*,b*)に対して横方向のソーベルフィルタを適用したフィルタ処理を行う。そして、処理結果をもとに次式(1)に従って横方向の色エッジ強度ΔErowを算出する。次式(1)において、Sobel_L*はL*に対するソーベルフィルタの適用結果を示し、Sobel_a*はa*に対するソーベルフィルタの適用結果を示し、Sobel_b*はb*に対するソーベルフィルタの適用結果を示している。
Figure 2012016453
続いて、同様の手順でL***値の各要素に対して縦方向のソーベルフィルタを適用したフィルタ処理を行って縦方向の色エッジ強度ΔEcolを算出する。そして、得られた横方向の色エッジ強度ΔErowと縦方向の色エッジ強度ΔEcolとをもとに、次式(2)に従って分割領域内の各画素の色エッジ強度ΔEを算出する。
Figure 2012016453
続いて、色エッジ画素抽出部174aは、分割領域内の各画素の色エッジ強度を閾値処理し、色エッジ強度が予め設定される閾値以上である画素を色エッジ画素として抽出する(ステップf3)。このとき、色エッジ画素に仮の画素値「1」を割り当て、色エッジ画素以外の画素に仮の画素値「0」を割り当てておく。
続いて、連結部175aが、ステップf3で抽出した色エッジ画素のうち、連接する色エッジ画素を1つの色エッジ画素群として連結する(ステップf5)。具体的には、隣接する色エッジ画素を連結していくことで各色エッジ画素を連結成分毎に区切る。その後、区切った画素群をそれぞれ色エッジ画素群とし、ラベリング処理を行って個々の色エッジ画素群を識別するための固有のラベルを付す。分割領域内に異常領域が存在する場合、その輪郭画素は色エッジ画素として抽出される。したがって、色エッジ画素の連結成分(連接する色エッジ画素群)から、分割領域内に存在し得る異常領域のサイズを推定することができる。
その後、サイズ決定部171aが、各色エッジ画素群を構成する画素数(連結画素数)をそれぞれ計数し、その最大値Numを選出する(ステップf7)。そして、サイズ決定部171aは、連結画素数の最大値Numをもとに、次式(3)に従って構造要素の半径Rを算出することで、構造要素のサイズを決定する(ステップf9)。次式(3)において、kは任意の定数を示している。
Figure 2012016453
なお、構造要素の半径Rの決定方法はこれに限定されるものではなく、連結画素数の最大値Numから構造要素の半径Rが決定されればよい。したがって、例えば、予め連結画素数の最大値Numと構造要素の半径Rとの対応関係を定義したテーブルを用意しておき、このテーブルを参照して選出した連結画素数の最大値Numに対応する構造要素の半径Rを決定するようにしてもよい。以上のようにして構造要素のサイズ(半径R)を決定したならば、図14のステップe7にリターンし、その後ステップa9に移行する。
以上説明したように、実施の形態2によれば、実施の形態1と同様の効果を奏することができる。また、実施の形態2では、分割領域内の各画素の色エッジ強度をもとに色エッジ画素を抽出することとした。そして、色エッジ画素の連結成分の連結画素数(連接する色エッジ画素群を構成する画素数)から推定される分割領域内に存在し得る異常領域のサイズをもとにモルフォロジ処理で用いる構造要素のサイズを決定することとした。これによれば、より適切な基準面を作成することができる。
なお、上記した実施の形態1,2では、管腔内画像を複数の領域に分割することとした。そして、分割した分割領域毎に基準面を作成し、分割領域毎に異常領域を検出することとした。これに対し、管腔内画像を複数の領域に分割する処理は必須ではなく、管腔内画像の全域を1つの領域として基準面を作成し、各画素の画素値と基準面との色要素毎の差分をもとに管腔内画像から異常領域を検出するようにしてもよい。
また、上記した実施の形態1の画像処理装置1および実施の形態2の画像処理装置1aは、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、実施の形態1,2で説明した画像処理装置1,1aと同様の機能を有し、画像処理プログラム141,141aを実行するコンピュータシステムについて説明する。
図16は、本変形例におけるコンピューターシステム400の構成を示すシステム構成図であり、図17は、このコンピューターシステム400を構成する本体部410の構成を示すブロック図である。図16に示すように、コンピューターシステム400は、本体部410と、本体部410からの指示によって表示画面421に画像等の情報を表示するためのディスプレイ420と、このコンピューターシステム400に種々の情報を入力するためのキーボード430と、ディスプレイ420の表示画面421上の任意の位置を指定するためのマウス440とを備える。
また、このコンピューターシステム400における本体部410は、図16および図17に示すように、CPU411と、RAM412と、ROM413と、ハードディスクドライブ(HDD)414と、CD−ROM460を受け入れるCD−ROMドライブ415と、USBメモリ470を着脱可能に接続するUSBポート416と、ディスプレイ420、キーボード430およびマウス440を接続するI/Oインターフェース417と、ローカルエリアネットワークまたは広域エリアネットワーク(LAN/WAN)N1に接続するためのLANインターフェース418とを備える。
さらに、このコンピューターシステム400には、インターネット等の公衆回線N3に接続するためのモデム450が接続されるとともに、LANインターフェース418およびローカルエリアネットワークまたは広域エリアネットワークN1を介して、他のコンピューターシステムであるパソコン(PC)481、サーバ482、プリンタ483等が接続される。
そして、このコンピューターシステム400は、記録媒体に記録された画像処理プログラム(例えば実施の形態1の画像処理プログラム141や実施の形態2の画像処理プログラム141a)を読み出して実行することで画像処理装置(例えば実施の形態1の画像処理装置1や実施の形態2の画像処理装置1a)を実現する。ここで、記録媒体とは、CD−ROM460やUSBメモリ470の他、MOディスクやDVDディスク、フレキシブルディスク(FD)、光磁気ディスク、ICカード等を含む「可搬用の物理媒体」、コンピューターシステム400の内外に備えられるHDD414やRAM412、ROM413等の「固定用の物理媒体」、モデム450を介して接続される公衆回線N3や、他のコンピューターシステムであるPC481やサーバ482が接続されるローカルエリアネットワークまたは広域エリアネットワークN1等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム400によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム400は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム400によって実行されることに限定されるものではなく、他のコンピューターシステムであるPC481やサーバ482が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
また、本発明は、上記した各実施の形態1,2のそのままに限定されるものではなく、各実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
以上のように、本発明の画像処理装置、画像処理方法、および画像処理プログラムは、管腔内画像から異常領域を精度良く抽出するのに適している。
1,1a 画像処理装置
11 画像取得部
12 入力部
13 表示部
14,14a 記録部
141,141a 画像処理プログラム
15,15a 演算部
16 領域分割部
17,17a 基準面作成部
171,171a サイズ決定部
172 領域幅算出部
173 曲率算出部
174a 色エッジ画素抽出部
175a 連結部
18 異常領域検出部
19 候補画素検出部
191 差分算出部
192 輝度正規化部
20 異常画素判別部
201 色要素正規化部
202 相対比判定部
30 制御部

Claims (17)

  1. 管腔内画像から異常領域を検出する画像処理装置であって、
    前記管腔内画像を構成する各画素の複数の色要素に関し、前記各色要素の画素値を用いてモルフォロジ処理を行い、各画素位置における前記色要素の基準値を表す基準面を前記色要素毎に作成する基準面作成手段と、
    前記各画素の画素値と前記基準面との前記色要素毎の差分をもとに、前記管腔内画像から異常領域を検出する異常領域検出手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記モルフォロジ処理は、オープニング処理とクロージング処理とを含み、
    前記基準面作成手段は、先に前記クロージング処理を行い、該クロージング処理結果に対して前記オープニング処理を行うことを特徴とする請求項1に記載の画像処理装置。
  3. 前記管腔内画像のエッジ情報をもとに前記管腔内画像を複数の領域に分割する領域分割手段を備え、
    前記基準面作成手段は、前記モルフォロジ処理を前記領域単位で行うことで前記色要素毎の基準面を前記領域毎に作成し、
    前記異常領域検出手段は、前記領域内の各画素の画素値と前記領域について作成した基準面との前記色要素毎の差分をもとに、前記異常領域の検出を前記領域毎に行うことを特徴とする請求項1に記載の画像処理装置。
  4. 前記基準面作成手段は、前記領域内の画素値情報、または、前記領域の大きさと前記領域内の画素値情報とをもとに、前記モルフォロジ処理で用いる構造要素のサイズを前記領域毎に決定するサイズ決定手段を備えることを特徴とする請求項3に記載の画像処理装置。
  5. 前記サイズ決定手段は、
    前記領域の主軸の直交方向における前記領域の領域幅を算出する幅算出手段と、
    前記主軸の直交方向に沿った画素値の変化曲線の曲率を算出する曲率算出手段と、
    を備え、
    前記領域幅と前記曲率とをもとに前記構造要素のサイズを決定することを特徴とする請求項4に記載の画像処理装置。
  6. 前記サイズ決定手段は、
    前記領域内の各画素の色エッジ強度をもとに、該色エッジ強度が所定の閾値以上の色エッジ画素を抽出する色エッジ画素抽出手段と、
    前記色エッジ画素のうち、連接している前記色エッジ画素を1つの色エッジ画素群として連結する連結手段と、
    を備え、
    前記色エッジ画素群を構成する画素数をもとに前記構造要素のサイズを決定することを特徴とする請求項4に記載の画像処理装置。
  7. 前記異常領域検出手段は、
    前記色要素毎の前記差分をもとに異常候補画素を検出する候補画素検出手段と、
    前記色要素毎の前記差分の相対比をもとに、前記異常候補画素が異常領域に属する異常画素であるか否かを判別する異常画素判別手段と、
    を備えることを特徴とする請求項1に記載の画像処理装置。
  8. 前記候補画素検出手段は、
    前記色要素毎の前記差分を算出する差分算出手段と、
    前記管腔内画像の輝度情報をもとに前記色要素毎の前記差分を正規化する輝度正規化手段と、
    を備え、
    前記正規化後の前記色要素毎の前記差分をもとに、前記異常候補画素を検出することを特徴とする請求項7に記載の画像処理装置。
  9. 前記異常画素判別手段は、
    予め定まる前記複数の色要素の画素値の大小傾向をもとに前記色要素毎の前記差分を正規化する色要素正規化手段と、
    前記正規化後の前記色要素毎の前記差分をもとに、前記色要素毎の前記差分の相対比を判定する相対比判定手段と、
    を備えることを特徴とする請求項7に記載の画像処理装置。
  10. 前記色要素正規化手段は、前記管腔内画像の画素毎に前記複数の色要素の画素値の前記大小傾向に応じた比率を算出し、該画素毎の比率をもとに前記色要素毎の前記差分を正規化することを特徴とする請求項9に記載の画像処理装置。
  11. 前記色要素正規化手段は、前記管腔内画像の各画素の前記色要素毎の画素値の平均値をもとに前記大小傾向に応じた比率を算出し、該比率をもとに前記色要素毎の前記差分を正規化することを特徴とする請求項9に記載の画像処理装置。
  12. 前記異常領域検出手段は、
    前記各領域における前記色要素毎の前記差分をもとに、前記各領域の異常候補画素を検出する候補画素検出手段と、
    前記各領域における前記色要素毎の前記差分の相対比をもとに、前記各領域の前記異常候補画素が異常領域に属する異常画素であるか否かを判別する異常画素判別手段と、
    を備えることを特徴とする請求項3に記載の画像処理装置。
  13. 前記異常画素判別手段は、
    予め定まる前記複数の色要素の画素値の大小傾向をもとに、前記各領域における前記色要素毎の前記差分を正規化する色要素正規化手段と、
    前記正規化後の前記色要素毎の前記差分をもとに、前記各領域における前記色要素毎の前記差分の相対比を判定する相対比判定手段と、
    を備えることを特徴とする請求項12に記載の画像処理装置。
  14. 前記色要素正規化手段は、前記領域内の各画素の前記色要素毎の画素値の平均値をもとに前記大小傾向に応じた比率を前記領域毎に算出し、該比率をもとに、前記各領域における前記色要素毎の前記差分を正規化することを特徴とする請求項13に記載の画像処理装置。
  15. 前記複数の色要素の画素値は、画素値のR値、G値およびB値であることを特徴とする請求項1に記載の画像処理装置。
  16. 管腔内画像から異常領域を検出する画像処理方法であって、
    前記管腔内画像を構成する各画素の複数の色要素に関し、前記各色要素の画素値を用いてモルフォロジ処理を行い、各画素位置における前記色要素の基準値を表す基準面を前記色要素毎に作成する基準面作成工程と、
    前記各画素の画素値と前記基準面との前記色要素毎の差分をもとに、前記管腔内画像から異常領域を検出する異常領域検出工程と、
    を含むを特徴とする画像処理方法。
  17. 管腔内画像から異常領域を検出するための画像処理プログラムであって、
    コンピュータに、
    前記管腔内画像を構成する各画素の複数の色要素に関し、前記各色要素の画素値を用いてモルフォロジ処理を行い、各画素位置における前記色要素の基準値を表す基準面を前記色要素毎に作成する基準面作成ステップと、
    前記各画素の画素値と前記基準面との前記色要素毎の差分をもとに、前記管腔内画像から異常領域を検出する異常領域検出ステップと、
    を実行させることを特徴とする画像処理プログラム。
JP2010155176A 2010-07-07 2010-07-07 画像処理装置、画像処理方法、および画像処理プログラム Active JP5622461B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010155176A JP5622461B2 (ja) 2010-07-07 2010-07-07 画像処理装置、画像処理方法、および画像処理プログラム
EP11005473A EP2405397A1 (en) 2010-07-07 2011-07-05 Processing of images captured inside a body lumen
US13/177,072 US8989467B2 (en) 2010-07-07 2011-07-06 Image processing apparatus, method and computer readable recording medium for detecting abnormal area based on difference between pixel value and reference surface
CN2011101901425A CN102314605A (zh) 2010-07-07 2011-07-07 图像处理装置以及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010155176A JP5622461B2 (ja) 2010-07-07 2010-07-07 画像処理装置、画像処理方法、および画像処理プログラム

Publications (3)

Publication Number Publication Date
JP2012016453A true JP2012016453A (ja) 2012-01-26
JP2012016453A5 JP2012016453A5 (ja) 2013-08-15
JP5622461B2 JP5622461B2 (ja) 2014-11-12

Family

ID=44583901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010155176A Active JP5622461B2 (ja) 2010-07-07 2010-07-07 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (4)

Country Link
US (1) US8989467B2 (ja)
EP (1) EP2405397A1 (ja)
JP (1) JP5622461B2 (ja)
CN (1) CN102314605A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017090166A1 (ja) * 2015-11-26 2017-06-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013085061A1 (ja) * 2011-12-08 2013-06-13 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN103389312B (zh) * 2012-05-08 2015-10-14 珠海格力电器股份有限公司 铜管检测系统
JP6265588B2 (ja) 2012-06-12 2018-01-24 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6150555B2 (ja) * 2013-02-26 2017-06-21 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
JP6150554B2 (ja) * 2013-02-26 2017-06-21 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP6128989B2 (ja) * 2013-06-27 2017-05-17 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP6013665B1 (ja) * 2014-11-26 2016-10-25 オリンパス株式会社 診断支援装置及び診断支援情報表示方法
CN105787912B (zh) * 2014-12-18 2021-07-30 南京大目信息科技有限公司 一种基于分类的阶跃型边缘亚像素定位方法
TWI592845B (zh) * 2015-08-28 2017-07-21 晨星半導體股份有限公司 適應性調整觸控閥值的方法與相關控制器
JP6805199B2 (ja) * 2018-03-26 2020-12-23 株式会社東芝 設備監視システム
CN108681731A (zh) * 2018-04-03 2018-10-19 中山大学 一种甲状腺癌症超声图片自动标注方法及系统
JP7331648B2 (ja) * 2019-11-12 2023-08-23 セイコーエプソン株式会社 分光測定方法および分光測定装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092319A (ja) * 1998-09-17 2000-03-31 Dainippon Screen Mfg Co Ltd 画像上の傷部分判定装置、方法および記憶媒体
JP2002094799A (ja) * 2000-09-13 2002-03-29 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2004061500A (ja) * 2002-06-03 2004-02-26 Fuji Photo Film Co Ltd 画像欠陥検出方法
JP2005211439A (ja) * 2004-01-30 2005-08-11 Fuji Photo Film Co Ltd 異常陰影表示装置およびそのプログラム
JP2007304065A (ja) * 2006-05-15 2007-11-22 Omron Corp 異物検出装置、異物検出方法、異物検出プログラム、および該プログラムが記録された記録媒体
WO2009148092A1 (ja) * 2008-06-05 2009-12-10 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP2009297450A (ja) * 2008-06-17 2009-12-24 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010279438A (ja) * 2009-06-02 2010-12-16 Canon Inc 画像処理装置、画像処理方法及びコンピュータプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5782762A (en) * 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US6215892B1 (en) * 1995-11-30 2001-04-10 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
US6330349B1 (en) * 1995-11-30 2001-12-11 Chromavision Medical Systems, Inc. Automated method for image analysis of residual protein
US5859698A (en) * 1997-05-07 1999-01-12 Nikon Corporation Method and apparatus for macro defect detection using scattered light
DE19883010B4 (de) * 1998-08-07 2008-06-26 Korea Institute Of Science And Technology Verfahren und Vorrichtung zum Erkennen eines sich bewegenden Objekts in einer Abfolge von Farbvollbildern
JP2002082645A (ja) * 2000-06-19 2002-03-22 Sharp Corp 画像表示装置の列電極駆動回路及びそれを用いた画像表示装置
EP1220182A3 (en) * 2000-12-25 2005-08-17 Matsushita Electric Industrial Co., Ltd. Image detection apparatus, program, and recording medium
WO2002073507A2 (en) * 2001-03-14 2002-09-19 Given Imaging Ltd. Method and system for detecting colorimetric abnormalities
US20040027618A1 (en) * 2002-06-03 2004-02-12 Fuji Photo Film Co., Ltd. Image defect detecting method
US7195588B2 (en) * 2004-03-01 2007-03-27 Olympus Corporation Endoscope image pick-up apparatus
US7365844B2 (en) * 2002-12-10 2008-04-29 Board Of Regents, The University Of Texas System Vision enhancement system for improved detection of epithelial neoplasia and other conditions
US7319781B2 (en) * 2003-10-06 2008-01-15 Carestream Health, Inc. Method and system for multiple passes diagnostic alignment for in vivo images
JP4652694B2 (ja) 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
US7761240B2 (en) * 2004-08-11 2010-07-20 Aureon Laboratories, Inc. Systems and methods for automated diagnosis and grading of tissue images
US7474775B2 (en) * 2005-03-31 2009-01-06 University Of Iowa Research Foundation Automatic detection of red lesions in digital color fundus photographs
CN101966071B (zh) * 2005-04-13 2012-10-17 奥林巴斯医疗株式会社 图像处理装置以及图像处理方法
US7577311B2 (en) * 2005-05-03 2009-08-18 Eastman Kodak Company Color fringe desaturation for electronic imagers
CN101208042B (zh) * 2005-06-28 2010-11-17 柯尼卡美能达医疗印刷器材株式会社 异常阴影候选检测方法、异常阴影候选检测装置
US8472682B2 (en) * 2005-09-12 2013-06-25 Dvp Technologies Ltd. Medical image processing
JP4891636B2 (ja) * 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
JP5121204B2 (ja) * 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5052123B2 (ja) * 2006-12-27 2012-10-17 富士フイルム株式会社 医用撮像システム及び方法
US20090041322A1 (en) * 2007-07-10 2009-02-12 Seimens Medical Solutions Usa, Inc. Computer Assisted Detection of Polyps Within Lumen Using Enhancement of Concave Area
JP2010535579A (ja) * 2007-08-03 2010-11-25 エスティーアイ・メディカル・システムズ・エルエルシー 酢酸加工された子宮頸部上皮内腫瘍に関するコンピュータ画像解析
US8761465B2 (en) * 2009-03-18 2014-06-24 Microsoft Corporation Centroid processing
US9026192B2 (en) * 2009-11-24 2015-05-05 Given Imaging Ltd Device and method for in vivo imaging
CN102375985A (zh) * 2010-08-10 2012-03-14 富士通株式会社 目标检测方法和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092319A (ja) * 1998-09-17 2000-03-31 Dainippon Screen Mfg Co Ltd 画像上の傷部分判定装置、方法および記憶媒体
JP2002094799A (ja) * 2000-09-13 2002-03-29 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2004061500A (ja) * 2002-06-03 2004-02-26 Fuji Photo Film Co Ltd 画像欠陥検出方法
JP2005211439A (ja) * 2004-01-30 2005-08-11 Fuji Photo Film Co Ltd 異常陰影表示装置およびそのプログラム
JP2007304065A (ja) * 2006-05-15 2007-11-22 Omron Corp 異物検出装置、異物検出方法、異物検出プログラム、および該プログラムが記録された記録媒体
WO2009148092A1 (ja) * 2008-06-05 2009-12-10 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP2009297450A (ja) * 2008-06-17 2009-12-24 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010279438A (ja) * 2009-06-02 2010-12-16 Canon Inc 画像処理装置、画像処理方法及びコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017090166A1 (ja) * 2015-11-26 2017-06-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JPWO2017090166A1 (ja) * 2015-11-26 2018-09-13 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US10206555B2 (en) 2015-11-26 2019-02-19 Olympus Corporation Image processing apparatus, image processing method, and computer readable recording medium

Also Published As

Publication number Publication date
US8989467B2 (en) 2015-03-24
EP2405397A1 (en) 2012-01-11
CN102314605A (zh) 2012-01-11
US20120008839A1 (en) 2012-01-12
JP5622461B2 (ja) 2014-11-12

Similar Documents

Publication Publication Date Title
JP5622461B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5597049B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US8811698B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
Wu et al. Automatic detection of microaneurysms in retinal fundus images
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5576782B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5424584B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP5683888B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US8090177B2 (en) Methods for detection and characterization of atypical vessels in cervical imagery
JP4409166B2 (ja) 画像処理装置
JP6176978B2 (ja) 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム
JP5757724B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2008520345A (ja) 超音波画像における病変の検出及び分類方法、及びそのシステム
AU2019431299A1 (en) AI systems for detecting and sizing lesions
JP2010512173A (ja) 内視鏡からの映像を用いるコンピュータ支援解析
Häfner et al. Delaunay triangulation-based pit density estimation for the classification of polyps in high-magnification chromo-colonoscopy
Pourreza-Shahri et al. Computationally efficient optic nerve head detection in retinal fundus images
Fabijańska Two-pass region growing algorithm for segmenting airway tree from MDCT chest scans
JP4077716B2 (ja) 内視鏡挿入方向検出装置
JP4124406B2 (ja) 異常陰影検出装置
CN113139929A (zh) 包含信息筛选与融合修复的胃肠道内窥镜图像预处理方法
CN115908405A (zh) 确定眼底特征的方法、装置和电子设备
Figueiredo et al. Unsupervised segmentation of colonic polyps in narrow-band imaging data based on manifold representation of images and Wasserstein distance
CN116205814A (zh) 医用内窥镜图像增强方法、系统及计算机设备
KR102380560B1 (ko) 영상 처리를 기반으로 하는 각막궤양 검출 장치 및 그 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140922

R151 Written notification of patent or utility model registration

Ref document number: 5622461

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250