JP2013223672A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP2013223672A
JP2013223672A JP2012098045A JP2012098045A JP2013223672A JP 2013223672 A JP2013223672 A JP 2013223672A JP 2012098045 A JP2012098045 A JP 2012098045A JP 2012098045 A JP2012098045 A JP 2012098045A JP 2013223672 A JP2013223672 A JP 2013223672A
Authority
JP
Japan
Prior art keywords
region
area
candidate
image processing
shape information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012098045A
Other languages
English (en)
Other versions
JP5980555B2 (ja
Inventor
Makoto Kitamura
誠 北村
Yamato Kanda
大和 神田
Takashi Kono
隆志 河野
Masashi Hirota
昌士 弘田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012098045A priority Critical patent/JP5980555B2/ja
Priority to PCT/JP2013/061070 priority patent/WO2013161589A1/ja
Priority to CN201380021072.8A priority patent/CN104244802B/zh
Priority to EP13782600.4A priority patent/EP2842478A4/en
Publication of JP2013223672A publication Critical patent/JP2013223672A/ja
Priority to US14/519,538 priority patent/US9928590B2/en
Application granted granted Critical
Publication of JP5980555B2 publication Critical patent/JP5980555B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Studio Devices (AREA)

Abstract

【課題】異常部と、該異常部と同種の色情報を有する他の対象とを精度良く識別することができる画像処理装置等を提供する。
【解決手段】画像処理装置1は、生体の管腔内を撮像した画像から異常部の候補領域を判別する異常部候補領域判別部110と、候補領域の周辺領域を決定する周辺領域決定部120と、候補領域及び周辺領域の画面に対する奥行き方向における形状情報を算出する形状情報算出部130と、候補領域の形状情報と周辺領域の形状情報との相関に基づいて、候補領域が異常部であるか否かを判定する異常部領域判定部140とを備える。
【選択図】図1

Description

本発明は、生体の管腔内を撮像した画像から異常部領域を判別する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
内視鏡やカプセル型内視鏡等の医用観察装置により生体の管腔内を撮像した画像(以下、管腔内画像又は単に画像ともいう)に対する画像処理として、特許文献1には、画像の色調情報を基に異常部領域を検出する技術が開示されている。より詳細には、特許文献1においては、画像内の各画素の画素値を、色特徴量に基づく特徴空間に写像し、該特徴空間内でクラスタリングした後で、各クラスタの大きさや重心座標等の情報に基づいて正常粘膜クラスタや異常部クラスタを特定し、異常部クラスタに属する画素領域を異常部領域として検出している。
特開2005−192880号公報
ところで、医用観察装置により撮像された管腔内画像には、異常部と同種の色情報を有する他の対象が存在する場合がある。具体的には、アフタ性病変や潰瘍等の白色系の異常部に対し、白色調の残渣は同種の色となる。このため、従来のような色情報のみに基づく異常部の検出方法では、このような他の対象と異常部とを精度良く識別することができなかった。
本発明は、上記に鑑みて為されたものであって、異常部と、該異常部と同種の色情報を有する他の対象とを精度良く識別することができる画像処理装置、画像処理方法、及び、画像処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体の管腔内を撮像した画像から異常部の候補領域を判別する異常部候補領域判別手段と、前記候補領域の周辺領域を決定する周辺領域決定手段と、前記候補領域及び前記周辺領域の画面に対する奥行き方向における形状情報を算出する形状情報算出手段と、前記候補領域の形状情報と前記周辺領域の形状情報との相関に基づいて、前記候補領域が異常部であるか否かを判定する異常部領域判定手段と、を備えることを特徴とする。
本発明に係る画像処理方法は、生体の管腔内を撮像した画像から異常部の候補領域を判別する異常部候補領域判別ステップと、前記候補領域の周辺領域を決定する周辺領域決定ステップと、前記候補領域及び前記周辺領域の画面に対する奥行き方向における形状情報を算出する形状情報算出ステップと、前記候補領域の形状情報と前記周辺領域の形状情報との相関に基づいて、前記候補領域が異常部であるか否かを判定する異常部領域判定ステップと、を含むことを特徴とする。
本発明に係る画像処理プログラムは、生体の管腔内を撮像した画像から異常部の候補領域を判別する異常部候補領域判別ステップと、前記候補領域の周辺領域を決定する周辺領域決定ステップと、前記候補領域及び前記周辺領域の画面に対する奥行き方向における形状情報を算出する形状情報算出ステップと、前記候補領域の形状情報と前記周辺領域の形状情報との相関に基づいて、前記候補領域が異常部であるか否かを判定する異常部領域判定ステップと、をコンピュータに実行させることを特徴とする。
本発明によれば、異常部の候補領域とその周辺領域とに対し、画面に対する奥行き方向における形状情報を算出し、それぞれの形状情報の相関に基づいて候補領域が異常部であるか否かを判定するので、異常部と、該異常部と同種の色情報を有する他の対象とを精度良く識別することが可能となる。
図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。 図2は、図1に示す画像処理装置の動作を示すフローチャートである。 図3は、処理対象画像の一例を示す模式図である。 図4は、周辺領域の決定処理を示すフローチャートである。 図5は、候補領域及び周辺領域の形状情報の算出処理を示すフローチャートである。 図6は、候補領域の形状情報の算出処理を説明する模式図である。 図7は、周囲領域の形状情報の算出処理を説明する模式図である。 図8は、候補領域の判定処理を説明する模式図である。 図9は、候補領域の判定処理を説明する模式図である。 図10は、候補領域の判定処理を示すフローチャートである。 図11は、実施の形態1の変形例1に係る周辺領域決定部の構成を示すブロック図である。 図12は、図11に示す周辺領域決定部の動作を示すフローチャートである。 図13は、実施の形態1の変形例2に係る周辺領域決定部の構成を示すブロック図である。 図14は、図13に示す周辺領域決定部の動作を示すフローチャートである。 図15は、実施の形態1の変形例3に係る周辺領域決定部の構成を示すブロック図である。 図16は、図15に示す周辺領域決定部の動作を示すフローチャートである。 図17は、実施の形態1の変形例4に係る周辺領域決定部の構成を示すブロック図である。 図18は、図17に示す周辺領域決定部の動作を示すフローチャートである。 図19は、本発明の実施の形態2に係る画像処理装置の構成を示すブロック図である。 図20は、本発明の実施の形態3に係る画像処理装置の構成を示すブロック図である。 図21は、図20に示す画像処理装置の動作を示すフローチャートである。 図22は、周辺領域の信頼性の判定処理を示すフローチャートである。 図23は、候補領域の判定処理を示すフローチャートである。
以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
以下の実施の形態においては、一例として、内視鏡又はカプセル型内視鏡等の医用観察装置によって生体の管腔内を撮像することにより取得された管腔内画像(以下、単に画像ともいう)に対する処理について説明する。以下の説明において画像処理を施される画像は、例えば、各画素位置においてR(赤)、G(緑)、B(青)の各色成分(波長成分)に対して、例えば256階調の画素レベル(画素値)を持つカラー画像である。なお、本発明は、管腔内画像に限定されることなく、他の一般的な画像取得装置によって取得された画像から特定の領域を抽出する場合にも広く適用することができる。
(実施の形態1)
図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。図1に示す画像処理装置1は、画像処理装置1全体の動作を制御する制御部10と、医用観察装置によって撮像された画像に対応する画像データを取得する画像取得部20と、外部から入力される入力信号を受け付ける入力部30と、各種表示を行う表示部40と、画像取得部20によって取得された画像データや種々のプログラムを格納する記録部50と、画像データに対して所定の画像処理を実行する演算部100とを備える。
制御部10は、CPU等のハードウェアによって実現され、記録部50に記録された各種プログラムを読み込むことにより、画像取得部20から入力される画像データや入力部30から入力される操作信号等に従って、画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。
画像取得部20は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル型内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部20は、この記録媒体を着脱自在に装着し、保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部20は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像の画像データを取得する。或いは、画像取得部20を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
入力部30は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部10に出力する。
表示部40は、LCDやELディスプレイ等の表示装置によって実現され、制御部10の制御の下で、管腔内画像を含む各種画面を表示する。
記録部50は、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、CD−ROM等の情報記録媒体及びその読取装置等によって実現される。記録部50は、画像取得部20によって取得された管腔内画像の画像データの他、画像処理装置1を動作させると共に、種々の機能を画像処理装置1に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部50は、画像内からアフタ性病変や潰瘍等の白色調の異常部を検出するための画像処理プログラム51や、このプログラムの実行中に使用される種々の情報等を格納する。
演算部100は、CPU等のハードウェアによって実現され、画像処理プログラム51を読み込むことによって管腔内画像に対応する画像データに画像処理を施し、アフタ性病変や潰瘍等の白色調の異常部を検出するための種々の演算処理を実行する。
次に、演算部100の詳細な構成について説明する。
図1に示すように、演算部100は、管腔内画像から異常部の候補領域を判別する異常部候補領域判別部110と、候補領域の周辺領域を決定する周辺領域決定部120と、候補領域及び周辺領域の画面に対する奥行き方向における形状情報を算出する形状情報算出部130と、候補領域の形状情報と周辺領域の形状情報との相関に基づいて、候補領域が異常部であるか否かを判定する異常部領域判定部140とを備える。
より詳細には、周辺領域決定部120は、画像内に含まれる粘膜領域を判別する粘膜領域判別部121を有し、周辺領域が粘膜領域のみを含むように、周辺領域の範囲を決定する。
形状情報算出部130は、候補領域及び周辺領域内にそれぞれ含まれる複数の画素の画素値に基づいて、候補領域及び周辺領域の画面の奥行き方向における形状を所定の形状にそれぞれ近似する近似形状算出部131を有する。本実施の形態1において、近似形状算出部131は、候補領域及び周辺領域の形状を1つ以上の直線又は曲線に近似する線近似形状算出部131aと、候補領域及び周辺領域に含まれる画素に関する情報に基づいて、近似形状の算出対象を選択する近似対象選択部131bとを含む。
次に、画像処理装置1の動作について説明する。図2は、画像処理装置1の動作を示すフローチャートである。
まず、ステップS10において、画像取得部20は、管腔内画像を取得して記録部50に記録する。演算部100は、処理対象である画像に対応する画像データを記録部50から読み込む。図3は、演算部100に読み込まれた処理対象画像の一例を示す模式図である。
続くステップS20において、異常部候補領域判別部110は、画像M1内の画素の色特徴量を基に、画像M1内に存在する異常部の候補領域を判別する。ここで、アフタ性病変や潰瘍等の異常部は白色調の特定色を示す。そこで、異常部候補領域判別部110は、事前に決定された白色調の異常部領域の判別基準の色範囲に基づき、画像M1内の各画素が異常部と見られる特定色を示すか否かを判定する。ここで、異常部領域の判別基準は、予め収集された異常部領域のR、G、B各成分の画素値や、これらの画素値から公知の変換により2次的に算出される色特徴量に基づいて決定され、記録部50に事前に記録される。色特徴量としては、YCbCr変換により算出される色差、色相、HSI変換により算出される彩度、色比(G/R、B/G等)といった値が挙げられる。
この判別処理により異常部とされた画素領域が、異常部の候補領域として抽出される。図3に示す領域m1は、候補領域の一例を示している。
なお、候補領域の判別方法としては、上記方法に限定されず、画像内から特定色の領域を検出することができれば、どのような方法を用いても良い。例えば、異常部の代表的な色特徴量と各画素の色特徴量との色特徴空間における距離を閾値処理する方法(k近傍法、参考:特許第4266920号公報、CG−ARTS協会 「ディジタル画像処理」、p.228(NN法とkNN法))等、公知の様々な検出方法を用いることができる。また、各画素の色特徴量を用いる代わりに、エッジ情報等を基に画像内を複数の小領域に分割した後、小領域単位の色特徴量を用いて候補領域を検出しても良い。
続くステップS30において、周辺領域決定部120は、候補領域と同一の粘膜面を、候補領域の周辺領域として決定する。本実施の形態1においては、候補領域と近距離にある粘膜領域を周辺領域とする。
図4は、周辺領域の決定処理を示すフローチャートである。
まず、ステップS301において、粘膜領域判別部121は、事前に決定された粘膜領域の判別基準の色範囲に基づき、画像M1内の各画素が粘膜領域であるか否かを判定する。ここで、粘膜領域の判別基準は、予め収集された粘膜領域と粘膜以外の領域(非粘膜領域)内の各画素のR、G、B各成分の画素値や、これらの画素値から公知の変換により2次的に算出される色特徴量に基づいて決定され、記録部50に事前に記録される。色特徴量としては、YCbCr変換により算出される色差、色相、HSI変換により算出される彩度、色比(G/R、B/G等)といった値が挙げられる。
ステップS302において、周辺領域決定部120は、粘膜領域として判別された画素に対してラベリング処理を施す(参考:CG−ARTS協会、「ディジタル画像処理」、p.181〜182(2値画像の基本処理と計測・ラベリング))。
ステップS303において、周辺領域決定部120は、画像M1内において、候補領域内の各画素から所定距離の範囲内にある粘膜領域を抽出する。
続くステップS304において、周辺領域決定部120は、抽出された粘膜領域が属するラベル領域を周辺領域として決定する。
その後、処理はメインルーチンに戻る。
ステップS30に続くステップS40において、形状情報算出部130は、候補領域及び周辺領域の各々について、画面の奥行き方向における形状情報を算出する。本実施の形態1においては、候補領域及び周辺領域の形状を線に近似し、近似された線の形状に関する情報を取得する。
図5は、候補領域及び周辺領域の形状情報の算出処理を示すフローチャートである。
まず、ステップS401において、近似形状算出部131は、ステップS20において判別された候補領域にラベリング処理を施す。図6は、ラベリングされた候補領域のうちの1つを示す模式図である。以下においては、一例として、図6に示す候補領域a1に対する処理を説明する。
続くステップS402において、近似形状算出部131は、ラベリングされた候補領域a1の座標重心(以下、単に重心という)g1を算出する。
ステップS403において、線近似形状算出部131aは、候補領域a1内で、重心g1を通る複数方向d1、d2、…における線分上の画素を抽出する。例えば図6の場合、各方向d1〜d3の線分が候補領域の輪郭と交わる後端から前端に至る領域の画素が抽出される。なお、図6においては、3つの方向d1〜d3を例示しているが、設定される線分の方向及び数は特に限定されない。
ステップS404において、近似対象選択部131bは、各方向d1、d2、…について抽出された画素の数に基づいて、近似形状の算出対象を選択する。具体的には、近似対象選択部131bは、抽出された画素数が所定値以上である方向についてのみ、近似形状を算出することとする。これは、画素数が所定値に満たない方向は、近似の信頼性に問題が生じる可能性があるからである。
ステップS405において、線近似形状算出部131aは、方向d1、d2、…ごとに、抽出された画素の画素値及び座標に基づいて、最小2乗法等の公知の方法により、画面の奥行き方向における距離の変化を示す直線を推定する。奥行き方向における距離を表す量としては、例えば、画素値のうちのR値が用いられる。R値は、R、G、B各成分の内で最も波長が長く、生体内において吸収・散乱し難いため、管腔内画像の近景から遠景までを照明光や反射光の吸収・散乱を抑えた状態で画像化することができるからである。なお、奥行き方向における距離の変化を表す量としては、R値の他にも、G値やB値、或いは、画素値(R、G、B各成分の値)から算出される輝度等を用いても良い。
以下、方向d1、d2、…について推定された直線の傾きをα1、α2、…とする。これらの直線の傾きα1、α2、…が、候補領域a1の形状情報として用いられる。
ステップS406において、線近似形状算出部131aは、各周辺領域から、候補領域の重心g1を通る複数方向d1、d2、…における線分の前端領域及び後端領域の画素を抽出する。例えば、図7に示すように、候補領域a1の周辺領域b1については、方向d1、d2、…の各々について、前端領域の始点から終点まで、及び後端領域の始点から終点までの画素の画素値及び座標が抽出される。ここで、前端領域の始点及び後端領域の終点は、候補領域a1と接する位置である。なお、この際、ステップS404において近似形状の算出対象とされなかった方向については、画素の抽出は行われない。
ステップS407において、近似対象選択部131bは、周辺領域b1から各方向d1、d2、…について抽出された画素の数に基づいて、周辺領域の近似形状の算出対象を選択する。具体的には、近似対象選択部131bは、抽出された画素数が所定値以上である方向についてのみ、近似形状を算出することとする。これは、画素数が所定値に満たない方向は、近似の信頼性に問題が生じる可能性があるからである。
ステップS408において、線近似形状算出部131aは、方向d1、d2、…ごとに、周辺領域から抽出された画素の画素値及び座標に基づいて、最小2乗法等の公知の方法により、画面の奥行き方向における距離の変化を示す直線を推定する。なお、この際に用いられる距離の変化を表す量については、ステップS405において説明したとおりである。以下、方向d1、d2、…について推定された直線の傾きをβ1、β2、…とする。これらの直線の傾きβ1、β2、…が、周辺領域b1の形状情報として用いられる。
その後、処理はメインルーチンに戻る。
ステップS40に続くステップS50において、異常部領域判定部140は、候補領域の形状情報と周辺領域の形状情報との相関に基づいて、候補領域が異常部であるか否かを判定する。
ここで、図8(a)に示すように、画像M1から検出された候補領域m1が、アフタ性病変や潰瘍のように、粘膜面に存在する異常部である場合、図8(b)に示すように、候補領域m2の形状情報(直線の傾き)は、周囲の粘膜面(周辺領域)の形状情報と類似した状態になる。一方、図9(a)に示すように、画像M2から検出された候補領域m2が管腔内に浮遊する残渣である場合、図9(b)に示すように、候補領域m2の形状情報は、周囲の粘膜面の形状情報とは無関係になる。そこで、異常部領域判定部140は、候補領域の形状情報と周囲領域の形状情報とが類似している場合には、当該候補領域は異常部であると判定し、両者が類似していない場合には、当該候補領域は浮遊する残渣であると判定する。
図10は、候補領域の判定処理の詳細を示すフローチャートである。以下においては、図6に示す候補領域a1及び図7に示す周辺領域b1に対する処理を説明する。
ステップS501において、異常部領域判定部140は、候補領域の各方向d1、d2、…における傾きα1、α2、…と、周辺領域の各方向d1、d2、…における傾きβ1、β2、…とに基づいて、以下のように候補領域a1及び周辺領域b1の領域種類を方向ごとに判別する。
傾きが所定の閾値T1以上、所定の閾値T2未満である場合:平坦領域
傾きが所定の閾値T2以上である場合:プラス方向の傾斜領域
傾きが所定の閾値T1未満である場合:マイナス方向の傾斜領域
ただし、各閾値は、T1<T2を満たす値に設定する。
続くステップS502において、異常部領域判定部140は、同じ方向における候補領域a1の領域種類と周辺領域b1の領域種類との一致率を算出する。例えば、ある方向d1において、候補領域a1がプラス方向の傾斜領域と判別されたのに対して、周辺領域b1が平坦領域又はマイナス方向の傾斜領域と判別されると、両者は一致していないと判定される。或いは、ある方向d1において、候補領域a1及び周辺領域b1が共に平坦領域(又は、共にプラス若しくはマイナス方向の傾斜領域)と判別されると、両者は一致していると判定される。異常部領域判定部140は、このように、候補領域a1の領域種類と周辺領域b1の領域種類とが一致しているか否かを方向ごとに判定する。そして、形状情報が算出された全ての方向d1、d2、…のうちで、候補領域a1の領域種類と周辺領域b1の領域種類とが一致する方向の数の割合(一致率)を算出する。
ステップS503において、異常部領域判定部140は、ステップS502において算出された一致率が所定値以上であるか否かを判定する。一致率が所定値以上である場合(ステップS503:Yes)、異常部領域判定部140は、当該候補領域は異常部であると判定する(ステップS504)。一方、一致率が所定値未満である場合(ステップS503:No)、異常部領域判定部140は、当該候補領域は残渣であると判定する(ステップS505)。
その後、処理はメインルーチンに戻る。
ステップS50に続くステップS60において、演算部100は、ステップS50における判定結果を出力する。これに応じて、制御部10は、異常部の判定結果を記録部50に記録する。この際、制御部10は、異常部の判定結果を表示部40等に表示させても良い。その後、画像処理装置1における処理は終了する。
以上説明したように、実施の形態1によれば、処理対象の画像から、画素の色特徴量に基づいて異常部の候補領域を検出した後、候補領域及びその周辺領域の奥行き方向における形状情報を算出し、候補領域の形状情報と周辺領域の形状情報とを比較することで、異常部と、該異常部と同種の色情報を有する他の対象とを精度良く識別することが可能となる。
(変形例1)
次に、実施の形態1の変形例1について説明する。
図11は、変形例1に係る画像処理装置が備える周辺領域決定部の構成を示すブロック図である。変形例1に係る画像処理装置は、図1に示す周辺領域決定部120の代わりに、図11に示す周辺領域決定部120−1を備える。周辺領域決定部120−1以外の画像処理装置の構成は、図1に示すものと同様である。
周辺領域決定部120−1は、勾配強度算出部122及び閉領域抽出部123を有し、画像から検出された候補領域を内包し、溝等の勾配強度が高い領域を含まない閉領域を周辺領域として決定する。
図12は、周辺領域決定部120−1の動作を示すフローチャートである。なお、変形例1に係る画像処理装置全体の動作については、図2に示すものと同様である。
まず、ステップS311において、勾配強度算出部122は、処理対象の画像内における各画素の画素値(R、G、B各成分の値)、又はこれらの画素値から算出される輝度等の値に基づいて、勾配強度を算出する。勾配強度は、ラプラシアン(Laplacian)フィルタ処理やソーベル(Sobel)フィルタ処理等の公知の方法により算出することができる(参考:CG−ARTS協会、「ディジタル画像処理」、p.114〜121(エッジ抽出))。
続くステップS312において、閉領域抽出部123は、候補領域を閉領域の初期状態として設定する。
さらに、ステップS313において、閉領域抽出部123は、勾配強度が所定の値以上である画素の領域を内部に含まないようにエネルギー関数を設定し、該エネルギー関数の値に基づいて閉領域を初期状態から拡張して、閉領域を抽出する(参考:CG−ARTS協会、「ディジタル画像処理」、p.197〜198)。
エネルギー関数としては、例えば、閉領域の画素の勾配強度によって定まるエネルギーに相当するエッジ内包エネルギーと、閉領域の外形によって定まるエネルギーに相当する内部エネルギー及び外部エネルギーと、閉領域の画素の勾配強度によって定まるエネルギーに相当する画像エネルギーとの4つのエネルギーの加重和が用いられる。このうち、エッジ内包エネルギーは、閉領域内の勾配強度が大きいほど大きい値を示すエネルギーである。内部エネルギーは、閉領域の境界の滑らかさを表し、閉領域の形状が滑らかであるほど小さい値を示すエネルギーである。外部エネルギーは、閉領域の大きさが大きいほど小さい値を示すエネルギーである。画像エネルギーは、閉領域の境界における勾配強度の値が大きいほど小さい値を示すエネルギーである。
閉領域抽出部123は、初期状態の閉領域の境界上に複数の制御点を配置し、各制御点の位置やその位置における勾配強度、重心からの各制御点の距離、内部の画素の勾配強度等から上記したエッジ内包エネルギー、内部エネルギー、画像エネルギーおよび外部エネルギーを制御点ごとに算出し、これら4つのエネルギーの加重和が最小となるように制御点を移動させることで、閉領域が広がる方向に変形させていく。
周辺領域決定部120−1は、このようにして抽出された閉領域を周辺領域として決定する。
(変形例2)
次に、実施の形態1の変形例2について説明する。
図13は、変形例2に係る画像処理装置が備える周辺領域決定部の構成を示すブロック図である。変形例2に係る画像処理装置は、図1に示す周辺領域決定部120の代わりに、図13に示す周辺領域決定部120-2を備える。周辺領域決定部120−2以外の画像処置装置の構成は、図1に示すものと同様である。
周辺領域決定部120−2は、距離情報算出部124及び領域分割部125を有し、画像から検出された候補領域と近接する位置に存在し、画像内における距離情報(奥行き情報)が候補領域と類似した領域を周辺領域として決定する。
図14は、周辺領域決定部120−2の動作を示すフローチャートである。なお、変形例2に係る画像処理装置全体の動作については、図2に示すものと同様である。
まず、ステップS321において、距離情報算出部124は、画像内の各画素の距離情報を取得する。距離情報としては、体内で吸収・散乱し難い波長成分であるR値や、画素値(R、G、B各成分の値)から算出される輝度等が用いられる。
続くステップS322において、領域分割部125は、距離情報に基づいて画像内を複数の領域に分割する。本変形例2においては、距離情報を特徴量として用いた領域統合法(参考:CG−ARTS協会、「ディジタル画像処理」、p.196(領域分割処理))により、互いに類似した距離情報を有し、互いに隣接する画素同士を統合することで領域分割を行う。
なお、距離情報に基づいて画像を複数の領域に分割することができれば、上記領域統合法以外の手法を用いても良い。
ステップS323において、周辺領域決定部120−2は、ステップS20において検出された候補領域、及びステップS322において分割された各分割領域における距離情報の平均値を算出する。
ステップS324において、周辺領域決定部120−2は、候補領域内の各画素から所定の範囲内に存在し、且つ、候補領域の距離情報の平均値との差が所定範囲内である分割領域を、周辺領域として決定する。
(変形例3)
次に、実施の形態1の変形例3について説明する。
図15は、変形例3に係る画像処理装置が備える周辺領域決定部の構成を示すブロック図である。変形例3に係る画像処理装置は、図1に示す周辺領域決定部120の代わりに、図15に示す周辺領域決定部120−3を備える。周辺領域決定部120−3以外の画像処理装置の構成は、図1に示すものと同様である。
周辺領域決定部120−3は、色特徴量算出部126及び領域分割部127を有し、画像から検出された候補領域と近接する位置に存在し、色特徴量が候補領域と類似した領域を周辺領域として決定する。
図16は、周辺領域決定部120−3の動作を示すフローチャートである。なお、変形例3に係る画像処理装置全体の動作については、図2に示すものと同様である。
まず、ステップS331において、色特徴量算出部126は、画像内の各画素の色特徴量を算出する。色特徴量としては、画素値のYCbCr変換により算出される色差、色相、HSI変換により算出される彩度、色比(G/R、B/G)等が挙げられる。
続くステップS332において、領域分割部127は、色特徴量に基づいて画像内を複数の領域に分割する。本変形例3においては、色特徴量を特徴量として用いた領域等合法により、互いに類似した色特徴量を有し、互いに隣接する画素同士を統合することで領域分割を行う。
なお、色特徴量に基づいて画像を複数の領域に分割することができれば、上記領域等合法以外の手法を用いても良い。
ステップS333において、周辺領域決定部120−3は、ステップS20において検出された候補領域、及びステップS332において分割された各分割領域における色特徴量の平均値を算出する。
ステップS334において、周辺領域決定部120−4は、候補領域内の各画素から所定の範囲内に存在し、且つ、候補領域の色特徴量の平均値との差が所定範囲内である分割領域を、周辺領域として決定する。
(変形例4)
次に、実施の形態1の変形例4について説明する。
図17は、変形例4に係る画像処理装置が備える周辺領域決定部の構成を示すブロック図である。変形例4に係る画像処理装置は、図1に示す周辺領域決定部120の代わりに、図17に示す周辺領域決定部120−4を備える。周辺領域決定部120−4以外の画像処理装置の構成は、図1に示すものと同様である。
周辺領域決定部120−4は、テクスチャ特徴量算出部128及び領域分割部129を有し、画像から検出された候補領域と近接する位置に存在し、テクスチャ特徴量が候補領域と類似した領域を周辺領域として決定する。
図18は、周辺領域決定部120−4の動作を示すフローチャートである。なお、変形例4に係る画像処理装置全体の動作については、図2に示すものと同様である。
まず、ステップS341において、テクスチャ特徴量算出部128は、画像内におけるテクスチャ特徴量を算出する。テクスチャ特徴量としては、例えば、離散コサイン変換(DCT)、離散フーリエ変換(DFT)、ガボール(Gabor)フィルタ処理等によって算出される特定の周波数成分の大きさが用いられる。
続くステップS342において、領域分割部129は、テクスチャ特徴量に基づいて画像内を複数の領域に分割する。本変形例4においては、テクスチャ特徴量を特徴量として用いた領域統合法により、互いに類似したテクスチャ特徴量を有し、互いに隣接する画素同士を統合することで領域分割を行う。
なお、テクスチャ特徴量に基づいて画像を複数の領域に分割することができれば、上記領域統合法以外の手法を用いても良い。
ステップS343において、周辺領域決定部120−4は、ステップS20において検出された候補領域、及びステップS342において分割された各分割領域におけるテクスチャ特徴量の平均値を算出する。
ステップS344において、周辺領域決定部120−4は、候補領域内の各画素から所定の範囲内に存在し、且つ、候補領域のテクスチャ情報の平均値との差が所定範囲内である分割領域を、周辺領域として決定する。
(変形例5)
次に、実施の形態1の変形例5について説明する。
実施の形態1において、形状情報算出部130は、候補領域及び周辺領域の奥行き方向における形状を1つ以上の直線に近似した。しかしながら、候補領域及び周辺領域の奥行き方向における形状を1つ以上の曲線に近似しても良い。例えば、次式に示す2次関数によって表される放物線形状に近似することができる。
z=ax2+by+c
上式において、xは、候補領域の重心を通る各方向(図6参照)における画素の座標を示し、zは、当該画素の奥行き方向における距離を表す値(例えば、R値や輝度等)を示す。また、a、b、及びcは係数(定数)である。
この場合、異常部領域判定部140は、2次の係数aを形状情報として用い、候補領域と周辺領域とで係数aの差分が所定範囲内であるか否かに基づいて、候補領域と周辺領域との一致率を判断すれば良い。
(変形例6)
次に、実施の形態1の変形例6について説明する。
実施の形態1において、異常部領域判定部140は、各方向における候補領域及び周辺領域の領域種類を判別した上で、候補領域及び周辺領域の領域種類の一致率を算出した。しかしながら、候補領域及び周辺領域の傾きを方向ごとを直接比較して、両者の一致率を算出することとしても良い。
具体的に、図6に示す候補領域a1及び図7に示す周辺領域b1を例として説明すると、まず、候補領域の重心g1を通る方向d1、d2、…ごとに、候補領域を近似した直線の傾きと周辺領域を近似した直線の傾きとの差分|α1−β1|、|α2−β2|、…を算出する。続いて、各差分|α1−β1|、|α2−β2|、…を所定の閾値と比較し、差分が該閾値以下となる場合に、候補領域と周辺領域とで傾きが一致したと判断する。そして、候補領域及び周辺領域の形状情報が算出された全ての方向d1、d2、…のうち、候補領域a1と周辺領域b1とで傾きが一致した方向の数の割合(一致率)を算出する。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図19は、本発明の実施の形態2に係る画像処理装置の構成を示すブロック図である。図19に示すように、実施の形態2に係る画像処理装置2は、図1に示す演算部100の代わりに、演算部200を備える。
演算部200は、図1に示す形状情報算出部130及び異常部領域判定部140の代わりに、形状情報算出部210及び異常部領域判定部220を備える。なお、形状情報算出部210及び異常部領域判定部220以外の演算部200及び画像処理装置2の構成については、実施の形態1と同様である。
形状情報算出部210は、処理対象の画像から検出された候補領域及びその周辺領域内の画素の画素値に基づいて、候補領域及び周辺領域の画面の奥行き方向における形状を所定の形状にそれぞれ近似する近似形状算出部211を有する。本実施の形態2において、近似形状算出部221は、候補領域及び周辺領域の各々に対し、奥行き方向における形状を2次元的な面に近似する面近似形状算出部221aを含む。
また、異常部領域判定部220は、形状情報算出部210により2次元的な面に近似された候補領域及び周辺領域の近似形状に基づいて、候補領域が異常部であるか否かの判定を行う。
次に、画像処理装置2の動作について説明する。画像処理装置2の動作は、全体として図2に示すものと同様であり、候補領域及び周辺領域の形状情報の算出処理(ステップS40)及び候補領域の判定処理(ステップS50)における詳細な動作が実施の形態1とは異なる。
ステップS40において、面近似情報算出部211aは、候補領域及び周辺領域の各々に含まれる画素の画素値に基づき、各領域を近似する関数を求める。本実施の形態2においては、各領域を次式(1)に示す2次関数で近似する。
Figure 2013223672
式(1)において、(x,y)は、画像内における各画素の座標である。また、zは、画面の奥行き方向における距離を表す量であり、好ましくは、各画素のR値が用いられる。この他、zの値として、各画素のG値やB値、或いは各画素の画素値(R、G、B各成分の値)から2次的に算出される輝度等を用いても良い。以下、これらの値を含めて画素値という。
また、a〜fは係数(定数)であり、例えば、最小2乗法により、画像内のi番目(i=1、2、…)の画素の座標(xi,yi)と当該画素の画素値ziとを用いて与えられる次式(2)を解くことによって求めることができる。
Figure 2013223672
このようにして取得された近似関数が形状情報として用いられる。
続くステップS50において、異常部領域判定部220は、候補領域の形状情報と周辺領域の形状情報との相関に基づいて、候補領域が異常部であるか否かを判定する。より詳細には、異常部領域判定部220は、まず、候補領域の近似関数によって表される2次元領域、及び周辺領域の近似関数によって表される2次元領域を規格化した互いに同一サイズの画像領域を算出する。そして、これらの画像領域において対応する画素の画素値を推定して、画素値間の相関を求める。
具体的には、次式(3)によって与えられる画素値の差の2乗和SSDを算出する。
Figure 2013223672
式(3)において、PI(j)(x,y)は、候補領域の近似関数を規格化した画像領域I(j)の座標(x,y)における画素値を示し、PI(k)は、該候補領域に対する周辺領域の近似関数を規格化した画像領域I(k)の座標(x,y)における画素値を示す。また、Xは、画像領域I(j)及びI(k)のx方向におけるサイズを示し、Yは、画像領域I(j)及びI(k)のy方向におけるサイズを示す。
異常部領域判定部220は、2乗和SSDの値が所定値以下となる場合、候補領域の形状情報と周辺領域の形状情報との相関が高く(即ち、類似度が高く)、候補領域はアフタ性病変や潰瘍等の異常部であると判定する。反対に、異常部領域判定部220は、2乗和SSDが所定値よりも大きい場合、候補領域の形状情報と周辺領域の形状情報との相関は低く(即ち、類似度が低く)、候補領域は浮遊する残渣であると判定する。
なお、異常部領域判定部220は、2乗和SSDを算出する代わりに、次式(4)に示す画素値の差の絶対値の和SADを算出し、この和SADに基づいて候補領域の形状情報と周辺領域の形状情報との相関を判定しても良い。
Figure 2013223672
また、異常部の判定を行う方法は、上記2乗和SSDや差の絶対値の和SADを用いる方法に限定されず、候補領域の形状情報と周辺領域の形状情報との相関(類似度)を算出することができれば、どのような方法を用いても良い。例えば、正規化相互相関(参考:CG−ARTS協会、「ディジタル画像処理」、p.203〜204(パターン検出))等を利用しても良い。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
図20は、本発明の実施の形態3に係る画像処理装置の構成を示すブロック図である。図20に示すように、実施の形態3に係る画像処理装置3は、図1に示す演算部100の代わりに、演算部300を備える。
演算部300は、図1に示す演算部100に対して、形状情報に基づく異常部領域判定の信頼性を判定する信頼性判定部310をさらに備え、また、図1に示す異常部領域判定部140の代わりに、異常部領域判定部320を備える。なお、信頼性判定部310及び異常部領域判定部320以外の演算部300及び画像処理装置3の構成については、実施の形態1と同様である。
より詳細には、信頼性判定部310は、周辺領域の形状情報に基づいて上記信頼性を判定する周辺領域形状情報判定部311を有する。周辺領域形状情報判定部311は、分散値算出部311a−1を含む平坦領域判定部311aを有し、周辺領域が平坦な領域であるか否かに基づいて、上記信頼性を判定する。
また、異常部領域判定部320は、上記信頼性の判定結果に基づいて、候補領域が異常部であるか否かを判定する際の判定方法を切り替える判定方法切替部321を有し、信頼性の判定結果に応じた判定方法により、異常部に対する判定を行う。
次に、画像処理装置3の動作について説明する。
図21は、画像処理装置3の動作を示すフローチャートである。なお、図21に示すステップS10〜S40及びS60は、図2に示すものと対応している。
ステップS40に続くステップS70において、信頼性判定部310は、形状情報に基づく異常部領域判定の信頼性を判定する。ここで、粘膜面である周辺領域が平坦領域である場合、仮にその上に残渣が浮遊していたとしても、残渣と粘膜面との形状に差が生じ難い。この場合、単に、候補領域及び周辺領域の形状情報に基づいて候補領域が異常部であるか否かを判定しようとすると、判定の精度が低下するおそれがある。そこで、本実施の形態においては、周辺領域の形状情報に基づいて信頼性の判定を行い、その結果に従って、候補領域に対する判定を行う。
図22は、形状情報に基づく異常部領域判定の信頼性の判定処理の詳細を示すフローチャートである。
まず、ステップS701において、周辺領域形状情報判定部311は、ステップS30において決定された周辺領域の奥行き方向における距離情報を取得する。距離情報としては、体内で吸収、散乱し難い波長成分であるR値や、画素値(R、G、B各成分の値)から算出される輝度等が用いられる。
続くステップS702において、分散値算出部311a−1は、周辺領域における距離情報の分散値を算出する。
ステップS703において、平坦領域判定部311aは、算出された距離情報の分散値が所定の閾値以上であるか否かを判定する。そして、分散値が閾値以上である場合(ステップS703:Yes)、当該周辺領域は平坦領域であると判定する(ステップS704)。これに応じて、信頼性判定部310は、当該周辺領域と近接する候補領域に対して形状情報に基づく異常部領域の判定を行う場合、判定の信頼性が低いと判定する(ステップS705)。
一方、平坦領域判定部311aは、算出された距離情報の分散値が閾値よりも小さい場合(ステップS703:No)、当該周辺領域は平坦領域ではない(非平坦領域である)と判定する(ステップS706)。これに応じて、信頼性判定部310は、当該周辺領域と近接する候補領域に対して形状情報に基づく異常部領域の判定を行う場合、判定の信頼性は高いと判定する(ステップS707)。
その後、処理はメインルーチンに戻る。
なお、ステップS80においては、周辺領域が平坦領域であるか否かを判定できれば、上述した分散値を用いる方法以外の方法を用いて良い。例えば、周辺領域の形状情報として算出された線分の傾きの絶対値を所定の閾値と比較し、傾きの絶対値が閾値よりも小さい場合に、当該周辺領域を平坦領域と判断しても良い。
ステップS70に続くステップS80において、異常部領域判定部320は、ステップS70における判定結果に基づいて、候補領域が異常部であるか否かの判定を行う。図23は、当該処理の詳細を示すフローチャートである。
異常部領域判定部320は、形状情報に基づく判定の信頼性が高い場合(ステップS801:Yes)、候補領域及び周辺領域の形状情報(即ち、重心を通る各方向における線分の傾き)に基づいて、候補領域が異常部であるか否かの判定を行う(ステップS802)。なお、この判定処理の詳細は、図2のステップS50における処理と同じである。
一方、異常部領域判定部320は、形状情報に基づく判定の信頼性が低い場合(ステップS801:No)、候補領域の判定方法を、形状情報に基づく方法以外の方法に切り換えて判定を行う(ステップS803)。
その後、処理はメインルーチンに戻る。
なお、ステップS803においては、候補領域内部のテクスチャ特徴量に基づく判定方法等、様々な方法を用いることができる。
以下に、一例として、テクスチャ特徴量に基づく候補領域の判定方法を説明する。
まず、異常部領域判定部320は、候補領域内のテクスチャ特徴量として、例えば、離散コサイン変換(DCT)、離散フーリエ変換(DFT)、ガボール(Gabor)フィルタ処理等によって算出される特定の周波数成分の大きさを算出する。
続いて、異常部領域判定部320は、候補領域内のテクスチャ特徴量が均質性を示すか否かを判定する。
テクスチャ特徴量の均質性は、例えば、候補領域の座標重心と、候補領域内の各画素をテクスチャ特徴量で重み付けした座標重心との間の距離(以下、座標重心距離という)によって評価することができる。より詳細には、候補領域内の各画素をテクスチャ特徴量で重み付けした座標重心(Gx,Gy)は、候補領域の座標重心(gx、gy)、候補領域内のi番目の画素の座標(xi、yi)、及び、i番目の画素のテクスチャ特徴量Tiとを用いて、次式(5)によって表される。
Figure 2013223672
式(5)において、Nは候補領域内の画素数であり、i=1〜Nである。
これより、座標重心距離Dは、次式(6)により与えられる。
Figure 2013223672
ここで、テクスチャ特徴量が均質である場合、重み付けした座標重心(Gx,Gy)は座標重心(gx、gy)とほぼ一致するため、座標重心距離Dの値は小さくなる。一方、テクスチャ特徴量が均質でない場合、重み付けした座標重心(Gx,Gy)は座標重心(gx、gy)から離れるため、座標重心距離Dの値は大きくなる。そこで、異常部領域判定部320は、座標重心距離Dを所定の閾値と比較し、座標重心距離Dが閾値以下である場合、テクスチャ特徴量は均質であり、当該候補領域は粘膜面上の異常部であると判定する。一方、異常部領域判定部320は、座標重心距離Dが閾値よりも大きい場合、テクスチャ特徴量は均質でなく、候補領域は、浮遊する残渣であると判定する。
以上説明した実施の形態1〜3並びにこれらの変形例1〜6に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク(LAN/WAN)、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態1〜3に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器(ビュアーやプリンタ等)に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置(記録媒体及びその読取装置等)に画像処理結果を格納するようにしても良い。
なお、本発明は、実施の形態1〜3及びこれらの変形例1〜6に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
1〜3 画像処理装置
10 制御部
20 画像取得部
30 入力部
40 表示部
50 記録部
51 画像処理プログラム
100、200、300 演算部
110 異常部候補領域判別部
120 周辺領域決定部
121 粘膜領域判別部
122 勾配強度算出部
123 閉領域抽出部
124 距離情報算出部
125 領域分割部
126 色特徴量算出部
127 領域分割部
128 テクスチャ特徴量算出部
129 領域分割部
130 形状情報算出部
131 近似形状算出部
131a 線近似形状算出部
131b 近似対象選択部
140 異常部領域判定部
210 形状情報算出部
211 近似形状算出部
211a 面近似情報算出部
220 異常部領域判定部
221 近似形状算出部
221a 面近似形状算出部
310 信頼性判定部
311 周辺領域形状情報判定部
311a 平坦領域判定部
311a−1 分散値算出部
320 異常部領域判定部
321 判定方法切替部

Claims (17)

  1. 生体の管腔内を撮像した画像から異常部の候補領域を判別する異常部候補領域判別手段と、
    前記候補領域の周辺領域を決定する周辺領域決定手段と、
    前記候補領域及び前記周辺領域の画面に対する奥行き方向における形状情報を算出する形状情報算出手段と、
    前記候補領域の形状情報と前記周辺領域の形状情報との相関に基づいて、前記候補領域が異常部であるか否かを判定する異常部領域判定手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記周辺領域決定手段は、
    前記画像内に含まれる粘膜領域を判別する粘膜領域判別手段を有し、
    前記周辺領域を、前記粘膜領域の内から決定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記周辺領域決定手段は、
    前記画像内の複数の画素の画素値に基づいて勾配強度を算出する勾配強度算出手段を有し、
    前記周辺領域を、前記勾配強度が所定値以下となる領域から決定することを特徴とする請求項1に記載の画像処理装置。
  4. 前記周辺領域決定手段は、
    前記画像内の各画素の画素値に基づいて、前記各画素の特徴量を算出する特徴量算出手段と、
    前記画像を、前記特徴量の差が所定の範囲内である画素同士を1つの領域として領域分割する領域分割手段と、
    を有し、
    領域分割された領域毎に前記周辺領域を決定することを特徴とする請求項1に記載の画像処理装置。
  5. 前記特徴量算出手段は、前記各画素の画素値に基づいて、距離情報を算出する距離情報算出手段を含むことを特徴とする請求項4に記載の画像処理装置。
  6. 前記特徴量算出手段は、前記各画素の画素値に基づいて、色特徴量を算出する色特徴量算出手段を含むことを特徴とする請求項4に記載の画像処理装置。
  7. 前記特徴量算出手段は、前記各画素の画素値に基づいて、テクスチャ特徴量を算出するテクスチャ特徴量算出手段を含むことを特徴とする請求項4に記載の画像処理装置。
  8. 前記形状情報算出手段は、前記候補領域及び前記周辺領域の各々に含まれる複数の画素の画素値に基づいて、前記候補領域及び前記周辺領域の前記奥行き方向における形状を1次元又は2次元的な形状にそれぞれ近似する近似形状算出手段を有することを特徴とする請求項1に記載の画像処理装置。
  9. 前記近似形状算出手段は、前記複数の画素の画素値に基づいて、前記候補領域及び前記周辺領域の前記奥行き方向における形状の各々を、少なくとも1つの直線又は曲線に近似する線近似形状算出手段を含むことを特徴とする請求項8に記載の画像処理装置。
  10. 前記近似形状算出手段は、前記複数の画素の画素値に基づいて、前記候補領域及び前記周辺領域の前記奥行き方向における形状の各々を、2次元的な形状に近似する面近似形状算出手段を含むことを特徴とする請求項8に記載の画像処理装置。
  11. 前記近似形状算出手段は、前記候補領域及び前記周辺領域に含まれる画素に関する情報に基づいて、近似形状の算出対象を選択する近似対象選択手段をさらに有することを特徴とする請求項8に記載の画像処理装置。
  12. 前記周辺領域の形状情報に基づいて、異常部領域判定の信頼性を判定する信頼性判定手段をさらに備え、
    前記異常部領域判定手段は、前記信頼性の判定結果に基づいて、前記候補領域が異常部であるか否かを判定する判定方法を切り替える判定方法切替手段を有することを特徴とする請求項1に記載の画像処理装置。
  13. 前記信頼性判定手段は、前記周辺領域の形状情報に基づいて、前記信頼性を判定する周辺領域形状情報判定手段を含むことを特徴とする請求項12に記載の画像処理装置。
  14. 前記周辺領域形状情報判定手段は、前記周辺領域が平坦な領域であるか否かを判定する平坦領域判定手段を含み、前記周辺領域が平坦な領域である場合に信頼性が低いと判定することを特徴とする請求項13に記載の画像処理装置。
  15. 前記平坦領域判定手段は、前記周辺領域内の複数の画素の画素値の分散値を算出する分散値算出手段を含み、前記分散値に基づいて判定を行うことを特徴とする請求項14に記載の画像処理装置。
  16. 生体の管腔内を撮像した画像から異常部の候補領域を判別する異常部候補領域判別ステップと、
    前記候補領域の周辺領域を決定する周辺領域決定ステップと、
    前記候補領域及び前記周辺領域の画面に対する奥行き方向における形状情報を算出する形状情報算出ステップと、
    前記候補領域の形状情報と前記周辺領域の形状情報との相関に基づいて、前記候補領域が異常部であるか否かを判定する異常部領域判定ステップと、
    を含むことを特徴とする画像処理方法。
  17. 生体の管腔内を撮像した画像から異常部の候補領域を判別する異常部候補領域判別ステップと、
    前記候補領域の周辺領域を決定する周辺領域決定ステップと、
    前記候補領域及び前記周辺領域の画面に対する奥行き方向における形状情報を算出する形状情報算出ステップと、
    前記候補領域の形状情報と前記周辺領域の形状情報との相関に基づいて、前記候補領域が異常部であるか否かを判定する異常部領域判定ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
JP2012098045A 2012-04-23 2012-04-23 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム Active JP5980555B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012098045A JP5980555B2 (ja) 2012-04-23 2012-04-23 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
PCT/JP2013/061070 WO2013161589A1 (ja) 2012-04-23 2013-04-12 画像処理装置、画像処理方法、及び画像処理プログラム
CN201380021072.8A CN104244802B (zh) 2012-04-23 2013-04-12 图像处理装置、图像处理方法以及图像处理程序
EP13782600.4A EP2842478A4 (en) 2012-04-23 2013-04-12 PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM
US14/519,538 US9928590B2 (en) 2012-04-23 2014-10-21 Image processing apparatus, image processing method, and computer-readable recording device for determining whether candidate region is abnormality or residue

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012098045A JP5980555B2 (ja) 2012-04-23 2012-04-23 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2013223672A true JP2013223672A (ja) 2013-10-31
JP5980555B2 JP5980555B2 (ja) 2016-08-31

Family

ID=49482916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012098045A Active JP5980555B2 (ja) 2012-04-23 2012-04-23 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US9928590B2 (ja)
EP (1) EP2842478A4 (ja)
JP (1) JP5980555B2 (ja)
CN (1) CN104244802B (ja)
WO (1) WO2013161589A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017176856A (ja) * 2013-10-28 2017-10-05 富士フイルム株式会社 画像処理装置及びその作動方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6371613B2 (ja) * 2014-07-09 2018-08-08 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JPWO2016117018A1 (ja) * 2015-01-20 2017-10-26 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2016117117A1 (ja) * 2015-01-23 2016-07-28 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
EP3255884A4 (en) * 2015-02-05 2018-05-30 Ricoh Company, Ltd. Image processing device, image processing system, image processing method, and program
WO2016170655A1 (ja) * 2015-04-23 2016-10-27 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN107529963B (zh) * 2015-04-23 2020-06-12 奥林巴斯株式会社 图像处理装置、图像处理方法和存储介质
JP6177458B2 (ja) * 2015-07-03 2017-08-09 オリンパス株式会社 画像処理装置及び内視鏡システム
CN108601509B (zh) * 2015-11-26 2020-07-07 奥林巴斯株式会社 图像处理装置、图像处理方法以及记录有程序的介质
JP6578058B2 (ja) * 2016-05-27 2019-09-18 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP2019012039A (ja) * 2017-06-30 2019-01-24 ブラザー工業株式会社 検出装置及び検出方法
JP6622771B2 (ja) * 2017-09-22 2019-12-18 ファナック株式会社 モータ構成選定装置、モータ構成選定方法及びプログラム
JP6986160B2 (ja) * 2018-08-10 2021-12-22 オリンパス株式会社 画像処理方法および画像処理装置
JP2021005320A (ja) * 2019-06-27 2021-01-14 東芝映像ソリューション株式会社 画像処理装置及び画像処理方法
CN112652004B (zh) * 2020-12-31 2024-04-05 珠海格力电器股份有限公司 一种图像处理方法、装置、设备及介质
CN116940275A (zh) * 2021-02-25 2023-10-24 奥林巴斯医疗株式会社 内窥镜图像处理装置及内窥镜图像处理方法
CN113191626B (zh) * 2021-04-28 2022-02-01 中国科学院地理科学与资源研究所 一种异常区域的识别方法及装置
CN113628251B (zh) * 2021-10-11 2022-02-01 北京中科金马科技股份有限公司 一种智慧酒店终端监测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011232715A (ja) * 2010-04-30 2011-11-17 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2012045055A (ja) * 2010-08-24 2012-03-08 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002305148A1 (en) * 2001-04-05 2002-10-21 Johns Hopkins University Imaging systems for in vivo protocols
JP4652694B2 (ja) 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
JP4266920B2 (ja) 2004-12-03 2009-05-27 オリンパス株式会社 分類装置及び分類方法
EP1994878B9 (en) * 2006-03-16 2013-09-04 Olympus Medical Systems Corp. Medical image processing device and medical image processing method
EP2240109A4 (en) * 2008-01-08 2013-04-10 Oncoscope Inc SYSTEMS AND METHOD FOR THE STUDY, DIAGNOSTIC, TREATMENT AND / OR MONITORING OF TISSUE
JP2011521747A (ja) * 2008-06-02 2011-07-28 ライトラブ イメージング, インコーポレイテッド 光コヒーレンストモグラフィ画像から組織特徴を取得する定量的方法
EP2339534A1 (en) * 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011232715A (ja) * 2010-04-30 2011-11-17 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2012045055A (ja) * 2010-08-24 2012-03-08 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017176856A (ja) * 2013-10-28 2017-10-05 富士フイルム株式会社 画像処理装置及びその作動方法

Also Published As

Publication number Publication date
EP2842478A4 (en) 2016-01-27
EP2842478A1 (en) 2015-03-04
US20150063641A1 (en) 2015-03-05
WO2013161589A1 (ja) 2013-10-31
CN104244802B (zh) 2017-03-15
CN104244802A (zh) 2014-12-24
JP5980555B2 (ja) 2016-08-31
US9928590B2 (en) 2018-03-27

Similar Documents

Publication Publication Date Title
JP5980555B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5576782B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US9959481B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP5683888B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5830295B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5926937B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US9672610B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5576775B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR102025756B1 (ko) 영상에서 스펙클을 제거하는 방법, 장치 및 시스템.
Wu et al. Detection of blur artifacts in histopathological whole-slide images of endomyocardial biopsies
JP6664486B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP5961512B2 (ja) 画像処理装置およびその作動方法並びに画像処理プログラム
JP5800549B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN115148365A (zh) 用于预测中枢神经系统生殖细胞肿瘤预后的方法及系统
KR20170106061A (ko) 이미지 장치의 눈 검출기

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160727

R151 Written notification of patent or utility model registration

Ref document number: 5980555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250