JP2016016185A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP2016016185A
JP2016016185A JP2014141813A JP2014141813A JP2016016185A JP 2016016185 A JP2016016185 A JP 2016016185A JP 2014141813 A JP2014141813 A JP 2014141813A JP 2014141813 A JP2014141813 A JP 2014141813A JP 2016016185 A JP2016016185 A JP 2016016185A
Authority
JP
Japan
Prior art keywords
region
sharpness
blood vessel
unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014141813A
Other languages
English (en)
Other versions
JP6371613B2 (ja
Inventor
昌士 弘田
Masashi Hirota
昌士 弘田
大和 神田
Yamato Kanda
大和 神田
隆志 河野
Takashi Kono
隆志 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014141813A priority Critical patent/JP6371613B2/ja
Priority to CN201580036773.8A priority patent/CN106488735B/zh
Priority to DE112015002614.2T priority patent/DE112015002614T5/de
Priority to PCT/JP2015/067080 priority patent/WO2016006389A1/ja
Publication of JP2016016185A publication Critical patent/JP2016016185A/ja
Priority to US15/397,321 priority patent/US20170112355A1/en
Application granted granted Critical
Publication of JP6371613B2 publication Critical patent/JP6371613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Vascular Medicine (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】管腔内画像において血管透見像が局所的に消失した領域を抽出することができる画像処理装置等を提供する。
【解決手段】画像処理装置1は、管腔内画像のうち、管腔内の粘膜が写った領域である粘膜領域における血管透見像の鮮鋭度を示す血管鮮鋭度を算出する血管鮮鋭度算出部110と、血管鮮鋭度が低下した領域である鮮鋭度低下領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出部120と、候補領域の形状をもとに、該候補領域が異常領域であるか否かを判定する異常領域判定部130とを備える。
【選択図】図1

Description

本発明は、生体の管腔内が写された画像に対して画像処理を行う画像処理装置、画像処理方法、及び画像処理プログラムに関する。
内視鏡やカプセル型内視鏡等の医用観察装置を用いて生体の管腔内を撮像することにより取得した画像(以下、管腔内画像ともいう)に対し、腫瘍等が写った異常領域が存在するか否かを判定する技術が知られている。例えば特許文献1には、管腔内画像の特定空間周波数成分を2値化して得られた領域の形状特徴量を算出し、この形状特徴量に基づいて血管が延びる様子(以下、血管の走行形態ともいう)を判別することにより、異常領域の有無を判定する技術が開示されている。また、特許文献2には、管腔内画像のうちのG成分の画像に関心領域(ROI)を設定し、このROIにガボール(Gabor)フィルタを適用することにより特徴量を算出し、この特徴量に対して線形判別関数を適用することで異常を判別する技術が開示されている。
特許第2918162号公報 特開2002−165757号公報
ところで、管腔内において発生する早期表面型腫瘍は、内視鏡検査において発見することが難しい異常の1つである。この早期表面型腫瘍を医師が発見する際の手がかりとして、血管透見像の局所的な消失が知られている。血管透見像とは、管腔内の粘膜の表面近傍に存在する血管網が透けて見える領域が写った像のことである。この血管透見像において、血管網が部分的に見え難くなっている領域(局所的に消失した領域)には、腫瘍が存在する可能性が高い。
それに対し、上記特許文献1、2においては、血管の走行形態など、画像に明確に表出している血管の特徴に基づいて異常領域を抽出しているだけであり、血管透見像が局所的に消失した領域を抽出する技術は開示されていない。
本発明は、上記に鑑みて為されたものであって、管腔内画像において血管透見像が局所的に消失した領域を抽出することができる画像処理装置、画像処理方法、及び画像処理プログラムの提供を目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、管腔内画像のうち、管腔内の粘膜が写った領域である粘膜領域における血管透見像の鮮鋭度を示す血管鮮鋭度を算出する血管鮮鋭度算出部と、前記血管鮮鋭度が低下した領域である鮮鋭度低下領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出部と、前記候補領域の形状をもとに、該候補領域が前記異常領域であるか否かを判定する異常領域判定部と、を備えることを特徴とする。
本発明に係る画像処理方法は、管腔内画像に画像処理を施す画像処理装置が実行する画像処理方法において、前記管腔内画像のうち、管腔内の粘膜が写った領域である粘膜領域における血管透見像の鮮鋭度を示す血管鮮鋭度を算出する血管鮮鋭度算出ステップと、前記血管鮮鋭度が低下した領域である鮮鋭度低下領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出ステップと、前記候補領域の形状をもとに、該候補領域が前記異常領域であるか否かを判定する異常領域判定ステップと、を含むことを特徴とする。
本発明に係る画像処理プログラムは、管腔内画像のうち、管腔内の粘膜が写った領域である粘膜領域における血管透見像の鮮鋭度を示す血管鮮鋭度を算出する血管鮮鋭度算出ステップと、前記血管鮮鋭度が低下した領域である鮮鋭度低下領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出ステップと、前記候補領域の形状をもとに、該候補領域が前記異常領域であるか否かを判定する異常領域判定ステップと、をコンピュータに実行させることを特徴とする。
本発明によれば、粘膜領域における血管透見像の鮮鋭度をもとに、血管透見像が局所的に消失した領域である異常領域の候補領域を抽出し、候補領域の形状をもとに、該候補領域が異常領域であるか否かを判定するので、管腔内画像において血管透見像が局所的に消失した領域を精度良く検出することが可能となる。
図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。 図2は、図1に示す画像処理装置の動作を示すフローチャートである。 図3は、図1に示す血管鮮鋭度算出部が実行する血管鮮鋭度の算出処理を示すフローチャートである。 図4は、管腔内画像を示す模式図である。 図5は、図4のA−A’ラインに沿った血管鮮鋭度の変化を示すグラフである。 図6は、図1に示す異常候補領域抽出部が実行する異常候補領域の抽出処理を示すフローチャートである。 図7は、図1に示す異常領域判定部が実行する異常領域の判定処理を示すフローチャートである。 図8は、構造要素の設定方法の別の例を説明するための模式図である。 図9は、本発明の実施の形態1の変形例1−1に係る画像処理装置が備える鮮鋭度低下領域抽出部の構成を示すブロック図である。 図10は、図9に示す鮮鋭度低下領域抽出部を備える異常候補領域抽出部が実行する異常候補領域の抽出処理を示すフローチャートである。 図11は、本発明の実施の形態1の変形例1−2に係る画像処理装置が備える鮮鋭度低下領域抽出部の構成を示すブロック図である。 図12は、図11に示す鮮鋭度低下領域抽出部を備える異常候補領域抽出部が実行する異常候補領域の抽出処理を示すフローチャートである。 図13は、本発明の実施の形態2に係る画像処理装置が備える血管鮮鋭度算出部の構成を示すブロック図である。 図14は、図13に示す血管鮮鋭度算出部が実行する血管鮮鋭度の算出処理を示すフローチャートである。 図15は、本発明の実施の形態3に係る画像処理装置が備える異常候補領域抽出部の構成を示すブロック図である。 図16は、図15に示す異常候補領域抽出部が実行する異常候補領域の抽出処理を示すフローチャートである。 図17は、図5に示す血管鮮鋭度の変化の概形に対して算出された血管鮮鋭度の局所変化量を示すグラフである。 図18は、図1に示す画像処理装置が適用される内視鏡システムの概略構成を示す図である。
以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。実施の形態1に係る画像処理装置1は、内視鏡等の医用画像装置により生体の管腔内を撮像することによって取得された管腔内画像に対して画像処理を行うことにより、管腔内画像から特定の特徴を有する注目領域である異常領域を検出する装置である。管腔内画像は、通常、各画素位置においてR(赤)、G(緑)、B(青)の波長成分に対する画素レベル(画素値)を持つカラー画像である。
図1に示すように、画像処理装置1は、該画像処理装置1全体の動作を制御する制御部10と、医用観察装置が管腔内を撮像して生成した画像データを取得する画像取得部20と、外部からの操作に応じた信号を制御部10に入力する入力部30と、各種情報や画像の表示を行う表示部40と、画像取得部20によって取得された画像データや種々のプログラムを格納する記録部50と、画像データに対して所定の画像処理を実行する演算部100とを備える。
制御部10は、CPU等のハードウェアによって実現され、記録部50に記録された各種プログラムを読み込むことにより、画像取得部20から入力される画像データや入力部30から入力される信号等に従って、画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。
画像取得部20は、医用画像装置を含むシステムの態様に応じて適宜構成される。例えば、医用画像装置を画像処理装置1に接続する場合、画像取得部20は、医用画像装置において生成された画像データを取り込むインタフェースによって構成される。また、医用画像装置によって生成された画像データを保存しておくサーバを設置する場合、画像取得部20は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、医用画像装置によって生成された画像データを、可搬型の記録媒体を用いて受け渡ししても良く、この場合、画像取得部20は、可搬型の記録媒体を着脱自在に装着し、記録された画像の画像データを読み出すリーダ装置によって構成される。
入力部30は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部10に出力する。
表示部40は、LCDやELディスプレイ等の表示装置によって実現され、制御部10の制御の下で、管腔内画像を含む各種画面を表示する。
記録部50は、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、CD−ROM等の情報記録装置及びその読取装置等によって実現される。記録部50は、画像取得部20によって取得された管腔内画像の画像データの他、画像処理装置1を動作させると共に、種々の機能を画像処理装置1に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部50は、管腔内画像から血管透見像が局所的に消失した領域を異常領域として抽出する画像処理プログラム51や、該画像処理において用いられる閾値のテーブル等を格納する。
演算部100は、CPU等のハードウェアによって実現され、画像処理プログラム51を読み込むことにより、管腔内画像から血管透見像が局所的に消失した領域を異常領域として抽出する画像処理を行う。
次に、演算部100の構成について説明する。図1に示すように、演算部100は、管腔内画像のうち、管腔内の粘膜が写った領域である粘膜領域における血管透見像の鮮鋭度を示す血管鮮鋭度を算出する血管鮮鋭度算出部110と、血管鮮鋭度が低下した領域である鮮鋭度低下領域を、血管透見像が局所的に消失した領域である異常領域の候補領域(以下、異常候補領域という)として抽出する異常候補領域抽出部120と、異常候補領域の形状をもとに、該異常候補領域が異常領域であるか否かを判定する異常領域判定部130とを備える。
ここで、管腔内の粘膜においては、粘膜の表面近傍に存在する血管が透けて見える。このような血管の像は、血管透見像と呼ばれる。血管鮮鋭度とは、この血管透見像がどの程度鮮やかに、明瞭に、或いは高コントラストで見えるかを表す尺度である。本実施の形態1においては、血管透見像が鮮やかに見えるほど値が大きくなるように、血管鮮鋭度を設定する。また本明細書において、「局所的に消失した」とは、「部分的に見え難くなっている」又は「部分的に完全に見えなくなっている」のいずれかの場合を意味するものとする。
血管鮮鋭度算出部110は、管腔内画像のうち、処理対象とする領域を設定する領域設定部111と、該領域設定部111が設定した領域における局所吸光変化量を算出する局所吸光変化量算出部112とを備える。
領域設定部111は、管腔内画像から少なくとも粘膜輪郭、暗部、鏡面反射、泡、残渣の何れかが写った領域を除いた領域を、局所吸光変化量の算出対象となる粘膜領域として設定する。
局所吸光変化量算出部112は、領域設定部111が設定した粘膜領域内の各画素の画素値に基づき、管腔内の粘膜における吸光波長成分の局所的な吸光変化量を算出し、この吸光変化量を血管鮮鋭度とする。本実施の形態1においては、各画素の画素値のうち、管腔内における吸光波長成分であるG成分の強度を表すG値に基づいて、局所的な吸光変化量を算出する。局所吸光変化量算出部112は、撮像距離関連情報取得部112a、吸光波長成分正規化部112b、及び参照範囲設定部112cを備える。
撮像距離関連情報取得部112aは、粘膜領域内の各画素の撮像距離に関する情報(以下、撮像距離関連情報という)を取得する。ここで、撮像距離とは、管腔内画像に写った被写体(粘膜等)から該被写体を撮像した撮像手段の撮像面までの距離のことである。
吸光波長成分正規化部112bは、撮像距離関連情報に基づいて、粘膜領域内の各画素における吸光波長成分の値を正規化する。
参照範囲設定部112cは、撮像距離関連情報をもとに、吸光変化量を算出する際に参照する画素の範囲を参照範囲として設定する。具体的には、管腔内画像において血管は近景であるほど太く表れ易いので、近景であるほど参照範囲を大きく設定する。
異常候補領域抽出部120は、血管鮮鋭度算出部110が算出した血管鮮鋭度の変化の概形を算出する鮮鋭度変化概形算出部121と、該血管鮮鋭度の変化の概形から、血管透見像において血管鮮鋭度が低下する領域(以下、鮮鋭度低下領域という)を抽出する鮮鋭度低下領域抽出部122とを備える。このうち、鮮鋭度変化概形算出部121は、モフォロジ処理部121aを備え、血管鮮鋭度に対して濃淡画像を扱う濃淡モフォロジ処理を施すことにより、該血管鮮鋭度の変化の概形を算出する。一方、鮮鋭度低下領域抽出部122は、血管鮮鋭度の変化の概形に対して閾値処理を行うことにより、鮮鋭度低下領域を抽出する。この鮮鋭度低下領域が、異常候補領域として出力される。
異常領域判定部130は、異常候補領域抽出部120により抽出された異常候補領域を取り込み、該異常候補領域の円形状の度合いに基づいて、異常候補領域が異常領域であるか否かを判定する。具体的には、異常候補領域が円形らしい場合に、異常候補領域は異常領域であると判定される。
次に、画像処理装置1の動作について説明する。図2は、画像処理装置1の動作を示すフローチャートである。
まず、ステップS10において、画像処理装置1は、画像取得部20を介して管腔内画像を取得する。本実施の形態1においては、内視鏡によりR、G、Bの各波長成分を含む照明光(白色光)を管腔内に照射して撮像を行うことにより生成され、各画素位置においてこれらの波長成分に対応する画素値(R値、G値、B値)を有する管腔内画像が取得される。図4は、ステップS10において取得された管腔内画像の一例を示す模式図である。
続くステップS11において、演算部100は管腔内画像を取り込み、該管腔内画像における血管鮮鋭度を算出する。血管鮮鋭度は、血管領域における吸光変化量として表すことができる。そこで、本実施の形態1においては、管腔内画像内の各画素の画素値のヘッセ行列における第一固有値(最大固有値)を吸光変化量として算出する。
図3は、血管鮮鋭度算出部110が実行する血管鮮鋭度の算出処理を示すフローチャートである。ステップS111において、領域設定部111は、管腔内画像から粘膜輪郭、暗部、鏡面反射、泡、残渣の何れかが写った領域を除去して残った領域、即ち粘膜領域を、処理対象領域として設定する。具体的には、管腔内画像内の各画素に対してG/R値を算出し、G/R値が閾値以下である領域、即ち、赤みを帯びた領域を処理対象領域に設定する。
なお、処理対象領域の設定方法は上述した方法に限定されず、公知の種々の方法を適用しても良い。例えば、特開2007−313119号公報に開示されているように、泡の輪郭部及び泡の内部に存在する照明反射による弧形状の凸エッジといった泡画像の特徴に基づいて設定される泡モデルと管腔内画像から抽出されたエッジとのマッチングを行うことにより泡領域を検出しても良い。また、特開2011−234931号公報に開示されているように、各画素値(R値、G値、B値)に基づく色特徴量をもとに黒色領域を抽出し、この黒色領域の周囲の画素値変化の方向に基づいて、黒色領域が暗部であるか否かを判別しても良い。また、各画素値に基づく色特徴量をもとに白色領域を抽出し、この白色領域の境界付近の画素値の変化に基づいて、白色領域が鏡面反射された領域であるか否かを判別しても良い。さらには、各画素値に基づく色特徴量をもとに非粘膜領域とみられる残渣候補領域を検出し、この残渣候補領域と管腔内画像から抽出されたエッジとの位置関係に基づいて残渣候補領域が粘膜領域であるか否かを判別しても良い。
続くステップS112において、局所吸光変化量算出部112は、ステップS111において設定された処理対象領域内の各画素に対してG/R値を算出する。ここで、照明光のR成分はヘモグロビンに対する吸光が非常に少ない波長帯域であるため、管腔内におけるR成分の減衰量は、照明光が管腔内を通過した距離に対応するといえる。そこで、本実施の形態1においては、管腔内画像内の各画素のR値を、当該画素位置における撮像距離関連情報として用いる。R値は、撮像距離が短いほど(被写体が近景であるほど)大きくなり、撮像距離が長いほど(被写体が遠景であるほど)小さくなる。従って、G/R値は、管腔内における吸光波長成分であるG成分を撮像距離によって正規化した値とみなすことができる。
続いて、局所吸光変化量算出部112は、処理対象領域内の各画素に対してループAの処理を実行することにより、各画素における局所的な吸光変化量を算出する。
ステップS113において、参照範囲設定部112cは、処理対象の画素におけるR値に基づいて、局所的な吸光変化量を算出する際に参照する画素の範囲(参照範囲)を設定する。ここで、管腔内画像において、血管は近景であるほど太く表れ易いため、撮像距離に応じて参照範囲を適応的に設定する必要がある。そこで、参照範囲設定部112cは、撮像距離と相関があるR値に基づいて、処理対象の画素における被写体が近景であるほど参照範囲が大きくなるように設定を行う。実際の処理としては、R値と参照範囲とが関連付けられたテーブルを事前に作成して記録部50に記録しておき、参照範囲設定部112cは、このテーブルを参照して、R値に応じた参照範囲を画素ごとに設定する。
続くステップS114において、局所吸光変化量算出部112は、処理対象の画素及びその周辺の参照範囲内の画素に対して算出されたG/R値を用いて、次式(1)に示すヘッセ行列の第一固有値(最大固有値)を算出する。
Figure 2016016185
式(1)に示すI(x0,y0)は、管腔内画像内の座標(x0,y0)に位置する画素のG/R値を示す。
上記ヘッセ行列H(x0,y0)の第一固有値は、処理対象の画素の周辺における最大主曲率(Curvedness)を表す。従って、この第一固有値を局所的な吸光変化量とみなすことができる。局所吸光変化量算出部112は、この局所的な吸光変化量を、当該画素位置における血管鮮鋭度として出力する。なお、本実施の形態1においては、ヘッセ行列の第一固有値を血管鮮鋭度として算出しているが、本願発明はこれに限定されず、公知のMTF(Modulation Transfer Function)やCTF(Contrast Transfer Function)により血管鮮鋭度を算出しても良い。
処理対象領域内の全ての画素に対してループAの処理がなされると、演算部100の動作はメインルーチンに戻る。
ステップS11に続くステップS12において、異常候補領域抽出部120は、ステップS11において算出された血管鮮鋭度(局所的な吸光変化量)に基づいて異常候補領域を抽出する。
図5は、図4のA−A’ラインに沿った血管鮮鋭度の変化を示すグラフである。本実施の形態1において、異常候補領域とは、血管透見像の局所的な消失が疑われる領域のことである。このような領域は、図4及び図5に示すように、血管鮮鋭度が低い領域として管腔内画像に表れる。そこで、異常候補領域抽出部120は、血管鮮鋭度が低下する領域を検出することにより、異常候補領域を抽出する。
図6は、異常候補領域抽出部120が実行する異常候補領域の抽出処理を示すフローチャートである。
ステップS121において、鮮鋭度変化概形算出部121は、血管鮮鋭度の変化の概形を算出する際に用いる各画素における構造要素のサイズを設定する。ここで、血管透見像が消失した領域は、近景であるほど大きく写り易いため、撮像距離に応じて構造要素のサイズを適応的に設定する必要がある。そこで、鮮鋭度変化概形算出部121は、撮像距離と相関があるR値を取得し、該R値が大きいほど(撮像距離が短いほど)構造要素のサイズが大きくなるように、構造要素のサイズを設定する。
続くステップS122において、モフォロジ処理部121aは、ステップS11において算出された血管鮮鋭度に対し、各画素のR値に応じて設定されたサイズの構造要素を用いてモフォロジのクロージング処理を行うことにより、該血管鮮鋭度の変化の概形を算出する(図5参照)。
続くステップS123において、鮮鋭度低下領域抽出部122は、ステップS122において算出された血管鮮鋭度の変化の概形に対して閾値処理を行い、血管鮮鋭度が所定の閾値Th1以下である領域を異常候補領域として抽出する。
その後、演算部100の動作はメインルーチンに戻る。
ステップS12に続くステップS13において、異常領域判定部130は、ステップS12において抽出された異常候補領域の形状に基づいて異常領域の判定を行う。ここで、異常候補領域には、血管透見像の消失により血管鮮鋭度が低下している領域のほか、単に血管が見え難いだけの正常な粘膜領域も含まれる。このような粘膜領域は、血管透見像が局所的に消失した異常領域と異なり、面積が大きくなり易い等の形状の特徴がある。そこで、異常領域判定部130は、こういった形状の特徴に基づいて、異常候補領域が異常領域であるか否かを判定する。
図7は、異常領域判定部130が実行する異常領域の判定処理を示すフローチャートである。ステップS131において、異常領域判定部130は、管腔内画像から抽出された異常候補領域をラベリングする。
続いて、異常領域判定部130は、ステップS131においてラベリングされた各領域に対してループBの処理を行う。
まず、ステップS132において、処理対象の領域(異常候補領域)の面積を算出する。具体的には、該領域に含まれる画素数をカウントする。
続くステップS133において、異常領域判定部130は、ステップS132において算出された面積が、面積を判別するための閾値(面積判別閾値)以下であるか否かを判定する。算出された面積が面積判別閾値よりも大きい場合(ステップS133:No)、異常領域判定部130は、当該領域は異常領域ではない(非異常領域である)と判定する(ステップS137)。
一方、面積が面積判別閾値以下である場合(ステップS133:Yes)、続いて異常領域判定部130は、処理対象の領域の円形度を算出する(ステップS134)。ここで、円形度とは、領域の形状がどれだけ円形らしいかを表す尺度であり、該領域の面積をS、周囲長をLとした場合に、4πS/L2によって与えられる。円形度は、値が1に近いほど真円に近づくことを示す。なお、異常候補領域の円形らしさを表す尺度であれば、上記円形度以外の尺度を用いても良い。
続くステップS135において、異常領域判定部130は、ステップS134において算出された円形度が、円形度を判別するための閾値(円形度判別閾値)以上であるか否かを判定する。円形度が円形度判別閾値よりも小さい場合(ステップS135:No)、異常領域判定部130は、当該領域は異常領域ではない(非異常領域である)と判定する(ステップS137)。
一方、円形度が円形度判別閾値以上である場合(ステップS135:Yes)、異常領域判定部130は、処理対象の領域は異常領域であると判定する(ステップS136)。
ステップS131においてラベリングされた全ての領域に対してループBの処理がなされると、演算部100の動作はメインルーチンに戻る。
ステップS13に続くステップS14において、演算部100は、ステップS13における判定結果を出力する。これに応じて、制御部10は、異常領域と判定された領域を表示部40に表示させる。異常領域と判定された領域の表示方法は特に限定されない。一例として、管腔内画像に対し、異常領域と判定された領域を指し示すマークを重畳させる、異常領域と判定された領域に他の領域とは異なる色や網掛けを附して表示する、といった表示方法が挙げられる。併せて、ステップS13における異常領域の判定結果を記録部50に記録しても良い。
その後、画像処理装置1の動作は終了する。
以上説明したように、本発明の実施の形態1によれば、管腔内画像から、局所的に吸光変化量が低下している領域を異常候補領域として抽出し、異常候補領域の形状に基づいて該異常候補領域が異常領域であるか否かを判定するので、血管透見像が局所的に消失した領域を精度良く抽出することが可能となる。
なお、上記実施の形態1においては、ヘッセ行列の第一固有値を吸光変化量として算出したが、吸光変化量の算出方法はこれに限定されない。例えば、管腔内画像内の各画素の画素値に対してバンドパスフィルタを適用しても良い。また、この場合、処理対象の画素のR値に基づいてフィルタサイズを適応的に設定すると良い。具体的には、R値が小さいほど(撮像距離が長いほど)、フィルタサイズを大きくすることが好ましい。
また、上記実施の形態1においては、モフォロジ処理において用いられる構造要素に関して、撮像距離に基づいてサイズを設定することとしたが、併せて、構造要素の形状や向きを設定しても良い。図8は、構造要素の設定方法の別の例を説明するための模式図である。
ここで、内視鏡により管腔内を撮像する場合、被写体である粘膜面に対して撮像方向が斜めになることが多い。このような場合、内視鏡から見て奥行方向における被写体のサイズは、同じ被写体を正面から撮像した場合と比べて小さく画像に表れる。そこで、撮像面に対する粘膜面の傾きが最大となる方向、即ち、管腔内画像上の距離に対して実際の撮像距離の変化が大きい方向においてはサイズが小さく、この撮像距離の変化が大きい方向と直交する方向においてはサイズが大きくなるように、構造要素の形状及び向きを設定することで、適切なモフォロジ処理を行うことができる。具体例として、図8に示す画像M1のように、管腔の奥行方向に向かって撮像を行った場合、画像内の各位置から管腔の奥m2に向かう方向が楕円形の短軸方向、奥に向かう方向と直交する方向が楕円形の長軸方向となるように、構造要素m1の形状及び向きを設定する。
また、上記実施の形態1においては、異常候補領域の面積及び円形度を閾値と順次比較することにより異常領域の判定を行ったが、異常候補領域の面積及び円形度をもとに判定を行うことができれば、判定方法はこれに限定されない。例えば、円形度に対する判定を先に行っても良い。或いは、面積及び円形度の双方を参照可能なテーブルを事前に作成しておき、このテーブルを参照することにより、異常候補領域について算出された面積及び円形度を同時に評価しても良い。
(変形例1−1)
次に、本発明の実施の形態1の変形例1−1について説明する。
図9は、本変形例1−1に係る画像処理装置が備える鮮鋭度低下領域抽出部の構成を示すブロック図である。本変形例1−1に係る画像処理装置において、異常候補領域抽出部120(図1参照)は、鮮鋭度低下領域抽出部122の代わりに、図9に示す鮮鋭度低下領域抽出部123を備える。なお、鮮鋭度低下領域抽出部123以外の演算部100の各部の構成及び動作並びに画像処理装置1の各部の構成及び動作は、実施の形態1と同様である。
鮮鋭度低下領域抽出部123は、撮像距離関連情報取得部123a及び距離適応閾値設定部123bを備える。撮像距離関連情報取得部123aは、管腔内画像に写された被写体と、該被写体を撮像した撮像手段の撮像面との間の撮像距離に関する情報として、各画素のR値を取得する。距離適応閾値設定部123bは、このR値に応じて、血管鮮鋭度の変化の概形から鮮鋭度低下領域を抽出する際に用いられる閾値(図5参照)を適応的に設定する。
本変形例1−1に係る画像処理装置の動作は全体として実施の形態1と同様であり、図2に示す異常候補領域の抽出処理(ステップS12)の詳細が実施の形態1と異なる。図10は、鮮鋭度低下領域抽出部123を備える異常候補領域抽出部が実行する異常候補領域の抽出処理を示すフローチャートである。なお、図10に示すステップS121及びS122は、実施の形態1と同様である。
ステップS122に続くステップS131において、鮮鋭度低下領域抽出部123は、管腔内画像に設定された処理対象領域(図3のステップS111参照)内の各画素のR値に応じて、血管鮮鋭度が低下した領域を抽出するための閾値を適応的に設定する。
ここで、管腔内を撮像する際、撮像手段の被写界深度から外れた領域においては、異常領域でなくても血管鮮鋭度が他の領域よりも低下してしまう。そこで、鮮鋭度低下領域抽出部123は、撮像距離と相関のあるR値を取得し、R値が所定の範囲(被写界深度に対応する範囲)内から逸脱するほど閾値を小さく設定する。実際の処理としては、被写界深度をもとにR値と閾値とを関連づけたテーブルを事前に作成して記録部50に記録しておき、距離適応閾値設定部123bは、このテーブルを参照して、R値に応じた閾値を画素ごとに設定する。
続くステップS132において、鮮鋭度低下領域抽出部123は、ステップS131において画素ごとに設定された閾値を用いて、血管鮮鋭度の変化の概形に対して閾値処理を行うことにより、閾値以下である領域を異常候補領域として抽出する。その後、演算部の動作はメインルーチンに戻る。
以上説明したように、本変形例1−1によれば、鮮鋭度低下領域を抽出する際に用いられる閾値を、撮像距離に応じて適応的に設定するので、管腔内画像のうち被写界深度から外れた領域における鮮鋭度低下領域の誤検出を抑制することが可能となる。
(変形例1−2)
次に、本発明の実施の形態1の変形例1−2について説明する。
図11は、本変形例1−2に係る画像処理装置が備える鮮鋭度低下領域抽出部の構成を示すブロック図である。本変形例1−2に係る画像処理装置において、異常候補領域抽出部120(図1参照)は、鮮鋭度低下領域抽出部122の代わりに、図11に示す鮮鋭度低下領域抽出部124を備える。なお、鮮鋭度低下領域抽出部124以外の演算部100の各部の構成及び動作並びに画像処理装置1の各部の構成及び動作は、実施の形態1と同様である。
鮮鋭度低下領域抽出部124は、収差適応閾値設定部124aを備え、該収差適応閾値設定部124aが設定した閾値を用いて閾値処理を行うことにより、鮮鋭度低下領域を抽出する。収差適応閾値設定部124aは、管腔内を撮像した内視鏡等が備える光学系の特性に応じて閾値を適応的に設定する光学系適応閾値設定部である。本変形例1−2において、収差適応閾値設定部124aは、光学系の特性の一例として光学系の収差の影響を低減するため、管腔内画像内の各画素の座標に応じて閾値を設定する。
本変形例1−2に係る画像処理装置の動作は全体として実施の形態1と同様であり、図2に示す異常候補領域の抽出処理(ステップS12)の詳細が実施の形態1と異なる。図12は、鮮鋭度低下領域抽出部124を備える異常候補領域抽出部が実行する異常候補領域の抽出処理を示すフローチャートである。なお、図12に示すステップS121及びS122は、実施の形態1と同様である。
ステップS122に続くステップS141において、鮮鋭度低下領域抽出部124は、管腔内画像に設定された処理対象領域(図3のステップS111参照)内の各画素の座標に応じて、血管鮮鋭度が低下した領域を抽出するための閾値を適応的に設定する。
ここで、管腔内画像には、内視鏡等が備える光学系の影響によりボケが生じ易い領域が存在する。具体的には、球面収差、コマ収差、非点収差、像面湾曲といった収差の大きい領域、即ち、管腔内画像の周縁領域ではボケが生じ易くなる。このような領域においては、異常領域でなくても血管鮮鋭度が他の領域より低下するため、鮮鋭度低下領域が過検出されてしまうおそれがある。
そこで、収差適応閾値設定部124aは、管腔内画像の各画素の座標に基づき、収差の影響が大きい領域ほど閾値を小さく設定する。実際の処理としては、管腔内画像の各画素の座標と閾値とを関連付けたテーブルを事前に作成して記録部50に記録しておき、収差適応閾値設定部124aは、このテーブルを参照して、座標に応じた閾値を画素ごとに設定する。
続くステップS142において、鮮鋭度低下領域抽出部124は、ステップS141において画素ごとに設定された閾値を用いて、血管鮮鋭度の変化の概形に対して閾値処理を行うことにより、閾値以下である領域を異常候補領域として抽出する。その後、演算部の動作はメインルーチンに戻る。
以上説明したように、本変形例1−2によれば、鮮鋭度低下領域を抽出する際に用いられる閾値を、画素の座標に応じて適応的に設定するので、収差の影響が大きい領域等においても、鮮鋭度低下領域の検出精度を向上させることが可能となる。
(変形例1−3)
次に、本発明の実施の形態1の変形例1−3について説明する。
鮮鋭度低下領域を抽出する際に用いられる閾値は、管腔内画像内の各画素に対応する像距離及び座標の両方に基づいて設定しても良い。実際の処理としては、撮像距離及び画素の座標と閾値とを関連付けたテーブルを事前に作成して記録部50に記録しておけば良い。
この場合、被写界深度から外れ、且つ、光学系の収差の影響が大きい領域に対しても、鮮鋭度低下領域の検出精度を向上させることが可能となる。
鮮鋭度低下領域を抽出する際に用いられる閾値は、これらの他にも、種々の要素に応じて設定しても良い。例えば、光学系の焦点距離の切り替えが可能な内視鏡を用いる場合、焦点距離に応じて変化する被写界深度をもとに閾値を設定しても良い。実際の処理としては、被写界深度をもとにR値(撮像距離関連情報)と閾値とを関連付けたテーブル(変形例1−1参照)を、切り替え可能な焦点距離に応じて複数種類用意しておく。そして、処理対象の管腔内画像の撮像時における焦点距離情報に基づいてテーブルを選択し、選択したテーブルを用いて閾値を画素ごとに設定する。なお、焦点距離情報は、内視鏡等から画像処理装置に直接入力されるようにしても良いし、撮像時における焦点距離情報を管腔内画像の画像データに関連づけておき、画像処理装置1が管腔内画像を取得する際に、焦点距離情報を一緒に取り込むようにしても良い。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図13は、本実施の形態2に係る画像処理装置が備える血管鮮鋭度算出部の構成を示すブロック図である。本実施の形態2に係る画像処理装置において、演算部100(図1参照)は、血管鮮鋭度算出部110の代わりに、図13に示す血管鮮鋭度算出部210を備える。なお、血管鮮鋭度算出部210以外の演算部100の構成及び動作並びに画像処理装置1の構成及び動作は、実施の形態1と同様である。
血管鮮鋭度算出部210は、領域設定部111及び局所吸光変化量算出部112に加え、管状領域抽出部211をさらに備える。管状領域抽出部211は、管腔内画像内の各画素の画素値をもとに、該管腔内画像から管状をなす管状領域を抽出する。
次に、本実施の形態2に係る画像処理装置の動作を説明する。本実施の形態2に係る画像処理装置の動作は全体として実施の形態1と同様であり(図2参照)、ステップS11における血管鮮鋭度の算出処理の詳細が実施の形態1と異なる。
図14は、血管鮮鋭度算出部210が実行する血管鮮鋭度の算出処理を示すフローチャートである。なお、図14に示すステップS111及びS112は、実施の形態1と同様である(図3参照)。
ステップS112に続くステップS211において、管状領域抽出部211は、ステップS111において設定された処理対象領域内の画素の画素値をもとに、該処理対象領域内から管状領域を抽出する。詳細には、管状領域抽出部211は、処理対象領域内の各画素の画素値をもとにシェイプインデックス(Shape Index)を算出し、該シェイプインデックスに対して閾値処理を実行することにより、管状領域を抽出する。シェイプインデックスSIは、ヘッセ行列の第一固有値eVal_1及び第二固有値eVal_2(eVal_1>eVal_2)を用いて、次式(2)によって与えられる。
Figure 2016016185
一例として、式(2)によって与えられるシェイプインデックスSIが−0.4以下となる領域、即ち、凹んだ形状を有する領域を管状領域として抽出すると良い。
続いて、血管鮮鋭度算出部210は、処理対象領域内の各画素に対してループCの処理を実行することにより、各画素における局所的な吸光変化量を算出する。
ステップS212において、血管鮮鋭度算出部210は、処理対象の画素が管状領域内の画素であるか否かを判定する。即ち、当該画素が血管領域に含まれるか否かを判定する。管状領域内の画素であった場合(ステップS212:Yes)、参照範囲設定部112cは、処理対象の画素におけるR値に基づいて、局所的な吸光変化量を算出する際に参照する画素の範囲(参照範囲)を設定する(ステップS213)。具体的には、R値が大きいほど(即ち、撮像距離が短いほど)、参照範囲が大きくなるように設定を行う。
続くステップS214において、局所吸光変化量算出部112は、処理対象の画素及びその周辺の参照範囲内の画素に対して算出されたG/R値を用いてヘッセ行列の第一固有値(最大固有値)を算出し、この第一固有値を局所的な吸光変化量、即ち、血管鮮鋭度とする。
一方、ステップS212において、処理対象の画素が管状領域内の画素でなかった場合(ステップS212:No)、次の画素に対する処理に移行する。このようなループCの処理により、処理対象領域の画素のうち、管状領域内の画素についてのみ、血管鮮鋭度が算出されることになる。
処理対象領域内の全ての画素に対してループCの処理がなされると、演算部100の動作はメインルーチンに戻る。
以上説明したように、本実施の形態2によれば、管状領域、即ち血管領域内の画素に対してのみ血管鮮鋭度を算出し、非血管領域に対しては血管鮮鋭度の算出を行わないので、異常候補領域をより絞り込むことができ、異常領域の検出精度を向上させることが可能となる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
図15は、本実施の形態3に係る画像処理装置が備える異常候補領域抽出部の構成を示すブロック図である。本実施の形態3に係る画像処理装置において、演算部100は、異常候補領域抽出部120の代わりに、図15に示す異常候補領域抽出部310を備える。なお、異常候補領域抽出部310以外の演算部100の構成及び動作並びに画像処理装置1の構成及び動作は、実施の形態1と同様である。
異常候補領域抽出部310は、図1に示す鮮鋭度低下領域抽出部122の代わりに、鮮鋭度低下領域抽出部311を備える。鮮鋭度低下領域抽出部311は、鮮鋭度変化概形算出部121が算出した血管鮮鋭度の変化の概形に対する局所的な変化を算出し、該局所的な変化に基づいて、鮮鋭度低下領域を抽出する鮮鋭度局所低下領域抽出部311aを備え、この血管鮮鋭度が局所的に低下した領域を異常候補領域として抽出する。
次に、本実施の形態3に係る画像処理装置の動作を説明する。本実施の形態3に係る画像処理装置の動作は全体として実施の形態1と同様であり(図2参照)、ステップS12における異常候補領域の抽出処理の詳細が実施の形態と異なる。
図16は、異常候補領域抽出部310が実行する異常候補領域の抽出処理を示すフローチャートである。なお、図16に示すステップS121及びS122は実施の形態1と同様である(図6参照)。
ステップS122に続くステップS311において、鮮鋭度局所低下領域抽出部311aは、ステップS122において算出された血管鮮鋭度の変化の概形に対し、局所的な変化量(局所変化量)を算出する。局所変化量の算出方法は特に限定されず、公知の種々の算出方法を適用することができる。一例として、本実施の形態3においては、バンドパスフィルタを用いて局所変化量を算出する。図17は、図5に示す血管鮮鋭度の変化の概形に対して算出された血管鮮鋭度の局所変化量を示すグラフである。
続くステップS312において、鮮鋭度低下領域抽出部311は、ステップS311にいて算出された血管鮮鋭度の局所変化量に対して閾値処理を行い、局所変化量が所定の閾値Th2以下である領域を異常候補領域として抽出する。ここで、図4に示すように、血管透見像の消失領域の周囲には、通常の血管が存在している。そのため、血管透見像の消失領域は、図17に示すように、血管鮮鋭度が局所的に低下した領域として表れ易い。そこで、血管鮮鋭度の局所変化量に対して閾値処理を行うことにより、血管透見像の消失領域を検出し易くなる。
以上説明したように、本実施の形態3によれば、血管鮮鋭度の変化の概形に対して局所変化量を算出するので、血管透見像の消失領域のように、鮮鋭度の局所的な変化が生じている領域のみを異常候補領域として抽出することができる。従って、異常領域の検出精度を向上させることが可能となる。
なお、本実施の形態3においても、血管鮮鋭度の局所変化量に対する閾値処理に用いられる閾値(ステップS312参照)を、変形例1−1と同様に、画素のR値(即ち、撮像距離)に基づいて画素ごとに設定しても良い。或いは、変形例1−2と同様に、管腔内画像における画素の座標に基づいて、該閾値を画素ごとに設定しても良い。
図18は、本発明の実施の形態1に係る画像処理装置(図1参照)が適用される内視鏡システムの概略構成を示す図である。図18に示す内視鏡システム3は、画像処理装置1と、被検体の管腔内に先端部を挿入することによって被検体の体内を撮像した画像を生成する内視鏡4と、内視鏡4の先端から出射する照明光を発生する光源装置5と、画像処理装置1が画像処理を施した体内画像を表示する表示装置6とを備える。画像処理装置1は、内視鏡4が生成した画像に所定の画像処理を施すとともに、内視鏡システム3全体の動作を統括的に制御する。なお、実施の形態1に係る画像処理装置の代わりに、変形例1−1〜1−3若しくは実施の形態2、3に係る画像処理装置を適用しても良い。
内視鏡4は、可撓性を有する細長形状をなす挿入部41と、挿入部41の基端側に接続され、各種の操作信号の入力を受け付ける操作部42と、操作部42から挿入部41が延びる方向と異なる方向に延び、画像処理装置1及び光源装置5と接続する各種ケーブルを内蔵するユニバーサルコード43と、を備える。
挿入部41は、撮像素子を内蔵した先端部44と、複数の湾曲駒によって構成された湾曲自在な湾曲部45と、湾曲部45の基端側に接続され、可撓性を有する長尺状の可撓針管46と、を有する。
撮像素子は、外部からの光を受光して電気信号に光電変換して所定の信号処理を施す。撮像素子は、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサを用いて実現される。
操作部42と先端部44との間には、画像処理装置1との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブルが接続されている。複数の信号線には、撮像素子が出力した映像信号を画像処理装置1へ伝送する信号線及び画像処理装置1が出力する制御信号を撮像素子へ伝送する信号線等が含まれる。
操作部42は、湾曲部45を上下方向及び左右方向に湾曲させる湾曲ノブ421と、生検針、生体鉗子、レーザメス、及び検査プローブ等の処置具を挿入する処置具挿入部422と、画像処理装置1、光源装置5に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ423と、を有する。
ユニバーサルコード43は、ライトガイド及び集合ケーブルを少なくとも内蔵している。また、ユニバーサルコード43の操作部42に連なる側と異なる側の端部には、光源装置5に着脱自在なコネクタ部47と、コイル状をなすコイルケーブル470を介してコネクタ部47と電気的に接続され、画像処理装置1と着脱自在な電気コネクタ部48と、が設けられている。
画像処理装置1は、先端部44から出力された画像信号をもとに、表示装置6が表示する管腔内画像を生成する。画像処理装置1は、例えばホワイトバランス(WB)調整処理、ゲイン調整処理、γ補正処理、D/A変換処理、フォーマット変更処理などを行い、さらに、上述した管腔内画像から異常領域を抽出する画像処理を行う。
光源装置5は、例えば、光源、回転フィルタ、及び光源制御部を備える。光源は、白色LED(Light Emitting Diode)又はキセノンランプ等を用いて構成され、光源制御部の制御のもと、白色光を発生する。光源が発生した光は、ライトガイドを経由して先端部44の先端から照射される。
表示装置6は、映像ケーブルを介して画像処理装置1が生成した体内画像を画像処理装置1から受信して表示する機能を有する。表示装置6は、例えば液晶又は有機EL(Electro Luminescence)を用いて構成される。
以上説明した実施の形態1〜3及びこれらの変形例は、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク(LAN)、広域エリアネットワーク(WAN)、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態1〜3及びこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器(ビュアーやプリンタ等)に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置(記録媒体及びその読取装置等)に画像処理結果を格納するようにしても良い。
なお、本発明は、実施の形態1〜3及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
1 画像処理装置
3 内視鏡システム
4 内視鏡
5 光源装置
6 表示装置
10 制御部
20 画像取得部
30 入力部
40 表示部
50 記録部
51 画像処理プログラム
100 演算部
110、210 血管鮮鋭度算出部
111 領域設定部
112 局所吸光変化量算出部
112a 撮像距離関連情報取得部
112b 吸光波長成分正規化部
112c 参照範囲設定部
120、310 異常候補領域抽出部
121 鮮鋭度変化概形算出部
121a モフォロジ処理部
122、123、124、311 鮮鋭度低下領域抽出部
123a 撮像距離関連情報取得部
123b 距離適応閾値設定部
124a 収差適応閾値設定部
130 異常領域判定部
211 管状領域抽出部
311a 鮮鋭度局所低下領域抽出部
41 挿入部
42 操作部
421 湾曲ノブ
422 処置具挿入部
423 スイッチ
43 ユニバーサルコード
44 先端部
45 湾曲部
46 可撓針管
47 コネクタ部
470 コイルケーブル
48 電気コネクタ部

Claims (18)

  1. 管腔内画像のうち、管腔内の粘膜が写った領域である粘膜領域における血管透見像の鮮鋭度を示す血管鮮鋭度を算出する血管鮮鋭度算出部と、
    前記血管鮮鋭度が低下した領域である鮮鋭度低下領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出部と、
    前記候補領域の形状をもとに、該候補領域が前記異常領域であるか否かを判定する異常領域判定部と、
    を備えることを特徴とする画像処理装置。
  2. 前記血管鮮鋭度算出部は、
    前記粘膜領域内の各画素の画素値に基づき、前記粘膜における吸光波長成分の局所的な吸光変化量を算出する局所吸光変化量算出部を備え、
    前記局所的な吸光変化量を前記血管鮮鋭度として出力する、
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記血管鮮鋭度算出部は、前記管腔内画像から少なくとも粘膜輪郭、暗部、鏡面反射、泡、及び残渣の何れかが写った領域を除いた領域を、前記局所的な吸光変化量の算出対象領域として設定する領域設定部をさらに備える、ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記局所吸光変化量算出部は、
    前記粘膜領域内の各画素に写った被写体から該被写体を撮像した撮像手段までの距離である撮像距離に関する情報を取得する撮像距離関連情報取得部と、
    前記撮像距離に関する情報をもとに、前記吸光変化量を算出する際に参照される範囲である参照範囲を設定する参照範囲設定部と、
    を備え、
    前記参照範囲設定部は、前記撮像距離が遠いほど前記参照範囲を小さく設定する、
    ことを特徴とする請求項2又は3に記載の画像処理装置。
  5. 前記局所吸光変化量算出部は、
    前記粘膜領域内の各画素に写った被写体から該被写体を撮像した撮像手段までの距離である撮像距離に関する情報を取得する撮像距離関連情報取得部と、
    前記撮像距離に関する情報をもとに、前記吸光波長成分の値を正規化する吸光波長成分正規化部と、
    を備えることを特徴とする請求項2又は3に記載の画像処理装置。
  6. 前記血管鮮鋭度算出部は、
    前記粘膜領域内の各画素の画素値をもとに、管状をなす領域を抽出する管状領域抽出部を備え、
    前記管状をなす領域における局所的な吸光変化量を前記血管鮮鋭度として算出する、
    ことを特徴とする請求項1に記載の画像処理装置。
  7. 前記異常候補領域抽出部は、
    前記血管鮮鋭度の変化の概形を算出する鮮鋭度変化概形算出部と、
    前記概形に対して閾値処理を行うことにより、前記鮮鋭度低下領域を抽出する鮮鋭度低下領域抽出部と、
    を備えることを特徴とする請求項1に記載の画像処理装置。
  8. 前記鮮鋭度変化概形算出部は、
    前記血管鮮鋭度に対してモフォロジ処理を実行するモフォロジ処理部を備え、
    前記モフォロジ処理の結果をもとに、前記血管鮮鋭度の変化の概形を算出する、
    ことを特徴とする請求項7に記載の画像処理装置。
  9. 前記モフォロジ処理部は、
    前記粘膜領域内の各画素に写った被写体から該被写体を撮像した撮像手段までの距離である撮像距離に関する情報をもとに、少なくとも前記各画素におけるモフォロジの構造要素のサイズを設定する、
    ことを特徴とする請求項8に記載の画像処理装置。
  10. 前記鮮鋭度低下領域抽出部は、
    前記粘膜領域内の各画素に写った被写体から該被写体を撮像した撮像手段までの距離である撮像距離に関する情報を取得する撮像距離関連情報取得部と、
    前記閾値処理において用いられる閾値を、前記各画素に対応する前記撮像距離に応じて適応的に設定する距離適応閾値設定部と、
    を備えることを特徴とする請求項7に記載の画像処理装置。
  11. 焦点距離に応じて定まる被写界深度に基づいて前記撮像距離と前記閾値とを関連づけた情報を複数種類記録する記録部をさらに備え、
    前記距離適応閾値設定部は、前記管腔内を撮像した前記撮像手段が備える光学系の焦点距離に対応する前記情報を用いて前記閾値を設定する、
    ことを特徴とする請求項10に記載の画像処理装置。
  12. 前記鮮鋭度低下領域抽出部は、前記閾値処理において用いられる閾値を、前記管腔内を撮像した撮像手段が備える光学系の特性に応じて適応的に設定する光学系適応閾値設定部を備える、ことを特徴とする請求項7に記載の画像処理装置。
  13. 前記光学系適応閾値設定部は、前記粘膜領域内の各画素の座標に応じて前記閾値を設定する、ことを特徴とする請求項12に記載の画像処理装置。
  14. 前記鮮鋭度低下領域抽出部は、
    前記血管鮮鋭度の変化の概形における局所的な変化量を算出する鮮鋭度局所変化量算出部を備え、
    前記局所的な変化量をもとに前記鮮鋭度低下領域を抽出する、
    ことを特徴とする請求項7に記載の画像処理装置。
  15. 前記異常領域判定部は、前記候補領域が円形らしい場合に、前記候補領域は前記異常領域であると判定する、ことを特徴とする請求項1に記載の画像処理装置。
  16. 前記異常領域判定部は、前記候補領域の面積が閾値以下である場合に、前記候補領域は前記異常領域であると判定する、ことを特徴とする請求項1に記載の画像処理装置。
  17. 管腔内画像に画像処理を施す画像処理装置が実行する画像処理方法において、
    前記管腔内画像のうち、管腔内の粘膜が写った領域である粘膜領域における血管透見像の鮮鋭度を示す血管鮮鋭度を算出する血管鮮鋭度算出ステップと、
    前記血管鮮鋭度が低下した領域である鮮鋭度低下領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出ステップと、
    前記候補領域の形状をもとに、該候補領域が前記異常領域であるか否かを判定する異常領域判定ステップと、
    を含むことを特徴とする画像処理方法。
  18. 管腔内画像のうち、管腔内の粘膜が写った領域である粘膜領域における血管透見像の鮮鋭度を示す血管鮮鋭度を算出する血管鮮鋭度算出ステップと、
    前記血管鮮鋭度が低下した領域である鮮鋭度低下領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出ステップと、
    前記候補領域の形状をもとに、該候補領域が前記異常領域であるか否かを判定する異常領域判定ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
JP2014141813A 2014-07-09 2014-07-09 画像処理装置、画像処理方法、及び画像処理プログラム Active JP6371613B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014141813A JP6371613B2 (ja) 2014-07-09 2014-07-09 画像処理装置、画像処理方法、及び画像処理プログラム
CN201580036773.8A CN106488735B (zh) 2014-07-09 2015-06-12 图像处理装置以及图像处理方法
DE112015002614.2T DE112015002614T5 (de) 2014-07-09 2015-06-12 Bildbearbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
PCT/JP2015/067080 WO2016006389A1 (ja) 2014-07-09 2015-06-12 画像処理装置、画像処理方法、及び画像処理プログラム
US15/397,321 US20170112355A1 (en) 2014-07-09 2017-01-03 Image processing apparatus, image processing method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014141813A JP6371613B2 (ja) 2014-07-09 2014-07-09 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2016016185A true JP2016016185A (ja) 2016-02-01
JP6371613B2 JP6371613B2 (ja) 2018-08-08

Family

ID=55064031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014141813A Active JP6371613B2 (ja) 2014-07-09 2014-07-09 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US20170112355A1 (ja)
JP (1) JP6371613B2 (ja)
CN (1) CN106488735B (ja)
DE (1) DE112015002614T5 (ja)
WO (1) WO2016006389A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018155560A1 (ja) 2017-02-24 2018-08-30 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US20190223690A1 (en) * 2016-10-05 2019-07-25 Fujifilm Corporation Processor device, endoscope system, and method of operating processor device
WO2020217883A1 (ja) 2019-04-23 2020-10-29 富士フイルム株式会社 画像処理装置及びその作動方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3748575A4 (en) * 2018-01-29 2021-03-10 NEC Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND RECORDING MEDIUM

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224635A (ja) * 1988-11-02 1990-09-06 Olympus Optical Co Ltd 内視鏡装置
JP2918162B2 (ja) * 1988-11-02 1999-07-12 オリンパス光学工業株式会社 内視鏡画像処理装置
JP2008093172A (ja) * 2006-10-11 2008-04-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2011234931A (ja) * 2010-05-11 2011-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4450973B2 (ja) * 2000-11-30 2010-04-14 オリンパス株式会社 診断支援装置
CA2653040A1 (en) * 2006-05-19 2007-11-29 Evanston Northwestern Healthcare Method of and apparatus for recognizing abnormal tissue using the detection of early increase in microvascular blood content
JP5281826B2 (ja) * 2008-06-05 2013-09-04 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5980555B2 (ja) * 2012-04-23 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224635A (ja) * 1988-11-02 1990-09-06 Olympus Optical Co Ltd 内視鏡装置
JP2918162B2 (ja) * 1988-11-02 1999-07-12 オリンパス光学工業株式会社 内視鏡画像処理装置
JP2008093172A (ja) * 2006-10-11 2008-04-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2011234931A (ja) * 2010-05-11 2011-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190223690A1 (en) * 2016-10-05 2019-07-25 Fujifilm Corporation Processor device, endoscope system, and method of operating processor device
US11064864B2 (en) * 2016-10-05 2021-07-20 Fujifilm Corporation Processor device, endoscope system, and method of operating processor device
WO2018155560A1 (ja) 2017-02-24 2018-08-30 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US11510599B2 (en) 2017-02-24 2022-11-29 Fujifilm Corporation Endoscope system, processor device, and method of operating endoscope system for discriminating a region of an observation target
WO2020217883A1 (ja) 2019-04-23 2020-10-29 富士フイルム株式会社 画像処理装置及びその作動方法
CN113784654A (zh) * 2019-04-23 2021-12-10 富士胶片株式会社 图像处理装置及其工作方法
US11957483B2 (en) 2019-04-23 2024-04-16 Fujifilm Corporation Image processing device and method of operating the same

Also Published As

Publication number Publication date
CN106488735B (zh) 2018-09-28
DE112015002614T5 (de) 2017-03-09
JP6371613B2 (ja) 2018-08-08
CN106488735A (zh) 2017-03-08
US20170112355A1 (en) 2017-04-27
WO2016006389A1 (ja) 2016-01-14

Similar Documents

Publication Publication Date Title
CN107708521B (zh) 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序
JP6405138B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6967602B2 (ja) 検査支援装置、内視鏡装置、内視鏡装置の作動方法、及び検査支援プログラム
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP6177458B2 (ja) 画像処理装置及び内視鏡システム
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
US20140046131A1 (en) Endoscope system and method for operating endoscope system
JPWO2018105063A1 (ja) 画像処理装置
CN113573654A (zh) 用于检测并测定病灶尺寸的ai系统
JP7308258B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法
JP6371613B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
WO2019138772A1 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
WO2019087969A1 (ja) 内視鏡システム、報知方法、及びプログラム
JP6824868B2 (ja) 画像解析装置及び画像解析方法
JP2014232470A (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
JP7335157B2 (ja) 学習データ作成装置、学習データ作成装置の作動方法及び学習データ作成プログラム並びに医療画像認識装置
CN114730478A (zh) 用于处理电子医学图像以确定增强的电子医学图像的系统和方法
US11830185B2 (en) Medical image processing system and learning method
JP2011072811A (ja) 医用画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180713

R151 Written notification of patent or utility model registration

Ref document number: 6371613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250