JP2016019665A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP2016019665A
JP2016019665A JP2014145154A JP2014145154A JP2016019665A JP 2016019665 A JP2016019665 A JP 2016019665A JP 2014145154 A JP2014145154 A JP 2014145154A JP 2014145154 A JP2014145154 A JP 2014145154A JP 2016019665 A JP2016019665 A JP 2016019665A
Authority
JP
Japan
Prior art keywords
region
blood vessel
image
contour
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014145154A
Other languages
English (en)
Other versions
JP6405138B2 (ja
Inventor
隆志 河野
Takashi Kono
隆志 河野
大和 神田
Yamato Kanda
大和 神田
昌士 弘田
Masashi Hirota
昌士 弘田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014145154A priority Critical patent/JP6405138B2/ja
Priority to CN201580037655.9A priority patent/CN106535736B/zh
Priority to PCT/JP2015/069344 priority patent/WO2016009861A1/ja
Priority to DE112015002822.6T priority patent/DE112015002822T5/de
Publication of JP2016019665A publication Critical patent/JP2016019665A/ja
Priority to US15/402,369 priority patent/US10194783B2/en
Application granted granted Critical
Publication of JP6405138B2 publication Critical patent/JP6405138B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3137Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】管腔内画像における血管透見像の局所的な消失に基づいて異常を検出することができる画像処理装置等を提供する。
【解決手段】画像処理装置1は、管腔内画像のうち、血管が写った領域である血管領域の鮮鋭度を表す血管鮮鋭度画像を作成する血管鮮鋭度画像作成部110と、血管鮮鋭度画像において血管鮮鋭度が低下する領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出部120と、候補領域の近傍に延在する血管領域の状態を表す延在情報に基づいて、候補領域が異常領域であるか否かを判定する異常領域判定部130とを備える。
【選択図】図1

Description

本発明は、生体の管腔内が写された画像に対して画像処理を実行する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
内視鏡やカプセル型内視鏡等の医用観察装置を用いて生体の管腔内を撮像することにより取得した画像(以下、管腔内画像ともいう)に対し、腫瘍等の異常部が写った異常領域を検出する技術が知られている。例えば特許文献1には、局所的な隆起形状を有する病変を検出する技術が開示されている。この特許文献1においては、生体組織の2次元画像に基づいて3次元モデルを推定し、該3次元モデルに対し、隆起形状を有する病変の検出対象領域を設定し、検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量を算出し、該形状特徴量に基づいて局所的な隆起形状を持つ病変を検出している。また、特許文献2には、R(赤)、G(緑)、B(青)のうちのG成分の画像に対してGaborフィルタ等を用いた空間周波数解析を実行することにより特徴量を算出した後、線形判別関数を適用することにより、血管が延在している状態(血管の走行形態とも呼ばれる)に基づいて異常を判別する技術が開示されている。
特開2008−29520号公報 特開2005−192880号公報
ところで、管腔内で発生する早期表面型腫瘍は、内視鏡検査において発見することが難しい異常の1つである。この早期表面型腫瘍を医師が発見する際の手がかりとして、血管透見像の局所的な消失が知られている。血管透見像とは、粘膜の表面近傍に存在する血管網が透けて見える領域が写った像のことである。この血管透見像において、血管網が局所的に見え難くなっている領域(局所的に消失した領域)には、腫瘍が存在する可能性が高い。
これに対し、特許文献1は、正常な粘膜面から隆起している病変(異常部)を検出する技術であり、隆起が小さい、若しくは隆起していない病変を検出することは困難である。また、特許文献2は、画像の明確に表出している血管が延在している状態をもとに、異常が写った画像を検出する技術であり、血管透見像が局所的に消失した領域を抽出する技術は開示されていない。
本発明は、上記に鑑みて為されたものであって、管腔内画像において血管透見像が局所的に消失した領域を抽出することができる画像処理装置、画像処理方法、及び画像処理プログラムの提供を目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、管腔内画像のうち、血管が写った領域である血管領域の鮮鋭度を表す血管鮮鋭度画像を作成する血管鮮鋭度画像作成部と、前記血管鮮鋭度画像において前記鮮鋭度が低下する領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出部と、前記候補領域の近傍に延在する前記血管領域の状態を表す延在情報に基づいて、前記候補領域が異常領域であるか否かを判定する異常領域判定部と、を備えることを特徴とする。
本発明に係る画像処理方法は、管腔内画像のうち、血管が写った領域である血管領域の鮮鋭度を表す血管鮮鋭度画像を作成する血管鮮鋭度画像作成ステップと、前記血管鮮鋭度画像において前記鮮鋭度が低下する領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出ステップと、前記候補領域の近傍に延在する前記血管領域の状態を表す延在情報に基づいて、前記候補領域が異常領域であるか否かを判定する異常領域判定ステップと、を含むことを特徴とする。
本発明に係る画像処理プログラムは、管腔内画像のうち、血管が写った領域である血管領域の鮮鋭度を表す血管鮮鋭度画像を作成する血管鮮鋭度画像作成ステップと、前記血管鮮鋭度画像において前記鮮鋭度が低下する領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出ステップと、前記候補領域の近傍に延在する前記血管領域の状態を表す延在情報に基づいて、前記候補領域が異常領域であるか否かを判定する異常領域判定ステップと、をコンピュータに実行させることを特徴とする。
本発明によれば、管腔内画像における血管領域の鮮鋭度が局所的に低下する領域を異常領域の候補領域として抽出し、該候補領域が異常領域であるか否かを候補領域の近傍に存在する血管領域の延在情報に基づいて判定するので、管腔内画像において血管透見像が局所的に消失した領域を精度良く抽出することが可能となる。
図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。 図2は、図1に示す血管鮮鋭度画像作成部の詳細な構成を示すブロック図である。 図3は、図1に示す異常領域判定部の詳細な構成を示すブロック図である。 図4は、図1に示す画像処理装置の動作を示すフローチャートである。 図5は、管腔内画像の一例を示す模式図である。 図6は、図1に示す血管鮮鋭度画像作成部が実行する血管鮮鋭度画像の作成処理を示すフローチャートである。 図7は、色コントラスト画像内のx方向における輝度の変化を示すグラフである。 図8は、血管鮮鋭度画像の一例を示す図である。 図9は、血管鮮鋭度画像の反転画像内のx方向における輝度の変化を示すグラフである。 図10は、図1に示す異常領域判定部が実行する候補領域の判定処理を示すフローチャートである。 図11は、近傍外部領域の設定処理を説明するための模式図である。 図12は、血管領域と候補領域の輪郭との交差角の評価方法を説明するための模式図である。 図13は、細線化処理を説明するための模式図である。 図14は、シェイプインデックスの値に応じた形状モデルを示す模式図である。 図15は、本実施の形態2に係る画像処理装置が備える異常領域判定部の構成を示すブロック図である。 図16は、図15に示す異常領域判定部が実行する候補領域の判定処理を示すフローチャートである。 図17は、輪郭近傍領域の設定処理を説明するための模式図である。 図18は、候補領域に対する血管領域の交差状態の評価方法を説明するための模式図である。 図19は、本実施の形態3に係る画像処理装置が備える異常領域判定部の構成を示すブロック図である。 図20は、図19に示す異常領域判定部が実行する候補領域の判定処理を示すフローチャートである。 図21は、候補領域に対する血管領域の貫通状態の評価方法を説明するための模式図である。 図22は、図1に示す画像処理装置が適用される内視鏡システムの概略構成を示す図である。
以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。実施の形態1に係る画像処理装置1は、内視鏡等の医用画像装置により生体の管腔内を撮像することによって取得された管腔内画像に対して画像処理を施すことにより、管腔内画像から腫瘍性病変と疑われる領域を異常領域として検出する装置である。管腔内画像は、通常、各画素位置においてR(赤)、G(緑)、B(青)の波長成分に対する画素レベル(画素値)を持つカラー画像である。
図1に示すように、画像処理装置1は、該画像処理装置1全体の動作を制御する制御部10と、医用観察装置が管腔内を撮像して生成した画像データを取得する画像取得部20と、外部からの操作に応じた信号を制御部10に入力する入力部30と、各種情報や画像の表示を行う表示部40と、画像取得部20によって取得された画像データや種々のプログラムを格納する記録部50と、画像データに対して所定の画像処理を実行する演算部100とを備える。
制御部10は、CPU等のハードウェアによって実現され、記録部50に記録された各種プログラムを読み込むことにより、画像取得部20から入力される画像データや入力部30から入力される信号等に従って、画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。
画像取得部20は、医用画像装置を含むシステムの態様に応じて適宜構成される。例えば、医用画像装置を画像処理装置1に接続する場合、画像取得部20は、医用画像装置において生成された画像データを取り込むインタフェースによって構成される。また、医用画像装置によって生成された画像データを保存しておくサーバを設置する場合、画像取得部20は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、医用画像装置によって生成された画像データを、可搬型の記録媒体を用いて受け渡ししても良く、この場合、画像取得部20は、可搬型の記録媒体を着脱自在に装着し、記録された画像の画像データを読み出すリーダ装置によって構成される。
入力部30は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部10に出力する。
表示部40は、LCDやELディスプレイ等の表示装置によって実現され、制御部10の制御の下で、管腔内画像を含む各種画面を表示する。
記録部50は、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、CD−ROM等の情報記録装置及びその読取装置等によって実現される。記録部50は、画像取得部20によって取得された管腔内画像の画像データの他、画像処理装置1を動作させると共に、種々の機能を画像処理装置1に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部50は、管腔内画像から血管透見像の局所的に消失した領域を異常領域として抽出する画像処理プログラム51や、該画像処理において用いられる閾値等を格納する。
演算部100は、CPU等のハードウェアによって実現され、画像処理プログラム51を読み込むことにより、管腔内画像から血管透見像が局所的に消失した領域を異常領域として抽出する画像処理を実行する。
次に、演算部100の構成について説明する。図1に示すように、演算部100は、管腔内画像のうち、粘膜表面に存在する血管が写った領域である血管領域の鮮鋭度(以下、血管鮮鋭度という)を算出し、この血管鮮鋭度を輝度とする血管鮮鋭度画像を作成する血管鮮鋭度画像作成部110と、血管鮮鋭度画像において血管鮮鋭度が低下する領域を異常領域の候補領域として抽出する異常候補領域抽出部120と、候補領域の近傍に存在する血管領域の延在情報に基づいて、該候補領域が異常領域であるか否かを判定する異常領域判定部130とを備える。
ここで、管腔内を観察すると、粘膜の表面近傍に存在する血管が透けて見える。このような血管の像は、血管透見像と呼ばれる。血管鮮鋭度とは、この血管透見像がどの程度鮮やかに、明瞭に、或いは高コントラストで見えるかを表す度合いである。本実施の形態1においては、血管透見像が鮮やかに見えるほど値が大きくなるように、血管鮮鋭度を設定する。具体的には、管腔内における吸光変化量に対応する量を血管鮮鋭度としている。また本明細書において、「局所的に消失した」とは、「局所的に見え難くなっている」又は「局所的に完全に見えなくなっている」のいずれかの場合を意味するものとする。
図2は、図1に示す血管鮮鋭度画像作成部110の詳細な構成を示すブロック図である。図2に示すように、血管鮮鋭度画像作成部110は、管腔内画像のうち、異常領域の検出対象とする領域(粘膜領域)を設定する領域設定部111と、該領域設定部111が設定した領域に対して色コントラスト画像を作成する色コントラスト画像作成部112と、色コントラスト画像における輝度の変化に基づいて血管領域を検出する血管領域検出部113と、血管領域における輝度の変化の形状を表す特徴量を血管鮮鋭度として算出する血管鮮鋭度算出部114とを備える。
このうち、領域設定部111は、管腔内画像から少なくとも粘膜輪郭、暗部、鏡面反射、泡、残渣の何れかが写った領域を除いた領域を、異常領域の検出対象領域(粘膜領域)として設定する。
色コントラスト画像作成部112は、管腔内におけるヘモグロビンの吸光波長帯(例えば、530〜550nm近傍)に対する吸光量が多い領域ほど、即ち、管腔内画像における赤みが強い領域ほど輝度が低下する色コントラスト画像を作成する。
図3は、図1に示す異常領域判定部130の詳細な構成を示すブロック図である。図3に示すように、異常領域判定部130は、管腔内画像から、候補領域が異常領域であるか否かを判定する際に用いる血管領域を抽出する判定用血管領域抽出部131と、候補領域の輪郭を取得する輪郭取得部132と、候補領域の輪郭から外側の領域を近傍外部領域として設定する近傍外部領域設定部133と、近傍外部領域に存在する血管領域と候補領域の輪郭との交差角を評価する交差角評価部134と、該交差角評価部134による評価結果に基づいて候補領域が異常領域であるか否かを判定する判定部135とを備える。
次に、画像処理装置1の動作を説明する。図4は、画像処理装置1の動作を示すフローチャートである。
まず、ステップS10において、画像処理装置1は、画像取得部20を介して管腔内画像を取得する。本実施の形態1においては、内視鏡によりR、G、Bの各波長成分を含む照明光(白色光)を管腔内に照射して撮像を行うことにより生成され、各画素位置においてこれらの波長成分に対応する画素値(R値、G値、B値)を有する管腔内画像が取得される。図5は、ステップS10において取得された管腔内画像の一例を示す模式図である。
続くステップS11において、演算部100は管腔内画像を取り込み、該管腔内画像に基づいて血管鮮鋭度画像を作成する。図6は、血管鮮鋭度画像作成部110が実行する血管鮮鋭度画像の作成処理を示すフローチャートである。
ステップS111において、領域設定部111は、管腔内画像から粘膜輪郭、暗部、鏡面反射、泡、残渣の何れかが写った領域を除去して残った領域、即ち粘膜領域を、異常領域の検出対象領域として設定する。具体的には、管腔内画像内の各画素に対してG/R値を算出し、G/R値が粘膜領域を判別するための判別閾値以下である領域、即ち、赤みを帯びた領域を検出対象領域とする。
なお、検出対象領域の設定方法は上述した方法に限定されず、公知の種々の方法を適用しても良い。例えば、特開2007−313119号公報に開示されているように、泡の輪郭部及び泡の内部に存在する照明反射による弧形状の凸エッジといった泡画像の特徴に基づいて設定される泡モデルと管腔内画像から抽出されたエッジとのマッチングを行うことにより泡領域を検出しても良い。また、特開2011−234931号公報に開示されているように、各画素値(R値、G値、B値)に基づく色特徴量をもとに黒色領域を抽出し、この黒色領域の周囲の画素値変化の方向に基づいて、黒色領域が暗部であるか否かを判別しても良い。また、各画素値に基づく色特徴量をもとに白色領域を抽出し、この白色領域の境界付近の画素値の変化に基づいて、白色領域が鏡面反射された領域であるか否かを判別しても良い。さらには、特開2012−143340号公報に開示されているように、各画素値に基づく色特徴量をもとに非粘膜領域とみられる残渣候補領域を検出し、この残渣候補領域と管腔内画像から抽出されたエッジとの位置関係に基づいて残渣候補領域が粘膜領域であるか否かを判別しても良い。
続くステップS112において、色コントラスト画像作成部112は、管腔内画像において赤みが強い領域ほど輝度が低下する色コントラスト画像を作成する。具体的な処理として、色コントラスト画像作成部112は、管腔内画像内の各画素の画素値(R値、G値、B値)のうち、ヘモグロビンの吸光波長帯である530〜550nm近傍の波長成分に対応するG値をR値で除したG/R値を算出する。ここで、管腔内を撮像する際に用いられる照明光のR成分は、ヘモグロビンに対する吸光が非常に少ない波長帯域である。そのため、管腔内におけるR成分の減衰量は、照明光が管腔内を通過した距離に対応する。従って、G/R値は、ヘモグロビンの吸光波長成分(G値に対応)を撮像距離(内視鏡等が備える撮像手段から粘膜表面までの距離)によって正規化した値とみなすことができる。色コントラスト画像作成部112は、このG/R値を輝度とする色コントラスト画像を作成する。
続くステップS113において、血管領域検出部113は、色コントラスト画像において輝度が谷状に変化する領域を血管領域として検出する。具体的な処理として、血管領域検出部113は、まず、色コントラスト画像内の検出対象領域(ステップS111参照)において注目画素を設定する。続いて、注目画素の輝度及び該注目画素の近傍画素の輝度を用い、式(1)によって与えられるヘッセ行列に対して、式(2)に示す行列式を満たす固有値λを算出する。
式(1)においてI(x0,y0)は、色コントラスト画像内の座標(x0,y0)に位置する注目画素の輝度を示す。また、式(2)に示す符号Eは、単位行列を示す。
ここで、色コントラスト画像における画素のxy座標及び輝度(z座標)からなる3次元空間を考えた場合、輝度の変化は2次元曲面(x,y,z)の形状によって表される。2次元曲面上の点(x0,y0,z)において、近傍画素に対する勾配が最大となる方向が凹形状の勾配を示し、該方向に直交する方向が平坦な勾配を示すような2次元曲面上の点(x0,y0,z)を谷状と見做す。本実施の形態1においては、式(2)を満たすヘッセ行列の固有値λのうち、絶対値が大きい方の固有値(第一固有値)λmaxは、注目画素に対応する2次元曲面上の点(x0,y0,z)において勾配が最大の方向における曲率を示す。一方、絶対値が小さい方の固有値(第二固有値)λminは、同じ点(x0,y0,z)において勾配が最大の方向に対して直交する方向の曲率を示す。従って、勾配が最大の方向における曲率(第一固有値λmax)の符号が負であり、且つ、勾配が最大の方向に対して直交する方向における曲率(第二固有値λmin)がゼロ付近である場合、2次元曲面の形状、即ち、輝度の変化が谷状であると判断することができる。
血管領域検出部113は、色コントラスト画像内の各画素について算出したヘッセ行列の第一固有値λmax及び第二固有値λminに基づき、色コントラスト画像において輝度が谷状に変化する領域を血管領域として検出する。図7は、色コントラスト画像内の1つの方向(x方向)における輝度の変化を示すグラフである。図7の場合、例えば領域P1〜P4が血管領域として抽出される。
続くステップS114において、血管鮮鋭度算出部114は、ステップS113で検出された血管領域における輝度の変化の形状を表す特徴量を血管鮮鋭度として算出する。具体的には、血管領域におけるヘッセ行列の第一固有値λmax及び第二固有値λminを用いて、次式(3)によって与えられる評価値CV(Curvedness)を算出し、この評価値CVを血管鮮鋭度とする。なお、本実施の形態1においては、評価値CVを血管鮮鋭度として算出しているが、本願発明はこれに限定されず、公知のMTF(Modulation Transfer Function)やCTF(Contrast Transfer Function)により血管鮮鋭度を算出しても良い。
評価値CVは、カーブが強い(輝度の変化が急峻である)ほど値が大きくなる。例えば図7の場合、領域P1、P4に対してそれぞれ算出される評価値CVは、領域P2、P3に対してそれぞれ算出される評価値CVよりも大きくなる。
続くステップS115において、血管鮮鋭度画像作成部110は、ステップS114において算出された血管鮮鋭度を輝度とする画像(血管鮮鋭度画像)を作成する。図8は、血管鮮鋭度画像の一例を示す図である。その後、演算部100の動作はメインルーチンに戻る。
ステップS11に続くステップS12において、異常候補領域抽出部120は、血管鮮鋭度が局所的に低下する領域を異常領域の候補領域として抽出する。具体的な処理として、異常候補領域抽出部120は、まず、血管鮮鋭度画像の輝度を反転させた反転画像を作成し、この反転画像に対し、検出対象領域(図6のステップS111参照)ごとに濃淡モルフォロジー処理(グレースケール画像に対するモルフォロジー処理)を施す。図9は、血管鮮鋭度画像の反転画像内の1つの方向(x方向)における輝度の変化を示すグラフである。この輝度の変化に対し、構造要素A0を用いてモルフォロジーのクロージング処理を施すことで、輝度の変化が平滑化された基準面Pが得られる。なお、図9においては、基準面Pのx方向における形状を示している。また、クロージング処理の代わりにローパスフィルタ処理を行うことにより、反転画像における輝度を平滑化しても良い。
続いて、異常候補領域抽出部120は、この基準面Pに対し、予め設定された閾値Thを用いて閾値処理することにより二値画像を作成する。この二値画像において輝度を有する領域(図9において輝度が閾値Th以上であった領域)が、血管鮮鋭度が局所的に低下した領域である。さらに、異常候補領域抽出部120は、この二値画像に対して粒子解析を行い、円形度が所定の閾値よりも小さい領域(円形らしくない領域)や、面積が所定の閾値よりも小さい領域をノイズとして除外し、最終的に残った領域を候補領域として抽出する。図8においては、このようにして抽出された候補領域m1を血管鮮鋭度画像に重畳して示している。
続くステップS13において、異常領域判定部130は、候補領域近傍における血管領域の延在情報をもとに、候補領域が異常領域であるか否かを判定する。ここで、血管領域の延在情報とは、候補領域周辺において血管領域がどのように延在しているかといった状態を表す情報のことである。本実施の形態1においては、候補領域の輪郭に対して所定範囲の交差角で交差する血管領域の本数を血管領域の延在情報として用いる。図10は、異常領域判定部130が実行する候補領域の判定処理を示すフローチャートである。
まず、ステップS131において、判定用血管領域抽出部131は、管腔内画像から、候補領域の判定に用いる血管領域、即ち、色コントラスト画像において輝度が谷状に変化する領域を抽出する。具体的な処理としては、血管領域検出部113が検出した血管領域を異常候補領域抽出部120から取得しても良いし、図6のステップS111〜S113と同様にして血管領域を改めて抽出しても良い。
続くステップS132において、輪郭取得部132は、ステップS12において作成された二値画像に対し、微分フィルタ等を用いたエッジ抽出処理を施すことにより、候補領域の輪郭を取得する。
続くステップS133において、近傍外部領域設定部133は、候補領域の輪郭から外側の所定範囲の領域を、近傍外部領域として設定する。近傍外部領域は、候補領域に対する判定を行う際に用いられる評価領域である。図11は、近傍外部領域の設定処理を説明するための模式図である。
具体的な処理として、近傍外部領域設定部133は、ステップS12において作成された二値画像に対してラベリング処理(参考:CG−ARTS協会、「ディジタル画像処理」、第181頁)を施すことにより、各候補領域にラベル番号を付与し、ラベル番号ごとにモルフォロジー処理(参考:コロナ社、「モルフォロジー」、第12頁、第43頁)を実行する。詳細には、図11(a)に示すように、候補領域A1の輪郭A2に沿って円形状の構造要素A3を適用することにより、ミンコフスキー和の領域A4を取得する。そして、図11(b)に示すように、候補領域A1に対してモルフォロジーのクロージング処理を施すことにより取得したクロージング領域A5を、ミンコフスキー和の領域A4から差し引くことにより領域A6を抽出する。近傍外部領域設定部133は、この領域A6を近傍外部領域として設定する。
なお、構造要素A3の径は、固定値であっても良いし、候補領域における撮像距離(ステップS112参照)に基づき、撮像距離が近いほど構造要素A3の径が大きくなるように設定しても良い。近傍外部領域(領域A6)のサイズ(幅)は、構造要素A3の径に応じて変化する。
続いて、異常領域判定部130は、ラベル番号が付与された各候補領域についてループAの処理を実行する。ステップS134において、交差角評価部134は、血管領域と候補領域の輪郭との交差角を評価する。この評価は、ステップS131において抽出された血管領域のうち、処理対象の候補領域の近傍外部領域に含まれる各血管領域に対して実行される。図12は、血管領域と候補領域の輪郭との交差角の評価方法を説明するための模式図である。
交差角評価部134は、図12に示すように、近傍外部領域m3内に存在する各血管領域に細線化処理を施すことにより、細線化血管B1を抽出する。図13は、血管領域の細線化処理を説明するための模式図である。細線化血管B1は、近傍外部領域m3に対して二値化処理を施すことにより二値画像を作成し、この二値画像内から、図13に示す3×3画素からなる局所領域のパターンM1〜M8を順次探索して中心画素を削除する処理を繰り返すことにより抽出することができる(参考:東京大学出版会、「画像解析ハンドブック」、第577〜578頁)。具体的には、まず、パターンM1を二値画像内から探索し、パターンM1に適合する領域の中心画素の画素値を0に変更する。なお、図13に示す*は考慮しなくて良い画素を示す。次に、パターンM2を二値画像内から探索し、パターンM2に適合する領域の中心画素の画素値を0に変更する。このような処理を、パターンM8まで繰り返して1サイクルとする。このサイクルを、削除する点がなくなるまで反復する。
交差角評価部134は、このようにして抽出された細線化血管B1と候補領域m1の輪郭m2との交点における細線化血管B1の方向ベクトルv1を取得する。なお、方向ベクトルv1は、輪郭m2との交点近傍の細線化血管B1上の数画素における方向ベクトルの平均としても良い。
また、交差角評価部134は、細線化血管B1と輪郭m2との交点における輪郭m2の接線に対する法線ベクトルv2を取得する。なお、法線ベクトルv2は、細線化血管B1との交点近傍の輪郭m2上の数画素における法線ベクトルの平均としても良い。
そして、交差角評価部134は、方向ベクトルv1と法線ベクトルv2とのなす交差角θが所定範囲内であるか否かを評価する。ここで、図12(a)に示すように、交差角θが比較的小さい場合(0°に近い場合)、近傍外部領域m3に存在する細線化血管B1は輪郭m2と交差して候補領域m1内に入り込んでいる可能性が高い。一方、図12(b)に示すように、交差角θが±90°に近い場合、細線化血管B1は候補領域m1の輪郭m2に沿って延在している可能性が高い。
ステップS135において、判定部135は、交差角θが所定範囲内(例えば|θ|≦45°)である血管領域が所定数以上あるか否かを判定する。交差角θが所定範囲内である血管領域が所定数以上ある場合(ステップS135:Yes)、判定部135は、処理対象の候補領域m1は異常領域であると判定する(ステップS136)。一方、交差角θが所定範囲内である血管領域が所定数よりも少ない場合(ステップS135:No)、判定部135は、処理対象の候補領域m1は異常領域でないと判定する(ステップS137)。
抽出された全ての候補領域に対してループAの処理がなされると、演算部100の動作はメインルーチンに戻る。
ステップS13に続くステップS14において、演算部100は、ステップS13における判定結果を出力する。これに応じて、制御部10は、異常領域と判定された領域を表示部40に表示させる。異常領域と判定された領域の表示方法は特に限定されない。一例として、管腔内画像に対し、異常領域と判定された領域を指し示すマークを重畳させる、異常領域と判定された領域に他の領域とは異なる色や網掛けを附して表示する、といった表示方法が挙げられる。併せて、ステップS13における異常領域の判定結果を記録部50に記録しても良い。
その後、画像処理装置1の動作は終了する。
以上説明したように、本発明の実施の形態1によれば、管腔内画像における血管鮮鋭度を表す血管鮮鋭度画像を作成し、血管鮮鋭度が局所的に低下する領域を異常領域の候補領域として抽出し、この候補領域が異常領域であるか否かを、血管領域の延在情報として、候補領域に対して所定範囲の交差角で交差する血管領域の本数に基づいて判定するので、異常領域を精度良く検出することが可能となる。
(変形例1−1)
次に、本発明の実施の形態1の変形例1−1について説明する。
色コントラスト画像から血管領域を検出(図6のステップS113参照)する際には、ヘッセ行列の固有値から算出されるシェイプインデックスを用いても良い。具体的には、シェイプインデックスSIは、ヘッセ行列の第一固有値λmax及び第二固有値λminを用いて、次式(4)によって与えられる。
シェイプインデックスSIは0〜1の間の値を取る。図14(a)〜(e)は、シェイプインデックスSIの値に応じた形状モデルを示す模式図である。これより、血管領域として、色コントラスト画像における輝度が谷状に変化する領域を検出する場合、シェイプインデックスSIが0≦SI≦0.5となる領域を検出すれば良い。
(変形例1−2)
次に、本発明の実施の形態1の変形例1−2について説明する。
色コントラスト画像から血管領域を検出(図6のステップS113参照)する際には、特定空間周波数を用いても良い。具体的には、色コントラスト画像に対してハイパスフィルタ処理(参考:CG−ARTS協会、「ディジタル画像処理」、第135頁)を施すことにより、特定範囲の空間周波数帯域の領域を抽出し、この領域を血管領域とする。
(変形例1−3)
次に、本発明の実施の形態1の変形例1−3について説明する。
上記実施の形態1においては、近傍外部領域に存在する全ての血管領域について候補領域の輪郭との交差角を評価したが、評価対象とする血管領域の太さをある程度限定しても良い。例えば、所定の太さ以上の血管のみに対して上記評価を行っても良い。この場合、近傍外部領域に対してバンドパスフィルタ処理を施すことにより、フィルタに応じた太さの血管領域を抽出し、抽出された血管領域に対して候補領域の輪郭との交差角を評価すれば良い。
(変形例1−4)
次に、本発明の実施の形態1の変形例1−4について説明する。
変形例1−3のように、評価対象とする血管領域の太さを限定して処理を行う場合、近傍外部領域を設定する際のモルフォロジー処理において用いる構造要素のサイズを、血管領域の太さに応じて設定しても良い。具体的には、血管領域の太さが太いほど、構造要素のサイズを大きくすると良い。
(変形例1−5)
次に、本発明の実施の形態1の変形例1−5について説明する。
上記実施の形態1においては、血管領域と候補領域の輪郭との交差角として、細線化血管B1の方向ベクトルv1と、輪郭m2の接線に対する法線ベクトルv2とのなす角度θ(図12参照)を用いたが、方向ベクトルv1と輪郭m2の接線とのなす角度θ’(θ’=90°−θ)を交差角として用いても良い。この場合、角度θ’が90°に近いほど(例えば、45°≦θ’≦135°の範囲内)、血管領域が候補領域m1の輪郭m2と交差して、候補領域内に入り込んでいる可能性が高くなる。
(変形例1−6)
次に、本発明の実施の形態1の変形例1−6について説明する。
候補領域が異常領域であるか否かの判定(図10参照)は、交差角θ以外の血管領域の延在情報をもとに行っても良い。一例として、近傍外部領域における血管領域の長さを用いることができる。
具体的な処理としては、まず、近傍外部領域及びその外側に存在する血管領域に対して細線化処理を施し、近傍外部領域の外側の輪郭上に存在する細線化血管を抽出する。続いて、近傍外部領域の外側の輪郭上から出発して、細線化血管の8近傍の画素を探索することにより、近傍外部領域の内部において細線化血管を追跡する。そして、細線化血管が近傍外部領域の内側の輪郭に至ったとこで追跡を終了し、近傍外部領域における細線化血管B1の長さを算出(画素数をカウント)する。この長さが所定の閾値以下である場合、細線化血管B1は、輪郭m2と交差して候補領域m1内に入り込んでいる可能性が高い。従って、長さが所定の閾値以下である血管領域(細線化血管B1)が近傍外部領域に所定数以上存在する場合、当該候補領域は異常領域であると判定することができる。
(変形例1−7)
次に、本発明の実施の形態1の変形例1−7について説明する。
上記実施の形態1においては、交差角θが所定範囲内である血管領域の本数に基づいて、候補領域が異常領域であるか否かを判定したが、判定方法はこれに限定されない。例えば、交差角θが所定範囲内である血管領域の比率に基づいて判定を行っても良い。一例として、近傍外部領域に存在する血管領域の本数に対し、交差角θが所定範囲内である血管領域の本数が50%以上である場合、当該候補領域は異常領域であると判定する。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図15は、本実施の形態2に係る画像処理装置が備える異常領域判定部の構成を示すブロック図である。本実施の形態2に係る画像処理装置は、図1に示す異常領域判定部130の代わりに、図15に示す異常領域判定部230を備える。異常領域判定部230以外の画像処理装置の各部の構成及び動作は、実施の形態1と同様である。
異常領域判定部230は、管腔内画像から、候補領域が異常領域であるか否かを判定する際に用いる血管領域を抽出する判定用血管領域抽出部131と、候補領域の輪郭を取得する輪郭取得部132と、候補領域の輪郭から外側及び内側の領域を輪郭近傍領域として設定する輪郭近傍領域設定部231と、輪郭近傍領域における血管領域の候補領域との交差状態を評価する血管交差状態評価部232と、該血管交差状態評価部232による評価結果に基づいて候補領域が異常領域であるか否かを判定する判定部233とを備える。なお、判定用血管領域抽出部131及び輪郭取得部132の動作は実施の形態1と同様である。
次に、本実施の形態2に係る画像処理装置の動作を説明する。本実施の形態2に係る画像処理装置の動作は、全体として実施の形態1と同様であり(図4参照)、ステップS13における候補領域に対する判定処理の詳細が実施の形態1と異なる。本実施の形態2においては、血管領域の延在情報として、候補領域の輪郭と交差し、候補領域の内部に入り込んでいる血管領域の本数を用いることを特徴とする。
図16は、図4に示すステップS13において異常領域判定部230が実行する候補領域の判定処理を示すフローチャートである。なお、図16に示すステップS131及びS132は、実施の形態1と同様である。
ステップS132に続くステップS231において、輪郭近傍領域設定部231は、候補領域の輪郭から外側及び内側の所定範囲の領域を、輪郭近傍領域として設定する。輪郭近傍領域は、候補領域に対する判定を行う際に用いられる評価領域である。図17は、輪郭近傍領域の設定処理を説明するための模式図である。
具体的な処理として、輪郭近傍領域設定部231は、ステップS12において作成された二値画像に対してラベリング処理(参考:CG−ARTS協会、「ディジタル画像処理」、第181頁)を施すことにより、各候補領域にラベル番号を付与し、ラベル番号ごとにモルフォロジー処理(参考:コロナ社、「モルフォロジー」、第12頁、第43頁)を実行する。詳細には、図17(a)に示すように、候補領域A1の輪郭A2に沿って円形状の構造要素A3を適用することにより、ミンコフスキー和の領域A4と、ミンコフスキー差の領域A7とを取得する。そして、ミンコフスキー和の領域A4からミンコフスキー差の領域A7を差し引くことにより領域A8を抽出する。輪郭近傍領域設定部231は、この領域A8を輪郭近傍領域として設定する。
続いて、異常領域判定部230は、ラベル番号が付与された各候補領域についてループBの処理を実行する。まず、ステップS232において、血管交差状態評価部232は、ステップS131において抽出された血管領域のうち、処理対象の候補領域の輪郭近傍領域に存在する各血管領域に対し、血管領域が候補領域の輪郭と交差し、且つ候補領域の内部に入り込んでいるか否かを評価する。図18は、候補領域に対する血管領域の交差状態の評価方法を説明するための模式図である。
血管交差状態評価部232は、輪郭近傍領域m4内の各血管領域に対して細線化処理を施すことにより、細線化血管B2を抽出する。なお、細線化処理の詳細については、実施の形態1と同様である(図13参照)。
血管交差状態評価部232は、輪郭近傍領域m4の外側の輪郭m5上に存在する細線化血管B2を抽出し、この輪郭m5上から出発して、細線化血管B2の8近傍の画素を探索することにより、輪郭近傍領域m4の内部において細線化血管B2を追跡する。そして、細線化血管B2が、輪郭m2と交差し、輪郭m2の内側の領域m6に入り込んでいるか否かを判定する。
例えば、図18(a)においては、細線化血管B2が輪郭m2と交差し、さらに領域m6の内部に続いている。一方、図18(b)においては、細線化血管B2が領域m6に接した後、方向を変えて輪郭m2の外側の領域m7に延在しており、輪郭m2の内側の領域m6には入り込んでいない。
続くステップS233において、判定部233は、候補領域m1の輪郭m2と交差し、且つ候補領域m1の内部に入り込んでいる血管領域(細線化血管B2)の数をカウントし、この血管領域が所定数以上あるか否かを判定する。候補領域m1の輪郭m2と交差し、且つ候補領域m1の内部に入り込んでいる血管領域が所定数以上ある場合(ステップS233:Yes)、判定部233は、処理対象の候補領域m1は異常領域であると判定する(ステップS234)。一方、候補領域m1の輪郭m2と交差し、且つ候補領域m1の内部に入り込んでいる血管領域が所定数よりも少ない場合(ステップS233:No)、判定部233は、処理対象の候補領域m1は異常領域でないと判定する(ステップS235)。
抽出された全ての候補領域に対してループBの処理がなされると、演算部の動作はメインルーチンに戻る。
以上説明したように、本発明の実施の形態2によれば、候補領域が異常領域であるか否かを、血管領域の延在情報として、候補領域の輪郭と交差し、候補領域の内部に入り込んでいる血管領域の本数に基づいて判定するので、血管鮮鋭度が局所的に低下する異常領域を精度良く検出することが可能となる。
なお、本実施の形態2においても、変形例1−3と同様に、評価対象とする血管領域の太さを限定して処理を行っても良い。
また、本実施の形態2においても、変形例1−7と同様に、輪郭近傍領域内に存在する血管領域の本数に対し、候補領域の輪郭と交差し、候補領域の内部に入り込んでいる血管領域の本数が所定比率以上である場合に、当該候補領域は異常領域であると判定しても良い。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
図19は、本実施の形態3に係る画像処理装置が備える異常領域判定部の構成を示すブロック図である。本実施の形態3に係る画像処理装置は、図1に示す異常領域判定部130の代わりに、図19に示す異常領域判定部330を備える。異常領域判定部330以外の画像処理装置の各部の構成及び動作は、実施の形態1と同様である。
異常領域判定部330は、管腔内画像から、候補領域が異常領域であるか否かを判定する際に用いる血管領域を抽出する判定用血管領域抽出部131と、候補領域の輪郭を取得する輪郭取得部132と、候補領域の輪郭から外側の所定範囲の領域を近傍外部領域として設定する近傍外部領域設定部133と、近傍外部領域に存在する血管領域から特定範囲の太さを有する血管を抽出する特定太さ血管抽出部331と、特定範囲の太さを有する血管が候補領域を貫通しているか否かを評価する血管貫通状態評価部332と、該血管貫通状態評価部332による評価結果に基づいて候補領域が異常であるか否かを判定する判定部333とを備える。なお、判定用血管領域抽出部131、輪郭取得部132、及び近傍外部領域設定部133の動作は実施の形態1と同様である。
次に、本実施の形態3に係る画像処理装置の動作を説明する。本実施の形態3に係る画像処理装置の動作は、全体として実施の形態1と同様であり(図4参照)、ステップS13における候補領域に対する判定処理の詳細が実施の形態1と異なる。本実施の形態3においては、血管領域の延在情報として、特定の太さを有する血管領域が候補領域を貫通しているか否かの評価を用いることを特徴とする。
図20は、図4に示すステップS13において異常領域判定部330が実行する候補領域の判定処理を示すフローチャートである。なお、図20に示すステップS131〜S133は、実施の形態1と同様である。
ステップS133に続いて、異常領域判定部330は、ラベル番号が付与された各候補領域についてループCの処理を実行する。まず、ステップS331において、特定太さ血管抽出部331は、ステップS131において抽出された血管領域のうち、処理対象の候補領域の近傍外部領域に存在する血管領域から、特定範囲の太さを有する血管領域を抽出する。具体的な処理として、特定太さ血管抽出部331は、処理対象の候補領域に設定された近傍外部領域に対して特定の空間周波数帯域のバンドパスフィルタ処理を施す。これにより、特定の空間周波数帯域に応じた太さの血管領域が抽出される。
続くステップS332において、血管貫通状態評価部332は、ステップS331において抽出された特定範囲の太さを有する血管領域が、候補領域を貫通しているか否かを判定する。簡易的には、同一の近傍外部領域内に特定範囲の太さを有する血管領域が複数存在する場合、血管領域が候補領域を貫通していると判定される。
図21は、候補領域に対する血管領域の貫通状態をより精度良く評価する場合の評価方法を説明するための模式図である。より精度の良い評価を行う場合、血管貫通状態評価部332は、近傍外部領域m3から抽出された特定範囲の太さを有する血管領域に対して細線化処理を施すことにより、細線化血管B3、B3’を取得する。なお、細線化処理の詳細については、実施の形態1と同様である(図13参照)。そして、ある細線化血管B3に対して近似曲線B4を作成し、細線化血管B3の対岸の近傍外部領域m3において、近似曲線B4を含む所定範囲内に細線化血管が存在するか否かを判断する。図21の場合、細線化血管B3の対岸の近傍外部領域m3には、近似曲線B4と連続する細線化血管B3’が存在する。この場合、細線化血管B3に対応する血管領域は候補領域を貫通し、対岸の近傍外部領域に存在する細線化血管B3’に対応する血管領域と繋がっていると判定される。
特定範囲の太さを有する血管領域が候補領域m1を貫通している場合(ステップS332:Yes)、判定部333は、処理対象の候補領域m1は異常領域であると判定する(ステップS333)。一方、特定の太さを有する血管領域が候補領域を貫通していない場合(ステップS332:No)、判定部333は、処理対象の候補領域m1は異常領域でないと判定する(ステップS334)。
抽出された全ての候補領域に対してループCの処理がなされると、演算部の動作はメインルーチンに戻る。
以上説明したように、本発明の実施の形態3によれば、候補領域が異常領域であるか否かを、血管領域の延在情報として、特定の太さを有する血管領域が候補領域を貫通しているか否かの評価に基づいて判定するので、血管鮮鋭度が局所的に低下する異常領域を精度良く検出することが可能となる。
図22は、本発明の実施の形態1に係る画像処理装置(図1参照)が適用される内視鏡システムの概略構成を示す図である。図22に示す内視鏡システム3は、画像処理装置1と、被検体の管腔内に先端部を挿入することによって被検体の体内を撮像した画像を生成する内視鏡4と、内視鏡4の先端から出射する照明光を発生する光源装置5と、画像処理装置1が画像処理を施した体内画像を表示する表示装置6とを備える。画像処理装置1は、内視鏡4が生成した画像に所定の画像処理を施すとともに、内視鏡システム3全体の動作を統括的に制御する。なお、実施の形態1に係る画像処理装置の代わりに、実施の形態2、3に係る画像処理装置を適用しても良い。
内視鏡4は、可撓性を有する細長形状をなす挿入部41と、挿入部41の基端側に接続され、各種の操作信号の入力を受け付ける操作部42と、操作部42から挿入部41が延びる方向と異なる方向に延び、画像処理装置1及び光源装置5と接続する各種ケーブルを内蔵するユニバーサルコード43と、を備える。
挿入部41は、撮像素子を内蔵した先端部44と、複数の湾曲駒によって構成された湾曲自在な湾曲部45と、湾曲部45の基端側に接続され、可撓性を有する長尺状の可撓針管46と、を有する。
撮像素子は、外部からの光を受光して電気信号に光電変換して所定の信号処理を施す。撮像素子は、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサを用いて実現される。
操作部42と先端部44との間には、画像処理装置1との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブルが接続されている。複数の信号線には、撮像素子が出力した映像信号を画像処理装置1へ伝送する信号線及び画像処理装置1が出力する制御信号を撮像素子へ伝送する信号線等が含まれる。
操作部42は、湾曲部45を上下方向及び左右方向に湾曲させる湾曲ノブ421と、生検針、生体鉗子、レーザメス、及び検査プローブ等の処置具を挿入する処置具挿入部422と、画像処理装置1、光源装置5に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ423と、を有する。
ユニバーサルコード43は、ライトガイド及び集合ケーブルを少なくとも内蔵している。また、ユニバーサルコード43の操作部42に連なる側と異なる側の端部には、光源装置5に着脱自在なコネクタ部47と、コイル状をなすコイルケーブル470を介してコネクタ部47と電気的に接続され、画像処理装置1と着脱自在な電気コネクタ部48と、が設けられている。
画像処理装置1は、先端部44から出力された画像信号をもとに、表示装置6が表示する管腔内画像を生成する。具体的には、画像信号に対して例えばホワイトバランス(WB)調整処理、ゲイン調整処理、γ補正処理、D/A変換処理、フォーマット変更処理等を行うことにより表示用の管腔内画像を生成し、さらに、この管腔内画像から異常領域を抽出する画像処理を行う。
光源装置5は、例えば、光源、回転フィルタ、及び光源制御部を備える。光源は、白色LED(Light Emitting Diode)又はキセノンランプ等を用いて構成され、光源制御部の制御のもと、白色光を発生する。光源が発生した光は、ライトガイドを経由して先端部44の先端から照射される。
表示装置6は、映像ケーブルを介して画像処理装置1が生成した体内画像を画像処理装置1から受信して表示する機能を有する。表示装置6は、例えば液晶又は有機EL(Electro Luminescence)を用いて構成される。
以上説明した実施の形態1〜3及びこれらの変形例は、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク(LAN)、広域エリアネットワーク(WAN)、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態1〜3及びこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器(ビュアーやプリンタ等)に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置(記録媒体及びその読取装置等)に画像処理結果を格納するようにしても良い。
なお、本発明は、実施の形態1〜3及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
1 画像処理装置
3 内視鏡システム
4 内視鏡
5 光源装置
6 表示装置
10 制御部
20 画像取得部
30 入力部
40 表示部
50 記録部
51 画像処理プログラム
100 演算部
110 血管鮮鋭度画像作成部
111 領域設定部
112 色コントラスト画像作成部
113 血管領域検出部
114 血管鮮鋭度算出部
120 異常候補領域抽出部
130、230、330 異常領域判定部
131 判定用血管領域抽出部
132 輪郭取得部
133 近傍外部領域設定部
134 交差角評価部
135、233、333 判定部
231 輪郭近傍領域設定部
232 血管交差状態評価部
331 特定太さ血管抽出部
332 血管貫通状態評価部
41 挿入部
42 操作部
421 湾曲ノブ
422 処置具挿入部
423 スイッチ
43 ユニバーサルコード
44 先端部
45 湾曲部
46 可撓針管
47 コネクタ部
470 コイルケーブル
48 電気コネクタ部

Claims (15)

  1. 管腔内画像のうち、血管が写った領域である血管領域の鮮鋭度を表す血管鮮鋭度画像を作成する血管鮮鋭度画像作成部と、
    前記血管鮮鋭度画像において前記鮮鋭度が低下する領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出部と、
    前記候補領域の近傍に延在する前記血管領域の状態を表す延在情報に基づいて、前記候補領域が異常領域であるか否かを判定する異常領域判定部と、
    を備えることを特徴とする画像処理装置。
  2. 前記血管鮮鋭度画像作成部は、
    前記異常領域を検出するための検出対象領域を設定する領域設定部と、
    前記検出対象領域に対し、前記管腔内におけるヘモグロビンの吸光波長帯に対する吸光量が多い領域ほど輝度が低下する画像である色コントラスト画像を作成する色コントラスト画像作成部と、
    前記色コントラスト画像において輝度が谷状に変化する領域を血管領域として検出する血管領域検出部と、
    前記色コントラスト画像において検出された前記血管領域における輝度の変化の形状を表す特徴量を、前記鮮鋭度として算出する血管鮮鋭度算出部と、
    を備えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記領域設定部は、前記管腔内画像における色情報及びエッジ情報に基づいて、前記管腔内画像から少なくとも粘膜輪郭、暗部、鏡面反射、泡、及び残渣の何れかが写った領域を除いた領域を、前記検出対象領域として設定する、ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記異常領域判定部は、
    前記候補領域の輪郭から外側の領域を近傍外部領域として設定する近傍外部領域設定部と、
    前記近傍外部領域に存在する前記血管領域と前記候補領域の輪郭との交差角が所定の範囲内であるか否かを評価する交差角評価部と、
    前記交差角が所定の範囲内である前記血管領域の数に基づいて、前記候補領域が前記異常領域であるか否かを判定する判定部と、
    を備えることを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
  5. 前記交差角評価部は、前記近傍外部領域に存在する前記血管領域に細線化処理を施すことにより細線化血管を取得し、該細線化血管と前記候補領域の輪郭との交点における前記細線化血管の方向と、前記交点における前記輪郭の接線の法線方向とのなす角度を前記交差角として取得する、ことを特徴とする請求項4に記載の画像処理装置。
  6. 前記交差角評価部は、前記近傍外部領域に存在する前記血管領域に細線化処理を施すことにより細線化血管を取得し、該細線化血管と前記候補領域の輪郭との交点における前記細線化血管の方向と、前記交点における前記輪郭の接線方向とのなす角度を前記交差角として取得する、ことを特徴とする請求項4に記載の画像処理装置。
  7. 前記交差角評価部は、前記近傍外部領域にバンドパスフィルタ処理を施し、該バンドパスフィルタ処理により抽出された前記血管領域に対して評価を行う、ことを特徴とする請求項4〜6のいずれか1項に記載の画像処理装置。
  8. 前記異常領域判定部は、
    前記候補領域の輪郭から外側及び内側の領域を輪郭近傍領域として設定する輪郭近傍領域設定部と、
    前記輪郭近傍領域に存在する前記血管領域に対し、該血管領域が前記候補領域の輪郭と交差し、且つ前記候補領域の内部に入り込んでいるか否かを評価する血管交差状態評価部と、
    前記候補領域の輪郭と交差し、且つ前記候補領域の内部に入り込んでいる前記血管領域の数に基づいて、前記候補領域が前記異常領域であるか否かを判定する判定部と、
    を備えることを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
  9. 前記血管交差状態評価部は、前記輪郭近傍領域に存在する前記血管領域に細線化処理を施すことにより細線化血管を取得し、前記輪郭近傍領域の外側の輪郭上から出発して、前記輪郭近傍領域の内部において前記細線化血管を追跡することにより、前記細線化血管が前記候補領域の輪郭と交差し、該輪郭の内側の前記輪郭近傍領域に入り込んでいるか否かを評価する、ことを特徴とする請求項8に記載の画像処理装置。
  10. 前記血管交差状態評価部は、前記輪郭近傍領域にバンドパスフィルタ処理を施し、該バンドパスフィルタ処理により抽出された前記血管領域に対して評価を行う、ことを特徴とする請求項8又は9に記載の画像処理装置。
  11. 前記異常領域判定部は、
    前記候補領域の輪郭から外側の領域を近傍外部領域として設定する近傍外部領域設定部と、
    前記近傍外部領域に存在する前記血管領域から特定範囲の太さを有する血管領域を抽出する特定太さ血管抽出部と、
    前記特定範囲の太さを有する血管領域が前記候補領域を貫通しているか否かを評価する血管貫通状態評価部と、
    前記特定範囲の太さを有する血管領域が前記候補領域を貫通している場合に、前記候補領域は前記異常領域であると判定する判定部と、
    を備えることを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
  12. 前記血管貫通状態評価部は、前記近傍外部領域内に前記特定範囲の太さを有する血管領域が複数存在する場合、前記特定範囲の太さを有する血管領域が前記候補領域を貫通していると評価する、ことを特徴とする請求項11に記載の画像処理装置。
  13. 前記血管貫通状態評価部は、前記特定範囲の太さを有する血管領域に細線化処理を施すことにより細線化血管を取得し、1つの細線化血管の対岸の前記近傍外部領域において、該1つの細線化血管に対して作成された近似曲線を含む所定範囲内に別の細線化血管が存在する場合、前記特定範囲の太さを有する血管領域が前記候補領域を貫通していると評価する、ことを特徴とする請求項11に記載の画像処理装置。
  14. 管腔内画像のうち、血管が写った領域である血管領域の鮮鋭度を表す血管鮮鋭度画像を作成する血管鮮鋭度画像作成ステップと、
    前記血管鮮鋭度画像において前記鮮鋭度が低下する領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出ステップと、
    前記候補領域の近傍に延在する前記血管領域の状態を表す延在情報に基づいて、前記候補領域が異常領域であるか否かを判定する異常領域判定ステップと、
    を含むことを特徴とする画像処理方法。
  15. 管腔内画像のうち、血管が写った領域である血管領域の鮮鋭度を表す血管鮮鋭度画像を作成する血管鮮鋭度画像作成ステップと、
    前記血管鮮鋭度画像において前記鮮鋭度が低下する領域を、血管透見像が局所的に消失した領域である異常領域の候補領域として抽出する異常候補領域抽出ステップと、
    前記候補領域の近傍に延在する前記血管領域の状態を表す延在情報に基づいて、前記候補領域が異常領域であるか否かを判定する異常領域判定ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
JP2014145154A 2014-07-15 2014-07-15 画像処理装置、画像処理方法、及び画像処理プログラム Active JP6405138B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014145154A JP6405138B2 (ja) 2014-07-15 2014-07-15 画像処理装置、画像処理方法、及び画像処理プログラム
CN201580037655.9A CN106535736B (zh) 2014-07-15 2015-07-03 图像处理装置、图像处理方法以及图像处理程序
PCT/JP2015/069344 WO2016009861A1 (ja) 2014-07-15 2015-07-03 画像処理装置、画像処理方法、及び画像処理プログラム
DE112015002822.6T DE112015002822T5 (de) 2014-07-15 2015-07-03 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
US15/402,369 US10194783B2 (en) 2014-07-15 2017-01-10 Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014145154A JP6405138B2 (ja) 2014-07-15 2014-07-15 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2016019665A true JP2016019665A (ja) 2016-02-04
JP6405138B2 JP6405138B2 (ja) 2018-10-17

Family

ID=55078359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014145154A Active JP6405138B2 (ja) 2014-07-15 2014-07-15 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US10194783B2 (ja)
JP (1) JP6405138B2 (ja)
CN (1) CN106535736B (ja)
DE (1) DE112015002822T5 (ja)
WO (1) WO2016009861A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018051128A (ja) * 2016-09-30 2018-04-05 富士フイルム株式会社 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
WO2018155560A1 (ja) 2017-02-24 2018-08-30 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6405138B2 (ja) * 2014-07-15 2018-10-17 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6243364B2 (ja) * 2015-01-26 2017-12-06 富士フイルム株式会社 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
WO2017057392A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2018159082A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN110740678B (zh) * 2017-06-13 2023-01-13 奥林巴斯株式会社 内窥镜系统及被摄体的评价方法
CN109998681B (zh) * 2019-03-16 2022-02-01 哈尔滨理工大学 一种区分镜面反射区域和血管的内腔图像预处理方法
JP7295527B2 (ja) * 2019-05-15 2023-06-21 株式会社日本マイクロニクス 血管位置表示装置及び血管位置表示方法
CN112258503B (zh) * 2020-11-13 2023-11-14 中国科学院深圳先进技术研究院 超声图像成像质量评价方法、装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224635A (ja) * 1988-11-02 1990-09-06 Olympus Optical Co Ltd 内視鏡装置
JP2918162B2 (ja) * 1988-11-02 1999-07-12 オリンパス光学工業株式会社 内視鏡画像処理装置
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2011234931A (ja) * 2010-05-11 2011-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
WO2016009861A1 (ja) * 2014-07-15 2016-01-21 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004135868A (ja) * 2002-10-17 2004-05-13 Fuji Photo Film Co Ltd 異常陰影候補検出処理システム
JP4994737B2 (ja) 2006-07-27 2012-08-08 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理方法
JP5931418B2 (ja) * 2011-11-25 2016-06-08 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US20140275995A1 (en) * 2013-03-12 2014-09-18 Volcano Corporation Defined borders

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224635A (ja) * 1988-11-02 1990-09-06 Olympus Optical Co Ltd 内視鏡装置
JP2918162B2 (ja) * 1988-11-02 1999-07-12 オリンパス光学工業株式会社 内視鏡画像処理装置
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2011234931A (ja) * 2010-05-11 2011-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
WO2016009861A1 (ja) * 2014-07-15 2016-01-21 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US20170112357A1 (en) * 2014-07-15 2017-04-27 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018051128A (ja) * 2016-09-30 2018-04-05 富士フイルム株式会社 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
WO2018061434A1 (ja) * 2016-09-30 2018-04-05 富士フイルム株式会社 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
WO2018155560A1 (ja) 2017-02-24 2018-08-30 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US11510599B2 (en) 2017-02-24 2022-11-29 Fujifilm Corporation Endoscope system, processor device, and method of operating endoscope system for discriminating a region of an observation target

Also Published As

Publication number Publication date
DE112015002822T5 (de) 2017-03-09
CN106535736B (zh) 2018-10-30
WO2016009861A1 (ja) 2016-01-21
CN106535736A (zh) 2017-03-22
JP6405138B2 (ja) 2018-10-17
US20170112357A1 (en) 2017-04-27
US10194783B2 (en) 2019-02-05

Similar Documents

Publication Publication Date Title
JP6405138B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US11170498B2 (en) Image processing device, image processing method, and image processing program for detecting specific region from image captured by endoscope designated as detection target image in response to determining that operator's action in not predetermined action
Herrera et al. Development of a Multispectral Gastroendoscope to Improve the Detection of Precancerous Lesions in Digestive Gastroendoscopy
JP6348078B2 (ja) 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2014097702A1 (ja) 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理方法
US20150339817A1 (en) Endoscope image processing device, endoscope apparatus, image processing method, and information storage device
CN113573654A (zh) 用于检测并测定病灶尺寸的ai系统
WO2014115371A1 (ja) 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
US10178941B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
US8682048B2 (en) Image processing device, image processing method, computer-readable recording device
US8811676B2 (en) Image processing apparatus, image processing method, and computer readable recording device
WO2007119296A1 (ja) 内視鏡挿入方向検出装置、及び内視鏡挿入方向検出方法
US10206555B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
JP5620194B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN107529963B (zh) 图像处理装置、图像处理方法和存储介质
JP6580446B2 (ja) 画像処理装置及び画像処理方法
US20170112355A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP6840263B2 (ja) 内視鏡システム及びプログラム
JP2006166990A (ja) 医用画像処理方法
CN107529962B (zh) 图像处理装置、图像处理方法和记录介质
WO2019088008A1 (ja) 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
US20210201080A1 (en) Learning data creation apparatus, method, program, and medical image recognition apparatus
Jia Polyps auto-detection in wireless capsule endoscopy images using improved method based on image segmentation
CN114515395B (zh) 基于双目视觉的吞咽检测方法及装置、设备、存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180914

R151 Written notification of patent or utility model registration

Ref document number: 6405138

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250