JP2004181096A - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP2004181096A JP2004181096A JP2002354290A JP2002354290A JP2004181096A JP 2004181096 A JP2004181096 A JP 2004181096A JP 2002354290 A JP2002354290 A JP 2002354290A JP 2002354290 A JP2002354290 A JP 2002354290A JP 2004181096 A JP2004181096 A JP 2004181096A
- Authority
- JP
- Japan
- Prior art keywords
- image
- blood vessel
- extracted
- structural component
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】内視鏡画像のG画像を取り込み、ノイズ除去、逆γ補正処理した後、テンプレートを用いたマッチングにより構造成分を有する画像中の位置を特定し、このマッチング結果に基づき構造成分を抽出することにより、血管像等の抽出対象とする構造部分を良好に抽出可能とした。
【選択図】 図2
Description
【発明の属する技術分野】
本発明は内視鏡画像等に対して特徴量を評価し易くする等の画像処理を行う画像処理方法に関する。
【0002】
【従来の技術】
近年、細長の挿入部を体腔内に挿入し、固体撮像素子等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、検査あるいは診断することのできる内視鏡装置が広く用いられている。また、前記体腔内臓器へ超音波を照射し、この超音波の反射あるいは透過度等により該体腔内臓器の状況をモニタ画面により観察し、検査あるいは診断することのできる超音波内視鏡装置も広く用いられている。
【0003】
これらの内視鏡装置を用いた最終的な診断は医師の主観に依存している部分が多大であり、客観的・数値的な診断に直接結びつく内視鏡診断支援装置の実現が望まれている。
【0004】
内視鏡診断支援装置は画像内における関心領域(ROI)から算出された様々な特徴量を用い、閾値処理あるいは統計的・非統計的識別器を用いて診断対象とする画像がどのような所見や病変に分類されるかを医師に提示することにより、客観的・数値的な診断の支援を行うものである。
【0005】
特徴量は内視鏡画像上の様々な所見を反映した数値であり、画像処理手法の適用により得られるものである。例えば「発赤により粘膜表面が赤い」といった色調に関する所見を特徴量化する場合には、内視鏡画像を構成するRGB各データを用いて、R/(R+G+B)を各画素ごとに求め、その平均値を特徴量として使用することができる(この特徴量は一般に色度と呼ばれる)。また、近年内視鏡分野においては胃粘膜血流量を反映した色調の特徴量として、32log2(R/G)により得られるヘモグロビン指標が広く用いられている。
【0006】
さらに、透見血管像に見られる血管の拡張・蛇行や胃小区の形態の大小・不整度・胃小区間の溝幅等、内視鏡画像における粘膜表面構造に関する所見も種々の疾患に対する診断の重要な要素となっており、これらに対しても画像処理手法の適用により特徴量として数値化することができる。このような特徴量算出においては、特許第2918162号公報に示されている手法がある。
【0007】
近年においては、公知のGaborフィルタを用いて算出されるGabor特徴に対し内視鏡画像への適用のための改良を加えた空間周波数解析手法により、粘膜表面構造の細かさ、粘膜表面構造が呈する模様の方向性等を特徴量として数値化する内視鏡画像処理方法がある。
【0008】
また、複数の異なる所見から得た各特徴量を組み合わせて特徴ベクトルとして用いることにより、より複雑かつ正確な診断の支援を行うことができる。内視鏡診断支援装置の精度向上においては、重要な内視鏡画像所見を数値化するための高精度の特徴量算出手法が非常に重要であるといえる。
【0009】
このような内視鏡診断支援装置及び特徴量算出手法の例として、特開平10−14864号公報がある。
【0010】
【特許文献1】
特許第2918162号公報
【0011】
【特許文献2】
特開平10−14864号公報
【0012】
【発明が解決しようとする課題】
内視鏡観察における診断上重要な所見として、病変形状・大きさ、粘膜色調、透見血管像及び粘膜表面構造(pit等により構成される模様像)があげられる。本発明は、これらの所見の中で透見血管像及び粘膜表面構造に対する画像処理方法に関するものである。
【0013】
透見血管像が重要な所見となる疾病としては、例えば潰瘍性大腸炎があげられ、炎症の程度、寛解の判定等において重要なものとなっている。
【0014】
また、最近の内視鏡装置においては、高画質化、固体撮像素子(CCD等)の高画素化、さらには通常の内視鏡と同等の外径と操作性を保ちつつ拡大観察(ズーミング)機能を有する拡大内視鏡の登場により、粘膜表面の極めて微細な毛細血管像や胃・大腸の腺口(pit)構造が明瞭に観察されるようになっている。
【0015】
従来組織標本を実体顕微鏡下で観察していたのと同レベルの生体像を内視鏡下で臨床検査時に観察することが可能となり、それらの微細構造観察所見を用いた新たな診断学が消化管及び気管支分野において盛んに研究・確立されてきている。
【0016】
このような例としては、
文献1(H.Inoue,MAGNIFICATION ENDOSCOPY IN THE ESOPHAGUS AND STOMACH,Digestive Endoscopy,JAPAN GASTROENTEROLOGICAL ENDOSCOPY SOCIETY,Vol.13,Supplement,July 2001, pp.S40−S41)に示された食道粘膜の微小血管像(Interpapillary capillary loop,IPCL)における形態変化による食道腫瘍性病変(腺腫、がん)の診断。
【0017】
文献2(K.Yagi,ENDOSCOPIC FEATURES AND MAGNIFIED VIEWS OF THE CORPUS IN THE HELICOBACTER PYLORI−NEGATIVE STOMACH,Digestive Endoscopy,JAPAN GASTROENTEROLOGICAL ENDOSCOPY SOCIETY,Vol.13,Supplement,July 2001, pp.S34−S35)における胃集合細静脈観察によるヘリコバクタピロリ感染診断。
【0018】
文献3(K.Yao他,MICROGASTROSCOPIC FINDINGS OF MUCOSAL MICROVASCULAR ARCHITECTURE AS VISUALIZED BY MAGNIFYING ENDOSCOPY,Digestive Endoscopy,JAPAN GASTROENTEROLOGICAL ENDOSCOPY SOCIETY,Vol.13,Supplement,July 2001, pp.S27−S33)における胃微細血管像観察による粘膜萎縮及び腫瘍性病変種別診断。
【0019】
文献4(工藤進英,陥凹型早期大腸癌,日本メディカルセンター,1996,pp.33−40)におけるpit pattern分類を用いた大腸腫瘍性病変診断。
【0020】
文献5(渋谷 潔 他,拡大気管支ヒ゛テ゛オスコーフ゜を用いたBronchial Dysplasiaの微細観察,第22巻 第8号,2000年12月,pp.613−616)における気管支の微細血管網観察による気管支炎・がんに対する診断。
【0021】
があげられる。
【0022】
一方、これらの内視鏡所見に対する診断は医師の主観判断に基づくものであることから、経験及び知識の違いにより診断結果が異なる可能性があるという問題があり、画像処理による定量的かつ客観的な診断支援情報の提供が望まれている。
【0023】
より具体的には、血管、pit等の構造を画像から抽出し、その形態、大きさ、均一性、規則性等を様々な画像処理方法の適用により数値化(特徴量と呼ばれる)し、線形判別関数、ニューラルネットワーク等の識別器を用いることで客観的診断支援を実現する。
【0024】
また、本出願人においては例えば特許第2918162号において二値化処理を用いた画像処理・解析手法を開示している。
【0025】
しかしながら、二値化等による構造抽出をともなう画像処理方法の内視鏡画像への適用においては、以下のような問題があった。
【0026】
内視鏡画像は観察距離・角度が一定ではなく、さらに観察対象が曲面形状を有する場合も多々あることから画像中の明暗変化が大きい。また、大腸pit pattern観察像においてはpitの明瞭化のために一般にインジゴカルミンあるいはクリスタルバイオレット等に代表される色素・染色剤を撒布するが、染色濃度が異なったり、撒布むら(pitでない間質部にまで色素が残ってしまう状態)が発生する場合がある。
【0027】
二値化処理においては一般に閾値処理を実行するが、これらの理由から固定的な閾値を用いることは困難である。また、画像ごとに閾値を変更(文字認識分野等で研究されている)しても、明暗変化や色素の撒布状態により、画像内の局所ごとに抽出結果に違いが現われ、抽出漏れ等が発生することがあるという問題がある。
【0028】
(発明の目的)
本発明はこれらの問題を鑑みてなされたもので、血管像、pit pattern等の(内視鏡)画像中の抽出対象となる構造部分を良好に抽出することができる画像処理方法を提供することを目的とする。
【0029】
また、血管像、pit pattern等の(内視鏡)画像中の抽出対象となる構造部分を画像の撮像条件によらず良好に抽出することができる画像処理方法を提供することも目的とする。
【0030】
さらに、高精度の診断支援情報を実現する特徴量算出のための画像処理方法を合わせて提供することを目的とする。
【0031】
【課題を解決するための手段】
本発明の画像処理方法は内視鏡画像等の画像を入力するステップと、前記画像から所望の構造成分を抽出するためのテンプレートを用意するステップと、前記テンプレートを用いたマッチングにより構造成分を有する画像中の位置を特定するステップと、前記マッチングの結果に基づき構造成分を抽出するステップと、を備えることにより、血管像、pit pattern等の抽出対象とする構造部分を良好に抽出することができるようにしている。
【0032】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【0033】
(第1の実施の形態)
図1ないし図8は本発明の第1の実施の形態に係り、図1は本実施の形態における画像処理方法を実行するためのパーソナルコンピュータの構成を説明するための構成図、図2は本実施の形態における画像処理方法の内容を説明するためのフローチャート、図3は血管像を説明するための説明図、図4は本実施の形態における血管モデルを説明するための説明図、図5はテンプレートの作成例を説明するための説明図、図6はテンプレート・マッチングにおける1次元方向の組合わせ例を説明するための説明図、図7及び図8はテンプレート・マッチングによる血管位置の判定を説明するための説明図である。
【0034】
本発明の第1の実施の形態は、特に内視鏡画像における樹枝状の血管像の抽出に有効な画像処理方法に関する。以下、図面を参照して本実施の形態における画像処理方法について説明する。
【0035】
内視鏡画像における透見血管像は、様々な太さの血管が樹枝のような構造を呈するものがある。これは、ドレナージ血管と呼ばれる太い血管と、そこから分岐する細い血管により構成されている。
【0036】
これらの血管は太さのみでなく粘膜下に存在する深さも異なることから鮮鋭度(一般に深い程ぼけて見える)にも違いが生じている。このような血管像に対して、以下に説明する一連の抽出処理を適用する。そして、抽出対象となる構造部分としての血管像を良好に抽出して、客観的な診断支援ができるようにする。
【0037】
なお、本発明における内視鏡画像は大きさ(横×縦の画素数)がISX×ISY、RGBの3(色成分)画像から構成され、R、G及びBの各画像はそれぞれ0から255の値からなる8ビットの階調を備えるものとする。
【0038】
本実施の形態における一連の画像処理方法は、パーソナルコンピュータ上で動作するプログラムとして実現される。図1は本実施の形態に用いるパーソナルコンピュータ及び周辺機器等の構成の説明図である。
【0039】
パーソナルコンピュータ1は、CPUである演算手段2と、データ格納や作業エリアに使用されるメインメモリ3と、プログラム等を記憶するプログラム記憶手段4(本実施の形態においてはハードディスク(図1ではHDと略記)であるものとする)を備えると共に、CRT等の表示手段5と、マウス、キーボード等の入力手段6と、光磁気ディスク(MO)ドライブ等の外部記憶手段7とが接続されている。
【0040】
また、ネットワークアダプタ8等を介してLAN(Local Area Network)等の外部ネットワーク9に接続されている。また、この外部ネットワーク9には内視鏡検査を行う内視鏡装置11や、内視鏡装置11による内視鏡検査の画像データをファイリング等する画像ファイリング装置12が接続されている。
【0041】
そしてパーソナルコンピュータ1は、外部ネットワーク9を介して画像ファイリング装置12或いは内視鏡装置11等から画像データの取得を行うことができるようになっている。
【0042】
このパーソナルコンピュータ1は、プログラム記憶手段4に記憶されたプログラムをメインメモリ3に読み込み、演算手段2において実行する。
【0043】
また、画像処理対象となる画像データは、ファイルとして外部記憶手段7からオフラインもしくは外部ネットワーク9を経由したオンラインでの取得が可能となっている。また、プログラム記憶手段4が十分な容量を備える場合には、プログラムと同様にパーソナルコンピュータ1内に保存することも可能となっている。
【0044】
本実施の形態では、例えばプログラム記憶手段4を形成するハードディスクには、後述するように入力される画像から抽出対象とする構造部分をモデル化した血管モデル等のテンプレートを格納している。
【0045】
そして、演算手段2を形成するCPUにより、画像中の各画素に対してテンプレートを用い、テンプレートとの相関量を算出する演算処理を行い、相関が高いものからその位置を特定して、その構造部分を抽出する。つまりテンプレートマッチングを行うことにより、抽出対象とする構造部分を抽出する。この場合、テンプレートのパラメータの値を変更することにより、複数の異なるテンプレートを用意して、異なる形状、サイズの抽出対象に対しても抽出ができるようにしている。
【0046】
図2は本実施の形態における画像処理方法による処理内容を説明するためのフローチャートである。
【0047】
始めに、ステップS1においてパーソナルコンピュータ1の演算手段2は、画像ファイリング装置12等から取り込む原画像としてG画像(成分)を入力する。通常の(色素、染色剤等を使用しない)内視鏡画像においては、血管像、粘膜表面模様等の構造成分は、主に粘膜内の血液による光の吸収変動により構成される。
【0048】
より詳しくは、血液中のヘモグロビンの吸収帯域(波長)に最も依存し、構造成分は一般にG画像に多く含まれることが知られている。具体的には血液量が多いほど吸収が大きく、G画像の画素の値は低くなり、少ないほど吸収されず反射されることから画素の値は高くなる。
【0049】
次のステップS2においては、前処理としてランダムノイズ等に対するノイズ除去処理を適用する。本実施の形態においては公知のメディアンフィルタリング(注目画素を含むマスク内の画素値を大きさで並べ替え、中央値で注目画素の値を置き換える)を大きさ3×3の画素サイズで適用する。
【0050】
次のステップS3においては逆γ補正を適用する。γ補正は、画像をモニタ等に表示する際に視覚的に線形な階調を与えるために適用された非線形処理であり、逆γ補正はこれを元の線形階調に戻すものである。
【0051】
続くステップS4においては、テンプレートを用いたマッチング、つまりテンプレート・マッチングによる血管抽出処理を適用する。以下、本ステップ4におけるテンプレート・マッチングの詳細について説明する。
【0052】
内視鏡画像における血管像に対して、例えば図3に示すように1次元方向(x方向)で画素値の変動を抽出して切り出しした場合、図4に示す半楕円(もしくは半円)に類した形状(以下、単に半楕円形状とする)にモデル化(以下、これを血管モデルと称する)することができる。
【0053】
したがって、半楕円形状を規定するW及びDをパラメタとしたテンプレートを作成し、相関が大である画素を抽出することで血管位置を特定し、抽出することができる。また、血管の幅については該当するテンプレートのパラメタWから決定することができる。図4における半楕円形状の関数は、xを1次元方向で見た画素の座標、yを画素値として
【数1】
と表すことができる。
【0054】
ここで、W及びDはそれぞれ図4における血管モデルの半楕円形状の幅及び深さを規定するパラメタ、kは固定的に与える実数で内視鏡画像に対しては例えば15とする。さらに、実際の内視鏡画像においては焦点外れ等から様々なぼけが加わることから、式(1)から得られる血管モデルに対してガウシアン関数
【数2】
を用いた平滑化処理(ディジタル画像における畳み込み演算によるフィルタリング。なお、畳み込み演算については公知技術であるため説明は省略する)を適用する。
【0055】
ここで、σはガウシアン関数における標準偏差で、ぼけの強さを規定するパラメタとして使用され、σが大であるほど強くぼける効果を有する。さらに、本実施の形態においては、後述するマッチングにおける画像の明るさの違いによる影響を除外するために、対数変換によってy方向のスケール変換(濃度変換)を適用する。
【0056】
撮像時の光量の違いは画素値に対して乗算項として影響を与えるが、対数変換により加算項として分離され、影響を縮小することができ、血管抽出精度をより高めることが可能となる。つまり、対数変換によるスケール変換を適用することにより、撮影条件に殆ど依らないで血管像等を良好に抽出できるようにしている。
【0057】
次に、作成した血管モデルをステップS4におけるテンプレート・マッチングでのテンプレートとして使用するための離散化を行う。本実施の形態においては、連続関数値である血管モデルをテンプレート1要素(画像に対しては画素に相当する)あたり10個のサブ要素となるよう一旦離散化し、さらにサブ要素値10個の平均値を算出することにより離散化されたテンプレートを作成する(平均化により、テンプレートの要素間の変動を滑らかにする効果を与える)。
【0058】
さらに、実際の血管像は様々な幅(太さ)、深さ(画素値の変動の大きさ)を備えるため、W、Dの組合わせを変更することにより複数のテンプレートを作成する。また、ぼけの程度の変化に対してはσの変更によるテンプレートの追加が可能である。
【0059】
図5にW及びσの変更により得られるテンプレートの例を示す。なお、ここではD=50に固定している。図5においては、W=1〜5 (step(刻み) 1.0)、σ=0.0〜4.0 (step 1.0)の各組み合わせのテンプレートを示している。テンプレートのサイズはW及びσに応じて適宜変更し、本実施の形態においてはテンプレートの両端においてy≒0.0 となる画素位置に1画素分の余裕を持たせたるものとする。
【0060】
続いて、上記テンプレートを用いたテンプレート・マッチングについて説明する。マッチングは画像f上の各画素に対して上記テンプレートを畳み込み演算と同様に重畳し、
【数3】
で示される正規化相互相関Rを算出することにより実行する(正規化相互相関については公知技術であるため説明は省略する)。
【0061】
ここで、Nはテンプレートのサイズ、fx(i) は画像からテンプレートに合わせて1次元で切り出したN個の中の i 番目の画素、fxMはfx(i)の平均値、t(i)はテンプレートのi番目の要素の値、tMはt(i)の平均値である。Rは0≦R≦1の値をとり、1に近いほど一致度が高いことを示す。
【0062】
また、実際の内視鏡画像における血管は様々な方向に走行していることから、テンプレート及び切り出す画素の方向を例えば図6に示す0°、45°、90°及び135°の4方向について適用する。これらの4方向に対し式(3)の正規化相互相関を適用した結果をそれぞれR0、R45、R90及びR135とする。
【0063】
例えば、図7に示すように画像垂直方向に血管像が存在し、その幅が5画素である場合には、W=5のテンプレートを方向0°において適用し、血管とテンプレートが一致する血管中央部で算出した正規化相互相関R0(W=5)が最も高い値をとる。この時、テンプレートの一次元移動に対するR0(W=5) の値は、例えば図8に示すようなものとなる。図8においては、R=1.0となるxが血管の幅方向における中央に位置する画素に対応し、中央から1画素ずれる毎に段階的に小さくなる分布となる。
【0064】
以上により、例えばK個のテンプレートを用いたM個の方向のテンプレート・マッチングの適用により、各画素ごとにK×M個の正規化相互相関Rが算出される。なお、Dを固定的に設定した場合においても各テンプレートによる正規化相互相関Rの大小関係は不変であることから、以降の説明においては簡単のため固定値を設定するものとする。
【0065】
続くステップS5(図2)においては、ステップS4において算出した正規化相互相関Rの値に基づき、注目する画素を中心とする血管が存在しているかどうかを判定する。判定処理は以下のように行う。
【0066】
得られたK×M個のRij(1≦i≦K,1≦j≦M)を比較し、その最大値Rmaxを求める。次に、最大値Rmaxに対する閾値処理を適用する。閾値Th(例えばTh=0.9とする)に対してRmax≧Thであれば、最大値Rmaxに対応するW及びσをパラメタとする血管モデルを対応する方向θにおいて適用したテンプレートとの一致度が高く、注目画素を幅方向の中心とする血管が存在しているものと判定する。
【0067】
血管が存在すると判定した場合にはステップS6へ、そうでない場合にはステップS7へ進む。続くステップS6においては、ステップS5における判定結果を外部記憶手段7等に保存をする。この場合の保存は、例えば以下のテーブルa[k]の結果が保存される。
【0068】
はじめに、画像と同じ大きさISX×ISYのテーブルa[ISX×ISY]を用意し、すべての要素を0に初期化しておく。
【0069】
k番目の画素xkに対するステップS3及びS4の処理結果において、Rmax≧Thであるテンプレート及び方向が存在した場合には、対応するテーブルa[k]にテンプレート及び方向を特定するための値t(ただし、t≠0)を代入する。本実施の形態においてはtはK×M個の正規化相互相関Rijに対して1≦t≦K×Mのように連続する数値で与えるものとする。血管が存在しないと判定された場合についてはテーブルa[k]は0のままとなる。
【0070】
続くステップS7においては、画像上の全画素についてステップS4ないしS6の処理を適用したかどうかを判定し、終了していなければステップS4に戻り、次の画素(k番目の画素xkから(k+1)番目の画素x(k+1)へ)に対してステップS4ないしS7の処理を再度適用する。全画素に対する処理の適用が終了していれば、ステップS8に進む。
【0071】
ステップS8においては、ステップS6において作成した血管抽出結果から、血管抽出画像を作成する。具体的には各画素に対応するテーブルa[k](1≦k≦ISX×ISY)の値を参照し、もしa[k]≠0であれば、a[k]の値に対応するテンプレートの幅W及び適用した方向θにしたがい、画素xkを中心とする幅Wの線分を当てはめる。
【0072】
すべてのa[k]に対する線分当てはめを適用した結果が血管抽出画像となる。プログラムでの実現においては、血管抽出画像作成用として大きさISX×ISYの領域b[ISX×ISY]を用意し、すべての画素を0に初期化の上、線分の値を1として対応する各画素に代入する。
【0073】
以上に説明した一連の処理の適用により、内視鏡画像における血管を血管の太さ(幅)とぼけの程度によらず良好に抽出することが可能となる。
【0074】
なお、ステップS8において作成した血管抽出画像に対する後処理として、一般的な膨張・収縮処理を適用することで、より滑らかな処理結果画像を得ることも可能である。
【0075】
また、ステップS8における血管抽出画像作成において、隣接する画素の双方に血管が存在すると判定されることが考えられるが、正規化相互相関Rmaxが大である画素を採用し、一方を除外することにより正しい結果を得ることができる。この場合は、テーブルa[ISX×ISY]に加え、各画素のRmaxを記憶するための領域b[ISX×ISY]を用意し、ステップS6において値を代入する。
【0076】
以上説明したように、本実施の形態における画像処理方法によれば、内視鏡画像から血管抽出画像を良好に作成することができる。
【0077】
また、多階調画像であれば内視鏡以外の画像として例えばX線アンギオグラフィ画像に対しても適用可能である。また、線状の構造成分(長さは問わない)であれば適用可能であるため、抽出対象は血管に限定されるものではない。
【0078】
また、本実施の形態においては画像中の全画素に対してテンプレート・マッチングを含む一連の処理を適用したが、処理時間の短縮のために数画素おきに適用することも可能である。
【0079】
また、低い値をとる画素が血管である可能性が高いことから、あらかじめ局所的に低い値を有する画素を探索し、得られた画素に対してのみ適用してもよい。この場合は例えば注目画素を中心とする例えば3×3の領域内で注目画素が最小値をとる場合に処理対象と設定することができる。
【0080】
従って、本実施の形態は以下の効果を有する。
【0081】
本実施の形態によれば、内視鏡画像等から抽出対象とする血管抽出画像等を良好に作成することができる。
【0082】
(第2の実施の形態)
次に本発明の第2の実施の形態を図9ないし図16を参照して説明する。図9ないし図16は本実施の形態に係り、図9は本実施の形態における一連の処理を説明するためのフローチャート、図10は帯域通過型フィルタの周波数特性を説明するための説明図、図11ないし図16は本実施の形態における原画像、処理経過及び処理結果画像を説明するための説明図である。
【0083】
本実施の形態における一連の画像処理・解析は、第1の実施の形態と同様、パーソナルコンピュータ1上で動作するプログラムとして実現される。パーソナルコンピュータ1の構成については図1と同様であるので、その説明を省略する。本実施の形態は、特に内視鏡画像における大腸pit の構造(以下、pit patternとする)の抽出に有効な画像処理方法に関する。
【0084】
内視鏡画像からpit patternを抽出し、形状等を解析する手法においては、帯域通過フィルタリング画像への閾値処理を用いた二値化による抽出が行われる。しかしながら、内視鏡画像においては明るさの変化、色素濃度の違い・むらの発生等により固定的あるいは画像ごとの閾値設定では安定した抽出ができないという問題がある。本実施の形態においては、これらの問題を有する画像に対しても解析対象となるpitを安定的に抽出できる画像処理方法について説明する。
【0085】
帯域通過フィルタリング(Band Pass Filtering、以下BPFと略記)処理画像に対し、画像もしくは関心領域全体に同一の閾値処理を適用した場合、明暗変化、色素むら等により抽出漏れや途切れが生じる。したがって、抽出処理における閾値は抽出対象となる個々のpit に対し局所的かつ適応的に決定する必要がある。本実施の形態においては、抽出対象となるpit を含む個々の領域を局所的に抽出し、各々の領域ごとに最適な閾値を設定する。
【0086】
本実施の形態においては、高周波数帯域通過特性を有するフィルタは構造の形状に沿った抽出画像を得られるがノイズ等に弱く、低周波数帯域通過特性を有するフィルタは抽出形状が実際より大きめとなるがノイズ等に強い特性を有することを利用して、抽出対象とノイズ等の各構造成分を含む領域を分離し、抽出対象を含む領域ごとに局所的に閾値設定を行うことにより良好な抽出結果画像を得る。
【0087】
以下、図9に示すフローチャートに基づき画像処理方法を説明する。まず、本実施の形態においては原画像として、R画像を使用する(ステップS11)。図11に原画像として内視鏡R画像の例を示す。pit pattern観察においてはインジゴカルミンと呼ばれる色素(薬剤)を撒布する。色素は粘膜表面の凹部であるpitに貯留し、青緑系の色調を有することからR画像において最も構造が反映される。
【0088】
次のステップS12においては、第1の実施の形態における図2のステップS2及びS3と同様にノイズ除去及び逆γ補正を適用する。
【0089】
続くステップS13においては、異なる通過周波数帯域特性を備える帯域通過フィルタBPF(Lo)、BPF(Hi)を適用し、各々の処理結果画像を得る。帯域通過フィルタBPF(Lo)、BPF(Hi)はラプラシアン・ガウシアンフィルタ等を使用し、通過周波数帯域を相対的に高(Hi)・低(Lo)に設定する。Hiの通過周波数特性は抽出したい構造成分の周波数帯域分布に沿ったものとし、Loは例えばHiの1オクターブ低い特性とする。
【0090】
なお、ラプラシアン・ガウシアンフィルタは公知のものであり、文献「ビジョン,産業図書,デビッド・マー,pp.58−66」に詳しいため詳細は省略する。
【0091】
図10に本実施の形態に使用する帯域通過フィルタBPF(Lo)、BPF(Hi)の周波数特性例FLo、FHiをそれぞれ示す(本来は画像における周波数空間は2次元であるが、簡単のため1次元化した片側に対して示している)。
【0092】
ステップS14においては、帯域通過フィルタBPF(Lo)、BPF(Hi)各々の処理結果の画像に対して、0.0を閾値とし、二値化処理をそれぞれ適用する。得られた二値画像を各々ResLo及びResHiとし、各画素が構造成分として抽出されていれば1、そうでなければ0の値を与える。
【0093】
本実施の形態においては色素による構造成分は第1の実施の形態における血管と同様に画素値が小となるため、帯域通過フィルタBPF(Lo)、BPF(Hi)による結果が0以下となる画素を構造成分として抽出する。ここでは負の変動であればすべて抽出するため、明暗変化、色素のむら等による抽出漏れは発生しない。 図11に示すpit patternを含む内視鏡R画像の例に対して、図9のステップS14による二値化処理で得られるResLo及びResHiの二値画像の例を図12及び図13にそれぞれ示す。
【0094】
ステップS15においては、ResLo及びResHiの各画素ごとの論理演算を行い、抽出対象の構造成分を含むnp個の領域(連結した画素群)Pi(1≦i≦np)とnn個のノイズ等の領域Nj(1≦j≦nn)を抽出する。
【0095】
ここで、各領域Pi及びNjは二値画像に対するラベリング処理を適用の上、個々の領域を特定するための番号が付与されているものとする。ResHi及びResLo双方で抽出された画素はPi,ResHiでは抽出されているがResLoでは抽出されていない(図9においてNotResLoと示す)画素はNjに含まれる。 図14及び図15にPi及びNjの画像例を示す。
【0096】
次のステップS16においては、ステップS15で除外しきれなかったノイズ等の成分を除外する。具体的には、BPF(Hi)の処理結果ResHiの絶対値において、個々のPiの平均値μHiと、Piの重心(cxi,cyi)を中心とする大きさs×sの近傍画素内に含まれる除外済みノイズ領域Njの平均値μHeiとを比較する。構造成分はノイズ成分より変動が大であることから、例えばμHi≦μHeiであれば除外とする。
【0097】
ステップS17においては、残ったPiごとに適切な閾値を設定し閾値処理、つまり再二値化を行う。閾値の設定は、例えば大津の判別分析法を用いる。
【0098】
さらに、このステップS17の実行後もノイズ領域が残る場合があるため、続くステップS18での除外処理を適用する。ここでは、まずステップS16と同様の処理適用による除外処理を再度適用する。ここでは、除外基準をμHi≦w・μHei(w>1.0)とすることにより、除外効果を高める。
【0099】
図16はステップS18の処理後に抽出された抽出結果画像(さらに関心領域を設定し、輪郭部、ハレーション等を除外した)の例を示す。
【0100】
以上に説明した一連の処理により、撮影条件に殆どよらないで、つまり明るさの変化、色素濃度の違い・むらの発生等がある場合においても、内視鏡画像から良好なpit抽出画像を得ることが可能となる。
【0101】
また、本実施の形態における画像処理方法は血管像等、pit(腺口)以外の構造成分を抽出対象とすることも可能である。
【0102】
従って、本実施の形態は以下の効果を有する。
【0103】
本実施の形態によれば、明るさの変化、色素濃度の違い・むらの発生等がある場合においても内視鏡画像等から良好なpit抽出画像を得ることが可能となる。
【0104】
(第2の実施の形態の変形例)
ResHiに差がないため除外できない領域Piが存在する場合には、ステップS18に続いて色調の違いに基づく除外処理を加えることも可能である。
【0105】
具体的にはpitには色素が貯留することから色調は青緑の成分が強くなることを利用し、例えばPi及びその近傍内のPk(k≠i)について、ノイズ除去及び逆γ補正を適用したR画像及びG画像から比R/G(さらにB画像を加え、R/(R+G+B)を使用してもよい)を画素ごとに求め、領域ごとの平均値μrgiとμrgkを比較し、μrgi>μrgk(周辺の抽出領域より赤い)の場合は除外とする。
【0106】
従来、ノイズ領域の除外においては二値化抽出後の領域画素数に対する閾値処理(小領域の削除)等が行われていたが、局所的な構造成分の色調情報に基づき除外することにより微小pit等に対する誤った除外のない抽出画像を得ることができる。
【0107】
以上に説明した一連の処理により、明るさの変化、色素濃度の違い・むらの発生等がある場合においても内視鏡画像から良好なpit抽出画像を得ることが可能となる。
【0108】
また、本実施の形態における画像処理方法は血管像等、pit以外の構造成分を抽出対象とすることも可能である。
【0109】
(第3の実施の形態)
次に本発明の第3の実施の形態を図17ないし図19を参照して説明する。図17ないし図19は第3の実施の形態に係り、図17及び図18は本実施の形態における一連の処理の流れを説明するためのフローチャート、図19は帯域通過型フィルタの特性例の説明図である。
【0110】
本実施の形態においては、画像解析のための二値化処理において効率的に最適な処理パラメタを設定するための方法について説明する。本実施の形態における一連の画像処理・解析は、第1の実施の形態と同様、パーソナルコンピュータ1上で動作するプログラムとして実現される。パーソナルコンピュータ1の構成については図1と同様であるので、その説明は省略する。
【0111】
内視鏡画像における構造成分抽出のための二値化処理においては、例えば帯域通過型フィルタの周波数特性、各種閾値等のパラメタを設定する必要が生じる。このような調整は主として目視によるpit pattern、血管等の構造成分と二値化結果との主観的一致に基づいて行われ、例えば複数の帯域通過型フィルタを適用し、二値化結果における抽出漏れの有無、大きさや太さ等を原画像と参照しながら各々の閾値設定を変更する。
【0112】
しかしながら、このような試行錯誤をともなう調整においては、画像処理方法の内容によってはパラメタ及びその組み合わせが膨大となり、操作者の負担が大きいという問題がある。
【0113】
本実施の形態においては、あらかじめ内視鏡画像上に抽出対象となる構造成分を指定した参照用画像を用意し、複数のパラメタの組合わせによる二値化抽出処理結果との一致度の比較に基づき最適なパラメタを設定する方法について説明する。
【0114】
以下、図17及び図18に基づき本実施の形態におけるパラメタ設定方法を説明する。本実施の形態においては第2の実施の形態と同様に、抽出対象を内視鏡画像にからのインジゴカルミン撒布をともなう大腸pit patternとする。また、帯域通過フィルタリング(BPF)及びフィルタリング結果に対する閾値処理による抽出を実行するものとする。
【0115】
はじめに、ステップS21において、原画像としてR画像を入力し、第2の実施形態における図9のステップS12と同様に、ステップS22でノイズ除去及び逆γ補正を適用する。
【0116】
続くステップS23においては、複数パラメタ生成を行う。つまり、次のステップS24における二値画像作成のための処理パラメタとして、異なる周波数帯域特性を備えるN個(1≦N)の帯域通過型フィルタと、P個の抽出用閾値を設定する。
【0117】
N個の帯域通過型フィルタFi(1≦i≦N)の周波数特性は、例えばN=3とし、図19に示すように、1オクターブおきに通過帯域のピークを備えるようにする。図19では簡単化のため、Fiでそのフィルタ特性を示している。また、P個の閾値Thj(1≦j≦P)は例えば Th1=0.0,Th2=−1.0,Th2=−2.0,…,ThP=(−1.0×P)と設定する。以下、本実施の形態においてはP=5と設定する。
【0118】
続くステップS24においては、ステップS23において設定したパラメタを用いた二値画像Bijの作成を行う。図18にステップS24における二値画像作成処理の詳細を示す。
【0119】
図18のステップS31においては、ステップS22において作成したノイズ除去及び逆γ補正適用後のR画像を入力する。続くステップS32においては、ステップS23において設定したN個の帯域通過型フィルタFiを用いた帯域通過フィルタ処理(図18中ではBPFと略記)を適用する。
【0120】
次のステップS33においては、ステップS32において得られたN個の帯域通過フィルタ処理したBPF処理結果画像の各々に対し、ステップS23において設定したP個の閾値Thjを用いた二値化処理を適用し、二値画像Bijを作成する。
【0121】
次のステップS34に示すN×P個の二値画像 Bij すべてを作成後、このステップS24の処理が終わり、図17のステップS25に進む。
【0122】
ステップS25においては、得られたN×P個の二値画像 Bij の各々に対し、抽出結果一致度を以下のように算出する。
【0123】
はじめに、あらかじめ原画像に対し操作者(診断を行う医師)が目視により抽出対象となる構造成分を指定した参照用画像を用意する。参照用画像の作成は、例えば一般的な描画(ペイント)ソフトウェア等を使用し、構造成分(本実施の形態においては大腸のpit pattern)の形状を目視状態に則してトレース及び塗りつぶししたものを使用する。
【0124】
このとき、構造成分であることを特定するための描画色として内視鏡画像における生体粘膜上には通常発生することのない色として、例えばRGBの各々に対して0,255,255(シアンとなる)を用いる。以下、作成した参照用画像をSとする。
【0125】
次いで、二値画像Bijの各々に対し、参照用画像Sとの抽出結果一致度を算出する。抽出一致度の算出においては、二値画像Bij及び参照用画像Sとの抽出及び非抽出画素の一致数に基づく評価関数を使用する。
【0126】
本実施の形態においてはすべての画素について二値画像Bij上で抽出され、かつ参照用画像S上においても画素値が(0,255,255) となっている画素を正しく抽出されたものとし、全画素数に対する割合
αij=(Mij−Lij)/(ISX×ISY) (4)
を求める。ここで、Mijは二値画像Bijと参照用画像Sの抽出一致画素数、Lijは抽出不一致画素数(一方で抽出され、他方で抽出されていない画素数)を示す。
【0127】
式(4)は抽出結果に対する評価関数となり、αijの値が大であるほど一致度が高く適切なパラメタであるものと判断できる。すべてのBijについてαijを算出後、ステップS26に進む。なお、抽出及び非抽出画素数の一致についてはどちらを優先するかにより重み付けをともなう関数を使用することも考えられるが、本実施の形態においては等しく評価するものとする。
【0128】
ステップS26においては各αijを比較の上、最大のαijを与えるi及びjを特定し、対応する帯域通過型フィルタFi及び閾値Thjを処理パラメタとして決定する。
【0129】
以上において設定した処理パラメタを用い、参照用画像以外の内視鏡画像に対しても二値化処理を適用することにより、複雑な試行錯誤によるパラメタの設定をすることなく良好な抽出結果画像を得ることが可能となる。
【0130】
また、画像ごとに撮像状態に基づく明暗変化によるコントラストの違い、観察距離・倍率の違いによる画像中の構造成分の大きさの違い等が生じ、適切な閾値や帯域通過型フィルタの周波数特性が異なることがある。このような状況を想定する場合には、各条件に応じた代表的なシーンを複数の参照用画像として用意し、各々に応じたパラメタ設定を行い、選択的に適用することで同様に良好な抽出結果画像を得ることが可能となる。
【0131】
従って、本実施の形態は以下の効果を有する。
【0132】
本実施の形態によれば、複雑な試行錯誤によるパラメタの設定をすることなく良好な抽出結果画像を得ることが可能となる。
【0133】
(第4の実施の形態)
次に本発明の第4の実施の形態を図20ないし図22を参照して説明する。図20ないし図22は第4の実施の形態に係り、図20は本実施の形態における画像処理方法の対象となる血管所見を説明するための説明図、図21は本実施の形態における一連の処理内容の説明図、図22は本実施の形態における特徴量を説明するための説明図である。
【0134】
本実施の形態においては、画像中の構造成分に対する二値化抽出処理結果画像から病変の判別等に有用となる特徴量を算出するための画像処理方法について説明する。本実施の形態における一連の画像処理は、第1の実施の形態と同様に、パーソナルコンピュータ1上で動作するプログラムとして実現される。パーソナルコンピュータ1の構成については図1と同様であるので、その説明は省略する。
【0135】
また、本実施の形態における特徴量算出の説明においては、すでに構造成分が抽出された二値画像に対し、処理を適用するものとする。
【0136】
例えば内視鏡画像中の血管所見においては、個々の血管形状の不整が診断上重要となる場合がある。一般に不整の度合いが増加するにつれて腫瘍の悪性度、病変の進行度等が高まるものとされている。このような不整所見のひとつに血管の幅の変化があげられる。
【0137】
図20(A)に示すように、ほぼ均一な幅をもつ正常な血管像に対して、図20(B)に示す病変部の血管像は広狭の変化をともなう。本実施の形態においては、以下に示す一連の処理を適用することによりこのような広狭の変化を特徴量として算出する。
【0138】
以下、本実施の形態における一連の処理について、図21を参照して説明する。はじめに、ステップS41において血管抽出二値画像を入力する。本実施の形態においては、血管抽出二値画像を本発明の第1ないし第3の実施の形態において説明した二値化抽出処理のいずれかを用いることにより作成する。
【0139】
続くステップS42においては、ラベリング処理の適用により個々の抽出血管像に対する番号付けを行う。本実施の形態においてはK個の領域Pk(1≦k≦K)が存在するものとする。
【0140】
次のステップS43において距離変換・骨格処理を適用する。距離変換・骨格処理は一般にはスケルトン呼ばれる画像解析手法の一つで、図形の幅の情報の抽出、形状特徴の抽出等に利用される。距離変換・骨格の詳細については文献「コンピュータ画像処理入門、総研出版、田村秀行監修,pp.77−80」に詳しいため、その説明は省略する。
【0141】
距離変換・骨格処理の適用により、例えば図22に示すように、血管像の中心線及び中心線上のM個の画素Qm(1≦m≦M)の位置に対する血管の幅に相当する距離Dmを求めることができる。
【0142】
Mは血管の長さに依存し、二値化された領域が円である場合にはM=1となるものである。実際には画素Qm及び距離DmはラベリングされたK個の領域の各々について各Mk個ずつ算出されるため、各々をQkm及びDkmとする。
【0143】
続くステップS44においてはステップS43において得られた中心線上の画素Qm及び距離Dmに基づき、幅不整評価値Vを算出する。本実施の形態においてはすべてのQmにおける距離Dmの標準偏差を評価値とし、
【数5】
となる。ここで、μDはDkmの平均値を示す。Vの値が大であるほど広狭の変動が大きいことを示しており、正常及び病変の各症例画像群から算出した教師データを用いての識別器(例えば線形判別関数,ニューラルネットワーク等)に適用することができる。
【0144】
以上説明したように、本実施の形態における一連の画像処理方法の適用により、画像中の構造成分に対する二値化抽出処理結果画像から不整をともなう病変の判別等に有用となる特徴量を算出することが可能となる。
【0145】
なお、以上の説明においては内視鏡画像における血管像を例としたが、本実施の形態において算出する幅に関する特徴量が有用となる処理・解析対象はこれらに限定されるものではなく、大腸pit画像、あるいはX線アンギオグラフィ画像に対しても適用可能である。
【0146】
従って、本実施の形態は以下の効果を有する。
【0147】
本実施の形態によれば、画像中の構造成分に対する二値化抽出処理結果画像から不整をともなう病変の判別等に有用となる特徴量を算出することが可能となる。
【0148】
(第5の実施の形態)
次に本発明の第5の実施の形態を図23を参照して説明する。本実施の形態においては、内視鏡画像中の血管像から病変の判別等に有用となる特徴量を算出するための画像処理方法について説明する。より詳しくは、RGBの3つの画像からなる内視鏡画像において、各々に対する画像処理を適用し、得られた複数の特徴量を用いることことを特徴としている。
【0149】
生体粘膜下を走行する血管は粘膜下に存在する深さが異なっている。すなわち、粘膜下の深い部位を走行する太い血管、中間的な部位を走行する血管及び表層に近い部位を走行する細かい血管に大きく分けることができる。一方、内視鏡画像を構成するRGB画像の各々は、照射光の波長がRが最も長く、Bが最も短くなっている。
【0150】
生体粘膜においては波長の長い光が最も深部に到達し、短い光ほど表層に近い部位において吸収されることが知られている。一般に色素等を用いない通常の内視鏡画像に対する画像処理等はG画像に対し適用されるが、本実施の形態においては前述の理由からR画像中に存在するより深い部位の血管及びB画像中に存在するより浅い部位の血管に関する特徴量を算出することで、血管像による病変の分類等により有用な画像処理方法について説明する。
【0151】
本実施の形態における一連の画像処理は、第1の実施の形態と同様、パーソナルコンピュータ1上で動作するプログラムとして実現される。パーソナルコンピュータ1の構成については図1と同様であるので、その説明は省略する。
【0152】
また、本実施の形態における特徴量算出の説明においては、すでに構造成分が抽出された二値画像に対し、処理を適用するものとする。
【0153】
図23のフローチャートを参照して説明する。はじめに、ステップS51においてRGB各々に対する血管抽出二値画像を入力する。本実施の形態における血管抽出二値画像は本発明の第1ないし3の実施の形態において説明した二値化抽出処理のいずれかをR、G及びBの各画像に対して適用することにより作成することができる。以下、ステップS52ないしS54における一連の処理を各画像ごとに適用する。
【0154】
続くステップS52ないしS54においては、各々本発明の第4の実施の形態において説明した図21におけるステップS42ないしS44と同様の処理の適用により、RGB各画像ごとの幅不整評価値Vr、Vg及びVbを算出する。
【0155】
ステップS55において得られたVr、Vg及びVbを画像処理対象とした内視鏡画像の血管像に対する特徴ベクトルとして処理を終了する。
【0156】
特徴ベクトル (Vr、Vg,Vb) を正常及び病変の各症例画像群から算出した教師データを用いての識別器(例えば線形判別関数、ニューラルネットワーク等)に適用することにより、存在する深さの異なる血管に関する構造成分に関する情報を得られることから、Vgのみを使用する場合よりも精度の高い分類結果を得ることが可能となる。
【0157】
なお、本実施の形態においては算出する特徴量として第4の実施の形態に示した幅不整評価値Vを例に説明したが、異なる波長の光により得られた粘膜下における存在する深さの異なる血管の情報を特徴量化し、特徴ベクトルとして識別処理等に使用することが重要な点となっている。したがって、他の特徴量として例えば二値化抽出画像に対する細線化の適用により、分岐・交差点数等の他の特徴量を使用することも可能である。
【0158】
従って、本実施の形態は以下の効果を有する。
【0159】
本実施の形態によれば、生体粘膜下に存在する深さの異なる血管に関する構造成分に関する情報を得ることにより、有用な特徴量を算出することが可能となる。
【0160】
(第6の実施の形態)
次に本発明の第6の実施の形態を説明する。本実施の形態においては、RGBの3つの画像からなる内視鏡画像に対し、各画像に含まれる構造成分により血管の色調差が生じている場合においても良好な血管抽出結果を得ることが可能である画像処理方法について説明する。
【0161】
血管像の抽出においては、G画像に対する処理の適用が一般的であるが、RGB(カラー)画像上で青く見える血管はR画像にその構造成分が反映されていることから良好な抽出結果が得られない場合がある。これは、本発明の第5の実施例における説明と同様に、粘膜下における血管が存在する深さの違い等によるものと考えられている。
【0162】
本実施の形態においては、R及びG画像の各々に対する抽出処理を適用し、その結果を合成することにより良好な血管抽出画像を得ることを可能とする。
【0163】
本実施の形態においてはR及びG画像の各々に対する帯域通過型フィルタリングによるBPF処理結果画像及び閾値処理を用いた二値化抽出処理を基本とし、BPF処理結果画像を得るまでの一連の処理については他の実施の形態と共通するので説明は省略する。
【0164】
以下の説明においては、R及びG画像の各々のBPF処理結果画像をそれぞれBr及びBgとする。また、Br及びBgにおける各画素を、各々Br(x,y)及びBg(x,y)(1≦x≦ISX,1≦y≦ISY)とする。
【0165】
BPF処理結果画像Br及びBgについて、以下の合成画像Brgを作成する。
【0166】
Brg(x,y)=α×Br(x,y)+β×Bg(x,y) (6)
ここで、α及びβは以下のように定める。
【0167】
【数7】
ここで、ThrはBrに血管像を反映する構造成分が存在しているかどうかを判定するための閾値で、例えばThr=−1.0 と定める(血管構造は負の変動のため、符号が−となっている)。
【0168】
式(7)はBr(x,y)において構造成分が含まれていない場合にはα=0とすることによりG画像のみを、含まれている場合にはα=β=1.0とすることによりR及びG画像双方の構造成分を合成するための係数となる。
【0169】
以上、式(6)及び(7)により、合成BPF画像Brgは画素ごとにR及びG画像の各々に存在する構造成分を漏らすことなく抽出したものとなる。最後に、Brg(x,y) に対し閾値処理を適用することにより二値画像を作成する。
【0170】
以上説明したように、本実施の形態における画像処理方法の適用により、各画像に含まれる構造成分により生じる血管の色調差が存在する場合においても良好な血管抽出結果を得ることが可能となる。
【0171】
なお、上述した各実施の形態を部分的に組み合わせて構成される実施の形態等も本発明に属する。
【0172】
[付記]
1.画像を入力するステップと、
前記画像から所望の構造成分を抽出するためのテンプレートを用意するステップと、
前記テンプレートを用いたマッチングにより構造成分を有する画像中の位置を特定するステップと、
前記マッチングの結果に基づき構造成分を抽出するステップと、
からなることを特徴とする画像処理方法。
【0173】
2.前記テンプレートは構造成分の画素幅及び変動の大きさに基づき決定されることを特徴とする付記1記載の画像処理方法。
【0174】
3.前記テンプレートを複数種用意するとともに、
前記複数のテンプレートを用いたマッチングの結果を評価するステップと、
前記評価の結果に基づき構造成分を抽出することを特徴とする付記2記載の画像処理方法。
【0175】
4.前記構造成分が生体粘膜観察画像における血管であるとともに
前記テンプレートが画像上の血管の幅及びコントラストに基づき決定されることを特徴とする付記1、2または3いずれか一つに記載の画像処理方法。
【0176】
5.前記構造成分の存在する位置及びテンプレートに基づき構造成分抽出画像を作成するステップをさらに備えたことを特徴とする付記1、2、3または4いずれか一つに記載の画像処理方法。
【0177】
6.前記マッチングは前記テンプレートと画像の局所的な相関演算であるとともに、
前記相関演算結果によりもっとも高い相関を有するテンプレートに対応する構造成分を抽出することを特徴とする付記5記載の画像処理方法。
【0178】
7.前記相関演算が正規化相互相関であることを特徴とする画像処理方法。
【0179】
8.前記テンプレートは大きさN×1、N≧3の1次元形状であるとともに、
前記マッチングを画像に対する複数の方向に対して適用することを特徴とする付記1、2、3、4、5、6または7いずれか一つに記載の画像処理方法。
【0180】
9.画像を入力するステップと
前記画像から第1の領域抽出処理を適用することにより1個以上の第1の領域群を抽出するステップと、
前記第1の領域群を構成する各領域ごとに第2の領域抽出処理を適用することにより第2の領域群を抽出するステップと、
からなることを特徴とする画像処理方法。
【0181】
10.前記第1の領域抽出処理は抽出を所望する画像中の構造成分を冗長に含む領域群を抽出し、
前記第2の領域抽出処理は前記第1の領域群から不要な構造成分を除外した領域群を抽出することを特徴とする付記9記載の画像処理方法。
【0182】
11.前記第1の領域抽出処理は、第1の通過周波数帯域特性を有する第1のフィルタリング結果に基づく第1の二値画像と第2の通過周波数帯域特性を有する第2のフィルタリングの結果に基づく第2の二値画像の論理演算に基づく領域抽出を行うことを特徴とする付記10記載の画像処理方法。
【0183】
12.前記論理演算は前記第1のフィルタリング結果に基づく第1の二値画像において抽出された領域群の各領域を、所望する構造成分を含む領域及び含まない領域に分離することを特徴とする付記11記載の画像処理方法。
【0184】
13.前記第1の通過周波数帯域特性は画像中の構造成分に基づき定められるとともに、
前記第2の通過周波数帯域特性は前記第1の通過周波数帯域特性より相対的に低い周波数帯域を通過するように定められることを特徴とする付記12記載の画像処理方法。
【0185】
14.前記論理演算は前記第1及び第2のフィルタリング結果に基づく各々の二値画像において双方において抽出された画素を前記第1の領域群として抽出することを特徴とする付記13記載の画像処理方法。
【0186】
15.前記第2の領域抽出処理は、前記第1の領域抽出結果における各抽出領域ごとに対応する前記第1のフィルタリング結果に対しての閾値処理により領域を抽出することを特徴とする付記14記載の画像処理方法。
【0187】
16.画像に対し第1及び第2の帯域通過型フィルタリングを適用するステップと、
前記第1及び第2の帯域通過型フィルタリング結果から第1及び第2の二値画像を作成するステップと、
前記第1及び第2の二値画像に対する論理演算に基づき抽出を所望する構造成分を含む第1の領域群と含まない第2の領域群とを特定するステップと、
前記第2の領域群に基づき前記第1の領域群から所望する構造成分を再抽出するステップと、
前記第1の領域群を構成する各領域ごとに二値画像を作成するステップと、
からなることを特徴とする画像処理方法。
【0188】
17.画像を入力するステップと、
抽出を所望する前記画像中の構造成分を特定する情報を含む参照用画像を入力するステップと、
前記構造成分を抽出するための処理のパラメタを複数作成するステップと、
前記複数のパラメタを用いて前記画像に対する前記構造成分抽出のための処理を適用することにより複数の抽出画像を作成するステップと、
前記複数の抽出画像の各々における抽出結果と前記参照用画像における構造成分との一致度を比較するステップと、
前記比較結果に基づき一致度の高いパラメタを特定するステップと、
からなることを特徴とする画像処理パラメタ設定方法。
【0189】
18.前記抽出処理は二値化処理であることを特徴とする付記17記載の画像処理パラメタ設定方法。
【0190】
19.画像を入力するステップと、
前記画像から構造成分を抽出するステップと、
前記抽出した構造成分の幅に基づく特徴量を算出するステップと、
からなることを特徴とする画像処理方法。
【0191】
20.前記抽出は構造成分に対する二値画像を作成するステップを含むとともに、
前記構造成分の幅は前記二値画像に対する距離変換・骨格処理の適用結果に基づくものであることを特徴とする付記19記載の画像処理方法。
【0192】
21.前記特徴量は前記構造成分の幅の変動の大小を評価する数値であることを特徴とする付記20記載の画像処理方法。
【0193】
22.前記数値は標準偏差または分散であることを特徴とする付記21記載の画像処理方法。
【0194】
23.複数の色信号からなる画像を入力するステップと、
前記画像を構成する複数の色信号の少なくとも2つから所望する構造成分を抽出するステップと、
前記抽出した構造成分に基づく特徴量の組を算出するステップと、
からなることを特徴とする画像処理方法。
【0195】
24.前記抽出は構造成分に対する二値画像を作成するステップを含むとともに、
前記特徴量算出は前記二値画像に基づく特徴量の組を算出することを特徴とする画像処理方法。
【0196】
25.複数の色信号からなる画像を入力するステップと、
前記画像を構成する複数の色信号の少なくとも2つから所望する構造成分を抽出するステップと、
前記抽出した構造成分を合成するステップと、
前記合成の結果に基づく特徴量を算出するステップと、
からなることを特徴とする画像処理方法。
【0197】
26.前記合成は前記構造成分の局所的な値に基づく合成を行うことを特徴とする画像処理方法。
【0198】
27.前記画像は内視鏡画像であることを特徴とする付記1ないし26いずれか一つに記載の画像処理方法または画像処理パラメタ設定方法。
【0199】
28.前記構造成分が前記画像における血管または腺口であることを特徴とする付記1、2、3、5ないし27いずれか一つに記載の画像処理方法または画像処理パラメタ設定方法。
【0200】
【発明の効果】
以上説明したように本発明によれば、画像処理方法は内視鏡画像等の画像を入力するステップと、前記画像から所望の構造成分を抽出するためのテンプレートを用意するステップと、前記テンプレートを用いたマッチングにより構造成分を有する画像中の位置を特定するステップと、前記マッチングの結果に基づき構造成分を抽出するステップと、
を備えているので、血管像、pit pattern等の抽出対象となる構造部分を良好に抽出することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態における画像処理方法を実行するためのパーソナルコンピュータの構成を示すブロック図。
【図2】本実施の形態における画像処理方法の処理内容を説明するためのフローチャート図。
【図3】血管像を説明するための説明図。
【図4】本実施の形態における血管モデルを説明するための説明図。
【図5】テンプレートの作成例を説明するための説明図。
【図6】テンプレート・マッチングにおける1次元方向の組合わせ例を説明するための説明図。
【図7】テンプレート・マッチングによる血管位置の判定を説明するための血管像の説明図。
【図8】テンプレート・マッチングによる血管位置の判定を説明するための説明図。
【図9】本発明の第2の実施の形態における一連の処理を説明するためのフローチャート図。
【図10】帯域通過型フィルタの周波数特性を説明するための説明図。
【図11】本実施の形態における原画像例を示す図。
【図12】処理経過の途中の第1の画像例を示す図。
【図13】処理経過の途中の第2の画像例を示す図。
【図14】処理経過の途中の第3の画像例を示す図。
【図15】処理経過の途中の第4の画像例を示す図。
【図16】処理結果画像例を示す図。
【図17】本発明の第3の実施の形態における一連の処理の流れを説明するためのフローチャート図。
【図18】図17におけるステップS24の二値画像生成の処理内容を示すフローチャート図。
【図19】帯域通過型フィルタの特性例の説明図。
【図20】本発明の第4の実施の形態における画像処理方法の対象となる血管所見の説明図。
【図21】本発明の第4の実施の形態における一連の処理内容を示すフローチャート図。
【図22】特徴量を説明するための説明図。
【図23】本発明の第5の実施の形態における処理内容を示すフローチャート図。
【符号の説明】
1…パーソナルコンピュータ
2…演算手段
3…メインメモリ
4…プログラム記憶手段
5…表示手段
6…入力手段
7…外部記憶手段
8…ネットワークアダプタ
9…外部ネットワーク
11…内視鏡装置
12…画像ファイリング装置
Claims (3)
- 画像を入力するステップと、
前記画像から所望の構造成分を抽出するためのテンプレートを用意するステップと、
前記テンプレートを用いたマッチングにより構造成分を有する画像中の位置を特定するステップと、
前記マッチングの結果に基づき構造成分を抽出するステップと、
からなることを特徴とする画像処理方法。 - 画像を入力するステップと、
前記画像から第1の領域抽出処理を適用することにより1個以上の第1の領域群を抽出するステップと、
前記第1の領域群を構成する各領域ごとに第2の領域抽出処理を適用することにより第2の領域群を抽出するステップと、
からなることを特徴とする画像処理方法。 - 画像を入力するステップと、
抽出を所望する前記画像中の構造成分を特定する情報を含む参照用画像を入力するステップと、
前記構造成分を抽出するための処理のパラメタを複数作成するステップと、
前記複数のパラメタを用いて前記画像に対する前記構造成分抽出のための処理を適用することにより複数の抽出画像を作成するステップと、
前記複数の抽出画像の各々における抽出結果と前記参照用画像における構造成分との一致度を比較するステップと、
前記比較結果に基づき一致度の高いパラメタを特定するステップと、
からなることを特徴とする画像処理パラメタ設定方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002354290A JP4409166B2 (ja) | 2002-12-05 | 2002-12-05 | 画像処理装置 |
US10/537,755 US7599533B2 (en) | 2002-12-05 | 2003-12-05 | Image processing system and image processing method |
EP03780684A EP1568307B1 (en) | 2002-12-05 | 2003-12-05 | Image processing device and image processing method |
AU2003289291A AU2003289291A1 (en) | 2002-12-05 | 2003-12-05 | Image processing device and image processing method |
PCT/JP2003/015582 WO2004049923A1 (ja) | 2002-12-05 | 2003-12-05 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002354290A JP4409166B2 (ja) | 2002-12-05 | 2002-12-05 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004181096A true JP2004181096A (ja) | 2004-07-02 |
JP4409166B2 JP4409166B2 (ja) | 2010-02-03 |
Family
ID=32463336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002354290A Expired - Fee Related JP4409166B2 (ja) | 2002-12-05 | 2002-12-05 | 画像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7599533B2 (ja) |
EP (1) | EP1568307B1 (ja) |
JP (1) | JP4409166B2 (ja) |
AU (1) | AU2003289291A1 (ja) |
WO (1) | WO2004049923A1 (ja) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007268063A (ja) * | 2006-03-31 | 2007-10-18 | Fujifilm Corp | 画像処理装置 |
JP2007326788A (ja) * | 2006-06-06 | 2007-12-20 | Pentax Corp | 内視鏡用組織蛍光染色剤組成物 |
JP2008051749A (ja) * | 2006-08-28 | 2008-03-06 | Mitsutoyo Corp | 光波干渉測定装置 |
WO2008140078A1 (ja) * | 2007-05-16 | 2008-11-20 | Sony Corporation | 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造 |
JP2008284005A (ja) * | 2007-05-15 | 2008-11-27 | Takashi Sone | 画像処理装置、画像処理システム、画像処理方法 |
JP2009039515A (ja) * | 2007-07-17 | 2009-02-26 | Fujifilm Corp | 画像処理システム、画像処理方法およびプログラム |
JP2010131265A (ja) * | 2008-12-05 | 2010-06-17 | Fujifilm Corp | 撮像装置、方法、及びプログラム |
JP2011087793A (ja) * | 2009-10-23 | 2011-05-06 | Hoya Corp | 電子内視鏡用プロセッサ |
JP2012073953A (ja) * | 2010-09-29 | 2012-04-12 | Olympus Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2012071012A (ja) * | 2010-09-29 | 2012-04-12 | Fujifilm Corp | 内視鏡装置 |
JP2012071007A (ja) * | 2010-09-29 | 2012-04-12 | Fujifilm Corp | 内視鏡装置 |
WO2012105141A1 (ja) * | 2011-02-01 | 2012-08-09 | オリンパスメディカルシステムズ株式会社 | 診断支援装置 |
JP2012152279A (ja) * | 2011-01-24 | 2012-08-16 | Fujifilm Corp | 内視鏡装置 |
WO2012121488A2 (ko) * | 2011-03-10 | 2012-09-13 | 동국대학교 산학협력단 | 의료용 혈관영상 처리방법 |
WO2012147505A1 (ja) * | 2011-04-27 | 2012-11-01 | オリンパスメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像処理方法 |
WO2013054837A1 (ja) * | 2011-10-12 | 2013-04-18 | 富士フイルム株式会社 | 内視鏡システム及び画像生成方法 |
WO2013077381A1 (ja) | 2011-11-25 | 2013-05-30 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP5276225B2 (ja) * | 2011-02-22 | 2013-08-28 | オリンパスメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像処理装置の作動方法 |
JP2014124333A (ja) * | 2012-12-26 | 2014-07-07 | Olympus Medical Systems Corp | 医用画像処理装置 |
JP2014171535A (ja) * | 2013-03-06 | 2014-09-22 | Olympus Medical Systems Corp | 画像処理装置 |
CN104203075A (zh) * | 2012-11-07 | 2014-12-10 | 奥林巴斯医疗株式会社 | 医疗用图像处理装置 |
JP2016067778A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
WO2016204241A1 (ja) * | 2015-06-19 | 2016-12-22 | 国立大学法人東京大学 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2019106202A (ja) * | 2014-01-24 | 2019-06-27 | 国立大学法人九州工業大学 | 健康状態評価支援システム及び毛細血管のデータ取得方法 |
WO2021059889A1 (ja) * | 2019-09-27 | 2021-04-01 | Hoya株式会社 | 内視鏡システム |
US11468273B2 (en) * | 2018-09-20 | 2022-10-11 | Cable Television Laboratories, Inc. | Systems and methods for detecting and classifying anomalous features in one-dimensional data |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005000101A2 (en) * | 2003-06-12 | 2005-01-06 | University Of Utah Research Foundation | Apparatus, systems and methods for diagnosing carpal tunnel syndrome |
ITPI20040066A1 (it) * | 2004-09-21 | 2004-12-21 | Cnr Consiglio Naz Delle Ricerche | Metodo e dispositivo per la valutazione automatica di indici di funzionalita' cardiovascolare mediante elaborazione di immagini ecografiche |
JP4615963B2 (ja) * | 2004-10-29 | 2011-01-19 | オリンパス株式会社 | カプセル型内視鏡装置 |
JP5094036B2 (ja) * | 2006-04-17 | 2012-12-12 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入方向検出装置 |
JP4247691B2 (ja) * | 2006-05-17 | 2009-04-02 | ソニー株式会社 | 登録装置、照合装置、登録方法、照合方法及びプログラム |
WO2008024419A1 (en) * | 2006-08-21 | 2008-02-28 | Sti Medical Systems, Llc | Computer aided analysis using video from endoscopes |
GB0705223D0 (en) * | 2007-03-19 | 2007-04-25 | Univ Sussex | Method, apparatus and computer program for analysing medical image data |
US8144958B2 (en) | 2008-09-11 | 2012-03-27 | Carl Zeiss Meditec Ag | Medical systems and methods |
US20100142767A1 (en) * | 2008-12-04 | 2010-06-10 | Alan Duncan Fleming | Image Analysis |
TWI432168B (zh) * | 2009-12-31 | 2014-04-01 | Univ Nat Yunlin Sci & Tech | 內視鏡導航方法以及內視鏡導航系統 |
JP5011452B2 (ja) * | 2010-04-12 | 2012-08-29 | オリンパスメディカルシステムズ株式会社 | 医用画像処理装置および医用画像処理装置の制御方法 |
US8922633B1 (en) | 2010-09-27 | 2014-12-30 | Given Imaging Ltd. | Detection of gastrointestinal sections and transition of an in-vivo device there between |
US8965079B1 (en) | 2010-09-28 | 2015-02-24 | Given Imaging Ltd. | Real time detection of gastrointestinal sections and transitions of an in-vivo device therebetween |
JP5948203B2 (ja) * | 2011-10-12 | 2016-07-06 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JP6061619B2 (ja) * | 2012-10-30 | 2017-01-18 | オリンパス株式会社 | 顕微鏡システム |
CA2804439A1 (en) * | 2012-12-13 | 2014-06-13 | Ehsan Fazl Ersi | System and method for categorizing an image |
EP2912988A4 (en) * | 2012-12-19 | 2016-07-13 | Olympus Corp | DEVICE FOR PROCESSING MEDICAL PICTURES AND METHOD FOR PROCESSING MEDICAL PICTURES |
JP6045396B2 (ja) * | 2013-02-27 | 2016-12-14 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US9324145B1 (en) | 2013-08-08 | 2016-04-26 | Given Imaging Ltd. | System and method for detection of transitions in an image stream of the gastrointestinal tract |
US11270433B2 (en) * | 2017-06-09 | 2022-03-08 | Ai Medical Service Inc. | Disease diagnosis support method employing endoscopic images of a digestive organ, a diagnosis support system, a diagnosis support program and a computer-readable recording medium having the diagnosis support program stored therein |
JP7007324B2 (ja) * | 2019-04-25 | 2022-01-24 | ファナック株式会社 | 画像処理装置、画像処理方法、及びロボットシステム |
DE112020002107T5 (de) * | 2019-04-26 | 2022-03-03 | Hoya Corporation | Elektronisches endoskopsystem und datenverarbeitungsvorrichtung |
TWI711051B (zh) * | 2019-07-11 | 2020-11-21 | 宏碁股份有限公司 | 血管狀態評估方法與血管狀態評估裝置 |
US11940451B2 (en) * | 2021-12-20 | 2024-03-26 | Instrumentation Laboratory Co. | Microfluidic image analysis system |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2918162B2 (ja) | 1988-11-02 | 1999-07-12 | オリンパス光学工業株式会社 | 内視鏡画像処理装置 |
JPH0332635A (ja) | 1989-06-30 | 1991-02-13 | Olympus Optical Co Ltd | 内視鏡画像処理装置 |
US5651047A (en) * | 1993-01-25 | 1997-07-22 | Cardiac Mariners, Incorporated | Maneuverable and locateable catheters |
JPH08145628A (ja) * | 1994-11-18 | 1996-06-07 | Nippon Telegr & Teleph Corp <Ntt> | 対象物位置特定方法 |
JP3895400B2 (ja) | 1996-04-30 | 2007-03-22 | オリンパス株式会社 | 診断支援装置 |
US7194117B2 (en) * | 1999-06-29 | 2007-03-20 | The Research Foundation Of State University Of New York | System and method for performing a three-dimensional virtual examination of objects, such as internal organs |
JPH11271232A (ja) * | 1998-03-23 | 1999-10-05 | Hitachi Eng & Service Co Ltd | プリント基板の配線の欠陥検出方法および装置 |
US6468265B1 (en) * | 1998-11-20 | 2002-10-22 | Intuitive Surgical, Inc. | Performing cardiac surgery without cardioplegia |
JP2000197050A (ja) * | 1998-12-25 | 2000-07-14 | Canon Inc | 画像処理装置及び方法 |
JP4311598B2 (ja) * | 2000-11-20 | 2009-08-12 | 富士フイルム株式会社 | 異常陰影検出方法および装置 |
JP4450973B2 (ja) * | 2000-11-30 | 2010-04-14 | オリンパス株式会社 | 診断支援装置 |
JP3958526B2 (ja) * | 2001-02-28 | 2007-08-15 | ペンタックス株式会社 | 電子内視鏡装置の観察部位表示システム |
JP2002336193A (ja) | 2001-05-17 | 2002-11-26 | Olympus Optical Co Ltd | 診断支援装置 |
JP2003265463A (ja) * | 2002-03-13 | 2003-09-24 | Nagoya Industrial Science Research Inst | 画像診断支援システム及び画像診断支援プログラム |
-
2002
- 2002-12-05 JP JP2002354290A patent/JP4409166B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-05 WO PCT/JP2003/015582 patent/WO2004049923A1/ja active Application Filing
- 2003-12-05 US US10/537,755 patent/US7599533B2/en active Active
- 2003-12-05 AU AU2003289291A patent/AU2003289291A1/en not_active Abandoned
- 2003-12-05 EP EP03780684A patent/EP1568307B1/en not_active Expired - Fee Related
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007268063A (ja) * | 2006-03-31 | 2007-10-18 | Fujifilm Corp | 画像処理装置 |
JP2007326788A (ja) * | 2006-06-06 | 2007-12-20 | Pentax Corp | 内視鏡用組織蛍光染色剤組成物 |
JP2008051749A (ja) * | 2006-08-28 | 2008-03-06 | Mitsutoyo Corp | 光波干渉測定装置 |
JP2008284005A (ja) * | 2007-05-15 | 2008-11-27 | Takashi Sone | 画像処理装置、画像処理システム、画像処理方法 |
US8320639B2 (en) | 2007-05-16 | 2012-11-27 | Sony Corporation | Vein pattern management system, vein pattern registration apparatus, vein pattern authentication apparatus, vein pattern registration method, vein pattern authentication method, program, and vein data configuration |
WO2008140078A1 (ja) * | 2007-05-16 | 2008-11-20 | Sony Corporation | 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造 |
JP2009039515A (ja) * | 2007-07-17 | 2009-02-26 | Fujifilm Corp | 画像処理システム、画像処理方法およびプログラム |
JP2010131265A (ja) * | 2008-12-05 | 2010-06-17 | Fujifilm Corp | 撮像装置、方法、及びプログラム |
JP2011087793A (ja) * | 2009-10-23 | 2011-05-06 | Hoya Corp | 電子内視鏡用プロセッサ |
JP2012073953A (ja) * | 2010-09-29 | 2012-04-12 | Olympus Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2012071012A (ja) * | 2010-09-29 | 2012-04-12 | Fujifilm Corp | 内視鏡装置 |
JP2012071007A (ja) * | 2010-09-29 | 2012-04-12 | Fujifilm Corp | 内視鏡装置 |
JP2012152279A (ja) * | 2011-01-24 | 2012-08-16 | Fujifilm Corp | 内視鏡装置 |
US8682418B2 (en) | 2011-02-01 | 2014-03-25 | Olympus Medical Systems Corp. | Diagnosis supporting apparatus and control method of diagnosis supporting apparatus |
WO2012105141A1 (ja) * | 2011-02-01 | 2012-08-09 | オリンパスメディカルシステムズ株式会社 | 診断支援装置 |
JP5276225B2 (ja) * | 2011-02-22 | 2013-08-28 | オリンパスメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像処理装置の作動方法 |
WO2012121488A2 (ko) * | 2011-03-10 | 2012-09-13 | 동국대학교 산학협력단 | 의료용 혈관영상 처리방법 |
WO2012121488A3 (ko) * | 2011-03-10 | 2012-12-13 | 동국대학교 산학협력단 | 의료용 혈관영상 처리방법 |
WO2012147505A1 (ja) * | 2011-04-27 | 2012-11-01 | オリンパスメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像処理方法 |
JP5301737B2 (ja) * | 2011-04-27 | 2013-09-25 | オリンパスメディカルシステムズ株式会社 | 医用画像処理装置 |
JP2013255808A (ja) * | 2011-04-27 | 2013-12-26 | Olympus Medical Systems Corp | 医用画像処理装置 |
WO2013054837A1 (ja) * | 2011-10-12 | 2013-04-18 | 富士フイルム株式会社 | 内視鏡システム及び画像生成方法 |
WO2013077381A1 (ja) | 2011-11-25 | 2013-05-30 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN104203075A (zh) * | 2012-11-07 | 2014-12-10 | 奥林巴斯医疗株式会社 | 医疗用图像处理装置 |
JP2014124333A (ja) * | 2012-12-26 | 2014-07-07 | Olympus Medical Systems Corp | 医用画像処理装置 |
JP2014171535A (ja) * | 2013-03-06 | 2014-09-22 | Olympus Medical Systems Corp | 画像処理装置 |
JP2019106202A (ja) * | 2014-01-24 | 2019-06-27 | 国立大学法人九州工業大学 | 健康状態評価支援システム及び毛細血管のデータ取得方法 |
JP2016067778A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
JP2017006296A (ja) * | 2015-06-19 | 2017-01-12 | 国立大学法人 東京大学 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
WO2016204241A1 (ja) * | 2015-06-19 | 2016-12-22 | 国立大学法人東京大学 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
US11004195B2 (en) | 2015-06-19 | 2021-05-11 | University Of Tokyo | Image processing device, image processing method, program, and recording medium |
US11468273B2 (en) * | 2018-09-20 | 2022-10-11 | Cable Television Laboratories, Inc. | Systems and methods for detecting and classifying anomalous features in one-dimensional data |
WO2021059889A1 (ja) * | 2019-09-27 | 2021-04-01 | Hoya株式会社 | 内視鏡システム |
CN113556968A (zh) * | 2019-09-27 | 2021-10-26 | Hoya株式会社 | 内窥镜系统 |
JPWO2021059889A1 (ja) * | 2019-09-27 | 2021-12-23 | Hoya株式会社 | 内視鏡システム |
JP7200393B2 (ja) | 2019-09-27 | 2023-01-06 | Hoya株式会社 | 内視鏡システム |
CN113556968B (zh) * | 2019-09-27 | 2023-12-22 | Hoya株式会社 | 内窥镜系统 |
Also Published As
Publication number | Publication date |
---|---|
EP1568307A1 (en) | 2005-08-31 |
WO2004049923A1 (ja) | 2004-06-17 |
AU2003289291A1 (en) | 2004-06-23 |
JP4409166B2 (ja) | 2010-02-03 |
EP1568307B1 (en) | 2012-04-18 |
US7599533B2 (en) | 2009-10-06 |
US20060050966A1 (en) | 2006-03-09 |
EP1568307A4 (en) | 2008-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4409166B2 (ja) | 画像処理装置 | |
Hernandez-Matas et al. | FIRE: fundus image registration dataset | |
Rabbani et al. | Fully automatic segmentation of fluorescein leakage in subjects with diabetic macular edema | |
TWI496112B (zh) | 細胞影像分割方法以及核質比評估方法 | |
US8483454B2 (en) | Methods for tissue classification in cervical imagery | |
Barbalata et al. | Laryngeal tumor detection and classification in endoscopic video | |
JP2010512173A (ja) | 内視鏡からの映像を用いるコンピュータ支援解析 | |
US8351667B2 (en) | Methods of contrast enhancement for images having blood vessel structures | |
JP6580446B2 (ja) | 画像処理装置及び画像処理方法 | |
CN114372951A (zh) | 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统 | |
Domingues et al. | Computer vision in esophageal cancer: a literature review | |
CN113450305B (zh) | 医疗图像的处理方法、系统、设备及可读存储介质 | |
Bodzioch et al. | New approach to gallbladder ultrasonic images analysis and lesions recognition | |
Aubreville et al. | Transferability of deep learning algorithms for malignancy detection in confocal laser endomicroscopy images from different anatomical locations of the upper gastrointestinal tract | |
Ali et al. | Arthroscopic multi-spectral scene segmentation using deep learning | |
Grochowski et al. | Diagnosis of malignant melanoma by neural network ensemble-based system utilising hand-crafted skin lesion features | |
KR20110130288A (ko) | 점막하 종양의 초음파 내시경 영상 분석에 의한 질병의 진단 방법 | |
Ohura et al. | Computer-aided diagnosis method for detecting early esophageal cancer from endoscopic image by using dyadic wavelet transform and fractal dimension | |
Hu et al. | Toward real-time tumor margin identification in image-guided robotic brain tumor resection | |
Behrens et al. | Intensity based multi-scale blending for panoramic images in fluorescence endoscopy | |
Ye et al. | Segmentation and feature extraction of endoscopic images for making diagnosis of acute appendicitis | |
Meyer-Veit et al. | Hyperspectral endoscopy using deep learning for laryngeal cancer segmentation | |
JP2019213929A (ja) | 画像処理装置及び画像処理方法 | |
Kacenjar et al. | PSO-based methods for medical image registration and change assessment of pigmented skin | |
Pertzborn et al. | Hyperspectral imaging and evaluation of surgical margins: where do we stand? |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091020 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091111 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4409166 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |