JP2007244519A - 画像解析装置 - Google Patents

画像解析装置 Download PDF

Info

Publication number
JP2007244519A
JP2007244519A JP2006069818A JP2006069818A JP2007244519A JP 2007244519 A JP2007244519 A JP 2007244519A JP 2006069818 A JP2006069818 A JP 2006069818A JP 2006069818 A JP2006069818 A JP 2006069818A JP 2007244519 A JP2007244519 A JP 2007244519A
Authority
JP
Japan
Prior art keywords
image
abnormal tissue
intraluminal
processing means
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006069818A
Other languages
English (en)
Other versions
JP4891637B2 (ja
Inventor
Hideki Tanaka
秀樹 田中
Hiroichi Nishimura
博一 西村
Kenji Nakamura
健次 中村
Ryoko Inoue
涼子 井上
Yoshio Sawa
美穂 沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2006069818A priority Critical patent/JP4891637B2/ja
Priority to EP07737789A priority patent/EP1994880A4/en
Priority to EP12001445.1A priority patent/EP2472473B1/en
Priority to PCT/JP2007/054214 priority patent/WO2007105517A1/ja
Priority to CN2007800053223A priority patent/CN101384210B/zh
Publication of JP2007244519A publication Critical patent/JP2007244519A/ja
Priority to US12/208,904 priority patent/US8244009B2/en
Application granted granted Critical
Publication of JP4891637B2 publication Critical patent/JP4891637B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Abstract

【課題】管腔内異常組織の存在位置の検出を向上させる。
【解決手段】CPUは、ステップS10にて例えばR信号について濃淡値勾配算出処理を実行し、ステップS11にて算出した濃淡値勾配より等方性変化特徴量算出処理を実行し、さらにステップS12にて算出した等方性変化特徴量よりポリープの存在する位置にポリープ候補画像26を生成するポリープ候補検出処理を実行する。
【選択図】図8

Description

本発明は、医療画像よりポリープの検出する画像解析装置に関する。
医療分野においてはX線、CT、MRI、超音波観測装置、内視鏡装置等の画像撮像機器を用いた診断が広く行われている。
例えば内視鏡装置においては、細長の挿入部を体腔内に挿入し、固体撮像素子等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、診断をすることができる。また、前記体腔内臓器へ超音波を照射し、この超音波の反射あるいは透過度等により該体腔内臓器の状況をモニタ画面により観察し、検査あるいは診断することのできる超音波内視鏡装置も広く用いられている。
これらの機器により撮像された画像を用いた最終的な診断は、医師の主観に依存している部分が多大であるため、画像解析手法により撮像対象に関する特徴量を算出し、客観的・数値的な診断支援情報を医師に提示することにより、医師の診断行為を支援する、診断支援装置がある。
ここで、特徴量とは、画像上の様々な所見を反映した数値であり、画像解析手法の適用により得られるものである。
例えば内視鏡画像において、粘膜表面の発赤といった色調に関する所見、透見血管像に見られる血管の屈折・蛇行性といった血管の形状に関する所見、胃小区における粘膜模様のパターンに関する所見は、病変の悪性度診断において重要な要素となっている。例えば非特許文献1(「”消化器内視鏡”2001vol.13 No.3 voI.13 東京医学社刊 P349-354」)は、粘膜所見及び血管の形状に関する所見による病変良悪性の鑑別についての例である。
例えば特開2005−157902号公報等には、特徴量を利用した所見の客観化結果に基づく病変判定精度を向上させることのできる画像解析方法が開示されている。この特開2005−157902号公報では、画像解析方法を消化管画像内の血管を線状パターンとして抽出して、病変判定に利用している。
特開2005−157902号公報 「"消化器内視鏡"2001 vol.13 No.3 voI.13 東京医学社刊 P349-354」
しかしながら、撮像対象となる消化管が大腸であるときの病変候補検出に着眼した画像解析手法は従来技術には存在しない。
大腸における検出対象として隆起性病変(大腸ポリープ)があるが、管腔表面から隆起した構造物を上方から観察すると、構造物のエッジが描出されず、エッジ検出を用いた大腸ポリープ候補検出手法は使用できないといった問題がある。
本発明は、上記事情に鑑みてなされたものであり、大腸ポリープの存在位置の検出を向上させることのできる画像解析装置を提供することを目的としている。
本発明の画像解析装置は、
管腔内画像の画素または小領域のデータに基づき、管腔内異常組織が存在するか否かを判定する異常組織存在判定処理手段
を備えて構成される。
本発明によれば、大腸ポリープの存在位置の検出を向上させることができるという効果がある。
以下、図面を参照しながら本発明の実施例について述べる。
図1ないし図13は本発明の実施例1に係わり、図1は内視鏡画像解析装置の構成を示す構成図、図2は図1のメモリ上に記憶される情報を示す図、図3は図1の画像処理装置の作用を説明する第1の図、図4は図1の画像処理装置の作用を説明する第2の図、図5は図1の画像処理装置の作用を説明する第3の図、図6は図1の画像処理装置の作用を説明する第4の図、図7は図1のCPUにより実行される画像解析プログラムの処理の流れを示すフローチャート、図8は図7の画像解析処理の流れを示すフローチャート、図9は図8の濃淡値勾配算出処理説明する第1の図、図10は図8の濃淡値勾配算出処理説明する第2の図、図11は図8の等方性変化特徴量算出処理の流れを示すフローチャート、図12は図8のポリープ候補検出処理の流れを示すフローチャート、図13は図8の画像解析処理の変形例を説明する図である。
(構成)
図1に示すように、本実施例の内視鏡画像解析装置1は、生体内を撮像してアナログ画像信号を出力する内視鏡観察装置2と、内視鏡観察装置2の出力するアナログ画像信号から画像データを生成すると共に生成された画像データを蓄積する内視鏡ファイリング装置3と、画像解析処理を行う画像処理装置4とを備えて構成される。
画像処理装置4は、情報処理を行う情報処理装置5と、キーボードとマウス等とからなる操作装置6と、ハードディスク等からなる記憶装置7と、CRTあるいは液晶ディスプレイあるいはプラズマディスプレイ等の表示手段からなる表示装置8とを具備して構成される。
内視鏡ファイリング装置3と情報処理装置5は、例えばTCP/IPをプロトコルとするLAN9に接続されており、相互に通信可能である。
情報処理装置5は、一般のパーソナルコンピュータが用いられており、内視鏡ファイリング装置3に蓄積されている画像データをLAN9経由で取得し、画像データに対して画像解析処理を行い、画像解析結果を表示装置8に表示するようになっている。ここで、処理を行う画像データの指定、指定された画像データの取得指示、処理実行の指示は、操作装置6を用いた操作によって行われる。
情報処理装置5では、制御・処理を行う異常組織存在判定処理手段としてのCPU10と、処理プログラム・データを記憶するメモリ11と、記憶装置7との間で情報の読み書きを行う外部記憶I/F12と、外部機器との通信を行うネットワークカード13と、操作装置6との入出力を行う操作I/F14と、表示装置8にビデオ信号を出力するグラフィックボード15とが、バス16に接続されており、バス16を介して相互にやり取りを行うようになっている。
ネットワークカード13は、LAN9上に接続されている内視鏡ファイリング装置8とデータの送受信処理を行うようになっている。
操作I/F14は、操作装置6のキーボードやマウスによって入力された入力信号を受け取り、必要なデータ処理を行うようになっている。
記憶装置7は情報処理装置5に接続されており、画像解析処理を実行する画像解析プログラム20を格納している。該画像解析プログラム20は、複数の実行ファイルまたは動的リンクライブラリファイルまたは設定ファイルから構成される。
外部記憶I/F12は、記憶装置7に記憶されている画像解析プログラム20を読み込み、メモリ11に記憶させるようになっている。
図2に示すように、メモリ11は、画像解析プログラム20と、解析データ21を保持している。
メモリ11に記憶された画像解析プログラム20は、CPU10による実行により、操作装置6によって指定された内視鏡画像データを内視鏡ファイリング装置3から取得し、取得した画像データに対して画像解析処理をし、画像解析結果の表示装置8への表示処理を行うプログラムである。
メモリ11に記憶された解析データ21は、CPU10における各処理により取得及び生成されるデータである。記憶される解析データ21は、内視鏡ファイリング装置3から取得した画像データである原画像22及び後述する各種処理により生成される濃淡値勾配情報23、等方性変化情報24、ポリープ候補画像26からなる。
(作用)
図3に示すように、内視鏡観察装置2を用いて大腸ポリープ100を斜め方向から観察すると、図4のようにエッジ101が観察されるため、従来手法のエッジ検出手法を使用して大腸ポリープ100の候補を検出することが可能であるが、大腸ポリープを上方から観察すると、図5のようにエッジが観察されない。よって、エッジ検出手法を使用しても大腸ポリープ100の候補を検出することができない。
一方、図6に示すような、内視鏡観察装置2を用いて大腸管腔の襞を観察する場合にも、上方からの観察ではエッジが観察されない。さらに、画像内に仮想的に直線を引いたときの直線上の画素の濃淡値変化を観察すると、直線の引き方によって大腸ポリープと襞は同一の変化形状を示す(例えば図6のy方向の濃淡値変化)。よって、1次元の濃淡値変化(例えば図6のx方向の濃淡値変化)を元にして大腸ポリープの検出を試みる場合、襞も同時に誤検出してしまう可能性がある。
そこで、本実施例では、以下の処理を行うことで上記問題を解決する。
詳細には、CPU10にて実行される画像解析プログラム20の処理では、図7に示すように、CPU10は、原画像取得処理のステップS1にて、操作装置6の操作により指定された画像データを、内視鏡ファイリング装置3から取得し、メモリ11上に原画像22として記憶させる処理を行う。
次に、CPU10は、画像解析処理のステップS2にて、原画像取得処理ステップS1により取得した原画像22を処理し、濃淡値勾配情報23、等方性変化情報24、ポリープ候補画像26とを生成してメモリ11上に記憶させる処理を行う。
そして、CPU10は、解析結果表示処理のステップS3にて、ポリープ候補画像26を原画像22に重畳させた解析処理画像を表示装置8上に表示する処理を行う。
図7のステップS2の画像解析処理を図8を用いて説明する。図8に示すように、CPU10は、ステップS10にて例えばR信号について後述する濃淡値勾配算出処理を実行する。続いて、CPU10は、ステップS11にて算出した濃淡値勾配より後述する等方性変化特徴量算出処理を実行する。さらにCPU10は、ステップS12にて算出した等方性変化特徴量よりポリープの存在する位置にポリープ候補画像26を生成するポリープ候補検出処理を実行する。
まず、ステップS10の濃淡値勾配算出処理について説明する。濃淡値勾配算出処理は、図9に示すように、注目点を中心として3×3の画素に関して、例えば原画像のR信号についての濃淡値勾配を、各画素毎に求める。
詳細には、例えば図10に示すような注目点R22を中心として3×3の画素に関して、x,y方向それぞれ3画素先のR画素信号の差分を抽出する。例えばR22に関しては差分は
g22x=R22x-R22
g22y=R22y-R22
rg22x=R'22x-R22
rg22y=R'22y-R22
となる。
x,y方向の差分値の平均値を、濃淡値勾配のx方向成分(0°方向)の差分平均値をgx、y方向成分(90°方向)の差分平均値をgy、gxの逆方向(180°方向)の差分平均値をrgx、gyの逆方向(270°方向)の差分平均値をrgyとすると、これらは
gx=AVE(gijx)=AVE(Rijx-Rij)
gy=AVE(gijy)=AVE(Rijy-Rij)
rgx=AVE(rgijx)=AVE(Rij'x-Rij)
rgy=AVE(rgijy)=AVE(Rij'y-Rij) i,j=1〜3
として求められる。AVEは引数内の i,jに関する数値の平均値を返す関数とする。
以上の4つの方向の濃淡値勾配情報と、注目点の画素値とを、濃淡値勾配情報としてメモリ11上に記録する。
次に、ステップS11の等方性変化特徴量算出処理について説明する。等方性変化特徴量算出処理は、図11に示すように、ステップS20にてまず各画素毎に上述の濃淡値勾配算出処理により算出された濃淡値勾配情報を取得し、ステップS21にて濃淡値勾配情報の差分値を求める。
本実施例では、
gxとgyの差分:dxy=ABS(gx-gy)
gxとrgxの差分:dxrx=ABS(gx-rgx)
gxとrgyの差分:dxry= ABS(gx-rgy)
を算出する。なお、ABSは引数内の数値の絶対値を返す関数とする。
ステップS22にて注目点のする画素値R(図10ではR22)と所定の閾値Rtとを比較し、R>Rtであるときに、ステップS23にて上述の3つの差分値を等方性変化情報としてメモリ11上に記録し、処理を終了する。
一方、R≦Rtである場合には、dxy=dxrx=dxry=ERR(ERRは値が不適であることを示す十分大きな定数値)をメモリ11上に記録し、処理を終了する。
続いて、ステップS12のポリープ候補検出処理について説明する。ポリープ候補検出処理は、図12に示すように、ステップS30にてまず各画素毎に等方性変化特徴量算出処理により算出された等方性変化情報を取得する。
そして、ステップS31にてdxy=dxrx=dxry=ERRを満たすかどうか判断し、満たす場合には処理をスキップし、そうでない場合には以下のステップS32以降の処理を実施する。
ステップS32では、所定の閾値Dtを用いて、dxy <Dt かつ、dxxy <Dt かつ、dyxy <Dtであるか否かを判定する。この条件を満たす場合には、ステップS33にてポリープ候補画像の当該位置の画素値を「1」として更新する。もし条件を満たさない場合には、ステップS34にて当該位置の画素値を「0」として更新する。
そして、ステップS34にてポリープの存在する位置の画素値が「1」となるポリープ候補画像26を生成し、処理を終了する。
そして、画像処理装置4では、原画像22の表示に重畳するように、ポリープ候補画像26の画素値が「1」である位置にマーカを表示する。
なお、上記処理は、原画像22の例えばR信号について行うとしたが、これに限らず、G信号あるいはB信号でも良い。
(効果)
このように本実施例では、2次元の濃淡値変化を調べることによって、エッジをもたないポリープを画像内から検出して、病変候補として提示することで、Dr.(術者)にポリープの存在位置を提示でき、病変発見を補助することが可能となる。
なお、上述の説明では濃淡値勾配情報を3画素先の画素値との差分から求めているが、設定可能なパラメタ変数Nにより、N画素先の差分を求めるように構成して、濃淡値勾配情報のスケールを調整可能としてもよい。
次に、本実施例の変形例について説明する。なお、異なる部分だけ説明する。
等方性変化特徴量算出処理において、まず、次の計算式(1)、(2)により各画素毎の濃淡値勾配に関する要素構造テンソルTlを求める。
次に、検出対象となる大腸ポリープの大きさに準じたガウシアンカーネルを生成する。例えば、5×5の大きさに関するガウシアンカーネルを生成する場合、平均値μ=0、分散σ2=1の正規分布関数f(x)を、
に基づき、図13に示す5×5のフィルタGを生成する。そして、各画素毎に求めたTlとGを畳み込み、各画素毎に構造テンソルT=G*Tlを算出する。
さらにTの固有値をハウスホルダQR法により各画素毎に求めて、
特徴量u=最小固有値/最大固有値
を算出する。
注目点のする画素値Rと所定の閾値Rtとを比較し、R>Rtであるときに、特徴量uを等方性変化情報としてメモリ11上に記録する(図11のステップS23に相当)。
R≦Rtである場合には、u=ERR(ERRは値が不適であることを示す十分大きな定数値) をメモリ11上に記録する(図11のステップS24に相当)。
そして、ポリープ候補検出処理は、各画素毎に等方性変化情報を取得し(図12のステップS30に相当)、u=ERRかどうか判断し(図12のステップS31に相当)、u=ERRである場合には処理をスキップし、そうでない場合には以下の処理を実施する。
次に、所定の閾値Utを用いて、u> Utであるか否かを判定する(図12のステップS32に相当)。この条件を満たす場合には、ポリープ候補画像の当該位置の画素値を「1」として更新する(図12のステップS33に相当)。もし条件を満たさない場合には、当該位置の画素値を「0」として更新する(図12のステップS34に相当)。
図14ないし図20は本発明の実施例2に係わり、図14はメモリ上に記憶される情報を示す図、図15は図14の画像解析プログラムにおける画像解析処理の処理の流れを示すフローチャート、図16は図15のポリープ候補検出処理の流れを示すフローチャート、図17は図16のポリープ候補検出処理を説明する図、図18は図16のポリープ候補検出処理における類円形状の検出方法の変形例を説明する第1の図、図19は図16のポリープ候補検出処理における類円形状の検出方法の変形例を説明する第2の図、図20は図16のポリープ候補検出処理における類円形状の検出方法の変形例を説明する第3の図である。
実施例2は、実施例1とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
(構成)
本実施例では、図14に示すように、メモリ11に記憶される解析データ21は、内視鏡ファイリング装置3から取得した画像データである原画像22及び後述する各種処理により生成される2値化画像30、ラベリング画像31、細線化画像32、ポリープ候補画像26からなる。その他の構成は実施例1と同じである。
(作用)
CPU10にて実行される本実施例の画像解析プログラム20の画像解析処理を図15を用いて説明する。図15に示すように、ステップS40の2値化処理ステップにて、CPU10は、画像解析プログラム20により、原画像22の例えばR信号について公知のSobelフィルタによるエッジ抽出処理を行って、処理結果として得られた画素値が所定の閾値Rt以上である場合に、該当画素を「1」とする2値画像30を生成する。
なお、エッジ抽出処理は、原画像22の例えばR信号について行うとしたが、これに限らず、原画像22のG信号あるいはB信号について行うようにしてもよい。
CPU10は、ステップS41のラベリング処理ステップにより、2値化画像30の画素値が「1」である画素の連結成分のそれぞれにラベルを割り当てたラベリング画像31を生成する。
そして、CPU10は、ステップS42の細線化処理ステップにより、ラベリング画像31内の各ラベル値を例えば公知のHildichの方法により細線化した細線化画像32を生成する。細線化画像32は、原画像22に含まれるエッジを、1画素の連結成分からなるエッジ線として抽出して各々にラベルを割り当てた画像となる。各エッジは、大腸の隆起性病変候補の外形線とともに、病変以外の構造の外形線を含んでいる。
なお、ラベリング画像31及び細線化画像32の生成方法については、例えば特開2005−157902号公報に開示されているように、公知であるので説明は省略する。
本実施例のポリープ候補検出処理は、細線化画像32のエッジ線から、隆起性病変としての可能性の高いエッジ線のみを抽出して、ポリープ候補画像26として生成する処理である。
図16は、本実施例のポリープ候補検出処理における処理フローチャートを示す図である。
図16に示すように、ポリープ候補検出処理では、CPU10は、ステップS50にて、ラベル値「1」をもつエッジ線情報を取得する。
そして、CPU10は、ステップS51にて、円形状に関するハフ変換を実行して、エッジ線を構成する円を抽出する。図17はその抽出例である。図17の例では、エッジ線を構成する円要素として、4つの円A,B,C,Dが抽出されたことを示している。
CPU10は、ステップS52にて、抽出した円のうち、エッジ線との一致度が最も高い円の一致度の大小を閾値判定する。判定は、ステップS50のエッジ線の画素数と、一致している画素数との比が、所定の値R0より大きいか否かで行う。図17の例では、エッジ線を構成する画素を最も多く重複している円は円Aであり、かつ、エッジ線の画素数と一致している画素数との比がR0より大きいとして、円Aを検出する。もし該当する円の半径がない場合には、大腸ポリープの対象候補から除外する。
CPU10は、ステップS53にて、ステップS52において判定した円の半径rを、所定の閾値rmin、rmaxと比較処理する。rmin<r<rmaxである場合には、該当するエッジ線がポリープの外形線を表すものとして、ステップS54にてエッジ線の画素を「1」とするポリープ候補画像26を生成する。
CPU10は、以上の処理ステップを、細線化画像32の各ラベル値毎に処理して、処理結果をポリープ候補画像26に重畳することにより、ポリープ候補エッジをラベリングしたポリープ候補ラベリング画像を生成する。
(効果)
本実施例は、ポリープ候補ラベリング画像を原画像22に重畳して表示装置8上に表示することにより、ポリープの存在位置である画像上のポリープ候補位置を容易に確認することが可能となる。
なお、本実施例は、エッジ線上の点列に基づき複素PARCOR係数を算出し、その係数を図18ないし図20に示す分類クラスを正解として判別分析して類円形状を検出するように構成してもよい。
図21ないし図29は本発明の実施例3に係わり、図21はエッジ抽出処理の前処理を説明する第1の図、図22は図21の前処理を説明する第2の図、図23は図21の前処理を説明する第3の図、図24は図21の前処理を説明する第4の図、図25は図21の前処理を説明する第5の図、図26は図21の前処理の流れを示す第1のフローチャート、図27は図26の処理を説明する第1の図、図28は図26の処理を説明する第2の図、図29は図21の前処理の流れを示す第2のフローチャートである。
実施例3は、実施例2とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
大腸における検出対象として隆起性病変(大腸ポリープ)があり、従来技術の1手法として、画像の濃淡値の極大を検知してその位置を大腸ポリープの候補と判定する手法がある。その際に、極大が急峻である場合には大腸ポリープではなく微小な残渣等の内容物によるノイズであるため、ノイズ除去のためにモフォロジーフィルターを使用する。
しかし、内視鏡画像には歪曲収差があるため、モフォロジーフィルターが狙うノイズのサイズが、画像の中央と周辺部とで異なってしまう問題がある。
そこで本実施例では、CPU10は、歪曲収差のある画像に対して適切な処理を行い、大腸ポリープの検出精度を向上させる。
本実施例では、CPU10は、実施例2における図15のステップS40でのエッジ抽出処理の前処理として、原画像22から残渣等の内容物からくるノイズを除去する。そのノイズ除去の方法としてモフォロジーフィルターを一般に使用する。
図21のように急峻なピークがある場合には、モフォロジーフィルター処理の1つであるerosionを行った後、モフォロジーフィルター処理の1つであるdilationを行うことで、急峻なピークが取り除かれる。図21ではerosionを行った例を示す。モフォロジーフィルターは、図22に示すように、dilationは図形拡張作用を有し、またerosionは図形収縮作用を有しており、球体または楕円体を対象とするデータ値に接するように這わせたときの球体または楕円体の中心の軌跡を出力とする。dilationではデータ値の上を、erosionではデータ値の下を這わせる。よって、erosion及びdilationにより、球体または楕円体のサイズ以下のピークを取り除くことが可能となる。
しかし、内視鏡画像は歪曲収差を持っているため、画像の中央と周辺とでスケールが異なる。よって図23に示すように、内視鏡画像における実サイズは、画像の中心部からの距離、方向に応じて異なる。
歪曲収差を補正した画像に対して、実施例2における図15に示した一連の処理を行うと、上述の画像位置によるスケール相違の問題が回避できるが、歪曲収差の補正処理には時間がかかり、その上でモフォロジーフィルタ演算を行わなければならない。
本実施例では、CPU10は、あらかじめレンズの収差仕様または実測値に基づき、図24及び図25に示すように、画面中心からの距離lに応じた楕円体の長軸/短軸を出力する関数f(l) ,g(l)を用意している。この関数は、ルックアップテーブルまたは計算式によって構成される。
本実施例において、画像I に対してモフォロジーフィルターのdilationを適用する際の処理フローチャートを図26に示す(erosionも同様の処理を行う)。
図26は、画素(x,y)に関する処理を表し、この処理を画像I 全体に適用することによりdilation処理画像を得ることとなる。
CPU10は、dilation処理では、画像I と同一サイズの画像バッファをメモリ11上に確保し画像バッファにdilation処理結果を格納する。画像バッファの値は、dialtion処理に先立って、画像Iの画素値をコピーして格納しておく。
図26に示すように、モフォロジーフィルターによるdilation処理では、CPU10は、ステップS60にて、注目する画素(x,y)と画像Iの中心画素(cx,cy)とのなす角度θを求める(図27参照)。
ステップS61において、CPU10は、注目する画素(x,y)と画像Iの中心画素(cx,cy)との距離Lを求める。
ステップS62において、CPU10は、上述の関数f(l) ,g(l)と、ステップS61で求めた距離Lを用いて、図28に示すような長軸がf(L) ,短軸がg(L)の楕円体を求める。
ステップS63にて、CPU10は、ステップS62において求めた楕円体をステップS60で求めた角度θだけ回転する。
ステップS64において、CPU10は、画素(x,y)におけるdilation処理を行う。処理結果は、画像Iと同一サイズの画像バッファに格納する。画像バッファにおけるフィルタの占める領域内の画素値が、フィルタ処理結果の画素値よりも大きい時には、フィルタ処理結果の画素値に置き換える。
なお、図29はerosion処理の場合のフローチャートを示す。dilation処理とほとんど同じで、ステップS64の代りにステップS64aにて画素(x,y)におけるerosion処理を行う点のみ異なるので、説明は省略する。
また、本実施例ではモフォロジーフィルタに対して適用したが、CPU10がテンプレートを生成しテンプレートマッチング処理を実行して、該テンプレートマッチング処理においても、画像の歪曲収差を考慮してテンプレートを補正しながら処理を行うことでマッチング精度を向上させることが可能となる。
歪曲収差のある画像に対してノイズ除去を高精度に行うことが可能となり、病変候補の正解率が向上するため、Dr.の病変発見を補助することとなる。
なお、画像データの一例として上記各実施例では大腸内の内視鏡画像データを用い、管腔内異常組織としての大腸ポリープを例に説明したが、これに限らず、他の管腔内画像データに適用し他の管腔内の異常組織の検出に適用可能である。
なお、本発明の上記実施例では、図30に示すように、濃淡値勾配算出処理(例えば図8のステップS10)を実行する濃淡値勾配算出処理手段としての濃淡値勾配算出部200と、等方性変化特徴量算出処理(例えば図8のステップS11)を実行する等方性評価処理手段としての等方性評価部201と、エッジ抽出処理(例えば図15のステップS40)を実行するエッジ抽出処理手段としてのエッジ抽出部202と、ポリープ候補検出処理(例えば図8のステップS12)を実行する異常組織候補検出処理手段としてのポリープ候補検出部203と、例えば図22のモフォロジーフィルターを生成するフィルタ/テンプレート生成手段としてのフィルタ/テンプレート生成部204と、例えば図24及び図25の画面中心からの距離lに応じた楕円体の長軸/短軸を出力する関数f(l) ,g(l)を用いたモフォロジーフィルター演算を実行するフィルタリング/テンプレートマッチング処理手段としてのフィルタリング/テンプレートマッチング部205とは、異常組織存在判定処理手段としてのCPU10により構成される。
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本発明の実施例1に係る内視鏡画像解析装置の構成を示す構成図 図1のメモリ上に記憶される情報を示す図 図1の画像処理装置の作用を説明する第1の図 図1の画像処理装置の作用を説明する第2の図 図1の画像処理装置の作用を説明する第3の図 図1の画像処理装置の作用を説明する第4の図 図1のCPUにより実行される画像解析プログラムの処理の流れを示すフローチャート 図7の画像解析処理の流れを示すフローチャート 図8の濃淡値勾配算出処理説明する第1の図 図8の濃淡値勾配算出処理説明する第2の図 図8の等方性変化特徴量算出処理の流れを示すフローチャート 図8のポリープ候補検出処理の流れを示すフローチャート 図8の画像解析処理の変形例を説明する図 本発明の実施例2に係るメモリ上に記憶される情報を示す図 図14の画像解析プログラムにおける画像解析処理の処理の流れを示すフローチャート 図15のポリープ候補検出処理の流れを示すフローチャート 図16のポリープ候補検出処理を説明する図 図16のポリープ候補検出処理における類円形状の検出方法の変形例を説明する第1の図 図16のポリープ候補検出処理における類円形状の検出方法の変形例を説明する第2の図 図16のポリープ候補検出処理における類円形状の検出方法の変形例を説明する第3の図 本発明の実施例3に係るエッジ抽出処理の前処理を説明する第1の図 図21の前処理を説明する第2の図 図21の前処理を説明する第3の図 図21の前処理を説明する第4の図 図21の前処理を説明する第5の図 図21の前処理の流れを示す第1のフローチャート 図26の処理を説明する第1の図 図26の処理を説明する第2の図 図21の前処理の流れを示す第2のフローチャート CPUの機能構成を示すブロック図
符号の説明
1…内視鏡画像解析装置
2…内視鏡観察装置
3…内視鏡ファイリング装置
4…画像処理装置
5…情報処理装置
6…操作装置
7…記憶装置
8…表示装置
9…LAN
10…CPU
11…メモリ
12…外部記憶I/F
13…ネットワークカード
14…操作I/F
15…グラフィックボード
16…バス
20…画像解析プログラム
21…解析データ
22…原画像
23…濃淡値勾配情報
24…等方性変化情報
26…ポリープ候補画像

Claims (5)

  1. 管腔内画像の画素または小領域のデータに基づき、管腔内異常組織が存在するか否かを判定する異常組織存在判定処理手段
    を備えたことを特徴とする画像解析装置。
  2. 前記管腔内画像の画素または小領域の濃淡値勾配を算出する濃淡値勾配算出処理手段と、
    前記濃淡値勾配の等方性を評価する等方性評価処理手段と
    をさらに有し、
    前記異常組織存在判定処理手段は、前記等方性評価結果を基づいて、前記管腔内異常組織が存在するか否かを判定する
    ことを特徴とする請求項1に記載の画像解析装置。
  3. 前記管腔内画像のエッジを抽出するエッジ抽出処理を行うエッジ抽出処理手段と、
    前記エッジ抽出処理手段により抽出した各々のエッジが前記異常組織のエッジであるか否かを判定する異常組織候補検出処理手段とを
    さらに備え、
    前記異常組織候補検出処理手段は、エッジのなす曲線のうち類円形状の曲線を検出する円形状検出処理手段を有し、
    前記異常組織存在判定処理手段は、前記類円形状の曲線に基づいて、前記管腔内異常組織が存在するか否かを判定する
    ことを特徴とする請求項1に記載の画像解析装置。
  4. 前記管腔内画像中央からの位置に応じてサイズの異なるフィルタまたはテンプレートを生成するフィルタ/テンプレート生成手段と、
    前記フィルタまたはテンプレートにより、前記管腔内画像に対してフィルタリング処理またはテンプレートマッチング処理を行うフィルタリング/テンプレートマッチング処理手段とを
    さらに備え、
    前記異常組織存在判定処理手段は、前記フィルタリング/テンプレートマッチング処理手段の処理結果に基づいて、前記管腔内異常組織が存在するか否かを判定する
    ことを特徴とする請求項1に記載の画像解析装置。
  5. 前記管腔内異常組織は、大腸ポリープである
    ことを特徴とする請求項1ないし4に記載の画像解析装置。
JP2006069818A 2006-03-14 2006-03-14 画像解析装置 Active JP4891637B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006069818A JP4891637B2 (ja) 2006-03-14 2006-03-14 画像解析装置
EP07737789A EP1994880A4 (en) 2006-03-14 2007-03-05 IMAGE ANALYSIS UNIT
EP12001445.1A EP2472473B1 (en) 2006-03-14 2007-03-05 Image analysis device
PCT/JP2007/054214 WO2007105517A1 (ja) 2006-03-14 2007-03-05 画像解析装置
CN2007800053223A CN101384210B (zh) 2006-03-14 2007-03-05 图像分析装置
US12/208,904 US8244009B2 (en) 2006-03-14 2008-09-11 Image analysis device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006069818A JP4891637B2 (ja) 2006-03-14 2006-03-14 画像解析装置

Publications (2)

Publication Number Publication Date
JP2007244519A true JP2007244519A (ja) 2007-09-27
JP4891637B2 JP4891637B2 (ja) 2012-03-07

Family

ID=38509351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006069818A Active JP4891637B2 (ja) 2006-03-14 2006-03-14 画像解析装置

Country Status (5)

Country Link
US (1) US8244009B2 (ja)
EP (2) EP2472473B1 (ja)
JP (1) JP4891637B2 (ja)
CN (1) CN101384210B (ja)
WO (1) WO2007105517A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009087821A1 (ja) * 2008-01-08 2009-07-16 Olympus Corporation 画像処理装置および画像処理プログラム
JP2011069965A (ja) * 2009-09-25 2011-04-07 Japan Atomic Energy Agency 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体
JP2011232715A (ja) * 2010-04-30 2011-11-17 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2012040075A (ja) * 2010-08-16 2012-03-01 Hoya Corp 内視鏡画像処理システム
WO2012105141A1 (ja) * 2011-02-01 2012-08-09 オリンパスメディカルシステムズ株式会社 診断支援装置
JP2013051987A (ja) * 2011-08-31 2013-03-21 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP5326064B2 (ja) * 2011-07-12 2013-10-30 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2014036698A (ja) * 2012-08-10 2014-02-27 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
WO2015037141A1 (ja) * 2013-09-13 2015-03-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US10402973B2 (en) 2015-04-23 2019-09-03 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium
US10540765B2 (en) 2015-04-23 2020-01-21 Olympus Corporation Image processing device, image processing method, and computer program product thereon

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5535727B2 (ja) * 2010-04-01 2014-07-02 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5597049B2 (ja) * 2010-07-07 2014-10-01 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
EP2623957B1 (en) * 2010-10-29 2018-12-26 Olympus Corporation Image analysis method and image analysis device
RU2441281C1 (ru) * 2011-01-14 2012-01-27 Закрытое Акционерное Общество "Импульс" Способ оценки шума цифровых рентгенограмм
JP6253230B2 (ja) * 2012-12-25 2017-12-27 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
US9386908B2 (en) 2013-01-29 2016-07-12 Gyrus Acmi, Inc. (D.B.A. Olympus Surgical Technologies America) Navigation using a pre-acquired image
US9747687B2 (en) * 2014-04-24 2017-08-29 Arizona Board Of Regents On Behalf Of Arizona State University System and method for detecting polyps from learned boundaries
WO2016161115A1 (en) * 2015-03-31 2016-10-06 Mayo Foundation For Medical Education And Research System and methods for automatic polyp detection using convolutional neural networks
CN110345877B (zh) * 2019-07-03 2020-10-27 西安交通大学 一种管板孔径和节距测量方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04193254A (ja) * 1990-11-27 1992-07-13 Olympus Optical Co Ltd 内視鏡画像処理装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6301378B1 (en) * 1997-06-03 2001-10-09 R2 Technology, Inc. Method and apparatus for automated detection of masses in digital mammograms
US6947784B2 (en) * 2000-04-07 2005-09-20 The General Hospital Corporation System for digital bowel subtraction and polyp detection and related techniques
US7043064B2 (en) * 2001-05-04 2006-05-09 The Board Of Trustees Of The Leland Stanford Junior University Method for characterizing shapes in medical images
US7260250B2 (en) * 2002-09-30 2007-08-21 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Computer-aided classification of anomalies in anatomical structures
US20050036691A1 (en) 2003-08-13 2005-02-17 Pascal Cathier Method and system for using structure tensors to detect lung nodules and colon polyps
US7447342B2 (en) * 2003-09-22 2008-11-04 Siemens Medical Solutions Usa, Inc. Method and system for using cutting planes for colon polyp detection
CA2545448A1 (en) * 2003-11-12 2005-06-02 Siemens Corporate Research, Inc. A system and method for filtering and automatic detection of candidate anatomical structures in medical images
JP4434705B2 (ja) 2003-11-27 2010-03-17 オリンパス株式会社 画像解析方法
WO2005101314A2 (en) * 2004-04-12 2005-10-27 The General Hospital Corporation Method and apparatus for processing images in a bowel subtraction system
JP2006069818A (ja) 2004-08-31 2006-03-16 Keio Gijuku 炭素微粒子
KR100739967B1 (ko) * 2005-05-27 2007-07-16 주식회사 하이닉스반도체 플래시 메모리 장치의 프로그램 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04193254A (ja) * 1990-11-27 1992-07-13 Olympus Optical Co Ltd 内視鏡画像処理装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009087821A1 (ja) * 2008-01-08 2009-07-16 Olympus Corporation 画像処理装置および画像処理プログラム
US8724847B2 (en) 2008-01-08 2014-05-13 Olympus Corporation Image processing apparatus and program storage medium
JP2011069965A (ja) * 2009-09-25 2011-04-07 Japan Atomic Energy Agency 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体
JP2011232715A (ja) * 2010-04-30 2011-11-17 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
US8811698B2 (en) 2010-04-30 2014-08-19 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium
JP2012040075A (ja) * 2010-08-16 2012-03-01 Hoya Corp 内視鏡画像処理システム
WO2012105141A1 (ja) * 2011-02-01 2012-08-09 オリンパスメディカルシステムズ株式会社 診断支援装置
JP5139606B2 (ja) * 2011-02-01 2013-02-06 オリンパスメディカルシステムズ株式会社 診断支援装置及び診断支援装置の制御方法
US8682418B2 (en) 2011-02-01 2014-03-25 Olympus Medical Systems Corp. Diagnosis supporting apparatus and control method of diagnosis supporting apparatus
JP5326064B2 (ja) * 2011-07-12 2013-10-30 オリンパスメディカルシステムズ株式会社 画像処理装置
US9349185B2 (en) 2011-08-31 2016-05-24 Olympus Corporation Image processing device, image processing method, and computer readable recording device
JP2013051987A (ja) * 2011-08-31 2013-03-21 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2014036698A (ja) * 2012-08-10 2014-02-27 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
WO2015037141A1 (ja) * 2013-09-13 2015-03-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US10402973B2 (en) 2015-04-23 2019-09-03 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium
US10540765B2 (en) 2015-04-23 2020-01-21 Olympus Corporation Image processing device, image processing method, and computer program product thereon

Also Published As

Publication number Publication date
JP4891637B2 (ja) 2012-03-07
CN101384210B (zh) 2011-08-31
EP1994880A1 (en) 2008-11-26
EP2472473B1 (en) 2016-06-22
CN101384210A (zh) 2009-03-11
EP2472473A1 (en) 2012-07-04
US20090074270A1 (en) 2009-03-19
EP1994880A4 (en) 2010-05-26
US8244009B2 (en) 2012-08-14
WO2007105517A1 (ja) 2007-09-20

Similar Documents

Publication Publication Date Title
JP4891637B2 (ja) 画像解析装置
JP4891636B2 (ja) 画像解析装置
JP6150583B2 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
JP6927211B2 (ja) 画像診断学習装置、画像診断装置、方法およびプログラム
CN110049709B (zh) 图像处理装置
JP4418400B2 (ja) 画像表示装置
JP6967602B2 (ja) 検査支援装置、内視鏡装置、内視鏡装置の作動方法、及び検査支援プログラム
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP4434705B2 (ja) 画像解析方法
CN111091562B (zh) 一种消化道病灶大小测量方法及系统
JP6405138B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR20160118037A (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
CN107106110B (zh) 图像处理装置以及图像处理方法
WO2019167731A1 (ja) 画像処理装置、画像処理方法およびプログラム
US20110058727A1 (en) Radiation imaging apparatus, radiation imaging method, and program
JP2006280682A (ja) ノイズ検出機能を備えた画像診断支援方法
US20140210971A1 (en) Navigation Using a Pre-Acquired Image
JP2016016185A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN107529962B (zh) 图像处理装置、图像处理方法和记录介质
JP6821519B2 (ja) 眼科装置、眼科画像処理方法、プログラム、及び記録媒体
JP4668624B2 (ja) 食道粘膜用画像処理装置
US20220230367A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
JP2005160916A (ja) 石灰化陰影判定方法、石灰化陰影判定装置及びプログラム
Zita Automatic analysis of videokymographic images by means of higher-level features

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111216

R151 Written notification of patent or utility model registration

Ref document number: 4891637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141222

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250