JP2006166990A - 医用画像処理方法 - Google Patents

医用画像処理方法 Download PDF

Info

Publication number
JP2006166990A
JP2006166990A JP2004360319A JP2004360319A JP2006166990A JP 2006166990 A JP2006166990 A JP 2006166990A JP 2004360319 A JP2004360319 A JP 2004360319A JP 2004360319 A JP2004360319 A JP 2004360319A JP 2006166990 A JP2006166990 A JP 2006166990A
Authority
JP
Japan
Prior art keywords
boundary
medical image
point
detecting
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004360319A
Other languages
English (en)
Other versions
JP4855673B2 (ja
Inventor
Hideki Tanaka
秀樹 田中
Ryoko Inoue
涼子 井上
Hiroichi Nishimura
博一 西村
Jun Hasegawa
潤 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004360319A priority Critical patent/JP4855673B2/ja
Priority to EP05814386.8A priority patent/EP1842481B1/en
Priority to KR1020077012866A priority patent/KR100891766B1/ko
Priority to PCT/JP2005/022562 priority patent/WO2006062163A1/ja
Publication of JP2006166990A publication Critical patent/JP2006166990A/ja
Priority to US11/811,263 priority patent/US8144993B2/en
Application granted granted Critical
Publication of JP4855673B2 publication Critical patent/JP4855673B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 境界の形状自体が特徴的となるような場合も含めて検出対象となる性状変化粘膜を検出できる医用画像処理方法を提供する。
【解決手段】 原画像を取得してステップS2のエッジ検出処理等により性状が異なる可能性を持つ粘膜境界を検出し、さらにその粘膜境界の形状におけるステップS5の屈折点を検出し、さらにその屈折点が所定の条件を満たすか否かにより、屈折点の代表点となる制御点として設定し、その制御点に基づいて、性状変化粘膜の境界としてのバレット境界か否かを検出(判定)する
【選択図】 図4

Description

本発明は、食道から胃の境界近辺の粘膜組織の性状を識別する医用画像処理方法に関する。
近年、内視鏡を用いて内視鏡検査等を行う内視鏡装置は、医療用分野及び工業用分野において広く採用されている。医療用分野においては、例えば内視鏡の挿入部を体腔内に挿入して、検査対象部位を観察することにより、検査対象部位が正常な状態か性状が変化した性状変化状態かを診断するのに利用される。
このような場合、内視鏡画像から画像処理により、正常な状態か性状変化状態であるかの判定を行うことができると、術者は、その判定結果の部位を重点的に診断することにより、効率的な診断を行うことができる。
例えば、従来例としての特開2000−155840号公報は、撮像条件の影響を少なくして、性状変化部と正常部の境界の形状に関する情報に基づき特徴量を算出することが記載されている。
特開2000−155840号公報 "コンピュータ画像入門"田村秀行著 総研出版 P.120〜122」 "細線化図形の屈折点検出の一手法"小山ら、電子通信学会研究会資料 PRL80-107 PP.80-90(1980) "画像処理を極めるアルゴリズムラボ" ソフトバンク刊:C MAGAZINE 2000.9 PP.123-129 "コンピュータ画像処理入門" 田村秀行著 総研出版 P.84〜85
しかしながら上記従来例は、境界の形状に関する情報は、境界における濃度勾配の方向変化であるため、特に境界の形状自体が特徴的となるような場合における検出対象となる性状変化粘膜を検出しにくい可能性がある。
バレット粘膜は、食道と胃の接合部(粘膜境界)において、逆流性食道炎等の影響により食道の扁平上皮が胃の粘膜に置換されたものである。バレット粘膜が正常な粘膜境界から3cm以上、食道管腔断面に対して全周性に生じた場合に、バレット食道という疾患と診断される。
バレット食道は、特に欧米において増加しており、高い確率で腺癌が発生することから大きな問題となっているため、バレット粘膜の早期発見が非常に重要なものとなっている。
バレット粘膜は、食道に対して全周的に発生する場合のみではなく、しばしば局所的に進行し、舌状あるいはジグザグ状の粘膜境界像を生ずる(Zラインと呼ばれることもある)。
またバレット粘膜の中に島状に孤立して食道扁平上皮が残存し、舌状等の境界所見が見られない場合においてもバレット粘膜を診断できる場合がある。また、相対的に食道扁平上皮は、白色調、バレット粘膜は赤色調を呈する。本発明においては、これらのバレット粘膜所見を検出する医用画像処理方法を提供する。
(発明の目的)
本発明は、上述した点に鑑みてなされたもので、境界の形状自体が特徴的となるような場合も含めて検出対象となる性状変化粘膜を検出できる医用画像処理方法を提供することを目的とする。
また、本発明は、食道と胃の境界付近における食道の粘膜が変化ないしは変性した粘膜としてのバレット粘膜を、その特徴的な形状により検出する医用画像処理方法を提供することを目的とする。
本発明の医用画像処理方法は、1つ以上の信号からなる生体粘膜表面を撮像した医用画像を入力する入力ステップと、
前記入力ステップで入力された医用画像における生体粘膜表面の境界情報を検出する境界情報検出ステップと、
前記境界情報検出ステップにおいて検出された境界情報の形状情報を検出する形状情報検出ステップと、
前記境界情報検出ステップにおいて検出された境界情報に基づき性状の異なる生体粘膜の存在を検出する粘膜性状検出ステップと、
からなることを特徴とする。
上記構成により、境界情報検出ステップにおいて検出された境界情報に基づき性状の異なる生体粘膜の存在を検出することにより、食道の粘膜が変性したバレット粘膜等の性状変化粘膜を検出できるようにしている。
本発明によれば、生体粘膜表面の境界情報に基づき性状の異なる生体粘膜の存在を検出することにより、食道の粘膜が変性したバレット粘膜等の性状変化粘膜を検出できる。
以下、図面を参照して本発明の実施例を説明する。
図1ないし図10は本発明の実施例1に係り、図1は本発明の実施例1の画像処理方法の機能を備えた内視鏡システムの構成を示し、図2は処理プログラムに従ってCPUにより境界座標点列を生成する処理機能の構成を示し、図3は処理プログラムに従ってCPUにより粘膜境界検出結果を生成する処理機能の構成を示し、図4は本実施例におけるCPUにより処理される処理手順を示し、図5は原画像から抽出されたエッジ及び形状の判定を行う制御点を設定した画像例を示す。
また、図6は境界座標点列から屈折点を決定する処理手順を示し、図7は図6の処理手順における屈折点の頂点評価値を算出する説明図を示し、図8は屈折点の候補点から屈折点を決定する処理手順を示し、図9は屈折点の候補点列から屈折点を決定する説明図を示し、図10は移動平均による座標点列の平滑化の説明図を示す。
図1に示す内視鏡システム1は、内視鏡観察装置2と、この内視鏡観察装置2により得られた画像に対して画像処理を行うパーソナルコンピュータ等により構成される画像処理装置3と、この画像処理装置3により画像処理された画像を表示する表示モニタ4とから構成される。
内視鏡観察装置2は、体腔内に挿入される内視鏡6と、この内視鏡6に照明光を供給する光源装置7と、内視鏡6の撮像手段に対する信号処理を行うカメラコントロールユニット(CCUと略記)8と、このCCU8から出力される映像信号が入力されることにより、撮像素子で撮像した内視鏡画像を表示するモニタ9とを有する。
内視鏡6は、体腔内に挿入される挿入部11とこの挿入部11の後端に設けられた操作部12とを有する。また挿入部11内には照明光を伝送するライトガイド13が挿通されている。
このライトガイド13の後端は、光源装置7に接続される。そして、この光源装置7から供給される照明光をライトガイド13により伝送し、挿入部11の先端部14に設けた照明窓に取り付けられた先端面から(伝送した照明光を)出射し、患部等の被写体を照明する。
照明窓に隣接する観察窓に取り付けた対物レンズ15と、この対物レンズ15の結像位置に配置された固体撮像素子しての例えば電荷結合素子(CCDと略記)16とにより撮像装置17が設けてある。そして、このCCD16の撮像面に結像された光学像は、このCCD16により光電変換される。
このCCD16は、信号線を介してCCU8と接続され、このCCU8からのCCD駆動信号が印加されることにより、CCD16は光電変換した画像信号を出力する。この画像信号は、CCU8内の映像処理回路により信号処理され、映像信号に変換される。この映像信号はモニタ9に出力され、モニタ9の表示面には、内視鏡画像が表示される。この映像信号は、画像処理装置3にも入力される。
本実施例では、内視鏡6は、口部からその挿入部11の先端部14が挿入され、食道から胃の境界付近まで挿入されて、その境界付近に検出対象粘膜となる食道の通常の粘膜(具体的には扁平上皮)が変性して胃の粘膜部分の性状を呈するようになった粘膜(本明細書では性状変化粘膜ともいう)としてのバレット粘膜が存在するか否かの内視鏡検査を行うような場合に使用される。
この場合、体内の生体粘膜表面を撮像した内視鏡画像に対応する映像信号は、画像処理装置3にも入力され、その映像信号に対して以下に説明するような画像処理方法により、バレット粘膜が存在するか否かの検出(判定)処理を行う。
この画像処理装置3は、内視鏡観察装置2から入力される内視鏡画像に対応する映像信号が入力される画像入力部21と、この画像入力部21から入力された画像データに対する画像処理を行う中央演算処理装置としてのCPU22と、このCPU22により画像処理を実行させる処理プログラム(制御プログラム)を記憶する処理プログラム記憶部23とを有する。
また、この画像処理装置3は、画像入力部21から入力される画像データ等を記憶する画像記憶部24と、CPU22により処理された解析情報等を記憶する解析情報記憶部25と、CPU22により処理された画像データ及び解析情報等を記憶装置インタフェース26を介して記憶する記憶装置としてのハードディスク27と、CPU22により処理された画像データ等を表示するための表示処理を行う表示処理部28と、ユーザが画像処理のパラメータ等のデータ入力や指示操作を行うキーボードなどからなる入力操作部29とを有する。
そして、この表示処理部28により生成された映像信号は、表示モニタ4に出力され、この表示モニタ4の表示面には画像処理された処理画像が表示される。なお、画像入力部21、CPU22、処理プログラム記憶部23、画像記憶部24、解析情報記憶部25、記憶装置インタフェース26、表示処理部28、入力操作部29は、データバス30を介して互いに接続されている。
本実施例では、図2及び図3は、処理プログラム記憶部23に記憶された処理プログラムA及び処理プログラムBの処理により、CPU22は、検出対象粘膜として正常粘膜とは性状が異なる性状変化粘膜としてのバレット粘膜を検出(判定)する画像処理を行う。 図2の処理プログラムAは、原画像31からエッジ検出画像32を生成し、さらに境界座標点列33を生成する処理を行う。そして、この境界座標点列33に対して図3に示す処理プログラムBにより粘膜境界検出結果34を生成する処理を行う。
図2に示すように、処理プログラムAを行うCPU22は、原画像31に対して輪郭抽出フィルタリングを行い、エッジ検出画像32を生成する輪郭抽出フィルタリング部35の機能を持つ。つまり、判定対象となる部位においては、正常粘膜と変性粘膜とでは、画像データのR,G,Bにおける濃度値が異なっている。このため、輪郭(エッジ)を検出或いは抽出することにより、その境界を検出することができることになる。この画像データのRGBの濃度値は、公知の逆γ補正された値とする。
輪郭抽出フィルタリング部35は、公知のバンドパスフィルタや、公知のエッジ検出フィルタ(例えばPrewittオペレータや、Sobelオペレータ)の適用により、エッジ検出画像32を生成する。このエッジ検出フィルタとしては、非特許文献:「コンピュータ画像入門 田村秀行著 総研出版 P.120〜122」に詳しい。
また、処理プログラムAを行うCPU22は、エッジ検出画像32に対して、2値化処理を行う2値化処理部36と、この2値化処理された後に、細線化処理を行う細線化処理部37と、この細線化処理された後に、端点抽出を行う端点抽出部38と、この端点抽出された後に、連結線分抽出を行い、境界座標点列33を生成する連結線分抽出部39とを有する。
2値化処理部36は、エッジ検出画像32に対して、所定の閾値θを設定し、この閾値θ以上の画素を1,所定の閾値よりも小さい画素を0とすることにより2値化画像を生成する。
また、細線化処理部37は、2値化処理された画像に対して、線の画素値を1、背景の画素値を0とする細線化画像を生成する。細線化処理部37は、Hildlichの細線化手法として公知の手法を用いることができるものであって、画素の連結性を保持することが可能である場合に、当該画素の画素値を0として線幅を減少させる処理である。
Hildlichの細線化手法に関しては、非特許文献「ソフトバンク刊:C MAGAZINE 2000.9”画像処理を極めるアルゴリズムラボ”PP123−129」に詳しい。
また、端点抽出部38は、細線化処理部37により細線化処理された画像に対して、画面の走査方向に沿って順次画素のデータを3×3のパターンで取得する。取得されたパターンの中心の画素値が”1”であり、かつ周囲の上下左右斜めに画素値=”1”である画素が一つだけあるときに、その中心点の画素を端点、換言すると境界点と判定する。
また、連結線分抽出部39は、1つの端点(境界点)を出発点として、細線化画像に対してトレース処理を行うことにより、境界座標点列を求める。
このトレース処理は、公知の境界線追跡処理により達成され、非特許文献:「コンピュータ画像入門 田村秀行著 総研出版 P.84〜85」に詳しい。
また、図3に示す処理プログラムAを行うCPU22は、境界座標点列33に対して屈折点(屈曲点)の検出を行う屈折点検出部41と、この屈折点が検出された境界座標点列33に対して形状評価を行うことにより、粘膜境界検出結果34を出す形状評価部42との機能を有する。
形状評価部42は、後述するように条件を満たす屈折点を検出した場合、条件を満たす屈折点の数が所定の値以上である場合には性状変化粘膜境界と判断し、屈折(屈曲)の凹凸がない場合、つまり条件を満たす屈折の向きが1方向のみである場合には、性状変化粘膜境界ではないと判断する。
次に図2及び図3の処理プログラムA及びBにより、判定対象となる特定の粘膜、具体的には、(食道の正常粘膜としての扁平上皮が変性した変性粘膜としての)バレット粘膜の境界か否かを判定するバレット境界判定の画像処理方法を図4の処理フローにより説明する。
画像処理装置3の動作が開始すると、CPU22は処理プログラム記憶部23の処理プログラムを読み出して、その処理プログラムに従った処理を開始する。
つまり、図2に示した処理プログラムAの機能を行う。より具体的には、図4に示すようにCPU22は、最初のステップS1において、内視鏡観察装置2のCCU8から画像入力部21を経て入力される原画像31としての画像データを取得する。
そして、次のステップS2においてCPU22は、その画像データに対して、輪郭抽出フィルタリング処理として上述した公知のエッジ検出の処理を行い、エッジ検出画像32を生成する。図5(A)は、エッジ検出画像32を示す。
次のステップS3においてCPU22は、このエッジ検出画像32に対して、上述した2値化処理を行い、さらに細線化処理及び端点抽出(境界の取得)を行う。
次のステップS4においてCPU22は、取得した境界に対してトレース処理を行って境界に沿った座標点列、つまり境界の座標点列を得る。
次にCPU22は、図3の処理プログラムBの処理を行う。つまり、ステップS4による生成された境界の座標点列に対して、CPU22は、ステップS5に示すように境界上の各点の頂点評価値Aに基づき屈折点を例えばN個算出する。
この屈折点の算出処理は、図6を用いて後述するが、図10を用いて簡単に説明すると、境界上の各点を中心としてその前後にL/2の長さの曲線を抽出(設定)し、その始点と終点との直線距離(弦長)を頂点評価値A(j)として算出し、さらにそのh点前後の頂点評価値A(jーh)及びA(j+h)より小さいものを屈折点の候補として、これらの候補の中から屈折点を決定する。
次のステップS6においてCPU22は、制御点の数を示すパラメータkと屈折点のパラメータiをそれぞれ0、1に初期化して、検出対象となる性状変化粘膜の存在の有無を判定する処理を開始する。
パラメータi、kを初期化した後、次のステップS7においてCPU22は、算出された屈折点(i)の中で、その評価値Bが所定の閾値thrより小さいか否かの判定を行う。 この場合、頂点評価値A/Lを算出して評価値Bとし、屈折点(i)におけるその評価値Bが、所定の閾値thrより小さいか否かの判定を行う。
屈折点(i)における算出された評価値Bに対して、予め正常粘膜及び性状が変化した性状変化粘膜、より具体的には診断により確定している扁平上皮及びバレット粘膜それぞれからサンプルしたサンプルデータによりそれらを識別する基準値として設定したthrと比較して判定を行う。
そして、評価値B<thrの条件を満たす場合には、ステップS8においてCPU22は、その屈折点(i)を制御点Mとして取得し、パラメータkの値を1つ増大する。また、評価値B<thrの条件を満たさない場合には、ステップS9に移る。
ステップS9においてCPU22は、パラメータiが最終の屈折点、つまりiがNかの判定により、全ての屈折点に対してステップS7及びS8の処理を行ったかの判定を行う。そして、全ての屈折点に対して行っていない場合には、ステップS10に示すようにパラメータiを1つ増大させて、ステップS6に戻る。
このようにして全ての屈折点に対してステップS7及びS8の処理を行うことにより図5(B)に示すように制御点が設定されるので、ステップS11に進む。
このステップS11においてCPU22は、制御点数のパラメータkが1より大きいかの判定を行う。このパラメータkが1より大きいと判定した場合には、次のステップS12においてCPU22は、制御点の配置が管腔方向に凹凸かの判定を行う。
図5(B)に示すように制御点が同心円状にならないで、管腔方向(管腔の半径方向)に凹凸形状に配置されている場合には、ステップS13に示すようにバレット粘膜の境界、つまりバレット境界と判定する。
一方、ステップS11の判定において、k>1の条件を満たさない場合、及びステップS12の判定において、制御点の配置が管腔方向に凹凸とならないで、同心状になる場合には、ステップS14に示すように、正常粘膜としての扁平上皮の境界と判定する。このようにして、画像データから、その画像中にバレット境界が存在するか否かの可能性を判定することができる。
次に上記ステップS5の境界における屈折点算出の処理を図6を参照して説明する。
ステップS21においてCPU22は、N_p個の点から成る境界座標点列を取得する。
ステップS22においてCPU22は、処理の対象となる境界座標点列の最小点数の閾値Vminとの比較を行う。そして、N_p>VminであればステップS23に進み、そうでなければ処理対象に該当しないとして終了する。
次のステップS23においてCPU22は、各点における屈折点の頂点評価値A(j)(1≦j≦N_p)を算出する。ステップS23の詳細については後述する。
ステップS24においてjを初期化し、ステップS25においてCPU22は、点P(j)を対象点とし、この対象点における屈折点の頂点評価値A(j)と、対象点からh点前後する点P(j−h),P(j+h)におる屈折点の頂点評価値A(j−h),A(j+h)を取得する。値hは、ステップS26における比較対象を選択するパラメータであり、本実施例では例えばh=5とする。ステップS25の詳細については後述する。
ステップS26においてCPU22は、屈折点の頂点評価値A(j),A(j−h),A(j+h)の比較を行う。A(j)<A(j−h)かつA(j)<A(j+h)であればステップS27に進み、そうでなければステップS29に進む。ステップS26の詳細については後述する。
ステップ27においてCPU22は、屈折検出のための屈折の大きさを制限する閾値Vcとの比較を行う。A(j)/L<Vcであれば、ステップS28に進み、そうでなければこの処理を終了する。
ステップS28においてCPU22は、対象点P(j)を屈折点の候補点として検出して、その情報を解析情報記憶部25等に記憶する。
ステップS29においてCPU22は、対象点P(j)が境界座標点列の最終点つまりj=N_pであればステップS30で屈折点を決定して処理を終了し、j≠N_pであればステップS31に進む。
ステップS31においてCPU22は、j=j+1として対象点を更新し、ステップS25ないしS29に示す一連の処理を繰り返す。
ステップS30においての、屈折点の決定処理のフローを図9に示し、詳細については後述する。
次に、ステップS23における屈折点の頂点評価値Aを算出方法と、ステップS25、ステップS26における屈折点の頂点評価値Aを用いての屈折点の候補点の検出処理の詳細について説明する。
図7は本実施例における屈折点の頂点評価値Aの算出方法と、屈折点の頂点評価値Aを用いての屈折点の候補点の検出処理を説明するための説明図である。
屈折点の頂点評価値Aの算出方法としては、非特許文献2:「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」に示される手法を使用する。
取得した境界座標点列の各点について、その点列に沿って、各点を中心とする図7に実線にて示す長さLの曲線を抽出し、その曲線の始点と終点の距離(弦長)を屈折点の頂点評価値A(j)として算出する。ただし、点P(j)が境界座標点列の両端から[L/2]の範囲に存在し、長さLの曲線が抽出できない場合、A(j)=Lとする。ここで[]はガウス記号である。
また、屈折点の候補点の検出処理において点P(j)が両端からhの範囲に存在し、点P(j−h),P(j+h)が境界座標点列上の点に成り得ない場合、A(j−h)=L,A(j+h)=Lとする。点P(j)における屈折点の頂点評価値A(j)が、h点前の点P(j−h)における屈折点の頂点評価値A(j−h)、かつh点後の点P(j+h)における屈折点の頂点評価値A(j+h)より小さい場合は、P(j)は、点P(j−h),P(j+h)よりも大きな屈折の特徴を示すから、このP(j)を屈折点の候補点として検出する。
この比較評価を、境界座標点列を形成するすべての点に対して順に行う。境界座標点列の両端から[L/2]の範囲では、上述した通りA(j)=Lとしたため、屈折点の候補点の検出からは除外される。
次に屈折点の決定処理における処理フローを図8に示す。
ステップS41においてCPU22は、前述の屈折点の候補点の検出処理により検出された屈折点の候補点を、解析情報記憶部25から取得する。屈折点の候補点が隣接して連続している場合は、その点列を一つの組(以下、パターンと称する)として抽出する。ここで境界座標点列において生成されたパターン数をN_pattern(1≦N_pattern≦屈折点の候補点数)とし、各パターンを形成する屈折点の候補点数Cn(1≦n≦N_pattern)を算出する。
そして、ステップS42においてCPU22は、最初のパターンを示すn=1に初期化し、ステップS43においてCPU22は、ステップS41にて生成されたパターンのうちの1つを対象点pattern(n)(1≦n≦N_pattern)として取得する。
対象パターンpattern(n)の屈折点の候補点数Cn=1であれば、他の屈折点の候補点が隣接しておらず単独で存在すると判断し、その屈折点の候補点を屈折点と決定する。
対象パターンpattern(n)の屈折点の候補点数Cn≧2であれば、ステップS44に進み、対象パターンの屈折点の候補点列の中から1点を屈折点と決定する。
ステップS44においてCPU22は、対象パターンpattern(n)中で、A(j)が極小となる点を屈折点と決定する。図9は、屈折点の候補点の中から屈折点を決定することを表す図である。
ステップS45においてCPU22は、対象パターンpattern(n)が最終パターン、つまりn=N_patternであれば処理を終了し、n≠N_patternであればステップS46に進む。
ステップS46においてCPU22は、n=n+1として屈折点決定の対象パターンを更新し、ステップS43ないしS45に示す一連の処理を繰り返す。
なお、境界座標点列が滑らかでない場合は、ステップS21で取得した境界座標点列を、非特許文献2:「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」に示されるように、移動平均法により座標値を平滑化する。
ここでの移動平均法とは、点Pの座標値を座標点列の前後[m/2]点の座標値の平均値に設定する手法である。値mは、移動平均点数、すなわち平滑化の強さを決定するパラメータである。例えば、図10に示すようにm=9、すなわち9点の移動平均を用いた場合を示す。
また、境界座標点列の両端から[L/2]の範囲では、A(j)=Lと仮定するため、屈折点の候補点は検出されないが、検出対象に含める場合には、非特許文献2:「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP.80-90(1980)」に示されるようにステップS21で取得した境界座標点列の両端の延長を行えばよい。 また、ステップS25におけるパラメータhは、境界座標点列を形成する点数N_pに基づいて決定してもよい。
また、本実施例では、ステップS44においてCPU22は、対象パターン中の屈折点の候補点列のA(j)が極小となる点を屈折点として決定したが、対象パターン中の屈折点の候補点列の中心点、すなわち[Cn/2]番目の点と決定するようにしてもよい。
以上説明したように本実施例では、原画像31に対してエッジ検出処理等により性状の異なる粘膜境界を検出し、さらにその粘膜境界の形状における屈折点を検出し、さらにその屈折点が所定の条件を満たすか否かにより、屈折点の代表点となる制御点として設定している。そして、この制御点に基づいて、性状変化粘膜の境界としてのバレット境界か否かを検出(判定)するようにしている。
食道と胃の境界付近にバレット粘膜が存在した場合の症例においては、そのバレット粘膜が存在した場合、バレット粘膜の境界は、同心円状でなく、図5(B)に示すように星型等の凹凸のある形状に現れる場合が多い。
このため、上記のように屈折点の代表点としての制御点を検出して、その制御点が凹凸のある配置の場合や制御点の数が所定数以上の場合には、バレット粘膜の境界であると判定するようにしているので、バレット粘膜の症例に多く現れる特徴に従って、バレット境界の判定を精度良く行うことができる。
なお、バレット境界を判定する場合、検出した境界の複雑さによりバレット粘膜であるか否かの判定を行うようにしても良い。つまり、検出した境界の形状が円形等の単純な形状でなく、複雑な形状であることさを検出、或いは評価する処理を行い、その評価結果によりバレット境界の判定を行うようにしても良い。
より具体的には、例えば境界座標点列33に沿って所定間隔で設定した点付近での曲率半径を求め、その曲率半径の値をグループ分けして、曲率半径の値の分布により複雑な形状であるか否かの対応付けをする。そして、曲率半径の分布が閾値以上の場合にはバレット粘膜の境界と判定するようにしても良い。
次に図11ないし図13を参照して本発明の実施例2を説明する。図11は、実施例2におけるプログラムCに従ってCPU22により実現される機能的な構成を示す。
本実施例は、実施例1における図2の部分は同様であるので、その説明を省略しており、図3の処理機能の代わりに図11に示す処理機能、つまり関心領域設定部51、小領域抽出部52及び粘膜境界判定部53とを有する。
図11に示すように原画像31及び境界座標点列33に対して、関心領域設定部51により、検出対象となる関心領域を設定する。
その設定された関心領域に対して、小領域抽出部52は、小領域を抽出し、抽出された小領域に対して粘膜境界判定部53は、粘膜境界か否かの判定を行い粘膜境界検出結果34を出力する。
次に図12の処理フローを参照して、その具体的な処理を説明する。
図4に示した場合と同様に、画像データを取得し(S1)、エッジ検出を行い(S2)、エッジ検出画像32を生成し、細線化して、境界を取得(S3)、さらに境界の座標点列を取得して、境界座標点列33を生成する(S4)。なお、境界座標点列33を生成する前の状態(つまりステップS3の処理後)で以下の処理を行っても良い。
次のステップS51においてCPU22は、ステップS4(S3)の境界で分割された領域に対して、画像中における管腔中心側となる噴門(管腔中心側は暗くなるため暗部の閾値を用いた判定処理で抽出することができる)に近い、/または噴門を含む領域を関心領域に設定する。
このように関心領域を設定した後、ステップS52に示すようにCPU22は、その関心領域に対して、再びエッジ検出処理或いはBPF(バンドパスフィルタ)を用いて関心領域内のエッジを検出し、図13(A)の原画像から図13(B)のようなエッジで分割された小領域55を含む画像を生成する。
次のステップS53においてCPU22は、小領域55を示すパラメータiを初期化(i=1に設定)した後、次のステプS54において各小領域(i)内の平均色調C(i)を算出する。
平均色調C(i)は、例えばIHbの値の平均値とする。このIHbは、内視鏡画像上の各画素ごとの輝度信号Vg(ヘモグロビンに最も吸収される560nm付近の光を反映するGの色信号)と、輝度信号Vr(ヘモグロビンに最も吸収される650nm付近の光を反映するRの色信号)を抽出し、2つのR,G色信号の比を対数変換した値、32log(R/G)を使用する。
そして、次のステップS55においてCPU22は、平均色調C(i)が所定の閾値thr2より大きいか否かの判定を行う。この場合、所定の閾値は、例えば診断が確定している症例のバレット粘膜の部分を撮像した画像における少なくとも1以上の色信号における色調の平均値と、扁平上皮の部分を撮像した画像における同じ色信号における色調の平均値とを用いて設定される。
ステップS55による判定結果が平均色調C(i)>thr2の判定条件を満たす場合には、ステップS56に示すようにCPU22は、その小領域(i)は、バレット上に残存する扁平上皮と考えられるため、このように扁平上皮が一個以上存在する場合、小領域を含む関心領域は、バレットと判定する。
一方、ステップS55の判定結果が平均色調C(i)>thr2の判定条件を満たさない場合には、ステップS57に示すようにCPU22は、パラメータiが小領域の数Nに等しいかの判定を行い、Nに等しくない場合にはステップS58に示すようにiを1つ増加させてステップS54に戻る。そして、ステップS54からステップS57の処理を繰り返す。
バレット粘膜の症例の場合には、バレット粘膜中に島状に扁平上皮の小領域が孤立して存在する場合がしばしばある。
このため、本実施例では、上記のように境界座標点列33を生成して、原画像31における境界座標点列33により管腔側の領域内にエッジ或いは境界座標点列33により小領域(i)を検出し、各小領域(i)に対して、色調の特徴量から扁平上皮か否かの判定を行い、扁平上皮と判定した場合には、バレットと判定するようにしている。
このような判定を行うことにより、原画像中にバレット粘膜が存在するか否かの判定を精度良く行うことができる。
なお、図12のステップS52においては、エッジで分割された小領域55を検出するようにしているが、その変形例として所定の閾値により2値化を行うことにより、小領域55を取得するようにしてもよい。
また、ステップS54、S55において、小領域55のエッジの前後(或いは両側)における色調変化に基づきバレットか否かの判定を行うようにしてもよい。
また、図12の画像処理においては、管腔側の領域を関心領域に設定し、その関心領域内におけるエッジ等で分割された小領域55に対して判定を行うようにしているが、この小領域55の外側の領域に対しても平均色調を取得するなどして判定を行うようにしても良い。
例えば、小領域55に対する判定結果と、その外側の領域での判定結果により、関心領域を総合的に判定するようにしても良い。このようにすると、より精度の高い判定を行うことができる。
なお、エッジで分割された小領域55としては、図13(B)に示すように完全に孤立した小領域の場合がありえる。また、小領域55が外側に延びて扁平上皮側に連結したような形状の場合もあり得る。
この場合、図13(B)に示すように小領域55が孤立曲線になって現れる場合が多いので、検出された小領域55が孤立曲線になっているか否かにより、関心領域がバレットであるか否かの判定を行うようにしても良い。
次に図14ないし図18を参照して本発明の実施例2を説明する。図14は、実施例3におけるプログラムDに従ってCPU22により実現される機能的な構成を示す。
本実施例は、実施例1における図2の部分は同様であるので、その説明を省略しており、図3の処理機能の代わりに図14に示す処理機能、つまり境界座標点列33から局所領域群61を設定する局所領域設定部63と、局所領域群61に対して粘膜境界検出結果62を生成する粘膜境界判定部64とを有する。
次に図15を参照して本実施例による粘膜境界の判定処理を説明する。
図15に示すように最初のステップS61においてCPU22は、G画像データの取得を行い、さらに実施例1或いは2と同様にエッジ検出の処理を行い(S2)、細線化して、境界を取得する(S3)。さらに境界の座標点列を取得する(S4)。
次に図14の処理プログラムDの処理を行う。つまり、図15のステップS62に示すようにCPU22は、境界に沿って局所領域を例えばN個設定する。換言すると、N個からなる局所領域群61を生成する。
図16により具体的に示すと、ステップS4までの処理により得られたエッジ検出画像の境界座標点列に対して、その境界に沿って例えば一定間隔毎に図16(B)に示すように境界上の短い線分(或いは接線)により、その線分と局所的に直交する方向或いはグラディエント方向に、その境界上の短い線分の両側に局所領域が線分いより略2等分されるように局所領域を設定する。
なお、図16(B)にて設定した局所領域例を図16(C)において拡大して示している。この場合には、矩形領域で局所領域を設定しているが、円形その他の形状で局所領域でも良い。
次のステップS63においてCPU22は、各局所領域を示すパラメータiを初期化した後、次のステップS64において局所領域(i)において境界に沿って分けられた2領域の平均画素値E,Fを算出する。
次のステップS65においてCPU22は、境界で分割された両側の2領域の平均画素値の比E/Fが所定の閾値thr3よりも大きいか否かの判定を行う。
この場合、診断により確定している症例におけるバレット境界からサンプルした画素における色調特徴量、例えばIHbの値の平均値と、バレットでない場合における境界からサンプルした画素におけるIHbの平均値とを求め、これらの値から区別を決める閾値thr3を決定する。
平均画素値の比E/F>thr3の場合には、次のステップS66においてCPU22は、その局所領域内の境界の一部をバレット境界領域と認識する。一方、ステップS65の判定結果が、E/F>thr3の判定条件を満たさない場合には、ステップS67に示すようにバレット境界ではないと判定する。
上記ステップS66、S67の処理の後、ステップS68においてCPU22は、局所領域(i)のパラメータiがNに等しいかの判定を行い、iがNに等しくない場合にはステップS69においてiを1つ加算してステップS64に戻り、ステップS64からS68の処理を繰り返す。
そして、全ての局所領域(N)まで行った後、この処理を終了する。
このように本実施例によれば、境界に沿って設定した局所領域を用いてバレット境界か否かを判定することにより、バレット境界か否かを判定することができる。
なお、全ての局所領域(N)に対して境界の判定を行い、それら複数の判定結果により最終的に境界の判定を行うようにしても良い。
また、ステップS62において、境界に沿って局所領域を設定する場合、その境界上の短い線分(細線)の中心に対して直交する方向に対称的に設定した線分又は2点等により局所領域としても良い。
また、ステップS62において設定される局所領域は、任意にサンプリングされた局所領域であってもよい。また、そのステップS66において、バレット境界領域と認識された境界を追跡して、それらの結果により総合的にバレット境界であると判定するようにしてもよい。
次に第1変形例を備えた内視鏡システムを以下に説明する。図17は第1変形例の内視鏡システム1Bにおける主要部の構成を示す。この内視鏡システム1Bは、図1の内視鏡シシテム1において、内視鏡観察装置2を構成する内視鏡6における例えば挿入部11の基端側には、挿入部11が体腔内に挿入される挿入量を検出する挿入量検出装置71を設けている。この挿入量検出装置71は、検出された挿入量の情報を画像処理装置3の例えばCPU22に送る。
挿入量検出装置71は、挿入部11の外周面に回動自在に接触する複数のローラ72と、これらのローラ72の1つの回転軸に取り付けられ、回転量を検出するロータリエンコーダ等の回転量検出センサ73とを備えている。
そして、この回転量検出センサ73により検出された信号は、画像処理装置3内の例えばCPU22に入力され、CPU22は、挿入量の情報から、撮像された画像が検出対象の部位を含む画像であるか否かの判定を行う。つまり、CPU22は、挿入量の情報から、撮像された画像が検出対象の部位を含む画像であるか否かの判定を行う検出対象画像判定部22aの機能を持つ。
この場合、内視鏡6の挿入部11が患者の口部から挿入された場合、挿入時の回転量検出センサ73の値から食道の深部側に挿入された場合の先端部14の位置を検出することができる。
また、CCD16を含む撮像装置17の撮像特性等により、上述した画像処理方法で判定できる解像度以上の画像を撮像したものであるか否かも、検出対象の部位を含む画像であるかの判定する条件に入れて判定する。
つまり、遠方から、検出対象の部位を含む画像を得られる場合もあるが、遠方の部分において画像解析に不十分な解像度と見なされたり、照明光量も十分となり得ないような場合には、検出対象の部位を含む画像と判定しないようにしている。
内視鏡6のCCDにより撮像された画像は、CCU8により信号処理された後、画像処理装置3の画像入力部21に常時入力される。その画像は、ハードディスク27等に順次格納される。
この場合、CPU22は、挿入量の情報を、ハードディスク27等に順次格納される画像に付帯情報として保存する。或いはCPU22は、挿入量の情報から、撮像された画像が検出対象の部位を含む画像であるか否かの判定を行った判定情報(識別情報)を付帯情報として保存するようにしても良い。
そして、CCU22は、判定情報から判定対象の部位を含む画像に対して、上述した実施例3の場合と同様の処理を行う。なお、実施例3に限らず、実施例1或いは実施例2にも適用できる。
つまり、本変形例は、実施例1〜3における画像解析される原画像が、位置判定情報により自動的に検出対象と判定された選択画像となる。
従って、本変形例によれば、画像解析により性状が変化して性状変化粘膜であるか否かの判定(検出)が行われる画像が、予め設定された条件に客観的に適合する画像に制限されるので、より客観的な判定結果を得ることができる。
また、検出対象となる画像を挿入量検出装置71等を用いて適切に検出或いは選択設定できるので、検出対象でない部位を撮像した不要な画像に対しても画像処理を行ってしまうことを低減できる。
また、検出対象となる部位を撮像している画像であっても、撮像装置17から遠方にある場合には、画像解析による精度が不十分になるが、本変形例によれば、撮像装置17の特性も考慮して所定距離以上に離れている場合には、検出対象の部位を撮像していないと判定条件を設定することにより、画像解析による精度を確保することができるようになる。
なお、上述の説明では、細長の挿入部を有する内視鏡2により得た画像の場合で説明したが、以下に説明するようにカプセル型内視鏡を用いて得た画像を利用するようにしても良い。
図18に示すように変形例を備えたカプセル型内視鏡システム81は患者が飲み込むことにより体腔内を撮像するカプセル型内視鏡装置(以下ではカプセル型内視鏡と略記)82と、患者の体外に配置され、カプセル型内視鏡82からの画像データを受信して記録する体外装置83と、この体外装置83から画像が入力される画像処理装置84とからなる。 カプセル型内視鏡82はカプセル状の容器内に照明手段としての例えばLED85と、照明された被写体の像を結ぶ対物レンズ86及びその結像位置に配置され、撮像を行う撮像手段を構成するCCD87と、このCCD87により撮像された撮像信号に対する信号処理等を行う制御回路88と、撮像された画像を無線で送信する処理を行う無線回路89と、各回路等に電力を供給する電池90を有する。
また、体外装置83は、カプセル型内視鏡82の無線回路89のアンテナ89aから電波を複数のアンテナ91a、91b、91cを介して無線回路92で受信し、その信号を制御回路93に送る。この制御回路93により、映像信号に変換して画像処理装置84に出力する。
そして、画像処理装置84は、上述した各実施例等の処理を行う。
なお、制御回路93は、複数のアネテナ91a〜91cにより、カプセル型内視鏡82の位置を推定する位置検出機能93aを有する。そして、この位置検出機能93aを利用して、検出対象の画像を選択設定するようにしても良い。つまり、原画像31の代わりにこの位置検出機能93aにより、食道から胃に至る境界に近い部位を撮像しているか否かを検出して、境界に近い部位を撮像している場合には、上述した場合と同様に原画像として利用するようにしても良い。
このようにすると、検出対象となる食道から胃に至る境界に近い部位の生体粘膜を効率良く判定することができる。
なお、本発明の実施例においては、色調を評価する特徴量としてIHb値を用いたが、例えばR/G、R/(R+G+B)等、他の特徴量を使用してもよい。また、例えばHSI色空間における色相・彩度を用いることも可能である。
なお、上述した各実施例を部分的に組み合わせたり、処理する順序を変更したりして構成される実施例等も本発明に属する。
[付記]
付記項1
1つ以上の信号からなる生体粘膜表面を撮像した医用画像を入力する入力ステップと、 前記入力ステップで入力された医用画像における生体粘膜表面の境界情報を検出する境界情報検出ステップと、
前記境界情報検出ステップにおいて検出された境界情報の形状情報を検出する形状情報検出ステップと、
前記境界情報検出ステップにおいて検出された境界情報に基づき性状の異なる生体粘膜の存在を検出する粘膜性状検出ステップと、
からなることを特徴とする医用画像処理方法。
付記項2
前記境界情報検出ステップは、輪郭検出ステップを含むことを特徴とする付記項1記載の医用画像処理方法。
付記項3
前記形状情報検出ステップは、前記境界情報の複雑さに基づく情報を検出することを特徴とする付記項1又は2のいずれか1つに記載の医用画像処理方法。
付記項4
前記境界情報検出ステップは、二値化ステップ及び細線化ステップを含み、
前記境界情報は、細線化された粘膜境界像であることを特徴とする付記項1、2又は3のいずれか1つに記載の医用画像処理方法。
付記項5
前記形状情報検出ステップは、前記境界情報の屈折に基づく情報を検出することを特徴とする付記項1、2、3又は4のいずれか1つに記載の医用画像処理方法。
付記項6
前記輪郭検出ステップは、生体粘膜境界を抽出するためのフィルタリングを適用するフィルタリングステップを含むことを特徴とする付記項2、3、4又は5のいずれか1つに記載の医用画像処理方法。
付記項7
前記粘膜性状検出ステップは、前記形状情報検出ステップにおいてN個(Nは1以上の整数)以上の屈折点が検出された場合に性状の異なる生体粘膜の存在を検出することを特徴とする付記項6記載の医用画像処理方法。
付記項8
前記生体粘膜表面の境界情報は、食道粘膜及び胃粘膜の境界に関する情報であることを特徴とする付記項1、2、3、4、5、6又は7のいずれか1つに記載の医用画像処理方法。
付記項9
前記粘膜性状検出ステップは、性状の異なる生体粘膜としてバレット粘膜の存在を検出することを特徴とする付記項1、2、3、4、5、6、7又は8のいずれか1つに記載の医用画像処理方法。
付記項10
1つ以上の信号からなる生体粘膜表面を撮像した医用画像を入力する入力ステップと、 前記入力ステップで入力された医用画像における生体粘膜表面の境界情報を検出する境界情報検出ステップと、
前記境界情報検出ステップにおいて検出された境界情報に対して肛門側の領域に局所的に存在する孤立領域を検出する孤立領域ステップと、
前記検出ステップの検出結果に基づき性状の異なる生体粘膜の存在を検出する粘膜性状検出ステップと、
からなることを特徴とする医用画像処理方法。
付記項11
1つ以上の信号からなる生体粘膜表面を撮像した医用画像を入力する入力ステップと、 前記入力ステップで入力された医用画像における生体粘膜表面の境界情報を検出する境界情報検出ステップと、
前記境界情報検出ステップにおいて検出された境界情報対して肛門側の領域に局所的に存在する孤立領域を検出する孤立領域検出ステップと、
前記孤立領域が前記境界情報に対して口側の領域と同様の粘膜であるか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づき性状の異なる生体粘膜の存在を検出する粘膜性状検出ステップと、
からなることを特徴とする医用画像処理方法。
付記項12
前記粘膜性状検出ステップは、前記孤立領域が検出された場合に、性状の異なる生体粘膜の存在を検出することを特徴とする付記項10記載の医用画像処理方法。
付記項13
前記粘膜性状検出ステップは、前記孤立領域が口側の領域と同様の領域と同様の粘膜であると判定された場合に、性状の異なる生体粘膜の存在を検出することを特徴とする付記項11記載の医用画像処理方法。
付記項14
前記判定ステップは、検出された前記孤立領域の明るさ又は色調に関する特徴量を算出する特徴量算出ステップをさらに含み、
前記特徴量に基づく判定を行うことを特徴とする付記項11又は13のいずれか1つに記載の医用画像処理方法。
付記項15
前記判定ステップは、前記算出された特徴量と閾値との比較を行う比較ステップをさらに含み、
前記比較結果に基づく判定を行うことを特徴とする付記項14記載の医用画像処理方法。
付記項16
前記境界情報検出ステップは、輪郭検出ステップを含むことを特徴とする付記項10、11、12、13、14、又は15のいずれか1つに記載の医用画像処理方法。
付記項17
前記輪郭検出ステップは、生体粘膜境界を抽出するためのフィルタリングを適用するフィルタリングステップを含むことを特徴とする付記項16に記載の医用画像処理方法。 付記項18
前記生体粘膜表面の境界情報は、食道粘膜及び胃粘膜の境界に関する情報であることを特徴とする付記項10、11、12、13、14、15、16、又は17のいずれか1つに記載の医用画像処理方法。
付記項19
前記粘膜性状検出ステップは、性状の異なる生体粘膜としてバレット粘膜の存在を検出することを特徴とする付記項10、11、12、13、14、15、16、17又は18のいずれか1つに記載の医用画像処理方法。
付記項20
1つ以上の信号からなる生体粘膜表面を撮像した医用画像を入力する入力ステップと、 前記入力ステップで入力された医用画像における生体粘膜表面の境界情報を検出する境界情報検出ステップと、
前記境界情報検出ステップにおいて検出された境界情報に基づき境界を含む局所領域を設定する領域設定ステップと、
前記局所領域において前記境界の前後の2領域から特徴量を算出する特徴量算出ステップと、
算出された前記特徴量に基づき性状の異なる生体粘膜の存在を検出する粘膜性状検出ステップと、
からなることを特徴とする医用画像処理方法。
付記項21
前記領域設定ステップは、検出された前記境界情報上に複数の領域を設定することを特徴する付記項20に記載の医用画像処理方法。
付記項22
前記特徴量算出ステップは、明るさ又は色調に関する特徴量を算出するとともに、
前記粘膜性状検出ステップは、前記2領域の各々から算出された前記特徴量の比に基づく判定ステップをさらに含み、
前記特徴量の比の値に基づき性状の異なる生体粘膜の存在を検出する粘膜性状検出ステップとからなることを特徴とする付記項20又は21いずれか1つに記載の医用画像処理方法。
付記項23
前記判定ステップは、前記算出された特徴量の比の値と閾値との比較を行う比較ステップをさらに含み、
前記比較結果に基づく判定を行うことを特徴とする付記項22に記載の医用画像処理方法。
付記項24
前記境界情報検出ステップは、輪郭検出ステップを含むことを特徴とする付記項20、21、22又は23いずれか1つに記載の医用画像処理方法。
付記項25
前記輪郭検出ステップは、生体粘膜境界を抽出するためのフィルタリングを適用するフィルタリングステップを含むことを特徴とする付記項24に記載の医用画像処理方法。
付記項26
前記生体粘膜性表面の境界情報は、食道粘膜及び胃粘膜の境界に関する情報であることを特徴とする付記項20、21、22、23、24又は25のいずれか1つに記載の医用画像処理方法。
付記項27
前記粘膜性状検出ステップは、性状の異なる生体粘膜としてバレット粘膜の存在を検出することを特徴とする付記項20、21、22、23、24、25又は26のいずれか1つに記載の医用画像処理方法。
付記項28
前記医用画像は、内視鏡画像であることを特徴とする付記項1ないし27のいずれか1つに記載の医用画像処理方法。
付記項29
前記医用画像は、カプセル内視鏡画像であることを特徴とする付記項1ないし27のいずれか1つに記載の医用画像処理方法。
付記項31
生体粘膜表面を撮像して得られる粘膜表面画像を入力する処理を行う入力ステップと、 前記入力ステップで入力された前記粘膜表面画像に対して第1の画像処理を施し、所定の臓器の粘膜表面領域を検出する処理を行う第1の検出ステップと、
前記入力ステップで入力された前記粘膜表面画像に対して第2の画像処理を施し、前記第1の検出ステップで検出された前記所定の臓器の粘膜表面領域に存在し、この所定の臓器の粘膜領域性状の変化した変性粘膜部分の性状を呈する部分を検出する処理を行う第2の検出ステップと、
を具備したことを特徴とする医用画像処理方法。
付記項32
前記第2の検出ステップは、前記所定の臓器の粘膜表面領域とは異なる他の臓器の粘膜部分の性状を呈する部分の境界を抽出する処理を行う境界抽出ステップを有し、
前記境界抽出ステップにより前記境界の形状に基づき、前記所定の臓器の粘膜領域性状の変化した変性粘膜部分の性状を呈する部分の存在を検出する処理を行うことを特徴とする付記項31に記載の医用画像処理方法。
付記項33
前記第2の検出ステップは、前記所定の臓器の粘膜領域性状の変化した変性粘膜部分の性状を呈する粘膜領域を抽出する処理を行う領域抽出ステップを有し、
前記領域抽出ステップにより抽出された粘膜領域の色調に基づき、前記所定の臓器の粘膜領域性状の変化した変性粘膜部分の性状を呈する部分を検出する処理を行う色調検出ステップを有することを特徴とする付記項31に記載の医用画像処理方法。
付記項34
前記第2の検出ステップは、前記所定の臓器の粘膜領域性状の変化した変性粘膜部分の性状を呈する部分の境界を抽出する処理を行う境界抽出ステップと、
前記境界抽出ステップによる前記境界により区分される各々の粘膜の色調に基づき、前記所定の臓器の粘膜領域性状の変化した変性粘膜部分の性状を呈する部分の存在を検出する処理を行うことを特徴とする付記項31に記載の医用画像処理方法。
付記項35
前記境界抽出ステップは、前記医用画像の少なくとも1つの色信号から輪郭情報を検出するステップを含むことを特徴とする付記項32に記載の医用画像処理方法。
付記項36
前記所定の臓器の粘膜領域性状の変化した変性粘膜部分の性状を呈する部分の存在を検出する処理は、前記粘膜の境界の屈折を検出する屈折検出ステップをさらに含むことを特徴とする付記項32に記載の医用画像処理方法。
付記項37
前記屈折検出ステップにより屈折が検出された場合に、変性粘膜部分の性状を呈する部分が存在すると判定することを特徴とする付記項36に記載の医用画像処理方法。 付記項38
前記屈折検出ステップにより検出された屈折点数が所定の値以上である場合に、変性粘膜部分の性状を呈する部分が存在すると判定することを特徴とする付記項36に記載の医用画像処理方法。
付記項39
前記所定の臓器の粘膜領域性状の変化した変性粘膜部分の性状を呈する部分の存在を検出する処理は、前記境界の複雑さを検出する複雑さステップを含み、
前記複雑さ検出ステップで検出された複雑さに基づく形状判断により、変性粘膜部分の性状を呈する部分が存在すると判定することを特徴とする付記項35に記載の医用画像処理方法。
付記項40
前記所定の臓器の粘膜領域性状の変化した変性粘膜部分の性状を呈する部分の存在を検出する処理は、前記境界の凹凸形状を検出ステップを含み、
前記凹凸形状に基づく形状判断により、変性粘膜部分の性状を呈する部分が存在すると判定することを特徴とする付記項35に記載の医用画像処理方法。
付記項41
前記領域抽出ステップは、前記粘膜表面画像の少なくとも1つの信号から領域情報を検出するステップを含むことを特徴とする付記項33に記載の医用画像処理方法。
付記項42
前記領域抽出ステップは、前記粘膜表面画像の少なくとも1つの色信号からなる境界情報を検出するステップをさらに含み、
前記境界検出で検出された境界が孤立曲線である境界内領域を抽出することを特徴とする付記項33に記載の医用画像処理方法。
付記項43
前記所定の臓器の粘膜領域性状の変化した変性粘膜部分の性状を呈する部分の存在を検出する処理は、前記粘膜領域の平均色調を検出する平均色調検出ステップをさらに含み、 前記平均色調検出ステップで検出された平均色調が所定値より大きい場合に、変性粘膜部分の性状を呈する部分が存在すると判定することを特徴とする付記項33に記載の医用画像処理方法。
付記項44
前記所定の臓器の粘膜領域性状の変化した変性粘膜部分の性状を呈する部分の存在を検出する処理は、前記粘膜領域内の平均色調と粘膜領域外の平均色調を検出する平均色調検出ステップをさらに含み、
前記平均色調検出ステップで検出された領域内と領域外の平均色調の変化が所定値より大きい場合に、変性粘膜部分の性状を呈する部分が存在すると判定することを特徴とする付記項33に記載の医用画像処理方法。
付記項45
前記所定の臓器の粘膜領域性状の変化した変性粘膜部分の性状を呈する部分の存在を検出する処理は、境界線の局所的な直交方向に局所領域を設定し、
前記局所領域内の境界線により区分される区分領域内の色調の相違に基づき、変性粘膜部分の性状を呈する部分の存在を検出することを特徴とする付記項34に記載の医用画像処理方法。
付記項46
前記所定の臓器の粘膜領域性状の変化した変性粘膜部分の性状を呈する部分の存在を検出する処理は、境界線の局所的グランディエント方向に局所領域を設定し、
前記局所領域内の境界線により区分される領域内の色調の相違に基づき、変性粘膜部分の性状を呈する部分の存在を検出することを特徴とする付記項34に記載の医用画像処理方法。
付記項47
前記局所領域は、矩形領域、又は線分、又は細線をはさんで対称に位置する2点のうちいずれかであることを特徴とする付記項45又は46に記載の医用画像処理方法。
付記項48
前記区分領域内の色調の相違は、局所領域内の境界線により区分される区分領域内の画素の色調特徴量の平均値の差を表すものであって、
前記平均値の差と、所定の値との大小関係を比較することにより、変性粘膜部分の性状を呈する部分の存在を判定することを特徴とする付記項45に記載の医用画像処理方法。付記項49
前記区分領域内の色調の相違は、局所領域内の境界線により区分される区分領域内の画素の色調特徴量の平均値の比に対応するものであって、
前記平均値の比と、所定の値との大小関係を比較することにより、変性粘膜部分の性状を呈する部分の存在を判定することを特徴とする付記項45に記載の医用画像処理方法。付記項50
前記変性粘膜部分の性状を呈する部分の存在を検出する処理に用いる前記色調は、複数の色信号の比に基づく色調特徴量であることを特徴とする付記項34に記載の医用画像処理方法。
付記項51
前記入力ステップは、生体粘膜表面を撮像する挿入部を有する内視鏡により撮像された内視鏡画像を入力することを特徴とする付記項31に記載の医用画像処理方法。
付記項52
前記入力ステップは、生体粘膜表面を撮像するカプセル型内視鏡により撮像された内視鏡画像であることを特徴とする付記項31に記載の医用画像処理方法。
付記項53
さらに前記入力ステップにより入力される粘膜表面画像が、食道と胃との境界付近の位置の生体粘膜の画像であるか否かの判定の処理を行う画像判定ステップを有することを特徴とする付記項31に記載の医用画像処理方法。
食道から胃の境界付近を撮像した粘膜表面の画像に対して、その境界を抽出するなどして境界の形状自体や境界により区分けされる両側の特徴量の算出等により、胃の粘膜が変性したバレット粘膜の境界か否かを検出することにより、診断を支援できる。
本発明の実施例1の画像処理方法の機能を備えた内視鏡システムの構成を示すブロック図。 処理プログラムに従ってCPUにより境界座標点列を生成する処理機能の構成を示すブロック図。 処理プログラムに従ってCPUにより粘膜境界検出結果を生成する処理機能の構成を示すブロック図。 CPUにより処理される処理手順を示すフローチャート図。 原画像から抽出されたエッジ及び形状の判定を行う制御点を設定した画像例を示す図。 境界座標点列から屈折点を決定する処理手順を示すフローチャート図。 図6の処理手順における屈折点の頂点評価値を算出する説明図。 屈折点の候補点から屈折点を決定する処理手順を示すフローチャート図。 屈折点の候補点列から屈折点を決定する説明図。 移動平均による境界座標点列の平滑化の説明図。 本発明の実施例2における処理プログラムに従ってCPUにより粘膜境界検出結果を生成する処理機能の構成を示すブロック図。 CPUにより処理される処理手順を示すフローチャート図。 原画像及び境界座標点列が設定された画像を示す図。 本発明の実施例3における処理プログラムに従ってCPUにより粘膜境界検出結果を生成する処理機能の構成を示すブロック図。 CPUにより処理される処理手順を示すフローチャート図。 原画像から抽出されたエッジ及び境界座標点列上に設定された局所領域等を示す図。 第1変形例を備えた内視鏡システムの主要部を示す図。 第2変形例を備えたカプセル型内視鏡システムの構成を示すブロック図。
符号の説明
1…内視鏡システム
2…内視鏡観察装置
3…画像処理装置
4…表示モニタ
6…内視鏡
7…光源装置
8…CCU
11…挿入部
15…対物レンズ
16…CCD
17…撮像装置
21…画像入力部
22…CPU
23…処理プログラム記憶部
24…画像記憶部
25…解析情報記憶部
27…ハードディスク
28…表示処理部
29…入力操作部
31…原画像
32…エッジ検出画像
33…境界座標点列
34…粘膜境界検出結果
35…輪郭強調フィルタリング部
36…2値化処理部
37…細線化処理部
38…端点抽出部
39…連結線分抽出部
41…屈折点検出部
42…形状評価部
代理人 弁理士 伊藤 進

Claims (3)

  1. 1つ以上の信号からなる生体粘膜表面を撮像した医用画像を入力する入力ステップと、 前記入力ステップで入力された医用画像における生体粘膜表面の境界情報を検出する境界情報検出ステップと、
    前記境界情報検出ステップにおいて検出された境界情報の形状情報を検出する形状情報検出ステップと、
    前記境界情報検出ステップにおいて検出された境界情報に基づき性状の異なる生体粘膜の存在を検出する粘膜性状検出ステップと、
    からなることを特徴とする医用画像処理方法。
  2. 1つ以上の信号からなる生体粘膜表面を撮像した医用画像を入力する入力ステップと、 前記入力ステップで入力された医用画像における生体粘膜表面の境界情報を検出する境界情報検出ステップと、
    前記境界情報検出ステップにおいて検出された境界情報に対して肛門側の領域に局所的に存在する孤立領域を検出する孤立領域ステップと、
    前記検出ステップの検出結果に基づき性状の異なる生体粘膜の存在を検出する粘膜性状検出ステップと、
    からなることを特徴とする医用画像処理方法。
  3. 1つ以上の信号からなる生体粘膜表面を撮像した医用画像を入力する入力ステップと、 前記入力ステップで入力された医用画像における生体粘膜表面の境界情報を検出する境界情報検出ステップと、
    前記境界情報検出ステップにおいて検出された境界情報に基づき境界を含む局所領域を設定する領域設定ステップと、
    前記局所領域において前記境界の前後の2領域から特徴量を算出する特徴量算出ステップと、
    算出された前記特徴量に基づき性状の異なる生体粘膜の存在を検出する粘膜性状検出ステップと、
    からなる事を特徴とする医用画像処理方法。
JP2004360319A 2004-12-10 2004-12-13 医用画像処理装置 Expired - Fee Related JP4855673B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004360319A JP4855673B2 (ja) 2004-12-13 2004-12-13 医用画像処理装置
EP05814386.8A EP1842481B1 (en) 2004-12-10 2005-12-08 Medical image processing method
KR1020077012866A KR100891766B1 (ko) 2004-12-10 2005-12-08 의용 화상 처리 장치
PCT/JP2005/022562 WO2006062163A1 (ja) 2004-12-10 2005-12-08 医用画像処理方法
US11/811,263 US8144993B2 (en) 2004-12-10 2007-06-08 Medical image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004360319A JP4855673B2 (ja) 2004-12-13 2004-12-13 医用画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010290889A Division JP4856275B2 (ja) 2010-12-27 2010-12-27 医用画像処理装置

Publications (2)

Publication Number Publication Date
JP2006166990A true JP2006166990A (ja) 2006-06-29
JP4855673B2 JP4855673B2 (ja) 2012-01-18

Family

ID=36668336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004360319A Expired - Fee Related JP4855673B2 (ja) 2004-12-10 2004-12-13 医用画像処理装置

Country Status (1)

Country Link
JP (1) JP4855673B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008228818A (ja) * 2007-03-16 2008-10-02 Olympus Corp 輪郭検出装置および輪郭検出方法ならびにそのプログラム
JP2008237640A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の動作制御方法
WO2008136098A1 (ja) * 2007-04-24 2008-11-13 Olympus Medical Systems Corp. 医療用画像処理装置及び医療用画像処理方法
US7857752B2 (en) 2004-12-27 2010-12-28 Olympus Corporation Medical image processing apparatus and medical image processing method
US8055033B2 (en) 2005-02-15 2011-11-08 Olympus Corporation Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
JP2012045057A (ja) * 2010-08-24 2012-03-08 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2012073953A (ja) * 2010-09-29 2012-04-12 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
WO2013099305A1 (ja) * 2011-12-28 2013-07-04 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像上の位置の指定方法及び記憶媒体
JP2014023566A (ja) * 2012-07-24 2014-02-06 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
WO2015114950A1 (ja) * 2014-01-30 2015-08-06 コニカミノルタ株式会社 器官画像撮影装置
JP2017094145A (ja) * 2011-02-09 2017-06-01 テル ハショマー メディカル リサーチ インフラストラクチャー アンド サーヴィシーズ リミテッド 血液を含む組織の画像形成装置
US9881381B2 (en) 2013-12-19 2018-01-30 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium
WO2020084752A1 (ja) * 2018-10-26 2020-04-30 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155840A (ja) * 1998-11-18 2000-06-06 Olympus Optical Co Ltd 画像処理方法
JP2003533674A (ja) * 2000-03-10 2003-11-11 バスカー・バナージー 細胞の自己蛍光を使用した癌の検出方法
JP2004261581A (ja) * 2002-09-18 2004-09-24 Ethicon Endo Surgery Inc 複数の電極を備えた内視鏡アブレーションシステムおよびアブレーション方法
JP2004261582A (ja) * 2002-09-18 2004-09-24 Ethicon Endo Surgery Inc イメージセンサを備えた内視鏡アブレーションシステム
JP2005503181A (ja) * 2000-11-16 2005-02-03 ロバート エイ ガンズ ヒト食道内の異常組織を処置するシステム及び方法
JP2005508658A (ja) * 2001-03-30 2005-04-07 エシコン・エンド−サージェリィ・インコーポレイテッド 密封シースを有する内視鏡アブレーションシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155840A (ja) * 1998-11-18 2000-06-06 Olympus Optical Co Ltd 画像処理方法
JP2003533674A (ja) * 2000-03-10 2003-11-11 バスカー・バナージー 細胞の自己蛍光を使用した癌の検出方法
JP2005503181A (ja) * 2000-11-16 2005-02-03 ロバート エイ ガンズ ヒト食道内の異常組織を処置するシステム及び方法
JP2005508658A (ja) * 2001-03-30 2005-04-07 エシコン・エンド−サージェリィ・インコーポレイテッド 密封シースを有する内視鏡アブレーションシステム
JP2004261581A (ja) * 2002-09-18 2004-09-24 Ethicon Endo Surgery Inc 複数の電極を備えた内視鏡アブレーションシステムおよびアブレーション方法
JP2004261582A (ja) * 2002-09-18 2004-09-24 Ethicon Endo Surgery Inc イメージセンサを備えた内視鏡アブレーションシステム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7857752B2 (en) 2004-12-27 2010-12-28 Olympus Corporation Medical image processing apparatus and medical image processing method
US8055033B2 (en) 2005-02-15 2011-11-08 Olympus Corporation Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
US8036438B2 (en) 2007-03-16 2011-10-11 Olympus Corporation Outline detection apparatus, outline detection method, and program thereof
JP2008228818A (ja) * 2007-03-16 2008-10-02 Olympus Corp 輪郭検出装置および輪郭検出方法ならびにそのプログラム
WO2008126560A1 (ja) * 2007-03-16 2008-10-23 Olympus Corporation 輪郭検出装置および輪郭検出方法ならびにそのプログラム
US8562515B2 (en) 2007-03-28 2013-10-22 Fujifilm Corporation Capsule endoscope, capsule endoscopic system, and endoscope control method
JP2008237640A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の動作制御方法
WO2008136098A1 (ja) * 2007-04-24 2008-11-13 Olympus Medical Systems Corp. 医療用画像処理装置及び医療用画像処理方法
JP2012045057A (ja) * 2010-08-24 2012-03-08 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2012073953A (ja) * 2010-09-29 2012-04-12 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2017094145A (ja) * 2011-02-09 2017-06-01 テル ハショマー メディカル リサーチ インフラストラクチャー アンド サーヴィシーズ リミテッド 血液を含む組織の画像形成装置
US11911138B2 (en) 2011-02-09 2024-02-27 Tel Hashomer Medical Research Infrastructure And Services Ltd. Methods for in vivo fundus monochromotic angiography imaging blood-containing tissue by utilizing two wavelength from 400nm to 620 nm and 620 nm to 800 nm
JP2019219417A (ja) * 2011-02-09 2019-12-26 テル ハショマー メディカル リサーチ インフラストラクチャー アンド サーヴィシーズ リミテッド 血液を含む組織の画像形成装置
WO2013099305A1 (ja) * 2011-12-28 2013-07-04 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像上の位置の指定方法及び記憶媒体
JP2014023566A (ja) * 2012-07-24 2014-02-06 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
US9881381B2 (en) 2013-12-19 2018-01-30 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium
WO2015114950A1 (ja) * 2014-01-30 2015-08-06 コニカミノルタ株式会社 器官画像撮影装置
WO2020084752A1 (ja) * 2018-10-26 2020-04-30 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
JPWO2020084752A1 (ja) * 2018-10-26 2021-09-24 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
JP7017646B2 (ja) 2018-10-26 2022-02-08 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム
US11992177B2 (en) 2018-10-26 2024-05-28 Olympus Corporation Image processing device for endoscope, image processing method for endoscope, and recording medium

Also Published As

Publication number Publication date
JP4855673B2 (ja) 2012-01-18

Similar Documents

Publication Publication Date Title
KR100891766B1 (ko) 의용 화상 처리 장치
US11170498B2 (en) Image processing device, image processing method, and image processing program for detecting specific region from image captured by endoscope designated as detection target image in response to determining that operator's action in not predetermined action
EP1994878B9 (en) Medical image processing device and medical image processing method
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
JP6150583B2 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN100515318C (zh) 医用图像处理方法
JP5106928B2 (ja) 画像処理装置および画像処理プログラム
JPWO2018105063A1 (ja) 画像処理装置
US10194783B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region
US8682418B2 (en) Diagnosis supporting apparatus and control method of diagnosis supporting apparatus
JP4855673B2 (ja) 医用画像処理装置
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
WO2008044466A1 (fr) Dispositif, procédé et programme de traitement d'image
JP4749732B2 (ja) 医用画像処理装置
JP4971525B2 (ja) 画像処理装置及び画像処理装置の制御方法
CN112312822A (zh) 内窥镜用图像处理装置和内窥镜用图像处理方法以及内窥镜用图像处理程序
JP4077716B2 (ja) 内視鏡挿入方向検出装置
JP6824868B2 (ja) 画像解析装置及び画像解析方法
CN116745861A (zh) 通过实时影像获得的病变判断系统的控制方法、装置及程序
JP4856275B2 (ja) 医用画像処理装置
WO2021005733A1 (ja) 画像解析装置及び画像解析方法
JP5315376B2 (ja) 柵状血管検出装置および柵状血管検出装置の作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111027

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4855673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees