JP2004202217A - イメージング装置 - Google Patents

イメージング装置 Download PDF

Info

Publication number
JP2004202217A
JP2004202217A JP2003314206A JP2003314206A JP2004202217A JP 2004202217 A JP2004202217 A JP 2004202217A JP 2003314206 A JP2003314206 A JP 2003314206A JP 2003314206 A JP2003314206 A JP 2003314206A JP 2004202217 A JP2004202217 A JP 2004202217A
Authority
JP
Japan
Prior art keywords
scattering
image
spectrum
light
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003314206A
Other languages
English (en)
Other versions
JP4632645B2 (ja
Inventor
Kazuhiro Atono
和弘 後野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003314206A priority Critical patent/JP4632645B2/ja
Priority to EP03812683A priority patent/EP1576920B1/en
Priority to PCT/JP2003/014641 priority patent/WO2004052187A1/ja
Priority to US10/534,921 priority patent/US8000776B2/en
Publication of JP2004202217A publication Critical patent/JP2004202217A/ja
Application granted granted Critical
Publication of JP4632645B2 publication Critical patent/JP4632645B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters

Abstract

【課題】 既存の内視鏡光学系をそのまま利用することを前提に、光源装置、およびプロセッサ内部の改良だけで、簡易な散乱イメージングを行う。
【解決手段】 画像処理回路30は、各画像データを入力すると共にスペクトル推定に必要なデータを推定用データ供給部51から得て各画素のスペクトルを推定するスペクトル推定部52と、スペクトル推定部52からの各画素のスペクトルと特徴計算用データ供給部53からの特徴計算用に必要なデータとに基づき数個の散乱特徴を計算する散乱特徴計算部54と、散乱特徴計算部54からの散乱特徴画像に基づいて、表示色計算を行い、カラー画像として散乱特徴を表示すべく、各画素のRGB値を決めRGB画像を出力する色彩画像生成部55とを備えて構成される。
【選択図】 図4

Description

本発明は、生体組織の散乱イメージング処理を行うイメージング装置に関する。
食道癌など消化菅腫瘍疾患は、その多くが消化管粘膜の最表層である上皮層内の基底層から発生することが知られている。基底層から発生した異型細胞が増殖して上皮全層を置換する方向へ、その悪性度が進行する。上皮内におけるこの腫瘍性変化は細胞単体の異型と同時に病理学的な構造変化、いわゆる構造異型を伴い、正常病理像とは異なる不整な組織配列を呈する。
内視鏡診断の目的は、この種の腫瘍をできるだけ早期に発見することにある。早期で発見できれば、内視鏡的治療など低侵襲な手術により根治できる可能性が高くなる。
しかし、食道癌などある種の腫瘍は、早期段階では明確な形状(ポリープまたは陥凹形状)に乏しく、その発見は必ずしも容易でない。
これら形状変化に乏しい腫瘍を早期に発見、鑑別するためにこれまで、多くの提案が為されてきた。
その中でも有力視されているのは、前述した核異型、構造異型が、光学的に散乱変化を生起すると考えて、その散乱変化を光学的に捉えることで、通常の観察像では困難な早期病変の発見を行う技術、散乱スペクトロスコピー、散乱イメージングである(例えば特開2002−95635号公報)。
従来、上皮内の散乱特性を測定、イメージングするために、偏光光学系を用いた提案が数多く為されている。上皮表面からの後方単散乱光が偏光成分を保持している一方で、上皮下層(粘膜層、粘膜下層)からの多重散乱光が無偏光となるという知見に基づき、水平、垂直偏光成分の差分観測値に基づきイメージングを行う技術である。
ある方向(例えば水平方向)に偏光された観測光で生体組織を照明することで、上皮表面の細胞配列からの後方散乱光は同じ方向(例えば水平方向)の偏光成分として観測される。一方、上皮下内に伝播した光は細胞や様々な組織に構成物による多重散乱効果によって無偏光状態となって組織表面から拡散反射光として観測される。
この光を観測光とは異なる(例えば垂直方向)方向を持つ偏光子で観測することで、多重散乱光の大きさを見積もることができる。この値を用いて、偏光がほとんど維持されている観測光(水平偏光)に含まれる多重散乱の影響を、差分操作で補正し、上皮表層の細胞からの単散乱光を抽出する。
細胞による単散乱現象は、原形質に浮いた様々な球形粒子によるMie散乱としてモデル化が可能であるとされている。 Mie散乱光の特徴として、散乱粒子の粒径、周辺媒体(この場合は、主に原形質)との屈折率比、観測波長に散乱スペクトル形状が依存する。とくに、重要なのは粒径とスペクトル形状との関連である。
前記、偏光測定により抽出した単散乱光のスペクトル形状をMie散乱モデルを用いて、粒径を変化させながら非線形最小二乗法等によりフィッティングを行うことで、粘膜上皮の粒径を推定することが可能となる。
上皮層において主に散乱に寄与するものの一つとして細胞核が考えられており、上記方法によって推定された粒径は細胞核の大きさに高い相関を特つと考えられている。
前述した核異型は、核の腫大(腫瘍性変化に伴い、核が正常状態より大きくなること)を伴うので、この方法により核の大きさを推定するということは、上皮の腫瘍性変化の状態を推定することになる。
したがって、偏光を用いたスペクトロスコピー、およびイメージングは核腫大をイメージングできる可能性を持っている。
特開2002−95635号公報
以上のように偏光スペクトロスコピー、およびイメージングは核腫大を定量的に推定する可能性を持っているが、内視鏡への応用を考えた場合に下記のような問題がある。
・偏光光学系を内蔵した特殊なスコープが必要
・偏光を用いるため、高感度な撮像素子が必要(偏向光を生成、受光するための光学素子:偏光子を用いると、光のエネルギーは極端に低下する)
・Mie散乱によるモデル化を行うため、照明光と観測光の角度(後方散乱角)を正確に知るか、あるいは固定するための工夫が必要(Mie散乱モデルでは観測される後方散乱光の角度によってスペクトル形状が大きく依存する)
以上の問題を解決することで、高性能な散乱イメージング装置を実現する可能性はあるが、装置コストの観点からは前述した課題もある。
本発明は、上記事情に鑑みてなされたものであり、既存の内視鏡光学系をそのまま利用することを前提に、光源装置、およびプロセッサ内部の改良だけで、簡易な散乱イメージングを行うことのできるイメージング装置を提供することを目的としている。
本発明のイメージング装置は、光源装置と、前記光源装置からの照射光を観察に用い、生体観察像を映像信号に変換する撮像装置と、前記映像信号から生体画像を生成するプロセッサとからなるイメージング装置において、前記プロセッサが、少なくとも生体組織による散乱特徴を画像情報として有する生体画像を生成する手段を備えて構成される。
本発明によれば、既存の内視鏡光学系をそのまま利用することを前提に、光源装置、およびプロセッサ内部の改良だけで、簡易な散乱イメージングを行うことができるという効果がある。
以下、図面を参照しながら本発明の実施例について述べる。
図1ないし図10は本発明の実施例1に係わり、図1は散乱イメージング装置の構成を示す構成図、図2は図1の回転フィルタの構成を示す図、図3は図2の回転フィルタの分光特性を示す図、図4は図1の画像処理回路の構成を示すブロック図、図5は図1の散乱イメージング装置が散乱イメージングを行う消化管粘膜組織を説明する図、図6は図5の消化管粘膜組織における所望の散乱特性を生じさせる分光特性のフィルタを説明する図、図7は図4のスペクトル推定部の作用を説明する図、図8は図4のスペクトル推定部の処理の流れを示すフローチャート、図9は図4の散乱特徴計算部の作用を説明する図、図10は図1の回転フィルタの変形例の構成を示す図である。
図1に示すように、本実施例の散乱イメージング装置を構成する内視鏡装置1は、体腔内に挿入し体腔内組織を撮像する撮像手段としてCCD2を有する電子内視鏡3と、電子内視鏡3に照明光を供給する光源装置4と、電子内視鏡3のCCD2からの撮像信号を信号処理して内視鏡画像を観察モニタ5に表示するビデオプロセッサ7とから構成される。
光源装置4は、照明光を発光するキセノンランプ11と、白色光の熱線を遮断する熱線カットフィルタ12と、熱線カットフィルタ12を介した白色光の光量を制御する絞り装置13と、照明光を面順次光にする回転フィルタ14と、電子内視鏡3内に配設されたライトガイド15の入射面に回転フィルタ14を介した面順次光を集光させる集光レンズ16と、回転フィルタ14の回転を制御する制御回路17とを備えて構成される。
回転フィルタ14は、図2に示すように、円盤状に構成され中心を回転軸とした構造となっており、図3に示すような分光特性の面順次光を出力するためのフィルタ組を構成するC1フィルタ14c1,C2フィルタ14c1,C3フィルタ14c1が配置されている。そして、回転フィルタ14は、図1に示すように、制御回路17により回転フィルタモータ18の駆動制御がなされ回転されるようになっている。
なお、キセノンランプ11、絞り装置13及び回転フィルタモータ18には電源部10より電力が供給される。
図1に戻り、ビデオプロセッサ7は、CCD2を駆動するCCD駆動回路20と、対物光学系21を介してCCD2により体腔内組織を撮像した撮像信号を増幅するアンプ22と、アンプ22を介した撮像信号に対して相関2重サンプリング及びノイズ除去等を行うプロセス回路23と、プロセス回路23を経た撮像信号をデジタル信号の画像データに変換するA/D変換器24と、A/D変換器24からの画像データにホワイトバランス処理を施すホワイトバランス回路25と、回転フィルタ14による面順次光を同時化するためのセレクタ26及び同時化メモリ27、28,29と、同時化メモリ27、28,29に格納された面順次光の各画像データを読み出しガンマ補正処理、輪郭強調処理、色処理等を行う画像処理回路30と、画像処理回路30からの画像データをアナログ信号に変換するD/A回路31,32,33と、光源装置4の制御回路17からの回転フィルタ14の回転に同期した同期信号を入力し各種タイミング信号を上記各回路に出力するタイミングジェネレータ35と、プロセス回路23を経た撮像信号を入力し光源装置4の絞り装置13を制御し適正な明るさ制御を行う調光回路43とを備えて構成される。
画像処理回路30は、図4に示すように、同時化メモリ27、28,29からの各画像データを入力すると共にスペクトル推定に必要なデータを推定用データ供給部51から得て各画素のスペクトルを推定するスペクトル推定部52と、スペクトル推定部52からの各画素のスペクトルと特徴計算用データ供給部53からの特徴計算用に必要なデータとに基づき数個の散乱特徴を計算する散乱特徴計算部54と、散乱特徴計算部54からの散乱特徴画像に基づいて、表示色計算を行い、カラー画像として散乱特徴を表示すべく、各画素のRGB値を決め、RGB画像としてD/A回路31,32,33へと出力する色彩画像生成部55とを備えて構成される。
なお、推定用データ供給部51及び特徴計算用データ供給部53はビデオプロセッサ7内、あるいは外部ブロックに備えられる。
食道などの消化管粘膜組織はおよそ図5のような構造を持つ。食道癌などの腫瘍は上皮層と粘膜層を分ける基底層から発生する。基底層から発生した腫瘍は核異型と構造異型を伴いながら上皮全層を異型細胞で置換し、いわゆる異形成状態を経て癌へ進行する。
上皮層は扁平上皮で構成され、その緻密な細胞構造から強い散乱特性を示す。また、その散乱特性は波長依存性を持っており、短波長から長波長にかけて低下する特性を持つと考えられている(したがって、短波長光は上皮内でほとんど散乱、反射され、それ以降の粘膜層下への深達は少ないと考えられる)。
よって、上皮内の散乱特性の変化を捉えるには、長波長光より短波長光の方が適していると考えられる。このことは、イメージングにおいても同様で、狭帯域マルチバンド照明をケースに以降説明する。
面順次光を生成する回転フィルタにおいては、図6に示すように、自然な色再現を得るために、通常はC−B、C−G、C−Rのような広帯域なフィルタの組合せが用いられる。回転フィルタが高速に回転することで、3つのバンド光が時系列的に被写体を照明して、順次モノクロCCDで撮像し、ビデオプロセッサで合成されて、各照明光に対応するバンド画像が観察モニタのBlue、Green、Redチャンネルに充当されて、一枚のカラー画像として表示されることになる。
ただし、所望の特性を持つフィルタを作成することができれば、例えば、C2、C4、C6などC−B、C−G、C−Rの中心波長は大きく変化させないで、半値幅を狭帯域化することで、血管像のコントラストを向上させることもできる。
しかし、ここでは回転フィルタ14は、上皮内の散乱イメージングを目的とするので、前述のとおり、短波長光からバンドを選択する。図6のC1、C2、C3が相当する。これら短波長城の複数のバンド画像は、長波長側のバンド(C4、C5、C6、C7)より比較的上皮内の構造を良く表すものと考えられる。
ここで、C1、C2、C3照明光に対応するバンド画像をBlue、Green、Redチャンネルに充当して一枚のカラー画像として観察モニター上に再現することも考えられるが、色情報がどのような散乱特性に対応するのか、またその色変化が病理学的な如何なる変化(例えば、構造異型の程度や核腫大の程度など)に対応するのかが明確ではなく、画像の理解が容易ではない。ひいては、内視鏡医が検査中にこのような画像を観察しても、腫瘍の早期発見に寄与することが難しい。
そこで、本実施例では、これら複数のバンド画像から分光反射率を推定し、推定された分光反射率から生体組織の光学モデルに基づいて、病理学的に相関の高い特徴へ変換して、画像中におけるその特微量の変化を色彩情報として表示することを考える。
本実施例の目的は、狭帯域マルチバンド画像から各画素の分光反射率を推定し、光学モデルに基づいた病理学的に相関の高い特微量を推定し、推定された特微量の画像中における変化に基づいて色彩情報を生成することにある。
(作用)
同時化メモリ27、28,29から出力された狭帯域バンド画像(本実施例は3バンドを想定しており、図6に示すように短波長バンド;C1、C2、C3に対応)は、画像処理回路30内に設けられたスペクトル推定部52に入力する。スペクトル推定部52は、スペクトル推定に必要なデータを画像処理部内、あるいは外部ブロックに備えられた推定用データ供給部51から得て各画素のスペクトルを推定する。
推定スペクトル、つまりスペクトル画像は散乱特徴計算部54の入力値となる。散乱特徴計算部54は、特徴計算用に必要なデータを、画像処理部内、あるいは外部ブロックに備えられた特徴計算用データ供給部53から得て数個の散乱特徴を計算する。この時点で、各画素には数個の散乱特徴が割り当てられている。
散乱特徴計算部54は、散乱特徴画像を色彩画像生成部55へと出力する。色彩画像生成部55は、散乱特徴画像に基づいて、表示色計算を行い、カラー画像として散乱特徴を表示すべく、各画素のRGB値を決め、RGB画像としてD/A回路31,32,33へと出力する。
次に各ブロック(スペクトル推定部52、散乱特徴計算部54及び色彩画像生成部55)における作用について説明する。詳細は文献「V.Backman,R.Gurjar,K.Badizadegan,I.Itzkan,R.R.Dasari,L.T.Perelman,and M.S.Feld,”Polarized Light Scattering Spectroscopy for Quantitative Measurement of Epithelial Cellular Structures In Situ,”IEEE J.Sel.Top.Quntum Electron,5,1019−1026(1999)」に開示されている。なお、以下の数式で”^”は数個の要素を持つベクトル(小文字)、行列(大文字)を示す。
(スペクトル推定部52)
被写体分光反射率と観測されるマルチバンド画像の画素値との関係を式(1)のイメージング方程式として示す。
Figure 2004202217
ここで、g^はバンド数の次元(N;本実施例では3)を持つ画素値列ベクトルである。f^は被写体分光反射率列ベクトルであり、波長方向にL個で数値が離散化されている。n^はノイズ列ベクトル。H^は各バンドの分光感度特性であるN個の行ベクトルで構成されるL×Nのシステムマトリックスとする。
問題は、H^が既知であり観測値g^から被写体の分光反射率を推定することである。H^は観察光スペクトル、狭帯域フィルタの分光透過率特性、撮像素子の分光感度特性など、イメージングシステムの分光特性として既知である。
一般に「バンド数N<波長サンプリング数L」であるため、推定問題はill-conditionである。つまり、g^に対して、式(1)を満たすf^は無数に存在することになる(言い換えれば、未知数より方程式の数が少ないので、いろんな解が考えられて、何か条件を付加しないと解を一つに決定することができない)。
そこで、先見情報を準備して解空間(この場合はL次元スペクトル空間)を制限する(これが、解を一つに決定するための条件となる)ことで、妥当な推定解を見いだす必要がある。つまり、先見情報を用いて、L次元スペクトル空間の中で解の候補となりうるスペクトルが分布する部分空間内で最適な解を求める問題に帰着する。
先見情報を用いた手法としてWiener推定が一般的に用いられる。式(2)にWiener推定における推定マトリックスAを示す。観測ベクトルgの右からこの推定マトリックスAを乗算することで、スペクトルを推定する。したがって、スペクトル推定手段は、予め設定された推定マトリックスAを用いた、マトリックス演算器として動作する。
Figure 2004202217
ここで、Rf^は推定すべき被写体スペクトルの波長方向の自己相関行列(L×L)、Rn^は式(1)でn^として現われる加法ノイズの自己相関行列である。Rn^は予め測定されたイメージングシステム(ここでは、光源とスコープを組み合わせたトータルのシステムを指す)のノイズ杵|生から推定可能であり、既知である。ここでいう先見情報とはRf^、Rn^であり、とくにRf^は推定される分光反射率の妥当性を左右する最も重要なパラメータである。
従来、この自己相関行列Rf^は、推定されるスペクトルが波長方向に平滑(つまり、輝線スペクトルなど急激な波長変化はなく、波長方向に比較的なだらかな特性ということ)と仮定して微分オペレータ行列の逆(つまり空間周波数領域において低周波強調フィルタとなる)を用いたり、マルコフモデルなどの統計モデルで分光反射率が表現できるとしてマルコフ遷移行列を用いたりする場合が多い。本実施例では、この自己相関行列Rf^として後述する生体組織の離散粒子構造モデル(以下、光学モデル)から推定されるスペクトルから求めた自己相関行列を利用する。
次に光学モデルについて説明する。生体組織は、繊維組織、細胞、リンパ球、毛細血管、細胞核、細胞内小器官など、様々な要素で構成されている。
散乱は屈折率変化の大きい場所で起こるので、生体組織における主な散乱体(散乱主体)は、細胞核やミトコンドリアなどの細胞内小器官であると考えられている。観測波長と同程度か、少し小さい程度の大きさの粒子に対しては、その位相関数と散乱係数をMie散乱モデルで予測することができる。位相関数は、方向sから散乱主体に入射した光がs’方向に散乱される確率を示す。また、散乱係数は単位距離あたりに光子が何回、散乱を受けるかを表すパラメータである。
このMie散乱モデルは、2πma/λ(λは波長、mは屈折率比、aは散乱主体の直径)をモデルのパラメータとして持つ。核と原形質の屈折率比には、大きな変動がないと考えられるので、Mie散乱は主に散乱主体をパラメータとして散乱スペクトルを予測するモデルであると言える。
一方、生体組織に内にどの程度の大きさの粒子(細胞核、細胎内小器官)がどのくらいの密度で存在するかの情報(粒径分布関数)が分かれば、そこから位相関数と散乱係数を推定することが、このMie散乱モデルで可能となる。粒径分布の概念図を図7に示す。実際の粒子直径は細胎内小器官の0.4μm程度から細胞核の4μm程度と考えられており、正常組織から構造異形が進行するにしたがって、図6中の矢印のように粒径分布が変化(f1(d)からf2(d)、dは粒子直径)すると考えられている。Mie散乱モデルを用いて、粒径分布関数、粒子と周辺媒体との屈折率比(およそ1.03で、周辺媒体としては原形質が想定される)から、位相関数と散乱係数を計算する。粒径分布関数は、正規分布や対数正規分布を適用することが可能である。ターゲットに対して想定される粒径分布パラメータ(平均や標準偏差)の変動に対して、Mie散乱モデルから光学係数を計算し、計算された光学係数に基づき、光伝播モデルにより多重散乱過程をシミュレートすることで、スペクトルを計算する。
光伝播モデルには、解析的な手法として計算時間において有利だが、モデル形状の自由度に制約が大きい拡散方程式による方法や、その計算に時間を要するがモデル形状に対する自由度が大きいモンテカルロモデルなど、状況に応じて使い分けることができる。
ここまでに、モデル計算について整理すると、図8に示すように、ステップS1で粒径分布パラメータ(平均、標準偏差)を得。ステップS1で粒径分布パラメータをMie散乱モデルに入力する。ステップS3でMie散乱モデルからは、散乱係数と位相関数出力される。実際には、各々の粒子サイズ毎にMie散乱モデルを適用して、散乱係数と位相関数を計算して、粒径分布を重み関数として重み付き加算平均として、粒径分布を考慮したMie散乱計算を行う。
以上のモデル計算によって、上皮内の腫瘍性変化に伴う核異型、構造異型を粒径分布パラメータ(平均、標準偏差)の変化として考え、スペクトル計算を行い、これを事前知識として考えて解空間(スペクトル空間)に制約を行う。つまり、Wiener推定における自己相関行列Rf^をこのモデル計算から推定されたスペクトル分布から予め計算しておく。
具体的には、ステップS4で病理学的知見から得られた粒径分布パラメータ変化(平均値、標準偏差の変動)に応じたスペクトル変化をMie散乱モデル+光伝播モデルで計算する。計算の結果、ステップS5でスペクトル空間において、粒径分布パラメータ変化に応じたスペクトル分布が形成される。これを母集団として考えて、スペクトルの波長方向の自己相関行列を推定する。
以上、光学モデル(粒径分布モデル+Mie散乱モデル+光伝播モデル)によって予め推定された自己相関行列を用いて、上皮内の散乱スペクトルを推定する。したがって、推定用データ供給部には、H^、Rf^、Rn^に基づいた式(2)で計算されるマトリックスAが格納される。
(散乱特徴計算部54)
スペクトル推定部52によって推定されたスペクトルからは、様々な特徴を計算することができる。本実施例では、粒径分布パラメータに着目して、このパラメータに相関を持つ特徴量をスペクトルから推定する方法を提案する。概念図を図9に示す。
自己相関行列を推定する際に、粒径分布パラメータ(平均、標準偏差)の変化に対するスペクトル変動範囲が予め分かっている。
したがって、散乱特徴として考えられる平均と標準偏差に対応する特徴軸がF1、F2として既知となる。つまり、F1、F2で張られる部分空間にスペクトルが分布することになる。よって、計算されたスペクトルからF1、F2への投影値(f1、f2)、および明るさ(例えば、スペクトルの面積など)を3番目の値として、散乱特徴とする。したがって、特徴計算用データ供給部には、各特徴軸のスペクトルが格納されている。また、計算部における演算は、特徴軸スペクトルと、散乱スペクトルの内積計算となる。
(色彩画像生成部55)
散乱特徴計算部54から出力された散乱特徴、およびスペクトルの明るさを例えば、Blue、Green、Redチャンネルに充当して色彩画像を生成する。その際に、画素値を8ビットなど後段のD/A性能に合わせて適切に量子化する必要がある。画面中で早期病変を発見するには、相対的な散乱変化、つまり核異型、構造異型の程度を捉えれば十分であることが多いので、フレーム中で散乱特徴をダイナミックレンジを計算して、8ビットなど既定のレベルで量子化を行い、RGB信号として出力する。
以上、本実施例の特徴をまとめると、各画素に対応する分光反射率の推定を、深達度が比較的浅く、上皮内の特徴を強く反映していると想定される短波長域でのマルチバンド画像と、上皮組織を離散粒子構造としてモデル化し、Mie散乱モデルおよび光伝播モデルから計算されるモデルベースの分光反射率分布から推定された自己相関行列を用いることによって散乱スペクトルを推定し、スペクトル空間における予め求められた粒径分布パラメータに対応する特徴軸への投影値を散乱特徴とし、各画素のこれら特微量を色チャンネルに割り当てて色彩情報で散乱イメージングを実現する。
(効果)
本実施例によれば、偏光光学系など特殊なスコープを用いずに、狭帯域フィルタとプロセッサ内の演算により、散乱特性変化に相関のあるイメージングが可能となり、上皮内構造異形など従来は観察が困難であった特徴を視認することが可能となる。
なお、通常観察像を可能とするため、図10に示すような複数の狭帯域C1〜C6(図6参照)の狭帯域フィルタ14C1〜C6を装着した回転フィルタ14を用いてもよく、この場合、各々の狭帯域フィルタの画像に対応するように、フィルタ数分のメモリを備える。また、この場合、画像処理回路30は、図示はしないが、通常観察像生成部と実施例1で記述したスペクトル推定部52+散乱特徴計算部54を備え、さらに散乱特徴計算部54の出力に基づいて、強調係数を計算するコントラスト強調係数計算部を備える。フレーム内で例えば粒径分布の平均値やあるいは標準偏差と平均を用いた合成特徴などに相関のある値に基づいて、量子化された一つの値を計算する。この値に基づいて、通常観察像生成都で生成された画像の輝度チャンネルに対して空間周波数の強調係数を決めるようにしてもよい。これにより通常観察像に散乱特徴に基づくコントラスト強調を行うことが可能となる。
図11は本発明の実施例2に係る画像処理回路の構成を示すブロック図である。
実施例2は、実施例1とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
(構成・作用)
上皮内における散乱スペクトルを推定するため、短波長帯域で複数の狭帯域フィルタを用いる。この帯域は散乱特性が強い一方でヘモグロビンの吸収極大(415nm)も存在する。例えば、食道扁上皮を考えた場合、正常粘膜ではほとんど毛紬血管は存在しないが、核の腹大に伴って、乳頭内血管が拡張したり上皮内に新生血管が増生したりする。このような毛細血管像は、ヘモグロビン由来の特異的なスペクトルを有するため、散乱スペクトル推定では誤差要因となることが想定される。したがって、この吸収像としの毛細血管像を散乱スペクトル推定前に分離する。
分離は、これら毛細血管像が空間周波動的に高周波であることと、散乱イメージ自体は多重散乱により低周波像を形成すると考え、具体的には、図11に示すように、本実施例の画像処理回路30では、散乱スペクトル推定部52の前段に空間周波数フィルタによる各狭帯域バンド画像に対応したフィルタリング部61、62,63を設ける。フィルタリング部61、62,63における動作は、FIRフィルタによるコンボリューション演算器で実現可能であって、毛細血管像分離用の高周波バンドパスフィルタと散乱スペクトル推定用のローパスフィルタとで構成される。
各狭帯域バンド画像に対応したフィルタリング部61、62,63からの出力は、各バンド画像に対応した高周波画像C1H、C2H、C3H(添え字H)と低周波画像C1L、C2L、C3L(添え字L)に分離され、低周波画像は散乱スペクトル推定部52へ、高周波画像は毛細血管像生成手段64へと出力される。
散乱スペクトル推定部52では、実施例1で説明したように、Wiener推定における自己相関行列を離散粒子構造モデルから推定される上皮内後方散乱スペクトル分布から算出することで、散乱スペクトルを推定する。
一方、毛細血管像生成部64では、各バンドから作成された高周波画像に対して、適当なノイズ徐去や場合によっては血管構造をモデル化したマッチトフィルタによりより鮮明に毛細血管像を生成し、輝度情報として画像信号生成部65へと出力する。
画像信号生成部65では、散乱スペクトル推定部52からの出力に基づき、散乱特性をカラーマップで作成し、一方、毛細血管像を輝度情報として合成することで、散乱+毛細血管吸収像を観察モニタ5に出力する。
(効果)
本実施例によれば、偏光光学系など特殊なスコープを用いずに、狭帯域フィルタとプロセッサ内の演算により、散乱特性変化に相関のあるイメージングが可能となり、上皮内構造異形など従来は観察が困難であった特徴を視認することが可能となる。また、空間フィルタリング手段によって、吸収像である毛細血管像を事前に分離するとで、分光反射率推定精度の低下を防ぐと同時に、鑑別診断に重要となる毛細血管パターンと散乱像を合成して表示することが可能となる。
図12及び図13は本発明の実施例3に係わり、図12は散乱イメージング装置の構成を示す構成図、図13は図12の回転フィルタの構成を示す図である。
実施例3は、実施例1とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
(構成・作用)
本実施例の回転フィルタ14は、図13に示すように、円盤状に構成され中心を回転軸とした2重構造となっており、外側の径部分には図6に示したC1〜C3の分光特性の狭帯域な面順次光を出力するための第1のフィルタ組を構成するC1フィルタ14C1,C2フィルタ14C2,C3フィルタ14C3が配置され、内側の径部分には図6に示したC4〜C6の分光特性の面順次光を出力するための第2のフィルタ組を構成するC4フィルタ14C4,C5フィルタ14C5,C6フィルタ14C6が配置されている。
そして、回転フィルタ14は、図12に示すように、制御回路17により回転フィルタモータ18の駆動制御がなされ回転され、また径方向の移動(回転フィルタ14の光路に垂直な移動であって、回転フィルタ14の第1のフィルタ組あるいは第2のフィルタ組を選択的に光路上に移動)がビデオプロセッサの7内のモード切替回路42からの制御信号によりモード切替モータ19によって行われる。
なお、キセノンランプ11、絞り装置13、回転フィルタモータ18及びモード切替モータ19には電源部10より電力が供給される。
電子内視鏡2には、モード切替スイッチ41が設けられており、このモード切替スイッチ41の出力がビデオプロセッサ7内のモード切替回路42に出力されるようになっている。ビデオプロセッサ7のモード切替回路42は、制御信号を調光回路43,調光制御パラメータ切替回路44及び光源装置4のモード切替モータ19に出力する。
調光制御パラメータ切替回路44は、回転フィルタ14の第1のフィルタ組あるいは第2のフィルタ組に応じた調光制御パラメータを調光回路43に出力し、調光回路43はモード切替回路42からの制御信号及び調光制御パラメータ切替回路44からの調光制御パラメータに基づき光源装置4の絞り装置13を制御し適正な明るさ制御を行う。
(効果)
このように本実施例では、実施例1の効果に加え、C4フィルタ14C4,C5フィルタ14C5,C6フィルタ14C6を用いることで、通常観察光による体腔内観察が可能となる。
図14は本発明の実施例4に係る体表面撮像装置を示す図である。
実施例4は、実施例1とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
(構成・作用)
上記各実施例では、撮像装置を内視鏡内に設け、体腔内組織の散乱イメージングを行う実施形態を説明したが、本実施例では、体表面に狭帯域光を照射し皮膚がん等を検知することの出来る散乱イメージング装置を説明する。
図14に示すように、本実施例では、電子内視鏡2の代わりに、肌に接触させるフード81,リング状に配置されたライトガイド82,対物光学系とCCDとからなる撮像部83を先端に備えた体表面撮像装置84が設けられる。
そして、フード81を肌に接触させ、ライトガイド82より光源装置4からのC1〜C3の分光特性の狭帯域な面順次光を照射し、撮像部83にて撮像して、撮像信号をビデオプロセッサ7に伝送する。
(効果)
このように本実施例では、体表面においても実施例1と同様な作用効果を得ることができ、皮膚がん等を検知することが可能となる。
図15ないし図18は本発明の実施例5に係わり、図15は画像処理回路の構成を示す構成図、図16は図15の画像処理回路の作用を説明する第1の図、図17は図15の画像処理回路の作用を説明する第2の図、図18は図15の画像処理回路の作用を説明するフローチャートである。
実施例5は、実施例1とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
食道など消化管粘膜は層構造を有する。早期癌は主に表層内で発生、伸展する。したがって、より早期の癌を発見するには、粘膜表層内で起きている病理学的な変化を映像として捉える必要がある。
しかし、一般的に生体からの反射光は、粘膜表層が非常に薄いため、表層(第1層)より下の層(第2層)以降の変化に反応する。その変化とは、散乱・吸収であり、具体的には病理学的構造や血管密度である。
そこで、散乱イメージングとして、第2層の光学特性変化にできるだけ影響を受けない、なおかつ第1層の光学特性(散乱変化)を強調する散乱特微量を算出するアルゴリズムが必要となる。
実施例5では、分光画像値、あるいはマルチバンド画像値である観測値から前記散乱特微量への写像を求める。
(構成)
図15に示すように、画像処理回路30において、特徴計算用データ供給部53には、多重判別分析によって求められた後述する臓器毎の消化管粘膜写像データ100である、胃粘膜写像データ、食道粘膜写像データ等が格納され、散乱特徴計算部54は図示しない入力手段からの臓器選択信号に基づき、対応する消化管粘膜写像データ100を特徴計算用データ供給部53より読み出し、散乱特徴を計算するようになっている。
次に、特徴計算用データ供給部53に格納される消化管粘膜写像データ100について説明する。図5において食道などの消化管粘膜組織の構造を説明したが、ここでは上皮層を第1層、基底層以下の下層全体を第2層とすると、画像処理回路30のスペクトル推定部52で推定されたスペクトルには第2層の影響が強く反映されおり、第1層の細胞核腫大を想定したスペクトル変化はマスキングされている。
そこで、本実施例では、観測スペクトル空間において第2層の影響が小さく、第1層の散乱特徴が強調される部分空間への写像を求め、求めた写像を消化管粘膜写像データ100として特徴計算用データ供給部53に格納する。
このような写像は、公知の多重判別分析によって、第2層の特性変化に依存するばらつきを最小化する条件下で、第1層の特性変化、この場合は散乱特徴に依存するスペクトル変化を最大化する線形写像として求めることができる。
例えばスペクトル空間で、生体組織のスペクトルが図16のように分布しているとする。ここで、クラスとは早期食道癌における上皮などターゲットとなる層の散乱特徴が同じであるデータ集合を意味する。この図16では、2つのクラスが描かれているので、散乱特徴が異なる2種類の上皮を有するデータ集合を示すことになる。
各々のクラス内には上皮以外の層の散乱・吸収特性の変化に応じたデータの広がりが現れる。多重判別空間への写像とは、図16に描かれたクラス内の広がりを最小化する条件下でクラス間の距離を最大化する変換を意味する(2クラスでその写像が線形の場合には、フイッシャーの線形識別として知られている)。
この写像によって、図16の生体組織のスペクトルが、図17に示すようにクラス間の距離(クラス間分散)が最大化され、なおかつクラス内のばらつき(クラス内分散)が最小化される空間に写像される。クラス内分散及びクラス間分散は、例えば光散乱シミュレーションによって計算することができる。
つまり、上皮などターゲットとなる層の生体組織の散乱特性がその層以外の吸収・散乱特性の影響を最小限に抑えた状態で強調されることを意味する。
(作用)
本実施例では、図18に示すように、画像処理回路30は、ステップS51において同時化メモリ27、28,29からの各画像データを入力すると、ステップS52においてスペクトル推定部52が推定用データ供給部51から生体スペクトル自己相関データ得て各画素のスペクトルを推定し、ステップS53において散乱特徴計算部54がクラス内分散及びクラス間分散を最適化した空間に写像させる消化管粘膜写像データ100を臓器選択信号に基づき特徴計算用データ供給部53より読み出し、散乱特徴を算出し、ステップS54において色彩画像生成部55が散乱特徴計算部54からの散乱特徴画像に基づいて、表示色計算を行い、カラー画像として散乱特徴を表示すべく、各画素のRGB値を決め、RGB画像としてD/A回路31,32,33へと出力する。
色彩画像生成部55では、多重判別分析で得られる散乱特徴空間を3次元とすると、散乱特徴空間を構成する各軸をRGBカラーチャンネルに割り当てる。各軸、最大、最小を予め規定しておき、その範囲で各カラーチャンネルのレンジを割り当てる。
別のカラー割当方法として、画像中でコントラストが最大になるように情報を割り当てる。フレーム(あるいはフィールド)単位で演算装置に画像を入力し、画面内で散乱特徴空間にデータを写像する。画面内の画素値の数に応じて、散乱特徴空間内にデータが分布する。その最大分散方向は、クラス間分散、つまりは散乱特徴変化が最も反映される方向となるはずである。したがって、KL展開など一般的な手法を用いて、最大分散軸への写像値を求める。最大分散軸上の一点を基準点として定めて、そこからの距離に応じて画像に色を割り当てる。色は色相方向に割り当てるなど、もっとも視認性の良い表現で行う。
なお、マルチバンド画像から被写体スペクトルを推定せずに、マルチバンド画像値に対してゲインバランスの補正をした値をそのまま用いるようにしてもよく、この場合スペクトル推定部52を必要としない。ゲインバランスの補正方法は、白色板など分光反射率が既知である被写体を撮像し、観測されるマルチバンド画像値間の強度比率が各々のバンド特性と分光反射率既知である被写体分光反射率との分光積から計算される比率になるようにゲイン補正を行う。
(効果)
このように本実施例では、実施例1の効果に加え、上皮などターゲットとなる層の生体組織の散乱特性をその層以外の吸収・散乱特性の影響を最小限に抑えた状態で強調するので、より視認性が向上する。
図19ないし図23は本発明の実施例6に係わり、図19は画像処理回路の構成を示す構成図、図20は図19の画像処理回路の作用を説明する第1の図、図21は図19の画像処理回路の作用を説明する第2の図、図22は図19の画像処理回路の作用を説明する第3の図、図23は図19の画像処理回路の作用を説明するフローチャートである。
実施例6は、実施例5とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
(構成)
図19に示すように、画像処理回路30は、同時化メモリ27、28,29からの各画像データより第2層(図5の基底層以下の下層全体)の血管構造情報を抽出する血管構造抽出部111と、血管構造抽出部111が抽出した血管構造情報に基づきクラス内のばらつき(クラス内分散)を算出し特徴計算用データ供給部53に格納されている消化管粘膜写像データ100を算出したクラス内分散に基づき更新する写像更新部112とを備えて構成される。
(作用)
食道粘膜など層構造を有する生体組織の場合、図20に示すように表層は毛細血管、中深層は比較的太い血管と、特徴的な血管構造を有する場合が多い。このような構造の生体組織を異なる中心波長を持つバンドで観察すると図21、図22に示すように、表層の血管は短波長側に、中深層の血管は長波長側に再現される(例えば特開2002−95635号公報、特開2002−34893号公報、特開2002−34908号公報等参照)。
したがって、血管のある位置とない位置では上皮の特性は同じでそれ以外の層の特性が異なるデータ集合となり、これらデータ集合からクラス内分散を推することができる。
そこで、図23に示すように、ステップS71において血管構造抽出部111はRGB画像から長波長側の画像(例えばB画像)を使って、血管位置を抽出する。血管位置の抽出には閾値処理空間周波数フィルタリング処理など一般釣な手法が適用できる。そして、ステップS72において写像更新部112が血管位置の画素と血管を含まない画素を多数収集して、ステップS73においてクラス内分散を算出し、特徴計算用データ供給部53に格納されている消化管粘膜写像データ100を算出したクラス内分散に基づき更新する。
なお、血管構造抽出部111はRGB画像から長波長側の画像(例えばB画像)を使って血管位置を抽出するとしたが、血管位置抽出のための帯域画像を得るために、専用の帯域フィルタを用いて観察部を照明してもよい。
(効果)
このように本実施例においても、実施例5と同様な効果を得ることができる。
なお、上記各実施例では、マルチバンド画像を得るために、光源側で照明光を帯域分離して照射する構成としたが、これに限らず、撮像側に帯域分離フィルタを用いてマルチバンド画像を得るように構成しても良い。
[付記]
(付記項1)前記光源装置が、少なくとも一つ以上の帯域光を照射する
ことを特徴とする請求項1に記載のイメージング装置。
(付記項2) 前記帯城光のうち、少なくとも1つは、可視光波長城の青色光として位置付けられる帯域に存在する
ことを特徴とする付記項1に記載のイメージング装置。
(付記項3) 前記プロセッサが、少なくとも1つ以上の生体画像から、画像中の各位置、及び又は領域に対応するスペクトルを推定する手段を有する
ことを特徴とする請求項1に記載のイメージング装置。
(付記項4) 前記スペクトルを推定する手段が、少なくとも1つ以上の行列演算器を有する
ことを特徴とする付記項3に記載のイメージング装置。
(付記項5) 前記少なくとも1つ以上の行列演算器の係数が、離散化された一つ以上の波長によって張られるところのスペクトル空間において推定すべきスペクトルの存在範囲を規定する
ことを特徴とする付記項4に記載のイメージング装置。
(付記項6) 前記少なくとも1つ以上の行列演算器の係数が、散乱媒体中における光の伝播を表現するところの光伝播モデルを用いて設計されている
ことを特徴とする付記項5に記載のイメージング装置。
(付記項7) 前記プロセッサが、画像中の各位置、及び又は領域に対応するスペクトルから生体組織による散乱特徴を推定する手段を有する
ことを特徴とする請求項1に記載のイメージング装置。
(付記項8) 前記散乱特徴を推定する手段が、スペクトル空間において予め定められた少なくとも一つ以上のベクトルヘの正射影を行う手段を有する
ことを特徴とする付記項7に記載のイメージング装置。
(付記項9) 前記プロセッサが、生体組織による散乱特徴を画像情報として有する色彩画像を生成する手段を備えた
ことを特徴とする請求項1に記載のイメージング装置。
(付記項10) 前記色彩画像を生成する手段が、生体組織による吸収特徴を画像情報として有する色彩画像を生成する手段を備えた
ことを特徴とする付記項9に記載のイメージング装置。
(付記項11) 前記色彩画像を生成する手段が、散乱特徴と散乱特徴以外の画像とを合成して、色彩画像として生成する
ことを特徴とする付記項9に記載のイメージング装置。
(付記項12) 前記色彩画像を生成する手段が、散乱特徴と散乱特徴以外の画像を同時に、及びまたは切替えで表示するように画像を生成、表示制御を行う
ことを特徴とする付記項9に記載のイメージング装置。
(付記項13) 前記散乱特徴以外の画像が、生体組織による吸収特徴を有する画像情報である
ことを特徴とする付記項11に記載のイメージング装置。
(付記項14) 前記散乱特徴以外の画像が、白色光照明下で得られる画像に相当する
ことを特徴とする付記項11に記載のイメージング装置。
(付記項15) 前記プロセッサが、少なくとも1つ以上の空間周波数フィルタリングを行う手段を有する
ことを特徴とする請求項1に記載のイメージング装置。
(付記項16) 前記空間周波数フィルタリングを行う手段が、少なくとも1つ以上の生体画像から、画像中の各位置、及び又は領域に対応するスペクトルを推定する手段に位置する
ことを特徴とする付記項15に記載のイメージング装置。
(付記項17) 生体組織画像から散乱特徴を算出する散乱特徴演算手段と、前記散乱特徴に基づいて画像を生成する画像生成手段とを備えた生体散乱イメージング装置において、
前記散乱特徴演算手段は、前記生体組織を組織表層と前記組織表層以外の内部層の2層でモデル化した場合において、1ないし複数の画像値、またはこれら画像値に基づく観測値を、前記内部層の光学特性の変化によって生じる観測値の変化からの影響を最小化する条件で、前記組織表層の散乱特徴変化を最大化する散乱特徴空間への写像を適用することで前記散乱特徴を算出する
ことを特徴とする生体散乱イメージング装置。
(付記項18)前記写像が線形写像である
ことを特徴とする付記項17に記載の生体散乱イメージング装置。
(付記項19)前記線形写像が観測値空間における多重判別分析にとって算出されることを特徴とし、前記多重判別分析におけるクラス間分散が前記組織表層の散乱特徴の違いに、クラス内分散が前記内部層の光学特性の違いに対応することを特徴とする
ことを特徴とする付記項18に記載の生体散乱イメージング装置。
(付記項20)前記内部層の光学特性の違いは、前記内部層の層厚、吸収特性、散乱特性を含む
ことを特徴とする付記項19に記載の生体散乱イメージング装置。
(付記項21)前記組織表層の散乱特性の違いは、前記組織表層の生体組織を構成する細胞核径の確率密度分布の変化でモデル化される
ことを特徴とする付記項19に記載の生体散乱イメージング装置。
(付記項22)前記モデルは、Mie散乱モデルと、光伝播モデルで構成される
ことを特徴とする付記項21に記載の生体散乱イメージング装置。
(付記項23)前記光伝播モデルは、モンテカルロモデルである
ことを特徴とする付記項22に記載の生体散乱イメージング装置。
(付記項24)前記多重判別分析における前記クラス内分散が前記生体組織画像から推定される
ことを特徴とする付記項19に記載の生体散乱イメージング装置。
(付記項25)前記クラス内分散の推定が生体組織内を走行する血管画像から行われる
ことを特徴とする付記項24に記載の生体散乱イメージング装置。
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本発明の実施例1に係る散乱イメージング装置の構成を示す構成図 図1の回転フィルタの構成を示す図 図2の回転フィルタの分光特性を示す図 図1の画像処理回路の構成を示すブロック図 図1の散乱イメージング装置が散乱イメージングを行う消化管粘膜組織を説明する図 図5の消化管粘膜組織における所望の散乱特性を生じさせる分光特性のフィルタを説明する図 図4のスペクトル推定部の作用を説明する図 図4のスペクトル推定部の処理の流れを示すフローチャート 図4の散乱特徴計算部の作用を説明する図 図1の回転フィルタの変形例の構成を示す 本発明の実施例2に係る画像処理回路の構成を示すブロック図 本発明の実施例3に係る散乱イメージング装置の構成を示す構成図 図12の回転フィルタの構成を示す図 本発明の実施例4に係る体表面撮像装置を示す図 本発明の実施例5に係る画像処理回路の構成を示す構成図 図15の画像処理回路の作用を説明する第1の図 図15の画像処理回路の作用を説明する第2の図 図15の画像処理回路の作用を説明するフローチャート 本発明の実施例6に係る画像処理回路の構成を示す構成図 図19の画像処理回路の作用を説明する第1の図 図19の画像処理回路の作用を説明する第2の図 図19の画像処理回路の作用を説明する第3の図 図19の画像処理回路の作用を説明するフローチャート
符号の説明
1…内視鏡装置(散乱イメージング装置)
2…CCD
3…電子内視鏡
4…光源装置
5…観察モニタ
7…ビデオプロセッサ
10…電源部
11…キセノンランプ
12…熱線カットフィルタ
13…絞り装置
14…回転フィルタ
15…ライトガイド
16…集光レンズ
17…制御回路
18…回転フィルタモータ
20…CCD駆動回路
21…対物光学系
22…アンプ
23…プロセス回路
24…A/D変換器
25…ホワイトバランス回路
26…セレクタ
27、28,29…同時化メモリ
30…画像処理回路
31,32,33…D/A回路
35…タイミングジェネレータ
43…調光回路
51…推定用データ供給部
52…スペクトル推定部
53…特徴計算用データ供給部
54…散乱特徴計算部
55…色彩画像生成部
代理人 弁理士 伊藤 進

Claims (2)

  1. 光源装置と、
    前記光源装置からの照射光を観察に用い、生体観察像を映像信号に変換する撮像装置と、
    前記映像信号から生体画像を生成するプロセッサと
    からなるイメージング装置において、
    前記プロセッサが、
    少なくとも生体組織による散乱特徴を画像情報として有する生体画像を生成する手段
    を備えたことを特徴とするイメージング装置。
  2. 前記撮像装置は、内視鏡である
    ことを特徴とする請求項1に記載のイメージング装置。
JP2003314206A 2002-12-12 2003-09-05 イメージング装置およびプロセッサ装置 Expired - Fee Related JP4632645B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003314206A JP4632645B2 (ja) 2002-12-12 2003-09-05 イメージング装置およびプロセッサ装置
EP03812683A EP1576920B1 (en) 2002-12-12 2003-11-18 Imaging device
PCT/JP2003/014641 WO2004052187A1 (ja) 2002-12-12 2003-11-18 イメージング装置
US10/534,921 US8000776B2 (en) 2002-12-12 2003-11-18 Imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002361325 2002-12-12
JP2003314206A JP4632645B2 (ja) 2002-12-12 2003-09-05 イメージング装置およびプロセッサ装置

Publications (2)

Publication Number Publication Date
JP2004202217A true JP2004202217A (ja) 2004-07-22
JP4632645B2 JP4632645B2 (ja) 2011-02-16

Family

ID=32510666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003314206A Expired - Fee Related JP4632645B2 (ja) 2002-12-12 2003-09-05 イメージング装置およびプロセッサ装置

Country Status (4)

Country Link
US (1) US8000776B2 (ja)
EP (1) EP1576920B1 (ja)
JP (1) JP4632645B2 (ja)
WO (1) WO2004052187A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025334A1 (ja) * 2004-08-30 2006-03-09 Olympus Corporation 内視鏡装置
JP2006218283A (ja) * 2004-09-02 2006-08-24 Olympus Corp 内視鏡装置
JP2006255323A (ja) * 2005-03-18 2006-09-28 Fujinon Corp 内視鏡システム装置
JP2007202589A (ja) * 2006-01-30 2007-08-16 National Cancer Center-Japan 電子内視鏡装置
WO2007099681A1 (ja) * 2006-03-03 2007-09-07 Olympus Medical Systems Corp. 生体観察装置
JP2007319442A (ja) * 2006-06-01 2007-12-13 Fujifilm Corp カプセル内視鏡システム、および画像処理装置
JP2008023101A (ja) * 2006-07-21 2008-02-07 Fujifilm Corp 電子内視鏡システム
JP2009105576A (ja) * 2007-10-22 2009-05-14 Canon Inc 画像処理装置及び方法、及び撮像装置
EP2105086A1 (en) 2008-03-28 2009-09-30 Fujifilm Corporation Electronic endoscope apparatus
JP2012125462A (ja) * 2010-12-16 2012-07-05 Fujifilm Corp 画像処理装置
WO2013042395A1 (ja) * 2011-09-20 2013-03-28 オリンパスメディカルシステムズ株式会社 画像処理装置及び内視鏡システム
WO2013145408A1 (ja) * 2012-03-30 2013-10-03 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2017077772A1 (ja) * 2015-11-06 2017-05-11 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び画像処理方法
JP2020192007A (ja) * 2019-05-27 2020-12-03 富士フイルム株式会社 情報処理装置及びその作動方法並びに内視鏡システム及びその作動方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1875638A (zh) * 2003-11-11 2006-12-06 奥林巴斯株式会社 多谱图像捕捉装置
US7590303B2 (en) * 2005-09-29 2009-09-15 Samsung Electronics Co., Ltd. Image enhancement method using local illumination correction
CN101282687B (zh) 2005-10-14 2011-11-16 应用研究联盟新西兰有限公司 监测表面特征的方法和装置
JP4974586B2 (ja) * 2006-05-24 2012-07-11 オリンパス株式会社 顕微鏡用撮像装置
JP5178226B2 (ja) * 2008-02-08 2013-04-10 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5305850B2 (ja) * 2008-11-14 2013-10-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
CN102058393B (zh) * 2010-10-30 2012-10-31 华中科技大学 基于反射光谱测量的皮肤生理参数与光学特性参数的测量方法
US20120127301A1 (en) * 2010-11-18 2012-05-24 Canon Kabushiki Kaisha Adaptive spectral imaging by using an imaging assembly with tunable spectral sensitivities
JP5554253B2 (ja) * 2011-01-27 2014-07-23 富士フイルム株式会社 電子内視鏡システム
JP5274591B2 (ja) * 2011-01-27 2013-08-28 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5879745B2 (ja) * 2011-05-20 2016-03-08 セイコーエプソン株式会社 分光推定パラメーター生成装置およびその方法、並びにコンピュータープログラム
US9179844B2 (en) 2011-11-28 2015-11-10 Aranz Healthcare Limited Handheld skin measuring or monitoring device
WO2016072225A1 (ja) * 2014-11-07 2016-05-12 オリンパス株式会社 撮像システム
EP3378374A4 (en) * 2015-12-24 2019-07-24 Olympus Corporation IMAGING SYSTEM AND IMAGE PROCESSING DEVICE
US10013527B2 (en) 2016-05-02 2018-07-03 Aranz Healthcare Limited Automatically assessing an anatomical surface feature and securely managing information related to the same
US11116407B2 (en) 2016-11-17 2021-09-14 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
EP3606410B1 (en) 2017-04-04 2022-11-02 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
WO2018230130A1 (ja) 2017-06-13 2018-12-20 オリンパス株式会社 内視鏡装置及び表示画像生成方法
WO2019049376A1 (ja) * 2017-09-11 2019-03-14 オリンパス株式会社 内視鏡システム
JP7090699B2 (ja) * 2018-05-17 2022-06-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2021191314A (ja) 2018-06-19 2021-12-16 オリンパス株式会社 内視鏡システム及び内視鏡システムの作動方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000014629A (ja) * 1998-07-02 2000-01-18 Olympus Optical Co Ltd 内視鏡分光装置
JP2002034893A (ja) * 2000-07-27 2002-02-05 Olympus Optical Co Ltd 内視鏡装置
JP2002034908A (ja) * 2000-07-27 2002-02-05 Olympus Optical Co Ltd 内視鏡装置
JP2002095635A (ja) * 2000-07-21 2002-04-02 Olympus Optical Co Ltd 内視鏡装置
US20020135752A1 (en) * 2000-03-28 2002-09-26 Konstantin Sokolov Methods and apparatus for polarized reflectance spectroscopy
JP2003527916A (ja) * 2000-03-28 2003-09-24 ボード・オブ・リージェンツ,ザ・ユニヴァーシティ・オヴ・テキサス・システム 診断用マルチスペクトルデジタル画像化のための方法および装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5845639A (en) * 1990-08-10 1998-12-08 Board Of Regents Of The University Of Washington Optical imaging methods
US5699798A (en) * 1990-08-10 1997-12-23 University Of Washington Method for optically imaging solid tumor tissue
US7179222B2 (en) * 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
US6293911B1 (en) * 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
US6081612A (en) * 1997-02-28 2000-06-27 Electro Optical Sciences Inc. Systems and methods for the multispectral imaging and characterization of skin tissue
US6208886B1 (en) * 1997-04-04 2001-03-27 The Research Foundation Of City College Of New York Non-linear optical tomography of turbid media
US6091984A (en) * 1997-10-10 2000-07-18 Massachusetts Institute Of Technology Measuring tissue morphology
ATE391451T1 (de) * 1998-01-26 2008-04-15 Massachusetts Inst Technology Endoskop zur erfassung von fluoreszenzbilder
US7054002B1 (en) * 1999-10-08 2006-05-30 The Texas A&M University System Characterization of luminescence in a scattering medium
DE10055725B4 (de) * 1999-11-11 2007-12-27 Pentax Corp. Elektronisches Endoskopsystem
EP1101438B1 (en) * 1999-11-18 2006-10-18 Fuji Photo Film Co., Ltd. Method and apparatus for acquiring fluorescence images
US6697652B2 (en) * 2001-01-19 2004-02-24 Massachusetts Institute Of Technology Fluorescence, reflectance and light scattering spectroscopy for measuring tissue
JP5259033B2 (ja) * 2001-08-03 2013-08-07 オリンパス株式会社 内視鏡システム
JP4709443B2 (ja) * 2001-08-29 2011-06-22 オリンパス株式会社 内視鏡画像ファイリングシステム
WO2003062799A2 (en) * 2002-01-18 2003-07-31 Newton Laboratories, Inc. Spectroscopic diagnostic methods and system
US7333189B2 (en) * 2002-01-18 2008-02-19 Pentax Corporation Spectroscopic diagnostic methods and system
JP4147033B2 (ja) * 2002-01-18 2008-09-10 オリンパス株式会社 内視鏡装置
CA2477021A1 (en) * 2002-02-20 2003-08-28 Affinium Pharmaceuticals, Inc. Methods and apparatuses for characterizing stability of biological molecules
JP4054222B2 (ja) * 2002-06-05 2008-02-27 オリンパス株式会社 内視鏡装置用光源装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000014629A (ja) * 1998-07-02 2000-01-18 Olympus Optical Co Ltd 内視鏡分光装置
US20020135752A1 (en) * 2000-03-28 2002-09-26 Konstantin Sokolov Methods and apparatus for polarized reflectance spectroscopy
JP2003527916A (ja) * 2000-03-28 2003-09-24 ボード・オブ・リージェンツ,ザ・ユニヴァーシティ・オヴ・テキサス・システム 診断用マルチスペクトルデジタル画像化のための方法および装置
JP2002095635A (ja) * 2000-07-21 2002-04-02 Olympus Optical Co Ltd 内視鏡装置
JP2002034893A (ja) * 2000-07-27 2002-02-05 Olympus Optical Co Ltd 内視鏡装置
JP2002034908A (ja) * 2000-07-27 2002-02-05 Olympus Optical Co Ltd 内視鏡装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RAJAN S. GURJAR ET. AL.: "Imaging human epithelial properties with polarized light-scattering spectroscopy", NATURE MEDICINE, vol. 7, no. 11, JPN6010044935, November 2001 (2001-11-01), pages 1245 - 1248, XP002413938, ISSN: 0001691676, DOI: 10.1038/nm1101-1245 *
V. BACKMAN, ET. AL.: "Measuring Cellular Structure at Submicrometer Scale with Light Scattering Spectroscopy", IEEE J. SEL. TOP. QUANT. ELECT., vol. 7, no. 6, JPN6010044932, November 2001 (2001-11-01), pages 887 - 894, ISSN: 0001691675 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100961591B1 (ko) 2004-08-30 2010-06-04 올림푸스 가부시키가이샤 내시경 장치
WO2006025334A1 (ja) * 2004-08-30 2006-03-09 Olympus Corporation 内視鏡装置
KR100895160B1 (ko) 2004-08-30 2009-05-04 올림푸스 가부시키가이샤 내시경 장치
US8531512B2 (en) 2004-08-30 2013-09-10 Olympus Corporation Endoscope apparatus
JP2006218283A (ja) * 2004-09-02 2006-08-24 Olympus Corp 内視鏡装置
JP2006255323A (ja) * 2005-03-18 2006-09-28 Fujinon Corp 内視鏡システム装置
JP4637620B2 (ja) * 2005-03-18 2011-02-23 富士フイルム株式会社 内視鏡システム装置
JP2007202589A (ja) * 2006-01-30 2007-08-16 National Cancer Center-Japan 電子内視鏡装置
WO2007099681A1 (ja) * 2006-03-03 2007-09-07 Olympus Medical Systems Corp. 生体観察装置
JP2007236415A (ja) * 2006-03-03 2007-09-20 Olympus Medical Systems Corp 生体観察装置
KR101009559B1 (ko) 2006-03-03 2011-01-18 올림푸스 메디칼 시스템즈 가부시키가이샤 생체 관찰 장치
JP2007319442A (ja) * 2006-06-01 2007-12-13 Fujifilm Corp カプセル内視鏡システム、および画像処理装置
JP2008023101A (ja) * 2006-07-21 2008-02-07 Fujifilm Corp 電子内視鏡システム
US8269824B2 (en) 2006-07-21 2012-09-18 Fujifilm Corporation Electronic endoscope system for estimating and producing spectral image of arbitrary wavelength band from image signals captured under general illumination light and those captured under specific illumination light
JP2009105576A (ja) * 2007-10-22 2009-05-14 Canon Inc 画像処理装置及び方法、及び撮像装置
US8233058B2 (en) 2007-10-22 2012-07-31 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image sensing apparatus
EP2105086A1 (en) 2008-03-28 2009-09-30 Fujifilm Corporation Electronic endoscope apparatus
JP2009240354A (ja) * 2008-03-28 2009-10-22 Fujinon Corp 電子内視鏡装置
JP2012125462A (ja) * 2010-12-16 2012-07-05 Fujifilm Corp 画像処理装置
WO2013042395A1 (ja) * 2011-09-20 2013-03-28 オリンパスメディカルシステムズ株式会社 画像処理装置及び内視鏡システム
US8917319B2 (en) 2011-09-20 2014-12-23 Olympus Medical Systems Corp. Image processing apparatus and endoscope system
US8723940B2 (en) 2012-03-30 2014-05-13 Olympus Medical Systems Corp. Endoscope apparatus
WO2013145408A1 (ja) * 2012-03-30 2013-10-03 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2017077772A1 (ja) * 2015-11-06 2017-05-11 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び画像処理方法
JP2017086303A (ja) * 2015-11-06 2017-05-25 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び画像処理方法
US10939856B2 (en) 2015-11-06 2021-03-09 Fujifilm Corporation Processor device, endoscope system, and image processing method
JP2020192007A (ja) * 2019-05-27 2020-12-03 富士フイルム株式会社 情報処理装置及びその作動方法並びに内視鏡システム及びその作動方法
JP7196016B2 (ja) 2019-05-27 2022-12-26 富士フイルム株式会社 情報処理装置及びその作動方法並びに内視鏡システム及びその作動方法

Also Published As

Publication number Publication date
EP1576920A4 (en) 2008-09-10
EP1576920B1 (en) 2012-06-27
US8000776B2 (en) 2011-08-16
WO2004052187A1 (ja) 2004-06-24
US20060241349A1 (en) 2006-10-26
EP1576920A1 (en) 2005-09-21
JP4632645B2 (ja) 2011-02-16

Similar Documents

Publication Publication Date Title
JP4632645B2 (ja) イメージング装置およびプロセッサ装置
US20240148291A1 (en) Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
US10117582B2 (en) Medical hyperspectral imaging for evaluation of tissue and tumor
JP6850225B2 (ja) 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
US10231658B2 (en) Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device
US7970456B2 (en) Method and apparatus for detecting the presence of dermal melanin in epithelial tissue
WO2015023990A1 (en) Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
JP2014166298A (ja) 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
US11826124B2 (en) Apparatus and method for image-guided interventions with hyperspectral imaging
KR20010040418A (ko) 형광 이미지화 내시경
JP6917183B2 (ja) 撮像装置
WO2010042211A1 (en) Methods for tissue classification in cervical imagery
CN101461706A (zh) 用于分析和处理荧光图像的方法
EP3795058A1 (en) Image processing device, endoscope system, and image processing method
Yoshizawa et al. Diagnosis of elevated-type early gastric cancers by the optimal band imaging system
WO2012046530A1 (ja) 診断システム
TWI537762B (zh) Application of hyperfamily imaging to identification of cancerous lesions
JP2010142547A (ja) 内視鏡画像処理装置および方法ならびにプログラム。
JP2010233584A (ja) 光損傷を数量化する方法及び装置
JPWO2020045619A1 (ja) 内視鏡システム、および内視鏡システムを動作させる方法
Morimoto et al. Development of a new generation endoscope system with lasers “LASEREO”
JP5940604B2 (ja) 画像処理装置、画像処理装置の作動方法及びプログラム
CN100525701C (zh) 成像装置
JP2012024252A (ja) 光源装置および内視鏡診断装置
WO2010025122A1 (en) Method for measuring disease probability

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101116

R151 Written notification of patent or utility model registration

Ref document number: 4632645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees