JP2013521900A - 高速マルチスペクトルイメージングの方法および装置と癌検出および局在診断への応用 - Google Patents

高速マルチスペクトルイメージングの方法および装置と癌検出および局在診断への応用 Download PDF

Info

Publication number
JP2013521900A
JP2013521900A JP2012557365A JP2012557365A JP2013521900A JP 2013521900 A JP2013521900 A JP 2013521900A JP 2012557365 A JP2012557365 A JP 2012557365A JP 2012557365 A JP2012557365 A JP 2012557365A JP 2013521900 A JP2013521900 A JP 2013521900A
Authority
JP
Japan
Prior art keywords
image
light
spectral
light source
narrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012557365A
Other languages
English (en)
Other versions
JP2013521900A5 (ja
Inventor
ズオン、ハイシャン
ファウジー、ヤセル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2013521900A publication Critical patent/JP2013521900A/ja
Publication of JP2013521900A5 publication Critical patent/JP2013521900A5/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0607Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for annular illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0676Endoscope light sources at distal tip of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125Colour sequential image capture, e.g. using a colour wheel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/2866Markers; Calibrating of scan

Abstract

可視/NIR光スペクトル画像からの組織の生理学的および形態学的特性のビデオ速度または近ビデオ速度の定量的イメージングの方法および装置では、複数の狭波長帯を含む一連のスペクトルで照明することによって高速マルチスペクトル反射率画像が取得される。形状/結合効果および散乱振幅歪みによるスペクトル画像の強度を補正するために、反復光輸送に基づく反転アルゴリズムが適用されてもよい。方法は、組織の生理学および形態学に関する情報を含むより詳細な定量的画像を生成するためにマトリクスベースの高速反転アルゴリズムを用いてきわめて高速でさらに分析しうるビデオ速度吸収および散乱スペクトル画像を生成することができる。

Description

本発明は、マルチスペクトルイメージングの方法および装置に関する。方法および装置は、たとえば、癌検出および局在診断に適用される可能性がある。一部の実施形態では、組織の生理学的および形態学的特性の定量的画像ベースの決定に適した可視/NIRスペクトルの高速マルチスペクトルイメージングを実施することができる。
組織の生理学的および形態学的変化のリアルタイムのモニタリングおよびイメージングは、診断および治療のためのきわめて有用な情報を提供する。たとえば、内視鏡イメージングの際に、このような情報は、種々の病的状態、癌および虚血などの特に初期段階の検出に最も重要であろう。内視鏡検査において取得されるスペクトル画像は、組織の生理学的および形態学的特性に関する情報を導くために使用されうる。しかしながら、測定形状の変動、絶対強度測定値の喪失、光−組織相互作用の複雑さ、および分析計算コストが精度および処理時間の観点から真の生理学的および形態学的特性の測定および定量化を困難にする。
従来の内視鏡検査では、表面形態を観察するために白色光反射率画像を使用して組織の色、表面形態などの外見に基づいて内臓を評価している。癌などの疾病の比較的信頼性の高い初期の検出を達成するためには外見(たとえば、色および形態)の変化は有用であるが、多くの研究グループが癌病変の検出感度を向上させるために組織自己蛍光の採用を検討している。残念ながら、自己蛍光イメージングは検出特異度を抑制して検出感度を向上させている。これは、擬陽性の数が増加する結果としての生検数の増加によって医療費を高騰をもたらす可能性がある。また、生検の頻度が高くなるにつれて患者の疾病率が増加する。
高い診断感度および高い特異度を実現するために、一部の研究では、白色光と蛍光イメージングと組み合わせた新たな技術として、反射率、蛍光発光、およびラマン分光法などのポイント分光法モダリティ、または共焦点顕微鏡法、光コヒーレンストモグラフィ、および多光子励起イメージングなどの「ポイント」顕微鏡イメージングモダリティが検討されている。
Zengらによる特許文献1には、白色光反射率および蛍光発光モードの両方における同時イメージングおよび非接触ポイント分光測定のための装置および方法が開示されている。非接触スペクトル測定およびイメージングは、内視鏡接眼レンズとカメラの間に特別に設計されたスペクトルアタッチメントを設置することによって実施することができる。画像およびスペクトルは、オペレータが観察するモニターに同時に表示される。
Fawzyらによる特許文献2には、組織における微小血管血液体積分率、組織血液酸素飽和度(生理学的パラメータ)、ならびに組織散乱微粒子体積分率およびサイズ分布(形態学的パラメータ)などの癌に関連した変化に関する定量的情報を取得するために反射率スペクトルを分析する方法が記載されている。上記文献のいずれにも、ファイバ内視鏡の接眼レンズによるスペクトル測定の実施について記載されている。スペクトル測定は、スペクトルイメージングとは対照的にポイント分光を含んでいる。
光の吸収特性および散乱特性は、光の波長によって異なる。これらの違いは、深さ方向の血管などの種々の吸収物質の分布に起因する。赤外光など、長い波長の照明光は組織の比較的深い部分の情報を提供するのに対して、短い波長の照明光は表面に近い組織の情報を与える。組織表面の近くで生じる変化の検出は、初期癌の検出にとって不可欠である。
複数のグループが、悪性病変組織および良性病変組織/正常組織の光の吸収および散乱の本質的相違を報告しており、これらの変化を癌形質転換中に生じる組織の生理学的および形態学的変化に直接関連付けている。非特許文献1〜10を参照されたい。上記グループのすべてによる反射率スペクトル測定は、内視鏡機器チャネルから挿入された光ファイバプローブを用いて実施された。また、光プローブは、組織表面に接触させて設置しなければならない。これらのタイプの光ファイバプローブ測定形状は、イメージング形状とは著しく異なる(広いビーム照明および狭いスポット検出)。
様々なグループが組織病理学を研究するためのマルチスペクトルまたはハイパースペクトルイメージングを検討している。たとえば、非特許文献11および非特許文献12には、オキシヘモグロビンおよびデオキシヘモグロビンを含む様々な皮膚の発色団(chromophore)の生体内二次元マップを取得するためにスペクトルイメージングを使用することが記載されている。これらには、400〜970nm範囲の画像を取得するための18個の狭帯域フィルタが使用されている。この後、動きアーチファクトに対抗すべく種々の波長帯における個々の画像を調整するために位相補正アルゴリズムが使用されている。
最新式の内視鏡ハイパースペクトル・イメージング・システムが、Farkasグループによって報告されている。Farkasらによる特許文献3、非特許文献13、非特許文献14、および非特許文献15を参照されたい。これらのシステムでは、380〜690nmの32の等間隔で配置された帯域の並列でかつ垂直な偏光画像が0.25秒で収集される。モノクロメータまたはAOTF(音響光学的可変フィルタ)ベースの可変光源と単一高速CCDカメラが画像収集に使用された。ハイパースペクトルイメージングを実施するために、照明ファイバと2つのイメージング・ファイバ・バンドルを備える2.0mmサイズのカテーテルが機器チャネルに通された。このグループは、イメージング・スペクトル・データを分析して散乱サイズパラメータ画像を導出するためにファイバ・プローブ・ポイント反射率スペクトル分析用に開発されたアルゴリズムを使用した。臨床試験では、システムは鏡面反射干渉と内視鏡または患者の動きに起因する動きのアーチファクトの問題に遭遇した。
Fawzyによる特許文献4には、別のシステムが開示されており、ここには、2つの異なる波長帯を組織に順番に照明することによって撮影される画像から直接組織脱酸化血液指標を定量化する方法が記載されている。
Ayameらによる特許文献5およびGonoらによる特許文献6には、「電子スペクトルイメージング」技術(色補正技術)を用いた組織色調変化の可視化を改善する方法が開示されている。「電子スペクトルイメージング」は、事前に測定されたスペクトルのサンプルを用いてRGB画像または狭帯域画像からの反射率スペクトルの推定に基づくものである。「電子スペクトルイメージング」は、真の組織反射率特性と組織の生理学的および形態学的情報を正確に表現しない。
Panasyukらによる特許文献7には、ショック中および蘇生中の組織酸素飽和度、酸素供給および酸素摂取のマルチスペクトル・イメージング・システムおよびリアルタイムまたは近リアルタイム評価の方法が開示されている。このシステムでは、スペクトル画像が種々の波長を用いて逐次照明によって取得される。
米国特許第6898458号明細書 米国特許出願公開第2009/0270702号明細書 米国特許第5796512号明細書 国際特許出願公開第WO2009/052607号明細書 米国特許第7729751号明細書 米国特許出願公開第2009/0023991号明細書 米国特許出願公開第2007/0024946号明細書
M.P.L.Bard,A.Amelink,V.N.Hegt,W.J.Graveland,H.J.C.M.Sterenborg,H.C.Hoogsteden,J.G.J.V.Aerts,"Measurement of Hypoxia−related parameters in bronchial mucosa by use of optical spectroscopy",Am.J.Respir.Crit.Care Med.,171,1178−1184,2005 G.Zonios,L.T.Perelman,V.Backman,R.Manoharan,M.Fitzmaurice,J.Van Dam,and M.S.Feld,"Diffuse reflectance spectroscopy of human adenomatous colon polyps in vivo",Appl.Opt.38,6628−6636,1998 B.Beauvoit,and B.Chance,"Time−resolved spectroscopy of mitochondria,cells and tissue under normal and pathological conditions",Mol Cell Biochem.,184,445−455,1998 J.R.Mourant,T.M.Johnson,and J.P.Freyer,"Characterizing mammalian cells and cell phantoms by polarized backscattering fiber−optic measurement",Appl.Opt.40,5114−5123,2001 J.R.Mourant,A.H.Hielscher,A.A.Eick,T.M.Johnson,and J.P.Freyer,"Evidence of intrinsic differences in the light scattering properties of tumorigenic and nontumorigenic cells",Cancer,84,366−374,1998 H.Zeng,C.MacAulay,B.Paclic, and D.I.McLeant,"A computerized auto−fluorescence and diffuse reflectance spectroanalyser system for in vivo skin studies",Phys.Med.Biol.38,231−240,1993 R.J.Nordstorm,L.Burke,J.M.Niloff,and J.F.Myrtle,"Identification of cervical intraepithelial neoplasia(CIN)using UV−excited fluorescence and diffuse−reflectance tissue spectroscopy",Lasers Surg.Med.29,118−127,2001 I.Georgakoudi,E.E.Sheets,M.G.Muller,V.Backman,C.P.Crum,K.Badizadegan,R.R.Dasari,and M.S.Feld,"Trimodal spectroscopy for the detection and characterization of cervical precancers in vivo",Am J Obstet Gynecol 186,374−381,2002 M.G.Muller,T.A.Valdez,I.Georgakoudi,V.Backman,C.Fuentes,S.Kabani,N.Laver,Z.Wang,C.W.Boone,R.R.Dasari,S.M.Shapshay,and M.S.Feld,"Spectroscopic detection and evaluation of morphologic and biochemical changes in early human oral carcinoma",Cancer 97,1681−1692,1997 M.P.L.Bard,A.Amelink,M.Skurichina,M.den Bakkerd,S.A.Burgers,J.P.van Meerbeeck,R.P.W.Duin,J.G.J.V.Aerts,H.C.Hoogsteden,and H.J.C.M.Sterenborg,"Improving the specificity of fluorescence bronchoscopy for the analysis of neoplastic lesions of the bronchial tree by combination with optical spectroscopy:preliminary communication",Lung Cancer 47,41−47,2005 G.N.Stamatas,M.Southall and N.Kollias,"In vivo monitoring of cutaneous edema using spectral imaging in the visible and near infrared",J.Invest.Dermatol.126,1753−1760,2006 G.N.Stamatas,N.Kollias,"Noninvasive quantitative documentation of cutaneous inflammation in vivo using spectral imaging",SPIE Proceedings 6078,60780P,2006 D.L.Farkas and D.Becker,"Applications of spectral imaging:detection and analysis of human melanoma and its precursors",Pigment Cell Res.,14,2−8,2001 E.Lindsley,E.S.Wachman and D.L.Farkas,"The hyperspectral imaging endoscope:a new tool for in vivo cancer detection",SPIE Proceedings,5322,75−82,2004 A.Chung,S.Karlan,E.Lindsley,S.Wachsmann−Hogiu and D.L.Farkas,"In vivo cytometry:a spectrum of possibilities",Cytometry Part A,69A,142−146,2006
高速マルチスペクトルイメージングに関しては費用効果の高い装置および方法の必要性が残されている。
本発明は数多くの態様を有する。これらの一部は、独立に適用されてもよく、他の態様と組み合わせて適用されてもよい。
一態様では、マルチスペクトル・イメージング・システムは、動きのアーチファクトを克服するビデオ速度高速マルチスペクトルイメージングを実現するために並列マルチバンド照明および並列マルチチャネルイメージング検出が備えられる。鏡面反射は、データ分析アルゴリズムを適用することによって自動的に補正される。
別の態様は、対象物のマルチスペクトルイメージング用の装置を提供する。対象物は、たとえば、生体組織を備えていてもよい。装置は、第1の複数の狭帯域によって特徴付けられる第1のスペクトルを有する光を放射するように構成可能な光源を備える。装置は、光源からの光を対象物の領域に導くように配置される。装置は、対象物の領域を撮像するように配置され、マルチチャネル画像データを提供するように構成されたマルチチャネルイメージング光検出器を備える。画像処理装置が画像データから複数のスペクトル画像を抽出するように構成される。複数のスペクトル画像は、複数の狭帯域の各々に対応するスペクトル画像を備える。
別の態様は、組織血液量、組織酸素化、組織散乱体積、および組織散乱サイズパラメータの2つまたはそれ以上を示す同時画像を提供するマルチスペクトルイメージング用のシステムを提供する。
一態様では、本発明は、対象物を照明する光源を備える対象物のマルチスペクトルイメージング用の装置を提供し、光源は少なくとも2つの狭波長帯の照明を同時に生成するように適合されており、狭帯域の各々は可視/NIR範囲のスペクトル画像を生成する種々の波長範囲内にある。マルチチャネルまたはマルチ検出器カメラは、これらの複数波長帯において複数の画像を同時に取り込むために同時マルチバンド照明に従って機能する。
一態様では、本発明は、上記波長帯において対応する18+スペクトル画像を取り込むために18+波長帯の照明光を生成する光源と画像検出デバイスとを提供する。一部の実施形態では、光源は12〜52の狭波長帯を生成するように構成される。取得されたスペクトル画像は、吸収および分散スペクトル画像を生成するために処理されて分析される。強度較正アルゴリズムでは、画像の画素から測定された反射率スペクトルと生体外光吸収係数とを使用して、光源、組織(画像化される対象物)、および画像検出デバイスとの間の光結合変動/誤差からスペクトル画像の強度を補正する。
別の態様では、本発明は、少なくとも2つの狭帯域の光で対象物を同時に照明するステップを備える組織の生理学的および形態学的情報を定量化する方法を提供し、これらの波長帯に対応する複数の画像を同時に取得し、狭帯域の各々は可視/NIR範囲のスペクトル画像を生成する種々の波長内にあり、複数のスペクトル画像を生成し、画像の画素から測定された反射率スペクトルと生体外光吸収係数とを用いてスペクトル画像の強度を補正し、全スペクトル範囲に沿って吸収および散乱スペクトル画像を別々に生成し、取得された吸収および散乱画像からの少なくとも1つの生理学的パラメータおよび/または少なくとも1つの形態学的パラメータを定量化する。
さらに別の態様では、本発明は、内視鏡システムによって癌検出および局在診断のための非侵襲高速マルチスペクトルイメージング用の装置を提供する。
別の態様では、本発明は光プローブによって癌を検出する非侵襲高速マルチスペクトルイメージング用のシステムを提供する。
一態様では、本発明は、白色光反射率イメージング、蛍光イメージング、およびマルチスペクトル反射率イメージングを実施しうるプログラマブル多機能システムを提供する。
一部の実施形態では、3つのイメージングチャネルを有する画像検出器が適用される。イメージング検出器は、一部の実施形態では市販のカラーカメラである。
さらに別の態様では、本発明は4つのイメージングチャネルを有する画像検出器を提供する。それに応じて、光源は4つの狭帯域照明を同時に発生するようにプログラムされる。狭帯域の各々は、それぞれB、G、R、およびNIR帯域内にあり、これらは種々の波長集合に対して経時的に同時にシフトする。
一部の実施形態では、光源は、ディジタル・マイクロミラー・デバイスなどのプログラマブル光源を備える。
一部の実施形態では、光源は、同時複数狭帯域照明を提供するフィルタ・ホイール・ベースの光源を備える。
他の実施形態では、複数の狭帯域照明プロファイルを生成するために音響光学的可変フィルタがファイバ・レーザ・ベースの超連続体光源またはレーザ駆動光源とともに使用される。
一部の実施形態では、白色光画像がスペクトル画像から合成される。
本発明の別の態様では、高速マルチスペクトルイメージング用に最適化された波長帯を決定するためにモデル化法が採用される。
さらに別の態様では、本発明は、組織血液量分布、組織酸素化、組織散乱体積分布、および散乱サイズパラメータ空間分布のリアルタイムイメージングを提供する。
本発明の一態様では、マルチスペクトル画像は内視鏡の先端に位置する画像検出器によって取り込まれる。画像検出器は少なくとも3つ、好ましくは4つのチャネルイメージング(B、G、R、NIR)を容易にするために特別なパターンのフィルタで覆われている。
本発明の一態様では、マルチスペクトル画像はスペクトルが重なった3つ(R、G、B)のチャネルを有するカラーカメラによって取り込まれる。たとえば、カメラは、種々の重複帯域の光を通過させるフィルタ要素のパターンを備えるCCD、CMOS、またはAPS光センサーを有していてもよい。たとえば、フィルタ要素はBayerモザイクパターンで配置されてもよい。
本発明のさらに別の態様では、狭帯域画像を提供する標準カラーカメラ(市販のカメラなど)からの画像を分解するために較正方法が採用される。
一部の実施形態では、複数の照明プロファイルを生成する光源が、内視鏡の先端に位置するLEDなどの複数の半導体発光体を備える。
さらに別の態様では、本発明は、スペクトルイメージングの波長帯を最適化する方法を提供する。一態様によると、最適化方法は最適化された光輸送モデルに基づく。
別の態様は、スペクトル画像が複数の同時狭帯域画像から生成される高速マルチスペクトルイメージング用の装置および方法を提供する。一部の実施形態では、装置および方法はリアルタイムのビデオ速度で複数のスペクトル画像を同時に取得する。画像は、たとえば、組織血液量、組織酸素化、組織散乱体積、および組織散乱サイズパラメータなど、生理学的特性を示してもよい。一部の実施形態では、装置および方法は白色光および/または蛍光画像をさらに取得する。
別の態様は、マルチスペクトルイメージング法を提供する。方法は、複数の狭帯域波長帯を備えるスペクトルを有する光で対象物の領域を露光すること、マルチチャネルイメージング検出器を用いて露光された対象物の画像を備える画像データを取得すること、画像データから複数のスペクトル画像を抽出することを備え、複数のスペクトル画像は複数の狭帯域の各々に対応するスペクトル画像を備える。
別の態様は、N個の狭帯域波長帯の光で対象物の領域を露光すること、対象物の領域を露光する間に対象物の画像を取得することを備えるマルチスペクトルイメージング法を提供する。対象物の領域を露光することは、一連のステップで実施される。各ステップは、基本的にN個の狭帯域波長帯のn個の組からなるスペクトルを有する光で対象物に同時に一度に露光すること、マルチチャネルイメージング検出器を用いて対象物の画像を取得することを備える。方法は、N個の狭帯域波長帯に対応するスペクトル画像を取得するためにマルチチャネルイメージング検出器からのマルチチャネル画像データを処理することを含む。この処理することは、画素値のベクトルに較正マトリクスを乗じることを備えていてもよい。
前述の例示的態様および実施形態に加えて、図面を参照し以下の詳細な説明を検討することにより、さらなる態様および実施形態が明らかになるであろう。
本発明の実施形態による内視鏡システムの略図である。 種々の時間で異なるスペクトルプロファイルの複数の狭帯域で同時照明を生成するのに有用な回転フィルタホイールの略図である。 複数の光の波長帯を通過させる特注フィルタのスペクトル特性を例示するグラフである。 内視鏡の遠位端に位置する光源の略図である。 プログラマブル画像収集および処理エレクトロニクスの例のブロック図である。 CCDの3つの(赤(R)、緑(G)、および青(B))チャネルの重複スペクトル応答を例示するグラフである。 重複スペクトル応答による3つの波長に応じたCCD出力の読みを例示するグラフである。 蛍光イメージング用の照明を提供する蛍光光源と白色光反射率およびマルチスペクトルイメージング用の照明を提供するプログラマブルディジタル光源とを組み合わせる本発明の別の実施形態による光源の略図である。 52のデータ点/波長帯スペクトルデータのROC曲線(上三角記号曲線)と18波長帯のデータ点数の減少のROC曲線(下円記号曲線)のグラフである。 実施形態例による最適化手法を例示するフローチャートである。 本発明の最適化手法の3つのアプローチの精度を示すグラフである。 本発明の最適化手法の精度への帯域幅の影響を示すグラフである。 実施形態例によるマッピングアルゴリズムを例示するフローチャートである。 測定形状の変動に対してスペクトル画像を補正するために使用できる実施形態例による強度較正アルゴリズムを例示するフローチャートである。 組織の生理学的および形態学的特性を定量化するために使用できる実施形態例による高速反転アルゴリズムを例示するフローチャートである。 本発明の別の実施形態による高速反転アルゴリズムを例示するフローチャートである。 本発明の方法および装置の実施形態により取得できるような結果画像の実例である。
本発明のさらなる目的および利点とともに本発明の構造および動作の機構と様態は、添付図面に関連付けられた以下の説明を参照することにより最もよく理解される可能性がある。以下の図では同様の参照番号は同様の要素を示す。
図および以下の説明は、具体例としての実施形態を示す。以下に記載する特徴は本発明の複数の変形形態を形成するために他の様々な方法で組み合わされてもよいことは当業者であれば理解するであろう。
マルチスペクトル・イメージング・システムは、高速マルチスペクトルイメージングを実現するために並列マルチバンド照明と並列マルチチャネルイメージング検出を提供する。イメージング速度は、動きのアーチファクトを回避するのに十分に高くてよい。一部の実施形態では、イメージングはビデオ速度で実施される(たとえば、毎秒24フレームまたはそれ以上)。鏡面反射は、以下に記載するデータ分析アルゴリズムによって自動的に補正されてよい。
また、測定形状変動の影響を補償するために記録された画像強度を補正する方法および装置を以下で説明する。このような方法および装置は、マルチスペクトル・イメージング・システムと組み合わせて使用されてもよく、あるいは他のアプリケーションで使用されてもよい。方法および装置は、たとえば、組織の物理的、生理学的、および形態学的特性のビデオ速度または近ビデオ速度の定量化画像を生成する際に採用されてもよい。たとえば、このような方法および装置は、組織血液量、組織酸素化、組織散乱体積、および組織散乱サイズパラメータの1つまたは複数を示す画像を提供するシステムにおいて提供されてよい。また、白色光および/または蛍光画像が提供されてよい。
一部の実施形態は、白色光反射イメージング(WLR)、蛍光イメージング(FL)、およびマルチスペクトル反射イメージングを実施しうるプログラマブル多機能内視鏡検査システムを提供する。
図1は、プログラマブル多機能内視鏡検査システム11の機能要素を示すブロック図である。システム11は、複数の狭スペクトル帯域の光を備える照明光を生成する光源12と、スペクトル帯域に対応するスペクトル画像を収集し生成する光学カメラ/検出器7とを備える。光源12によって放射される光は、基本的に複数のスペクトル帯域の光からなっていてもよい。一部の実施形態では、光源12によって放射される照明光の光エネルギーの少なくとも50%または少なくとも80%は、複数のスペクトル帯域にある。図示された実施形態では、光源12は、広帯域発光体1と、複数の狭スペクトル帯域を生成する照明光フィルタ2とを備える。光フィルタ2は、たとえば、回転フィルタホイールにフィルタを備えていてもよい。発光体1は、たとえば、400〜800nmの波長範囲の広いスペクトルの照明光を提供するキセノンランプを備えていてもよい。
代替的実施形態では、光源12は、各々が複数のスペクトル帯域の1つの光を放射する複数の狭帯域光源を備える。たとえば、光源12は、複数の発光半導体デバイス(たとえば、発光ダイオードLEDなど)を備えていてもよい。
一部の実施形態では、光源12は、照明光のスペクトル構成を変更しうるように適合される。たとえば、第1の期間中に光源12は狭スペクトル帯域の第1の組の光を放射してもよく、第2の期間中に光源12は第1の組とは異なる第2の組の狭スペクトル帯域の光を放射してもよい。これは複数の期間にわたって続けられてよい。
一部の実施形態では、光源12は、複数の期間を周期的に繰り返し、各期間では、照明光のスペクトル(たとえば、その周期における照明光を構成する特定のスペクトル帯域)が期間ごとに変化するように複数のスペクトル帯域で照明光を放射するように構成される。
光源1によって放射される照明光は、複数の狭スペクトル帯域の外にある光を除去して複数の狭スペクトル帯域に集中される照明光を残すフィルタ2を通過する。このような照明光は、レンズ3によって照明ライトガイド4に集められて組織5(撮像されている対象物)を照射する。組織によって反射される光は、この例では、集光レンズ(図示せず)、イメージング・ライト・ガイド6、および検出器7を備えるイメージング手段によって取り込まれる。検出器7は、複数の狭スペクトル帯域の各々の画像データを同時に収集してよい。こうすることで、マルチスペクトル画像の高速収集が容易になる。
検出器7は、たとえば、400〜500nmの波長を有する光に応答する青色CCD、500〜600nmの範囲の波長を有する光に応答する緑色CCD、および600〜800nmの範囲の波長を有する光に応答する赤色/NIR CCDなど、3つの電荷結合素子(CCD)を備えていてもよい。検出器7は、さらに、複数のダイクロイックミラーを備えていてもよい。このような実施形態の一例では、画像ガイド6からの光ビームは、検出器7に入り、青色CCDに向かって500nmよりも小さい波長を有する光を反射する第1のダイクロイックミラーに作用すると同時に500nmよりも大きい波長を有する光を伝送する。第2のダイクロイックミラーは、緑色CCDに向かって600nmよりも小さい波長を有する光を反射し、赤色CCD/NIR CCDに向かって600nmよりも大きい波長を有する光を伝送する。
オプションとして、検出器7は、CCDから上流に向かう光路に帯域通過フィルタを備えていてもよい(たとえば、入射光をさらに光学的に処理するためにCCDの各々の前に近接して1つの帯域通過フィルタが配置されてもよい)。CCDは、マルチスペクトルイメージングに対する高速画像収集に適合するようにビデオ速度よりも短い露光時間を有していてもよい。
CCDによって取得された画像は、処理ユニット8によって処理されて複数のスペクトル画像になる。取得されたスペクトル画像は、この後、分析ユニット9によって分析され、その結果、組織の生理学的および形態学的画像はモニター10などの所望の出力手段に表示される。分析ユニット9は、たとえば、後述のようなモデル化アルゴリズムを適用してもよい。
光源12は、可視および/または近赤外(NIR)放射を提供してもよい。たとえば、光源12は、約400nmから少なくとも約800nmまで延在する可視/NIR帯域の照明光を提供してもよい。
一部の実施形態では、光源12は、少なくとも可視範囲の広帯域照明を放射する動作モードを有する。このようなモードは、内視鏡検査中にオペレータを案内して画像を生成するのに有用である可能性がある。広帯域可視光を放射する働きをする光源12の場合、検出器7は、赤色チャネルが600〜700nmなどの比較的狭い範囲でなく、たとえば、600〜800nmをカバーすることを除いて、従来のRGB画像に似た画像を取り込むことができる可能性がある。前述のように、光源12は、同時に複数の狭帯域(NB)照明(たとえば、405nm、505nm、および605nmにおける)を提供しうる。有利には、光源12は、次の1組のマルチ狭帯域(たとえば、420nm、520nm、および635nm)で構成されるスペクトルを有する照明光を放射するように素早く調整されうる。一部の実施形態では、各1組のマルチ狭帯域は、検出器7が有するチャネルと同数の狭帯域成分を有する。たとえば、3チャネルを有する前述のような検出器7の場合、各1組のマルチ狭帯域は、3つの狭帯域を備えていてもよい。
図2に示すように、フィルタホイール2は、種々の期間において、照明光が異なる組の3つの狭帯域を備えるスペクトル構成を有するように一連の期間に照明光を生成するために採用されてよい。フィルタホイール2は、複数のフィルタを含んでいてもよい。これらのフィルタの各々が発光体1と撮像されている対象物の間の光路にあるとき、照明光は基本的に対象物に同時に供給される3つの狭帯域で構成される。帯域は、たとえば、スペクトルの青色領域に1つの帯域と、スペクトルの緑色領域に1つの帯域と、スペクトルの赤色領域または赤外領域に1つの帯域とを備えていてよい。たとえば、フィルタ21は期間T1中に照明スペクトル26を生成してもよく、フィルタ22は期間Ti中に照明スペクトル27を生成し、フィルタ23は期間Tn中に照明スペクトル28を生成する。一部の実施態様では、フィルタホイール2の個々のフィルタは、3つ以上または3つ以下の狭波長帯を同時に生成しうる。
一部の実施形態では、フィルタホイールは、各フィルタが2つまたは3つの異なる帯域を備える全部で12〜52の異なる帯域の照明光を提供するフィルタを含む。各フィルタの狭通過帯域の数は、一部の実施形態において検出器によって提供されるチャネル数に等しいかまたはそれよりも少ない。
一実施形態例では、フィルタホイール2は、一度に3帯域ずつ、全部で18帯域の照明光を提供する6つのフィルタを含む。ある実施形態例では、各フィルタは異なる組の3つの狭帯域光からなる異なるスペクトル照明プロファイルを提供する。下表は、18の選択帯域の可能な波長の一例を示す。一部の実施形態では、狭帯域は20nmあるいはそれ以下の帯域幅を有する。10nmの列は、10nmの帯域幅を有する狭帯域に対して最適化された波長選択肢を表わす。15nmの列は、狭帯域が15nmの帯域幅を有する場合に対して最適化された波長選択肢である。狭帯域の波長は、等間隔に配置されても非等間隔に配置されてもよい。
たとえば、第1のフィルタは、青色帯域(415nm)、緑色帯域(510nmまたは515nm)、および赤色帯域(610nmまたは615nm)の光を同時に提供してもよい。第2のフィルタは、435nm、525nm、および625nmの照明プロファイル提供してもよく、第3のフィルタは、445nmまたは450nm、540nmまたは545nm、および640nmまたは645nmを提供してもよく、第4のフィルタは、460nmまたは465nm、560nmおよび665nmを提供してもよく、第5のフィルタは、475nm、575nm、および690nmを提供してもよく、第6のフィルタは490nm、590nmまたは595nm、および760nmの照明光を提供してもよい。
フィルタホイール2に関する特注フィルタの伝送特性例を図2aに示す。図示のように、フィルタホイール2のこの具体的なフィルタは、種々の波長の複数の帯域の光を同時に通過させることができる。さらに、800nmを超える透過光を除去するために短波長通過フィルタが採用されうる。
フィルタホイール2では、種々のスペクトルプロファイル間の切替は、フィルタホイール2を回転することによって実現される。一部の実施形態では、フィルタホイール2は約30回転/秒の速度で回転される。発光体1からの光は、白色光反射率イメージング用の白色光照明(たとえば、400〜700nm)を提供するために狭帯域フィルタリングなしで使用されてもよい。これは、狭帯域フィルタを有していないフィルタホイール2の1つまたは複数のセグメントを提供し、かつ/またはフィルタホイール2をバイパスする選択可能光路を提供することによって実現されてもよい。
図1に示す光源12は、検出器7の同じ露光で撮像されうる複数の狭帯域を備えるスペクトルを有する照明を生成する場合に適用できる多数の適切な光源の一例にすぎない。代替的な一実施形態例では、音響光学的可変フィルタ(AOTF)ベースの光源または液晶可変フィルタ(LCTF)ベースの光源が採用される。別の実施形態例では、ディジタル・マイクロミラー・デバイス(DMD)ベースのスペクトルをプログラム可能な光源が同時複数NB照明を効果的に提供するために採用される。一部の市販のDMDベースの光源は毎秒最大7000のスペクトルを切り替えることができ、この数字はDMDベースの光源の開発の継続に伴って増加する可能性がある。
別の代替的な実施形態例では、光源は複数のNB照明を基本的に同時に生成する1つまたは複数の音響光学的可変フィルタ(AOTF)を備える。たとえば、英国Fianium社製モデルSC450−AOTF光源は、スペクトルが最大8つのNB成分を有する光を発生しうる。AOTFは、ファイバ・レーザ・ベースの超連続体光源とともに使用されうる。
別の実施形態例では、光源12は、各々が1つまたは複数の特定波長帯の狭帯域光を放射する複数の独立した発光体を備える。発光体は、たとえば、発光ダイオード(LED)などの発光半導体デバイスを備えていてもよい。一部の実施形態では、光源は各種の複数のLEDを備える数種類のLEDを備える。
一部の実施形態では、光源12は内視鏡の遠位端に設置される。たとえば、複数のLEDまたはLDが内視鏡の遠位端に設置されてもよい。この配置は照明光を伝えるライトガイド4を必要としない。複数のLEDは、複数の照明セグメントに具体的なスペクトル特性を与えるために電子的に高速で切り替えられてもよい。LEDは、同時マルチバンド照明を好都合に実現して対応する画像収集用カメラと同期されるように電気的にオン/オフされうる。組織表面で均一な照明光を実現するために多数のLEDが円形に配置されてもよい。
図3は、複数の所望の波長帯の光を生成するために複数のLED31を備える内視鏡システムの遠位端30を示す。LED31はレンズ32を囲む内視鏡の遠位端に取り付けられてもよく、レンズ32は画像を検出器7に伝送するイメージング・ライト・ガイド6で画像を形成することができる。あるいは、小型カメラ7をレンズ32の真後ろに設置して、イメージング・ライト・ガイド6の必要性を排除してもよい。また、この後者の配置は、人間の皮膚のイメージングなど、オープンフィールドのイメージングアプリケーションにも採用されうる。
スペクトル帯域幅を所望の仕様まで狭めるのに役立てるために、帯域通過フィルタをオプションとして各LEDの発光面に堆積させてもよい。図3に例示した実施形態では、3つ1組のLED31aは3つの対応する狭帯域(b、g、r)の照明光を提供してもよく、LED31bはLED31aと同じかまたは異なる波長で3つの対応する狭帯域(b、g、r)の照明光を提供してもよく、LED31cはLED31aおよび/または31bと同じかまたは異なる波長で3つの狭帯域(b、g、r)の光を提供してもよい。
図4は、画像収集および処理エレクトロニクス8の例の詳細を示す。第1の画像モードが選択され、この後、イメージング信号がA/Dコンバータによってディジタル化されて処理のために入力FPGA(フィールド・プログラマブル・ゲート・アレイ)に送られる。入力FPGAの内部では、ディジタル化された画像が入力FIFO(先入れ先出し)画像バッファに導かれ、この後、さらなる処理のために画像をWLR/FL(白色光反射/蛍光)フレームバッファ、またはマルチスペクトル・イメージング・バッファのいずれかに導くことができるプログラマブルロジックおよび処理ユニットに導かれる。WLR画像およびFL画像は、これら2つの画像診断法が典型的に同時に実施されないので同じバッファを共有してよい。マルチスペクトルイメージングには、はるかに大きいメモリを備える独立したバッファが指定される。また、2つのバッファを採用すると、光源がマルチNB照明シリーズおよび同じサイクルのWRL照明を出力するようにプログラムされる場合に、同時WLRイメージングおよびマルチスペクトルイメージングが容易になる。赤/近赤外(R/NIR)、緑(G)、および青(B)CCDによって撮影される3つの画像の位置調整など、入力FPGA内で様々な画像処理機能が実施されてよい。
本明細書において以下で説明するモデリング技法を実行するために開発されたアルゴリズムは、たとえば、組織血液量画像、組織酸素化画像、組織散乱体積画像、および組織散乱サイズパラメータ画像など、少なくとも4つの画像を生成する各画素に対する組織の生理学的および形態学的パラメータを取得するために後で分析される各画素に対して反射率スペクトルを導出するためのマルチスペクトル画像の処理に使用される。別の実施形態では、たとえば、オキシヘモグロビン画像、デオキシヘモグロビン画像、組織水分量画像、および/または他の発色団分布の画像などのさらなる画像が生成されうる。これらの画像に基づいて、各画素を良性/正常または悪性として分類する組織診断画像が生成されてもよい。
多くの分析を実施する様々なアルゴリズムがこれらをプログラムすることによってFPGAに組み込まれうる。処理されたディジタル画像は、出力FIFOによって様々な画像を種々のビデオエンコーダ(DAC)にエクスポートする出力FPGAに出力され、ディジタル画像信号を標準アナログモニターに表示される標準アナログビデオに変換する。2つの画像フレームバッファをPCコンピュータに接続することができ、したがって、前述のプロセスの任意の段階でディジタル画像をさらに処理し、分析し、結果をコンピュータモニターに表示するためにPCに転送することができる。PCには、画像処理およびデータ分析を高速化するためのGPU(グラフィックス・プロセッシング・ユニット)ビデオ処理カードを備えることができる。
代替的な実施形態では、検出器7はB(400〜500nm)、G(500〜600nm)、R(600〜700nm)、およびNIR(700〜800nm)などの4つのイメージングCCDを有する。このような実施形態では、光源12は、スペクトルが4つの狭帯域の光で構成される照明光を生成するように適合されてもよい。狭帯域は、それぞれ、B、G、R、およびNIR帯域内にあってもよい。狭帯域に対する通過波長は、経時的に変化するように制御されてよい。こうすることで、より高速のマルチスペクトルイメージングの実施が可能になる。
別の実施形態では、白色光反射率画像が収集された狭帯域スペクトル画像から合成される。各画素では、反射率スペクトルは、放射輝度スペクトルを生成するために画素に対するRGB色がCIE(国際照明委員会)による反射率スペクトルに標準照明スペクトルを乗じ、オペレータが観察するモニターに表示される最終R、G、B色量(color quantities)を生成するために放射輝度スペクトルをアイコーン感受性スペクトルで畳み込むことによって取得されるように生成されうる。
代替的な実施形態では、ビデオ内視鏡は内視鏡の先端に取り付けられた検出器(たとえば、CCD)を有する。このような実施形態では、画像ライトガイド6が必要でない。検出器チップは、3つまたは4つのチャネルイメージング(B、G、R、NIR)を容易にするために特別なパターンのフィルタで覆われる。考えられるパターンを下表に示す。
別の実施形態では、市販のカラーイメージング検出器(たとえば、CCD、CMOS、またはAPS検出器)が検出器として使用されてよい。検出器は、R、G、B画像を取得するためにBayerフィルタモザイクが塗られたフィルタを有していてもよい。多くの市販のイメージング検出器のフィルタは、互いに重複するスペクトル応答を有している場合がある。図5は、CCD画像検出器例のフィルタに関するフィルタ特性例を示す。この種の検出器を使用する利点は、コストが低いことである。
フィルタ特性が重複する場合、個々の狭帯域照明波長に対応する正確な反射率信号を取得するための較正手順が実施されてもよい。図6に示すように、B、G、Rスペクトル帯域にある3つの波長の同時照明の下で、3つの画像チャネルの各々に対するCCD出力の読みは、これらの重複するスペクトル応答に起因する3つすべての波長からの寄与を有することになる。CCDに達する光強度がそれぞれ、青、緑、および赤の狭帯域波長に対してI、I、およびIであると仮定すると、CCDの青色チャネルの読みは、感度T11によって決定される青色光からの寄与、感度T12によって決定される緑色光からの寄与、および感度T13によって決定される赤色光からの寄与を有する可能性を有しうる。CCDの青色チャネルの読みCは次式に等しい。
=T11+T12+T13 (1)
同様に、CCDの緑色チャネルの読みCおよび赤色チャネルの読みCは以下のように与えられる。
=T21+T22+T23 (2)
=T31+T32+T33 (3)
上記3つの式は、以下のようにマトリクス形式で表わされうる。
式(4)に示すようなTマトリクスは、較正を実施することによって決定されてもよい。較正は、別々の露光の光I、I、およびIでCCDを照明することによって実施されてもよい。
CCDがIのみによって照明されるとき(I=I=0の場合)、次式が得られる。
は光パワーメータによって測定されうるが、C1、C2、およびC3は、それぞれCCDのB、G、Rチャネルからの読みである。同様に、Iのみによって照明されるとき(I=I=0の場合)、次式が得られる。
12=C/I
22=C/I
32=C/I
のみによって照明されるとき(I=I=0の場合)、次式が得られる。
13=C/I
23=C/I
33=C/I
較正マトリクス
は正方マトリクスである。較正マトリクスTを反転することによってCCDの読みから較正された光強度を取得することができる。
、I、I(異なる波長における)の異なる照明の組が使用されるとき、新たな波長の組に対して較正を反復する必要がある。6つの異なる3個セットの狭帯域(NB)の組がスペクトル・イメージング・システムで使用されるとき、6組の較正を実行する必要がある。
代替的な実施形態では、疑わしい領域(これは、たとえば、WLRイメージングおよび/またはFLイメージングによって見られる場合がある)のスナップショットマルチスペクトル画像は、診断を目的としてスナップショットの生理学的および形態学的画像を導出するためのオフライン分析(あるいは、オンラインであるがビデオ速度で結果を表示するほど高速でない)のために取り込まれうる。
FLイメージング照明は、図7に示すように光源によって生成されてもよい。FLイメージング光源はFLイメージングの照明を提供しうるが、プログラマブルディジタル光源または発光体と1組の交換可能なフィルタ(フィルタホイールのフィルタなど)との組合せがWLRイメージングおよびマルチスペクトルイメージングの照明を提供しうる。図7の実施形態では、ミラーブロック44が図に示すような位置にあるとき、プログラマブルディジタル光源45Aからの光は阻止されるが、FLイメージング光源45Bからの光は内視鏡ライトガイドに反射される。ミラーブロック44が離されると、プログラマブルディジタル光源45aからの光は内視鏡ライトガイドに導かれる。ミラーブロック44は、コンピュータの制御下でソレノイドなどのアクチュエータによって移動されてよい。
一部の実施形態では、光源と画像収集および処理エレクトロニクスとがいずれも完全にプログラム可能である。このような実施形態では、マルチスペクトル画像(たとえば、種々の数の波長帯または種々の位置のこれらの帯域または種々の帯域幅)およびこれらとWLRイメージングとの組合せの様々な収集方法と、様々な画像分析アルゴリズムとがハードウェアを変更せずに実施されうる。
代替的な実施形態では、種々の数の波長帯がマルチスペクトルイメージングに使用されうる。等間隔で配置された波長帯も非等間隔で配置された波長帯のいずれも選択されてよい。これらの波長帯は、マルチスペクトル反射率イメージングを実現するためにシステムにプログラムされうる。
図8は、52のデータ点/波長帯から取得されたスペクトルデータのROC曲線(上三角記号曲線)と、18の波長帯に対して少ないデータ点数を使用したときのROC曲線(下円記号曲線)とを示す。図に示すように、各スペクトルのデータ点を18の波長帯に減らすと診断精度がわずかに低下するが、検出感度および特異度はまずまず良好(それぞれ、80%および77%)に保たれる。それゆえ、図に示すように、適正な数(たとえば、18+)の波長帯をカバーするマルチスペクトル反射イメージングシステムは、既存のイメージング内視鏡モダリティ、すなわち、WLRモードおよびFLモードに比べて優れた精度を提供しうる。
最適化された波長帯の選択
スペクトルイメージングの最適波長帯を決定するために、モデル化法および統計的手法が適用されてもよい。最適化光輸送モデルに基づくスペクトル分析アルゴリズムが、プログラマブル画像収集および処理エレクトロニクスとリアルタイムデータ処理およびオフライン分析の両方に対してGPUを備えるPCコンピュータとにおいて実施される。最少数の波長と最適な波長位置および帯域幅とが、最適化関数を用いて実験的測定および/または模擬スペクトル測定から決定される。1つの手法は、フルスペクトルを用いて取得された推定値と少ない帯域数に対して最適化されたスペクトルを用いて取得された推定値との誤差関数の数値最適化(最小二乗法)に基づくものである。
例として、最適数の波長帯とそれらの帯域幅および中心波長位置を選択するために以下の3つの異なる最適化関数が採用される。
1.疾病分類(良性病変と悪性病変)と、連続フルスペクトル測定を用いて取得された精度(C_f)と、帯域数nのスペクトル測定を用いて取得された分類精度(C_n)との間の誤差の最小化。
2.連続フルスペクトル測定から取得された光学特性(OP_f)と、帯域数nのスペクトル測定から取得された光学特性(OP_n)との間の誤差の最小化。
3.連続フルスペクトルのスペクトル線形状(S_f)と、帯域nのスペクトルのスペクトル線形状(S_n)との間の誤差の最小化。
各所与の帯域数および所与の帯域幅に対して最適波長位置Rnを取得するための最適化手法を例示するフローチャートを図9に示す。多数の波長帯(n)、幅、および位置(Wt)の選択肢が対応するスペクトルを生成するために採用される。生成されたスペクトルは、最適化関数を用いてフルスペクトル測定値(Rref)と比較される。プロセスは波長の数および帯域幅の別の選択肢に対して繰り返され、最適化関数の出力は最終選択肢を決定するために記録されて比較される。一部の実施形態では、関心のある3つのスペクトル検出チャネル(青400〜500nm、緑500〜600nm、および赤/NIR600〜800nm)の各々に対する帯域の総数および帯域幅が等しいものと仮定して分析が行なわれてもよい。
上記分析の結果は、近似精度に基づいて波長帯の数、帯域幅、および波長位置との間の関係を示すグラフを生成するために使用されてもよい。生成されたグラフは、本発明者らのスペクトル・イメージング・デバイスに使用される光学フィルタの最適設計パラメータ(帯域の数、それらの中心波長、および帯域幅)を選択するために使用されてもよい。
図10は最適化手法の3つのアプローチの精度比較例を示し、図11は帯域幅の精度への影響を示す。
マッピングアルゴリズム
複数の組織の生理学的(吸収)特性に関係する画像と複数の組織の形態学的(散乱)特性に関係する画像を取得するためにマッピングアルゴリズムが採用される。マッピングアルゴリズムは、強度較正アルゴリズムおよび高速反転アルゴリズムの2つの要素を備えていてもよい。図12は、組織の生理学的および形態学的画像をビデオ速度で生成するために適用されうるマッピングアルゴリズム例のブロック図を示す。
強度較正アルゴリズム200は、補正されたアルベドスペクトル画像110、散乱スペクトル画像160、および吸収スペクトル画像162を取得されたスペクトル画像100から生成しうる。散乱スペクトル画像162および吸収スペクトル画像160は、この後、高速反転アルゴリズム300に供給されて関係する組織の生理学的特性170および形態学的特性172を定量化する。
一実施形態では、先験的に知られるパラメータとしての組織の生体外吸収スペクトル150は、補正された吸収および散乱画像160、162を取得するために補正されたアルベドスペクトル画像110とともに使用される。
別の実施形態では、強度較正アルゴリズム200は、実際にはフルスペクトル範囲に沿った散乱係数の低下に対する吸収の比である補正されたアルベドスペクトル画像110をまず生成する。補正されたアルベドスペクトル画像110は、この後、高速反転アルゴリズム300に供給されて組織の生理学的および形態学的画像130、132を生成する。なお、生理学的および形態学的パラメータ130、132は、別のモデル化法で生成されるので、生理学的および形態学的パラメータ170、172とは異なる精度を有することになる。
強度較正アルゴリズムの例を図13にさらに詳しく示す。強度較正アルゴリズム200は、たとえば、反射率標準から反射した光のカメラへの結合に対する組織から反射した光のカメラへの結合の変動など、測定形状変動の主要因であるスペクトル画像の強度を補正するために使用されてもよい。その点に関して、2つの強度較正定数、すなわち、(1)測定中に組織とカメラの間の結合角度および測定距離変動を補正しうる測定形状定数(Ka)と、(2)測定の相対強度特性を補正し、較正アルゴリズムへの先験的に知られる入力として画像化されている組織の生体外吸収スペクトルを用いてアルベド画像から吸収画像と散乱画像の両方を推定しうるアルベド補正定数(Ks)と、が規定されて定式化される。
較正定数は、以下の関係によって測定された反射率スペクトルに関連付けられていてもよい。
(λi)=KaR(λi) (1)
β(λi)=X[KaR(λi)] (2)
μa(λi)=Y[Ks,β(λi)] (3)
ただし、μs’(λi)=μa(λi)/β(λi)
ここで、RおよびRは、それぞれ、測定された反射率および補正された反射率であり、βcおよびβmは、それぞれ、補正されたアルベドおよび測定されたアルベド(測定された吸収係数と測定された散乱係数の比)であり、μaおよびμs’は、それぞれ、補正された吸収係数および補正された散乱係数である。X[]は補正されたβアルベドを測定された反射率Rに関連付ける逆光輸送モデル/関数であり、Y[]は吸収振幅を散乱振幅に関連付ける関数である。XおよびY関数の正確な形または数学的定式化は、分析で採用される光輸送モデルに依存する。たとえば、モンテカルロ、拡散近似モデルなど、多くの周知の光輸送モデルが本明細書に記載する強度較正アルゴリズムとともに採用されうる。
単なる例として、一次元拡散近似モデルが採用されるとき、X[]関数の数学的定式化としては以下のようなものであろう。
β(λi)[(1+β(λi))]1/2−d[1+β(λi)]1/2+dβ(λi)−d=0
ただし、
=A’+2AKaR
=4AKaR
=3A+2AKaR
=4AKaR
ここで、Aは組織の屈折率およびA’=1+2/3Aに依存する定数である。
強度較正アルゴリズムは、フル・スペクトル・イメージング範囲で補正されたアルベドスペクトル画像または吸収スペクトル画像および散乱スペクトル画像を生成するために3つの波長に沿って適用される。補正された吸収および/または散乱画像の物理的意味は、反射率標準から反射される光のカメラへの結合に対して、また非接触反射率イメージングなどの非接触スペクトル反射率の測定中に典型的に生じる、測定中の組織に対する光−カメラプローブ(内視鏡先端)の方位の移動に対して、組織から反射される光のカメラへの結合の変動から生じた反射光強度に関係する歪み/影響から補正される画像のことである。アルゴリズムでは、フル・スペクトル・イメージング範囲に沿って補正された吸収および散乱画像を生成するために先験的に知られるパラメータとして検討されている組織の生体外吸収スペクトルを使用することができる。強度較正アルゴリズム(反復/最小二乗法)で使用される固定された生体外吸収係数は、散乱振幅と吸収振幅を指定して分離しうる内部組織標準として働く。その結果、この吸収係数は、組織の生理学的および形態学的特性に関する比較的ロバストな定量的データを提供する。
図13に示すように、強度較正アルゴリズム200では、入力パラメータとして、波長λ1、λ2、λ3における3つのスペクトル画像(101)と、撮像されている組織のλ1、λ2、λ3における生体外吸収係数(250)と、測定形状定数Kaiおよびアルベド補正定数Ksiに対して無作為に選定された初期値(201)とが使用される。アルゴリズムは、計算された形状定数Kacおよび計算されたアルベド補正定数Kscが収束するまで反復的に継続する(240および242)。計算されたアルベド補正定数(Ksc)および形状定数(Kac)は、吸収スペクトル画像160および散乱スペクトル画像162、または補正されたアルベドスペクトル画像110をそれぞれリアルタイムで生成するために使用されうる。強度較正アルゴリズムは、拡散近似、モンテカルロにより生成される参照テーブル、またはその他の光輸送モデルなど、任意の光輸送モデルとともに使用されうる。
一実施形態では、計算されたアルベド補正定数(Ksc)および形状定数(Kac)は、補正された吸収スペクトル画像162と散乱スペクトル画像160とをリアルタイムで生成するために使用される(図13の矢印付の破線経路255)。
別の実施形態では、強度較正アルゴリズムは、先験的な情報を使用せずにフルスペクトル範囲に沿って補正されたアルベドスペクトル画像110のみを生成する。
高速反転アルゴリズムの例を図14に示す。高速反転アルゴリズム300は、線形マトリクス反転法350と、周知の基準である組織の吸収発色団(chromophores)310および組織の散乱粒子312の固有スペクトルとを用いて吸収および散乱スペクトル画像160、162から関係する生理学的特性170および形態学的特性172を定量化する。
図14aは、代替的な高速反転アルゴリズム300を示す。高速反転アルゴリズム300は、線形マトリクス反転法350と、組織の吸収発色団310および組織の散乱粒子312の固有スペクトルとを用いて補正されたアルベドスペクトル画像110から関係する生理学的特性130および形態学的特性132を定量化する。
生成される生理学的画像/マップは、たとえば、酸化ヘモグロビン濃度画像、脱酸化ヘモグロビン画像、全ヘモグロビン濃度、および/または組織の水分量画像を含みうる。生成されうる形態学的画像は、散乱体積画像、粘膜層厚さ画像、および具体的な散乱粒子体積分率(核体積分率など)を含みうる。線形マトリクス反転法による直接的な(いかなる放射輸送モデルも使用しない)補正された吸収および散乱画像からの生理学的および形態学的組織特性の定量化は、高速反転アルゴリズムの高速実行を果たすので有利である。さらに、このような線形マトリクス反転実施態様を採用すると、並列処理(GPUなど)をより効果的に採用しうる。
以下の数学的表現は、吸収スペクトル画像を取得するために高速反転アルゴリズムに採用される線形マトリクス反転法を説明するものである。
ここで、Cmはmの定量化された生理学的特性であり、Icm(λ)はλにおける発色団mの固有スペクトルであり、μac(λn)はλにおける補正された吸収係数である。
同様に、以下のマトリクスは、散乱スペクトル画像を取得するためのマトリクス反転法を説明するものである。
ここで、Smはmの定量化された形態学的特性であり、Ism(λ)はλにおける散乱粒子mの固有スペクトルであり、μsc(λn)はλにおける補正された散乱係数である。Ism(λ)の数学的定式化は、組織の散乱粒子および成分をシミュレートするために使用される散乱粒子モデルに依存する。
図14に示すように、高速反転アルゴリズムは入力として吸収および/または散乱スペクトル画像を撮影することができ、線形マトリクス反転法と一定組織の発色団および散乱粒子の固有スペクトルを使用することによって一定の生理学的および/または形態学的特性の高速マッピングを生成することができる。
マッピングされうる生理学的および形態学的パラメータの例を図15に示す。図15は、高速マルチスペクトルイメージング中に得られる、(a)酸素化画像、(b)血液体積分率画像、(c)全散乱粒子体積分率画像、および(d)詳細散乱粒子体積分率画像(たとえば、核体積分率)などの結果画像の一例のみを示す。
取得された複数の生理学的および形態学的画像は、癌検出および局在診断および腫瘍境界描写に使用することができ、さらには治療計画およびモニタリングに役立つであろう。
本開示について具体的な要素、実施形態、および用途を示して説明してきたが、修正は本開示の範囲から逸脱することなく特に前述の教示に照らして当業者によってなされうるので、本開示の範囲はこれらに限定さないことは理解されよう。それゆえ、たとえば、本明細書で開示するいかなる方法またはプロセスにおいても、方法/プロセスを構成する行為や操作は任意の適切な順序で実施することができ、特定の開示された順序に必ずしも限定されない。要素および成分は、様々な実施形態において、違った方法で構成または配置され、組み合わせられ、かつ/または排除されうる。前述した様々な特徴およびプロセスは、互いに独立に採用されてもよく、様々な方法で組み合わせられてもよい。すべての可能な組合せおよび部分的な組合せは本開示の範囲内にあるものとする。本開示を通じた「一部の実施形態」、「ある実施形態」などの言及は、その実施形態に関連して記載される具体的な特徴、構造、ステップ、プロセス、または特性が少なくとも1つの実施形態に含まれることを意味する。それゆえ、本開示を通じた表現「一部の実施形態では」、「ある実施形態では」などの出現は、必ずしもすべてが同じ実施形態に言及しているものではなく、1つまたは複数の同じ実施形態に言及している場合も異なる実施形態に言及している場合もある。実際に、本明細書に記載した新規な方法およびシステムは、他の様々な形態で具体化されてもよく、さらに、本明細書に記載した実施形態の形式においては様々な省略、追加、置換、等価物、再構成、および変更は本明細書に記載した本発明の趣旨から逸脱することなくなされてよい。
実施形態の様々な態様および利点を必要に応じて説明してきた。このような態様や利点のすべてが必ずしも特定の実施形態に従って実現されない可能性があることは理解されるべきである。それゆえ、たとえば、様々な実施形態が本明細書で教示または示唆されるような他の態様または利点を必ずしも実現せずに、本明細書で教示されるような1つの利点または一群の利点を実現または最適化するように実行されてよいことは認識されるべきである。
特に別段の記載がない限り、あるいは使用される文脈の中で別段の理解が得られない限り、とりわけ、「しうる」、「してもよい」、「たとえば」など、本明細書で使用される条件語は、ある実施形態は一定の特徴、要素、および/またはステップを含むが他の実施形態はこれらを含まないことを伝えることが一般的に意図されている。それゆえ、このような条件語は、特徴、要素、および/またはステップが1つまたは複数の実施形態にとって多少なりとも必要であることや、1つまたは複数の実施形態がオペレータの入力や指示の有無にかかわらず、これらの特徴、要素、および/またはステップが特定の実施形態に含まれるか、あるいは実施されるべきかを判断する論理を必ず含むことを一般に暗示するものではない。1つの特徴も一群の特徴も特定の実施形態にとって必要でもなければ不可欠でもない。「備える」、「含む」、「有する」などの用語は、同義語であり、包括的にかつ制限なく使用され、さらなる要素、特徴、行為、操作などを除外するものではない。さらに、「または」という用語は、たとえば、要素のリストを接続するために使用されるとき、「または」という用語はリスト内の要素の1つ、一部、または全部を意味するように包含的な意味で(排他的な意味でなく)使用される。
本明細書に記載した実施形態の計算、シミュレーション、結果、グラフ、値、およびパラメータの例は、開示された実施形態を例示するものであって限定するものではない。他の実施形態は、本明細書に記載した説明に役立つ実例とは異なる形で構成されかつ/または操作されうる。

Claims (67)

  1. 対象物のマルチスペクトルイメージング用の装置であって、
    第1の複数の狭帯域によって特徴付けられた第1のスペクトルを有する光を放射するように構成可能な光源であって、前記装置は、前記光源からの前記光を前記対象物の領域に導くように配置されている、前記光源と、
    前記対象物の領域を撮像するように配置され、マルチチャネル画像データを提供するように構成されたマルチチャネルイメージング光検出器と、
    前記マルチチャネル画像データから複数のスペクトル画像を抽出するように構成された画像処理システムであって、前記複数のスペクトル画像は、前記複数の狭帯域の各々に対応するスペクトル画像を含む、前記画像処理システムと
    を備える装置。
  2. 前記光源は、前記光のスペクトルを変えるように制御可能であり、前記装置は、前記光源を切り替えて、第2の複数の狭帯域によって特徴付けられた第2のスペクトルを有する光を放射するように構成されたコントローラを備え、前記第2のスペクトルの前記第2の複数の狭帯域は、前記第1のスペクトルの前記第1の複数の狭帯域とは異なる波長で生じ、前記コントローラは、前記光源が前記第1のスペクトルを有する光で前記対象物の領域を照明している間に、前記対象物の第1のマルチチャネル画像を得るために前記イメージング光検出器を操作し、前記光源が前記第2のスペクトルを有する光で前記対象物の領域を照明している間に前記対象物の第2のマルチチャネル画像を得るために前記イメージング光検出器を操作するように構成されている、請求項1に記載の装置。
  3. 前記光源は、複数のモードを有しており、前記モードのそれぞれ1つに対して前記複数の狭帯域が対応する異なる組の波長において生じるように、前記モードの各々において、前記光源は対応する複数の狭帯域によって特徴付けられる対応するスペクトルを有する光を放射するように構成される、請求項1に記載の装置。
  4. 前記装置は、前記光源を選択されたモードに切り替え、前記光源が前記選択されたモードに対応するスペクトルを有する光で前記対象物の領域を照明している間に、対応するマルチチャネル画像データを得るために前記検出器を操作することを、複数の選択されたモードの各々に対して、繰り返すように構成されたコントローラを備える、請求項3に記載の装置。
  5. 前記光源は、広帯域光源と、複数のフィルタを含むフィルタホイールとを備え、前記複数のフィルタの各々は、複数の狭通過帯域を備える対応フィルタ機能を有する、請求項1〜4のいずれか一項に記載の装置。
  6. 広帯域光源は、キセノン・アーク・ランプを備える、請求項4に記載の装置。
  7. 前記光源は、複数の狭帯域発光体を備える、請求項1〜4のいずれか一項に記載の装置。
  8. 前記狭帯域発光体は、半導体発光体を備える、請求項7に記載の装置。
  9. 前記狭帯域発光体は、発光ダイオードを備える、請求項8に記載の装置。
  10. 前記光源は、広帯域光源および1つまたは複数の可変フィルタを備える、請求項1〜4のいずれか一項に記載の装置。
  11. 前記可変フィルタは、音響光学的可変フィルタまたは液晶可変フィルタを備える、請求項10に記載の装置。
  12. 前記光源は、ディジタル・マイクロミラー・デバイス・ベースのスペクトルをプログラム可能な光源を備える、請求項1〜4のいずれか一項に記載の装置。
  13. 前記複数の狭帯域は、可視光および近赤外光からなる電磁スペクトルの狭帯域の部分にある、請求項1〜12のいずれか一項に記載の装置。
  14. 前記複数の狭帯域は、390〜1000nmの範囲の波長を有する、請求項1〜12のいずれか一項に記載の装置。
  15. 前記複数の狭帯域は、約400nm〜約800nmの範囲の波長を有する、請求項14に記載の装置。
  16. 前記イメージング光検出器は、複数の光感知アレイを備え、複数の光感知アレイの各々が、対応する通過帯域の光に応答する、請求項1〜15のいずれか一項に記載の装置。
  17. 前記複数の狭帯域の狭帯域の各々は、前記通過帯域の異なる一つの通過帯域に含まれる、請求項16に記載の装置。
  18. 前記検出器は、カラーフィルタのパターンによって重ね合わされる光感知素子のアレイを備えるイメージングアレイを備える、請求項1〜15のいずれか一項に記載の装置。
  19. 前記カラーフィルタの各々は、前記カラーフィルタに対応するフィルタ特性によって決定される量の、前記狭帯域の2つまたはそれ以上からの光を通過させる、請求項18に記載の装置。
  20. 較正情報を含むデータストアを備え、前記画像処理システムは、前記較正情報を用いて前記マルチチャネル画像データを分解し、前記複数の狭帯域に対応する複数の狭帯域画像を生成するように構成されている、請求項19に記載の装置。
  21. 前記検出器は、カラーフィルタのパターンによって重ね合わされる光感知素子のアレイを備えるイメージングアレイを備え、カラーフィルタの各々は、前記カラーフィルタに対応するフィルタ特性によって決定される量の、前記狭帯域の2つまたはそれ以上からの光を通過させ、前記装置は、前記モードの各々に対応する較正情報を含むデータストアと、前記対応する較正情報を用いて前記マルチチャネル画像データを分解して、前記複数の狭帯域に対応する複数の狭帯域画像を生成するように構成された画像処理サブシステムとを備える、請求項4に記載の装置。
  22. 前記複数の狭帯域は、3つの狭帯域からなり、該3つの狭帯域は、青色波長範囲の第1の狭帯域と、緑色波長範囲の第2の狭帯域と、赤色/近赤外波長範囲の第3の狭帯域とを含む、請求項18〜21のいずれか一項に記載の装置。
  23. 前記狭帯域の数は、前記マルチチャネルイメージング光検出器のチャネル数に等しい、請求項1〜22のいずれか一項に記載の装置。
  24. 前記複数のスペクトル画像を処理して、補正されたアルベドスペクトル画像と補正された吸収および補正された散乱スペクトル画像との1つまたは複数を生成するように構成された画像処理デバイスを備える、請求項1〜23のいずれか一項に記載の装置。
  25. 前記画像処理デバイスは、前記補正されたアルベドスペクトル画像および前記補正された吸収および前記補正された散乱スペクトル画像の一方または両方に基づいて、前記対象物の生理学的画像と、前記対象物の形態学的画像とのうちの少なくとも1つを導出するように構成されている、請求項24に記載の装置。
  26. 前記生理学的画像は、酸化ヘモグロビン濃度画像、脱酸化ヘモグロビン画像、全ヘモグロビン濃度画像、および水分量画像のうちの少なくとも1つを含む、請求項25に記載の装置。
  27. 前記形態学的画像は、散乱体積画像、粘膜層厚さ画像、および散乱粒子体積率画像のうちの少なくとも1つに基づくものである、請求項25または26に記載の装置。
  28. 前記装置は、内視鏡として構成される、請求項1〜27のいずれか一項に記載の装置。
  29. 前記光源は、前記内視鏡の近位端にあり、前記内視鏡は、前記光源の光を前記内視鏡の遠位端まで伝送するために接続されたライトガイドを備える、請求項28に記載の装置。
  30. 前記イメージング光検出器は、前記内視鏡の遠位端に位置する、請求項29に記載の装置。
  31. 前記光源は、前記内視鏡の遠位端に位置する、請求項28に記載の装置。
  32. 前記光源は、前記イメージング光検出器のアパーチャの周囲に配置された複数の発光ダイオードを含む、請求項31に記載の装置。
  33. 前記狭帯域は、20nmまたはそれ以下の帯域幅を有する、請求項1〜32のいずれか一項に記載の装置。
  34. 前記装置は、毎秒24組またはそれ以上の速度でスペクトル画像を取得するように構成されている、請求項1〜33のいずれか一項に記載の装置。
  35. 前記装置は、白色光照明モードを提供するように構成可能であり、前記光源は、前記領域を白色光で照明し、前記検出器は、前記領域のカラー画像を取得する、請求項1〜34のいずれか一項に記載の装置。
  36. 対象物のマルチスペクトルイメージング用の装置であって、
    対象物を照明する光源であって、該光源は複数のスペクトル画像を生成するために複数の狭波長帯の光を同時に生成するように適合されており、前記狭波長帯の各々は、可視/NIR範囲内の種々の波長を含み、前記光源は、前記複数の狭波長帯の波長を経時的に変化させて、種々の照明スペクトルプロファイルを作り出すように構成されている、前記光源と、
    前記画像を受信する画像検出デバイスと、
    前記複数のスペクトル画像を処理して分析し、補正されたアルベドスペクトル画像、または補正された吸収スペクトル画像および補正された散乱スペクトル画像を生成し、前記補正されたアルベドスペクトル画像、または前記補正された吸収スペクトル画像および補正された散乱スペクトル画像に基づいて、前記対象物の少なくとも1つの生理学的画像と前記対象物の少なくとも1つの形態学的画像とを導出する画像処理デバイスと
    を備える装置。
  37. 前記光源は、広帯域光源、プログラマブル・ディジタル・マイクロミラー光源、レーザ駆動光源、および発光ダイオードを含む群から選択される、請求項36に記載の装置。
  38. 前記光源は、複数のフィルタを有する回転フィルタホイールをさらに備える広帯域光源を含み、前記複数のフィルタの各々は、2つまたはそれ以上の狭帯域を同時に通過させ、前記狭帯域の各々は、異なる波長内にある、請求項37に記載の装置。
  39. 内視鏡を備え、前記光源は、前記内視鏡の遠位端に位置する複数の発光ダイオードを含み、該複数の発光ダイオードは、複数の狭波長帯において前記対象物の領域の均一な照明を提供するように配置されている、請求項37に記載の装置。
  40. 種々の狭帯域波長は、等間隔で配置されている、請求項36に記載の装置。
  41. 種々の狭帯域波長は、非等間隔で配置されている、請求項36に記載の装置。
  42. 前記複数の狭波長帯は、青色波長範囲の少なくとも1つの狭帯域と、緑色波長範囲の少なくとも1つの狭帯域と、赤色/近赤外波長範囲の少なくとも1つの狭帯域とを含む、請求項36に記載の装置。
  43. 前記画像検出デバイスは、少なくとも3つのCCDを含む、請求項36に記載の装置。
  44. 内視鏡を備え、前記画像検出デバイスは、内視鏡の遠位端に位置する、請求項36に記載の装置。
  45. 前記画像検出デバイスは、Bayerフィルタ・モザイク・カラー・カメラを含み、該Bayerフィルタ・モザイク・カラー・カメラは、前記複数の狭波長帯の各々の反射率画像に対応する反射率イメージング信号を取得するように較正されている、請求項36に記載の装置。
  46. 正方較正マトリクスを備える較正情報を含むデータストアを備える、請求項45に記載の装置。
  47. 前記補正されたアルベドスペクトル画像、または前記補正された吸収スペクトル画像および補正された散乱スペクトル画像を取得する強度較正モジュールと、前記補正されたアルベドスペクトル画像、または前記補正された吸収スペクトル画像および補正された散乱スペクトル画像に基づいて、前記少なくとも1つの生理学的画像および少なくとも1つの形態学的画像を定量化する高速反転モジュールとを備える、請求項36に記載の装置。
  48. 前記強度較正モジュールは、画像の画素から測定された反射率スペクトルと前記対象物の生体外光学吸収スペクトルとを用いて、前記複数のスペクトル画像の強度を補正する、請求項47に記載の装置。
  49. 前記強度較正モジュールは、少なくとも、前記対象物とイメージング手段との間の結合角度および測定距離変動を補正するための測定形状強度較正定数Kaと、測定値の相対強度特性を補正するためのアルベド補正強度較正定数Ksとを規定する、請求項47に記載の装置。
  50. 前記装置は、前記形状定数Kaを適用して、前記補正されたアルベドスペクトル画像を決定するように構成され、前記装置は、前記アルベド補正定数Ksを適用し、前記対象物の生体外吸収スペクトルを用いてアルベド画像から前記補正された吸収スペクトル画像および補正された散乱スペクトル画像を決定するように構成されている、請求項49に記載の装置。
  51. 前記高速反転モジュールは、線形マトリクス反転モデルに基づいている、請求項48に記載の装置。
  52. マルチスペクトルイメージング方法であって、
    複数の狭波長帯を備えるスペクトルを有する光で対象物の領域を露光すること、
    マルチチャネルイメージング検出器を用いて前記露光された対象物の画像を含む画像データを取得すること、
    前記画像データから複数のスペクトル画像を抽出することであって、前記複数のスペクトル画像は、前記複数の狭波長帯の各々に対応するスペクトル画像を含む、前記抽出すること
    を備える、マルチスペクトルイメージング方法。
  53. 前記対象物の領域を露光することを反復すること、前記画像データを複数回取得することを備え、前記方法は、前記複数の狭波長帯の帯域の波長を変えることによって、異なる反復に対して前記スペクトルを変更することを備える、請求項52に記載の方法。
  54. 前記波長帯は、可視光および近赤外光からなるスペクトル範囲内にある、請求項52〜53のいずれか一項に記載の方法。
  55. 前記方法を、24Hzまたはそれ以上の速度で反復することを備える、請求項52〜54のいずれか一項に記載の方法。
  56. 対象物の領域を露光することは、前記複数の狭波長帯に対応する複数の通過帯域を有するフィルタに前記光を通過させることを含む、請求項52〜55のいずれか一項に記載の方法。
  57. 対象物の領域を露光することは、前記複数の狭波長帯に対応する複数の通過帯域を有するフィルタに前記光を通過させることを備え、前記方法は、前記反復の各々に対して異なるフィルタに前記光を通過させることを備える、請求項53に記載の方法。
  58. 前記フィルタは、ホイールの周囲に取り付けられ、前記方法は、前記ホイールを回転させること、前記フィルタの各々を介して前記対象物が露光される間に、前記イメージング検出器の動作を前記ホイールの回転に連携させて、前記イメージング検出器を用いて少なくとも1つの画像を取得することを備える、請求項57に記載の方法。
  59. 前記画像データから複数のスペクトル画像を抽出することは、較正データを用いて前記画像データを処理することを含み、前記方法は、前記フィルタの各異なる1つに対応する画像に対して異なる較正データを適用する、請求項56または57に記載の方法。
  60. 前記スペクトル画像から白色光反射率画像を合成することを備える、請求項52〜59のいずれか一項に記載の方法。
  61. 前記スペクトル画像を処理して、補正されたアルベドスペクトル画像と補正された吸収スペクトル画像および補正された散乱スペクトル画像とのうちの1つまたは複数を得ることを備える、請求項52〜60のいずれか一項に記載の方法。
  62. 前記スペクトル画像を処理して、前記対象物の生理学的画像および前記対象物の形態学的画像のうちの1つまたは複数を取得することを備える、請求項52〜61のいずれか一項に記載の方法。
  63. 前記対象物は組織を備え、前記生理学的画像は、オキシヘモグロビン画像、デオキシヘモグロビン画像、組織水分量画像、およびその他の発色団分布の画像のうちの1つまたは複数を含む、請求項62に記載の方法。
  64. マルチスペクトルイメージング方法であって、
    N個の狭波長帯の光で対象物の領域を露光し、対象物の領域が露光されている間に前記対象物の画像を取得することであって、前記露光することは、一連のステップで実施され、各ステップは、一度にN個の狭波長帯の基本的にn個の組からなるスペクトルを有する光で同時に前記対象物を露光すること、マルチチャネルイメージング検出器を用いて前記対象物の画像を取得することを含む、前記対象物の領域を露光し、前記対象物の画像を取得すること、
    前記マルチチャネルイメージング検出器からのマルチチャネル画像データを処理して、前記N個の狭波長帯に対応するスペクトル画像を取得すること
    を備える、マルチスペクトルイメージング方法。
  65. 前記方法を、ビデオ速度で反復すること、前記スペクトル画像、または前記スペクトル画像から導出された画像を表示することを備える、請求項64に記載の方法。
  66. 前記ビデオ速度は、少なくとも24Hzの速度である、請求項65に記載の方法。
  67. 組織の生理学的および形態学的情報を定量化する方法であって、
    照明の複数の狭波長帯で対象物を同時に照明することであって、前記狭波長帯の各々は、可視/NIR範囲の異なる波長を有する、前記照明すること、
    複数のスペクトル画像を生成すること、
    前記画像の画素から測定された反射率スペクトルを用いて前記スペクトル画像の強度を補正し、補正されたアルベドスペクトル画像、または補正された吸収スペクトル画像および補正された散乱スペクトル画像を取得すること、
    少なくとも1つの生理学的画像および少なくとも1つの形態学的画像を、前記補正されたアルベドスペクトル画像、または前記補正された吸収スペクトル画像および補正された散乱スペクトル画像から導出すること
    を備える方法。
JP2012557365A 2010-03-17 2011-03-17 高速マルチスペクトルイメージングの方法および装置と癌検出および局在診断への応用 Pending JP2013521900A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US31489310P 2010-03-17 2010-03-17
US61/314,893 2010-03-17
PCT/CA2011/050148 WO2011113162A1 (en) 2010-03-17 2011-03-17 Rapid multi-spectral imaging methods and apparatus and applications for cancer detection and localization

Publications (2)

Publication Number Publication Date
JP2013521900A true JP2013521900A (ja) 2013-06-13
JP2013521900A5 JP2013521900A5 (ja) 2014-05-08

Family

ID=44648397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012557365A Pending JP2013521900A (ja) 2010-03-17 2011-03-17 高速マルチスペクトルイメージングの方法および装置と癌検出および局在診断への応用

Country Status (9)

Country Link
US (2) US9654745B2 (ja)
EP (1) EP2547992A4 (ja)
JP (1) JP2013521900A (ja)
CN (1) CN102893137B (ja)
AU (1) AU2011229113A1 (ja)
BR (1) BR112012023287A2 (ja)
CA (1) CA2793449A1 (ja)
RU (1) RU2012143821A (ja)
WO (1) WO2011113162A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015041506A1 (ko) * 2013-09-23 2015-03-26 에스엔유 프리시젼 주식회사 두께 측정 장치 및 이를 이용한 두께 측정 방법
JP2015077335A (ja) * 2013-10-18 2015-04-23 三菱電機エンジニアリング株式会社 光源装置
WO2015080275A1 (ja) * 2013-11-29 2015-06-04 国立大学法人東京大学 画像処理装置、画像処理方法及び記録媒体
JP2016030214A (ja) * 2014-07-25 2016-03-07 クリスティ デジタル システムズ ユーエスエイ インコーポレイテッド マルチスペクトル医用撮像装置及びその方法
WO2016203983A1 (ja) * 2015-06-17 2016-12-22 オリンパス株式会社 内視鏡装置
JP2016221277A (ja) * 2015-06-01 2016-12-28 マハジャン ニティン マルチモダリティ医療用可撓性ビデオ内視鏡
WO2017122431A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JP2017529514A (ja) * 2014-06-05 2017-10-05 ウニベルジテート ハイデルベルク マルチスペクトルイメージングのための方法及び手段
JP2018109759A (ja) * 2016-12-22 2018-07-12 アーノルド・ウント・リヒター・シネ・テヒニク・ゲーエムベーハー・ウント・コンパニ・ベトリーブス・カーゲー 電子式の顕微鏡
JP2020527713A (ja) * 2017-07-19 2020-09-10 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. ハイパースペクトルイメージングを用いた検体評価方法及び検体評価装置

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10568535B2 (en) 2008-05-22 2020-02-25 The Trustees Of Dartmouth College Surgical navigation with stereovision and associated methods
US9402533B2 (en) 2011-03-07 2016-08-02 Endochoice Innovation Center Ltd. Endoscope circuit board assembly
EP3811847A1 (en) 2009-06-18 2021-04-28 EndoChoice, Inc. Multi-camera endoscope
US9901244B2 (en) 2009-06-18 2018-02-27 Endochoice, Inc. Circuit board assembly of a multiple viewing elements endoscope
US9872609B2 (en) 2009-06-18 2018-01-23 Endochoice Innovation Center Ltd. Multi-camera endoscope
US11864734B2 (en) 2009-06-18 2024-01-09 Endochoice, Inc. Multi-camera endoscope
US10165929B2 (en) 2009-06-18 2019-01-01 Endochoice, Inc. Compact multi-viewing element endoscope system
US9706903B2 (en) 2009-06-18 2017-07-18 Endochoice, Inc. Multiple viewing elements endoscope system with modular imaging units
US11278190B2 (en) 2009-06-18 2022-03-22 Endochoice, Inc. Multi-viewing element endoscope
US9101287B2 (en) 2011-03-07 2015-08-11 Endochoice Innovation Center Ltd. Multi camera endoscope assembly having multiple working channels
US9101268B2 (en) 2009-06-18 2015-08-11 Endochoice Innovation Center Ltd. Multi-camera endoscope
US9642513B2 (en) 2009-06-18 2017-05-09 Endochoice Inc. Compact multi-viewing element endoscope system
US9713417B2 (en) 2009-06-18 2017-07-25 Endochoice, Inc. Image capture assembly for use in a multi-viewing elements endoscope
US8926502B2 (en) 2011-03-07 2015-01-06 Endochoice, Inc. Multi camera endoscope having a side service channel
WO2012077117A1 (en) 2010-12-09 2012-06-14 Peermedical Ltd. Flexible electronic circuit board multi-camera endoscope
US11547275B2 (en) 2009-06-18 2023-01-10 Endochoice, Inc. Compact multi-viewing element endoscope system
US9492063B2 (en) 2009-06-18 2016-11-15 Endochoice Innovation Center Ltd. Multi-viewing element endoscope
JP5597021B2 (ja) * 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
WO2012021212A1 (en) * 2010-08-10 2012-02-16 Boston Scientific Scimed, Inc. Endoscopic system for enhanced visualization
US9560953B2 (en) 2010-09-20 2017-02-07 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
US10080486B2 (en) 2010-09-20 2018-09-25 Endochoice Innovation Center Ltd. Multi-camera endoscope having fluid channels
EP2635932B1 (en) 2010-10-28 2019-06-05 EndoChoice Innovation Center Ltd. Optical systems for multi-sensor endoscopes
US11889986B2 (en) 2010-12-09 2024-02-06 Endochoice, Inc. Flexible electronic circuit board for a multi-camera endoscope
US9814374B2 (en) 2010-12-09 2017-11-14 Endochoice Innovation Center Ltd. Flexible electronic circuit board for a multi-camera endoscope
EP3228236A1 (en) 2011-02-07 2017-10-11 Endochoice Innovation Center Ltd. Multi-element cover for a multi-camera endoscope
JP2012217673A (ja) * 2011-04-11 2012-11-12 Fujifilm Corp 内視鏡診断装置
US9014789B2 (en) 2011-09-22 2015-04-21 The George Washington University Systems and methods for visualizing ablated tissue
WO2013044182A1 (en) 2011-09-22 2013-03-28 The George Washington University Systems and methods for visualizing ablated tissue
JP5789232B2 (ja) * 2011-10-12 2015-10-07 富士フイルム株式会社 内視鏡システム及びその作動方法
CA2798716A1 (en) 2011-12-13 2013-06-13 Peermedical Ltd. Removable tip endoscope
EP2604172B1 (en) 2011-12-13 2015-08-12 EndoChoice Innovation Center Ltd. Rotatable connector for an endoscope
WO2014127145A1 (en) 2013-02-13 2014-08-21 The Trustees Of Dartmouth College Method and apparatus for medical imaging using differencing of multiple fluorophores
US11510600B2 (en) 2012-01-04 2022-11-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
US20140378843A1 (en) * 2012-01-20 2014-12-25 The Trustees Of Dartmouth College Method And Apparatus For Quantitative Hyperspectral Fluorescence And Reflectance Imaging For Surgical Guidance
CN103385693A (zh) * 2012-05-09 2013-11-13 朱瑞龙 一种肿瘤成像装置
CN102721469B (zh) * 2012-06-14 2015-05-13 中国科学院自动化研究所 双相机的多光谱成像系统和方法
US9560954B2 (en) 2012-07-24 2017-02-07 Endochoice, Inc. Connector for use with endoscope
CN102809429A (zh) * 2012-07-26 2012-12-05 中国科学院自动化研究所 基于双相机的多光谱成像系统和方法
US10322194B2 (en) 2012-08-31 2019-06-18 Sloan-Kettering Institute For Cancer Research Particles, methods and uses thereof
CN105073142B (zh) 2012-12-19 2019-12-10 索隆-基特林癌症研究协会 多模态粒子、其方法和用途
US10964001B2 (en) * 2013-01-10 2021-03-30 Akoya Biosciences, Inc. Multispectral imaging systems and methods
CN105103190B (zh) * 2013-01-10 2018-07-17 加利珀生命科学股份有限公司 全视野载玻片多光谱成像系统和方法
EP2951301A4 (en) * 2013-02-01 2016-11-02 Daniel Farkas METHOD AND SYSTEM FOR CHARACTERIZING THREE-DIMENSIONAL FABRIC USING MULTIMODAL OPTICAL MEASUREMENTS
JP6157135B2 (ja) * 2013-02-07 2017-07-05 オリンパス株式会社 光源撮像装置
US11937951B2 (en) 2013-02-13 2024-03-26 The Trustees Of Dartmouth College Method and apparatus for medical imaging using differencing of multiple fluorophores
WO2014124537A1 (en) * 2013-02-14 2014-08-21 Verisante Technology, Inc. Method and apparatus for optical measurements under ambient light conditions
EP2958481A4 (en) 2013-02-20 2017-03-08 Sloan-Kettering Institute for Cancer Research Wide field raman imaging apparatus and associated methods
US20140350534A1 (en) * 2013-02-20 2014-11-27 Sloan-Kettering Institute For Cancer Research Raman based ablation/resection systems and methods
US9986899B2 (en) 2013-03-28 2018-06-05 Endochoice, Inc. Manifold for a multiple viewing elements endoscope
US9993142B2 (en) 2013-03-28 2018-06-12 Endochoice, Inc. Fluid distribution device for a multiple viewing elements endoscope
US10499794B2 (en) 2013-05-09 2019-12-10 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
CN103284681A (zh) * 2013-05-24 2013-09-11 中国科学院苏州生物医学工程技术研究所 一种血管内双光谱成像装置
CN105377112B (zh) * 2013-07-05 2017-08-18 奥林巴斯株式会社 医疗显示装置以及内窥镜手术系统
CN103356152B (zh) * 2013-07-15 2016-07-06 中国人民解放军第二军医大学 含便携式定位装置的胶囊内窥镜系统
CN103356154B (zh) * 2013-07-15 2016-07-06 中国人民解放军第二军医大学 一种适用于消化道内的多功能胶囊内窥镜系统
US10080504B2 (en) 2013-11-08 2018-09-25 University Of Houston System Imaging system for intra-operative and post-operative blood perfusion monitoring
JP6737705B2 (ja) 2013-11-14 2020-08-12 ザ・ジョージ・ワシントン・ユニバーシティThe George Washingtonuniversity 損傷部位の深さを決定するシステムの動作方法及び心臓組織の画像を生成するシステム
WO2015077474A1 (en) 2013-11-20 2015-05-28 The George Washington University Systems and methods for hyperspectral analysis of cardiac tissue
US20170164837A1 (en) * 2014-02-11 2017-06-15 The Florida International University Board Of Trustees Intraoperative guidance system for tumor surgery
US10912947B2 (en) 2014-03-04 2021-02-09 Memorial Sloan Kettering Cancer Center Systems and methods for treatment of disease via application of mechanical force by controlled rotation of nanoparticles inside cells
CN110174170A (zh) * 2014-03-21 2019-08-27 海佩尔梅德影像有限公司 紧凑型光传感器
EP3111822A4 (en) * 2014-04-08 2018-05-16 Olympus Corporation Fluorescence endoscopy system
WO2016018896A1 (en) 2014-07-28 2016-02-04 Memorial Sloan Kettering Cancer Center Metal(loid) chalcogen nanoparticles as universal binders for medical isotopes
WO2016056015A1 (en) * 2014-10-08 2016-04-14 Collage Medical Imaging Ltd. Synchronized dual mode oct system
CN104116482B (zh) * 2014-08-11 2016-05-18 福建师范大学 一种基于内窥镜的光学图像和光谱信号检测装置
JP6204314B2 (ja) * 2014-09-03 2017-09-27 Hoya株式会社 電子内視鏡システム
ES2569550A1 (es) * 2014-10-10 2016-05-11 Consejo Superior De Investigaciones Científicas (Csic) Espectrofotómetro
CN113208723A (zh) 2014-11-03 2021-08-06 460医学股份有限公司 用于接触质量的评估的系统和方法
WO2016073476A1 (en) 2014-11-03 2016-05-12 The George Washington University Systems and methods for lesion assessment
CN104434013A (zh) * 2014-12-24 2015-03-25 中国科学技术大学 一种多模态阴道镜系统及获取多模态图像的方法
KR101650319B1 (ko) * 2015-03-06 2016-08-24 에스엔유 프리시젼 주식회사 컬러 카메라를 이용한 두께 측정방법 및 두께 측정장치
EP3260035A4 (en) * 2015-03-17 2019-04-03 Olympus Corporation BIOLOGICAL OBSERVATION SYSTEM
CN104887321A (zh) * 2015-05-08 2015-09-09 安徽信美医学工程科技有限公司 一种便携多模式医疗显微导航装置及其控制方法
CN106256313B (zh) * 2015-06-17 2021-02-05 松下知识产权经营株式会社 摄像装置
US10919089B2 (en) 2015-07-01 2021-02-16 Memorial Sloan Kettering Cancer Center Anisotropic particles, methods and uses thereof
US10779904B2 (en) 2015-07-19 2020-09-22 460Medical, Inc. Systems and methods for lesion formation and assessment
US9903757B1 (en) * 2015-09-25 2018-02-27 Hrl Laboratories, Llc Active multi-spectral sensor
US10295462B1 (en) 2016-03-02 2019-05-21 Hrl Laboratories, Llc Detection by active spatially and spectrally structured sensing and learning (DAS4L)
JP6561000B2 (ja) * 2016-03-09 2019-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2017158078A1 (en) * 2016-03-16 2017-09-21 INSERM (Institut National de la Santé et de la Recherche Médicale) Endoscope and method for exploring a peritoneum
WO2017168477A1 (ja) * 2016-03-28 2017-10-05 パナソニックIpマネジメント株式会社 撮像装置および画像処理方法
US10321816B2 (en) * 2016-06-17 2019-06-18 Fujifilm Corporation Light source device and endoscope system
CN109310270B (zh) * 2016-07-05 2021-03-19 奥林巴斯株式会社 具有多个窄带光源的照明装置
US10401610B2 (en) 2016-07-15 2019-09-03 Canon Usa, Inc. Spectrally encoded probe with multiple diffraction orders
AU2017315334B2 (en) 2016-08-24 2022-09-22 Mimosa Diagnostics Inc. Multispectral mobile tissue assessment
US10834377B2 (en) * 2016-08-29 2020-11-10 Faro Technologies, Inc. Forensic three-dimensional measurement device
WO2018068004A1 (en) * 2016-10-07 2018-04-12 Baylor Research Institute Classification of polyps using learned image analysis
DE102016119730A1 (de) * 2016-10-17 2018-04-19 Carl Zeiss Microscopy Gmbh Optikgruppe für Detektionslicht für ein Mikroskop, Verfahren zur Mikroskopie und Mikroskop
US10898068B2 (en) 2016-11-01 2021-01-26 Canon U.S.A., Inc. Multi-bandwidth spectrally encoded endoscope
CN110300883B (zh) * 2016-11-29 2022-05-10 光热光谱股份有限公司 用于增强光热成像和光谱的方法和设备
CN108937849A (zh) * 2017-05-29 2018-12-07 王虎 一种用于肿瘤纳米靶向探针荧光成像及手术导航指示系统
CA3074204A1 (en) * 2017-08-28 2019-03-07 East Carolina University Multi-spectral physiologic visualization (mspv) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design
CA3064779A1 (en) * 2017-09-15 2019-03-21 Kent Imaging Hybrid visible and near infrared imaging with an rgb color filter array sensor
CN107764750B (zh) * 2017-10-18 2021-03-16 西安鹿谱工控有限公司 一种非接触式色度检测装置及检测方法
CN108181642B (zh) * 2017-11-27 2020-08-21 中核控制系统工程有限公司 一种基于GPU和奇异值方法的γ谱仪谱分析方法
DE102018108809B4 (de) * 2018-04-13 2020-02-06 Hensoldt Optronics Gmbh Kamerasystem
WO2019236847A1 (en) 2018-06-08 2019-12-12 East Carolina University Determining peripheral oxygen saturation (spo2) and hemoglobin concentration using multi-spectral laser imaging (msli) methods and systems
EP3847660A2 (en) 2018-09-05 2021-07-14 East Carolina University Systems for detecting vascular and arterial disease in asymptomatic patients and related methods
US10982836B2 (en) 2018-10-31 2021-04-20 Microsoft Technology Licensing, Llc Tunable spectral illuminator for camera
US10931894B2 (en) * 2018-10-31 2021-02-23 Microsoft Technology Licensing, Llc Tunable spectral illuminator for camera
CN109269643B (zh) * 2018-11-02 2021-05-11 天津津航技术物理研究所 基于移动设备屏幕光源的光谱解调系统及方法
US10846917B2 (en) 2019-01-03 2020-11-24 Microsoft Technology Licensing, Llc Iterating different camera representations in three-dimensional model
US10753875B1 (en) 2019-01-31 2020-08-25 Rarecyte, Inc. Spectral unmixing of spectroscopic emission images
US10345237B1 (en) 2019-01-31 2019-07-09 Rarecyte, Inc. Spectral edge detection
CN109855735A (zh) * 2019-02-20 2019-06-07 北京理工大学 一种同步控制与采集的高光谱计算成像方法
US20200288965A1 (en) 2019-03-11 2020-09-17 Spring Biomed Vision Ltd. System and method for enhanced imaging of biological tissue
US20200294228A1 (en) * 2019-03-13 2020-09-17 East Carolina University Non-Contact Multispectral Imaging for Blood Oxygen Level and Perfusion Measurement and Related Systems and Computer Program Products
CA3134066A1 (en) 2019-03-26 2020-10-01 East Carolina University Near-infrared fluorescence imaging for blood flow and perfusion visualization and related systems and computer program products
US11712155B2 (en) 2019-06-20 2023-08-01 Cilag GmbH Intenational Fluorescence videostroboscopy of vocal cords
EP3805838B1 (en) * 2019-10-10 2023-12-06 Leica Instruments (Singapore) Pte. Ltd. Microscope and related apparatuses, methods and computer programs
KR20210050967A (ko) 2019-10-29 2021-05-10 삼성전자주식회사 분석 물질의 농도 추정 장치 및 방법과, 캘리브레이션 방법
DE102019217541A1 (de) * 2019-11-13 2021-05-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Medizinische Bildgebungseinrichtung, Verfahren und Verwendung
CN110833399B (zh) * 2019-11-29 2021-08-13 中国科学院自动化研究所 近红外二区单通道分时复用成像系统及其使用方法
WO2021226493A1 (en) * 2020-05-08 2021-11-11 The Regents Of The University Of California Label-free real-time hyperspectral endoscopy for molecular-guided cancer surgery
US11245877B2 (en) * 2020-06-11 2022-02-08 Viavi Solutions Inc. Scrolling spectral filter
EP4181509A4 (en) * 2020-07-27 2023-08-09 Huawei Technologies Co., Ltd. FILTER MATRIX, MOBILE TERMINAL, AND DEVICE
CN114449137A (zh) * 2020-11-02 2022-05-06 北京小米移动软件有限公司 滤光片结构、拍摄方法、装置、终端及存储介质
DE102021118559A1 (de) * 2021-07-19 2023-01-19 Senorics Gmbh Verfahren und System zur Analyse einer Probe anhand von Daten
CN114034642B (zh) * 2021-12-08 2023-10-24 重庆大学 基于微环谐振阵列的拉曼光谱片上检测系统及方法
CN114532987B (zh) * 2022-02-16 2023-12-19 北京市神经外科研究所 基于拉曼光谱的信息处理方法、装置及存储介质
US20230379578A1 (en) * 2022-05-17 2023-11-23 Frank Filiciotto Techniques for simultaneously running discrete imaging modalities

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008036035A (ja) * 2006-08-03 2008-02-21 Olympus Medical Systems Corp 内視鏡装置
JP2008283692A (ja) * 2002-07-26 2008-11-20 Olympus Corp 撮影装置、画像処理システム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
US5796512A (en) 1996-02-16 1998-08-18 Carnegie Mellon University Subicron imaging system having an acousto-optic tunable filter
DE19612536A1 (de) 1996-03-29 1997-10-02 Freitag Lutz Dr Anordnung und Verfahren zur Diagnose von malignem Gewebe durch Fluoreszenzbetrachtung
US6081612A (en) 1997-02-28 2000-06-27 Electro Optical Sciences Inc. Systems and methods for the multispectral imaging and characterization of skin tissue
US5917556A (en) * 1997-03-19 1999-06-29 Eastman Kodak Company Split white balance processing of a color image
US6008889A (en) * 1997-04-16 1999-12-28 Zeng; Haishan Spectrometer system for diagnosis of skin disease
DE60138534D1 (de) * 2000-03-28 2009-06-10 Univ Texas Verfahren und vorrichtung zur digitalen diagnostischen multispectralabbildung
US6678398B2 (en) * 2000-09-18 2004-01-13 Sti Medical Systems, Inc. Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
US6826424B1 (en) 2000-12-19 2004-11-30 Haishan Zeng Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices
US6697652B2 (en) * 2001-01-19 2004-02-24 Massachusetts Institute Of Technology Fluorescence, reflectance and light scattering spectroscopy for measuring tissue
EP1528380A4 (en) 2002-07-26 2009-12-09 Olympus Corp IMAGE PROCESSING SYSTEM
US20040225222A1 (en) * 2003-05-08 2004-11-11 Haishan Zeng Real-time contemporaneous multimodal imaging and spectroscopy uses thereof
US7697975B2 (en) * 2003-06-03 2010-04-13 British Colombia Cancer Agency Methods and apparatus for fluorescence imaging using multiple excitation-emission pairs and simultaneous multi-channel image detection
US20050059894A1 (en) * 2003-09-16 2005-03-17 Haishan Zeng Automated endoscopy device, diagnostic method, and uses
US7321791B2 (en) * 2003-09-23 2008-01-22 Cambridge Research And Instrumentation, Inc. Spectral imaging of deep tissue
WO2005088264A1 (en) * 2004-03-06 2005-09-22 Plain Sight Systems, Inc. Hyper-spectral imaging methods and devices
DE602005026825D1 (de) * 2004-08-30 2011-04-21 Olympus Co Endoskop
US8602971B2 (en) * 2004-09-24 2013-12-10 Vivid Medical. Inc. Opto-Electronic illumination and vision module for endoscopy
JP5149015B2 (ja) 2004-12-28 2013-02-20 ハイパーメツド・イメージング・インコーポレイテツド 全身生理機能およびショックの決定、評価および監視におけるハイパースペクトル/マルチスペクトルイメージング
JP2008528064A (ja) * 2005-01-21 2008-07-31 パーセプトロニクス メディカル インク 内視鏡画像法の間に得られた反射率スペクトル測定から癌変化を測定する方法と装置
US20060264760A1 (en) * 2005-02-10 2006-11-23 Board Of Regents, The University Of Texas System Near infrared transrectal probes for prostate cancer detection and prognosis
KR100953788B1 (ko) 2005-05-12 2010-04-21 올림푸스 메디칼 시스템즈 가부시키가이샤 생체 관측 장치
RU2378977C2 (ru) 2005-05-13 2010-01-20 Олимпус Медикал Системз Корп. Устройство для биологических наблюдений
US20070167836A1 (en) * 2005-07-25 2007-07-19 Massachusetts Institute Of Technology Multi modal spectroscopy
JP4727374B2 (ja) 2005-09-30 2011-07-20 富士フイルム株式会社 電子内視鏡装置
WO2009018849A1 (de) 2007-08-09 2009-02-12 Siemens Aktiengesellschaft Anordnung zur bildaufnahme von elementen
WO2009052607A1 (en) 2007-10-24 2009-04-30 Perceptronix Medical Inc. Method and apparatus for microvascular oxygenation imaging
US8849380B2 (en) * 2007-11-26 2014-09-30 Canfield Scientific Inc. Multi-spectral tissue imaging
JP5100457B2 (ja) * 2008-03-10 2012-12-19 オリンパスメディカルシステムズ株式会社 内視鏡観察システム
US20100033986A1 (en) * 2008-08-05 2010-02-11 Perceptron Inc. Light Pipe For Imaging Head of Video Inspection Device
WO2010019515A2 (en) 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008283692A (ja) * 2002-07-26 2008-11-20 Olympus Corp 撮影装置、画像処理システム
JP2008036035A (ja) * 2006-08-03 2008-02-21 Olympus Medical Systems Corp 内視鏡装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101537854B1 (ko) * 2013-09-23 2015-07-21 에스엔유 프리시젼 주식회사 두께 측정 장치 및 이를 이용한 두께 측정 방법
WO2015041506A1 (ko) * 2013-09-23 2015-03-26 에스엔유 프리시젼 주식회사 두께 측정 장치 및 이를 이용한 두께 측정 방법
CN105492861A (zh) * 2013-09-23 2016-04-13 Snu精度株式会社 厚度检测装置及利用该装置的厚度检测方法
JP2016531303A (ja) * 2013-09-23 2016-10-06 エスエヌユー プレシジョン カンパニー,リミテッド 厚さ測定装置およびこれを用いた厚さ測定方法
CN105492861B (zh) * 2013-09-23 2018-09-04 Snu精度株式会社 厚度检测装置及利用该装置的厚度检测方法
JP2015077335A (ja) * 2013-10-18 2015-04-23 三菱電機エンジニアリング株式会社 光源装置
JPWO2015080275A1 (ja) * 2013-11-29 2017-03-16 国立大学法人 東京大学 画像処理装置、画像処理方法及び記録媒体
WO2015080275A1 (ja) * 2013-11-29 2015-06-04 国立大学法人東京大学 画像処理装置、画像処理方法及び記録媒体
JP2017529514A (ja) * 2014-06-05 2017-10-05 ウニベルジテート ハイデルベルク マルチスペクトルイメージングのための方法及び手段
JP2020011079A (ja) * 2014-07-25 2020-01-23 クリスティ デジタル システムズ ユーエスエイ インコーポレイテッド マルチスペクトル医用撮像装置及びその方法
JP2016030214A (ja) * 2014-07-25 2016-03-07 クリスティ デジタル システムズ ユーエスエイ インコーポレイテッド マルチスペクトル医用撮像装置及びその方法
JP2016221277A (ja) * 2015-06-01 2016-12-28 マハジャン ニティン マルチモダリティ医療用可撓性ビデオ内視鏡
WO2016203983A1 (ja) * 2015-06-17 2016-12-22 オリンパス株式会社 内視鏡装置
WO2017122431A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JP6234648B1 (ja) * 2016-01-15 2017-11-22 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
US10736499B2 (en) 2016-01-15 2020-08-11 Olympus Corporation Image analysis apparatus, image analysis system, and method for operating image analysis apparatus
JP2018109759A (ja) * 2016-12-22 2018-07-12 アーノルド・ウント・リヒター・シネ・テヒニク・ゲーエムベーハー・ウント・コンパニ・ベトリーブス・カーゲー 電子式の顕微鏡
JP7063604B2 (ja) 2016-12-22 2022-05-09 アリ・メディカル・ゲーエムベーハー 電子式の顕微鏡
JP2020527713A (ja) * 2017-07-19 2020-09-10 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. ハイパースペクトルイメージングを用いた検体評価方法及び検体評価装置
JP7057820B2 (ja) 2017-07-19 2022-04-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド ハイパースペクトルイメージングを用いた検体評価方法及び検体評価装置
US11333553B2 (en) 2017-07-19 2022-05-17 Siemens Healthcare Diagnostics Inc. Methods and apparatus for specimen characterization using hyperspectral imaging

Also Published As

Publication number Publication date
AU2011229113A1 (en) 2012-10-18
CN102893137A (zh) 2013-01-23
CA2793449A1 (en) 2011-09-22
EP2547992A1 (en) 2013-01-23
US20170223316A1 (en) 2017-08-03
CN102893137B (zh) 2017-01-11
EP2547992A4 (en) 2014-06-18
US20130012794A1 (en) 2013-01-10
BR112012023287A2 (pt) 2017-03-21
WO2011113162A1 (en) 2011-09-22
RU2012143821A (ru) 2014-04-27
US9654745B2 (en) 2017-05-16

Similar Documents

Publication Publication Date Title
JP2013521900A (ja) 高速マルチスペクトルイメージングの方法および装置と癌検出および局在診断への応用
US11823403B2 (en) Fluorescence imaging in a light deficient environment
US6678398B2 (en) Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
JP6204314B2 (ja) 電子内視鏡システム
CN106572792B (zh) 用于多光谱成像的方法和部件
JP5466182B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
US8078265B2 (en) Systems and methods for generating fluorescent light images
JP2012090725A (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び画像処理方法
IL173288A (en) A device for detecting and characterizing biological tissue
CN106725263B (zh) 应用于内窥镜系统的成像方法
JP5752423B2 (ja) 分光計測システムおよび分光計測システムの作動方法
JPWO2012132571A1 (ja) 診断システム
JP6770587B2 (ja) 内視鏡システム、及び画像表示装置
JP2021035549A (ja) 内視鏡システム
Leitner et al. High-sensitivity hyperspectral imager for biomedical video diagnostic applications
JP6783168B2 (ja) 内視鏡システム及び分析装置
CN204207717U (zh) 内窥镜照射光谱选择装置及超光谱内窥镜成像系统
KR101124269B1 (ko) 객체간 알지비 색상차이를 최대화하는 내시경용 엘이디 최적 조명장치
JP4109132B2 (ja) 蛍光判定装置
US10876972B2 (en) Full scale Raman imaging for early caries detection
CN104352216B (zh) 内窥镜照射光谱选择装置及超光谱内窥镜成像系统
WO2011162721A1 (en) Method and system for performing tissue measurements
Themelis et al. Novel multispectral method for simultaneous color and fluorescence endoscopy
Zeng 6 Endoscopic Reflectance and Fluorescence Spectroscopy

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140317

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150714