JP2015232574A - マルチスペクトルフォトニック画像化方法及び装置 - Google Patents

マルチスペクトルフォトニック画像化方法及び装置 Download PDF

Info

Publication number
JP2015232574A
JP2015232574A JP2015152080A JP2015152080A JP2015232574A JP 2015232574 A JP2015232574 A JP 2015232574A JP 2015152080 A JP2015152080 A JP 2015152080A JP 2015152080 A JP2015152080 A JP 2015152080A JP 2015232574 A JP2015232574 A JP 2015232574A
Authority
JP
Japan
Prior art keywords
sample
light
image
imaging
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015152080A
Other languages
English (en)
Other versions
JP5986670B2 (ja
Inventor
ンツィアクリストス,ヴァシリス
Ntziachristos Vasilis
テメリス,ゲオルゲ
Themelis George
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Helmholtz Zentrum Muenchen Deutsches Forschungszentrum fuer Gesundheit und Umwelt GmbH
Original Assignee
Helmholtz Zentrum Muenchen Deutsches Forschungszentrum fuer Gesundheit und Umwelt GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Helmholtz Zentrum Muenchen Deutsches Forschungszentrum fuer Gesundheit und Umwelt GmbH filed Critical Helmholtz Zentrum Muenchen Deutsches Forschungszentrum fuer Gesundheit und Umwelt GmbH
Publication of JP2015232574A publication Critical patent/JP2015232574A/ja
Application granted granted Critical
Publication of JP5986670B2 publication Critical patent/JP5986670B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0068Confocal scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

【課題】複数パラメータによるリアルタイムな医療用画像化方法及び装置を提供する。【解決手段】医療用画像化のための画像化装置であって、(a)調査対象のサンプルに照射光を照射するよう配置される光源装置と、(b)異なるスペクトル範囲においてサンプルによって後方散乱される少なくとも二つのサンプル光画像、及びサンプルにおける少なくとも一のマーカ物質から発する少なくとも一のマーカ光画像を含む、複数の画像を収集するよう配置される検出器装置と、(c)少なくとも二つのサンプル光画像を処理し、少なくとも一の補正要素を生成するよう構成されると共に、少なくとも一の補正要素を用いることによりマーカ光画像を補正するようさらに構成されている処理装置とを備える。好ましくは、処理装置は、サンプル光画像とマーカ光画像とを処理し、処理された画像の少なくとも一をリアルタイムに再現するよう構成される。【選択図】図1

Description

本発明は、少なくとも一のマーカ物質を含むサンプルの表面乃至表面下を画像化する、従来の技術と比較して極めて優れた画像化精度を有するマルチスペクトルフォトニックシステム等、特に医療用画像化のための画像化装置に関する。また本発明は、少なくとも一のマーカ物質を含むサンプル、例えば人や動物又はその一部を、特に医療用に画像化する画像化方法に関する。本発明の好ましい用途は、医療用画像化であり、特に診断用画像又はインターベンションによる治療法(インターベンショナル法)の誘導のために用いられる画像の生成である。
フォトニック画像化は、生物医学的診断に対して理想的な様相(モダリティ)である。なぜなら、フォトニック画像化は、医師の観察に直接的に関係し、組織にダメージを与えない非電離放射線の使用を含めて、造影機構(コントラストメカニズム)における高い適応性、携帯性、スモールフォームファクタ及びリアルタイム画像取得における非常に魅力的な特性を与えるからである。健康な組織や病気の組織は、構造的、組成的、代謝的、分子的、分子・構造的特性等の幾つかの特性に差異がある。細胞及び細胞レベル以下の組織に対して、特異性を有する薬剤や疾病バイオマーカを局所的又は全身に投与した場合、健康な組織と病気の組織で光学特性の変化が異なる。その結果、健康な組織を背景として、高いコントラストで病変を視覚化できる。最近の研究では、外部から投与された蛍光プローブを使用することが、非常に有望なアプローチであると示されている。これは、蛍光信号が高いコントラストを付与可能なためである。例えば、技術を駆使して設計されたプローブは、非常に感度に優れ、発癌及び腫瘍病変の特定の分子的特徴をターゲットとすることによる癌検出において特異性がある。
分子プローブからの信号を効率的に検出する要請のため、この十年間において幾つかの画像化方法及び技術が開発された。しかしながら、実際に用いられる画像化方法は、a)性能、及びb)特に臨床環境における使用での利便性に関して制約があるのが実情である。
表面の蛍光活動の分解能は、三つの主なパラメータによって影響を受ける。すなわち、組織光学的特性における空間的変化、蛍光活動の深さ、及び組織自己蛍光である。これらのパラメータに応じた信号の強度(例えば蛍光)の依存性により、未補正の平易な「グラフィック」又は「ビデオ」方法の、コントラスト及び全体精度の両方が制限される。このことは、暗い血の領域が、より少ない吸収領域における光強度を大きく減衰させること(偽陰性に導く効果)を考えれば、理解し易いであろう。同様に、非吸収領域は、まさに適度な量の分子プローブであっても、暗領域と比較してプローブを多く含んでいるように見えるおそれがある。これにより、偽陽性となる場合がある。また、同様の偽陽性又は偽陰性が、蛍光病変の深さの関数として発生することがある。なぜなら、光強度は、深さの関数(つまり組織における光伝搬)として、非線形にかつ強く減衰するからである。したがって、光学的特性の変化、深さの変化又は組織の自己蛍光による蛍光信号強度の変化を補正しなければ、未処理の画像は不正確となることがあり、又は好ましくないアーチファクトを含む場合がある。このような結果は、以前から指摘されている(例えば、ンツィアクリストス(Ntziachristos)らネイチャー・バイオテクノロジー(Nature Biotechnology)2005年第23巻313〜320頁(非特許文献1)参照)。
また対象の蛍光色素と自己蛍光とを区別するために、複数の波長でのイメージング(画像化)を利用するシステムが開発されている。同様に、組織の光学的特性及び深さによる強度変化は、典型的には断層撮影(トモグラフィ)システム(tomographic systems)で補正される。
一方、上述した性能上の制約を克服できる可能性のある他のシステムでは、機能特性が不十分であるため臨床用途に適していない。例えば、スキャンニング(走査)マルチスペクトルシステムは、高いスペクトル分解能を有するが、走査に時間を要するため、動く撮像対象物(つまりリアルタイムのイメージング動作)には適していない。したがって、呼吸又は心臓の鼓動によって動く組織に対する用途には適していない。また、画像から得られる情報はリアルタイムでは提供されず、したがってこうした方法は病変に関して大きな組織領域を走査し、検査の際に疑わしい領域を倍率変更し注目するには非実用的であり、加えて病変切除のためのリアルタイムな外科誘導等のインターベンショナル法には使用できないのである。
全体的に見て、正確な臨床的画像処理システム(例えば手術支援(intra-operative)画像処理システム)を可能にするよう、光伝播の効果及び組織との相互作用の効果をリアルタイムに考慮した医療用フォトニック画像処理システムは、現在のところ存在しない。
組織病変(例えば癌)は、組織の分子的、構造的、機能的及び組成的特性の変化を示す。プローブ(例えば分子プローブ)をターゲットとする使用は、健康な組織と病気の組織との間の十分なコントラストを与える可能性がある。特にゲノム科学(genomics)、プロテオーム解析(proteomics)及びナノテクノロジーの最近の進歩により、適切な光学的マーカ(例えば蛍光性分子、光吸収ナノ粒子)と結合した新しいプローブは、組織の構造的、機能的及び組成的特性のより容易でより正確な検出を可能にし、非侵襲でインビボ診断をもたらすことができよう。理論的には、光学信号におけるそれらの差異を取り込み、組織病変をリアルタイムに検出し、識別可能な画像化モダリティは、診断のリアルタイムな誘導性能及びインターベンショナルイメージング性能を大きく向上させることが可能と思われる。
幾つかの実験的方法では、このアプローチの可能性が証明されているものの、いずれも臨床用途に耐え得る十分な性能を示していない。主な制約は次の通りである。生物組織の高い複雑性及び不均質性のために、光子は、組織と複数回の複雑な相互作用を受け、その結果、測定信号が変化する。測定信号の補正には、組織の光学的特性及び/又は幾何学的特性の面を含んでいる複雑なモデルが必要とされる。信頼できる組織の光学的特性測定には、大量の情報の高速取得及び処理が必要とされる。しかしながら、既存の画像化方法及び技術では、取り込むことができる情報量及び提供できる補正に対して、制約がある。
一方で外科誘導等の臨床応用では、リアルタイムな診断フィードバック又は病状フィードバックが必要とされる。言いかえると、信号を取り込み、処理し、診断結果を表現することは、リアルタイムに行われなければならない。しかしながら既存の方法では、解析能力と速度との間の背反関係(トレードオフ)によって制約を受ける。
米国特許出願公開第2008/0312540号明細書(特許文献1)は、医療用画像化のための規準化された蛍光落射照明(epi-illumination)画像及び規準化された蛍光透過照明画像を提供するシステム及び方法を開示している。規準化は、サンプルにおいて収集される本来の画像(例えば反射像等)を、発光画像(例えば蛍光像等)と組み合わせて得られる。この技術は、実用用途においては、特に変更できる光学フィルタ又はフィルタホイールを用いて複数のスペクトル範囲(レンジ)で画像を収集するための所要時間、画像データ処理の時間、及び限定された画質によって、制約を受ける。さらにこの技術は、診断画像を提供する能力が限定されている。光学的特性変化を部分的にのみ考慮しているからである、つまり吸収変化を考慮しているが散乱変化を考慮していないからである。
米国特許出願公開第2008/0312540号明細書
ンツィアクリストスら「ネイチャー・バイオテクノロジー」2005年第23巻313〜320頁(Ntziachristos et. al. Nature Biotechnology 2005; 23:313-320)
本発明の一の目的は、このような従来技術の欠点を解消可能な、特に複数パラメータのリアルタイムな医療用画像化のための改良画像化装置を提供することにある。また本発明の他の目的は、従来技術の欠点を解消することのできる、特に改善された精度で生物医学的画像化を行うためのフォトニック画像を収集し提供する改良画像化方法を提供することにある。
上記の目的は、独立請求項の特徴を有する方法又は装置によって達成される。本発明の好適な態様及び応用は、従属請求項に規定される。
課題を解決するための手段及び発明の効果
本発明の第1の主要な側面によれば、上記の目的は、調査対象のサンプルに照射光を照射するよう配置された光源装置と、サンプルの複数の異なる画像を収集するよう配置された検出器装置とを備える画像化装置によって達成される。本発明によれば、検出器は、少なくとも一のマルチスペクトルサンプル光用カメラと、少なくとも一のマーカ光用カメラとを有する。少なくとも一のマルチスペクトルサンプル光用カメラは、サンプルからのサンプル光、例えばサンプルによって異なるスペクトル範囲において後方散乱されて(反射及び/又は後方に発光されて)到達するサンプル光を検知できると共に、異なる分光範囲において、サンプルの少なくとも二つのサンプル光画像を収集できる。この少なくとも一のマーカ光用カメラは、同時に、サンプルにおける少なくとも一のマーカ物質が発するマーカ光を検知可能であり、さらにサンプルのマーカ光画像を収集できる。一方、少なくとも二つのサンプル光画像は、少なくとも一の補正要素の演算のために用いられる。またマーカ光画像は、少なくとも一の補正要素を用いて補正される。ここで、少なくとも一の補正要素は、補正画像又はマーカ光画像の補正に関する情報を有する他の信号である。好ましくは、異なるスペクトル範囲の光検出によるサンプル光画像及びマーカ光画像は同時に、すなわち併行して収集される。これにより、従来の技術において生じる、例えば光学フィルタを偏光することで生じる時間的遅延が回避される。利用するカメラは、光検知チップを、例えば電荷結合素子(CCD)センサ又はCMOSセンサを有する光学カメラとできる。
本発明の画像化装置は、サンプル光画像及びマーカ光画像を同時に収集するために、サンプルから検出器への光を画像化するよう構成された光スプリッティング画像化光学部品を有する。サンプル光は少なくとも一のサンプル光用カメラへと中継されると共に、マーカ光が少なくとも一のマーカ光用カメラに中継される。サンプル光及びマーカ光は共に同時に収集され、これによりサンプルの複数の異なる画像のリアルタイム処理が可能になる。
さらに本発明の画像化装置は、サンプル光画像とマーカ光の画像を平行に処理すると共に、少なくとも一のマーカ光画像及びサンプル光画像に基づいて、少なくとも一の補正された画像を再現するよう構成された処理装置を有する。特に、この少なくとも一の補正された画像は、リアルタイムモードで演算され再現される。この、少なくとも一の補正された画像のリアルタイムモードでの提供には、少なくとも一の補正された画像を画像収集と同時に、又は画像収集してからサンプルの変化あるいは処理ステップの時間スケールから見て無視できる程度の遅延で、ディスプレイに再現することが含まれる。
また、少なくとも一の補正された画像のリアルタイムモードでの提供には、補正された画像の連続画像(image sequence (video sequence))の提供を含めてもよい。一例として、少なくとも一のマーカ光画像、少なくとも一のサンプル光画像、少なくとも一の補正された画像、又は光音響画像あるいはそれら組み合わせのビデオシーケンスを生成するように、処理装置を構成することができる。
本発明の第2の主要な側面によれば、上記の目的は、好ましくは上記の第1面にかかる本発明の画像化装置を用いて実行される画像化方法によって達成される。画像化方法は、サンプルを照射するステップと、サンプル光画像を収集するステップと、少なくとも一のマーカ光画像を収集するステップと、少なくとも一の補正されたマーカ光画像を再現するステップとを備える。ここで、サンプルを照射するステップにおいては、光源装置が発する照射光で調査対象のサンプルを照射する。またサンプル光画像を収集するステップでは、異なるスペクトル範囲においてサンプルによって後方散乱される、特に反射されるサンプル光によって形成された複数のサンプル光画像を収集する。少なくとも一のマーカ光画像を収集するステップでは、サンプルにおける少なくとも一のマーカ物質が発するマーカ光によって形成される生成される少なくとも一のマーカ光画像を収集する。サンプル光画像及びマーカ光画像は、光スプリッティング画像化光学部品と、少なくとも一のマルチスペクトルサンプル光用カメラと、少なくとも一のマーカ光用カメラとを用いて収集される。さらに、少なくとも一の補正されたマーカ光画像を再現するステップでは、サンプル光画像とマーカ光画像とを処理し、複数のサンプル光画像と少なくとも一のマーカ光画像とに基づいて、少なくとも一の補正されたマーカ光画像をリアルタイムモードで再現する。
好ましくは、サンプルは生体、特に人あるいは動物の身体、又はその一部分である。特に、サンプルは生物組織又はその一部分を備える。このように、好ましくは、本発明は医療用画像化に用いられる。
一般には、サンプル光用カメラで収集されるサンプル光は、サンプルの表面及び表面下の層によって反射される(散乱される)照射光の一部である。したがって、サンプル光には、サンプルの背景としての体からの寄与、場合によってはサンプルにおいて分散された少なくとも一のマーカ物質の寄与が含まれる。なお「サンプル光画像」との用語は、サンプルの表面における光を、サンプル光用カメラで画像化することによって得られる、拡散反射像等のサンプルの入射光画像又はカラー画像を指す。一方、マーカ光とは、具体的には少なくとも一のマーカ物質が発する又は反射する光を指す。マーカ光を排他的に検知できれば、サンプル背景光とマーカ光とを厳格に区別でき、例えば疑わしい組織領域を認識するために、マーカ光をサンプルのある局所診断(topographic)特性と対応付けることができる。この区別は、サンプル背景及びマーカ物質の広帯域特性のために困難となる。これに対し本発明では、異なるスペクトル範囲において複数のサンプル光画像及びマーカ光画像を収集するので、この区別に本質的に役立てることができる。サンプル光画像及びマーカ光画像の収集が同時に行われ、補正された画像がリアルタイムに演算されるので、従来の医療用画像化方法と比較して本質的な利点が得られる。
本発明は好適には、表面及び表面下の組織、ならびに組織マーカの正確で定量的な画像化を提供可能な、マーカ物質のフォトニック医療用画像化方法及び装置を提供する。このような成果は、正確な成果を提供できないため偽陰性や偽陽性をもたらす可能性のある現行の技術とは対照的である。さらに本発明は、マルチスペクトルデータのリアルタイムな収集及び処理において、このような正確な成果をもたらすことの可能な方法を教示する。本発明のリアルタイムシステム及び方法は、ある健康な組織及び病気の組織のマーカ物質に対する特異性を有する、投与されたマーカ物質を特定して正確に視覚化することと関連しているので、分子レベルの画像化を行える。
医療用画像化における好ましい応用例において、本発明は、一以上の造影剤又はプローブ(マーカ物質)、例えば分子プローブの投与と、マルチスペクトル光学的画像化、さらに任意選択的に光音響画像化と、補正情報をリアルタイムに表示するための取り込まれた画像の処理との三つのステップを備えることができる。この投与ステップは、本発明に係る方法において任意選択的な特徴として含まれる。サンプルが自然に、又は前処理により、少なくとも一のマーカ物質を既に有している場合は、投与ステップを省略することもできる。本発明の画像化方法で得られた少なくとも一の補正された画像は、診断画像ともいう。なお「診断画像」との用語は、その画像が、例えば医師及び/又は後の画像評価での診断に際して用いられる場合、又は高い特異性により、問題のある又は疑わしい病変を識別し、誘導及びインターベンション、例えば治療目的のインターベンションを効率的にできる場合をいう。一例として、診断画像には、様々なサンプル条件を強調するサンプルの図表(マップ)を含めることができる。同様に、診断画像を外科的インターベンション、又は内視鏡を用いて施された生検や他の外科的手順を誘導するように用いることもできる。
なお「マーカ物質」との用語は、ターゲット組織、ターゲット細胞、又はタンパク質等の細胞成分等の、サンプルにおけるあるターゲットと特異的に結合し、さらに光(UV、VIS及び/又はIR波長範囲)との相互作用を示し、特異吸着及び/又は蛍光の元となる、あらゆる分子を指す。ここでマーカ物質を用いるのは、病気の存在で変わる一つ以上の組織特性を強調するためである。またマーカ物質は、バイオマーカ、プローブ、又は造影剤ともいう。マーカ物質は、その結合性やスペクトル特性に応じて、当業者によって選択される。特にマーカ物質は、病気の進行の際に段階的に特定的に変化する組織の分子的、構造的、機能的、組成的な特徴をターゲットとし、これを表すように選択される。好ましくは、マーカ物質の存在により、検出された光学信号が病気の存在又は進行を表すことのみでも可能なように、組織の光学的特性、例えば蛍光、吸光度が変化する。サンプルは、一以上のマーカ物質を有する。複数の異なるマーカ物質を備える場合、好ましくは異なる分光学的(スペクトロスコピック)特性を有する。
癌等の病気は、幾つかの組織変化を引き起こすことが知られている。マーカ物質として用いられるプローブは、一般に、それらの変化の内の一つ(例えば代謝活性)を強調するよう設計されている。ただ、癌等の病気は必ずしも同じ特性変化を示すとは限らない。したがって、プローブの感度は基本的に低い。逆に、他のケースにおいては、幾つかの病気ではない組織が病気特性の内の一つとよく似ている場合もあり、そのためプローブ特異性が低下する場合もある。また癌に加えて、脈管、維管束、ニューロン、心臓、その他再建疾病及び徴候に関連するインターベンションも考えられる。
分子プローブ等の入手可能な特異的かつ感度の優れたマーカ物質により、本方法を用いて全体的な成果及び臨床的結果を提供することができる。誘導やインターベンションの際の決定に用いられる情報や診断能力をさらに向上させる観点から、複数のプローブを組み合わせて使用することが好ましい。この場合、一の特徴ではなく病気を特徴付ける幾つかの特徴に基づいて病気を検出できるからである。さらに、複数のプローブや非特異的蛍光染料等の他の発色剤を組み合わせて使用し、これがなければプローブの局所送達に影響を及ぼすことのある局所血液灌流における潜在的な不均質性に対して補正でき、こうして測定を行える。
本発明は、好適には、種々のタイプの画像を用いて行うことができる。本発明の好ましい態様では、検出器は、カラー画像、蛍光画像、反射(リフラクタンス)画像及び/又は励起画像の少なくとも二つの画像タイプを収集するよう構成される。好ましくは、検出器のそれぞれには、収集される画像タイプに適した少なくとも一のカメラフィルタが配置される。
マーカ光は、少なくとも一のマーカ物質によって照射に応じて発生した光である。マーカ光の強度、スペクトル構成及び幾何分布は、照射光の少なくとも一のマーカ物質との特定の相互作用及びサンプルにおけるその分布によって決定される。異なるスペクトル範囲において、マーカ光を効率的に検知するように構成された少なくとも一のマーカ光用カメラの構成には、幾つかの変形例もある。好ましくは、少なくとも一のマーカ光用カメラは、異なるスペクトル範囲において検知可能な二以上のカメラフィールドを備える。光スプリッティングカメラ光学部品が、サンプルによって形成される光の一部ずつを少なくとも二つのカメラフィールドに画像化するように配置される。また、少なくとも二の異なるスペクトル範囲においてマーカ光を同時に検知する、少なくとも一のマーカ光用カメラを提供するような変形例は、特に好ましい。この場合、マーカ物質分布の特定的な検出及び背景サンプル光からの区別を、本質的に改良できる。
本発明のさらに好適な態様では、少なくとも二つのカメラフィールドは、少なくとも二の個別の光検知チップ(例えばCCDチップ)、及び/又は一つの共通の光検知チップ(例えばCCDチップ)内、少なくとも二の独立して検知可能な領域を備える。これにより、収集された異なる信号が異なる信号強度、及び異なるダイナミックレンジを有する画像化装置の、実用的な用途に柔軟に適合できる。好ましい態様においては、収集されたサンプル信号又は生成された対応する電気信号の可変減衰、又は増幅を通じて、一以上の独立して光を検知可能なフィールドの感度が自動的に調整される。好ましくは、少なくとも二のカメラフィールドの各々には、それぞれのカメラフィールドのスペクトル感度範囲を調整するフィールドフィルタが配置される。ここで変更可能なフィールドフィルタが配置される場合は、適応性をさらに向上できる。
好適には、照射光がサンプルの特性(マーカ物質の特性を含む)及び収集される画像タイプに適合するように、照射光を幾何学特性、時間的特性及び/又はスペクトル特性の点から見て設計できる。このため、光源装置は好ましくは、照射光のスペクトル特性、時間的特性、偏光、方向及び光照射野形状の少なくとも一を調整可能な、少なくとも一の照射光調節装置を有する。照射装置が複数の光源を有する場合は、複数の光源のそれぞれに特定の照射光調節装置を配置することもできる。照射光調節装置は、好ましくは分光フィルタ、偏光フィルタ、照射光学部品及び光ファイババンドルの少なくとも一を有する。
さらに本発明の特に好ましい態様では、光学的画像化を光音響検知と組み合わせることができる。光音響は、光学的画像の利点(つまり高い光学的コントラスト機構)と断層撮影法の利点(つまり高い浸透性深さ)とを組み合わせる有望なモダリティである。光学的検知と光音響検知との組み合わせは理想的である。両方のモダリティが同じマーカ物質を利用できるからである。したがって、この好ましい態様では、サンプルのマルチスペクトル光音響画像を収集する光音響画像化装置が配置される。光音響画像化装置は、少なくとも光音響データを収集ができるが、好ましくはサンプルの光音響画像を収集できる。
このように、本発明の装置は、リアルタイム収集及び補正能力を提供する光音響装置として、つまり光学的なCCDベースの装置と光音響装置との組み合わせとして配置することができる。この場合CCDベースの装置は、誘導のため、さらに検出視野を大きくするために用いられる。また光音響装置は、CCDベースの装置で見つかった疑わしい領域を、高解像度コントラストで解像するために用いられる。同様な手法では、ポータブル共焦点や多光子顕微鏡画像化システムも利用できる。
本発明に係る画像化装置の処理装置は、サンプルをリアルタイムに画像化する能力を提供する重要な特徴と言える。これにより、特にリアルタイムに生成された画像は、未処理の画像において生じることのあるアーチファクト(つまり偽陽性又は偽陰性解釈)の可能性がある特徴を考慮した、補正された画像である。好ましくは、処理装置は、フィールドプログラマブルゲートアレイ(FPGA)及びグラフィックスプロセッシングユニット(GPU)の内の少なくとも一を有する。利点として、このようなタイプのプロセッサは、比較的安価で市販されており、リアルタイムデータ処理に対して理想的な解決方法を与える。
任意選択的に、処理装置にさらに制御装置を加えることもできる。制御装置は、以下の機能の少なくとも一を有するよう構成できる。第一に、制御装置は、光源装置、検出器及び/又は処理装置を制御できる。第二に、少なくとも一のサンプル光画像、少なくとも一のマーカ光画像、少なくとも一の補正された画像、及び/又は光音響画像を表示する表示装置を、制御装置に加えることもできる。最後に、少なくとも一の所定のマーカ物質をサンプルに導入するよう構成された投与装置に、制御装置を接続できる。処理装置及び制御装置は、共通コンピュータユニットに実装できる。
検出器装置の検出器は、それぞれが検出器の内の一つを収容するよう配置された、複数のカップリングを有するモジュラー構造を用いて配置される場合には、本発明の画像化装置の適合性をさらに改良できる。これにより、特定用途の要件に簡単に適合できる利点が得られる。
本発明の方法のさらに好ましい態様では、少なくとも一の補正された画像を再現するステップが、画像データ補正工程を含んでいる。ここで「画像データ補正」とは、システムオペレータに示される「最終画像」の、各画素に含まれる情報を優先的に独立して変更することによって、画像の所定の特徴を改善し、より正確な情報をオペレータに伝えることを指す。
適用される画像データ補正は、リアルタイムに収集された複数のパラメータに関するデータ(multi-parametric data)に基づいており、演繹的(a-priori)知識を、リアルタイム計測の前に画像処理装置に記憶された情報の形式で含むこともできる。これに対応して「画像データ補正」とは、補正されてその後投影される画像の画素における強度を変更し、得られた画像が画像の視野における実際のマーカの生体内分布をより正確に反映することも含む。このように画像データ補正は、(1)自己蛍光信号等の内因性の組織信号とのマーカ信号の混合(コンタミネーション)の影響から、(2)マーカ位置の深さによる収集されたマーカ信号に対する効果から、及び/又は(3)組織の光学的特性による収集されたマーカ信号に対する効果から、それぞれの画像における強度を改善するステップの内、いずれかを含むことができる。例えば、マーカ蛍光色素と共存する強い吸収器によるマーカ蛍光色素からの強度レコーダに対する効果である。画像データ補正の具体的な例については、後述する。
本発明のさらなる詳細及び利点を、添付した以下の図面を参照して、以下に説明する。
本発明の画像化装置の好ましい実施形態の概略図である。 画像化装置に用いられる検出器の実施形態の概略図である。 画像化装置に用いられる検出器の実施形態の概略図である。 本発明の画像化装置の好ましい用途の概略図である。 本発明の画像化方法のステップを示すフローチャートである。 本発明の画像化装置の実用的な用途の概略図である。 本発明で得られた実験結果を示す写真である。 本発明で得られた実験結果を示す写真である。 本発明の一の側面に係る本発明の画像化装置の機能の概略図である。
本発明の好ましい実施形態を、リアルタイムにマルチスペクトルフォトニック画像を得るよう構成された光学・光音響機構及びデータ処理構造を特に参照しながら、以下に説明する。適当なマーカ物質の選択、サンプルの準備(少なくとも一のマーカ物質タイプのサンプルへの導入等)、画像化光学系の設計(特に集光特性及び拡大特性に関して)、少なくとも一の光源、検出器及び任意選択的にさらなるセンサ(光音響センサ等)の動作、ならびに画像処理技術は、従来技術、特に従来の医療用画像のためのフォトニックシステムにおいて知られている場合には、ここでは説明しない。さらに、図に示す画像化装置は、用途の特定ニーズに応じて異なる方法で実装できる。
図1は、光源装置10と、検出器21,22を有する検出器装置20と、光スプリッティング画像化光学部品30と、処理装置40とを備える本発明に係る画像化装置100の好ましい実施形態の特徴を示している。また任意選択的に、制御装置50、光音響センサ装置60及び/又は投与装置70をさらに備えることもできる。画像化装置100は、本発明に係る画像化方法でサンプル1を画像化するよう構成される。サンプル1は、例えば人あるいは動物の身体、又はその一部分等の生体サンプルである。インビトロ調査では、サンプル1はキャリアに配置される。一方、インビボ調査(図4参照)では、サンプル1は発端者(患者)の身体内の調査の領域である。
光源装置10は、サンプル1を照射光で照射するために配置される二つの光源11.1,11.2と、光学フィルタ12と、光集光・均一化ユニット13.1,13.2とを備える。光ファイバー14及び構成要素13.2を介して接続している構成要素12及び13.1は、照射光のスペクトル特性(特に光学フィルタ12によって)、ならびに偏光方向及び/又は光照射野形状(特に光集光・均一化ユニット13.1,13.2によって)を調整するよう構成される照射光調節装置を構成する。さらに加えて、又はこれに代えて、照射光調節装置は、シャッタ等の時間的照射制御器、スイッチ素子、又は光源制御器(図示せず)を備えることもできる。
本発明は、例えばレーザ源等の単色光源を用いて実行ができるが、好ましくは光源装置10は、所定のスペクトル特性及び時間的特性を有する照射光を提供できるという利点を備えた複数の光源を備える。一例として、光源装置は少なくとも一の広帯域光源11.1(例えば白色光タングステン電球、ハロゲンランプ、広帯域LED等)、又は少なくとも一の狭帯域光源11.2(例えば狭帯域レーザーあるいはLED等)を備えることもできる。複数の狭帯域光源を利用する場合は、異なる帯域(バンド)を組織における少なくとも一のマーカ物質を励起するよう使用することができる。これにより、複数のマーカを同時に視覚化する又は深さの影響を補正するよう用いることができる。なぜなら、異なるスペクトル帯域により異なる深さを調査できるからである。複数の光源の配置に関しては、照射光調節装置は、複数のフィルタと、集光・均一化ユニットとを備える。時間的特性の点では、光源を連続的としてもよく(CW)、パルス状としてもよく、又は強度変調してもよい。それぞれの光源11.1,11.2からの光をそれぞれの光源からサンプルに直接的に送出することもでき、又はすべての光源の出力を組み合わせて、その後一つの光学機構(例えば光ファイババンドルあるいはレンズ)によって送出することもできる。
また光源からの光を、それぞれ個別に、又はすべてを合わせて、必要なスペクトル特性を達成するようフィルタリングすることもできる。一例として、IR蛍光信号検出と混信しないように、IR光をカラー画像化のための白色光から除去(フィルタリング)することができる。さらに、照射及び画像化の光路に偏光子を使用することにより、鏡面反射の影響を最小化できる。
検出器装置20は、サンプル光及びマーカ光を収集するよう配置された三つのカメラ21,22を備える。サンプル光及びマーカ光は、光スプリッティング画像化光学部品30を用いてサンプル1からカメラ21,22へ中継される。光スプリッティング画像化光学部品30は、サンプル1から光を収集する画像化光学部品31と、サンプル光及びマーカ光のスペクトル特徴を調整するよう配置された複数の光学フィルタ32,34,35と、光路を画像化光学部品31からカメラ21,22へと分離する画像スプリッタ33とを備える。光学フィルタ32,34,35(カメラフィルタ)は、それぞれのカメラに対して画像化スペクトル帯域を独立して選択できる適切なバンドパスフィルタが装着されたフィルタホイールを備えることができる。画像スプリッタ33は二つの半透過平面鏡(ミラー)33.1,33.2を備える。一例として、第1ミラー33.1は、可視光線をサンプル光用カメラ21へと反射し、10%の反射率及び90%の透過率を有する二色性ミラーである。第2ミラー33.2は、5%の反射率及び95%の透過率を有する。
サンプル光用カメラ21は、サンプル1のサンプル光画像を収集するよう配置される。サンプル光のスペクトル特性は、マーカ物質の蛍光のスペクトル範囲を抑制する又は可視光線を通す光学フィルタ34によって調整される。サンプル光用カメラ21は、例えば従来の写真用カメラにおいて知られているCCDセンサ等のカメラセンサを有する。サンプル光用カメラ21は、処理装置40と接続されて、サンプル光画像が処理される(以下を参照)。
異なるスペクトル範囲においてマーカ光を同時に、リアルタイムに検知するよう配置されるため、カメラ22はより複雑な構造を有している。このためマーカ光用カメラ22は、図2及び図3に示す構造を有する。マーカ光用カメラ22は、処理装置40と接続されている。少なくとも一の補正された画像をリアルタイムに再現するため、マーカ光画像はサンプル光画像と共に平行に処理される。画像処理の詳細を、図5及び図6を参照して以下説明する。あるいは、提案された実施形態の利用において適応性を与えるために、22のカメラの内の一は、図1及び図3に示すように、一以上のスペクトル範囲において、自己蛍光等の第3の光又はサンプル光を検出するよう配置できる。
光スプリッティング画像化光学部品30は、サンプル1からカメラ21,22までの光路を覆うケーシング(図示せず)に配置される。一例として、顕微鏡において知られているように、ケーシングをチューブ状に構成できる。検出器装置21,22は、それぞれが検出器の内の一方を収容するよう配置される複数のカップリングを有するモジュラー構造を有するケーシングと接続される。
図2は、それぞれがフィールドフィルタ27を有する少なくとも二つのカメラフィールド23,24を備えるマーカ光用カメラ22の断面図を概略的に示している。さらにマーカ光用カメラ22は、光スプリッティング画像化光学部品30(図1参照)から中継されたマーカ光を、カメラフィールド23,24へ分割するよう構成された光スプリッティングカメラ光学部品25を備える。カメラフィールド23,24それぞれに、サンプル(又は関心領域(region of interest))の完成画像が形成される。光スプリッティングカメラ光学部品25は、従来の画像スプリッタにおいて知られているように、鏡及び/又はプリズムの組み合わせを備える。
カメラフィールドは、図3Aに概略的に示す個別のCCDチップ23及び/又は図3Bに示す一つの共通のCCDチップ26の複数の検知可能な領域24を備えることができる。第1の場合、CCDチップ23のそれぞれは、マーカ光画像データを転送するよう処理装置40と接続される。第2の場合、共通のCCDチップ26は処理装置40と接続されて、異なる検知可能な領域24に属する画像データが処理装置40においてデータ処理によって分離される。
処理装置40(図1)は、サンプル光画像とマーカ光画像とを平行に処理し、少なくとも一のマーカ光画像と複数のサンプル光画像に基づいて少なくとも一の補正された画像をリアルタイムモードで再現するように構成される。画像化データのリアルタイムな処理及び再現は、診断システムの臨床用途において特に重要である。しかしながら、このリアルタイム処理は非常に要求が厳しく、また従来のコンピュータCPUの性能では不十分となる。したがって処理装置40は、画像データ処理専用の別のプロセッサを有することが好ましい。このようなプロセッサは、フィールドプログラマブルゲートアレイ(FPGA)やグラフィックスプロセッシングユニット(GPU)とできる。
図1の制御装置50は、処理装置40及びカメラ21,22と接続されている。カメラ21,22との接続は、直接、又は処理装置40を介した接続とできる。さらに制御装置50は、光源装置10、光音響センサ装置60及び投与装置70と接続される。したがって制御装置50は、画像化装置100の構成要素の動作を総合的に制御可能である。制御装置50は、ディスプレイ51を備える。このディスプレイ51は、画像化装置100の動作条件、及び/又はカメラ装置20で収集された画像及び/又は処理装置40で演算された画像を表示する。
光音響センサ装置60(例えば超音波アレイを含む)は、サンプル1の光音響画像を同時に収集するよう配置される、又はサンプル光画像及びマーカ光画像の収集に応じてガイドされる。光音響モダリティは、相補的な情報、例えば組織のより深い層における病変形態に関する情報を提供できる。または光音響モダリティは、特にマルチスペクトル光音響断層撮影法(MSOT)を用いる場合、深さの解像度及び深さの関数として同じマーカを解像することができる。このため、従来の光音響学において知られているように、光音響センサ装置60は、サンプル1に一又は複数の励起光パルスに与え、サンプル1で生成された機械的波動応答を収集するように構成される。励起光パルスは、光源11.2の内の一で生成できる。あるいは換言すると、光源装置10の一つの光源11.2は、光音響センサ装置60と一体化することもできる。
図1の画像処理システムは、画像化光学部品31で収集された光を、複数の画像化チャンネルに分割する光学的構造を簡単にできる。画像化チャンネルのそれぞれが、一以上のスペクトル帯域の蛍光及び/又は反射光を測定するよう、光スプリッティング(光分割)が行われる。この光スプリッティングの態様は、画像化チャンネル間のクロストークを最小限とし、かつ光学的処理能力を最大限とするよう設計されている。
それぞれの画像化チャンネルは、測定された信号の純度を保証するため、更なる光学的フィルタリング(フィルタ34,35)を用いる。カメラ21,22はそれぞれ、従来の単色又はカラーの、マルチスペクトル、時間分解又は強度変調のカメラとできる。光スプリッティングの実施形態では、カメラセンサのそれぞれに正確な大きさや拡大した画像を形成する一以上のリレーレンズを任意選択的に用いてもよい。また部分的反射鏡又はプリズム、二色性又はポリクロイック(polichroic)ミラー及び偏光スプリッタによっても、光スプリッティングを行うことができる。画像化光学部品31には、屈折性及び/又は反射性(反射光学)要素等の、光を収集し画像を形成可能なあらゆる画像化の態様を用いることができる。
実用例において、図1の画像化装置100は、イントラオペレーティブ蛍光画像化用に構築されている。この構成によって、IR蛍光プローブ、例えばCy5.5及びAlexaFluor750から構成されるマーカ物質のカラー、蛍光及び固有の(励起スペクトル帯域)画像化の同時の画像取り込みが可能となる。この用途では、サンプル光用カメラ21は、可視光子のみを確実に検出するよう可視波長領域用フィルタと結合されたカラーカメラである。カラー画像化のため、サンプル1の白色光照射には、赤外光を除去したハロゲンランプ光源11.1が用いられる。第2光源11.2は、蛍光団(fluorophores)の励起用のレーザである。レーザは、Cy5.5で標識付けされたプローブ励起用の波長673nmのダイオードレーザ、又はAlexaFluor750で標識付けされたプローブ励起用の波長750nmのダイオードレーザが利用できる。白色光源11.1及びレーザ11.2については、光はサンプル1(例えば組織)に、ビームを拡散し均一に照明するためのコリメータ及びディフューザ(13.1,13.2)への光ファイババンドル及びマルチモードファイバを介して、それぞれ送出される。他の構成においては、カメラ22の内の一は、第1蛍光用カメラが動作している帯域以外のスペクトル帯域における固有の組織蛍光又は組織から到達する蛍光を収集する。これにより、自己蛍光を導出し補正可能な、又は第2ターゲットマーカ蛍光色素あるいは固有の組織蛍光色素あるいは発色団、例えば少なくとも一の態様のヘモグロビンを測定できる。
検査対象のサンプル1からの光は、画像化光学部品31のズームレンズを用いて収集される。またズームレンズに代えて、内視鏡又は顕微鏡等のあらゆる光学的画像化システムを用いることもできる。垂直な偏光軸を有する二つの直線偏光子を、鏡面反射を除去するため照射光路と画像化光路に使用できる。さらにズームレンズによって形成されたサンプル1の第1次像は、3本の画像化チャンネルのそれぞれのリレーレンズグループの焦点面に当たる。
図1は、本発明に係る画像化プラットフォームの概略図を示している。図1の画像化装置100は、以下の特徴のあらゆる組み合わせを取り込むことができる。
・外科医が検査する領域を認識できるカラー画像、
・マルチスペクトル蛍光画像、
・マルチスペクトル反射画像、及び
・光音響信号。
取り込まれたこの光学的情報はすべて、以下に説明するように診断値の画像を演算するために使用される。
図6に示すように、画像化装置100はこの例においては、三つの画像化チャンネルを使用するものの、全く同じように、より少ない(二つ)又はより多い画像化チャンネルによって実行することもできる。処理装置に既に記憶されている可視スペクトル及び近赤外スペクトルに関するスペクトル情報に基づいて、近赤外減衰マップに変換するために、カラー画像を処理することにより、二つのカメラによる構成における固有の画像を提供できる。本発明の特徴は、光学顕微鏡と同様な構造を有する光学的機構を例示的に参照して説明したが、本発明の実施はこの例示的な構造に限定されず、むしろよりコンパクトな装置によって実施できることを付言しておく。特に、画像化光学部品、画像スプリッティング光学部品、及びカメラは一つのコンパクトなケーシングに又は図4に示す二つのケーシング内に一体化できる。例えば内視鏡検査等の従来の医療用画像化技術に用いることができるように、画像化装置を小型化することも可能である。
図4は、医療用画像化に対する本発明の技術の用途を示している。サンプル1は人2の一部である。サンプル1(調査の領域)は、例えば外科手術の際に及び/又は内視鏡検査器具を用いて、画像化される皮下組織領域等の表面領域又は表面下の組織領域である。画像化装置100は、照射装置10と、光スプリッティング画像化光学部品30と、検出器装置20と、処理・制御装置40,50とを備える。また符号71は、少なくとも一のマーカ物質をサンプル1に導入するよう構成され、マーカ物質リザーバーと供給導管(注射器針等)と駆動ユニットとを有する投与装置70の一部を示している。ここで投与装置70を、制御装置50で制御して自動で動作するようにも構成できる(図1参照)。
図4は、本発明が基本的に三つの部分から構成されることを示している。つまり、
1.診断プローブ(少なくとも一のマーカ物質、特に少なくとも一の蛍光剤を含む)の全身への(3,4)又は局所的な(5)投与、
2.画像処理システムの動作、
3.リアルタイム処理及び表示
である。したがって本発明では、蛍光剤の使用と組み合わせたリアルタイムなマルチスペクトル画像の取り込み、処理及び再現に基づいた、次世代のイントラオペレーティブ画像化プラットフォームが提供される。この概念の更なる詳細を、図5及び図6を参照して以下説明する。
図5は、診断画像のデータ取得から演算まで、本発明に係る画像化方法の工程を示している。この工程には、以下の複数のステップが含まれる。まず、少なくとも一のマーカ物質を有するサンプルを用意する(S0)。次にデータを取得して(マルチスペクトル光学的画像化及びマルチスペクトル光音響画像化を含む)、未処理の生画像データを得る(S1)。さらにデータを補正して(蛍光スペクトル重複補正、吸収スペクトル重複補正、又は吸収、散乱等の組織光学的特性の補正、及びマーカ物質の深さ分布の補正を含む)、蛍光団及び/又は発色団分布等のマーカ物質分布の補正された画像を得る(S2)。次いで画像を処理し、特に画像を演算し(複数のマーカ物質の評価、画像信号の時間的特性の評価及び/又はカラー画像における特定領域若しくはパターンの強調の組み合わせを含む)、診断画像を得る(S3)。さらに画像処理、記憶、印刷、表示、記録等、診断画像をさらに処理する(S4)。これらステップS1〜S3は、画像化方法の本質的なリアルタイムのステップに相当する。一方、ステップS0及び/又はS4は、省略可能な、又は画像化の時間とは異なるタイミングで実施可能な、任意選択的な特徴を表す。例えば、少なくとも一のマーカ物質を自然に含んでいるサンプル、又は過去に少なくとも一のマーカ物質を準備することで、既にマーカ物質を含んでいるサンプルに対して、本発明に係る画像化方法を適用できる。
より詳細には、例えばカラー画像、マルチスペクトル蛍光画像、マルチスペクトル反射画像及び光音響信号に基づいて、診断値を有する画像を演算するとき、概念的には二つのステージで行うことができる(図5参照)。
(A)蛍光団及び発色団の空間分布を表す、アーチファクトのない蛍光画像及び反射画像を演算する(ステップS2)。
(B)蛍光画像及び反射画像を用いて、組織の診断マップを演算する、つまり健康な組織と病気の組織を識別する(ステップS3)。
(A)データ補正
本発明では、補正工程をリアルタイムに適用することが好ましい。これにより、正確に蛍光団又は発色団の空間分布を表す、アーチファクトのないマーカ画像(つまり蛍光画像)が得られるからである。幾つかの補正されたスキームは、リアルタイムな測定において影響を受けるすべての効果の統合的な補正を担当することができるが、選択的な数のステップを特定の用途で適用できる。ここで検討される一般的なモデルでは、未処理の画像における画素強度P(x,y)は、次式で示す複数の寄与率の関数である。
[数1]
P(x,y) = f(Pr(x,y), m(x,y,d(x,y)), q(x,y), d(x,y))
ここで、d(x,y)は、マーカ蓄積の深さを表し、q(x,y)は、組織の固有の蛍光色素及び発色団による固有信号の寄与率であり、m(x,y)は、組織における光学的特性の信号の寄与率、特に深さの関数でもある吸収や散乱による減衰であり、またPr(x,y)は、「実際の(real)」信号、つまり関心のある、アーチファクトのないマーカ画像である。
典型的な形式では、数1は線形ではなく、解は最小化(minimizations)により見出すことができる。ただ、ある仮定に従えば、数1を、それぞれの項が未処理の画像に直線的に寄与する線形とできる。この一次従属の場合、「実際の」画像Pr(x,y)の解を、以下のように簡単に書き表すことができる。
[数2]
Pr(x,y) = P(x,y) - m(x,y,d(x,y)) - q(x,y) ? F(d(x,y))
ここでF(d(x,y))は、深さの信号に対する効果を補正することも可能な汎用関数である。また全体的な補正も、これらの寄与率にわたる「マーカ」の独特なスペクトル成分、又は他の寄与率に代わる信号を特定する回帰アルゴリズムに基づくことになる。以下では、好ましい処理スキームを実装例として説明する。
1.光学的特性の補正
組織における光減衰の変化は、マーカから記録された信号の変化に寄与することがある。本発明はこのような影響を補正するために、そのようなアーチファクトを改良するプロセスを提供する。本質的には、光学的特性の変化を独立して取り込み、この変化に基づいてマーカ信号を補正する。一例として、ヘモグロビンによる吸収の変化が、高吸収領域において蛍光信号を優先的に減衰させる場合が挙げられる。これがもし補正されなければ、アーチファクトが生じることがある。
(a)好ましい実施形態においては、マルチスペクトル測定を、照射の光学的減衰のスペクトルの変化を取り込むために適用する。これが固有の(サンプル光)画像に現われるからである。これらの画像は、リアルタイムに分離(アンミックス)することで、ヘモグロビン濃度を表すことができ(酸素化(オキシ)及び脱酸素化(デオキシ)の既知のスペクトルをアンミックスすることによって)、また組織散乱の1/λa依存性に関する同時調整(フィッティング)により、散乱を表すことができる。ここで、λは測定の波長であり、aは実験的に決定される因子である。あるいは、時間分解又は周波数分解カメラを、組織吸収又は散乱を独立して特徴付けるよう「固有の測定」に使用できる。
(b)他の補正の例では、固有の画像上で特定される組織タイプを分類することにより、既に知られている光学的測定の利用又は調整、及び画像を同様に補正するための光学的特性の割り当ての使用に基づいて行われる。
いずれの場合でも、画像補正は数1に基づく。この場合、光学特性の補正のみに適用される最も単純化した式は、以下のようになる。
[数3]
Pr(x,y) = P(x,y)*Fμs’(x,y), μa(x,y))/Pi(x,y)
あるいはより簡単に、次式で表現される。
[数4]
Pr(x,y) = P(x,y)/ g*μs’(x,y)*Pi(x,y)
ここで、μs’(x,y)及びμa(x,y)はそれぞれ、各画像画素における組織の低下散乱係数及び吸収係数であり、Pi(x,y)は、蛍光測定によって利用されたものと同一か、これに近いスペクトル領域において測定された減衰画像(固有の画像)である。この場合、固有の組織に対する蛍光の比が、吸収では比較的影響を受けず、低下散乱係数では因子3/4πで影響を受けるという事実を、数4では利用している。
最後に、以下の段落に説明するように、光学的特性に対する補正を、深さに対する補正と同時に行うことができる。
2.光学的特性及び深さに対する補正
蛍光団が組織の薄層によって覆われるとき、この場合の蛍光信号は以下の2通りであり、覆っている組織の光学的特性に影響を受けることになる。
(a)典型的には、単色の励起光が吸収と散乱によって減衰し、光の一部だけが蛍光マーカに達して蛍光を引き起こす、あるいは
(b)発せられた蛍光も、組織を伝播する間に減衰する。広帯域の蛍光は、典型的には組織の吸収及び散乱特性に応じて、すべての波長で、程度の異なる減衰を受ける。
しかしながら、特定の既知の吸収スペクトルを有するヘモグロビン(酸素化及び脱酸素化)のため、組織における吸収が支配的となる。同様に、組織の散乱スペクトルは、比較的小さな形状変化を有する。したがって、蛍光が組織の薄層を通じて拡散する場合、そのスペクトルは、覆っている組織層内の吸収器及び散乱体の厚さ及び濃度に応じて、特徴的に変化する。蛍光信号のマルチスペクトル測定は、これらのスペクトル変化を表しており、補正可能である。
測定された蛍光信号、つまりSは、幾つかのパラメータの関数である。
[数5]
S(x,y,λ) = F(Cm(x,y,d), OPm(λ), Ck(x,y,d), OPk(λ), Iex(x,y,d))
m(x,y,d)及びOPm(λ)はそれぞれ、蛍光マーカの濃度及び光学的特性である。Ck(x,y,d)及びOPi(λ)は、組織層を構成する組織発色団、蛍光団及び散乱体の濃度及び光学的特性であり、例えばk=3の場合には酸素化ヘモグロビン、脱酸素化ヘモグロビン及び組織散乱体全体である。dは、蛍光マーカの深さ、換言すれば覆っている組織の厚さである。Iex(x,y,d)は、深さdにある蛍光マーカに達する励起光の強度であり、組織の光学的特性に依存する。すなわち、Iex(x,y,d)は以下の式で表される。
[数6]
Iex(x,y,d) = I0*G(Ck(x,y,d), OPk(λ))
ここで、I0は検査対象の組織を照射する励起光の強度である。
光学的特性、つまり組織構成要素及び蛍光マーカの吸収、散乱、蛍光スペクトルである、OPi(λ)及びOPm(λ)は既知であり、従来のものを用いることができる。複数の波長(λi,i=1,2,..,n)における蛍光信号の測定は、n個の連立方程式(数5)となる。ここで、n≧k+1である。この連立方程式の解により、蛍光マーカの実際の濃度Cm(x,y,d)と、組織層の光学的特性、つまりCk(x,y,d)とが得られる。このようにして、表面下の層から発する蛍光信号は、組織の光学的特性及びマーカの深さに対して補正される。
3.蛍光スペクトル/自己蛍光の重複補正
複数のプローブ、つまり複数のターゲットをマークするマーカ分子を同時に測定できるように、背景となる分子(つまり固有の発色団、蛍光色素等)から、場合によっては必要となり又は不要ともなる信号寄与を抽出するために、既知の寄与率、又は場合によっては未知の寄与率も、スペクトルアンミックスを行うことが一般に実用的に行われている。組織及び外部蛍光色素の寄与のスペクトルが一般的に広いので、スペクトルアンミックス技術(ブラインドスペクトルアンミックス又は決定論的スペクトルアンミックス)又は測定されたスペクトル測定を想定する背景寄与と合わせた同様の線形回帰を用いなければ分解できない、大きなスペクトル重複が起こり得る。
(B)画像演算
アーチファクトのない蛍光画像及び反射画像は、蛍光プローブ及び組織発色団の空間分布を正確に提供できるものの、組織領域が病気であるか否かを判断することが必ずしも簡単になるとは限らない。それぞれの診断プローブの診断能力は、健康な組織と比較した病気の特性差をターゲットとすることに基づいている。しかしながら、癌等の病気はそれらの特性に著しいばらつきがあり、したがって単一の癌の特徴をターゲットとする単一のプローブは多くの場合あまり特定的ではない。複数のプローブを用いて複数の癌の特徴の評価を組み合わせることによって、特定性及び感度を大きく向上できる。さらに、診断情報を検査対象の組織のカラー画像と自動的に融合させることは、利便性を与えると共に、臨床用途に適したモダリティを用いることが簡単となる。
図6は、イントラオペレーティブ画像化のための2チャンネル画像化装置100の他の実施形態を示している。画像化装置100は、特に光源11(例えば、サンプル1を照射するためのハロゲンランプ及びノッチフィルタ12)と、画像化光学部品31.1(例えばズームレンズ)、リレーレンズ31.2、及び画像スプリッタ33(例えば10%の反射率及び90%の透過率を有するプレートビームスプリッタ)を有する光スプリッティング画像化光学部品30と、可視光フィルタ34を有するサンプル光用カメラ21と、狭帯域透過フィルタ(narrow band pass filter)35を有するマーカ光用カメラとを備える。
図6のシステムは、カラー画像と、蛍光画像と、近赤外領域で発光するマーカ物質(蛍光プローブ)の固有の(励起波長)画像とを同時に測定できる。しかしながら、蛍光プローブの発光スペクトルが、可視領域内に十分に入るとき(例えばFITC)、その場合、同じ構成では蛍光及び反射を同時には測定できない。
図6は、カラー反射画像及び可視蛍光を同時に取り込むことが可能な方法をさらに示している。この方法は、ノッチフィルタ12とマーカ光用カメラ22の相補的な狭帯域透過フィルタ35との組み合わせに基づいている。ノッチフィルタ12は、狭いスペクトルバンドを遮り、他の部分を通過させる。この機構では、白色光源11からの光が532nmのノッチフィルタを用いてフィルタリングされる。これにより、同じ光源を、白色光照射及び蛍光励起の両方に用いることができる。画像化光学部品31によって収集された光は、可視測定及び蛍光測定のための二つの画像化チャンネルに分離される。蛍光チャンネルは、ノッチフィルタ及び狭帯域透過フィルタ35の相補関係(complementary)を用いる。したがって、蛍光だけがマーカ光用カメラ22に達する。反射光がすべてバンドパスフィルタによって排除されるからである。先の段落と同様に、光学的特性に対して実行されるこの補正は、カメラ21(好ましい実施形態においてはカラーカメラ)によって得られる少なくとも二のスペクトルバンドの処理によって行われる。
図7は、図6の画像化装置を用いて取り込まれた画像(写真)を示している。図7aは、サンプル光用カメラ21で収集されたカラー画像を示している。図7bは、マーカ光用カメラ22で収集された532nmにおける蛍光画像を示している。図7cは、画像7a及び7bの融合により得られた疑似カラー画像を示している。技術的な理由により、ここで示す図は白黒であるが、カラー画像7aと融合した画像7cの本質的な利点が明らかに実証されている。
図8は、腹腔内腫瘍を有するマウスの画像を示している。図8aは、動物の身体の解剖学的特徴を示す反射カラー画像を示している。図8bは、腫瘍スポットを示す生物発光画像(バイオルミネッセンス)を示している。生物発光画像は、正確な腫瘍の位置及び大きさを明確に表すリファレンス画像として、ここで用いられている。図8cは、画像化セッションに先立って注入された診断蛍光マーカから得られる716nmにおける蛍光画像を示している。未処理の蛍光信号は、破線矢印で示した、画像の右上部分における腫瘍スポットの内の一を表しておらず、また、矢印で示した、画像の右下部分における第2スポットの大きさを正確に示していない。図8dは、すべての腫瘍スポットが正確に示された補正蛍光画像を示している。ここでは蛍光画像(マーカ光信号)の補正を、図8には示されていない反射スペクトル画像(サンプル信号)を用いて行った。
図9は、本発明の一の側面に係る本発明の画像化装置の機能の概略図を示している。
図9では、検出器は、光学的・光音響のセンサの組み合わせとでき、検査されたサンプルから得られる信号検出する。本発明では、検出器の出力は、以下の少なくとも三つの画像である。
・異なるスペクトル帯域において取り込まれる、サンプル光の少なくとも二つの画像、および
・少なくとも一のマーカ光(例えば蛍光)の画像。
検出器によって取り込まれた画像は、プロセッサによって処理される。この処理は、以下の二つのステージで行うことができる。
a.少なくとも二のサンプル光画像を、少なくとも二の補正要素(例えば補正画像)を生成するよう処理する。これらの補正要素は、サンプルの光学的特性(例えば吸収、散乱)に関連するものとできる。
b.少なくとも一のマーカ光画像(例えば蛍光画像)は、プロセス(a)で演算された少なくとも二の補正要素を用いて処理される。このプロセスでは、少なくとも一の補正されたマーカ光画像が演算される。
またプロセッサは、他のプロセスを実行することもできる。例えば、二つの補正要素を一つに組み合わせて、マーカ光画像を補正する又は光音響データを利用するために用いることで、より正確に補正できるよう吸収に関する更なる情報を提供することができる。プロセッサの出力は、少なくとも一の補正されたマーカ光画像である。
上記詳細説明、図面及び特許請求の範囲に開示した本発明の特徴は、種々の実施形態における発明の実施に際して、個々に、また組み合わせの双方において意義がある。

Claims (22)

  1. 調査対象のサンプルを画像化するように構成された画像化装置であって、
    (a)サンプルに照射光を照射するよう配置され、サンプルにおける少なくとも一のマーカ物質を励起する狭帯域光源(11.2)を含む光源装置(10)と、
    (b)異なるスペクトル範囲においてサンプルによって後方散乱される少なくとも二つのサンプル光画像と、
    サンプルにおける少なくとも一のマーカ物質から発する少なくとも一のマーカ光画像と
    を含む複数の画像を同時に収集するよう配置される、サンプル光用カメラ(21)とマーカ光用カメラ(22)とを含む検出器装置(20)と、
    (c)前記少なくとも二つのサンプル光画像を処理し、少なくとも一の補正要素を生成するよう構成されると共に、前記少なくとも一の補正要素を用いることにより前記マーカ光画像を補正するよう構成されてなる処理装置と、
    を備え、
    前記光源装置(10)はさらに、サンプルを照明する広帯域光源(11.1)を含み、
    前記サンプル光用カメラ(21)には、可視光線を通過させつつマーカー蛍光体の波長域を遮断する光学フィルタ(34)が設けられ、
    前記サンプル光用カメラ(21)は、前記少なくとも二つのサンプル光画像を取得するよう配置されており、
    前記マーカ光用カメラ(22)は、前記少なくとも一のマーカ光画像を取得するよう配置されてなることを特徴とする画像化装置。
  2. 請求項1に記載の画像化装置であって、
    前記処理装置が、サンプル光画像とマーカ光画像とを処理し、前記処理された画像の内の少なくとも一をリアルタイムに再現するよう構成されてなることを特徴とする画像化装置。
  3. 請求項1又は2に記載の画像化装置であって、
    前記検出器装置が、異なるスペクトルバンドにおいて、前記少なくとも二つのマーカ光画像を収集するよう配置されてなることを特徴とする画像化装置。
  4. 請求項3に記載の画像化装置であって、
    前記処理装置が、前記少なくとも二つのマーカ光画像を用いて、前記サンプルから発する自己蛍光に対して前記マーカ光画像を補正するよう構成されてなることを特徴とする画像化装置。
  5. 請求項1乃至4のいずれか一に記載の画像化装置であって、
    前記処理装置が、スペクトルの赤領域、緑領域及び青領域で取り込まれた前記サンプル光画像から前記少なくとも一の補正要素を演算するよう構成されてなることを特徴とする画像化装置。
  6. 請求項1乃至5のいずれか一に記載の画像化装置であって、
    前記処理装置が、前記少なくとも二つのサンプル光画像を処理し、少なくとも二つの補正要素を生成するよう構成されており、さらに該少なくとも二つの補正要素が前記マーカ光画像を補正すると共に、少なくとも一の補正されたマーカ光画像をリアルタイムモードで再現するよう用いられてなることを特徴とする画像化装置。
  7. 請求項1乃至6のいずれか一に記載の画像化装置であって、
    前記処理装置が、前記少なくとも二つのサンプル光画像を処理し、前記サンプルの吸収特性と主に対応付けられる少なくとも一の補正要素と、前記サンプルの散乱特性と主に対応付けられる少なくとも一の補正要素とを生成するよう構成されてなることを特徴とする画像化装置。
  8. 請求項1乃至7のいずれか一に記載の画像化装置であって、
    前記処理装置が、複数の補正要素のいずれかの組み合わせを用いて前記マーカ光画像を補正するよう構成されており、該複数の補正要素が、
    前記サンプルの吸収特性と主に対応付けられる補正要素、
    前記サンプルの散乱特性と主に対応付けられる補正要素、
    前記サンプルの自己蛍光と主に対応付けられる補正要素、
    照射の空間的特性と主に対応付けられる補正要素、及び
    前記マーカの深さ分布と主に対応付けられる補正要素であることを特徴とする画像化装置。
  9. 請求項1乃至8のいずれか一に記載の画像化装置であって、
    前記処理装置が、前記少なくとも二つの補正要素を一つの補正要素へと再構成し、さらに該一つの補正要素が前記マーカ光画像を補正するよう用いられてなることを特徴とする画像化装置。
  10. 請求項1乃至9のいずれか一に記載の画像化装置であって、
    前記サンプル光画像及びマーカ光画像は少なくとも二つの画像化チャンネルで収集され、それぞれの画像化チャンネルは少なくとも一の光学フィルタと少なくとも一の画像化検出器とを有してなることを特徴とする画像化装置。
  11. 請求項1乃至10のいずれか一に記載の画像化装置であって、
    前記光源装置が、照射光のスペクトル特性、時間的特性、偏光、方向及び光照射野形状の少なくとも一を調整するよう構成される少なくとも一の照射光調節装置を有してなることを特徴とする画像化装置。
  12. 請求項11に記載の画像化装置であって、
    前記少なくとも一の照射光調節装置が、分光フィルタ、偏光フィルタ、照射光学部品及び光ファイババンドルの少なくとも一を有してなることを特徴とする画像化装置。
  13. 請求項1乃至8のいずれか一に記載の画像化装置であって、さらに
    前記サンプルの光音響画像を収集するよう配置される光音響画像化装置を備えてなることを特徴とする画像化装置。
  14. 請求項13に記載の画像化装置であって、
    少なくとも一の追加の補正画像を生成するよう前記光音響画像を処理し、さらに該少なくとも一の追加の補正画像をマーカ光画像の補正に用いる工程、
    前記サンプルの光音響画像を表示する工程、及び
    前記光音響画像を前記補正された光学画像と共に一つの画像へと再構成し、リアルタイムモードで該画像を再現する工程
    の内少なくとも一の工程において、前記処理装置が前記光音響画像を用いてなることを特徴とする画像化装置。
  15. 請求項1乃至14のいずれか一に記載の画像化装置であって、
    さらに制御装置を備えており、
    該制御装置が、前記光源装置、前記検出器及び前記処理装置の少なくとも一をリアルタイムに制御するよう構成される特徴、
    該制御装置が、前記サンプル光画像、マーカ光画像、補正画像、補正されたマーカ光画像、光音響画像又はそれらの組み合わせの内の一つをリアルタイムに表示する表示装置と接続される特徴、及び
    該制御装置が、少なくとも一の所定のマーカ物質を前記サンプルへと導入するよう構成されている投与装置と接続されている特徴
    の内の少なくとも一の特徴を、前記制御装置が有してなることを特徴とする画像化装置。
  16. 請求項1乃至15のいずれか一に記載の画像化装置であって、
    前記処理装置が、フィールドプログラマブルゲートアレイ及びグラフィックスプロセッシングユニットの内の少なくとも一を有してなることを特徴とする画像化装置。
  17. 請求項1乃至16のいずれか一に記載の画像化装置であって、
    前記検出器装置の検出器が、それぞれが前記検出器の内の一つを収容するよう配置される複数のカップリングを有するモジュラー構造を用いて配置されてなることを特徴とする画像化装置。
  18. 請求項1〜17に記載の画像化装置(100)を用いて、調査対象のサンプルを画像化するための画像化方法であって、
    前記光源装置が発する照射光でサンプルを照射するステップと、
    前記サンプルによって後方散乱されるサンプル光から少なくとも二つのサンプル光画像を収集するステップと、
    異なるスペクトル範囲において前記サンプルにおける少なくとも一のマーカ物質が発するマーカ光から少なくとも一のマーカ光画像を収集するステップと、
    前記サンプル光画像とマーカ光画像とを処理し、前記少なくとも二つのサンプル光画像と前記少なくとも一のマーカ光画像に基づいて少なくとも一の補正されたマーカ光画像を再現するステップと、
    を備えてなることを特徴とする画像化方法。
  19. 請求項18に記載の画像化方法であって、さらに
    前記少なくとも一の補正されたマーカ光画像をリアルタイムモードで再現するステップ、
    スペクトル特性、時間的特性、偏光、方向及び光照射野形状の少なくとも一を調整するステップ、
    サンプル光用カメラとマーカ光用カメラのそれぞれのスペクトル感度又は時間的感度を調整するステップと、
    光音響画像化装置で前記サンプルの光音響画像を収集するステップ
    の内の少なくとも一のステップを備えてなることを特徴とする画像化方法。
  20. 請求項18又は19に記載の画像化方法であって、
    前記サンプルが生物組織を有する、及び/又は
    前記サンプルが異なる分光学的特性を有する複数のマーカ物質を有することを特徴とする画像化方法。
  21. 請求項1乃至17のいずれか一に記載の画像化装置を、イントラオペレーティブ用途、腹腔鏡用途又は内視鏡用途に用いる方法。
  22. 請求項18〜20に記載の画像化方法であって、前記画像化を医療用途に用いる方法。
JP2015152080A 2010-02-12 2015-07-31 マルチスペクトルフォトニック画像化方法及び装置 Expired - Fee Related JP5986670B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US30400810P 2010-02-12 2010-02-12
US61/304,008 2010-02-12
EP10001478A EP2359745A1 (en) 2010-02-12 2010-02-12 Method and device for multi-spectral photonic imaging
EP10001478.6 2010-02-12

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012552258A Division JP2013519867A (ja) 2010-02-12 2010-11-15 マルチスペクトルフォトニック画像化方法及び装置

Publications (2)

Publication Number Publication Date
JP2015232574A true JP2015232574A (ja) 2015-12-24
JP5986670B2 JP5986670B2 (ja) 2016-09-06

Family

ID=42199943

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012552258A Pending JP2013519867A (ja) 2010-02-12 2010-11-15 マルチスペクトルフォトニック画像化方法及び装置
JP2015152080A Expired - Fee Related JP5986670B2 (ja) 2010-02-12 2015-07-31 マルチスペクトルフォトニック画像化方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012552258A Pending JP2013519867A (ja) 2010-02-12 2010-11-15 マルチスペクトルフォトニック画像化方法及び装置

Country Status (6)

Country Link
US (2) US9918640B2 (ja)
EP (2) EP2359745A1 (ja)
JP (2) JP2013519867A (ja)
CN (1) CN102892348B (ja)
CA (1) CA2789051C (ja)
WO (1) WO2011098101A1 (ja)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE336717T1 (de) 2001-05-17 2006-09-15 Xenogen Corp Verfahren und vorrichtung zur feststellung von zieltiefe, helligkeit und grösse in einer körperregion
EP2344019B1 (en) 2008-07-25 2013-11-27 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Quantitative multi-spectral opto-acoustic tomography (msot) of tissue biomarkers
WO2011000389A1 (en) 2009-06-29 2011-01-06 Helmholtz Zentrum München Deutsches Forschungszentrum Für Gesundheit Und Umwelt (Gmbh) Thermoacoustic imaging with quantitative extraction of absorption map
WO2011012274A1 (en) 2009-07-27 2011-02-03 Helmholtz Zentrum München Deutsches Forschungszentrum Für Gesundheit Und Umwelt (Gmbh) Imaging device and method for optoacoustic imaging of small animals
JP5635436B2 (ja) * 2010-08-24 2014-12-03 浜松ホトニクス株式会社 化学発光測定装置および化学発光測定方法
US8686335B2 (en) 2011-12-31 2014-04-01 Seno Medical Instruments, Inc. System and method for adjusting the light output of an optoacoustic imaging system
US9289191B2 (en) 2011-10-12 2016-03-22 Seno Medical Instruments, Inc. System and method for acquiring optoacoustic data and producing parametric maps thereof
JP2014039571A (ja) * 2010-12-27 2014-03-06 Olympus Corp 蛍光内視鏡装置
JP5466182B2 (ja) * 2011-01-11 2014-04-09 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
DE102011016138A1 (de) * 2011-03-30 2012-10-04 Karl Storz Gmbh & Co. Kg Vorrichtung zur Fluoreszenzdiagnose
DE102011106585B4 (de) * 2011-06-16 2020-06-04 Carl Zeiss Optronics Gmbh Adaptionsobjektiv
DE102012207207A1 (de) * 2011-10-04 2013-04-04 Leica Microsystems Cms Gmbh Mikroskopsystem und Verfahren zur Aufnahme von Multikanalbildern
KR102090840B1 (ko) * 2011-10-12 2020-03-18 세노 메디컬 인스투르먼츠 인코포레이티드 광음향 데이터를 획득하며 그것의 파라메트릭 맵들을 생성하기 위한 시스템 및 방법
US11099178B2 (en) * 2011-10-28 2021-08-24 Torsten Matthias Device and method for detecting substances present in biological or chemical samples
US9757092B2 (en) 2011-11-02 2017-09-12 Seno Medical Instruments, Inc. Method for dual modality optoacoustic imaging
US9445786B2 (en) 2011-11-02 2016-09-20 Seno Medical Instruments, Inc. Interframe energy normalization in an optoacoustic imaging system
US9730587B2 (en) 2011-11-02 2017-08-15 Seno Medical Instruments, Inc. Diagnostic simulator
US20140005544A1 (en) 2011-11-02 2014-01-02 Seno Medical Instruments, Inc. System and method for providing selective channel sensitivity in an optoacoustic imaging system
US11287309B2 (en) 2011-11-02 2022-03-29 Seno Medical Instruments, Inc. Optoacoustic component utilization tracking
US10433732B2 (en) 2011-11-02 2019-10-08 Seno Medical Instruments, Inc. Optoacoustic imaging system having handheld probe utilizing optically reflective material
US9743839B2 (en) 2011-11-02 2017-08-29 Seno Medical Instruments, Inc. Playback mode in an optoacoustic imaging system
US9814394B2 (en) 2011-11-02 2017-11-14 Seno Medical Instruments, Inc. Noise suppression in an optoacoustic system
US20130289381A1 (en) 2011-11-02 2013-10-31 Seno Medical Instruments, Inc. Dual modality imaging system for coregistered functional and anatomical mapping
US9733119B2 (en) 2011-11-02 2017-08-15 Seno Medical Instruments, Inc. Optoacoustic component utilization tracking
US11191435B2 (en) 2013-01-22 2021-12-07 Seno Medical Instruments, Inc. Probe with optoacoustic isolator
WO2013134772A2 (en) 2012-03-09 2013-09-12 Seno Medical Instruments, Inc. Statistical mapping in an optoacoustic imaging system
DE102012005938B4 (de) * 2012-03-26 2021-05-12 Carl Zeiss Optronics Gmbh Multispektrales Zoomobjektiv sowie Kamerasystem
RU2616653C2 (ru) 2012-06-05 2017-04-18 Хайпермед Имэджинг, Инк. Способы и устройство для соосного формирования изображения с множеством длин волн
WO2013185784A1 (en) 2012-06-11 2013-12-19 Helmholtz Zentrum München Deutsches Forschungszentrum Für Gesundheit Und Umwelt (Gmbh) Imaging system and method for imaging an object
US8781202B2 (en) * 2012-07-26 2014-07-15 International Business Machines Corporation Tumor classification based on an analysis of a related ultrasonic attenuation map
EP2742854B1 (en) 2012-12-11 2021-03-10 iThera Medical GmbH Handheld device and method for tomographic optoacoustic imaging of an object
CN105103190B (zh) 2013-01-10 2018-07-17 加利珀生命科学股份有限公司 全视野载玻片多光谱成像系统和方法
US10964001B2 (en) 2013-01-10 2021-03-30 Akoya Biosciences, Inc. Multispectral imaging systems and methods
EP2754388B1 (en) 2013-01-15 2020-09-09 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt GmbH System and method for quality-enhanced high-rate optoacoustic imaging of an object
US10231626B2 (en) * 2013-03-15 2019-03-19 The Regents Of The University Of California Imaging system and method for fluorescence guided surgery
CA2902056C (en) * 2013-03-15 2021-07-13 Seno Medical Instruments, Inc. Light output calibration in an optoacoustic system
CN103393408B (zh) * 2013-08-20 2015-12-02 中国科学院自动化研究所 一种光声和荧光循环互提升成像方法
CN104459098B (zh) * 2013-09-23 2016-11-23 西门子医疗保健诊断公司 一种采集医学样本图像的诊断装置
CN103637808B (zh) * 2013-11-18 2015-08-19 深圳先进技术研究院 光声成像装置
KR101654675B1 (ko) * 2014-02-03 2016-09-06 삼성메디슨 주식회사 광음향 물질을 이용하여 진단 영상을 생성하는 방법, 장치 및 시스템.
CA2939345C (en) * 2014-02-17 2022-05-31 Children's National Medical Center Method and system for providing recommendation for optimal execution of surgical procedures
US9480424B2 (en) 2014-03-21 2016-11-01 Hypermed Imaging, Inc. Systems and methods for measuring tissue oxygenation
US10010278B2 (en) 2014-03-21 2018-07-03 Hypermed Imaging, Inc. Systems and methods for measuring tissue oxygenation
US9655519B2 (en) 2014-03-21 2017-05-23 Hypermed Imaging, Inc. Systems and methods for performing an imaging test under constrained conditions
AU2015230939B2 (en) 2014-03-21 2019-05-02 Hypermed Imaging, Inc. Compact light sensor
EP3943915A3 (en) 2014-05-12 2022-05-25 Cellomics, Inc Automated imaging of chromophore labeled samples
CN104116497B (zh) * 2014-07-22 2016-10-05 中国科学院自动化研究所 内窥式光学分子影像导航系统和多光谱成像方法
CN104121990B (zh) * 2014-07-22 2016-05-11 中国科学院上海光学精密机械研究所 基于随机光栅的压缩感知宽波段高光谱成像系统
CN104116482B (zh) * 2014-08-11 2016-05-18 福建师范大学 一种基于内窥镜的光学图像和光谱信号检测装置
US10539675B2 (en) 2014-10-30 2020-01-21 Seno Medical Instruments, Inc. Opto-acoustic imaging system with detection of relative orientation of light source and acoustic receiver using acoustic waves
TWI623854B (zh) * 2014-11-20 2018-05-11 Xie Ru Sheng Direct manipulation of medical imaging methods
CN104605818B (zh) * 2015-01-08 2017-02-01 汇佳生物仪器(上海)有限公司 非移动式近红外成像装置
DE102015102595B4 (de) * 2015-02-24 2021-01-28 Karl Storz Se & Co. Kg Optische Beobachtungsanordnung, Kamera, Endoskop oder Exoskop sowie Endoskop- oder Exoskopsystem
CN114324268A (zh) 2015-06-02 2022-04-12 国立大学法人旭川医科大学 观察辅助装置、信息处理方法以及程序
WO2017075687A1 (en) 2015-11-03 2017-05-11 Synaptive Medical (Barbados) Inc. Dual zoom and dual field-of-view microscope
US10091391B2 (en) * 2015-11-10 2018-10-02 Bidirectional Display, Inc. System and method for constructing document image from snapshots taken by image sensor panel
US10798310B2 (en) 2016-05-17 2020-10-06 Hypermed Imaging, Inc. Hyperspectral imager coupled with indicator molecule tracking
US11096602B2 (en) * 2016-07-29 2021-08-24 Stryker European Operations Limited Methods and systems for characterizing tissue of a subject utilizing a machine learning
EP3631556A4 (en) * 2017-06-01 2021-02-24 The United States of America, as represented by the Secretary, Department of Health and Human Services SYSTEMS AND METHODS FOR THREE-DIMENSIONAL FLUORESCENCE POLARIZATION VIA MULTI-VIEW IMAGING
US10952616B2 (en) * 2018-03-30 2021-03-23 Canon U.S.A., Inc. Fluorescence imaging apparatus
WO2019220583A1 (ja) * 2018-05-17 2019-11-21 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
US20200015924A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Robotic light projection tools
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
CN110118758B (zh) * 2019-04-01 2022-06-03 深圳市趣方科技有限公司 一种散射荧光双模态流式成像系统
KR20220021920A (ko) * 2019-04-08 2022-02-22 액티브 서지컬, 인크. 의료 이미징을 위한 시스템 및 방법
KR20200129409A (ko) 2019-05-08 2020-11-18 삼성전자주식회사 광 센서, 생체 정보 추정 장치 및 방법
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
US20210052161A1 (en) * 2019-08-23 2021-02-25 Rebound Therapeutics Corporation Fluorescence imaging system
EP3824799A1 (en) * 2019-11-20 2021-05-26 Helmholtz Zentrum München - Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Device, apparatus and method for imaging an object
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
EP3882681A1 (en) * 2020-03-10 2021-09-22 Leica Instruments (Singapore) Pte. Ltd. A concept for a microscope system with an led-based illumination system
CN112488939A (zh) * 2020-11-27 2021-03-12 深圳市中博科创信息技术有限公司 图像处理方法、终端设备及存储介质
CN112813032A (zh) * 2021-02-08 2021-05-18 中国科学院苏州纳米技术与纳米仿生研究所 一种干细胞评价多通道成像系统及其制备方法与应用
CN113160095B (zh) * 2021-05-25 2023-05-19 烟台艾睿光电科技有限公司 红外探测信号伪彩处理方法、装置、系统及存储介质
KR102549928B1 (ko) * 2021-07-28 2023-06-30 주식회사 메타플바이오 멀티스펙트럼 광 조사 장치 및 멀티스펙트럼 형광 이미징 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0732582A2 (en) * 1995-03-16 1996-09-18 Bio-Rad Laboratories, Inc. Tunable excitation and/or tunable emission fluorescence imaging
WO2000042910A1 (en) * 1999-01-26 2000-07-27 Newton Laboratories, Inc. Autofluorescence imaging system for endoscopy
JP2003290126A (ja) * 2002-03-29 2003-10-14 Olympus Optical Co Ltd センチネルリンパ節検出装置及びその方法
JP2006527858A (ja) * 2003-06-16 2006-12-07 カール ツァイス イエナ ゲゼルシャフト ミット ベシュレンクテル ハフツング 蛍光検鏡のための方法
US20080039695A1 (en) * 2006-08-14 2008-02-14 Olympus Corporation Fluorescence endoscope system, fluoroscopy apparatus, fluoroscopy method, fluorescence-information processing apparatus, and fluorescence-information processing method
WO2008062354A1 (en) * 2006-11-21 2008-05-29 Koninklijke Philips Electronics N.V. A system, device, method, computer-readable medium, and use for in vivo imaging of tissue in an anatomical structure
JP2008183349A (ja) * 2007-01-31 2008-08-14 Olympus Corp 蛍光観察装置および蛍光観察方法
JP2008264578A (ja) * 2002-05-08 2008-11-06 Kuresuto Japan Kk 軟骨組織の物性測定用の光励起蛍光検出装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60256443A (ja) 1984-05-31 1985-12-18 オムロン株式会社 画像計測装置
DE4026821A1 (de) 1990-08-24 1992-03-05 Philips Patentverwaltung Verfahren zur erfassung von anomalien der haut, insbesondere von melanomen, sowie vorrichtung zur durchfuehrung des verfahrens
US7899518B2 (en) 1998-04-06 2011-03-01 Masimo Laboratories, Inc. Non-invasive tissue glucose level monitoring
JP2001137173A (ja) * 1999-11-11 2001-05-22 Fuji Photo Film Co Ltd 蛍光画像測定方法および装置
JP2003522579A (ja) * 2000-02-18 2003-07-29 アーゴス インク 非侵襲性組織グルコース濃度モニタリング
US6826424B1 (en) 2000-12-19 2004-11-30 Haishan Zeng Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices
JP2003164414A (ja) * 2001-11-29 2003-06-10 Fuji Photo Film Co Ltd 蛍光診断画像表示方法および表示装置
US20030187319A1 (en) 2002-03-29 2003-10-02 Olympus Optical Co., Ltd. Sentinel lymph node detecting apparatus, and method thereof
US20050113641A1 (en) * 2003-11-22 2005-05-26 Bala John L. Endoscopic imaging and intervention system
EP1706242A2 (en) * 2003-12-24 2006-10-04 The General Hospital Corporation Multi-channel optical imaging
JP2008522761A (ja) 2004-12-08 2008-07-03 ザ・ゼネラル・ホスピタル・コーポレーション 規準化された蛍光又は生物発光撮像のためのシステムと方法
EP1952106B1 (en) * 2005-11-04 2014-08-27 George Themelis System for multispectral imaging
US7366365B2 (en) * 2005-11-23 2008-04-29 Princeton Lightwave, Inc. Tissue scanning apparatus and method
US10335038B2 (en) * 2006-08-24 2019-07-02 Xenogen Corporation Spectral unmixing for in-vivo imaging
JP5030513B2 (ja) * 2006-09-11 2012-09-19 オリンパス株式会社 生体組織用蛍光観測装置および内視鏡システム
CN100469324C (zh) * 2006-09-29 2009-03-18 清华大学 核素与荧光双模一体的小动物分子成像的数据获取系统
US20080123083A1 (en) * 2006-11-29 2008-05-29 The Regents Of The University Of Michigan System and Method for Photoacoustic Guided Diffuse Optical Imaging
EP2344019B1 (en) * 2008-07-25 2013-11-27 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Quantitative multi-spectral opto-acoustic tomography (msot) of tissue biomarkers

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0732582A2 (en) * 1995-03-16 1996-09-18 Bio-Rad Laboratories, Inc. Tunable excitation and/or tunable emission fluorescence imaging
WO2000042910A1 (en) * 1999-01-26 2000-07-27 Newton Laboratories, Inc. Autofluorescence imaging system for endoscopy
JP2002535025A (ja) * 1999-01-26 2002-10-22 ニユートン・ラボラトリーズ・インコーポレーテツド 内視鏡用の自己蛍光画像化システム
JP2003290126A (ja) * 2002-03-29 2003-10-14 Olympus Optical Co Ltd センチネルリンパ節検出装置及びその方法
JP2008264578A (ja) * 2002-05-08 2008-11-06 Kuresuto Japan Kk 軟骨組織の物性測定用の光励起蛍光検出装置
JP2006527858A (ja) * 2003-06-16 2006-12-07 カール ツァイス イエナ ゲゼルシャフト ミット ベシュレンクテル ハフツング 蛍光検鏡のための方法
US20080039695A1 (en) * 2006-08-14 2008-02-14 Olympus Corporation Fluorescence endoscope system, fluoroscopy apparatus, fluoroscopy method, fluorescence-information processing apparatus, and fluorescence-information processing method
JP2008043494A (ja) * 2006-08-14 2008-02-28 Olympus Corp 蛍光内視鏡システム、蛍光観測装置、蛍光観測方法、蛍光情報処理装置、および蛍光情報処理方法
WO2008062354A1 (en) * 2006-11-21 2008-05-29 Koninklijke Philips Electronics N.V. A system, device, method, computer-readable medium, and use for in vivo imaging of tissue in an anatomical structure
JP2008183349A (ja) * 2007-01-31 2008-08-14 Olympus Corp 蛍光観察装置および蛍光観察方法
EP2108300A1 (en) * 2007-01-31 2009-10-14 Olympus Corporation Fluorescence observation device and florescence observation method

Also Published As

Publication number Publication date
JP5986670B2 (ja) 2016-09-06
CA2789051A1 (en) 2011-08-18
US10314490B2 (en) 2019-06-11
EP2533682A1 (en) 2012-12-19
JP2013519867A (ja) 2013-05-30
CA2789051C (en) 2021-12-14
US9918640B2 (en) 2018-03-20
WO2011098101A1 (en) 2011-08-18
CN102892348B (zh) 2016-04-20
US20180177399A1 (en) 2018-06-28
EP2359745A1 (en) 2011-08-24
CN102892348A (zh) 2013-01-23
US20130041267A1 (en) 2013-02-14

Similar Documents

Publication Publication Date Title
JP5986670B2 (ja) マルチスペクトルフォトニック画像化方法及び装置
US11653834B2 (en) Optical imaging or spectroscopy systems and methods
US7804075B2 (en) Method and system for tomographic imaging using fluorescent proteins
US9226645B2 (en) System and method for normalized diffuse emission epi-illumination imaging and normalized diffuse emission transillumination imaging
JP4217403B2 (ja) 組織病巣の特徴付けおよびマッピングのためのシステム
ES2289344T3 (es) Uso de espectroscopia raman de numero de ondas elevado para la medicion de tejido.
US9345389B2 (en) Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
US8078265B2 (en) Systems and methods for generating fluorescent light images
US20110042580A1 (en) Fluorescence quantification and image acquisition in highly turbid media
WO2005089637A9 (en) Method and system for tomographic imaging using fluorescent proteins
JP5911196B2 (ja) 光音響イメージング装置
WO2013109966A1 (en) Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance
US20150320319A1 (en) Near infrared photonic prostatoscopy analyzer
US20140163389A1 (en) In vivo detection of eosinophils
Ntziachristos Clinical translation of optical and optoacoustic imaging
KR102521793B1 (ko) 광학 흡수 및 산란 매체 내 표면 형광 물체의 깊이를 결정하고 물체의 형광 농도를 결정하기 위한 장치 및 방법
EP1797818A2 (en) Method and system for tomographic imaging using fluorescent proteins
Lloyd et al. Biophotonics: clinical fluorescence spectroscopy and imaging
WO2024099594A1 (en) Imaging device and method
Keahey Point-of-Care Imaging and Lateral Flow Diagnostics for Improving Medical Care in Low-Resource Settings

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160805

R150 Certificate of patent or registration of utility model

Ref document number: 5986670

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees