JP2013099573A - 蛍光光画像の発生システムおよび方法 - Google Patents
蛍光光画像の発生システムおよび方法 Download PDFInfo
- Publication number
- JP2013099573A JP2013099573A JP2013011066A JP2013011066A JP2013099573A JP 2013099573 A JP2013099573 A JP 2013099573A JP 2013011066 A JP2013011066 A JP 2013011066A JP 2013011066 A JP2013011066 A JP 2013011066A JP 2013099573 A JP2013099573 A JP 2013099573A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging system
- pixel intensity
- processor
- exposure time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Endoscopes (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
【課題】組織内において蛍光光発生分子の濃度を判定すること、または濃度を示す画像をリアル・タイムで提供する。
【解決手段】撮像システム10は、画像画素強度を露出時間で除算して、時間毎の強度を単位とする画像データを発生する。撮像システム10は、時間当たりの強度を単位とする蛍光光画像を、時間当たりの強度を単位とする励起光画像で除算することによって、定量的補正蛍光光画像を求める。定量的補正蛍光光画像は、撮像しようとする生物組織に対する撮像計器の位置に対して概ね不変である。また、撮像システム10は時間当たりの強度を単位とする蛍光光画像と減衰補正距離値と組み合わせる。
【選択図】図1
【解決手段】撮像システム10は、画像画素強度を露出時間で除算して、時間毎の強度を単位とする画像データを発生する。撮像システム10は、時間当たりの強度を単位とする蛍光光画像を、時間当たりの強度を単位とする励起光画像で除算することによって、定量的補正蛍光光画像を求める。定量的補正蛍光光画像は、撮像しようとする生物組織に対する撮像計器の位置に対して概ね不変である。また、撮像システム10は時間当たりの強度を単位とする蛍光光画像と減衰補正距離値と組み合わせる。
【選択図】図1
Description
本発明は、一般的には、撮像システムおよび方法に関し、更に特定すれば、生物組織の蛍光光画像(fluorescent light image)を供給するように構成した光撮像システムおよび方法に関する。
従来、いわゆる蛍光顕微鏡を用いて生物組織の組織構造スライスの顕微鏡画像を発生するために、蛍光光が用いられている。しかしながら、従来の蛍光顕微鏡において用いられる組織の区分けは、ミリメートルの半分程度の厚さ(即ち、組織の深さ)にスライスするのが限界であり、したがって、従来の蛍光顕微鏡は臓器全体または人体全体を撮像するには適していない。
組織内に更に深くまで入った画像を供給するために、従来のシステムおよび技法は、近赤外線光を放出する光源および蛍光色素を用いている。近赤外線光が選択されたのは、近赤外線光は吸収度が低く、生物組織の内部数センチメートルまで進入することができるからである。近赤外線光は、種々の光撮像システムおよび技法において用いられている。
蛍光光は、組織に励起光を発射する励起光源に応答して、組織から放出することができる。励起光は、組織内部にある蛍光色素からの蛍光光の放出を励起する。蛍光色素の一部は、人工分子(man-made molecules)である。また、励起光は、組織内にある蛍光蛋白質からの蛍光光の放出も励起することができる。蛍光蛋白質には、組織内で自然に発生しない蛍光蛋白質を含む。また、励起光は、組織内において自然に発生する分子からの蛍光光の放出も励起することができ、いわゆる自己蛍光を発生する。
蛍光反射撮像(FRI)は、生物組織によって放出される蛍光光の顕微鏡画像および肉眼画像を発生するために用いられる従来の技法である。FRIシステムは、光を生物組織上および/または生物組織内部に発射し、組織から放出されて戻ってくる蛍光光を収集する。蛍光反射撮像では、励起光源からの励起光(例えば、近赤外線光)を用いて、組織を照明する。既存のシステムの中には、蛍光光を放出する組織内部において外部から投与した蛍光色素を励起するために、励起光源を用いる場合もある。あるいは、既存のシステムの中には、蛍光光を放出する組織内部に自然に発生する蛍光源分子(即ち、自己蛍光が生ずる)を励起するために、励起光源を用いる場合もある。放出された蛍光光は、視覚的に検査することができ、あるいは組織の励起光源と同じ側に一般的に配置するCCDカメラまたはその他の光子検出器によって捕獲することもできる。
蛍光透過照明撮像(FTI)は、生物組織が放出する蛍光の肉眼画像を発生するために用いられる別の従来技術である。FRIと同様、FTIにおいても、組織を照明するために励起光源からの励起光(例えば、近赤外線光)が用いられ、励起光は組織内を伝搬し、組織内からの蛍光光の放出を励起する。しかしながら、前述の蛍光反射構成とは対照的に、蛍光透過照明撮像では、CCDカメラまたはその他の光子検出器は、一般に、組織の励起光源とは逆側に配置される。構成の中には、放出される蛍光光が近赤外線光である場合もある。
蛍光反射撮像(FRI)および蛍光透過照明撮像(FTI)は、「平面」撮像の形態であり、二次元画像を供給する。更に進んだ光撮像システムおよび方法が開発されており、これらは断層撮影方法を利用する。これらのシステムおよび動作は、組織に対する異なる投射(即ち、角度)において光子測定値を得て、断層撮影アルゴリズムを用いて測定値を組み合わせることによって動作する。断層撮影法の利点には、深い蛍光色素の画像定量化ができること、そして三次元撮像に特徴深度測定(feature depth measurement)を備えることができることが含まれる。用途によっては、断層撮影法を生体内において用いて、薬物に対する酵素規制(enzyme regulation)および処置応答を測定している場合もある。しかしながら、断層撮影法は、平面撮像よりも複雑であり、一層進んだ計装を必要とし、多数の照明点(投射)を必要とするために多数の光源を必要とする可能性があり、組織における光子伝搬をモデル化するために先進の理論的方法を必要とする。
蛍光撮像システムの中には、カテーテルに基づく構成または内視鏡構成を用いるものもあり、この場合、励起光源および受光部は、光ファイバ束を通じてカテーテルに基づく計器または内視鏡計器(以後挿入可能計器と呼ぶ)に結合されている。この計器は、例えば、身体の空洞、臓器、または導管内部に挿入することができる。
挿入可能計器は、膀胱癌、子宮癌、肺がん、気管支癌、および結腸ポリープおよび癌、ならびに動脈班のような身体内部の深いところにある病理に生体内進入を可能にすることによって、前述の蛍光反射撮像の撮像深さの限界を多少は解決している。しかしながら、前述した挿入可能構成では、挿入可能計器を身体内部において移動させると、各撮像における蛍光光が変動することを認めることができる。これは、挿入可能計器から組織までの距離、および撮像する組織の表面に対する角度が大きく変動する可能性があり、画像毎に蛍光の定量化可能な評価が困難になるからである。画像捕獲中における挿入可能計器の距離および角度が変動する可能性があるために、組織に進行する励起光および挿入可能計器に逆行する放出光双方について、画像フレーム毎に光路が変化する可能性がある。光路が異なると、画像記録デバイスにおいて、光のレベルが異なってしまい、最終的に画像をリアル・タイムで収集する際に各画像における信号強度が変動する可能性がある。各画像において強度が変動すると、画像を順次捕獲しつつ比較することが困難になる。
また、従来の挿入可能構成は、2つまたは3つの光チャネル(例えば、励起光の画像を形成するチャネル、および蛍光光の画像を形成する1つまたは2つのチャネル)の各々に対して8ビットのダイナミック・レンジに制限されている。
一般に、生物組織から受光する蛍光光の強度は、この生物組織内部にある蛍光分子の濃度を示す。しかしながら、従来の挿入可能構成には、挿入可能計器を移動させつつ収集した種々の画像において、計量可能で正確な画像の強度を提供する能力に限界があったため、従来の挿入可能構成では、組織内において蛍光光発生分子の濃度を判定すること、または濃度を示す画像をリアル・タイムで提供することが一般には不可能であった。
本発明は、挿入可能な光学計器と共に用いるときに、蛍光画像を改良して提供する。しかしながら、ここに記載するシステムおよび技法は、挿入可能計器を含まない蛍光撮像システムを含む、あらゆる蛍光撮像システムにも適用可能である。
本発明のシステムおよび技法について説明するために、蛍光反射撮像の例をここでは用いる。しかしながら、ここに記載するシステムおよび技法は、蛍光透過照明撮像にも適用できることは、認められてしかるべきである。
以下に説明するが、本発明のある態様によれば、撮像システムは、蛍光物質の濃度を定量的に示す物体の画像を供給することができ、これらの画像をリアル・タイムで収集し目視することができる。蛍光物質の濃度指示は、物体に対する挿入可能計器の距離および角度に関して概ね不変とすることができる。
本発明の一態様によれば、撮像システムは、光検出器から複数の画像を捕獲するように構成した画像捕獲プロセッサを含む。複数の画像における各画像はそれぞれの露出時間を有する。画像捕獲プロセッサは、複数の画像における各画像と関連付けられたそれぞれの露出時間を動的に調節するように構成した露出プロセッサを含む。更に、撮像システムは、画像捕獲プロセッサに結合され、複数の画像を受け取って格納するように構成し、更にそれぞれの露出時間も受け取って格納するように構成したメモリも含む。
本発明の別の態様によれば、撮像システムは、励起光を組織に向けて発射するように構成され、更に組織からの蛍光光を励起するように構成されている励起光源を含む。撮像システムは、更に、第1露出時間と関連のある第1複数の画素強度値を有する組織の第1画像を発生するように構成されている第1光検出器も含む。撮像システムは、更に、第1および第2光検出器ならびに励起光源と結合されている画像補正プロセッサも含む。画像補正プロセッサは、第1秒毎強度値を求めるために第1画素強度値の各々を第1露出時間と組み合わせるように構成されている。
実施形態の中には、撮像システムが、更に、第2露出時間と関連のある第2複数の画素強度値を有する組織の第2画像を発生するように構成されている第2光検出器を備えている場合もある。これらの実施形態では、画像補正プロセッサは、更に、第2秒毎強度値を求めるために第2画素強度値の各々を第2露出時間と組み合わせるように構成されており、更に補正画素強度値を有する組織の補正画像を求めるために第2秒毎強度値を第1秒毎強度値と組み合わせるように構成されている。
別の実施形態の中には、撮像システムが、更に、距離測定センサを有する挿入可能計器と、距離測定センサに結合されている距離測定プロセッサとを備えている場合もある。距離測定センサおよび距離測定プロセッサは、挿入可能計器と生物組織との間の距離と関連のある距離値を発生するように構成されている。撮像プロセッサは、補正画素強度値を有する組織の補正画像を求めるために、第1秒毎強度値を距離値と組み合わせ、更に距離値を光減衰と関係付ける補正値とも組み合わせるように構成されている。
本発明の別の態様によれば、撮像システムは、複数の画像を受け取るように構成されている画像拡縮再調整プロセッサを含む。複数の画像内にある各画像は、第1ディジタル・ビット数から成るそれぞれの画素強度値を有する。画像拡縮再調整プロセッサは、更に、複数の画像内の各画像の受信と同時に、画像の各々を、異なる第2ディジタル・ビット数から成るそれぞれの画素強度値を有するそれぞれの画像に変換するように構成されている。
本発明の別の態様によれば、撮像システムは撮像プロセッサを含む。撮像プロセッサは、画素強度値の組織内にある化合物のそれぞれの濃度に対するマップを(露出時間について補正して)発生するように構成されている強度対濃度マッピング・プロセッサを含む。撮像プロセッサは、更に、画像対強度マッピング・プロセッサに結合されており、中間調画像の受信と同時に濃度に応じて偽色画像を発生するために、マップを中間調画像に適用するように構成されている画像着色プロセッサも含む。撮像プロセッサが行うマッピングは定量的とすることができ、強度対濃度マッピングおよび強度対色マッピングは、光学撮像計器と、撮像しようとするターゲットとの間の距離や角度の変化に対して不変であることを意味する。
本発明の別の態様によれば、撮像システムは、組織によって放出されるまたはこれから反射する光の画像を発生するように構成されている撮像プロセッサを含む。撮像プロセッサは、別の種類の撮像システムから副画像を受信し、光の画像の発生と同時に合体画像を供給するために、光の画像を副画像と合体するように構成されている画像合体プロセッサを含む。
本発明の以上の特徴、および本発明自体は、以下の図面の詳細な説明から更に深く理解できよう。
図1は、撮像プロセッサを有する蛍光撮像システムを示すブロック図である。
図2は、図1の撮像プロセッサを更に詳細に示すブロック図である。
図3は、1つ以上の蛍光光補正画像を発生するために用いることができるプロセスの一例を示すフロー・チャートである。
図4は、図3のプロセスを更に詳細に示す、計器較正プロセスを示すフロー・チャートである。
図5は、図3のプロセスを更に詳細に示す、露出時間計算プロセスを示すフロー・チャートである。
図5Aは、図5のプロセスの代わりとして、図3のプロセスを更に詳細に示す、露出時間計算プロセスを示すフロー・チャートである。
図6は、図3のプロセスを更に詳細に示す、画像補正プロセスを示すフロー・チャートである。
図6Aは、図6のプロセスの代わりとして、図3のプロセスを更に詳細に示す、別の画像補正プロセスを示すフロー・チャートである。
図7は、図3のプロセスを更に詳細に示す、画像分解能変換プロセスを示すフロー・チャートである。
図7Aは、図7のプロセスの代わりとして、図3のプロセスを更に詳細に示す、別の画像分解能変換プロセスを示すフロー・チャートである。
図8は、図3のプロセスを更に詳細に示す、強度対分子濃度マッピング・プロセスを示すフロー・チャートである。
図9は、図1のシステムが発生した画像の一例である。図9Aは、区分マスクの一例の画像である。
図10は、露出時間と、励起光の画像に対する画像画素強度との関係を示すグラフである。
図10Aは、露出時間と、蛍光光の画像に対する画像画素強度との関係を示すグラフである。
図11は、挿入可能計器と表面までの距離の関係を示す図である。
図11Aは、挿入可能計器の距離と励起光の画像の画素強度との間の関係を示すグラフである。
図11Bは、挿入可能計器の距離と蛍光光の画像の画素強度との間の関係を示すグラフである。
図11Cは、挿入可能計器の距離と、ここに記載する技法にしたがって補正した蛍光光の画像の画素強度との関係を示すグラフである。
図12は、挿入可能計器と表面に対する角度の関係を示す図である。
図12Aは、挿入可能計器の角度、画素強度、および励起光の画像に対する画像内の位置の間の関係を示すグラフである。
図12Bは、挿入可能計器の角度、画素強度、および蛍光光の画像に対する画像内の位置の間の関係を示すグラフである。
図12Cは、挿入可能計器の角度、画素強度、およびここに記載する技法にしたがって補正した蛍光光の画像に対する画像内の位置の間の関係を示すグラフである。
図13は、血液を介する撮像距離と、未補正の蛍光光の画像に対するcy5.5蛍光色素に対する画像強度との間の関係を示すグラフである。
図13Aは、血液を介する撮像距離と、未補正の蛍光光の画像に対するAF750蛍光色素に対する画像強度との間の関係を示すグラフである。
図13Bは、血液を介する撮像距離と、ここに記載する技法にしたがって補正した蛍光光の画像の画像強度との間の関係を示すグラフである。
図14は、分子濃度と、関連する3つの異なる蛍光色素に対する蛍光光強度との関係を示すグラフである。
図15は、代替撮像プロセッサを有する図1の蛍光撮像システムの代替実施形態を示すブロック図である。
図16は、図15の撮像プロセッサを更に詳細に示すブロック図である。
本発明について記載する前に、序言的概念の一部および用語法について説明する。ここで用いる場合、「励起光」という用語は、励起光源が発生する光を記述するために用いられる。励起光は、生物組織から蛍光を励起することが可能なスペクトル光成分(即ち、波長)を含むが、これに限定されるのではない。蛍光光を励起することが可能な励起光におけるスペクトル成分は、単一波長、単一波長帯、1つよりも多い波長、1つよりも多いスペクトル波長帯を含むことができる。蛍光光を励起することが可能な励起光におけるスペクトル成分は、約400〜700ナノメートルの可視スペクトル領域にある1つ以上の波長を含むことができる。しかしながら、蛍光光を励起することが可能な励起光におけるスペクトル成分は、その他のスペクトル領域、例えば、約700〜1000ナノメートルの近赤外線(NIR)スペクトル領域、または約1〜400ナノメートルの紫外線(UV)スペクトル領域における1つ以上の波長も含むことができる。また、励起光は、蛍光光を励起しないスペクトル成分も含むことができる。
実施形態の中には、励起光がコヒーレント光、例えば、レーザ光である場合もある。他の実施形態では、励起光は、非コヒーレント光、例えば、LEDから発生する光子、または黒体放射(例えば、白熱、ハロゲン、またはキセノン・バルブ)から発生する濾波光である。他の実施形態では、励起光はコヒーレント光と非コヒーレント光との組み合わせである。
蛍光光を励起することが可能な励起光のスペクトル成分は、これらが励起する蛍光光よりも短い波長を有することができる。しかしながら、他の構成では、励起光の何らかの追加のスペクトル成分が、これらが励起する励起光よりも長い波長を有することもできる。
ここで用いる場合、「蛍光」および「蛍光光」という用語は、生物組織から発する光を記述するために用いられる。蛍光光は、人工分子、例えば、外因性蛍光色素(「蛍光プローブ」または単に「プローブ」とも呼ぶ)、または緑色蛍光蛋白質のような蛍光蛋白質のいずれによってでも発生することができ、あるいは生物組織内に存在するまたは配した自然発生分子によっても発生することができる。内因性自然発生分子によって発生する場合、蛍光光を「自己蛍光光」または「自己蛍光」と呼ぶことができる。
一般に、蛍光光は、蛍光光を励起することができる前述のスペクトル成分を有する励起光に応答して、生物組織において発生する。蛍光光は、単一波長、単一波長帯、1つよりも多い波長、または1つよりも多い波長帯を含むことができる。蛍光光は、約400〜700ナノメートルの可視スペクトル領域における1つ以上の波長を有することができる。しかしながら、蛍光光は、他のスペクトル領域、例えば、近赤外線(NIR)スペクトル領域、または紫外線(UV)スペクトル領域における1つ以上の波長を含むこともできる。
ここで用いる場合、「挿入可能計器」は、被験者の身体内に挿入することができる光学計器を記述するために用いられる。挿入可能計器は、種々の形態をなすことができる。例えば、挿入可能計器は、身体内に挿入する光ファイバ内視鏡とすることができる。別の例では、挿入可能計器は、光ファイバ束を有するカテーテル、カテーテル先端を通じた生検鉗子、生理食塩水、空気等の通過を可能にする1つ以上の「作業チャネル」とすることができる。別の例では、挿入可能計器は、多数の光学レンズが入っている管(ボアスコープ)とすることもできる。一般に、挿入可能計器は、光ファイバ束またはレンズを通じて発光器または受光器に結合されるが、これについては以下で更に詳しく説明する。したがって、挿入可能計器は、被験者内部の光学的視野(view)を提供するシステムの一部となることができる。ここで用いる場合、光ファイバ束の「遠端」とは、挿入可能計器から最も離れた束の端部であり、光ファイバ束の「近端」とは、挿入可能計器に最も近い束の端部である。また、挿入可能計器は、合焦エレメントおよび記録エレメント全体が被験者の内部にあるデバイス、例えば、記録デバイスを合焦エレメントに直接取り付けたハンド・ヘルド・デバイスにも言及することができる。
「撮像計器」という用語は、ここでは、前述の挿入可能計器だけでなく、身体内に挿入しない計器も記述するために用いられる。撮像計器は、光ファイバ束または光送信ガイドの近端に配置する。
ここで用いる場合、「蛍光色素」という用語は、励起光に応答して蛍光光を放出する化合物または分子の一群を記述するために用いられる。有用な蛍光色素は、生物組織上または生物組織内に配置することができ、特定の生物構造の部位、例えば、腫瘍、または特定の生物機能の部位に集中する(またはこれらから発散する)傾向があるものとすることができる。
ここで用いる場合、「蛍光反射撮像」または「FRI」という用語は、生物組織の表面の蛍光撮像、および生物組織の表面の下、即ち、生物組織の内部における蛍光撮像の双方に当てはまる。
以下の論述および例は、生物組織の撮像について記載するが、以下に記載するシステムおよび技法にしたがって、他の物体または材料(material)も撮像することができる。他の物体には、液体、例えば、血液、および気体が含まれるが、これらに限定されるのではない。加えて、構造および製造において用いられる材料の表面は、本願に記載する方法を用いると、定量的蛍光固有性について評価することができる。
以下の論述から明らかになるであろうが、本発明のある態様によれば、撮像システムは、物体、例えば、生物組織の蛍光画像を供給することができ、これらの蛍光画像はリアル・タイムで収集し目視することができる。蛍光画像は、物体に対する撮像計器の距離や角度に関して概ね不変である強度を有することができる。
また、以下の論述から明らかになるであろうが、本発明の別のある態様によれば、撮像システムは、蛍光物質の濃度を定量的に示す(例えば、色によって)物体の画像を供給することができ、これらの画像はリアル・タイムで収集し目視することができる。蛍光物質の濃度の指示(例えば、色)は、物体に対する撮像計器の距離および角度に関して概ね不変とすることができる。このような画像を、ここでは、「定量的」画像と呼ぶ。
これより図1を参照すると、撮像システム10は、光ファイバ14を通じて挿入可能計器11に結合されている受光部12を含むことができる。受光部12は、光ファイバ14から光18を受光するように光学的に結合されている。受光部12は、1つ以上の受光レンズ、例えば、レンズ16を含むことができる。レンズ16は、光ファイバ14と光分割エレメント20との間に光学的に結合されている。光分割エレメント20は、ダイクロイック・ミラーまたはプリズムの形態とすることができるが、これに限定されるのではない。また、受光部12は、光分割エレメント20と光ファイバ26との間に光学的に結合されている別のレンズ24も含むことができる。電荷結合デバイス(CCD)28を光ファイバ26に光学的に結合することができる。更にまた、受光部12は、光分割エレメント20と別の電荷結合デバイス34との間に光学的に結合されている更に別のレンズ32も含むことができる。
尚、電荷結合デバイス28、34は、それぞれ、画像データ36、38を発生するための関連電子回路(図示せず)を有してもよいことは言うまでもない。したがって、CCD28、34をCCDカメラと記述することや、更に一般的に「光検出器」と記述することもできる。特定的な一実施形態では、CCD28は、中間調CCDを有するPixelfly QEカメラであり、CCD34は、カラーCCDを有するPixelfly SVGAカメラであり、これらは各々Kelheim、ドイツ国のPCO AGが製造している。これらの特定的なカメラの各々は、12ビットを有する画像データを発生し、16ビット・データを転送する。
特定的な一実施形態では、レンズ16、24は、それぞれの焦点距離が50ミリメートルのアクロマティック・レンズである。特定的な一実施形態では、光ファイバは、バンド・パス光ファイバであり、通過帯域が、撮像する生物組織から発する蛍光光のスペクトル・ピークを中心とする。
受光部12の動作において、電荷結合デバイス(CCD)28は画像データ36(画素強度値を含むことができる)を発生する。画像データ36は、例えば、蛍光光の画像と関連のある蛍光光画像データとすることができる。動作において、電荷結合デバイス34は画像データ38を発生し、例えば、画像データ38は、励起光の画像と関連のある励起光画像データとすることができる。
受光部12は、撮像プロセッサ40に結合されている。撮像プロセッサ40は、画像データ36と画像データ38とを組み合わせて、「補正」画像データ58を発生するように構成されている。「補正」画像データ58は、撮像しようとする生物組織に対する挿入可能計器11の移動の結果生ずる、少なくとも前述の可変強度に関して補正されている。尚、CCD16、28各々は、それぞれの捕獲時間および露出時間が異なることが可能であることは認められよう。更に、個々の画像の各々は、それぞれの捕獲時間および露出時間が異なることも可能である。したがって、比較が行われる前の中間処理をせずに画像データ36が表す画像を画像データ38が表す画像と直接比較することは、可能でない場合もある。中間処理および画像の比較または合体については、図3、図6、および図6Aに関連付けて以下で説明する。
また、撮像プロセッサ40は、補正画像データ58を表示デバイス60に伝達するように構成されている。補正画像データ58は、実質的に画像データ36、38の発生と同時に、電荷結合デバイス28、34によって発生することができ、その結果、表示デバイス60上にリアル・タイム表示が得られる。
また、撮像プロセッサ40は、1つ以上の別の撮像システムから画像データ62を受信するように構成することができる。別の撮像システムは、磁気共鳴撮像システム、コンピュータ断層撮影システム、x線システム、蛍光撮影システム、またはポジトロン放出断層撮影システムを含むことができるが、これらに限定されるのではない。撮像プロセッサ40は、補正画像データを画像データ62と合体して、合体画像の表示を供給するように構成されている。例えば、合体画像の表示は、画像データ62への補正画像データの重ね合わせ、またはその逆を含むことができる。
更に、撮像システム10は、光ファイバ54を通じて挿入可能計器11に結合されている光発信器42も含むことができる。構成の中には、2本の光ファイバ14、54を1つの光ファイバ束56の中に一緒に配することができる場合もある。構成の中には、光ファイバ14、54の一方または双方を、複数の光ファイバで構成できる場合もある。
更に、撮像システム10は、光ファイバ54を通じて挿入可能計器11に結合されている光発信器42も含むことができる。構成の中には、2本の光ファイバ14、54を1つの光ファイバ束56の中に一緒に配することができる場合もある。構成の中には、光ファイバ14、54の一方または双方を、複数の光ファイバで構成できる場合もある。
特定的な一実施形態では、光ファイバ束56は、CA、IrvineのEdwards LifeSciencesが製造しているような、内部に光ファイバ14を配し、外部に光ファイバ54を配した、直径1.6mmのカテーテルの中にある。このカテーテルは、直径0.9mmの計器チャネル、および約100cmの作業長も有することができる。
光発信器42は、撮像プロセッサ40に光学的に結合されている励起光源46を含むことができる。また、光発信器42は、光ファイバ50も含むことができる。光ファイバ50は、レンズ52と励起光源46との間を光学的に結合することができる。レンズ52は、光ファイバ54に光学的に結合することができる。特定的な一実施形態では、励起光源は、300ワットのキセノン・ランプ(Sunoptics, Jacksonvill, FL)とすることができ、光ファイバ50は、680nm長の通過フィルタ(pass filter)とすることができる。このフィルタは熱出力を減少させ、偽陽性(false-positive)蛍光光信号を減少させるのに役立つ。
受光部12の別の動作において、光ファイバ・ケーブル14から光信号18を受信する。光信号18は、生物組織から反射した励起光と生物組織から発した蛍光光との組み合わせを成分とすることができる。しかしながら、構成の中には、あるときには、励起光源の閃光(strobe)をオンおよびオフさせて、生物組織から反射した励起光と、生物組織から発した蛍光光とで光信号18を形作ることができ、別のときには、励起光源の閃光をオフにして、生物組織から発した蛍光光のみで光信号18を形作ることができる。
光信号18を、光分割エレメント20によって、2つの光信号22、30に分割する。光信号22、30は、光分割デバイス20の特性に応じて、光信号18のスペクトル成分の全てまたは一部のみを有することができる。
光信号22は、光フィルタ26を通過することができ、励起光48によって励起され、特定の波長および/または特定の波長帯を有する蛍光光のみが、電荷結合デバイス28に入射するように、フィルタ処理を行うことができる。したがって、画像データ36は、蛍光光画像を表す。
光信号30は、光フィルタを通過せず、生物組織から反射した励起光48を表し、電荷結合デバイス34に入射する。したがって、画像データ38は、励起光画像を表す。
光送信器42の動作において、励起光源46は、実施形態によっては、励起光画像を取り込んでいる間および蛍光光画像を取り込んでいる間の双方においてオンになるように、励起光48を連続的に発生することができる。しかしながら、他の構成では、励起光源46は、撮像プロセッサ40が供給する制御信号44に応答して間欠的に励起光48を発生することができ、および/または励起光48の強度を、制御信号44に応答して、変化させることができる。構成の中には、励起光画像を取り込んでいる間は励起光源46をオンにし、蛍光光画像を取り込んでいる間はオフにする場合もある。励起光48は、(任意の)光フィルタ50を通過し、その結果、励起光48は選択されたスペクトル特性を有することになる。
光送信器42の動作において、励起光源46は、実施形態によっては、励起光画像を取り込んでいる間および蛍光光画像を取り込んでいる間の双方においてオンになるように、励起光48を連続的に発生することができる。しかしながら、他の構成では、励起光源46は、撮像プロセッサ40が供給する制御信号44に応答して間欠的に励起光48を発生することができ、および/または励起光48の強度を、制御信号44に応答して、変化させることができる。構成の中には、励起光画像を取り込んでいる間は励起光源46をオンにし、蛍光光画像を取り込んでいる間はオフにする場合もある。励起光48は、(任意の)光フィルタ50を通過し、その結果、励起光48は選択されたスペクトル特性を有することになる。
前述したように、励起光48は、コヒーレント光、非コヒーレント光、またはコヒーレントおよび非コヒーレント光の組み合わせとすることができる。励起光48の少なくともスペクトル部分を選択して、生物組織内部において蛍光を励起する。
1つの蛍光光画像を表す画像データ36を発生する1つの光信号22を示しているが、他の光学構成では、更に別の光路も受光部12によって設けることができ、各々が光フィルタ26に相当する、異なるそれぞれの光フィルタを通過するが、各々は異なるそれぞれの追加帯域を有し、各々は、電荷結合デバイス28に相当する、異なるそれぞれの電荷結合デバイスに入射することは理解されてしかるべきである。これらの構成では、画像データ36に相当する複数の画像データを発生することができるが、各画像データは異なる光波長における蛍光光画像を表す。したがって、生物組織の異なる蛍光固有性を同時にまたはリアル・タイムで一度に1つずつ目視することができる。
これより図2を参照すると、撮像プロセッサ100は、図1の撮像プロセッサ40と同一または同様とすることができる。撮像プロセッサ100は、画像対強度マッピング・プロセッサ102を含むことができ、一方、画像対強度マッピング・プロセッサ102は蛍光光(FL)画像取り込みプロセッサ104を含むことができる。
FL画像取り込みプロセッサ104は、例えば、図1の受光部12から画像データ108(図1の画像データ36を参照のこと)を受光部から受けるように構成されている。構成の中には、受光部がカメラの形態をなし、蛍光光に応答する電荷結合デバイス、即ち、蛍光光(FL)カメラを有することを特徴とする場合もある。
FL画像取り込みプロセッサ104は、露出プロセッサ106を含むことができる。露出プロセッサ106は、画像データ108が表す画像の露出を制御するように構成することができる。露出制御については、以下で図3、図5、および図5Aと関連付けて更に説明する。FL画像取り込みプロセッサ104は、相応に露出制御したFL画像データ110aを発生する。これは、蛍光光の露出制御画像を表す。また、FL画像取り込みプロセッサ104は、FL画像データ110aが表す蛍光光の画像の各々と関連のあるそれぞれの露出時間を表す露出時間データ111aをも発生する。
ランダム・アクセス・メモリ(RAM)112は、露出制御FL画像データ110aおよび関連する露出時間データ111aを受け取り、露出制御FL画像データ110bを較正プロセッサ118に供給するように構成されている。また、露出制御FL画像データ110bおよび関連する露出時間データ111bは、保管および後に読み出すために、記憶デバイス116、例えば、ディスク・ドライブにも供給することができる。
較正プロセッサ118は、対象領域(ROI)プロセッサ120を含むことができる。ROIプロセッサ120は、露出制御FL画像データ110bから、露出制御FL画像データ110bが表す画像内における対象領域の中にあるFL画像データを選択するように構成されている。対象領域については、図9および図9Aと関連付けて以下で更に説明する。
また、較正プロセッサ118は、位置合わせ(Reg)プロセッサ122も含むことができる。位置合わせプロセッサ122は、露出制御FL画像データ110bが表す複数のFL画像について、平行移動および回転において位置決めを行い、撮像面において拡縮調整を行うように構成されている。特定的な一実施形態では、位置合わせプロセッサ122は、複数の画像を位置決めするために、6パラメータ・アフィン変換を用いる。
また、較正プロセッサ118は、露出制御FL画像データ110bから自己蛍光信号を除去するように構成された自己蛍光プロセッサも含むことができる。自己蛍光信号の除去については、図6および図6Aと関連付けて以下で更に説明する。
また、画像対強度マッピング・プロセッサ102は、励起光(EL)画像取り込みプロセッサ144も含むことができる。EL画像取り込みプロセッサ144は、受光部から、例えば、図1の受光部12からEL画像データ142(図1の画像データ38を参照のこと)を受け取るように構成されている。構成の中には、受光部がカメラの形態をなし、励起光に応答する電荷結合デバイスを有することを特徴とする、即ち、励起光(EL)カメラである場合もある。
EL画像取り込みプロセッサ144は、露出プロセッサ146を含むことができ、露出プロセッサ146は、EL画像データ142が表す画像の露出を制御するように構成することができる。露出制御については、図3、図5、および図5Aと関連付けて以下で更に説明する。EL画像取り込みプロセッサ144は、相応に露出制御EL画像データ148aを発生する。このデータは、励起光の露出制御画像を表す。また、EL画像取り込みプロセッサ144は、EL画像データ148aが表す励起光の画像の各々と関連があるそれぞれの露出時間を表す露出時間データ149aも発生する。
ランダム・アクセス・メモリ(RAM)112は、更に、露出制御EL画像データ148aおよび関連する露出時間データ149aを受け取り、露出制御EL画像データ148bを較正プロセッサ118に供給するように構成されている。露出制御EL画像データ148bおよび関連する露出時間データ149bは、保管および望ましければ後に読み出すために、記憶デバイス116にも供給することができる。
対象領域(ROI)プロセッサ120は、更に、露出制御EL画像データ148bから、露出制御EL画像データ148bが表す画像内の対象領域の中にあるEL画像データを選択するように構成されている。
位置合わせ(Reg)プロセッサ122は、更に、露出制御EL画像データ148bが表す複数のEL画像について、平行移動および回転において位置決めを行い、撮像面において拡縮調整を行うように構成されている。特定的な一実施形態では、位置合わせプロセッサ122は、複数の画像を位置決めするために、アフィン変換を用いる。EL画像は、前述したFL画像とそのように位置決めすることができる。
較正プロセッサ118は、較正したFL画像データ126および較正したEL画像データ128aを画像補正プロセッサ130に供給する。画像補正プロセッサ130は、露出時間データ111bおよび露出時間データ149bを受け取るようにも構成されており、これらは、それぞれ、露出時間データ111a、149bと同一または同様とすることができる。画像補正プロセッサは、較正FL画像データ126、関連する露出時間データ111b、較正EL画像データ128、および関連する露出時間データ149bを組み合わせ、その結果補正画像データ132が得られる。
実施形態の中には、較正FL画像データ126が中間調FL画像を表し、較正EL画像データ128aがカラーEL画像を表す場合もある。したがって、較正FL画像データを較正EL画像データ128aと合体するためには、画像補正プロセッサは、最初に較正EL画像データ128aを変換して、それが中間調EL画像を表すようにすることができる。例えば、赤−緑−青(RGB)画素強度の1つ以上の集合を合体させると、1つ以上の中間調強度の対応する集合を得ることができる。別の実施形態では、較正EL画像データ128aは、既に中間調EL画像を表しており、したがってカラー対中間調変換を行う必要はない。
補正画像データ132は、撮像しようとする生物組織に対して距離および角度が変動する可能性がある挿入可能撮像計器を用いる従来の撮像システムに伴う、前述の露出不足および露出過剰を少なくとも考慮して補正した蛍光画像を表す。この望ましい画像補正については、図3、図11〜図11C、および図12〜図12Cと関連付けて以下で更に詳しく説明する。
画像拡縮再調整プロセッサ134は、補正画像データを受け取り、再度拡縮調整した画像データ136を供給する。特定的な一構成では、補正画像データ132は、12ビットを有する画像データから成り、拡縮再調整画像データ136は、8ビットを有する画像から成る。しかしながら、他のビット数を用いることもできる。
画像着色プロセッサ138は、中間調FL画像を表す拡縮再調整画像データ136を受け取り、拡縮再調整FL画像データ136に人工的に着色して、人工着色FL画像データ140を供給するように構成されている。画像着色プロセッサ138が行う着色は、種々の方法で提供することができる。例えば、特定的な一実施形態では、画像着色は、拡縮再調整画像データ136の画素中間調強度を、画素強度または画素強度の範囲に応じて所定の色に割り当てるように、予め決められている。
しかしながら、他の実施形態では、画像着色プロセッサ138は、強度対濃度マッピング・プロセッサ162が提供する色マッピング情報166を用いることができる。この構成では、人工着色FL画像データ140は、撮像しようとする生物組織内部における蛍光光発生分子濃度に応じた色を有することができる。このために、強度対濃度マッピング・プロセッサ162は、図8と関連付けて以下で説明するプロセスによって、生物組織の撮像を始める前に、画素強度の濃度に対するマッピングを行うことができる。
また、較正プロセッサ118は、較正EL画像データ128bを他の画像拡縮再調整プロセッサ154に供給することもできる。較正EL画像データ128bは、較正EL画像データ128aと同一または同様とすることができる。画像拡縮再調整プロセッサ154は、画像拡縮再調整プロセッサ134と関連付けて先に説明したのと実質的に同じ方法で動作して、拡縮再調整EL画像データ156を供給する。構成の中には、前述のように、較正EL画像データ128b(および拡縮再調整EL画像データ156)が中間調画像を表す場合もあり、その場合、拡縮再調整画像データは、別の画像着色プロセッサ158が受け取ることができ、画像着色プロセッサ158は強度に応じて偽色(false color)を拡縮再調整画像データ156に供給し、人工着色EL画像データ160を供給することができる。しかしながら、別の構成では、較正EL画像データ128bは、カラー画像を表すことができ、したがって、画像着色プロセッサ158を用いずに、画像拡縮再調整プロセッサ154が着色EL画像データ160aを供給する。
画像合体プロセッサ168は、人工着色FL画像データ140および人工着色EL画像データ160(または着色EL画像データ160a)を受け取ることができ、合体画像データ170を表示デバイス、例えば、図1の表示デバイス60に供給することができる。人工着色FL画像および人工着色(または着色)EL画像は、表示デバイス上でリアル・タイムで、別個の画像としてまたは合体画像、例えば、重複した画像として目視することができる。
構成の中には、画像合体プロセッサ168が他の撮像システム、例えば、磁気共鳴撮像システム、コンピュータ断層撮影システム、x線システム、蛍光撮影システム、またはポジトロン放出断層撮影システムから別の画像データ172を受け取ることもできる場合がある。これらの構成では、人工着色FL画像データ140、人工着色EL画像データ160(または着色EL画像データ160a)、およびその他の画像データ172を合体して、合体画像データ170を供給することができる。これらの構成では、人工着色FL画像、人工着色(または着色)EL画像、およびその他の前述のシステムと関連があるその他の画像は、表示デバイス上でリアル・タイムで、別個の画像としてまたは合体画像、例えば、重複した画像として目視することができる。
尚、図3〜図8は、撮像プロセッサ100(図2)において実施する場合を想定した、以下の技法に対応するフローチャートを示すことは認められてしかるべきである。矩形エレメント(図7ではエレメント354によって代表される)は、ここでは「処理ブロック」と呼ばれ、コンピュータ・ソフトウェア命令または命令の集合体(group)を表す。ひし形エレメント(図7におけるエレメント358に代表される)は、ここでは「判断ブロック」と呼ばれ、処理ブロックが表すコンピュータ・ソフトウェア命令の実行に影響を及ぼす、コンピュータ・ソフトウェア命令または命令の集合体を表す。
あるいは、処理および判断ブロックは、ディジタル信号プロセッサ回路または特定用途集積回路(ASIC)のような機能的に同等の回路が実行するステップを表す。フロー図は、いずれの特定のプログラミング言語の構文を図示するのではない。逆に、フロー図は、当業者が個々の装置に必要な処理を実行するための回路を作成するためまたはコンピュータ・ソフトウェアを発生するために必要となる機能的情報を例示する。尚、ループや変数の初期化や一時的変数の使用というような多くの慣用的プログラム・エレメントは示されていないことを注記しておく。この中で特に指示がなければ、記載するブロックの特定的なシーケンスは例示に過ぎず、本発明の主旨から逸脱することなく様々に変更可能であることは、当業者には認められよう。つまり、特に記述がない限り、以下で説明するブロックは順不同であり、可能であれば、ステップは都合のより順序または望ましい順序であればいずれでも実行することができる。
これより図3を参照すると、方法の一例200はブロック202において開始し、ここで、挿入可能計器、例えば、内視鏡計器を較正する。較正プロセスについては、図4と関連付けて以下で更に説明する。しかしながら、ここでは、ブロック202の較正プロセスは、画像データにおける対象領域(ROI)を特定し、画像データおよび挿入可能計器と関連のある複数の画像チャネル(例えば、励起光および蛍光光チャネル)を空間的に位置決めし、蛍光光チャネルと関連のある自己蛍光レベルを特定することができる。したがって、その後取り込まれる画像を位置決めし、切り取って対象領域におけるデータのみを供給することができ、自己蛍光レベルを減算して、蛍光色素からの蛍光活動を一層高精度化して、その視覚像(view)を供給することができる。
ブロック204〜212は、励起光の画像、例えば、図1の画像データ38が表すEL画像と関連のあるプロセス・ステップを示す。ブロック214〜224は、蛍光光の画像、例えば、図1の画像データ36が表すFL画像と関連のあるプロセス・ステップを示す。ブロック226〜236は、蛍光光の更に別の画像、例えば、ブロック212〜222のそれとは異なる波長で蛍光光を放出する別の蛍光色素と関連のある蛍光光の画像と関連のあるプロセス・ステップを示す。
ブロック204において、初期露出時間を、励起光検出器(例えば、図1のCCD34)に対して選択する。尚、初期露出時間で取り込んだEL画像は、露出過剰、露出不足、または適正露出の場合もあることは言うまでもない。実施形態の中には、適した露出時間の既知の範囲の内中央点に、初期露出時間を選択する場合もある。しかしながら、他の初期露出時間を用いることもできる。
ブロック206において、励起光(EL)画像を取り込み、その結果、EL画像データ、例えば、図1の画像データ38が得られる。
ブロック208において、EL画像(即ち、画像データ)および露出時間を格納する。格納は、ランダム・アクセス・メモリ(RAM)、例えば、図2のRAM112への格納を含むことができる。実施形態によっては、格納が、保管およびその後の読み出しのために、ディスク・ドライブ等、例えば、図2の記憶デバイス116への格納を含むことができる。
ブロック208において、EL画像(即ち、画像データ)および露出時間を格納する。格納は、ランダム・アクセス・メモリ(RAM)、例えば、図2のRAM112への格納を含むことができる。実施形態によっては、格納が、保管およびその後の読み出しのために、ディスク・ドライブ等、例えば、図2の記憶デバイス116への格納を含むことができる。
ブロック210において、ブロック206で取り込んだEL画像データの特性を用いて、次の露出時間を計算する。次の露出時間を確定するのに伴う計算の詳細については、図5および図5Aと関連付けて以下で説明する。一般に、ブロック206において取り込んだEL画像データを調べて、大きなまたは小さなディジタル値である画素値を特定し、それに応じて次の露出時間を調節する。
ブロック212において、EL画像(例えば、EL画像データ)を、ブロック206において取り込んだ画像に応じて供給する。ブロック212のプロセスについては、図7および図7Aと関連付けて以下で更に深く説明する。ブロック212において、EL画像データを拡縮再調整して、例えば、8ビット画像データを供給する。また、所望であれば、所定の強度対色マッピングにしたがって、EL画像に着色することもできる。
プロセス200はブロック204に戻ることができ、ここで、ブロック210で計算した新しい露出時間を用いて、別のEL画像を取り込み、プロセス200は同時にブロック238に進むことができる。
ブロック214において、1つの蛍光光検出器(例えば、図1のCCD28)に対して初期露出時間を選択する。尚、初期露出時間で取り込んだFL画像は、露出過剰、露出不足、または適正露出の場合もあることは言うまでもない。実施形態の中には、適した露出時間の既知の範囲の内中央点に、初期露出時間を選択する場合もある。しかしながら、別の初期露出時間も用いることができる。蛍光光画像に適した露出時間の既知の範囲は、ブロック204において取り込んだ励起光画像に適した露出時間の既知の範囲よりも大幅に長い。何故なら、蛍光光は一般に励起光よりも強度が遥かに小さいからである。
ブロック216において、蛍光光(FL)画像を取り込み、その結果、FL画像データ、例えば、図1の画像データ36が得られる。
ブロック218において、FL画像(画像データ)および露出時間を格納する。格納は、ランダム・アクセス・メモリ(RAM)、例えば、図2のRAM112への格納を含むことができる。実施形態によっては、格納が、保管およびその後の読み出しのために、ディスク・ドライブ等、例えば、図2の記憶デバイス116への格納を含むことができる。
ブロック218において、FL画像(画像データ)および露出時間を格納する。格納は、ランダム・アクセス・メモリ(RAM)、例えば、図2のRAM112への格納を含むことができる。実施形態によっては、格納が、保管およびその後の読み出しのために、ディスク・ドライブ等、例えば、図2の記憶デバイス116への格納を含むことができる。
ブロック220において、ブロック216で取り込んだFL画像データの特性を用いて、次の露出時間を決定する。次の露出時間を確定するのに伴う計算の詳細については、図5および図5Aと関連付けて以下で説明する。一般に、ブロック206において取り込んだFL画像データを調べて、大きなまたは小さなディジタル値である画素値を特定し、それに応じて次の露出時間を調節する。
ブロック222において、FL画像を「補正」する。ブロック222の補正プロセスについては、図3、図6、および図6A、ならびに図11〜図11Cおよび図12〜図12Cとも関連付けて以下で更に深く説明する。しかしながら、一般に、ブロック222の補正では、ブロック206で取り込んだEL画像データをブロック216で取り込んだFL画像データと合体してFL画像を供給することができる。このFL画像は、一般に、挿入可能計器と撮像しようとする生物組織との間の距離に関して、そして挿入可能計器の生物組織に対する角度に関して不変である。補正画像は、画像毎にそして各画素全域においても露出一貫性が改善されている。補正をしなければ、画像の中心の方が縁端よりも明るくなる傾向がある。
前述の補正FL画像は、リアル・タイムで(または非リアル・タイムで)取り込んだ画像の収集におけるいずれの画像における対象領域の信号強度でも定量的に測定するために用いることができる。以下で図11〜図11Cおよび図12〜図12Cと関連付けて示すが、補正FL画像は挿入可能計器の生物組織に対する距離および角度に対して信号強度が概ね不変であるので、リアル・タイム(または非リアル・タイム)で取り込んだ補正画像を組み合わせて用いれば、挿入可能計器を身体内で移動させるに連れて、画像強度あるいは、実施形態によっては、蛍光プローブ(fluorescent probe)の定量的濃度を定量的に図示するリアル・タイムで連続動的画像表示が得られる。
ブロック224において、ブロック222において発生した補正FL画像に応じて、補正FL画像(FL画像データ)を供給する。ブロック224のプロセスについては、図7および図7Aと関連付けて以下で更に深く説明する。ブロック224において、所望であれば、FL画像データを拡縮再調整して、例えば、8ビット画像データを供給することができる。また、所定の強度対色マッピングに応じて、FL画像に着色することができ、あるいは生物組織における蛍光色素分子または自己蛍光発生分子の濃度に応じて着色することができる。蛍光色素分子または自己蛍光発生分子の濃度に応じた画像着色に至るプロセスについては、図8と関連付けて以下で更に深く説明する。
プロセス200はブロック214に戻ることができ、ここで、ブロック220で計算した新しい露出時間を用いて別のFL画像を取り込み、プロセス200は同時にブロック238に進むことができる。
ブロック226〜236は、プロセス・ブロック214〜224と実質的に同じプロセス・ブロックを記述するが、図1の受光部12における異なるFL画像チャネル(図示せず)において、例えば、異なる蛍光色素または自己蛍光スペクトルの異なる部分と関連がある異なる蛍光波長で取り込んだ異なるFL画像に合わせている。このため、ブロック226〜236については、これ以上説明しない。
ブロック238において、ELおよびFL画像を合体して、ブロック240において合体表示を供給することができる。合体表示は、別個のELおよびFL画像、または合体したELおよびFL画像、例えば、重ね合わせた画像を含むことができる。構成によっては、図2と関連付けて先に説明したように、他の形式の撮像システムから画像データを受け取ることができ、他の画像データをELおよびFL画像と合体することもできる。
これより図4を参照すると、プロセス250は図3のブロック202によって記述したプロセスと同一または同様とすることができる。ステップ252において、既知のターゲットを撮像し、対応する画像データを収集する。画像データは、複数の撮像チャネルから収集する。例えば、図1の画像データ36および38を収集する。画像データは、受光部(例えば、図1の受光部12)の各チャネルの最大視野(FOV:full field of view)に対応する画素データを含む。しかしながら、各画像のFOVの一部のみを対象としてもよい。ブロック254において、FOVの一部(即ち、対象領域(ROI))を選択する。ROIは、ブロック252において収集した各画像の画像データの一部に対応する。
ブロック256において、ブロック252で収集した画像のROIを位置決めして、位置決め情報を供給する。位置決めは種々の方法で行うことができる。特定的な一実施形態では、位置決めはアフィン変換によって行う。別の実施形態では、位置決めは手作業で行う。
ROIおよび位置決め情報は、図3のプロセスにおいて後続の画像を収集するときに用いることができ、その結果得られる較正画像は、位置決めされており、図1の受光部12の異なる光チャネルに対して同じROIを有する。このようにして、いずれの数の光チャネルでも較正することができる。
ブロック258において、蛍光光チャネルの1つ以上において、自己蛍光信号レベルを特定することができる。例えば、ブロック252において撮像した既知のターゲットは、後から撮像した生物組織のそれと同一または同様の自己蛍光を有する生物組織である可能性がある。自己蛍光レベルを、後から取り込んだFL画像から減算することができ、取り込んだ画像は、蛍光光に、自己蛍光に伴う光を合わせた画像となる。
これより図5および図5Aを参照すると、プロセス270および280は、図3のプロセス・ブロック210、220、232において次の露出時間を計算するために用いることができる代替プロセスを表す。
最初に図5を参照すると、プロセス270はブロック272において開始し、最大画素強度値、即ち、例えば、図3のブロック206において取り込んだ画像の対象領域において、最大光強度を表す画素値を特定する。ブロック274において、最大画素値を以前の露出時間と合体して、次の露出時間を得る。
次の画像に対する新しい露出時間は、以下のようにして計算することができる。画像強度が既に定められている設定点Sに近づくように、露出時間を調節する。式(1)は、新しい露出時間を決定することができるアルゴリズムを記述する。
ここで、newは次の露出時間、oldは直前の露出時間、Pは取り込んだ画像の画像強度の尺度、そしてSは設定点である。Pの値は、ブロック272において特定した最大画素値の値、または最大画素値の所定の端数とすることができる。
露出時間が最小値、例えば、100μsを絶対に下回らず、最大値、例えば、290msを超過しないことを確保するために、限度を確定することができる。更に、新しい露出時間は、過剰な変動を防止するために、直前の露出時間の30%以内に抑制することもできる。しかしながら、この制約は比較的高速のカメラを用いるときに希に必要となるに過ぎない。何故なら、最も極端な(そして人工的に作成した)場合を除いて、殆どの露出時間の調節は、挿入可能計器の非常に素早い移動があっても、直前の露出時間の20%以内であることが分かっているからである。
これより図5Aを参照すると、プロセス280はブロック282において開始し、ここで、取り込み画像のROIにおける画素強度値のヒストグラムを作成する。ブロック282において、ヒストグラム面積割合値(percentage-of-histogram-area value)を選択する。例えば、ヒストグラム面積割合値は、約95パーセントとすることができる。有用なヒストグラム面積割合値の範囲は、約25パーセント〜100パーセントである。
ブロック286において、ブロック284で選択したヒストグラム面積割合値に応じて、実際の画素強度値を特定する。例えば、画素強度値の95%が8ビット・ディジタル値の227よりも低い場合、ブロック286において値227を特定する。
ブロック288において、特定した画素値を、以前の露出時間と組み合わせて、次の露出時間を求める。組み合わせは、式(1)と関連付けて先に説明したのと全く同じ方法で行うことができる。しかしながら、この場合の値Pは、ブロック286にしたがって特定した画素値とすることができる。
これより図6を参照すると、画像補正プロセス300は、図3のブロック222、234のプロセスと同一または同様とすることができる。プロセス300は、蛍光画像を「収集」するために用いられる。
一般に、前述のように、挿入可能計器を有するカテーテルまたは内視鏡に基づくシステムによって行われる生体内進入は、カメラから生物組織までの距離が一定である固定システムと比較すると、ダイナミック・レンジが減少する傾向がある。挿入可能計器を有するシステムは、挿入可能計器が撮像しようとする生物組織に近づくに連れて、過度に明るい画像を生成する傾向があり、挿入可能計器を生物組織から遠ざけるに連れて過度に暗い画像を生成する傾向がある。挿入可能計器から生物組織までの距離を連続的に変化させると、画像データは、蛍光色素の濃度が一定であっても、強度が何桁も変動する可能性がある。例えば、図3のブロック204〜212、214〜224、および226〜236によって設けられる、フレーム毎のリアル・タイム露出調節は、それを行わない場合には大きく変動する、画像の強度を画像毎に等化するのに役立つ。しかしながら、フレーム毎の露出時間調節によって得られる画像は、容易に比較や合体ができないことが多い。何故なら、画像は大きく異なる露出時間の結果である可能性があるからである。したがって、プロセス300は、強度一致が改善されている画像を供給することができるだけでなく、比較および/または合体を行うことができる画像も供給することができる。
プロセス300は、ブロック302において開始し、ここで、図3のブロック206において取り込んだ励起光画像がカラー画像である場合、このカラー画像を中間調画像に変換する。周知のように、CCDカラー・カメラは、精巧なディジタル・カメラおよび消費者用ディジタル・カメラ双方共、画像を中間調で捕獲する。中間調画像は、いわゆるバイエル・アルゴリズムを用いて、カメラによってカラー化することができる。カラー画像を中間調画像に変換するには、種々の技法を採用することができる。これらの技法には、各画素において赤、緑、および青(RGB)値の平均を取って、中間調画像において用いられる中間調画素強度を計算することを含むが、これに限定されるのではない。一般に、種々の方法の1つによってRGB画素値を組み合わせて、中間調値を求めることは明白である。
ブロック304において、暗い画像(即ち、励起および蛍光光がないときに収集した背景ノイズ画像)は、任意に、取り込んだEL画像から減算することができる。
ブロック306において、EL画像の個々の画素強度値を、EL画像を取り込んだときの露出時間(例えば、図1の信号126、111bを参照)で除算して、EL画像と関連のある、いわゆる秒毎EL強度値を求める。しかしながら、他の実施形態では、EL画像における個々の画素強度値を、何らかの他の方法で、関連する露出時間と組み合わせる。
ブロック306において、EL画像の個々の画素強度値を、EL画像を取り込んだときの露出時間(例えば、図1の信号126、111bを参照)で除算して、EL画像と関連のある、いわゆる秒毎EL強度値を求める。しかしながら、他の実施形態では、EL画像における個々の画素強度値を、何らかの他の方法で、関連する露出時間と組み合わせる。
ブロック308において、暗い画像(即ち、励起および蛍光光がないときに収集した背景ノイズ画像)は、任意に、取り込んだFL画像、例えば、図3のブロック216において取り込んだFL画像から減算することができる。任意に、自己蛍光信号、例えば、較正プロセス中に図4のブロック258において特定した自己蛍光信号も、取り込んだFL画像から減算することができる。
ブロック310において、FL画像における個々の画素強度値を、FL画像を取り込んだときの露出時間(例えば、図1の信号128、149bを参照のこと)で除算して、FL画像と関連のある秒毎FL強度値を求める。しかしながら、他の実施形態では、FL画像における個々の画素強度値を、何らかの他の方法で、関連する露出時間と組み合わせる。
尚、画像毎に、画像(暗い画像を差し引いた)の画素強度値をそれぞれの露出時間で除算することにより、得られる画像データは、露出時間とは独立して、いわゆる秒毎強度単位となる。したがって、秒毎強度画像データは、異なる画像からの画素強度値(即ち、画像)を比較および/または合体するために用いることができる。
また、秒毎強度値の使用により、ダイナミック・レンジが大幅に広がる結果が得られる。例えば、 12ビット・システムの生画像強度値の範囲は0〜212であるのに対して、秒毎強度画像データは、可能な露出時間(例えば、約100μs〜290ms、即ち、218まで)で除算した、0〜212までのいずれの値でも取ることができる。この結果、230までの値が可能となり、事実上30ビットのダイナミック・レンジが得られる。この精度は、殆どの医療用撮像システムよりも遥かに高く、多数のチャネルの各々に独立して適用することができる。
ブロック312において、秒毎FL強度値を毎秒EL強度値と組み合わせて、例えば、これで除算して、補正FL画像値、即ち、補正画像を求める。秒毎FLおよびEL強度値の組み合わせを除算と記述したが、他の実施形態では、秒毎FLおよびEL強度値を異なる方法で組み合わせることができる。
尚、図11〜図11Cおよび図12〜図12Cと関連付けて、前述の補正プロセスの結果得られる補正画像の強度は、挿入可能計器の撮像しようとする生物組織からの距離に関して、そして挿入可能計器の生物組織に対する角度に関して、概ね不変であることが理解されよう。本質的には、以下で更に説明するが、秒毎FLおよびEL画像値は双方とも同様の距離および角度依存性を有するので、秒毎FLおよびEL画像値の比率(即ち、補正FL画像、例えば、図3のブロック222および234を参照のこと)から得られる画像は、一般に、挿入可能計器の生物組織に対する距離および角度に関して不変である。したがって、リアル・タイムで連続して補正FL画像を取り込めば、FL画像強度のリアル・タイム表示を提供することができ、以下で更に説明する実施形態の中には、定量的蛍光プローブ濃度のリアル・タイム表示を提供することができる。
これより図6Aを参照すると、別の画像補正プロセス320は、図3のブロック222、234のプロセスと同一または同様とすることができる。プロセス320は、特に、挿入可能計器を拡散媒体内、例えば、血液で満たされた血管の中にあるときに有用である。プロセス320の有用性は、図13〜図13Bと関連付けた論述において、一層明らかとなろう。
プロセス320は、1つの蛍光撮像チャネルのみを示す図1とは異なり、2つの蛍光撮像チャネルを伴うので、その結果画像データ36が得られる。しかしながら、前述のように、図1の受光部12と同様の受光部は、1つよりも多い蛍光撮像チャネルを有することができ、1つよりも多いFL画像データを供給することができる。以下で用いる命名法では、第1蛍光画像およびそれと関連のある画像データをFL#1で示し、第2蛍光画像およびそれと関連のある画像データをFL#2で示すこととする。
ブロック322において、暗い画像(即ち、励起および蛍光光がないときに収集した背景ノイズ画像)は、任意に、第1取り込みFL画像FL#1、例えば、図3のブロック216において取り込んだFL画像から減算することができる。任意に、自己蛍光信号、例えば、較正プロセス中に図4のブロック258において特定した自己蛍光信号も、取り込んだFL#1画像から減算することができる。
ブロック324において、FL#1画像における個々の画素強度値を、FL#1画像を取り込んだときの露出時間(例えば、図1の信号128、149bを参照のこと)で除算して、FL#1画像と関連のある秒毎FL#1強度値を求める。しかしながら、他の実施形態では、FL#1画像における個々の画素強度値を、何らかの他の方法で、関連する露出時間と組み合わせる。
ブロック326において、暗い画像(即ち、励起および蛍光光がないときに収集した背景ノイズ画像)は、任意に、第2取り込みEL画像FL#2、例えば、図3のブロック228において取り込んだFL画像から減算することができる。任意に、自己蛍光信号、例えば、較正プロセス中に図4のブロック258において特定した自己蛍光信号も、取り込んだFL#2画像から減算することができる。
ブロック328において、FL#2画像における個々の画素強度値を、FL#2画像を取り込んだときの露出時間(例えば、図1の信号128、149bを参照のこと)で除算して、FL#2画像と関連のある秒毎FL#2強度値を求める。しかしながら、他の実施形態では、FL#2画像における個々の画素強度値を、何らかの他の方法で、関連する露出時間と組み合わせる。
ブロック330において、秒毎FL#2強度値を、秒毎FL#1強度値と組み合わせて、例えば、これによって除算して、補正FL画像値、即ち、補正FL画像を求める。尚、図11〜図11Cおよび図12〜図12Cと関連付けた論述から、前述の補正プロセスの結果得られる補正画像の強度は、挿入可能計器の撮像しようとする生物組織からの距離に関して、そして挿入可能計器の生物組織に対する角度に関して、概ね不変であることが理解されよう。また、図13〜図13Bと関連付けた論述から、2つの蛍光チャネルを用いるこのプロセスによって、光吸収媒体、例えば、血液がある場合でも、高品質の画像を発生する能力が得られることは明白であろう。本質的には、以下で更に説明するが、秒毎FL#2およびFL#1画像値は双方とも同様の距離および角度依存性を有するので、秒毎FL#2およびFL#1画像値の比率(即ち、補正FL画像、例えば、図3のブロック222および234を参照のこと)から得られる画像は、ある分量の光吸収媒体を介した生物組織に対する挿入可能計器の距離および角度に関して概ね不変である。
これより図7および図7Aを参照すると、プロセス350および370は、図3のプロセス・ブロック212、224、236において8ビット画像データを供給するために用いることができる代替プロセスを表す。
最初に図7を参照すると、プロセス270はブロック352において開始し、ここで8ビット画像を発生することができる。ブロック354において、取り込み画像、例えば、図3のブロック206、216、または228において取り込んだ画像の対象領域(ROI)の中で最大の画素値を特定する。取り込み画像データは、画素当たりいくつのビットでも有することができ、例えば、画素毎に12ビットを有することができる。
ブロック356において、ブロック354で特定した最大画素値に応じて、取り込み画像データを画素当たり異なるビット数に変換することができる。
画像は、例えば、12ビットから、コンピュータ・モニタ上に表示するための8ビット画像データに拡縮調整することができる。式(2)は、この拡縮再調整を遂行するために用いることができる関係を記述する。
画像は、例えば、12ビットから、コンピュータ・モニタ上に表示するための8ビット画像データに拡縮調整することができる。式(2)は、この拡縮再調整を遂行するために用いることができる関係を記述する。
ここで、pixel'は、元の12ビット画像データ値pixelを拡縮再調整した8ビット画像データ値であり、Pはブロック354において特定した最大画素値に応じた12ビット画素値である。
ブロック358において、取り込み画像が、有色画像でもよい励起光(EL)画像である場合、プロセスは終了する。しかしながら、取り込み画像がEL画像ではなく、代わりに有色でない蛍光光(FL)画像である場合、プロセスはブロック360に進む。ブロック360において、非有色FL画像に着色することができる。実施形態によっては、着色は任意にすることができ、その場合画素強度値のそれぞれの範囲に、任意の色を割り当てる。別の実施形態では、ブロック360において適用する色は、図8と関連付けて以下で説明するプロセスによって、画素強度値のマッピングにしたがって適用する。
取り込みEL画像が着色されていない実施形態では、判断ブロック358を無視して、プロセスは360に移り、ここでEL画像に着色する。
これより図7Aを参照すると、プロセス370はブロック372において開始し、ここで、8ビット画像を発生することができる。ブロック374において、取り込み画像、例えば、図3のブロック206、216、または228において取り込んだ画像のROIにおける画素強度値のヒストグラムを作成する。取り込み画像データは、画素当たりいずれのビット数でも有することができ、例えば、画素当たり12ビットを有することができる。
これより図7Aを参照すると、プロセス370はブロック372において開始し、ここで、8ビット画像を発生することができる。ブロック374において、取り込み画像、例えば、図3のブロック206、216、または228において取り込んだ画像のROIにおける画素強度値のヒストグラムを作成する。取り込み画像データは、画素当たりいずれのビット数でも有することができ、例えば、画素当たり12ビットを有することができる。
ブロック374において、ヒストグラム面積割合値を選択する。例えば、ヒストグラム面積割合値は、約95パーセントとすることができる。有用なヒストグラム面積割合値の範囲は、約25パーセント〜100パーセントである。
ブロック378において、ブロック376で選択したヒストグラム面積割合値に応じて、実際の画素強度値を特定する。例えば、画素強度値の95%が12ビット・ディジタル値の4003よりも低い場合、ブロック378において値4003を特定する。
ブロック380において、ブロック378において特定した画素値に応じて、取り込み画像データを画素毎に異なるビット数に変換することができる。変換は、式(2)において先に記述した関係を用いることができるが、値Pはブロック378において特定した画素強度値とすることができる。
ブロック382において、取り込み画像が、有色画像でもよい励起光(EL)画像である場合、プロセスは終了する。しかしながら、取り込み画像がEL画像ではなく、代わりに有色でない蛍光光(FL)画像である場合、プロセスはブロック384に進む。ブロック384において、非有色FL画像に着色することができる。実施形態によっては、着色は所定の強度対色マッピングに応じて発生することができ、その場合画素強度値のそれぞれの範囲に、任意の色を割り当てる。別の実施形態では、ブロック384において適用する色は、図8に表すプロセスによって、画素強度値のマッピングにしたがって適用する。
取り込みEL画像が着色されていない実施形態では、判断ブロック382を無視して、プロセスは384に移り、ここでEL画像に着色する。
これより図8を参照すると、画素強度値の分子濃度に対するマップを発生するプロセス400は、ブロック402において開始する。ブロック402および406〜414は、図3のブロック202および214〜222と同一または同様とすることができ、したがって、再度の説明は行わない。
これより図8を参照すると、画素強度値の分子濃度に対するマップを発生するプロセス400は、ブロック402において開始する。ブロック402および406〜414は、図3のブロック202および214〜222と同一または同様とすることができ、したがって、再度の説明は行わない。
ブロック404において、既知の濃度の蛍光発生分子を有する検査サンプル、例えば、既知の濃度の蛍光色素分子を選択する。ブロック406〜414のプロセスによって、補正FL画像を表す補正FL画像データが得られる。先に説明したように、補正FL画像は、未補正FL画像に適用する種々の処理を有する。例えば、図3のブロック222ならびに図6および図6Aのプロセス300および320と関連付けて先に説明したように、ブロック412を経由して補正FL画像の強度を制御し、ブロック414においてFL画像をEL画像と合体する。更に、ブロック402の較正情報から、対象領域において形成される補正画像が得られ、他の画像との位置決めが行われる。
ブロック416において、画像画素強度値を特定し、ブロック404において選択したサンプルにおける分子濃度に関して相関付ける、即ち、マッピングする。
ブロック418において、ブロック404のサンプルが最後のサンプルである場合、プロセスは終了する。しかしながら、次のサンプル(マッピングすべき別の分子濃度)がある場合、ブロック420において次の濃度を選択し、プロセス400はブロック404に戻り、既知の次の分子濃度を有するサンプルを選択する。
ブロック418において、ブロック404のサンプルが最後のサンプルである場合、プロセスは終了する。しかしながら、次のサンプル(マッピングすべき別の分子濃度)がある場合、ブロック420において次の濃度を選択し、プロセス400はブロック404に戻り、既知の次の分子濃度を有するサンプルを選択する。
これより図9および図9Aを参照すると、画像450および460は、図4のブロックと関連付けて先に説明したように視野(FOV)を形成(implement)するプロセスを表す。画像450は、可視エリアの中央部分でないと見ることができないことがわかる。マスク460は種々の方法で特定することができる。例えば、マスク460は、所定値よりも大きな画像450における画素値(即ち、可視)に対応する連続円領域における第1領域(黒で表す)を成分とすることができる。このマスクは、他のいずれの場所の第2の値を成分とすることもできる。マスクは、格納しておき、後続して取り込む画像全て、例えば、図3のブロック206、216、および228において取り込む画像に適用することができる。
これより図10を参照すると、グラフ480はミリ秒を単位とする露出時間を横軸メモリに有し、任意単位の画素強度値を縦軸に有する。曲線482は、露出時間と励起光画像に対する強度値(ROI内における強度値の平均)との間にある測定関係を表す。
尚、画素強度値と露出時間との間の関係は比較的線形であることが認識されよう。また、露出時間は、照明強度に応じて、比較的短い時間から比較的長い時間まで変化する可能性があることも認められよう。多くの場合、生物系では、反射EL露出時間は、収集蛍光光露出時間よりも遥かに短い。しかしながら、FL画像を収集するためには、励起光源の強度を高くして用いると、露出時間を短縮することができる。これは、図10Aから明らかである。
これより図10Aを参照すると、グラフ500は、ミリ秒を単位とする露出時間を横軸メモリに有し、任意単位の画素強度値を縦軸に有する。曲線502は、露出時間と励起光画像に対する強度値(ROI内における強度値の平均)との間にある測定関係を表す。
尚、画素強度値と露出時間との間の関係は比較的線形であることが認識されよう。
図11〜図11Cは、 図6と関連付けて先に説明したFL画像補正のプロセス、および結果的に得られた画像に対する挿入可能計器の距離の影響を示す。
図11〜図11Cは、 図6と関連付けて先に説明したFL画像補正のプロセス、および結果的に得られた画像に対する挿入可能計器の距離の影響を示す。
最初に図11を参照すると、絵図520は、複数の光ファイバを有する挿入可能計器522を示す。光ファイバの内、光ファイバ5224は一例に過ぎず、光ファイバ・ケーブルまたは光ファイバ束の外部周囲に配されている。複数の光ファイバは、励起光を透過させるように構成されている。挿入可能計器522の中心にある別の光ファイバ526は、励起および蛍光光を受光するように構成されている。
サンプル530は、図9および図9Aに示したプロセスによって特定され、対象領域(ROI)530を有し、均一な蛍光色素濃度を有する。実験的使用では、挿入可能計器522は、ROI532に対して種々の距離528に位置付けることができる。20、10、5、および1ミクロモルの蛍光色素濃度を、以下に説明する測定に用いる。
挿入可能計器は、光送信器および受光部、例えば、図1の光送信器42および図1の受光部12に結合することができる。前述のように、受光部12は、ROI532のEL画像を表すEL画像データ38およびROI532のFL画像を表すFL画像データ36を供給することができる。
これより図11Aを参照すると、グラフ540はミリメートルを単位とする距離(図11の528)を有する横軸を含む。また、グラフ540は、秒毎のカウントを単位とする画素強度を有する縦軸も含む。これは、図6と関連付けて先に説明した秒毎強度値と等価である。尚、秒毎強度値を得るためには、画像データ値を画像と関連のある露出時間値で除算するか、またはそれ以外で画像と関連のある露出時間値と組み合わせることが、図6から理解できるはずである。
第1曲線542は、図11のROI532の画像を表す測定EL画像データ値(即ち、画素強度値)を示す。即ち、1ミクロモルの蛍光色素濃度に対して、ROI532から1、2、3、4、および5ミリメートルの距離に図11の挿入可能計器522があるときの、ROI532における平均秒毎強度画素値を示す。第2曲線544は、図11のROI532の画像を表す測定EL画像データ値を示す。即ち、5ミクロモルの蛍光色素濃度に対して、ROI532から1、2、3、4、および5ミリメートルの距離に図11の挿入可能計器522があるときの、ROI532における平均秒毎強度画素値を示す。第3曲線546は、図11のROI532の画像を表す測定EL画像データ値を示す。即ち、10ミクロモルの蛍光色素濃度に対して、ROI532から1、2、3、4、および5ミリメートルの距離に図11の挿入可能計器522があるときの、ROI532における平均秒毎強度画素値を示す。第4曲線548は、図11のROI532の画像を表す測定EL画像データ値を示す。即ち、20ミクロモルの蛍光色素濃度に対して、ROI532から1、2、3、4、および5ミリメートルの距離に図11の挿入可能計器522があるときの、ROI532における平均秒毎強度画素値を示す。
尚、曲線542〜548は、挿入可能計器522とROI532との間の距離が増大するに連れて減少するEL画像強度を示す傾きを有し、距離の二乗に比例する光の発散を示すことがわかる。この効果によって、挿入可能計器を身体内であちこちに移動させたときに、先行技術の撮像システムにおいて用いられる挿入可能計器であっても、更に補正することなく、高強度可変EL画像を得ることができる。
これより図11Bを参照すると、グラフ560は、ミリメートルを単位とする距離(図11の528)を有する横軸を含む。また、グラフ560は、ミリ秒毎のカウントを単位とする画素強度を有する縦軸も含む。これは、図6と関連付けて先に説明した秒毎強度値と等価である。
第1曲線562は、図11のROI532の画像を表す測定FL画像データ値を示す。即ち、1ミクロモルの蛍光色素濃度に対して、ROI532から1、2、3、4、および5ミリメートルの距離に図11の挿入可能計器522があるときの、ROI532における平均秒毎強度画素値を示す。第2曲線564は、図11のROI532の画像を表す測定FL画像データ値を示す。即ち、5ミクロモルの蛍光色素濃度に対して、ROI532から1、2、3、4、および5ミリメートルの距離に図11の挿入可能計器522があるときの、ROI532における平均秒毎強度画素値を示す。第3曲線566は、図11のROI532の画像を表す測定FL画像データ値を示す。即ち、10ミクロモルの蛍光色素濃度に対して、ROI532から1、2、3、4、および5ミリメートルの距離に図11の挿入可能計器522があるときの、ROI532における平均秒毎強度画素値を示す。第4曲線568は、図11のROI532の画像を表す測定FL画像データ値を示す。即ち、20ミクロモルの蛍光色素濃度に対して、ROI532から1、2、3、4、および5ミリメートルの距離に図11の挿入可能計器522があるときの、ROI532における平均秒毎強度画素値を示す。
尚、曲線562〜568は、挿入可能計器522とROI532との間の距離が増大するに連れて減少するFL画像強度を示す傾きを有し、距離の二乗に比例する光の発散を示すことがわかる。この効果によって、挿入可能計器を身体内であちこちに移動させたときに、先行技術の撮像システムにおいて用いられる挿入可能計器であっても、更に補正することなく、高強度可変EL画像を得ることができる。
これより図11Cを参照すると、グラフ580は、ミリメートルを単位とする距離(図11の528)を有する横軸を含む。また、グラフ540は、無次元単位の画素強度を有する縦軸も含む。
第1曲線582は、図11B(FL画像)の曲線562を図11A(即ち、EL画像)の曲線542で除算することによって発生する。同様に、第2曲線584は、図11Bの曲線564を図11Aの曲線544で除算することによって発生する。第3曲線586は、図11Bの曲線566を図11Aの曲線546によって除算することによって発生する。第4曲線588は、図11Bの曲線568を図11Aの曲線548によって除算することによって発生する。
第1曲線582は、1ミクロモルの蛍光色素濃度に対して、図11の挿入可能計器522がROI532から1、2、3、4、および5ミリメートルの距離にあるときの、図1のROI532における最大画素強度を表す補正FL画像データ値を示す。第2曲線584は、5ミクロモルの蛍光色素濃度に対して、図11の挿入可能計器522がROI532から1、2、3、4、および5ミリメートルの距離にあるときの、図1のROI532における最大画素強度を表す補正FL画像データ値を示す。第3曲線586は、10ミクロモルの蛍光色素濃度に対して、図11の挿入可能計器522がROI532から1、2、3、4、および5ミリメートルの距離にあるときの、図1のROI532における最大画素強度を表す補正FL画像データ値を示す。第4曲線588は、20ミクロモルの蛍光色素濃度に対して、図11の挿入可能計器522がROI532から1、2、3、4、および5ミリメートルの距離にあるときの、図1のROI532における最大画素強度を表す補正FL画像データ値を示す。
尚、曲線582〜588は、図11Aの未補正曲線544〜548よりも一層ほぼ平坦であることがわかる。曲線582〜588は、前述の技法による補正画像を示し、これらは挿入可能計器522からROI532までの距離(図11の528)には関係なく実質的に同じ強度を有する。しかしながら、曲線582〜588間の差から、補正FL画像における画素強度は蛍光色素濃度を示すことには変わりがないことは、認識されてしかるべきである。つまり、この補正アルゴリズムは、異なる蛍光色素濃度に対応する曲線を離散帯域に分離することができるが、未補正曲線(図11Aおよび図11B)は互いに素早く混合する。
図12〜図12Cは、図6と関連付けて先に説明したFL画像補正のプロセスと、得られた画像に対する挿入可能計器の角度の影響を図で示す。
最初に図12を参照すると、絵図600は、複数の光ファイバを有する挿入可能計器602を示す。光ファイバの内、光ファイバ604は一例に過ぎず、光ファイバ・ケーブルまたは光ファイバ束の外部周囲に配されている。複数の光ファイバは、励起光を透過させるように構成されている。挿入可能計器602の中心にある別の光ファイバ606は、受光するように構成されている。
最初に図12を参照すると、絵図600は、複数の光ファイバを有する挿入可能計器602を示す。光ファイバの内、光ファイバ604は一例に過ぎず、光ファイバ・ケーブルまたは光ファイバ束の外部周囲に配されている。複数の光ファイバは、励起光を透過させるように構成されている。挿入可能計器602の中心にある別の光ファイバ606は、受光するように構成されている。
視野(FOV)610は、均一濃度の蛍光色素を含み、画像幅612を有する。実験的使用では、挿入可能計器602は、FOV610に対して種々の角度608、ここでは、40度、60度、75度、および90度に位置付けることができる。
挿入可能計器は、光送信器および受光部、例えば、図1の光送信器42および図1の受光部12に結合することができる。前述のように、受光部12は、FOV610の画像を表す画像データ38およびFOV610のFL画像を表す画像データ36を供給することができる。
これより図12Aを参照すると、三次元グラフ620は、電荷結合デバイス、例えば、励起光の画像を表すEL画像データ38を発生するために用いられる図1の電荷結合デバイス34と関連のある画素単位で画像幅を有する第1軸622を含む。また、グラフ620は、度を単位とする角度を有する第2軸624も含み、角度は図12の角度608に対応する。また、グラフ620は、秒毎のカウントを単位とする画素強度を有する第3軸626も含む。これは、図6と関連付けて先に説明した、前述の秒毎強度値と等価である。尚、秒毎強度値を得るためには、画像データ値を画像と関連のある露出時間値で除算するか、またはそれ以外で画像と関連のある露出時間値と組み合わせることが、図6から理解できるはずである。
第1曲線628は、図1の挿入可能計器602がFOV610に対して90度の角度をなすときの、図12のFOV610上において軸に沿った画像を表す測定EL画像データ値を示す。FOV610の中心付近の画素が最も高い強度を有することがわかる。
第2曲線630は、図1の挿入可能計器602がFOV610に対して75度の角度をなすときの、図12のFOV610上において軸に沿ったEL画像を表す測定EL画像データ値を示す。第3曲線632は、図1の挿入可能計器602がFOV610に対して60度の角度をなすときの、図12のFOV610上において軸に沿ったEL画像を表す測定EL画像データ値を示す。第4曲線634は、図1の挿入可能計器602がFOV610に対して45度の角度をなすときの、図12のFOV610上において軸に沿ったEL画像を表す測定EL画像データ値を示す。
FOV610の中心を、図12Aにおける線636で示す。線638は、曲線628〜634のピークを通過する。線638の線636からの逸脱は、挿入可能計器602のFOV610に対する角度が一層かすめる(grazing)程、EL画像のピーク・マグニチュード(即ち、強度)は右に移動することを示す。更に、画素強度は、いずれの角度において、FOV610全域で大きく変動することもわかる。
これより図12Bを参照すると、三次元グラフ640は、電荷結合デバイス、例えば、励起光の画像を表すEL画像データ36を発生するために用いられる図1の電荷結合デバイス28と関連のある画素単位で画像幅を有する第1軸642を含む。また、グラフ640は、度を単位とする角度を有する第2軸644も含み、角度は図12の角度608に対応する。また、グラフ640は、秒毎のカウントを単位とする画素強度を有する第3軸646も含む。これは、図6と関連付けて先に説明した、前述の秒毎強度値と等価である。
第1曲線648は、図1の挿入可能計器602がFOV610に対して90度の角度をなすときの、図12のFOV610上の軸に沿ったFL画像を表す測定FL画像データ値を示す。FOV610の中心付近の画素が最も高い強度を有することがわかる。
第2曲線650は、図1の挿入可能計器602がFOV610に対して75度の角度をなすときの、図12のFOV610上の軸に沿ったFL画像を表す測定FL画像データ値を示す。第3曲線652は、図1の挿入可能計器602がFOV610に対して60度の角度をなすときの、図12のFOV610上の軸に沿ったFL画像を表す測定FL画像データ値を示す。第4曲線654は、図1の挿入可能計器602がFOV610に対して45度の角度をなすときの、図12のFOV610上の軸に沿ったFL画像を表す測定FL画像データ値を示す。
FOV610の中心は、図12Bでは線656によって示されている。線658は、曲線648〜654のピークを通過する。線658の線656からの逸脱は、挿入可能計器602のFOV610に対する角度が一層かすめる(grazing)程、FL画像のピーク・マグニチュード(即ち、強度)は右に移動することを示す。更に、画素強度は、いずれの角度において、FOV610全域で大きく変動することもわかる。
これより図12Cを参照すると、三次元グラフ660は、電荷結合デバイスと関連のある画素単位で画像幅を有する第1軸662を含む。また、グラフ660は、度を単位とする角度を有する第2軸644も含み、角度は図12の角度608に対応する。また、グラフ660は、次元がない単位の画素強度を有する第3軸666も含む。
曲線668は、図12Bの曲線648(即ち、FL画像)を図12Aの曲線628(即ち、EL画像)で除算することによって発生する。同様に、曲線670は、図12Bの曲線650を図12Aの曲線630で除算することによって発生する。曲線672は、図12Bの曲線652を図12Aの曲線632で除算することによって発生する。曲線674は、図12Bの曲線654を図12Aの曲線634で除算することによって発生する。
第1曲線668は、図1の挿入可能計器602がFOV610に対して90度の角度をなすときの、図12のFOV610上の軸に沿った補正FL画像を表す測定FL画像データ値(即ち、画素強度値)を示す。第2曲線670は、図12の挿入可能計器602がFOV610に対して75度の角度をなすときの、図12のFOV610上の軸に沿った補正FL画像を表す補正FL画像データ値を示す。第3曲線672は、図12の挿入可能計器602がFOV610に対して60度の角度をなすときの、図12のFOV610上の軸に沿った補正FL画像を表す測定FL画像データ値を示す。第4曲線674は、図12の挿入可能計器602がFOV610に対して45度の角度をなすときの、図1のFOV610上の軸に沿った補正FL画像を表す補正FL画像データ値を示す。
尚、曲線668〜674の全ては、ほぼ平坦であり、前述の技術による補正画像が、視野内の画像全域にわたって実質的に同じ強度を有することを示すことがわかる。
更に、曲線668〜674の全ては、ほぼ同じ平均画素強度を達成することもわかる。したがって、種々の角度608(図12)で撮影した画像は、同じ傾向色素濃度に対して、強度および外観が見かけ上同一となる。
更に、曲線668〜674の全ては、ほぼ同じ平均画素強度を達成することもわかる。したがって、種々の角度608(図12)で撮影した画像は、同じ傾向色素濃度に対して、強度および外観が見かけ上同一となる。
図13〜図13Bは、前述のFL画像補正技法が、拡散媒体、例えば、血液を介して画像を撮影したときに、FL画像を改善して供給することができることを示す。即ち、図6Aの補正技法を用いると、図6と関連付けて説明したような、未補正FL画像とEL画像ではなく、2つの未補正FL画像を合体することができる。2つの未補正FL画像を発生し、これらを合体して補正FL画像を発生するために、2つの未補正FL画像は、撮像しようとする同じ生物組織における2つの異なる蛍光色素を利用する。
最初に図13を参照すると、グラフ680は、ミリメートルを単位とする撮像距離である横軸(即ち、挿入可能計器から、撮像しようとする生物組織までの距離であり、隔絶する距離の間に血液がある)。縦軸は、ミリ秒当たりのカウントを単位とする画素強度を有し、これは図6Aと関連付けて先に説明した前述の秒毎強度値と同様である。尚、秒毎強度値を得るためには、画像データ値を画像と関連のある露出時間値で除算するか、またはそれ以外で画像と関連のある露出時間値と組み合わせることが、図6Aから理解できるはずである。
第1曲線682は、血液を介した距離が0.5、1.0、1.5および2.0ミリメートルである場合の、AF750蛍光色素のCy5.5蛍光色素に対する比率が1:1であるCy5.5蛍光色素(第1波長)と関連がある未補正FL画像のROIにおける平均ミリ秒毎画素強度値の秒毎強度値間の関係を示す。第2曲線684は、血液を介した距離が0.5、1.0、1.5および2.0ミリメートルである場合の、AF750蛍光色素のCy5.5蛍光色素に対する比率が2:1であるCy5.5蛍光色素(第1波長)と関連がある未補正FL画像のROIにおける平均ミリ秒毎画素強度値の秒毎強度値間の関係を示す。
尚、曲線682、684は、挿入可能計器および撮像しようとする生物組織を分離する血液の距離が大きい程、望ましくない強度の損失が急速になることを示すことは明白なはずである。
これより図13Aを参照すると、グラフ700は、ミリメートルを単位とする撮像距離である横軸(即ち、挿入可能計器から、撮像しようとする生物組織までの距離であり、隔絶する距離の間に血液がある)。縦軸は、ミリ秒当たりのカウントを単位とする画素強度を有し、これは図6Aと関連付けて先に説明した前述の秒毎強度値と同様である。尚、秒毎強度値を得るためには、FL画像データ値を画像と関連のある露出時間値で除算するか、またはそれ以外で画像と関連のある露出時間値と組み合わせることが、図6Aから理解できるはずである。
第1曲線702は、血液を介した距離が0.5、1.0、1.5および2.0ミリメートルである場合の、AF750蛍光色素のCy5.5蛍光色素に対する比率が1:1であるAF750蛍光色素(第2波長)と関連がある未補正FL画像のROIにおける平均ミリ秒毎画素強度値の秒毎強度値間の関係を示す。第2曲線704は、血液を介した距離が0.5、1.0、1.5および2.0ミリメートルである場合の、AF750蛍光色素のCy5.5蛍光色素に対する比率が2:1であるAF750蛍光色素(第2波長)と関連がある未補正FL画像のROIにおける平均ミリ秒毎画素強度値の秒毎強度値間の関係を示す。
尚、図13の曲線682〜686と同様、曲線702、704は、挿入可能計器および撮像しようとする生物組織を分離する血液の距離が大きい程、望ましくない強度の損失が急速になることを示すことは明白なはずである。
これより図13Bを参照すると、グラフ720は、ミリメートルを単位とする撮像距離である横軸(即ち、挿入可能計器から、撮像しようとする生物組織までの距離であり、隔絶する距離の間に血液がある)を含む。縦軸は、次元がない画素強度を単位に有する。
第1曲線722は、図13Aの第1曲線702を図13の第1曲線682で除算するか、またはそれ以外の方法で組み合わせることによって発生する。第2曲線724は、図13Aの第2曲線704を図13の第2曲線684で除算するか、またはそれ以外の方法で組み合わせることによって発生する。
尚、曲線722、724は、それぞれ、図13および図13Aの未補正曲線682、684および702、704よりも一層ほぼ平坦であることがわかる。これらは、挿入可能計器から生物組織までの血液を介した距離には関係なく実質的に同じ強度を有する、前述の技法による補正FL画像を示す。しかしながら、曲線722〜724間の差から、補正FL画像における画素強度は、蛍光色素濃度を示すことには変わりがないことは、認識されてしかるべきである。
これより図14を参照すると、グラフ740は、蛍光色素を撮像デバイス、例えば、電荷結合デバイスで撮像したときの、ミクロモル単位で蛍光色素濃度の対数を横軸に含み、任意単位で画素強度(毎秒強度ではない)の対数を縦軸に含む。
曲線742は、蛍光色素濃度と、インド・シアニン・グリーン(ICG)蛍光色素について得られた画素強度との間において測定した関係を示す。曲線744は、蛍光濃度と、シアニン5.5(Cy5.5)蛍光色素について得られた画素強度との間において測定した関係を示す。曲線746は、蛍光色素濃度とイソチオサン酸フルオレセイン(FITC)蛍光色素について得られた画素強度との間において測定した関係を示す。図8と関連付けて説明したプロセスを用いて、曲線742〜746の1つ以上を発生することができる。
尚、所定の濃度範囲に色を割り当てることができることは、明白であろう。例えば、0.1〜0.5ミクロモルの範囲には第1の色を割り当てることができ、0.5〜1.0ミクロモルの範囲には第2の色を割り当てることができ、1.0〜5.0ミクロモルの範囲には第3の色を割り当てることができ、5.0〜10.0ミクロモルの範囲には第4の色を割り当てることができる。しかしながら、他の限度値を有する他の多数の濃度範囲を別の多数の色に割り当てることができる。
曲線742〜746は、選択した濃度範囲に対応する画素強度範囲を特定するために用いることができる。したがって、図7のブロック360または図7Aのブロック384と関連付けて先に論じたように、中間調のFL画像を、分子濃度に応じて偽色画像(false color image)に変換することができる。
曲線742〜746によって表される関係を有すると、一旦FL画像データが入手できれば、蛍光光画像は分子濃度に応じて偽着色(false colored)することができる。
現在の内視鏡またはカテーテルに基づくシステムは、組織評価の間フレーム毎に単位時間当たりの蛍光画像画素強度に劇的な可変性を有する場合がある。可変性は、部分的に、撮像しようとする生物組織に関する挿入可能計器の角度および距離に対する信号強度の依存性に起因する。場合によっては、特に、活性化可能な蛍光色素よりも高い背景画像、したがって低い画像対背景画像比を有することが多い目標蛍光色素では、可変性は蛍光色素の画像対背景画像比を超過することもある。特にこれらの場合、診断精度は、デバイスに近接する正常組織からの擬陽性信号、および挿入可能計器から離れている病理的損傷からの擬陰性信号の危険性によって低下する可能性がある。したがって、蛍光強度を定量化することは強く求められているが、満たされていない。これが満たされれば、分子誘導蛍光色素(molecularly targeted fluorochromes)を用いた疾病検出用カテーテルおよび内視鏡システムの医療的利用度が著しく高まるであろう。更に別の重要な便益をあげるとすれば、蛍光色素活性化またはターゲット結合、例えば、分子濃度の定量的評価に基づいて、疾病を特徴化できることであろう。
現在の内視鏡またはカテーテルに基づくシステムは、組織評価の間フレーム毎に単位時間当たりの蛍光画像画素強度に劇的な可変性を有する場合がある。可変性は、部分的に、撮像しようとする生物組織に関する挿入可能計器の角度および距離に対する信号強度の依存性に起因する。場合によっては、特に、活性化可能な蛍光色素よりも高い背景画像、したがって低い画像対背景画像比を有することが多い目標蛍光色素では、可変性は蛍光色素の画像対背景画像比を超過することもある。特にこれらの場合、診断精度は、デバイスに近接する正常組織からの擬陽性信号、および挿入可能計器から離れている病理的損傷からの擬陰性信号の危険性によって低下する可能性がある。したがって、蛍光強度を定量化することは強く求められているが、満たされていない。これが満たされれば、分子誘導蛍光色素(molecularly targeted fluorochromes)を用いた疾病検出用カテーテルおよび内視鏡システムの医療的利用度が著しく高まるであろう。更に別の重要な便益をあげるとすれば、蛍光色素活性化またはターゲット結合、例えば、分子濃度の定量的評価に基づいて、疾病を特徴化できることであろう。
以上説明したシステムおよび技法は、画像を捕獲しつつ、画素毎または画像毎にリアル・タイムで、生のFL画像の補正を行う。その際、最初に、捕獲した画像における画素強度値を、それぞれの各画像と関連のある露出時間で除算して、秒毎強度画像データを求める。次いで、秒毎強度FL画像データを、励起光の空間的に位置決めし同時に捕獲した画像の秒毎中間調画像強度で除算して、補正FL画像データを求めることができる。
別の実施形態では、2つの秒毎強度画像を除算(division)して補正画像を発生することを、別の数学的関数で置き換えることができる。例えば、他に可能な関数には、二乗根の除算(例えば、秒毎EL強度で除算した秒毎FL強度の二乗根)、二乗による除算(例えば、二乗秒毎EL強度で除算した秒毎FL強度)等が含まれる。
補正FL画像は、挿入可能計器が撮像しようとする生物組織からどの位近いかまたはどの位遠いかには関係なく、そして挿入可能計器の生物組織に対する角度にも関係なく、適正に露出され続ける。更に、画像強度は、視野全域にわたって実質的に変動しない。
先に説明したように、前述の補正FL画像は、リアル・タイム(または非リアル・タイム)で撮影した画像の収集におけるいずれの画像の対象領域における信号強度でも定量的に測定するために用いることができる。補正FL画像は、挿入可能計器の生物組織に対する距離および角度に関して信号強度が概ね不変であるので、リアル・タイム(または非リアル・タイム)で撮影した補正画像を組み合わせて用いれば、リアル・タイムの連続動的画像表示を得ることができる。この表示は、定量的に画像強度を描画することができ、あるいは、実施形態によっては、挿入可能計器を身体内で移動させるに連れて、蛍光プローブの定量的濃度を定量的に描画することができる。
定量的態様、即ち、図8と関連付けて先に説明したような濃度の画像表示は、活性化可能および誘導(targeted)撮像蛍光色素双方にも適用することができる。更に、画像が、挿入可能計器の位置の生物組織に関して不変であることから、定量的時間的研究が可能となる。例えば、治療前および治療後における同じ被験者に同様の蛍光標識化薬物(fluorescently labeled drug)を用いて、病理的損傷において最適薬物投与量を決定するための受容体遮断評価を定量的に追跡することができる。同様に、蛍光標識化血液貯留剤(blood pool agent)の定量的評価によって、血管変化を経時的に追いかけることができる。加えて、損傷の初期特徴付けが、プロテアーゼ活動の定量的評価の使用により可能となることがある。これは、最近15年程の間に、腫瘍の侵入および転移能力と相関付けるために示されている。
ここに記載する方法は、いずれの蛍光撮像システムにも適用可能であるが、これらは、特に、ハンド・ヘルド蛍光撮像デバイスまたはもっと大きな区域の評価のためのその他の内部動作デバイスのような、撮像しようとする生物組織に対して移動するシステムに適用可能である。
これより図15を参照すると、図1と同様の要素には、同様の参照符号を付して示しており、挿入可能計器11は、距離測定センサ64、例えば、血管内超音波(IVUS)センサ64を含むことができる。このセンサ64は血管内超音波(IVUS)システムの一部とすることができる。IVUSセンサ64は、駆動信号66を受け取ることができ、その結果、超音波信号を投射する。得られた超音波エコーに応答して、IVUSセンサ64は、エコー信号68を撮像プロセッサ40’に対して発生することができる。ここで、「’」の記号は、撮像プロセッサ40’と図1の撮像プロセッサ40との間の相違を示す。駆動信号66およびエコー信号68は、同じ物理的結合(例えば、ワイヤ)上、または異なる結合上で伝達することができる。
IVUSセンサ64は、挿入可能計器11に対して異なる角度で超音波音響を投射するため、そして異なる角度からそれに応じて音響を受信するために、回転することができる。図16と関連付けた以下の論述から明白になろうが、IVUSセンサ64は、図16に示す他のエレメントと共に、異なる角度における距離値を求めることができる。これらは、挿入可能計器11から生物組織まで、例えば、挿入可能計器が血管内にあるときの血管壁の内面までの異なる角度におけるそれぞれの距離を示す。尚、角度が異なれば、異なる距離値が得られる場合が多いことは言うまでもない。
これより図16を参照すると、撮像プロセッサ100’では、図2の同様の要素は同様の参照符号を有して示されており、図15の撮像プロセッサ40’と同一または同様とすることができる。撮像プロセッサ100’は、撮像プロセッサ100’と図12の撮像プロセッサ100との間の相違を示す「’」符号を有する。この相違は、以下で明らかになる。
撮像プロセッサ100’は、距離測定プロセッサ180、例えば、血管内超音波(IVUS)プロセッサ180を含むことができる。距離測定プロセッサ180は、駆動信号178を図1のIVUSセンサ64に発生し、エコー信号179をIVUSセンサ64から受信することができる。駆動信号178およびエコー信号179は、図15の駆動信号66およびエコー信号68と同一または同様とすることができる。IVUSプロセッサ180は、エコー信号179に応答して距離値182を発生するように構成されている。距離値は、RAM112に格納することができる。
前述のように、距離値182は、図15の挿入可能計器に対する異なる角度と関連付けることができる。異なる角度は、挿入可能計器11に対する2つの寸法または1つの寸法を表すことができる。また、距離値182は、ここでは、RAM112において組み立てるときには、距離値行列とも呼ぶ。
尚、RAM112に格納されている距離値行列における距離値は、挿入可能計器11から生物組織までの距離を表し、取り込み画像、例えば、露出制御FL画像データ110aまたは露出制御EL画像データ148a内の画素における光強度に必ずしも直接関係付けられてはいないことは、認められてしかるべきである。特に、蛍光光および励起光が血液のような拡散および吸収性媒体を貫通するとき、移動距離と光強度との間の関係は、非線形となる可能性がある。
前述の減衰を考慮するために、RAM112は補正値行列184aも格納することができる。補正値行列184aは、距離値行列における距離値を補正し、距離値を光強度に関係付けるために用いることができる。補正値行列184aは、光が拡散および吸収性媒体内を伝搬するときに光伝搬距離を光強度に関係付ける種々の既知の数学的モデルの1つによって発生することができる。例えば、数学的モデルは、光減衰の直接代数方程式(単純な指数的衰弱を含む)または光伝搬に対する非決定論的アルゴリズム(光移動(photo migration)のモンテ・カルロ・シミュレーションおよびメトリポリス・ヘイスティングス・アルゴリズムを含む)のいずれかとすることができる。モデルは、吸収係数のような、拡散および吸収性媒体を記述するパラメータや、伝搬光の波長および強度を必要とする場合がある。
別の構成では、補正値行列184aは、実験的に発生することができる。補正値行列184aは、撮像に先だって格納することができ、あるいは、別の実施形態では、補正行列184aは、撮像を行いつつ発生し格納することができる。
格納した距離値行列182bおよび格納した補正値行列184bは、画像補正プロセッサ130’に伝達することができる。画像補正プロセッサ130’は、図2の画像補正プロセッサ130と同様であるが、「’」記号は、画像補正プロセッサ130とは異なることを示す。以下で更に深く説明するが、画像補正プロセッサ130’は、格納した距離値行列182bおよび格納した補正値行列184bを用いて、他の補正を行うことができる。
前述の図6および図6Aは、図3のブロック222および234にしたがって蛍光光画像を補正する方法を教示する。格納した距離値行列182bおよび格納した補正値行列184bは、図6および図6Aに示したプロセスとは異なる、別の画像補正プロセスにおいて用いることができる。即ち、図6および図6Aのブロック312および330は、それぞれ、以下で更に深く説明する、異なる画像補正プロセスと置き換えることができる。尚、図6および図6AのEL画像およびFL#1画像は、異なる画像補正プロセスでは必要でないことは明白となろう。
実施形態の中には、画像補正プロセッサ130’が異なる画像補正プロセスのみを実行することができる場合もある。しかしながら、他の実施形態の中には、画像補正プロセッサ130’は、図6または図6Aと関連付けて先に説明した画像補正の全てを実行して、補正画像データ132を発生するだけでなく、異なる画像補正プロセスも用いて、別の補正画像データ(図示せず)も発生することができる場合もある。異なる補正画像データは、前述と同様の画像拡縮再調整プロセッサ134および画像着色プロセッサ138による処理を受けて、別のFL画像を供給することができる。このFL画像は、別個に目視することができ、あるいは人工着色FL画像データ140と合体することまたは重ね合わせることができる。
前述のように、図3(即ち、図6および図6A)のブロック222および236において行う補正の結果得られる補正蛍光光画像は、挿入可能計器11と撮像しようとする生物組織との間の距離に関して、そして挿入可能計器11の生物組織に対する角度に関しても概ね不変である。前述の異なる画像補正プロセスでは、画像補正プロセッサ130’は、図6および図6Aのブロック310および328において発生した秒毎FL強度値を、格納した距離値行列182bおよび格納した補正値行列184bと組み合わせることができる。このように、拡散媒体の強度減衰効果を考慮するために、FL画像における画素の強度(図6および図6Aのブロック310、328それぞれからの秒毎強度単位)を調節することができ、こうして距離不変補正蛍光画像(図示せず)に到達することができる。このために、前述のように、実施形態によっては、格納した補正値行列184bを最初に用いて、格納した距離値行列182bにおける距離値を補正して、距離値を光強度に関係付け、その結果「画像補正行列」を得ることができる。次いで、画像補正行列を、図6および図6Aのブロック310または328において発生した秒毎FL強度値(画素)に適用することができる。
図15および図16では、IVUSセンサ64およびIVUSプロセッサ180をそれぞれ示したが、IVUSセンサ64及びIVUSプロセッサ180は、図16の距離値182を発生する1つの方法を提供するに過ぎないことは言うまでもない。
ここで引用した参考文献は全て、この中で引用したことにより、その内容全体が本願にも含まれるものとする。
以上、本発明の好適な実施形態について説明したが、その概念を組み込んだ他の実施形態を用いてもよいことは、当業者には明白となるはずである。したがって、これらの実施形態は開示した実施形態に限定されるのではなく、むしろ添付した特許請求の範囲の主旨および範囲によってのみ限定されるものとする。
以上、本発明の好適な実施形態について説明したが、その概念を組み込んだ他の実施形態を用いてもよいことは、当業者には明白となるはずである。したがって、これらの実施形態は開示した実施形態に限定されるのではなく、むしろ添付した特許請求の範囲の主旨および範囲によってのみ限定されるものとする。
Claims (29)
- 撮像システムであって、
励起光を組織に向けて発射するように構成され、更に前記組織からの蛍光光を励起するように構成されている励起光源と、
前記組織に関連付けられた第1の複数の画像を発生するように構成されている第1光検出器であって、前記第1の複数の画像中の各画像はそれぞれの露出時間を有する、第1光検出器と、
前記組織に関連付けられた第2の複数の画像を発生するように構成されている第2光検出器であって、前記第2の複数の画像中の各画像はそれぞれの露出時間を有する、第2光検出器と、
前記第1光検出器から前記第1の複数の画像を取り込むように構成された第1画像取り込みプロセッサであって、前記第1の複数の画像中の各画像に関連付けられたそれぞれの露出時間を前記第1光検出器を調節することにより動的に調節するように構成されている第1露出プロセッサを含む、第1画像取り込みプロセッサと、
前記第2光検出器から前記第2の複数の画像を取り込むように構成された第2画像取り込みプロセッサであって、前記第2の複数の画像中の各画像に関連付けられたそれぞれの露出時間を前記第2光検出器を調節することにより動的に調節するように構成されている第2露出プロセッサを含み、前記第1の複数の画像中の画像に関連付けられた露出時間は、前記第2の複数の画像中の画像に関連付けられた露出時間と独立に調節される、第2画像取り込みプロセッサと、
前記第1の画像取り込みプロセッサ及び前記第2の画像取り込みプロセッサに結合されており、前記第1の複数の画像及び前記第2の複数の画像を受け取って格納するように構成されており、更に前記それぞれの露出時間を受け取って格納するように構成されているメモリと、
を備え、
前記第1光検出器は、第1露出時間に関連づけられた第1の複数の画素強度値を有する前記第1の複数の画像の中の第1画像を発生するように構成されており、前記メモリは、前記第1の複数の画素強度値を受け取って格納するとともに、前記第1露出時間を受け取って格納するように結合されており、
前記第2光検出器は、第2露出時間に関連づけられた第2の複数の画素強度値を有する前記第2の複数の画像の中の第2画像を発生するように構成されており、前記メモリは、前記第2の複数の画素強度値を受け取って格納するとともに、前記第2露出時間を受け取って格納するように結合されており、
前記撮像システムは、更に、画像補正プロセッサを備え、
前記画像補正プロセッサは、前記メモリと結合されており、第1秒毎強度値を求めるために前記第1画素強度値の各々を前記第1露出時間と組み合わせるように構成されており、第2秒毎強度値を求めるために前記第2画素強度値の各々を前記第2露出時間と組み合わせるように構成されており、更に補正画素強度値を有する前記組織の補正画像を求めるために第2画素強度値を前記第1画素強度値と組み合わせるように構成されている、
撮像システム。 - 請求項1記載の撮像システムにおいて、前記第1露出プロセッサは、更に、前記第1の複数の画像における第1画像について画素強度値に応じて第1ヒストグラムを計算するように構成されており、第1ヒストグラム面積割合値を選択するように構成されており、前記第1ヒストグラム面積割合値に応じて前記第1ヒストグラムにおけるそれぞれの画素強度値を特定するように構成されており、更に、前記第1画像取り込みプロセッサによって取り込まれた次の画像と関連付けられた次の露出時間を発生するために、前記特定した画素強度値を、前記第1画像に関連付けられた露出時間と組み合わせるように構成されており、前記第2露出プロセッサは、更に、前記第2の複数の画像における第2画像について画素強度値に応じて第2ヒストグラムを計算するように構成されており、第2ヒストグラム面積割合値を選択するように構成されており、前記第2ヒストグラム面積割合値に応じて前記第2ヒストグラムにおけるそれぞれの画素強度値を特定するように構成されており、更に、前記第2画像取り込みプロセッサによって取り込まれた次の画像と関連付けられた次の露出時間を発生するために、前記特定した画素強度値を、前記第2画像に関連付けられた露出時間と組み合わせるように構成されている、撮像システム。
- 請求項1記載の撮像システムにおいて、前記第1露出プロセッサは、更に、前記第1の複数の画像内にある第1画像における最大画素強度を特定するように構成されており、更に、前記第1画像取り込みプロセッサによって取り込まれた次の画像と関連付けられた次の露出時間を発生するために、前記特定した最大画素強度値を、前記画像と関連付けられた露出時間と組み合わせるように構成されており、前記第2露出プロセッサは、更に、前記第2の複数の画像内にある第2画像における最大画素強度を特定するように構成されており、更に、前記第2画像取り込みプロセッサによって取り込まれた次の画像と関連付けられた次の露出時間を発生するために、前記特定した最大画素強度値を、前記画像と関連付けられた露出時間と組み合わせるように構成されている、撮像システム。
- 請求項1記載の撮像システムにおいて、前記第1の複数の画像は、前記組織から発する蛍光光の画像を含み、前記第2の複数の画像は、前記組織から発する蛍光光の画像を含み、更に前記第1の複数の画像の獲得時間は、前記第2の複数の画像の獲得時間と異なる、撮像システム。
- 請求項1記載の撮像システムにおいて、前記第1の複数の画像は、前記組織から反射する励起光の画像を含み、前記第2の複数の画像は、前記組織から反射する励起光の画像を含み、前記第1の複数の画像の露出時間は、前記第2の複数の画像の露出時間と異なる、撮像システム。
- 請求項1記載の撮像システムであって、更に前記第1光検出器及び前記第2光検出器に結合されている撮像計器を備え、前記補正画像における補正画素強度値は、前記撮像計器と前記組織との間の距離および角度に関して概ね不変である、撮像システム
- 請求項1記載の撮像システムにおいて、前記画像補正プロセッサは、第1秒毎強度値を求めるために前記第1画素強度値の各々を前記第1露出時間で除算するように構成されており、第2秒毎強度値を求めるために前記第2画素強度値の各々を前記第2露出時間で除算するように構成されており、前記補正画素強度値を有する前記組織の補正画像を求めるために、前記第2秒毎強度値を前記第1秒毎強度値で除算するように構成されている、撮像システム。
- 請求項1記載の撮像システムにおいて、前記第1画素強度値は、カラー画素強度値であり、前記第2画素強度値は、中間調画素強度値であり、前記画像補正プロセッサは、更に、前記カラー画素強度値を他の中間調画素強度値に変換するように構成されている、撮像システム。
- 請求項1記載の撮像システムにおいて、前記第1画像は、前記組織から反射する励起光に応じて発生し、前記第2画像は前記蛍光光に応じて発生し、前記第1画像の前記第1露出時間は、前記第2画像の前記第2露出時間と異なる、撮像システム。
- 請求項1記載の撮像システムにおいて、前記蛍光光は、前記組織の自己蛍光によって発生する、撮像システム。
- 請求項1記載の撮像システムにおいて、前記蛍光光は、第1スペクトル帯域を有する第1蛍光光成分と、第2スペクトル帯域を有する第2蛍光光成分とを有し、前記第1画像は前記第1蛍光光成分に応じて発生し、前記第2画像は前記第2蛍光光成分に応じて発生する、撮像システム。
- 請求項1記載の撮像システムであって、更に、前記第1検出器および前記第2光検出器に結合されている較正プロセッサを備えており、前記較正プロセッサは、
前記第1画像および前記第2画像において対象領域を特定するように構成されている対象領域プロセッサと、
前記第1画像の対象領域を前記第2画像の対象領域と空間的に位置決めするように構成されている位置合わせプロセッサとを備えており、
前記画像補正プロセッサは、前記対象領域における第1秒毎強度値を求めるために前記第1画像の対象領域における前記第1画素強度値の各々を前記第1露出時間で除算するように構成されており、前記対象領域における第2秒毎強度値を求めるために前記第2画像の対象領域における第2画素強度値の各々を前記第2露出時間で除算するように構成されており、更に補正画素強度値を有する前記対象領域における前記組織の補正画像を求めるために前記第2秒毎強度値を前記第1秒毎強度値で除算するように構成されている、撮像システム。 - 請求項12記載の撮像システムにおいて、前記第1画像は、前記組織から反射する励起光に応じて発生し、前記第2画像は前記蛍光光に応じて発生する、撮像システム。
- 請求項1記載の撮像システムであって、画像拡縮再調整プロセッサを更にそなえ、前記画像拡縮再調整プロセッサは前記画像補正プロセッサと結合されており、第1ディジタル・ビット数から成るそれぞれの画素強度値を有する補正画像を受信するように構成され、前記補正画像を、異なる第2ディジタル・ビット数から成る複数の画素強度値のそれぞれを有する拡縮再調整画像に変換するように構成されている、撮像システム。
- 請求項14記載の撮像システムにおいて、前記拡縮再調整画像は拡縮率に応じて発生し、前記拡縮率は、前記補正画像の対象領域における画素強度値のヒストグラムと関連付けられたヒストグラム面積割合値に応じて選択する、撮像システム。
- 請求項14記載の撮像システムにおいて、前記拡縮再調整画像の拡縮再調整は、それぞれの拡縮率に応じて行い、前記拡縮率は、前記補正画像の対象領域内における最大画素強度値に応じて選択する、撮像システム。
- 請求項14記載の撮像システムにおいて、前記補正画像又は前記拡縮再調整画像は、中間調画像であり、前記撮像システムは、更に、前記補正画像又は前記拡縮再調整画像を偽色画像に変換するように構成されている画像着色プロセッサを備えている、撮像システム。
- 請求項1記載の撮像システムであって、
前記画像補正プロセッサと結合されており、前記組織内にある化合物のそれぞれの濃度に対する、前記補正画像と関連付けられた、画素強度値のマップを発生するように構成されている強度対濃度マッピング・プロセッサと、
前記画像対強度マッピング・プロセッサに結合されており、中間調画像を受信するように構成されるとともに、前記中間調画像の受信と同時に前記濃度に応じて偽色画像を発生するために、前記マップを前記中間調画像に適用するように構成されている画像着色プロセッサと、
を備えている、撮像システム。 - 請求項18記載の撮像システムであって、更に、前記第1光検出器及び前記第2光検出器に結合されている撮像計器を備え、前記偽色画像における色は、前記撮像計器と前記組織との間の距離および角度に関して概ね不変である、撮像システム。
- 請求項18記載の撮像システムにおいて、前記第1の複数の画素強度値は、色画素強度値であり、前記第2の複数の画素強度値は、中間調画素強度値であり、前記画像補正プロセッサは、更に、前記色画素強度値を他の中間調画素強度値に変換するように構成されている、撮像システム。
- 請求項18記載の撮像システムにおいて、前記第1画像は、前記組織から反射する励起光に応じて発生し、前記第2画像は前記蛍光光に応じて発生し、前記第1画像の前記第1露出時間は、前記第2画像の前記第2露出時間と異なる、撮像システム。
- 請求項18記載の撮像システムにおいて、前記蛍光光は、前記組織の自己蛍光によって発生する、撮像システム。
- 請求項18記載の撮像システムにおいて、前記蛍光光は、第1スペクトル帯域を有する第1蛍光光成分と、第2スペクトル帯域を有する第2蛍光光成分とを有し、前記第1画像は前記第1蛍光光成分に応じて発生し、前記第2画像は前記第2蛍光光成分に応じて発生する、撮像システム。
- 請求項1記載の撮像システムであって、更に、
別の種類の撮像システムから副画像を受信し、前記補正画像の発生と同時に合体画像を供給するために、前記補正画像を前記副画像と合体するように構成されている画像合体プロセッサを備えている、撮像システム。 - 請求項24記載の撮像システムにおいて、前記別の種類の撮像システムは、磁気共鳴撮像システム、コンピュータ断層撮影システム、x線システム、蛍光撮影システム、またはポジトロン放出断層撮影システムの中から選択された撮像システムである、撮像システム。
- 請求項24記載の撮像システムにおいて、前記第1画像は、前記組織から反射する励起光に応じて発生し、前記第2画像は前記蛍光光に応じて発生し、前記第1画像の前記第1露出時間は、前記第2画像の前記第2露出時間と異なる、撮像システム
- 請求項24記載の撮像システムにおいて、前記蛍光光は、前記組織の自己蛍光によって発生する、撮像システム。
- 請求項24記載の撮像システムにおいて、前記蛍光光は、第1スペクトル帯域を有する第1蛍光光成分と、第2スペクトル帯域を有する第2蛍光光成分とを有し、前記第1画像は前記第1蛍光光成分に応じて発生し、前記第2画像は前記第2蛍光光成分に応じて発生する、撮像システム。
- 請求項1記載の撮像システムにおいて、前記第1画像は前記組織から反射する励起光に応じて発生し、前記第2画像は前記蛍光光に応じて発生する、撮像システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/456,625 | 2006-07-11 | ||
US11/456,625 US8078265B2 (en) | 2006-07-11 | 2006-07-11 | Systems and methods for generating fluorescent light images |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009519457A Division JP2009542415A (ja) | 2006-07-11 | 2007-07-10 | 蛍光光画像の発生システムおよび方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013099573A true JP2013099573A (ja) | 2013-05-23 |
Family
ID=38698865
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009519457A Pending JP2009542415A (ja) | 2006-07-11 | 2007-07-10 | 蛍光光画像の発生システムおよび方法 |
JP2013011068A Pending JP2013121520A (ja) | 2006-07-11 | 2013-01-24 | 蛍光光画像の発生システムおよび方法 |
JP2013011066A Pending JP2013099573A (ja) | 2006-07-11 | 2013-01-24 | 蛍光光画像の発生システムおよび方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009519457A Pending JP2009542415A (ja) | 2006-07-11 | 2007-07-10 | 蛍光光画像の発生システムおよび方法 |
JP2013011068A Pending JP2013121520A (ja) | 2006-07-11 | 2013-01-24 | 蛍光光画像の発生システムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8078265B2 (ja) |
EP (2) | EP2043500A2 (ja) |
JP (3) | JP2009542415A (ja) |
WO (1) | WO2008008231A2 (ja) |
Families Citing this family (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1402243B1 (en) | 2001-05-17 | 2006-08-16 | Xenogen Corporation | Method and apparatus for determining target depth, brightness and size within a body region |
JP2008522761A (ja) * | 2004-12-08 | 2008-07-03 | ザ・ゼネラル・ホスピタル・コーポレーション | 規準化された蛍光又は生物発光撮像のためのシステムと方法 |
US20070122344A1 (en) | 2005-09-02 | 2007-05-31 | University Of Rochester Medical Center Office Of Technology Transfer | Intraoperative determination of nerve location |
US8078265B2 (en) | 2006-07-11 | 2011-12-13 | The General Hospital Corporation | Systems and methods for generating fluorescent light images |
US20080161744A1 (en) | 2006-09-07 | 2008-07-03 | University Of Rochester Medical Center | Pre-And Intra-Operative Localization of Penile Sentinel Nodes |
JP4954699B2 (ja) * | 2006-12-28 | 2012-06-20 | オリンパス株式会社 | 蛍光内視鏡システム |
FI119531B (fi) * | 2007-06-29 | 2008-12-15 | Optomed Oy | Kuvan muodostaminen |
US8031924B2 (en) * | 2007-11-30 | 2011-10-04 | General Electric Company | Methods and systems for removing autofluorescence from images |
US8406860B2 (en) | 2008-01-25 | 2013-03-26 | Novadaq Technologies Inc. | Method for evaluating blush in myocardial tissue |
US10219742B2 (en) * | 2008-04-14 | 2019-03-05 | Novadaq Technologies ULC | Locating and analyzing perforator flaps for plastic and reconstructive surgery |
EP2687235A3 (en) | 2008-05-02 | 2014-11-05 | Novadaq Technologies Inc. | Methods for production and use of substance-loaded erythrocytes (S-LES) for observation and treatment of microvascular hemodynamics |
EP3501384A3 (en) | 2008-05-20 | 2019-10-16 | University Health Network | Method for fluorescence-based imaging and monitoring |
US8983581B2 (en) * | 2008-05-27 | 2015-03-17 | Massachusetts Institute Of Technology | System and method for large field of view, single cell analysis |
JP2010043983A (ja) * | 2008-08-14 | 2010-02-25 | Sony Corp | 光学測定装置 |
US8144958B2 (en) | 2008-09-11 | 2012-03-27 | Carl Zeiss Meditec Ag | Medical systems and methods |
ES2384835B1 (es) * | 2009-03-18 | 2013-06-10 | Universidad De Murcia | Procedimiento para el registro de imágenes en tomografía óptica de fluorescencia y sistema de aplicación. |
CN102164530B (zh) * | 2009-03-30 | 2014-07-30 | 奥林巴斯医疗株式会社 | 荧光观察装置 |
US10492671B2 (en) | 2009-05-08 | 2019-12-03 | Novadaq Technologies ULC | Near infra red fluorescence imaging for visualization of blood vessels during endoscopic harvest |
US9155471B2 (en) * | 2009-05-27 | 2015-10-13 | Lumicell, Inc'. | Methods and systems for spatially identifying abnormal cells |
JP5379647B2 (ja) * | 2009-10-29 | 2013-12-25 | オリンパス株式会社 | 撮像装置、及び、画像生成方法 |
JP5320268B2 (ja) * | 2009-11-12 | 2013-10-23 | 富士フイルム株式会社 | 画像表示装置 |
JP5356191B2 (ja) * | 2009-11-26 | 2013-12-04 | オリンパス株式会社 | 蛍光観察装置 |
EP2569615A4 (en) * | 2010-05-12 | 2014-01-15 | Li Cor Inc | IMAGING WITH A WIDE DYNAMIC RANGE |
KR101287189B1 (ko) * | 2010-08-18 | 2013-07-17 | 주식회사 나노엔텍 | 멀티 형광영상 관측용 형광현미경, 이를 이용한 형광영상의 관찰방법 및 멀티 형광영상 관측 시스템 |
US8818069B2 (en) * | 2010-11-30 | 2014-08-26 | General Electric Company | Methods for scaling images to differing exposure times |
US9314304B2 (en) | 2010-12-08 | 2016-04-19 | Lumicell, Inc. | Methods and system for image guided cell ablation with microscopic resolution |
JP2014039571A (ja) * | 2010-12-27 | 2014-03-06 | Olympus Corp | 蛍光内視鏡装置 |
WO2012176285A1 (ja) | 2011-06-21 | 2012-12-27 | オリンパス株式会社 | 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法 |
JP5926909B2 (ja) * | 2011-09-07 | 2016-05-25 | オリンパス株式会社 | 蛍光観察装置 |
JP5784435B2 (ja) * | 2011-09-20 | 2015-09-24 | オリンパス株式会社 | 画像処理装置、蛍光顕微鏡装置および画像処理プログラム |
US20140336461A1 (en) * | 2012-04-25 | 2014-11-13 | The Trustees Of Columbia University In The City Of New York | Surgical structured light system |
WO2013190391A2 (en) | 2012-06-21 | 2013-12-27 | Novadaq Technologies Inc. | Quantification and analysis of angiography and perfusion |
WO2014013912A1 (ja) * | 2012-07-19 | 2014-01-23 | 株式会社ニコン | 光学素子、光学装置、計測装置、及びスクリーニング装置 |
KR20160037834A (ko) | 2013-03-14 | 2016-04-06 | 루미셀, 아이엔씨. | 의료 이미징 장치 및 사용 방법 |
US9407838B2 (en) | 2013-04-23 | 2016-08-02 | Cedars-Sinai Medical Center | Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores |
RU2538340C1 (ru) * | 2013-07-23 | 2015-01-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ФГБОУ ВПО ТГГУ | Способ совмещения изображений, полученных с помощью разнодиапазонных фотодатчиков |
CN105492892A (zh) * | 2013-09-13 | 2016-04-13 | 三菱丽阳株式会社 | 图像读取方法 |
US10295485B2 (en) | 2013-12-05 | 2019-05-21 | Sigray, Inc. | X-ray transmission spectrometer system |
JP6359819B2 (ja) * | 2013-10-29 | 2018-07-18 | 浜松ホトニクス株式会社 | 蛍光イメージング装置 |
USRE48612E1 (en) | 2013-10-31 | 2021-06-29 | Sigray, Inc. | X-ray interferometric imaging system |
ES2894912T3 (es) | 2014-07-24 | 2022-02-16 | Univ Health Network | Recopilación y análisis de datos con fines de diagnóstico |
CN104287689B (zh) * | 2014-09-28 | 2016-05-25 | 安徽中科医药成像技术科技有限公司 | 内窥镜及其调节装置 |
KR102068776B1 (ko) | 2014-09-29 | 2020-01-21 | 노바다크 테크놀러지즈 유엘씨 | 자가형광이 존재하는 생물학적 물질에서 타겟 형광체의 이미징 |
JP6487544B2 (ja) | 2014-10-09 | 2019-03-20 | ノバダック テクノロジーズ ユーエルシー | 蛍光媒介光電式容積脈波記録法を用いた組織中の絶対血流の定量化 |
US10779713B2 (en) * | 2014-12-09 | 2020-09-22 | Chemimage Corporation | Molecular chemical imaging endoscopic imaging systems |
KR102408785B1 (ko) * | 2015-01-12 | 2022-06-14 | 툴라 테크놀로지, 인크. | 스킵 파이어 엔진 제어 시스템에서의 소음, 진동 및 잡소리 감소 |
US10397489B2 (en) * | 2015-05-15 | 2019-08-27 | Sony Corporation | Light source control device, method of controlling light source, and image capture system |
US20170055844A1 (en) * | 2015-08-27 | 2017-03-02 | Canon Kabushiki Kaisha | Apparatus and method for acquiring object information |
JP2017053663A (ja) | 2015-09-08 | 2017-03-16 | 株式会社東芝 | 画像読取装置、及び紙葉類処理装置 |
EP3424403B1 (en) * | 2016-03-03 | 2024-04-24 | Sony Group Corporation | Medical image processing device, system, method, and program |
EP3580609B1 (en) | 2017-02-10 | 2023-05-24 | Stryker European Operations Limited | Open-field handheld fluorescence imaging systems and methods |
KR20190128746A (ko) * | 2017-04-07 | 2019-11-18 | 아벨라스 바이오사이언시즈 인코포레이티드 | 비율계량 형광 화상화 방법 |
US11426075B1 (en) | 2017-08-23 | 2022-08-30 | Lumicell, Inc. | System and method for residual cancer cell detection |
IL254896B (en) * | 2017-10-03 | 2019-03-31 | Visionsense Ltd | Fluorescent camera with limited variable praise |
US10989822B2 (en) | 2018-06-04 | 2021-04-27 | Sigray, Inc. | Wavelength dispersive x-ray spectrometer |
US20210153840A1 (en) * | 2018-06-06 | 2021-05-27 | The General Hospital Corporation | Minituarized intravascular flourescence-ultrasound imaging catheter |
GB2591630B (en) | 2018-07-26 | 2023-05-24 | Sigray Inc | High brightness x-ray reflection source |
US10962491B2 (en) | 2018-09-04 | 2021-03-30 | Sigray, Inc. | System and method for x-ray fluorescence with filtering |
DE112019004478T5 (de) | 2018-09-07 | 2021-07-08 | Sigray, Inc. | System und verfahren zur röntgenanalyse mit wählbarer tiefe |
JP7286948B2 (ja) * | 2018-11-07 | 2023-06-06 | ソニーグループ株式会社 | 医療用観察システム、信号処理装置及び医療用観察方法 |
CN111435192B (zh) * | 2019-01-15 | 2021-11-23 | 卡尔蔡司显微镜有限责任公司 | 利用荧光显微镜生成荧光照片的方法 |
US11265491B2 (en) | 2019-06-20 | 2022-03-01 | Cilag Gmbh International | Fluorescence imaging with fixed pattern noise cancellation |
US11233960B2 (en) | 2019-06-20 | 2022-01-25 | Cilag Gmbh International | Fluorescence imaging with fixed pattern noise cancellation |
US11221414B2 (en) | 2019-06-20 | 2022-01-11 | Cilag Gmbh International | Laser mapping imaging with fixed pattern noise cancellation |
US11187658B2 (en) | 2019-06-20 | 2021-11-30 | Cilag Gmbh International | Fluorescence imaging with fixed pattern noise cancellation |
US11187657B2 (en) | 2019-06-20 | 2021-11-30 | Cilag Gmbh International | Hyperspectral imaging with fixed pattern noise cancellation |
US11237270B2 (en) | 2019-06-20 | 2022-02-01 | Cilag Gmbh International | Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation |
DE102019134473A1 (de) * | 2019-12-16 | 2021-06-17 | Hoya Corporation | Live-Kalibrierung |
CN115002355A (zh) * | 2022-07-01 | 2022-09-02 | 重庆金山医疗技术研究院有限公司 | 图像拍摄参量调整方法及装置、胶囊式内窥镜 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003009739A2 (en) * | 2001-07-26 | 2003-02-06 | Given Imaging Ltd. | Apparatus and method for controlling illumination or imager gain in an in-vivo imaging device |
JP2004321414A (ja) * | 2003-04-23 | 2004-11-18 | Olympus Corp | 電子内視鏡の光量制御装置 |
EP1491133A1 (en) * | 2003-06-23 | 2004-12-29 | Olympus Corporation | Endoscope apparatus for obtaining properly dimmed observation images |
EP1637062A1 (en) * | 2003-06-19 | 2006-03-22 | Olympus Corporation | Endoscopic device |
US20060082845A1 (en) * | 2004-10-15 | 2006-04-20 | Pentax Corporation | Electronic endoscope |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4026821A1 (de) | 1990-08-24 | 1992-03-05 | Philips Patentverwaltung | Verfahren zur erfassung von anomalien der haut, insbesondere von melanomen, sowie vorrichtung zur durchfuehrung des verfahrens |
DE69227008T2 (de) * | 1991-11-14 | 1999-05-20 | Agfa Gevaert Nv | Verfahren und Vorrichtung zum Herstellen eines Histogramms in der digitalen Bildverarbeitung mittels statistischer Pixelabtastung |
US5347374A (en) * | 1993-11-05 | 1994-09-13 | Xerox Corporation | Cascaded image processing using histogram prediction |
US5590660A (en) | 1994-03-28 | 1997-01-07 | Xillix Technologies Corp. | Apparatus and method for imaging diseased tissue using integrated autofluorescence |
JP3117178B2 (ja) | 1994-09-26 | 2000-12-11 | 友佑 野々村 | 口腔組織観察装置 |
JPH09294705A (ja) | 1996-04-30 | 1997-11-18 | Fuji Photo Film Co Ltd | 蛍光内視鏡 |
US6148060A (en) * | 1998-10-13 | 2000-11-14 | Siemens Medical Systems, Inc. | Integrated automatic exposure control for portal imaging in radiotherapy |
US6175759B1 (en) | 1999-06-28 | 2001-01-16 | The United States Of America As Represented By The Secretary Of The Air Force | Contrast agent for multispectral infrared transillumination and fluorescence of turbid media |
AU6754900A (en) | 1999-08-03 | 2001-02-19 | Biophysica, Llc | Spectroscopic systems and methods for detecting tissue properties |
US6343228B1 (en) | 1999-10-19 | 2002-01-29 | The Hong Kong University Of Science And Technology | Method and apparatus for fluorescence imaging of tissue |
JP3983947B2 (ja) | 1999-11-16 | 2007-09-26 | 富士フイルム株式会社 | 蛍光画像表示方法および装置 |
JP4133319B2 (ja) | 2000-07-14 | 2008-08-13 | ノバダック テクノロジーズ インコーポレイテッド | コンパクトな蛍光内視鏡映像システム |
US6763148B1 (en) * | 2000-11-13 | 2004-07-13 | Visual Key, Inc. | Image recognition methods |
US6615063B1 (en) | 2000-11-27 | 2003-09-02 | The General Hospital Corporation | Fluorescence-mediated molecular tomography |
US6899675B2 (en) | 2002-01-15 | 2005-05-31 | Xillix Technologies Corp. | Fluorescence endoscopy video systems with no moving parts in the camera |
AU2003288491A1 (en) * | 2002-12-13 | 2004-07-09 | Image Enhancement Technologies, Llc | Optical examination method and apparatus particularly useful for real-time discrimination of tumors from normal tissues during surgery |
JP4339184B2 (ja) | 2004-06-07 | 2009-10-07 | パナソニック株式会社 | サーバ装置、通信機器、通信システム、通信方法、プログラム及び記録媒体 |
JP2008522761A (ja) | 2004-12-08 | 2008-07-03 | ザ・ゼネラル・ホスピタル・コーポレーション | 規準化された蛍光又は生物発光撮像のためのシステムと方法 |
US8078265B2 (en) | 2006-07-11 | 2011-12-13 | The General Hospital Corporation | Systems and methods for generating fluorescent light images |
-
2006
- 2006-07-11 US US11/456,625 patent/US8078265B2/en not_active Expired - Fee Related
-
2007
- 2007-07-10 WO PCT/US2007/015295 patent/WO2008008231A2/en active Application Filing
- 2007-07-10 JP JP2009519457A patent/JP2009542415A/ja active Pending
- 2007-07-10 EP EP07810121A patent/EP2043500A2/en not_active Withdrawn
- 2007-07-10 EP EP13151501.7A patent/EP2583617A2/en not_active Withdrawn
-
2011
- 2011-10-17 US US13/274,781 patent/US8423127B2/en not_active Expired - Fee Related
-
2013
- 2013-01-24 JP JP2013011068A patent/JP2013121520A/ja active Pending
- 2013-01-24 JP JP2013011066A patent/JP2013099573A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003009739A2 (en) * | 2001-07-26 | 2003-02-06 | Given Imaging Ltd. | Apparatus and method for controlling illumination or imager gain in an in-vivo imaging device |
JP2004321414A (ja) * | 2003-04-23 | 2004-11-18 | Olympus Corp | 電子内視鏡の光量制御装置 |
EP1637062A1 (en) * | 2003-06-19 | 2006-03-22 | Olympus Corporation | Endoscopic device |
EP1491133A1 (en) * | 2003-06-23 | 2004-12-29 | Olympus Corporation | Endoscope apparatus for obtaining properly dimmed observation images |
US20060082845A1 (en) * | 2004-10-15 | 2006-04-20 | Pentax Corporation | Electronic endoscope |
Also Published As
Publication number | Publication date |
---|---|
EP2043500A2 (en) | 2009-04-08 |
WO2008008231A2 (en) | 2008-01-17 |
US8423127B2 (en) | 2013-04-16 |
US20120150043A1 (en) | 2012-06-14 |
EP2583617A2 (en) | 2013-04-24 |
WO2008008231A3 (en) | 2008-07-24 |
JP2013121520A (ja) | 2013-06-20 |
JP2009542415A (ja) | 2009-12-03 |
US8078265B2 (en) | 2011-12-13 |
US20080015446A1 (en) | 2008-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013099573A (ja) | 蛍光光画像の発生システムおよび方法 | |
US10314490B2 (en) | Method and device for multi-spectral photonic imaging | |
KR100411631B1 (ko) | 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법 | |
US10634615B2 (en) | Method of correcting a fluorescence image | |
JP2008522761A (ja) | 規準化された蛍光又は生物発光撮像のためのシステムと方法 | |
JP5923099B2 (ja) | 診断システム | |
CN111031888B (zh) | 用于内窥镜成像的系统和用于处理图像的方法 | |
JP2009545737A (ja) | 蛍光ベースのDNAイメージサイメトリーを用いたinvivoでの癌の検出及び/又は診断方法 | |
JP7221285B2 (ja) | 切除縁を術中に評価するための画像化方法およびシステム | |
JP5393215B2 (ja) | 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法 | |
US20030216626A1 (en) | Fluorescence judging method and apparatus | |
CN111970960A (zh) | 使用短波红外(swir)投影层析成像对解剖器官和内含物进行3d重建的系统和方法 | |
KR102141541B1 (ko) | 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기 및 이를 이용한 병변 부피 측정 방법 | |
JP6834040B2 (ja) | 蛍光媒介光電式容積脈波記録法を用いた組織中の絶対血流の定量化 | |
WO2011162721A1 (en) | Method and system for performing tissue measurements | |
JP2018027401A (ja) | 表示装置、表示方法および表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130603 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131112 |