JP2011200367A - 画像撮像方法および装置 - Google Patents

画像撮像方法および装置 Download PDF

Info

Publication number
JP2011200367A
JP2011200367A JP2010069501A JP2010069501A JP2011200367A JP 2011200367 A JP2011200367 A JP 2011200367A JP 2010069501 A JP2010069501 A JP 2010069501A JP 2010069501 A JP2010069501 A JP 2010069501A JP 2011200367 A JP2011200367 A JP 2011200367A
Authority
JP
Japan
Prior art keywords
light
image
emitted
imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010069501A
Other languages
English (en)
Inventor
Mitsuharu Yoshida
光治 吉田
Hitoshi Shimizu
清水　　仁
Kazuhiko Katakura
和彦 片倉
Takayuki Iida
孝之 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010069501A priority Critical patent/JP2011200367A/ja
Priority to US12/979,272 priority patent/US20110237895A1/en
Publication of JP2011200367A publication Critical patent/JP2011200367A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

【課題】体表から所望の深さに存在する血管を強調して表示したり、通常画像と蛍光画像とを重ね合わせた合成画像をより適切なコントラストで表示したりする。
【解決手段】複数の光源４０，４６，４９から射出された互いに異なる波長帯域の光を、蛍光薬剤が投与された被観察部に照射する光照射部と、各光の照射によって被観察部から発せられた光を受光して各光に対応する画像を撮像する撮像部２０とを備えた画像撮像装置において、各光源４０，４６，４９から射出させる各光の光量比を変更する光量比変更部３８ａを備える。
【選択図】図８

Description

本発明は、複数の光源から互いに異なる波長帯域の光を射出させ、各光を蛍光薬剤が投与された被観察部に照射して各光に対応する画像を撮像する画像撮像方法および装置に関するものである。
従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。
また、上記のような内視鏡システムとして、たとえば、ＩＣＧ（インドシアニングリーン）を予め体内に投入し、励起光を被観察部に照射して血管内やリンパ管内のＩＣＧの蛍光を検出することによって蛍光画像を取得するものも提案されている（たとえば、特許文献１および特許文献２参照）。
特開２００１−２９９６７６号公報 特開２００７−２４４７４６号公報 特許第３５８３７３１号公報
ここで、上述したような内視鏡システムによる診断においては、生体組織の表層や深層にかけての組織情報などが重要な観察対象となる。たとえば、消化管癌は早期から腫瘍血管が粘膜の表層に現れ、腫瘍血管は通常は表層に見える血管に比べると膨張や蛇行、血管の密度の増加などが認められる。そのため、血管の性状を精査することで腫瘍の種類を識別できる。
しかしながら、たとえば、上述したようなＩＣＧを用いた血管画像の観察を行う場合、励起光として用いられる近赤外光は生体への進達度が大きいため、蛍光画像上において深層に存在する血管まで観察することが可能であるが、上述したような表層の血管については、ぼけてしまって鮮明な画像を観察することができない。
一方、たとえば、特許文献３においては、カラーフィルタを用いて被観察部に狭帯域光を照射することによって生体組織の組織表面近くの画像を取得することが提案されているが、カラーフィルタの透過波長い地域を特定の狭い帯域内に限定することは難しく、さらに狭帯域光はカラーフィルタを通過したものであるため、十分な光量ではなく画像の画質劣化を招く問題がある。また、深層に存在する血管画像を観察する場合も同様の問題がある。
また、比較的波長の短い励起光に対して蛍光を発する蛍光薬剤を用いて表層の血管画像を取得することも考えられるが、この場合、表層の血管画像は観察できるが、逆に深層に存在する血管画像を観察することができない。
また、たとえば、通常画像と蛍光画像とを重ね合わせて合成画像を表示するような場合、これらの画像の明るさが大きく異なっているとコントラストが適切でない非常に見づらい画像となってしまう。
本発明は、上記の問題に鑑みてなされたものであり、たとえば、体表から所望の深さに存在する血管を強調して表示することができ、また、通常画像と蛍光画像とを重ね合わせた合成画像をより適切なコントラストで表示することができる画像撮像方法および装置を提供することを目的とする。
本発明の画像撮像方法は、少なくとも１つの励起光源を含む複数の光源から互いに異なる波長帯域の光を射出させ、各光を蛍光薬剤が投与された被観察部に照射し、各光の照射によって被観察部から発せられた光を受光して各光に対応する画像を撮像する画像撮像方法において、各光源から射出させる各光の光量比を変更することを特徴とする。
本発明の画像撮像装置は、少なくとも１つの励起光源を含む複数の光源から射出された互いに異なる波長帯域の光を、蛍光薬剤が投与された被観察部に照射する光照射部と、各光の照射によって被観察部から発せられた光を受光して各光に対応する画像を撮像する撮像部とを備えた画像撮像装置において、各光源から射出させる各光の光量比を変更する光量比変更部を備えたことを特徴とする。
また、上記本発明の画像撮像装置においては、光源として複数の励起光源を備えたものとし、光量比変更部を、各励起光源から射出された各励起光の光量比を変更するものとすることができる。
また、光源として通常光を射出する通常光源を備えたものとし、光量比変更部を、励起光源から射出された励起光と通常光源から射出された通常光の光量比を変更するものとすることができる。
また、複数の励起光源から射出される各励起光として、被観察部に投与された複数の蛍光薬剤をそれぞれ励起するものを用いることができる。
また、光量比変更部を、各励起光の照射によって撮像部により撮像された各画像の強度が異なるものとなるように光量比を変更するものとすることができる。
また、光量比変更部を、各励起光の照射によって撮像部により撮像された各画像の強度が同じになるように光量比を変更するものとすることができる。
また、撮像部を、各光に対応する画像を撮像する複数の撮像素子を備えたものとし、光量比変更部を、各撮像素子の感度に基づいて予め設定された光量比の値に応じて各光の光量比を変更するものとすることができる。
また、撮像部を、各光に対応する画像を撮像する１つの撮像素子を備えたものとし、光量比変更部を、撮像素子の感度に基づいて予め設定された光量比の値に応じて各光の光量比を変更するものとすることができる。
本発明の画像撮像方法および装置は、少なくとも１つの励起光源を含む複数の光源から互いに異なる波長帯域の光を射出させ、各光を蛍光薬剤が投与された被観察部に照射し、各光の照射によって被観察部から発せられた光を受光して各光に対応する画像を撮像する画像撮像方法において、各光源から射出させる各光の光量比を変更できるようにしたので、たとえば、短い波長帯域の光と長い波長帯域の光との光量比を変更することによって、体表から所望の深さに存在する血管を強調して表示することができる。また、たとえば、白色光と励起光の光量比を変更することによって、通常画像と蛍光画像とを重ね合わせた合成画像をより適切なコントラストで表示することができる。
本発明の画像撮像装置の一実施形態を用いた硬性鏡システムの概略構成図 体腔挿入部の概略構成図 体腔挿入部の先端部の概略構成図 図３の４−４’線断面図 体腔挿入部の各投光ユニットによって照射される光のスペクトルおよびその光の照射によって被観察部から発せられる蛍光および反射光のスペクトルを示す図 本発明の画像撮像装置の第１の実施形態の撮像ユニットの概略構成図 第１の実施形態の撮像ユニットの分光感度を示す図 プロセッサおよび光源装置の概略構成を示すブロック図 画像処理部の概略構成を示すブロック図 表層の血管と深層の血管とを示す模式図 深部蛍光画像の生成方法の概念を説明するための模式図 本発明の画像撮像装置の第１の実施形態における通常画像、ＩＣＧ蛍光画像およびルシフェラーゼ蛍光画像の撮像タイミングを示すタイミングチャート 通常画像、蛍光画像および合成画像を表示する作用を説明するためのフローチャート エッジ検出を用いた線分抽出処理を説明するためのフローチャート 本発明の画像撮像装置の第２の実施形態の撮像ユニットの概略構成図 第２の実施形態の撮像ユニットの分光感度を示す図 第２の実施形態の撮像ユニットの高感度撮像素子による各画像の撮像方法を説明するための図 本発明の画像撮像装置の第２の実施形態における通常画像、ＩＣＧ蛍光画像およびルシフェラーゼ蛍光画像の撮像タイミングを示すタイミングチャート
以下、図面を参照して本発明の画像撮像方法および画像撮像装置の第１の実施形態を用いた硬性鏡システムについて詳細に説明する。図１は、本実施形態の硬性鏡システム１の概略構成を示す外観図である。
本実施形態の硬性鏡システム１は、図１に示すように、青色光と近赤外光と近紫外光を射出する光源装置２と、光源装置２から射出された３種類の光を導光して被観察部に照射するとともに、励起光の照射により被観察部から発せられた蛍光に基づく蛍光像および白色光の照射により被観察部から反射された反射光に基づく通常像を撮像する硬性鏡撮像装置１０と、硬性鏡撮像装置１０によって撮像された画像信号に所定の処理を施すとともに、光源装置２から射出される各光の光量を制御するプロセッサ３と、プロセッサ３において生成された表示制御信号に基づいて被観察部の蛍光画像および通常画像を表示するモニタ４とを備えている。
硬性鏡撮像装置１０は、図１に示すように、腹腔や胸腔などの体腔内に挿入される体腔挿入部３０と、体腔挿入部３０によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット２０とを備えている。
また、硬性鏡撮像装置１０は、図２に示すように、体腔挿入部３０と撮像ユニット２０とが着脱可能に接続されている。そして、体腔挿入部３０は接続部材３０ａ、挿入部材３０ｂ、およびケーブル接続口３０ｃを備えている。
接続部材３０ａは、体腔挿入部３０（挿入部材３０ｂ）の一端側３０Ｘに設けられており、たとえば撮像ユニット２０側に形成された開口２０ａに嵌め合わされることにより、撮像ユニット２０と体腔挿入部３０とが着脱可能に接続される。
挿入部材３０ｂは、体腔内の撮影を行う際に体腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略５ｍｍの円柱形状を有している。挿入部材３０ｂの内部には、被観察部の像を結像するためのレンズ群が収容されており、他端側３０Ｙから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側３０Ｘの撮像ユニット２０側に射出される。
挿入部材３０ｂの側面にはケーブル接続口３０ｃが設けられており、このケーブル接続口３０ｃに光ケーブルＬＣが機械的に接続される。これにより、光源装置２と挿入部材３０ｂとが光ケーブルＬＣを介して光学的に接続されることになる。
また、図３に示すように、体腔挿入部３０の他端側３０Ｙには、略中央に通常像および蛍光像を結像する撮像レンズ３０ｄが設けられており、その撮像レンズ３０ｄを挟んで略対称に白色光を照射する白色光用照射レンズ３０ｅ，３０ｆが設けられている。このように白色光用照射レンズを撮像レンズ３０ｄに対して対称に２つ設けるようにしているのは、被観察部の凹凸によって通常像に陰影ができないようにするためである。
また、体腔挿入部３０の他端側３０Ｙには、励起光である近赤外光と近紫外光とを被観察部に同時に照射する励起光用照射レンズ３０ｇが設けられている。
また、図４に、図３の４-４’線断面図を示す。図４に示すように、体腔挿入部３０内には、白色光投光ユニット７０と励起光投光ユニット６０とが設けられている。白色光投光ユニット７０は、青色光を導光するマルチモード光ファイバ７１と、マルチモード光ファイバ７１によって導光された青色光の一部を吸収して励起され、緑色〜黄色の可視光を発する蛍光体７２とを備えている。蛍光体７２は、複数種類の蛍光物質から形成されており、たとえば、ＹＡＧ系蛍光体、あるいはＢＡＭ（ＢａＭｇＡｌ１０Ｏ１７）等の蛍光物質などを含んで形成される。
そして、蛍光体７２の外周を覆うように筒状のスリーブ部材７３が設けられており、スリーブ部材７３の内部には、マルチモード光ファイバ７１を中心軸として保持するフェニール７４が挿入されている。さらに、フェニール７４の後端側（先端側とは逆側）から延出されるマルチモード光ファイバ７１には、その外皮を覆うフレキシブルスリーブ７５がスリーブ部材７３との間に挿入されている。
また、励起光投光ユニット６０は、近赤外光および近紫外光を導光するマルチモード光ファイバ６１を備えており、マルチモード光ファイバ６１と励起光用照射レンズ３０ｇとの間には空間６２が設けられている。なお、励起光投光ユニット６０にも、空間６２の外周を覆うように筒状のスリーブ部材６３が設けられており、白色光投光ユニット７０と同様に、フェニール６４およびフレキシブルスリーブ６５が設けられている。
また、図３の各照射レンズ内の点線の丸は、マルチモード光ファイバの出射端を示している。各投光ユニットにおいて使用されるマルチモード光ファイバとしては、たとえば、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径が直径０．３ｍｍ〜０．５ｍｍの細径なものを使用することができる。
ここで、各投光ユニットによって被観察部に照射される光のスペクトルおよびその光の照射によって被観察部から発せられる蛍光および反射光のスペクトルを図５に示す。図５には、白色光投光ユニット７０の蛍光体７２を透過して照射された青色光スペクトルＳ１と、白色光投光ユニット７０の蛍光体７２において励起されて照射された緑色〜黄色の可視光スペクトルＳ２と、励起光投光ユニット６０によって照射された近赤外光スペクトルＳ３および近紫外光スペクトルＳ５とが示されている。
なお、本明細書における白色光とは、厳密に可視光の全ての波長成分を含むものに限らず、たとえば、基準光であるＲ（赤）、Ｇ（緑）、Ｂ（青）等、特定の波長帯の光を含むものであればよく、たとえば、緑色から赤色にかけての波長成分を含む光や、青色から緑色にかけての波長成分を含む光なども広義に含むものとする。したがって、白色光投光ユニット７０は、図５に示すような青色光スペクトルＳ１と可視光スペクトルＳ２とを照射するものであるが、これらのスペクトルからなる光も白色光であるとする。
さらに、図５には、励起光投光ユニット６０による近赤外光スペクトルＳ３の照射によって発せられたＩＣＧ蛍光スペクトルＳ４と、励起光投光ユニット６０による近紫外光スペクトルＳ５の照射によって発せられたルシフェラーゼ蛍光スペクトルＳ６とが示されている。
図６は、撮像ユニット２０の概略構成を示す図である。撮像ユニット２０は、近赤外の励起光の照射によって被観察部から発せられたＩＣＧ蛍光像を撮像して被観察部のＩＣＧ蛍光画像信号を生成する第１の撮像系と、近紫外の励起光の照射によって被観察部から発せられたルシフェラーゼ蛍光像を撮像して被観察部のルシフェラーゼ蛍光画像信号を生成するとともに、白色光の照射によって被観察部から反射された通常像を撮像して被観察部の通常画像信号を生成する第２の撮像系とを備えている。
第１の撮像系は、被観察部から発せられたＩＣＧ蛍光像を透過させるダイクロイックプリズム２１と、ダイクロイックプリズム２１を透過したＩＣＧ蛍光像を透過するとともに、ダイクロイックプリズム２１を透過した近赤外の励起光をカットする近赤外光カットフィルタ２２と、近赤外光カットフィルタ２２を透過したＩＣＧ蛍光像を結像する第１結像光学系２３と、第１結像光学系２３により結像されたＩＣＧ蛍光像を撮像する第１高感度撮像素子２４とから構成されている。
第２の撮像系は、被観察部から反射された通常像およびルシフェラーゼ蛍光像を直角方向に反射するするダイクロイックプリズム２１と、ダイクロイックプリズム２１により反射された通常像およびルシフェラーゼ蛍光像を結像する第２結像光学系２５と、第２結像光学系２５によって結像された通常像およびルシフェラーゼ蛍光像を異なるタイミングで撮像する第２高感度撮像素子２６とから構成されている。そして、第２高感度撮像素子２６の撮像面には、３原色の赤（Ｒ）、緑（Ｇ）および青（Ｂ）のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。
また、ダイクロイックプリズム２１の光入射面には、近紫外光の入射をカットするための紫外光カットフィルタ２７が設けられている。紫外光カットフィルタ２７は、紫外光の波長帯域３７５ｎｍをカットするハイパスフィルタにより構成されている。
ここで、図７に、撮像ユニット２０の分光感度のグラフを示す。具体的には、撮像ユニット２０は、第１の撮像系がＩＲ（近赤外）感度を有し、第２の撮像系がＲ（赤）感度、Ｇ（緑）感度、Ｂ（青）感度を有するように構成されている。
また、撮像ユニット２０は、撮像制御ユニット２０ａを備えている。撮像制御ユニット２０ａは、高感度撮像素子２４，２６を制御するとともに、高感度撮像素子２４，２６から出力された画像信号に対し、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理を施し、ケーブル５（図１参照）を介してプロセッサ３に出力するものである。
図８にプロセッサ３および光源装置２の内部の概略構成を示すブロック図を示す。
プロセッサ３は、図８に示すように、通常画像入力コントローラ３１、蛍光画像入力コントローラ３２、画像処理部３３、メモリ３４、ビデオ出力部３５、操作部３６、ＴＧ（タイミングジェネレータ）３７および制御部３８を備えている。
通常画像入力コントローラ３１および蛍光画像入力コントローラ３２は、所定容量のラインバッファを備えており、撮像ユニット２０の撮像制御ユニット２０ａから出力された１フレーム分のＲＧＢ成分の画像信号からなる通常画像信号、ＩＣＧ蛍光画像信号およびルシフェラーゼ蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ３１に記憶された通常画像信号および蛍光画像入力コントローラ３２に記憶された蛍光画像信号はバスを介してメモリ３４に格納される。
画像処理部３３は、メモリ３４から読み出された１フレーム分の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。
画像処理部３３は、図９に示すように、入力された通常画像信号（ＲＧＢ成分の画像信号）に対し、通常画像に適した所定の画像処理を施して出力する通常画像処理部３３ａと、入力されたＩＣＧ蛍光画像信号およびルシフェラーゼ蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部３３ｂと、蛍光画像処理部３３ｂにおいて画像処理の施されたＩＣＧ蛍光画像信号およびルシフェラーゼ蛍光画像信号に対して、血管を表す画像信号を抽出する処理を施す血管抽出部３３ｃと、ＩＣＧ蛍光画像信号から抽出された血管を表す画像信号（以下、「ＩＣＧ蛍光血管画像信号」という）からルシフェラーゼ蛍光画像信号から抽出された血管を表す画像信号（以下、「ルシフェラーゼ蛍光血管画像信号」という）を差し引いて深部血管画像信号を生成する画像演算部３３ｄと、画像演算部３３ｄによって生成された深部血管画像信号やＩＣＧ蛍光画像信号やルシフェラーゼ蛍光画像信号を通常画像処理部３３ａから出力された通常画像信号に合成して合成画像信号を生成する画像合成部３３ｅとを備えている。なお、画像処理部３３の各部における処理については、後で詳述する。
ビデオ出力部３５は、画像処理部３３から出力された通常画像信号、蛍光画像信号および合成画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力するものである。
操作部３６は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。また、ＴＧ３７は、撮像ユニット２０の高感度撮像素子２４，２６および後述する光源装置２のＬＤドライバ４３，４８，５１を駆動するための駆動パルス信号を出力するものである。
また、制御部３８は、システム全体を制御するものであるが、本実施形態の制御部３８は、後述する光源装置２から射出される青色光、近赤外光および近紫外光の光量の比を変更する光量比変更部３８ａを備えている。光量比変更部３８ａによる光量比の変更については後で詳述する。
光源装置２は、図８に示すように、中心波長４４５ｎｍの青色光を射出する青色ＬＤ光源４０と、青色ＬＤ光源４０から射出された青色光を集光して光ファイバスプリッタ４２に入射させる集光レンズ４１と、集光レンズ４１から入射された青色光を光ケーブルＬＣ１と光ケーブルＬＣ２との両方に同時に入射する光ファイバスプリッタ４２と、青色ＬＤ光源４０を駆動するＬＤドライバ４３とを備えている。
また、光源装置２は、７５０〜７９０ｎｍの近赤外光を射出する近赤外ＬＤ光源４６と、近赤外ＬＤ光源４６から射出された近赤外光を集光して光ファイバカプラ５２に入射させる集光レンズ４７と、近赤外ＬＤ光源４６を駆動するＬＤドライバ４８とを備えている。
また、光源装置２は、３００〜４５０ｎｍの近紫外光を射出する近紫外ＬＤ光源４９と、近紫外ＬＤ光源４９から射出された近紫外光を集光して光ファイバカプラ５２に入射させる集光レンズ５０と、近紫外ＬＤ光源４９を駆動するＬＤドライバ５１とを備えている。
また、光源装置２における光ファイバカプラ５２は、近赤外ＬＤ光源４６から射出された近赤外光と近紫外ＬＤ光源４９から射出された近紫外光とを光ケーブルＬＣ３の入射端に入射させるものである。
なお、本実施形態においては、２種類の励起光として近赤外光と近紫外光とを用いるようにしたが、励起光としてはこれに限らず、一方の励起光の波長よりも他方の励起光の波長の方が短いものでればその他の波長の励起光を用いるようにしてもよく、被観察部に投与される蛍光色素の種類もしくは自家蛍光させる生体組織の種類などによって適宜決定される。
また、光源装置２は、光ケーブルＬＣを介して硬性鏡撮像装置１０に光学的に接続されるが、光ケーブルＬＣ１およびＬＣ２は、それぞれ白色光投光ユニット７０のマルチモード光ファイバ７１に光学的に接続され、光ケーブルＬＣ３は励起光投光ユニット６０のマルチモード光ファイバ６１に光学的に接続されるものとする。
次に、上述した第１の実施形態の硬性鏡システムの作用について説明する。
まず、具体的なシステムの作用の説明の前に、本実施形態において取得する血管画像について模式図を用いて説明する。本実施形態においては、ＩＣＧ蛍光画像とルシフェラーゼ蛍光画像とを用いて血管画像を取得する。
ここで、ＩＣＧ蛍光画像の励起光である近赤外光は体表から比較的深層まで到達するため、図１０に示すような体表から１ｍｍ〜３ｍｍ程度の深層に存在する深層血管画像をＩＣＧ蛍光画像により取得することができるが、体表から１ｍｍ程度の表層に存在する表層血管画像についてはぼやけて見えてしまう。一方、ルシフェラーゼ蛍光画像の励起光である近紫外光は短波長であるため、ルシフェラーゼ蛍光画像には体表から１ｍｍ程度の表層に存在する表層血管画像が鮮明に表れるが、深層血管画像は観察することができない。
そこで、本実施形態においては、上述したようなＩＣＧ蛍光画像とルシフェラーゼ蛍光画像の性質を踏まえ、近赤外光と近紫外光の光量比を変更することによって、深層から表層までの血管画像を各深さ範囲に応じて適切に表示するようにする。
また、深部血管画像のみを取得する際、ＩＣＧ蛍光画像のみを取得したのでは、このＩＣＧ蛍光画像には深部血管画像だけでなく表層血管画像の情報も含まれるため、この表層血管画像が不要な情報として現われてしまう。一方、上述したようにルシフェラーゼ蛍光画像は表層血管画像の情報のみを含むものとなる。
そこで、深部血管画像のみを取得する際には、図１１に示すように、ＩＣＧ蛍光画像からルシフェラーゼ蛍光画像を減算することによって深部血管画像を取得する。そして、この減算を適切に行うため、ＩＣＧ蛍光画像信号の大きさとルシフェラーゼ蛍光画像信号との大きさが同じになるように近赤外光と近紫外光の光量比を変更する。
以下、本実施形態の硬性鏡システムの具体的な作用について説明する。
まず、操作者により体腔挿入部３０が体腔内に挿入され、体腔挿入部３０の先端が被観察部の近傍に設置される。なお、被観察部には、予めＩＣＧとルシフェラーゼとが投与されているものとする。
そして、まず、通常画像の撮像の作用について説明する。ＩＣＧ蛍光画像および通常画像の撮像の際には、具体的には、光源装置２の青色ＬＤ光源４０から射出された青色光が、集光レンズ４１および光ファイバスプリッタ４２を介して光ケーブルＬＣ１およびＬＣ２に入射される。そして、さらに青色光は光ケーブルＬＣ１，ＬＣ２により導光されて体腔挿入部３０に入射され、体腔挿入部３０内の白色光投光ユニット７０のマルチモード光ファイバ７１によって導光される。そして、マルチモード光ファイバ７１の出射端から出射された青色光は、一部は蛍光体７２を透過して被観察部に照射され、一部以外は蛍光体７２によって緑色〜黄色の可視光に波長変換され、その可視光が被観察部に照射される。すなわち、青色光と緑色〜黄色の可視光とからなる白色光が被観察部に照射される。
そして、白色光の照射によって被観察部から反射された反射光に基づく通常像が撮像される。
具体的には、通常像の撮像の際には、白色光の照射によって被観察部から反射された反射光が挿入部材３０ｂの先端３０Ｙの撮像レンズ３０ｄから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
撮像ユニット２０に入射された反射光は、紫外光カットフィルタ２７を透過した後、ダイクロイックプリズム２１によって直角方向に反射され、第２結像光学系２５によって第２高感度撮像素子２６の撮像面に結像され、第２高感度撮像素子２６によって撮像される。
そして、第２高感度撮像素子２６からそれぞれ出力されたＲ、Ｇ、Ｂの画像信号は、撮像制御ユニット２０ａにおいてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介してプロセッサ３に出力される。
次に、ＩＣＧ蛍光画像およびルシフェラーゼ蛍光画像の撮像の作用について説明する。
ＩＣＧ蛍光画像およびルシフェラーゼ蛍光画像の撮像の際には、光源装置２の近赤外ＬＤ光源４６から射出された近赤外光が集光レンズ４７により光ファイバカプラ５２に入射されるとともに、近紫外ＬＤ光源４９から射出された近紫外光が集光レンズ５０により光ファイバカプラ５２に入射され、近赤外光と近紫外光とが光ファイバカプラ５２において結合されて光ケーブルＬＣ３に入射される。
そして、近赤外光と近紫外光とが光ケーブルＬＣ３を介して体腔挿入部３０に入射され、体腔挿入部３０内の励起光投光ユニット６０のマルチモード光ファイバ６１によって導光されて被観察部に同時に照射される。
そして、近赤外光の照射によって被観察部から発せられたＩＣＧ蛍光像と近紫外光の照射によって被観察部から発せられたルシフェラーゼ蛍光像とが、挿入部材３０ｂの先端３０Ｙの撮像レンズ３０ｄから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
撮像ユニット２０に入射されたＩＣＧ蛍光像は、紫外光カットフィルタ２７、ダイクロイックプリズム２１および近赤外光カットフィルタ２２を透過した後、第１結像光学系２３により第１高感度撮像素子２４の撮像面上に結像され、第１高感度撮像素子２４によって撮像される。第１高感度撮像素子２４から出力されたＩＣＧ蛍光画像信号は、撮像制御ユニット２０ａにおいてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介してプロセッサ３に出力される。
一方、撮像ユニット２０に入射されたルシフェラーゼ蛍光像は、紫外光カットフィルタ２７を透過した後、ダイクロイックプリズム２１によって直角方向に反射され、第２結像光学系２５によって第２高感度撮像素子２６の撮像面に結像され、第２高感度撮像素子２６によって撮像される。
そして、第２高感度撮像素子２６からそれぞれ出力されたＲ、Ｇ、Ｂの画像信号は、撮像制御ユニット２０ａにおいてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介してプロセッサ３に出力される。
ここで、上述した通常画像、ＩＣＧ蛍光画像およびルシフェラーゼ蛍光画像のそれぞれの撮像タイミングを示すタイミングチャートを図１２（ａ）〜（ｅ）に示す。図１２（ａ）〜（ｅ）に示すタイミングチャートは、横軸が経過時間で縦軸が高感度撮像素子のフレームレートになっている。
図１２（ａ）〜（ｃ）はＲ，Ｇ，Ｂの通常画像信号を撮像する第２高感度撮像素子２６の撮像タイミングであり、図１２（ｄ）はルシフェラーゼ蛍光画像を撮像する第２高感度撮像素子２６の撮像タイミングであり、図１２（ｅ）はＩＣＧ蛍光画像を撮像する第１高感度撮像素子２４の撮像タイミングである。
図１２（ａ）〜（ｃ）に示すＲ、Ｇ、Ｂの画像信号のタイミングチャートにおいては、
周期０．１ｓ、デューティー比０．７５、フレームレート４０ｆｐｓで撮像を行っている。また、図１２（ｄ）に示すルシフェラーゼ蛍光画像のタイミングチャートにおいては、周期０．１ｓ、デューティー比０．２５、フレームレート４０ｆｐｓで撮像を行っている。また、図１２（ｅ）に示すＩＣＧ蛍光画像のタイミングチャートにおいては、デューティー比１、フレームレート１０ｆｐｓで撮像を行っている。
そして、通常画像とルシフェラーゼ蛍光画像とはＢの成分が同じ色成分であり同時に撮像することができないので、図１２（ａ）〜（ｃ）と図１２（ｄ）に示すように、互いに異なるタイミングで撮像される。
そして、図１２（ａ）〜（ｅ）のタイミングチャートに対応して光源装置２の青色ＬＤ光源４０、近赤外ＬＤ光源４６および近紫外ＬＤ光源４９が駆動制御されるが、このとき本実施形態においては、上述したように深層から表層までの血管画像を各深さ範囲に応じて適切に表示できるように近赤外光と近紫外光の光量比を変更する。
また、深部血管画像のみを取得する場合には、ＩＣＧ蛍光画像信号の大きさとルシフェラーゼ蛍光画像信号との大きさが同じになるように近赤外光と近紫外光の光量比を変更する。
具体的には、操作部３６において操作者によって観察したい血管画像の深さ情報が入力され、血管画像の深さ情報が制御部３８の光量比変更部３８ａに入力される。そして、光量比変更部３８ａは、入力された血管画像の深さ情報に応じた近赤外光と近紫外の光量比を取得し、その光量比に応じた制御信号をＴＧ３７に出力する。
ここで、光量比変更部３８ａには、血管画像の深さ情報に応じた光量比が予めテーブルなどによって設定されている。たとえば、表層の深さ情報に対しては、ルシフェラーゼ蛍光画像信号の方がＩＣＧ蛍光画像信号よりも大きくなるように近赤外光と近紫外の光量比が設定され、深層（表層も含む）の深さ情報に対しては、ＩＣＧ蛍光画像信号の方がルシフェラーゼ蛍光画像信号よりも大きくなるように近赤外光と近紫外の光量比が設定され、また、深層のみの深さ情報に対しては、ＩＣＧ蛍光画像信号とルシフェラーゼ蛍光画像信号とが同じ大きさとなるように近赤外光と近紫外の光量比が設定される。また、表層と深層との間は段階的に光量比を設定するようにしてもよい。
なお、近赤外光と近紫外の光量比は、ＩＣＧとルシフェラーゼの発光強度の特性や、ＩＣＧ蛍光画像を撮像する第１高感度撮像素子２４とルシフェラーゼ蛍光画像を撮像する第２高感度撮像素子２６との感度およびゲインなどを考慮して設定されるものとする。
また、近赤外光と近紫外の光量比の初期値としては、たとえば、ＩＣＧ蛍光画像信号とルシフェラーゼ蛍光画像信号とが同じ大きさとなるように設定するようにすればよい。
そして、近赤外光と近紫外の光量比は、操作者がモニタ４に表示された蛍光画像を観察しながら随時変更可能である。
次に、上記のようにして撮像ユニット２０において撮像されたＲ、Ｇ、Ｂの画像信号からなる通常画像信号、ＩＣＧ蛍光画像信号およびルシフェラーゼ蛍光画像信号に基づいて通常画像、蛍光画像および合成画像を表示する作用について、図８および図９と、図１３および図１４に示すフローチャートとを参照しながら説明する。
まず、通常画像、ＩＣＧ蛍光画像およびルシフェラーゼ蛍光画像を表示する作用について説明する。
プロセッサ３に入力されたＲ，Ｇ、Ｂ画像信号からなる通常画像信号は、通常画像入力コントローラ３１において一時的に記憶された後、メモリ３４に格納される（図１３、Ｓ２０）。そして、メモリ３４から読み出された１フレーム分の通常画像信号は、画像処理部３３の通常画像処理部３３ａにおいて階調補正処理およびシャープネス補正処理が施された後（図１３、Ｓ２２，Ｓ２４）、ビデオ出力部３５に出力される。
そして、ビデオ出力部３５は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて通常画像を表示する（図１３、Ｓ３０）。
また、プロセッサ３に入力されたＩＣＧ蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に記憶された後、メモリ３４に格納される（図１３、Ｓ１４）。そして、メモリ３４から読み出された１フレーム分のＩＣＧ蛍光画像信号は、画像処理部３３の蛍光画像処理部３３ｂにおいて階調補正処理およびシャープネス補正処理が施された後（図１３、Ｓ３２，Ｓ３４）、ビデオ出力部３５に出力される。
そして、ビデオ出力部３５は、入力されたＩＣＧ蛍光画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいてＩＣＧ蛍光画像を表示する（図１３、Ｓ３６）。
また、プロセッサ３に入力されたルシフェラーゼ蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に記憶された後、メモリ３４に格納される（図１３、Ｓ１４）。そして、メモリ３４から読み出された１フレーム分のルシフェラーゼ蛍光画像信号は、画像処理部３３の蛍光画像処理部３３ｂにおいて階調補正処理およびシャープネス補正処理が施された後（図１３、Ｓ３２，Ｓ３４）、ビデオ出力部３５に出力される。
そして、ビデオ出力部３５は、入力されたルシフェラーゼ蛍光画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいてルシフェラーゼ蛍光画像を表示する（図１３、Ｓ３６）。
次に、ＩＣＧ蛍光画像およびルシフェラーゼ蛍光画像と通常画像とを合成した合成画像を表示する作用について説明する。
上記合成画像を生成する際には、通常画像処理部３３ａにおいて階調補正処理およびシャープネス補正処理が施された通常画像信号と、蛍光画像処理部３３ｂにおいて階調補正処理およびシャープネス補正処理が施されたＩＣＧ蛍光画像信号およびルシフェラーゼ蛍光画像信号とが画像合成部３３ｅに出力される。
そして、画像合成部３３ｅは、入力されたＩＣＧ蛍光画像信号およびルシフェラーゼ蛍光画像信号を通常画像信号に合成し合成画像信号を生成する（図１３、Ｓ２６）。
そして、画像合成部３３ｅにおいて生成された合成画像信号は、ビデオ出力部３５に出力され、ビデオ出力部３５は、入力された合成画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて合成画像を表示する（図１３、Ｓ２８）。
次に、ＩＣＧ蛍光画像信号およびルシフェラーゼ蛍光画像信号に基づいて深部血管画像を生成し、その深部血管画像と通常画像とを合成した合成画像を表示する作用について説明する。
プロセッサ３に入力されたＩＣＧ蛍光画像信号とルシフェラーゼ蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に記憶された後、メモリ３４に格納される（図１３、Ｓ１０，Ｓ１４）。
そして、メモリ３４に格納されたルシフェラーゼ蛍光画像信号とＩＣＧ蛍光画像信号とが、画像処理部３３の血管抽出部３３ｃに入力される。そして、血管抽出部３３ｃにおいて血管抽出処理が施される（図１３、Ｓ１２，Ｓ１６）。
血管抽出処理は線分抽出処理を行うことによって行われる。本実施形態においては、エッジ検出とそのエッジ検出によって検出したエッジから孤立点を除去することによって線分抽出処理を行う。エッジ検出方法としては、たとえば、１次微分を用いたキャニー法を用いることができる。図１４に、キャニー法によるエッジ検出を用いた線分抽出処理を説明するためのフローチャートを示す。
図１４に示すように、まず、ＩＣＧ蛍光画像信号およびルシフェラーゼ蛍光画像信号のそれぞれに対し、ＤＯＧ（Derivative of Gaussian）フィルタを用いたフィルタ処理が施される（図１４、Ｓ１０〜Ｓ１４）。このＤＯＧフィルタを用いたフィルタ処理は、ノイズを減らすためのガウシアンフィルタ処理（平滑化処理）と濃度勾配を検出するためのｘ，ｙ方向の１次微分フィルタ処理とを組み合わせた処理である。
そして、フィルタ処理済のＩＣＧ蛍光画像信号およびルシフェラーゼ蛍光画像信号のそれぞれについて、濃度勾配の大きさと方向が計算される（図１４、Ｓ１６）。そして、濃度勾配の極大点を抽出し、それ以外の非極大点を除去する（図１４、Ｓ１８）。
そして、その極大点と所定の閾値とを比較し、所定の閾値以上の極大点をエッジとして検出する（図１４、Ｓ２０）。さらに、極大点であり所定の閾値以上であるが、連続したエッジを構成していない孤立点を除去する処理を行う（図１４、Ｓ２２）。孤立点の除去処理は、血管としては適当でない孤立点をエッジ検出結果から除去するための処理で、具体的には、検出された各エッジの長さをチェックすることによって孤立点を検出する。
なお、エッジ検出のアルゴリズムは、上記に限らず、ノイズを減らすためのガウシアンフィルタ処理と２次微分処理とを行ってエッジを抽出するラプラシアンフィルタを組み合わせたＬＯＧ（Laplace of Gaussian）フィルタを用いてエッジ検出を行うようにしてもよい。
なお、本実施形態においては、エッジ検出を用いた線分抽出処理を行うことによって血管抽出を行うようにしたが、これに限らず、血管部分を抽出する処理であれば、たとえば、色相や輝度を用いた処理など如何なる処理を用いてもよい。
上述したようにして血管抽出処理を行うことによって、ＩＣＧ蛍光画像信号およびルシフェラーゼ蛍光画像信号のそれぞれについてＩＣＧ蛍光血管画像信号およびルシフェラーゼ蛍光血管画像信号が生成されるが、このルシフェラーゼ蛍光血管画像信号は、被観察部の体表から１ｍｍの表層に存在する表層血管画像を表すものとなり、ＩＣＧ蛍光血管画像信号は、上記表層血管画像と体表から１ｍｍ〜３ｍｍの深層に存在する深部血管画像との両方を含むものとなる。
そして、次に、血管抽出部３３ｃにおいて生成されたＩＣＧ蛍光血管画像信号とルシフェラーゼ蛍光血管画像信号とが画像演算部３３ｄに出力され、ＩＣＧ蛍光血管画像信号からルシフェラーゼ蛍光血管画像信号が減算されて深部血管画像信号が生成される（図１３、Ｓ１８）。
なお、このとき、上述したように近赤外光と近紫外光の光量比が、深さ情報が深層のみの場合に変更されることによってＩＣＧ蛍光血管画像信号とルシフェラーゼ蛍光血管画像信号の大きさが同じ大きさになっている。
そして、上記のようにして画像演算部３３ｄにおいて生成された深部血管画像信号は画像合成部３３ｅに出力される。そして、画像合成部３３ｅには、通常画像処理部３３ａから出力された通常画像信号も入力され、この通常画像信号と深部血管画像信号とが合成されて合成画像信号が生成される（図１３、Ｓ２６）。
そして、画像合成部３３ｅにおいて生成された合成画像信号は、ビデオ出力部３５に出力される。
そして、ビデオ出力部３５は、入力された合成画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて合成画像を表示する（図１３、Ｓ２８）。
次に、本発明の画像撮像方法および装置の第２の実施形態を用いた硬性鏡システムについて詳細に説明する。第２の実施形態の硬性鏡システムの全体の概略構成は、図１に示す第１の実施形態の硬性鏡システムと同様である。以下、第１の実施形態の硬性鏡システムと異なる構成を中心に説明する。
第１の実施形態の硬性鏡システムの撮像ユニット２０においては、２つの高感度撮像素子を用いて通常画像、ＩＣＧ蛍光画像およびルシフェラーゼ蛍光画像の撮像を行うようにしたが、第２の実施形態の硬性鏡システムの撮像ユニット８０は、１つの高感度撮像素子を用いて通常画像、ＩＣＧ蛍光画像およびルシフェラーゼ蛍光画像の撮像を行うようにしたものである。
具体的には、図１５に示すように、撮像ユニット８０は、ＩＣＧ蛍光像、ルシフェラーゼ蛍光像および通常像を集光する集光レンズ８１と、集光レンズ８１によって集光されたＩＣＧ蛍光像、ルシフェラーゼ蛍光像および通常像を透過するとともに、近紫外光をカットする紫外光カットフィルタ８２と、ＩＣＧ蛍光像、ルシフェラーゼ蛍光像および通常像を透過するとともに、近赤外光をカットする近赤外光カットフィルタ８３と、ＩＣＧ蛍光像、ルシフェラーゼ蛍光像および通常像を撮像する高感度撮像素子８４とを備えている。
紫外光カットフィルタ８２は、第１の実施形態と同様に、紫外光の波長帯域３７５ｎｍをカットするハイパスフィルタにより構成されている。
近赤外光カットフィルタ８３は、ノッチ型の干渉フィルタにより構成されており、近赤外光を遮断するとともに、可視光とＩＣＧ蛍光を透過するフィルタ特性を有するものである。
高感度撮像素子８４の受光面には、第１の実施形態の第２高感度撮像素子２６と同様に、ＲＧＢ色分解フィルタが設けられている。
図１６に、本実施形態の高感度撮像素子８４の分光感度Ｒ，Ｇ，Ｂと、白色光投光ユニット７０により被観察部に照射される白色光スペクトルＳ１，Ｓ２と、近赤外光スペクトルＳ３と、ＩＣＧ蛍光スペクトルＳ４と、近赤外光カットフィルタ８３のフィルタ特性Ｆとを示している。
本実施形態の高感度撮像素子８４は、ＲＧＢ色分解フィルタを設けない状態では近赤外域まで感度を有するものであり、ＲＧＢ色分解フィルタの各フィルタは、図１２に示すように、近赤外域においても同じ程度の透過率を有するものである。したがって、Ｒ，Ｇ，Ｂの全てのフィルタにおいてＩＣＧ蛍光像を透過させて検出することができるものである。
図１７に、本実施形態の高感度撮像素子８４の２×２の画素を示す。高感度撮像素子８４には、図１７に示すように、Ｒ、Ｇ、Ｂのフィルタが設けられている。そして、通常画像を撮像する際には、図１７（Ａ）に示すように、Ｒ、Ｇ、Ｂの全てのフィルタを透過した通常像を検出して通常画像信号を生成する。
また、ルシフェラーゼ蛍光画像を撮像する際には、図１７（Ｂ）に示すように、Ｂのフィルタを透過したルシフェラーゼ蛍光像を検出してルシフェラーゼ蛍光画像信号を生成する。
また、ＩＣＧ蛍光画像を撮像する際には、図１７（Ｃ）に示すように、Ｒ、Ｇ、Ｂの全てのフィルタを透過したＩＣＧ蛍光像を検出してＩＣＧ蛍光画像信号を生成するが、このとき、フィルタの透過率が比較的低いことを考慮して、２×２画素のいわゆるビニング読出しを行って１画素の信号を生成する。
図１８に、本実施形態における通常画像、ＩＣＧ蛍光画像およびルシフェラーゼ蛍光画像のそれぞれの撮像タイミングを示すタイミングチャートを示す。図１８（ａ）〜（ｅ）に示すタイミングチャートは、横軸が経過時間で縦軸が高感度撮像素子のフレームレートになっている。
図１８（ａ）〜（ｃ）は、高感度撮像素子８４においてＲ，Ｇ，Ｂの通常画像信号を撮像する際の撮像タイミングであり、図１８（ｄ）は、高感度撮像素子８４においてルシフェラーゼ蛍光画像を撮像する際の撮像タイミングであり、図１８（ｅ）は、高感度撮像素子８４においてＩＣＧ蛍光画像を撮像する際の撮像タイミングである。
図１８（ａ）〜（ｃ）に示すＲ、Ｇ、Ｂの画像信号のタイミングチャートにおいては、
周期０．１ｓ、デューティー比０．５、フレームレート４０ｆｐｓで撮像を行っている。また、図１８（ｄ）に示すルシフェラーゼ蛍光画像のタイミングチャートにおいては、周期０．１ｓ、デューティー比０．２５、フレームレート４０ｆｐｓで撮像を行っている。また、図１８（ｅ）に示すＩＣＧ蛍光画像のタイミングチャートにおいては、デューティー比０．２５、フレームレート１０ｆｐｓで撮像を行っている。
本実施形態においては、通常画像とルシフェラーゼ蛍光画像とＩＣＧ蛍光画像とがそれぞれ異なるタイミングで撮像されるので、図１８（ａ）〜（ｅ）に示すような撮像タイミングとなる。
また、ＩＣＧ蛍光画像は、フィルタの透過率が比較的低いことを考慮して、フレームレートを遅くして電荷蓄積時間を長くするようにしている。
そして、第２の実施形態においては、図１８（ａ）〜（ｅ）のタイミングチャートに対応して光源装置２の青色ＬＤ光源４０、近赤外ＬＤ光源４６および近紫外ＬＤ光源４９が駆動制御されるが、このとき、第１の実施形態と同様にして、深層から表層までの血管画像を各深さ範囲に応じて適切に表示できるように近赤外光と近紫外光の光量比を変更する。
また、深部血管画像のみを取得する場合には、ＩＣＧ蛍光画像信号の大きさとルシフェラーゼ蛍光画像信号との大きさが同じになるように近赤外光と近紫外光の光量比を変更する。
なお、具体的な近赤外光と近紫外光の光量比の変更方法については、第１の実施形態と同様であるが、第２の実施形態においても、近赤外光と近紫外の光量比は、ＩＣＧとルシフェラーゼの発光強度の特性や、高感度撮像素子８４の感度およびゲインや、フレームレート（電荷蓄積時間）などが考慮されて設定されるものとする。
第２の実施形態のその他の構成および作用については、上記第１の実施形態と同様である。
また、上記第１および第２の実施形態においては、近赤外光と近紫外光の光量比を変更可能なようにしたが、これに限らず、たとえば、青色ＬＤ光源４０から射出される青色光の光量も制御して、近赤外光および/または近紫外光と白色光との光量比を変更するようにしてもよい。
具体的には、ＩＣＧ蛍光画像および/またはルシフェラーゼ蛍光画像と通常画像との明るさが同じ程度の明るさとなるように、すなわちＩＣＧ蛍光画像信号および/またはルシフェラーゼ蛍光画像信号と通常画像信号とが同じ大きさとなるように光量比を設定するようにしてもよい。
また、上記第１および第２の実施形態においては、血管画像を表示するようにしたが、これに限らず、たとえば、リンパ管、胆管などのその他の管部分を表す画像を表示するようにしてもよい。
また、上記第１および第２の実施形態は、本発明の蛍光画像撮像装置を硬性鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するその他の内視鏡システムに適用してもよい。また、内視鏡システムに限らず、体内に挿入される挿入部を備えていない、いわゆるビデオカメラ型の医用画像撮像装置に適用してもよい。
１ 硬性鏡システム
２ 光源装置
３ プロセッサ
４ モニタ
１０ 硬性鏡撮像装置
２０ 撮像ユニット
２４ 第１高感度撮像素子
２６ 第２高感度撮像素子
２７ 紫外光カットフィルタ
３０ 体腔挿入部
３０ｅ，３０ｆ 白色光用照射レンズ
３０ｇ 励起光用照射レンズ
３３ 画像処理部
３６ 操作部
３８ 制御部
３８ａ 光量比変更部
４０ 青色ＬＤ光源
４６ 近赤外ＬＤ光源
４９ 近紫外ＬＤ光源
５２ 光ファイバカプラ
６０ 励起光投光ユニット
７０ 白色光投光ユニット
７２ 蛍光体
８０ 撮像ユニット
８２ 紫外光カットフィルタ
８３ 近赤外光カットフィルタ
８４ 高感度撮像素子

Claims (9)

  1. 少なくとも１つの励起光源を含む複数の光源から互いに異なる波長帯域の光を射出させ、該各光を蛍光薬剤が投与された被観察部に照射し、前記各光の照射によって前記被観察部から発せられた光を受光して前記各光に対応する画像を撮像する画像撮像方法において、
    前記各光源から射出させる各光の光量比を変更することを特徴とする画像撮像方法。
  2. 少なくとも１つの励起光源を含む複数の光源から射出された互いに異なる波長帯域の光を、蛍光薬剤が投与された被観察部に照射する光照射部と、前記各光の照射によって前記被観察部から発せられた光を受光して前記各光に対応する画像を撮像する撮像部とを備えた画像撮像装置において、
    前記各光源から射出させる各光の光量比を変更する光量比変更部を備えたことを特徴とする画像撮像装置。
  3. 前記光源として複数の励起光源を備え、
    前記光量比変更部が、前記各励起光源から射出された各励起光の光量比を変更するものであることを特徴とする請求項２記載の画像撮像装置。
  4. 前記光源として通常光を射出する通常光源を備え、
    前記光量比変更部が、前記励起光源から射出された励起光と前記通常光源から射出された通常光の光量比を変更するものであることを特徴とする請求項２記載の画像撮像装置。
  5. 前記複数の励起光源から射出される各励起光が、前記被観察部に投与された複数の蛍光薬剤をそれぞれ励起するものであることを特徴とする請求項３記載の画像撮像装置。
  6. 前記光量比変更部が、前記各励起光の照射によって前記撮像部により撮像された各画像の強度が異なるものとなるように前記光量比を変更するものであることを特徴とする請求項３または５記載の画像撮像装置。
  7. 前記光量比変更部が、前記各励起光の照射によって前記撮像部により撮像された各画像の強度が同じになるように前記光量比を変更するものであることを特徴とする請求項３、５および６いずれか１項記載の画像撮像装置。
  8. 前記撮像部が、前記各光に対応する画像を撮像する複数の撮像素子を備えたものであり、
    前記光量比変更部が、前記各撮像素子の感度に基づいて予め設定された光量比の値に応じて前記各光の光量比を変更するものであることを特徴とする請求項２から７いずれか１項記載の画像撮像装置。
  9. 前記撮像部が、前記各光に対応する画像を撮像する１つの撮像素子を備えたものであり、
    前記光量比変更部が、前記撮像素子の感度に基づいて予め設定された光量比の値に応じて前記各光の光量比を変更するものであることを特徴とする請求項２から７いずれか１項記載の画像撮像装置。
JP2010069501A 2010-03-25 2010-03-25 画像撮像方法および装置 Withdrawn JP2011200367A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010069501A JP2011200367A (ja) 2010-03-25 2010-03-25 画像撮像方法および装置
US12/979,272 US20110237895A1 (en) 2010-03-25 2010-12-27 Image capturing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010069501A JP2011200367A (ja) 2010-03-25 2010-03-25 画像撮像方法および装置

Publications (1)

Publication Number Publication Date
JP2011200367A true JP2011200367A (ja) 2011-10-13

Family

ID=44657204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010069501A Withdrawn JP2011200367A (ja) 2010-03-25 2010-03-25 画像撮像方法および装置

Country Status (2)

Country Link
US (1) US20110237895A1 (ja)
JP (1) JP2011200367A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015152327A1 (ja) * 2014-04-02 2015-10-08 オリンパス株式会社 観察画像取得システム及び観察画像取得方法
JP2017176811A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 撮像装置、撮像方法及び医療用観察機器
JP2018158152A (ja) * 2018-07-05 2018-10-11 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6467746B1 (ja) * 2018-04-20 2019-02-13 パナソニックＩｐマネジメント株式会社 内視鏡システムおよび内視鏡システムの作動方法
JP2020130193A (ja) * 2019-02-12 2020-08-31 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 内視鏡システムおよび蛍光画像出力方法
JP2020142090A (ja) * 2018-12-17 2020-09-10 富士フイルム株式会社 内視鏡システム
WO2020206261A1 (en) * 2019-04-04 2020-10-08 Nsv, Inc. Medical instrumentation utilizing narrowband imaging
CN115153399A (zh) * 2022-09-05 2022-10-11 浙江华诺康科技有限公司 内窥镜系统

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5767775B2 (ja) 2009-07-06 2015-08-19 富士フイルム株式会社 内視鏡装置
JP5401205B2 (ja) * 2009-08-10 2014-01-29 富士フイルム株式会社 内視鏡装置
JP5460506B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP5460507B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP5616303B2 (ja) * 2010-08-24 2014-10-29 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの作動方法
JP5371921B2 (ja) * 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
JP5450527B2 (ja) * 2011-08-10 2014-03-26 富士フイルム株式会社 内視鏡装置
JP5385350B2 (ja) * 2011-08-16 2014-01-08 富士フイルム株式会社 画像表示方法および装置
JP5844230B2 (ja) * 2011-10-12 2016-01-13 富士フイルム株式会社 内視鏡システム及びその作動方法
DE102011122602A1 (de) * 2011-12-30 2013-07-04 Karl Storz Gmbh & Co. Kg Vorrichtung und Verfahren zur endoskopischen Fluoreszenzdetektion
WO2015089004A1 (en) * 2013-12-09 2015-06-18 Texas Tech University System Smart phone based multiplexed viscometer for high throughput analysis of fluids
CN103705200B (zh) * 2013-12-30 2016-02-17 上海交通大学 基于无线供能的胃肠道癌前病变无创检测系统
JP2015171450A (ja) * 2014-03-12 2015-10-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および内視鏡装置
JP6494385B2 (ja) * 2014-07-16 2019-04-03 キヤノン株式会社 光画像撮像装置及びその制御方法
JP6138386B1 (ja) * 2015-09-18 2017-05-31 オリンパス株式会社 内視鏡装置及び内視鏡システム
US11216941B2 (en) * 2016-11-04 2022-01-04 Sony Corporation Medical image processing apparatus, medical image processing method, and program
US10805553B2 (en) * 2017-04-14 2020-10-13 Canon Kabushiki Kaisha Imaging apparatus and imaging method
US10952616B2 (en) 2018-03-30 2021-03-23 Canon U.S.A., Inc. Fluorescence imaging apparatus
US10743749B2 (en) 2018-09-14 2020-08-18 Canon U.S.A., Inc. System and method for detecting optical probe connection
JP7346357B2 (ja) * 2020-06-01 2023-09-19 富士フイルム株式会社 内視鏡システム
WO2022147421A1 (en) * 2020-12-30 2022-07-07 Stryker Corporation Contrast enhancement for medical imaging
US20230103605A1 (en) * 2021-09-27 2023-04-06 Ai Biomed Corp. Tissue detection systems and methods

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001299676A (ja) * 2000-04-25 2001-10-30 Fuji Photo Film Co Ltd センチネルリンパ節検出方法および検出システム
EP1302152B1 (en) * 2000-07-21 2013-03-20 Olympus Corporation Endoscope apparatus
US6826424B1 (en) * 2000-12-19 2004-11-30 Haishan Zeng Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices
JP3731814B2 (ja) * 2001-05-07 2006-01-05 富士写真フイルム株式会社 蛍光画像表示装置
JP2002345733A (ja) * 2001-05-29 2002-12-03 Fuji Photo Film Co Ltd 撮像装置
US7257437B2 (en) * 2002-07-05 2007-08-14 The Regents Of The University Of California Autofluorescence detection and imaging of bladder cancer realized through a cystoscope
US20070145273A1 (en) * 2005-12-22 2007-06-28 Chang Edward T High-sensitivity infrared color camera
JP2009034224A (ja) * 2007-07-31 2009-02-19 Olympus Medical Systems Corp 医療装置
JP5278854B2 (ja) * 2007-12-10 2013-09-04 富士フイルム株式会社 画像処理システムおよびプログラム
JP5185695B2 (ja) * 2008-05-23 2013-04-17 オリンパス株式会社 レーザ顕微鏡装置及び標本画像取得方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582842B2 (en) 2014-04-02 2020-03-10 Olympus Corporation Observation image acquiring system and observation image acquiring method
JP2015196004A (ja) * 2014-04-02 2015-11-09 オリンパス株式会社 観察画像取得システム及び観察画像取得方法
WO2015152327A1 (ja) * 2014-04-02 2015-10-08 オリンパス株式会社 観察画像取得システム及び観察画像取得方法
JP2017176811A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 撮像装置、撮像方法及び医療用観察機器
JP6467746B1 (ja) * 2018-04-20 2019-02-13 パナソニックＩｐマネジメント株式会社 内視鏡システムおよび内視鏡システムの作動方法
WO2019202828A1 (ja) * 2018-04-20 2019-10-24 パナソニックＩｐマネジメント株式会社 内視鏡システムおよび蛍光画像出力方法
JP2019187618A (ja) * 2018-04-20 2019-10-31 パナソニックＩｐマネジメント株式会社 内視鏡システムおよび内視鏡システムの作動方法
JP2018158152A (ja) * 2018-07-05 2018-10-11 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2020142090A (ja) * 2018-12-17 2020-09-10 富士フイルム株式会社 内視鏡システム
JP2020130193A (ja) * 2019-02-12 2020-08-31 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 内視鏡システムおよび蛍光画像出力方法
JP7338845B2 (ja) 2019-02-12 2023-09-05 ｉ－ＰＲＯ株式会社 内視鏡システムおよび内視鏡システムの作動方法
WO2020206261A1 (en) * 2019-04-04 2020-10-08 Nsv, Inc. Medical instrumentation utilizing narrowband imaging
GB2596758A (en) * 2019-04-04 2022-01-05 Nsv Inc Medical instrumentation utilizing narrowband imaging
CN115153399A (zh) * 2022-09-05 2022-10-11 浙江华诺康科技有限公司 内窥镜系统
CN115153399B (zh) * 2022-09-05 2022-12-09 浙江华诺康科技有限公司 内窥镜系统

Also Published As

Publication number Publication date
US20110237895A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
JP5435796B2 (ja) 画像取得装置の作動方法および画像撮像装置
JP2011200367A (ja) 画像撮像方法および装置
JP5385350B2 (ja) 画像表示方法および装置
JP5815426B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
US9906739B2 (en) Image pickup device and image pickup method
JP5466182B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
JP4855728B2 (ja) 照明装置及び観察装置
JP5358368B2 (ja) 内視鏡システム
JP5492030B2 (ja) 画像撮像表示装置およびその作動方法
WO2019087557A1 (ja) 内視鏡システム
JP5320268B2 (ja) 画像表示装置
US9788709B2 (en) Endoscope system and image generation method to generate images associated with irregularities of a subject
JP5752423B2 (ja) 分光計測システムおよび分光計測システムの作動方法
JP5385176B2 (ja) 画像表示装置の作動方法および画像表示装置
JP5399187B2 (ja) 画像取得装置の作動方法および画像取得装置
JP2009142415A (ja) 内視鏡システム
JP5637783B2 (ja) 画像取得装置およびその作動方法
JP2012050520A (ja) 蛍光内視鏡装置
JP5525991B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5570352B2 (ja) 画像撮像装置
JP6535701B2 (ja) 撮像装置
JP2015231576A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP2011167328A (ja) 内視鏡用光照射装置
JP5320233B2 (ja) 蛍光画像撮像装置
JP2009125411A (ja) 内視鏡画像処理方法および装置ならびにこれを用いた内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120703

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20130422