JP2010068925A - 画像取得方法および画像取得装置 - Google Patents

画像取得方法および画像取得装置 Download PDF

Info

Publication number
JP2010068925A
JP2010068925A JP2008238091A JP2008238091A JP2010068925A JP 2010068925 A JP2010068925 A JP 2010068925A JP 2008238091 A JP2008238091 A JP 2008238091A JP 2008238091 A JP2008238091 A JP 2008238091A JP 2010068925 A JP2010068925 A JP 2010068925A
Authority
JP
Japan
Prior art keywords
fluorescence
image
unit
light
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008238091A
Other languages
English (en)
Other versions
JP5191327B2 (ja
Inventor
Shuichi Ishii
秀一 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fujinon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujinon Corp filed Critical Fujinon Corp
Priority to JP2008238091A priority Critical patent/JP5191327B2/ja
Priority to US12/561,171 priority patent/US8203709B2/en
Priority to EP09011826A priority patent/EP2165643B1/en
Priority to AT09011826T priority patent/ATE553692T1/de
Priority to CN200910175501.2A priority patent/CN101708120B/zh
Publication of JP2010068925A publication Critical patent/JP2010068925A/ja
Application granted granted Critical
Publication of JP5191327B2 publication Critical patent/JP5191327B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】照明光と励起光を同時に被観察部へ照射して、反射光および蛍光からなる像を撮像する画像取得装置において、蛍光に起因する画像信号の含有率が低い準通常画像信号を生成する。
【解決手段】照明光および励起光を同時に被観察部10へ照射し、CCD117により照明光の反射光と蛍光とからなる像を撮像する。画像処理部181では、画素毎に、撮像された画像信号(R,G,B)とメモリ190に予め記憶されている推定マトリクスとから、蛍光の中心波長帯域を含む特定蛍光波長帯域の推定分光データを算出し、この特定蛍光波長帯域の推定分光データに基づいて、蛍光に起因する画像信号を含む準蛍光画像信号(Rs,Gs、Bs)を求め、撮像された画像信号(R,G,B)から準蛍光画像信号(Rs,Gs、Bs)を減算して準通常画像信号(R−Rs,G−Gs,B−Bs)を生成する。
【選択図】図1

Description

本発明は、照明光および励起光が同時に照射された被観察部の前記照明光の反射光と前記励起光の励起により発せられた蛍光とからなる像を撮像し、この撮像された画像信号から通常画像信号を生成する画像取得方法および画像取得装置に関するものである。
従来、体腔内の組織を観察する内視鏡装置が広く知られており、白色光によって照明された体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式の内視鏡が広く実用化されている。
また、固体撮像素子を用いた電子内視鏡装置の分野では、近年、胃粘膜等の消化器管における分光反射率に基づいて、狭帯域バンドパスフィルタを組み合わせた分光イメージングを行う装置、すなわち狭帯域フィルタ内蔵電子内視鏡装置(Narrow Band Imaging-NBl)が注目されている。この装置は、面順次式のR(赤),G(緑),B(青)の回転フィルタの代わりに、狭(波長)帯域のバンドパスフィルタを設け、これら狭帯域バンドパスフィルタを介して照明光を順次出力し、これらの照明光で得られた信号に対しそれぞれの重み付けを変えながらR,G,B(RGB)信号の場合と同様の処理を行うことにより、分光画像を形成するものである。このような分光画像によれば、胃、大腸等の消化器において、従来では得られなかった微細構造等が抽出される。
一方、特許文献1および特許文献2では、上記の狭帯域バンドパスフィルタを用いる面順次式のものではなく、固体撮像素子に微小モザイクの色フィルタを配置する同時式において、白色光が照射された被観察部を撮像して得た画像信号を基に、演算処理にて分光画像を形成することが提案されている。この特許文献1には、照明光の分光特性と、撮像素子のカラー感度特性および色フィルタの透過率等を含む撮像システム全体の分光特性とを加味した推定マトリクスデータを求め、撮像素子により撮像されたRGB画像信号と、この推定マトリクスデータとの演算により、照明光の種類や、撮像システムの固有の分光特性等に依存しない、被観察部の分光データを得る手法が開示されている。
一方、被観察部を白色光で照明して観察するばかりでなく、励起光の照射により被観察部から発せられた自家蛍光を受光して蛍光画像を撮像し、この蛍光画像を上記通常画像と共にモニタ画面上に表示する蛍光内視鏡装置として使用される蛍光画像取得装置が知られている。このような自家蛍光は、生体組織内の内因性蛍光物質から発されている。例えば被観察部が気道粘膜であれば、自家蛍光の大部分は粘膜下層から発せられると考えられ、内因性蛍光物質としては、リボフラビン、トリプトファン、チロシン、NADH、NADPH、ポルフィリン、コラーゲン、エラスチン、フィブロネクチンあるいはFAD等が考えられている。
また、所定の波長帯域の励起光を生体組織などの被観察部へ照射した場合に、被観察部に内在する自家蛍光物質から発せられる自家蛍光の光強度・スペクトル形状が、に示すように正常組織から発せられる自家蛍光と病変組織から発せられる自家蛍光とでは異なることが知られている。この現象を利用して、被観察部に所定波長の励起光を照射し、被観察部から発せられる自家蛍光を検出して蛍光画像を生成する蛍光内視鏡装置も知られている。このように、病変組織から発せられる自家蛍光が正常組織から発せられる自家蛍光より減弱する原因は、病変組織の粘膜上皮の肥厚や、病変組織内での内因性蛍光物質の消費、あるいは蛍光吸収物質の増加などであると推測されている。
さらに、このような蛍光画像取得装置としては、例えば、腫瘍親和性を有し、光により励起されたとき蛍光を発する光感受性物質(ATX-S10、5-ALA、NPe6、HAT-D01、Photofrin-2等)を蛍光薬剤として予め被験者へ投与して、癌等の腫瘍部分に吸収させておき、その部分にこの蛍光薬剤の励起波長領域にある励起光を照射して、腫瘍部分に集積した蛍光薬剤から発せられる薬剤蛍光を検出して、蛍光画像を生成する蛍光画像取得装置も知られている。
また、これらの蛍光画像取得装置においては、観察者が蛍光情報に基づいて組織性状についての情報をより正確に取得する為に、様々な比較分析方法が提案されている。例えば、励起光を生体組織などの被観察部に照射して該被観察部から発せられる自家蛍光の光強度を蛍光像として撮像し、該蛍光像に基づいて取得された蛍光情報を表示する場合、正常な被観察部から発せられる蛍光強度は、励起光照度にほぼ比例するが、励起光照度は距離の2乗に反比例して低下する。そのため、光源から遠くにある正常組織からよりも近くにある病変組織からの方が、強い蛍光を受光する場合がある。このため、蛍光の強度の情報だけでは被観察部の組織性状を正確に判定することができない。
特許文献3では、このような不具合を低減するために、励起光とは異なる波長帯域の光を参照光として被観察部に照射し、この参照光の照射を受けた被観察部によって反射された反射光の強度を検出して、蛍光の強度とこの参照光の反射光の強度との比率で表される蛍光収率に基づいて生体組織の病変部を示す診断情報を取得し、この診断情報である病変部の領域を上記蛍光画像の表示画面中に赤色等で色分けして表示させることによって生体の組織性状を診断する蛍光画像取得装置が提案されている。
通常、蛍光画像取得装置においては、励起光のみを被観察部へ照射して蛍光画像を取得することと、照明光のみを被観察部へ照射して通常画像を取得することを時分割で行い、例えば通常画像へ蛍光画像を重畳して蛍光重畳画像を生成し、この蛍光重畳画像を表示している。しかし、時分割で蛍光画像と通常画像を取得した場合には、蛍光画像および通常画像の単位時間あたりのコマ数が少なくなり、動画として表示する場合に良好な表示画像が得られないという問題があった。
特開2003−93336号公報 特開2007−202621号公報 特開2004−000477号公報
このため、本発明者は、照明光と励起光とを同時に被観察部へ照射して、被観察部から照明光の反射光および蛍光からなる像を撮像して、この像の画像信号から、蛍光の放射強度を反映する蛍光画像を生成する画像取得装置の開発を進めている。
一方、このような装置の使用者は、被観察部の蛍光画像を観察する際には、蛍光画像と比較するために、カラー通常画像をも同時に観察することを望む場合が多い。
本発明は上記の事情に鑑みてなされたものであり、照明光および励起光を同時に被観察部へ照射して、反射光および蛍光からなる像を撮像する画像取得方法および画像取得装置において、蛍光に起因する画像信号の含有率が低い準通常画像信号を生成することのできる画像取得方法および画像取得装置を提供することを目的とする。
本発明の画像取得方法は、照明光および励起光が同時に照射された被観察部の前記照明光の反射光と前記励起光の励起により発せられた蛍光とからなる像を撮像し、撮像された画像信号の各画素毎に、該画素の画像信号と予め記憶されている推定分光データ算出用の推定マトリクスとから、前記蛍光の略中心波長帯域を少なくとも含む波長帯域である特定蛍光波長帯域の推定分光データを算出し、該特定蛍光波長帯域の推定分光データに基づいて、前記蛍光に起因する画像信号を含む準蛍光画像信号を求め、前記撮像された画像信号から前記準蛍光画像信号を除いて準通常画像信号を生成することを特徴とするものである。
本発明の画像取得装置は、照明光および励起光を同時に被観察部へ照射する光照射手段と、
前記被観察部における前記照明光の反射光と前記励起光が照射された前記被観察部から発せられる蛍光とからなる像を撮像する撮像手段と、
推定分光データ算出用の推定マトリクスを記憶する第1の記憶部と、
前記撮像手段から出力された画像信号の画素毎に、該画素の画像信号と前記推定マトリクスとを用いて、前記蛍光の略中心波長帯域を少なくとも含む波長帯域である特定蛍光波長帯域の推定分光データを算出する推定分光データ算出手段と、
前記推定分光データ算出手段により算出された特定蛍光波長帯域の推定分光データに基づいて蛍光に起因する画像信号を含む準蛍光画像信号を生成する準蛍光画像信号生成手段と、前記撮像手段により撮像された画像信号から準蛍光画像信号を除いて準通常画像信号を生成する準通常画像信号生成手段とを有する画像処理手段とを備えることを特徴とするものである。
なお、ここで「推定分光データ算出用の推定マトリクス」とは、照明光の分光特性および撮像手段の分光特性とを加味したマトリクスであり、画像信号とマトリクス演算を行うことにより、被観察部の推定分光反射率情報を含む推定分光データが算出可能なマトリクスである。また、「少なくとも前記蛍光の略中心波長帯域を含む波長帯域である特定蛍光波長帯域」とは、少なくとも蛍光の中心波長あるいは中心波長近傍の波長を含む波長帯域を意味し、実質的に蛍光の強度が反映されている波長帯域であればよい。
前記画像処理手段が、前記特定蛍光波長帯域の推定分光データから、前記観察部から発せられる蛍光の放射強度を反映する情報である蛍光放射強度情報を求める蛍光放射強度情報算出手段を有し、
前記観察部と略同等の蛍光特性を有し、前記励起光の照射により異なる放射強度の蛍光を発する複数個の観察部サンプルから発せられる蛍光の蛍光放射強度情報と、前記複数個の観察部サンプルから発せられる蛍光を前記撮像手段で撮像して取得した蛍光画像信号との関係を予め記憶する第2の記憶部を備えるものであれば、
前記準蛍光画像信号生成手段は、前記蛍光放射強度算出手段により求められた放射線強度情報と、前記第2の記憶部へ記憶された前記関係とに基づいて、前記準蛍光画像信号を生成するものであってもよい。
前記光照射手段が、前記励起光の照射と同時に、該励起光とは波長の異なる参照光を前記被観察部へ照射するものであり、
前記撮像手段が、前記被観察部における前記参照光の反射光を含む像を撮像するものであれば、
前記蛍光放射強度情報算出手段は、前記撮像手段で撮像された前記参照光の反射光の強度である参照光強度を算出し、前記特定蛍光波長帯域の推定分光データから前記特定蛍光波長帯域の光強度である擬似蛍光強度を算出し、該擬似蛍光強度を前記参照光強度により除算した擬似蛍光収率を、前記蛍光放射強度情報として算出するものであってもよい。
なお、ここで「参照光」とは、照明光とは異なる波長帯域の光、例えばIR光等であってもよいし、照明光の波長帯域に含まれる波長の光であってもよい。参照光の波長帯域が、照明光の波長帯域に含まれる場合には、照明光全体、あるいは照明光の一部の波長帯域の光を参照光として使用することができる。
また例えば、参照光として照明光の中の赤領域の光を使用する場合であればRGB画像信号の中のR画像信号の光強度を「参照光強度」として使用することができる。また照明光の中の所定の波長帯域の光を参照光として使用する場合であれば、照明光の画像信号と推定マトリクスを用いて、参照光の波長帯域の推定分光データを算出し、該推定分光データを「参照光強度」として用いることもできる。
前記特定蛍光波長帯域を入力操作により設定する入力手段を備えていてもよい。
なお、上記第1の記憶部、および第2の記憶部は、それぞれ別個に設けられるものであってもよいし、一つの記憶部が兼ねるものであってもよい。
本発明による画像取得方法および画像取得装置においては、照明光および励起光が同時に照射された被観察部の前記照明光の反射光と前記励起光の励起により発せられた蛍光とからなる像を撮像し、撮像された画像信号の各画素毎に、該画素の画像信号と予め記憶されている推定分光データ算出用の推定マトリクスとから、前記蛍光の略中心波長帯域を少なくとも含む波長帯域である特定蛍光波長帯域の推定分光データを算出し、該特定蛍光波長帯域の推定分光データに基づいて、前記蛍光に起因する画像信号を含む準蛍光画像信号を求め、前記撮像された画像信号から前記準蛍光画像信号を除いて準通常画像信号を生成するため、蛍光に起因する画像信号の含有率が低い準通常画像信号を生成することができ、
この準通常画像信号から生成した準通常画像を、照明光のみを照射して取得した通常画像の代用として用いることができ、装置の利便性が向上する。また、単位時間あたりに取得可能は準通常画像のコマ数が少なくなることがないので、準通常画像を動画として表示する場合であっても、良好な画像を提供することができる。
以下、図面を参照して本発明の実施形態を詳細に説明する。図1は、本発明の蛍光画像取得装置を適用した第1の実施形態である蛍光内視鏡装置100の概略構成図を示すものである。本蛍光内視装置100は、被観察部10へ照明光L1を照射して取得したカラー通常画像を動画として表示する通常画像モード、または被観察部10へ照明光L1および励起光L2を照射して取得したカラー画像から後述の演算処理により得られる準カラー通常画像と蛍光重畳画像とを動画として表示する蛍光画像モードにより動作するものである。図示の通りこの蛍光内視鏡装置100は、被験者の体腔内に挿入され、被観察部10を観察するためのスコープユニット110と、このスコープユニット110が電気的に着脱自在に接続されるプロセッサユニット170と、スコープユニット110が光学的に着脱自在に接続され、照明光L1を射出するキセノンランプ151を収納する照明光ユニット150と、この照明光ユニット150へ電気的かつ光学的に着脱自在に接続され、励起光L2を射出するGaN系の半導体レーザ131を収納する励起光ユニット130とを備えている。なお、プロセッサユニット170と照明光ユニット150とは、一体的に構成されているものであってもよいし、あるいは別体として構成されているものであってもよい。
上記スコープユニット110の先端には照明用光学系111が設けられている。この照明用光学系111には、照明光L1が導光されるライトガイド112の一端が対面している。ライトガイド112は、スコープユニット110の外部へ延伸するものであり、その他端には、光コネクタ113が設けられ、後述する照明光ユニット150の光コネクタ153と着脱自在に接続されている。
また、スコープユニット110の先端部には、結像レンズ115と、励起光カットフィルタ116、固体撮像素子であるCCD(Charge Coupled Device)117とが同軸上にこの順に設けられている。結像レンズ115は、被観察部10の像をCCD117上に結像するものである。励起光カットフィルタ116としては、励起光のみを遮断して他の波長の光は透過させるように、例えば、極めて狭帯域の光のみを遮断するノッチフィルタを用いることができる。なお、CCD117の撮像面には例えばRGBの色フィルタを有する原色型の色フィルタが取り付けられている。CCD117には、同期信号に基づいて駆動パルスを形成するCCD駆動回路118が接続されると共に、このCCD115が出力した画像(映像)信号をサンプリングして増幅するCDS/AGC(相関二重サンプリング/自動利得制御)回路119接続されている。またCDS/AGC回路119には、そのアナログ出力をデジタル化するA/D変換器120が接続されている。さらにスコープユニット110内には、そこに設けられた各種回路を制御するとともに、プロセッサユニット170との間の通信制御を行う制御部121が配置されている。またスコープユニット110の根元近傍には、制御部121に接続され、動作モードの切換を行う押圧型のスイッチ122が設けられている。なお、A/D変換器120には信号ライン125の一端が接続され、制御部121には信号ライン126の一端が接続されている。信号ライン125および信号ライン126は、スコープユニット110の本体から外部へ延伸するものであり、その他端にはコネクタ127が設けられている。このコネクタ127は、後述するプロセッサユニット170のコネクタ194と着脱自在に接続されている。
照明光ユニット150は、照明光L1を発するキセノンランプ151と、このキセノンランプ151を駆動する駆動回路152と、スコープユニット110のライトガイド112の先端に設けられている光コネクタ113と着脱自在に接続される光コネクタ153とを備えている。光コネクタ153には、光コネクタ113と接続されているか否かを検知する接続検知部154が設けられている。また、キセノンランプ151と光コネクタ153との間には、照明光L1の波長帯域を、410nm以上700nm以下へ制限する波長フィルタ155と、照明光L1の光量を制御する絞り156と、410nm以上の波長の光を透過し、410nmより短い波長の光を直角に反射するダイクロイックミラー157と、集光レンズ158と、ロータリーシャッタ159とが配置されている。さらに、照明光ユニット150には、後述する励起光ユニット130のライトガイド133の先端に設けられている光コネクタ136と着脱自在に接続される光コネクタ161が設けられている。また、この光コネクタ161には、光コネクタ136と接続されているか否かを検知する接続検知部162が設けられている。光コネクタ161には、照明光ユニット150内で励起光を導光するライトガイド163の一端(入射端)が接続されている。ライトガイド163の他端(出射端)は、このライトガイド163から射出された励起光L2がダイクロイックミラー157へ入射する位置へ配置されている。また、ライトガイド163の出射端とダイクロイックミラー157との間にはレンズ164が配置されている。
さらに、照明光ユニット150には、後述する励起光ユニット130のコネクタ142と着脱自在に接続されるコネクタ165が設けられている。コネクタ165には、コネクタ142と接続されているか否かを検知する接続検知部166が設けられている。また、照明光ユニット150には、上記コネクタ165、接続検知部166等の照明光ユニット150に設けられた各部位と接続され、各部位を制御するとともに、プロセッサユニット170および励起光ユニット130との間の通信制御を行う制御部167が配置されている。
励起光ユニット130は、励起光L2を発するGaN系の半導体レーザ131と、この半導体レーザ131を駆動する駆動回路132と、半導体レーザ131から射出された励起光L2を導光するライトガイド133とを備えている。ライトガイド133は、励起光ユニット130の筐体から外部へ延伸するものであり、その他端には、光コネクタ136が設けられている。この光コネクタ136は、照明光ユニット150の光コネクタ161と着脱自在に接続されている。半導体レーザ131と駆動回路132との間には、スイッチ134が設けられている。また、半導体レーザ131とライトガイド133の一端(入射端)との間には、集光光学系135が配置されている。
さらに励起光ユニット130には、上記駆動回路132、スイッチ134等の励起光ユニット130内に設けられた各部位と接続され、これらの各部位を制御するとともに、照明光ユニット150と間の通信制御を行う制御部140が配置されている。制御部140には信号ライン141の一端が接続されている。信号ライン141は、励起光ユニット130の筐体から外部へ延伸するものであり、その他端には、コネクタ142が設けられている。コネクタ142は、照明光ユニット150のコネクタ165と着脱自在に接続されている。
一方プロセッサユニット170には、プロセッサ部172が備えられている。プロセッサ部172には、通常画像モードが選択された場合に信号処理を行う、通常画像処理部174および表示処理部176と、蛍光画像モードが選択された場合に信号処理を行う、推定分光データ算出部180、画像処理部181および表示処理部188と、照明光および励起光の強度を制御する光量制御部189とが設けられている。
通常画像処理部174は、通常画像モードが選択されている場合に、スコープユニット110のA/D変換器120から出力されたR、G、Bの3色画像信号に各種の信号処理を施した上、輝度(Y)信号と色差[C(R−Y,B−Y)]信号で構成されるY/C信号を生成し、表示処理部176へ出力する。表示処理部176では、Y/C信号に各種の信号処理を施し、表示用のカラー通常画像信号を生成し、このカラー通常画像信号を、例えば液晶表示装置やCRT等からなるモニタ11へ出力する。
推定分光データ算出手段180では、蛍光画像モードが選択されている場合に、画素毎に、スコープユニット110のA/D変換器120から出力されたR、G、Bの3色画像信号と、予めメモリ190に記憶されている分光データ算出用の推定マトリクスデータを用いて、励起光L2が照射された場合に被観察部10から発せられる蛍光の中心波長帯域である490nmを含む波長帯域である特定蛍光波長帯域、例えば470nm〜510nmの推定分光データを求め、画像処理部181へ出力する。
画像処理部181は、図2に示すように、準通常画像を生成するための準蛍光画像信号生成部182および準通常画像信号生成部183と、蛍光重畳画像を生成するための擬似蛍光収率算出部184および蛍光重畳画像生成部185とを備えている。なお、準蛍光画像信号生成部182、準通常画像信号生成部183、擬似蛍光収率算出部184および蛍光重畳画像生成部185についての詳細は後述する。
光量制御部189は、通常画像処理部174および画像処理部181と接続され、照明通常画像モードが選択されている場合には、カラー通常画像の輝度に基づいて、照明光L1の光量を制御する。また、蛍光画像モードが選択されている場合には、擬似カラー通常画像の輝度に基づいて、照明光L1および励起光L2の光量を制御する。
さらにプロセッサ部172には、メモリ190およびキーボード型の入力部192およびスコープユニット110のコネクタ127と着脱自在に接続されるコネクタ194が接続されている。コネクタ194には、コネクタ127と接続されているか否かを検知する接続検知部195が設けられている。またプロセッサ部172は、スコープユニット110の制御部121、照明光ユニット150の制御部167および励起光ユニット130に制御部140と接続されている。
メモリ190には、被観察部10の推定分光データを算出するための推定マトリクスデータが記憶されている。推定マトリクスデータはテーブルとしてメモリ190にあらかじめ記憶されている。この推定マトリクスデータは、照明光L1の分光特性と、撮像素子のカラー感度特性および色フィルタの透過率等を含む撮像システム全体の分光特性とを加味したマトリクスデータであり、CCD117により撮像されたRGB画像信号と、この推定マトリクスデータとの演算により、照明光の種類や、撮像システムの固有の分光特性等に依存しない、被観察部の分光データを得ることができる。なお、この推定マトリクスデータの詳細は、特開2003−93336号公報あるいは特開2007−202621号公報などに開示されている。本実施形態において、このメモリ190に格納されている推定マトリクスデータの一例は次の表1のようになる。
Figure 2010068925
この表1のマトリクスデータは、例えば410nmから700nmの波長域を5nm間隔で分けた59の波長域パラメータ(係数セット)p1〜p59からなる。パラメータp1〜p59は各々、マトリクス演算のための係数kpr,kpg,kpb(p=1〜59)から構成されている。
以下、上記構成を有する本実施形態の蛍光内視鏡装置の動作について説明する。まず、被観察部10へ照明光L1を照射して取得したカラー通常画像を動画として表示する通常画像モードの際の動作について説明する。
本蛍光内視鏡装置の使用に先立って、洗浄および殺菌されたスコープユニット110がプロセッサユニット170および照明光ユニット150へ取り付けられる。スコープユニット110の信号ライン125および信号ライン126の先端に設けられているコネクタ127は、プロセッサユニット170のコネクタ194へ接続される。また、ライトガイド112に先端に設けられている光コネクタ113は、照明光ユニット150の光コネクタ153と接続される。コネクタ194に設けられている接続検知部195は、コネクタ194へコネクタ127が接続された場合には、接続信号をプロセッサ部172へ出力する。また、光コネクタ153へ設けられている接続検知部154は、光コネクタ153へ光コネクタ113が接続された場合には接続信号を制御部167へ出力する。
プロセッサ部172は、接続光検知部195および接続検知部154から接続信号が入力された場合に、照明光ユニット150のロータリーシャッタ159を回転し、通常画像モードにおける動作を可能とし、入力部192の所定のキーの機能形態を設定し、かつスコープユニット110の制御部121を介して、スイッチ122の機能形態を設定する。プロセッサ部172の制御により、使用者が入力部192の所定のキーもしくはスイッチ122を押圧すると、動作モードが停止状態と通常画像モードとの間で切り替る。
使用者が入力部192の所定のキーもしくはスイッチ122を一回押圧すると、通常画像モードにおける動作が開始される。照明光ユニット150では、駆動回路152によりキセノンランプ151が点灯し、照明光L1が射出される。照明光L1は、波長フィルタ155、絞り156、ダイクロイックミラー157を経て、集光レンズ158により光コネクタ113の端面へ集光され、ライトガイド112へ入射する。ライトガイド112内を伝播した照明光L1は、ライトガイド112の先端から射出して、照明用光学系111を介して被観察部10へ照射される。
なお、照明光L1の波長帯域は、波長フィルタ155により410nm以上700nm以下へ制限され、照明光L1の光量は絞り156により制御されている。絞り156による照明光L1の光量制御動作については後述する。
CCD駆動回路118によって駆動されたCCD117がこの被観察部10の像を撮像し、撮像信号を出力する。この撮像信号はCDS/AGC回路119で相関二重サンプリングと自動利得制御による増幅を受けた後、A/D変換器18でA/D変換されて、RGB画像信号としてプロセッサユニット170のプロセッサ部172の通常画像処理部174へ入力される。通常画像処理部174では、通常画像モードが選択されている場合に、スコープユニット110のA/D変換器120から出力されたR、G、Bの3色画像信号に各種の信号処理を施した上、輝度信号Yと色差信号Cで構成されるY/C信号(カラー通常画像信号)を生成し、表示処理部176へ出力する。表示処理部176では、このY/C信号へ対し、I/P変換およびノイズ除去などの各種信号処理を施し、モニタ11へ出力する。
また、通常画像処理部174は、画素毎の輝度信号Y、または隣接する複数画素の平均輝度信号Y’を光量制御部189へ出力する。光量制御部189では、1フレーム毎に指定エリア画素の平均輝度値Yaを算出し、予めメモリ190へ記憶されている基準輝度値Yrと比較して、比較結果に基づいて絞り制御信号を選択し、照明光ユニット150の制御部167へ出力する。この絞り制御信号としては、平均輝度値Yaが基準輝度値Yrより大きければ絞り156の絞り量を小さくする信号が選択され、平均輝度値Yaが基準輝度値Yrより小さければ絞り156の絞り量を大きくする信号が選択され、平均輝度値Yaが基準輝度値Yrと略等しい場合には、絞り量を維持する信号が選択される。
照明光ユニット150の制御部167では、この絞り制御信号に基づいて、絞り156の絞り量を制御する。
次に蛍光画像モードの際の動作について説明する。蛍光画像モードを使用する前には、まず、洗浄および殺菌されたスコープユニット110がプロセッサユニット170および照明光ユニット150へ取り付けられる。スコープユニット110の信号ライン125および信号ライン126の先端に設けられているコネクタ127は、プロセッサユニット170のコネクタ194へ接続される。コネクタ194に設けられている接続検知部195は、コネクタ194へコネクタ127が接続された場合には、接続信号をプロセッサ部172へ出力する。また、ライトガイド112に先端に設けられている光コネクタ113は、照明光ユニット150の光コネクタ153と接続される。光コネクタ153へ設けられている接続検知部154は、光コネクタ153へ光コネクタ113が接続された場合には接続信号を制御部167へ出力する。
さらに、励起光ユニット130が照明光ユニット150へ接続される。励起光ユニット130の信号ライン141の先端に設けられているコネクタ142は、照明光ユニット150のコネクタ165へ接続される。コネクタ165に設けられている接続検知部166は、コネクタ165へコネクタ142が接続された場合には、接続信号を制御部167へ出力する。またライトガイド133の先端に設けられている光コネクタ136は、照明光ユニット150の光コネクタ161へ接続される。光コネクタ161に設けられている接続検知部162は、光コネクタ162へ光コネクタ136が接続された場合には接続信号を制御部167へ出力する。
励起光ユニット130の制御部140は、照明光ユニット150の制御部167と通信を行い、接続検知部166および接続検知部162から接続信号が入力された場合に、励起光ユニット130のスイッチ134を閉じ、半導体レーザ131と駆動回路132との間を電気的に接続し、駆動回路132による半導体レーザ131の駆動を可能とし、またプロセッサユニット170のプロセッサ部172を介して入力部192の所定のキーの機能形態を設定し、かつプロセッサ部172およびスコープユニット110の制御部121を介して、スイッチ122の機能形態を設定する。制御部140の制御により、使用者が入力部192の所定のキーもしくはスイッチ122を押圧すると、動作モードが停止状態、通常画像モードと蛍光画像モードの間で切り替る。なお、接続検知部166および接続検知部162に両方から接続信号が入力されていない場合、すなわち両者から接続信号が入力されていない、あるいはどちらか一方から接続入力信号が入力されていない場合には、励起光ユニット130においては、常にスイッチ134は開状態となっている。このため、励起光ユニット130が、照明光ユニット150へ接続されていない状態で、半導体レーザ131が駆動されることはない。
通常画像モードにおいて動作している際に、使用者が入力部192の所定のキーもしくはスイッチ122を一回押圧すると、蛍光画像モードにおける動作が開始される。
照明光ユニット150に加え励起光ユニット130が動作を開始する。駆動回路132により半導体レーザ131が駆動され、波長405nmの励起光L2が射出される。励起光L2は、集光光学系135により集光され、ライトガイド133の端面へ入射する。ライトガイド133を伝播した励起光L2は、光コネクタ136、光コネクタ161を介してライトガイド163へ入射する。ライトガイド163を伝播し、その端部から射出した励起光L2は、コリメータレンズ164により平行光へ変換され、ダイクロイックミラー157へ入射する。励起光L2の波長が405nmであるため、励起光L2はダイクロイックミラー157で直角に反射し、集光レンズ158により光コネクタ113の端面へ集光され、ライトガイド112へ入射する。ライトガイド112内を伝播した励起光L2は、ライトガイド112の先端から射出して、照明用光学系111を介して被観察部10へ照射される。なお、この際には、被観察部10へは照明光L1も同時に照射されている。なお、励起光L2の光量は、駆動回路132の駆動電流により制御されている。この駆動電流による励起光L2の光量制御動作については後述する。
CCD駆動回路118によって駆動されたCCD117が、被観察部10で反射された照明光L1の反射光と、励起光L2が照射されてことにより、被観察部10から発せられる蛍光とからなる像を撮像する。なお、CCD117の先端には、波長410nm以下の光をカットする励起光カットフィルタが設けられているため、励起光L2の反射光はほとんどCCD117へは入射しない。CCD117は、撮像信号を出力し、この撮像信号はCDS/AGC回路119で相関二重サンプリングと自動利得制御による増幅を受けた後、A/D変換器18でA/D変換されて、RGB画像信号としてプロセッサユニット170のプロセッサ部172の推定分光データ算出手段180および画像処理部181へ入力される。
推定分光データ算出手段180では、各画素毎に、3色画像信号R、G、Bに対して、メモリ100に記憶されている推定マトリクスデータの中から、励起光L2が照射された場合に被観察部10から発せられる蛍光の中心波長帯域である490nmを含む波長帯域である特定蛍光波長帯域、例えば特定蛍光波長帯域(470nm〜510nm)に対応するパラメータ(P13〜P21)からなる3×9のマリクスを用いて、次式で示すマトリクス演算を行って、推定分光データ(q13〜q21)を作成し、画像処理部181へ出力する。
Figure 2010068925
図3Aおよび3Bは、各画素毎に作成される、この推定分光データ(q13〜22)のスペクトル分布の一例を表したものである。実線の部分は、算出した推定分光データ(q13〜22)のスペクトル分布を示すものであり、点線の部分は、参考のために他の波長帯域(410nm〜465nmおよび515nm〜700nm)の推定分光データを記載したものである。図3Aは蛍光が発せられている被観察部10に対応する画素におけるスペクトル分布を示し、図3Bは、蛍光が発せられていない被観察部10に対応する画素におけるスペクトル分布を示すものである。それぞれ、横軸は推定分光データの各データ値q13〜q21が対応する波長を、縦軸は各データ値のq13〜q21の強度を示している。
図3Bに示すように、蛍光が発せられていない被観察部10から取得されたスペクトル分布は、被観察部10における分光反射率を反映したものとなる。より具体的には、各データ値q13〜q21の強度は、被観察部10の分光反射率とCCD17の各画素に入射した光の強度との積を反映した値となる。
図3Aに示すように、蛍光が発せられている被観察部10から取得された推定分光データ(q13〜q21)のスペクトル分布は、蛍光の中心波長である波長490nm近傍において、被観察部10における分光反射率と蛍光の分光放射率とを反映したものとなる。より具体的には、各データ値q1〜q59の強度は、被観察部10の分光反射率と、発せられた蛍光の分光放射率と、CCD17の各画素に入射した光の強度とを反映した値となる。なお、推定分光データ(q13〜q21)を作成するために用いた推定マトリクスは、被観察部10の分光反射率を推定するためのマトリクスであるため、各データ値q13〜q21は、蛍光の分光放射率を正確に反映した値ではないが、蛍光の分光放射率の大小に関する情報は含むものである。このため、以下に説明するように、特定蛍光波長帯域の分光データ(q13〜q21)を用いて、準カラー通常画像および蛍光重畳画像を生成することができる。
画像処理部181では、各画素毎に、以下の信号処理を行う。まず、準カラー通常画像信号の生成方法について説明する。画像処理部181の準蛍光画像信号生成部182では、
特定蛍光波長帯域(470nm〜510nm)の推定分光データ(q13〜q21)から、この特定蛍光波長帯域の三色画像信号(Rs,Gs、Bs)を求め、準通常画像信号生成手段183へ出力する。なお、例えば、B(青色)波長大域を410nm〜500nm、G(緑色)波長帯域を505nm〜600nm、R(赤色)波長帯域を605nm〜700nmとする場合であれば、画像信号Bsは、分光データ値q13(470nm)〜分光データ値q19(500nm)の加算値、画像信号Gsは分光データ値q20(505nm)と分光データ値q21(510nm)の加算値として求めることができる。画像信号Rsは対応する分光データ値がないため、0とする。なお、実施形態においては、特定蛍光波長帯域がR(赤色)波長帯域を含んでいないため、画像信号Rs=0とするが、特定蛍光波長帯域がR(赤色)波長帯域を含んでいる場合には同様に画像信号Rsを算出する。
準通常画像信号生成部183では、スコープユニット110から入力された3色画像信号(R,G,B)から特定蛍光波長帯域の三色画像信号(Rs,Gs、Bs)を減算し、準カラー通常画像の三色画像信号(R−Rs,G−Gs、B−Bs)を生成し、この準カラー通常画像の三色画像信号(R−Rs,G−Gs、B−Bs)から、輝度信号Yと色差信号Cで構成されるY/C信号(準カラー通常画像信号)を生成し、表示処理部188へ出力する。なお、Y/C信号を生成する際には、各種信号処理に加え、波長帯域幅の大小を顧慮した補正を行うことが好ましい。表示処理部188では、準カラー通常画像と後述する蛍光重畳画像とを一枚の画像へ合成し、モニタ11へ表示させる。
次に、蛍光重畳画像信号の生成方法について説明する。画像処理部181の擬似蛍光収率算出部184では、まず、特定蛍光波長帯域(470nm〜510nm)の各推定分光データq13〜q21を加算し、擬似蛍光強度Dを算出する。
蛍光物質から発せられる蛍光の強度(放射強度)は、励起光照度にほぼ比例するが、励起光照度は距離の2乗に反比例して低下する。そのため、光源から遠くにある正常組織からよりも近くにある病変組織からの方が、強い蛍光を受光する場合があり、受光した蛍光の強度の情報だけでは被観察部の組織性状を表すことはできない。そのため、従来から励起光とは異なる波長帯域の光を参照光として被観察部に照射し、この参照光の照射を受けた被観察部によって反射された反射光の強度(以下参照光強度Eと記載)を検出して、蛍光強度をこの参照光強度Eにより除算した蛍光収率を求め、該蛍光収率に基づいて蛍光画像を生成することが行われている。
画像処理部181の擬似蛍光収率算出部184では、上記の参照光強度Eとして上述した準カラー通常画像信号の輝度信号Yの値を使用すること、すなわち擬似蛍光強度Dを、準カラー通常画像信号の輝度信号Yの値で除算することにより、擬似蛍光収率Fを求め、蛍光重畳画像生成部185へ出力する。蛍光重畳画像生成部185では、この擬似蛍光収率Fに対して、例えば、図4に示すように、所定の判定値以上であれば緑を割り当て、判定値より小さければ赤をわりあてて、蛍光画像を生成する。あるいは、赤および緑を加色混合法により混色することにより、擬似蛍光収率Fの値により、表示色が、赤、黄、緑へ順次変化する蛍光画像を生成してもよい。なお、擬似蛍光収率Fが所定の下限値以下である場合には、赤のみを割り当て、所定の上限値以上である場合には緑を割り当ててもよく、擬似蛍光収率Fが小さくなる病変組織は赤色に、擬似蛍光収率Fが大きい正常組織は緑色に表示される。
あるいは、図5に示すように、擬似蛍光収率Fに対して、判定値との比較により、赤、緑、青を割り当てて蛍光画像を生成することもできる。また、赤、緑および青を加色混合法により混色することにより、擬似蛍光収率Fの値により、表示色が、赤、黄、緑、シアン、青へ順次変化する蛍光画像を生成してもよい。なお、擬似蛍光収率Fが所定の下限値以下である場合、あるいは所定の上限値以上である場合には無彩色を割り当ててもよい。
なお、本実施の形態においては、参照光強度として準カラー通常画像信号の輝度信号Yの値を用いたが、例えば、準カラー通常画像信号の輝度信号Yの値の変わりに、画像信号Rsの光強度や、あるいは正常組織から発せられる蛍光強度と病変組織から発せられる蛍光強度との差が少ない長波長帯域、例えば620nmにおける推定分光データから求めた光強度などを用いてもよい。
画像処理部181の蛍光重畳画像生成部185では、観察者が、擬似蛍光収率Fが小さくなる病変組織の位置を確認しやすいように、準カラー通常画像信号の輝度信号Yのみを反映させた画像、すなわち準白黒通常画像へ、上述の蛍光画像を重畳した蛍光重畳画像データを生成して、表示処理部188へ出力する。
表示処理部188では、画像処理部181から出力された準カラー通常画像データと蛍光重畳画像データを並べて表示した表示画像を生成、もしくは準カラー通常画像データと蛍光重畳画像データとを一枚の画像内へ合成処理した表示用のカラー画像信号を生成し、モニタ11へ出力して表示させる。
なお、予めプロセッサ部172にて、全ての画素における擬似蛍光収率Fが予め設定された所定の判定値以上であるか否かを判定し、所定値以上である場合、すなわち、すなわち画像内に病変組織に対応する部分がない場合には、準カラー通常画像データのみを表示させてもよい。
また、画像処理部181は、画素毎の準カラー通常画像信号の輝度信号Y、または隣接する複数画素の平均輝度信号Y’を光量制御部189へ出力する。光量制御部189では、1フレーム毎に指定エリア画素の平均輝度値Yaを算出し、予めメモリ190へ記憶されている基準輝度値Yrと比較して、比較結果に基づいて絞り制御信号を選択し、照明光ユニット150の制御部167へ出力する。また同時に励起光ユニット130において、駆動回路132から半導体レーザ131へ供給される駆動電流の値を制御する駆動電流制御信号を求め、この駆動電流制御信号を励起光ユニット130の制御部140へ出力する。
絞り制御信号としては、平均輝度値Yaが基準輝度値Yrより大きければ絞り156の絞り量を小さくする信号が選択され、平均輝度値Yaが基準輝度値Yrより小さければ絞り156の絞り量を大きくする信号が選択され、平均輝度値Yaが基準輝度値Yrと略等しい場合には、絞り量を維持する信号が選択される。また、照明光L1の光量と励起光L2の光量との比率が所定の値になるように、絞り制御信号と対応する駆動電流制御信号が出力される。なお、照明光L1の光量と励起光L2の光量との比率は、予め入力部192からの入力操作により設定可能であり、光量制御部189ではこの設定された比率と、照明光L1の絞り量とに基づいて、励起光L2に駆動電流量を決定し、駆動電流制御信号を出力する。
照明光ユニット150の制御部167では、この絞り制御信号に基づいて、絞り156の絞り量を制御する。また、励起光ユニット130の制御部140では、この駆動電流制御信号に基づいて、駆動回路132から半導体レーザ131へ供給する電流値が制御される。
以上の説明で明らかなように、本発明による蛍光内視鏡装置100では、擬似通常カラー画像および蛍光重畳画像の単位時間あたりのコマ数は、通常カラー画像のコマ数と同じコマ数とすることができ、動画として表示する場合であっても、良好な表示画像を生成することが可能となる。
なお、本実施の形態においては、通常画像モードが選択された場合に信号処理を行う、通常画像処理部174および表示処理部176と、蛍光画像モードが選択された場合に信号処理を行う、推定分光データ算出部180、画像処理部181および表示処理部188とをプロセッサ部172内に設けたが、プロセッサ部172の形態はこのような形態に限定されるものではなく、例えば図6に示すように、推定分光データ算出部180と、通常画像処理部174および画像処理部181として機能する画像処理部195と、表示処理部176および表示処理部188として機能する表示処理部196とを設け、通常画像モードが選択された場合には、スコープ110から出力された信号を画像処理部195へ入力し、蛍光画像モードが選択された場合には、スコープ110から出力された信号を推定分光データ算出部180および画像処理部195へ入力するような構成としてもよい。
また本実施の形態においては、特定蛍光波長帯域としては、蛍光の中心波長帯域である490nmを含む所定幅の波長帯域を用いたが、これに限定されるものではなく、実質的に蛍光の強度を反映可能な波長帯域であればよく、例えば485nm〜495nm等であってもよい。またこの特定蛍光波長帯域は、全波長帯域が実質的な蛍光の波長帯域内であることが好ましく、不必要に広い波長帯域であることは好ましくない。具体的には波長帯域幅は100nm以下であることが好ましく。50nm以下であることがより好ましい。
次に、図7〜図9を用いて、本発明の第2の実施形態について説明する。図7は、本発明の蛍光画像取得装置を適用した第2の実施形態である蛍光内視鏡装置200の概略構成図を示すものである。なお、図1に示す第1の実施形態である蛍光内視鏡装置100と同一の部位については、同符号を付与し、説明を省略する。
プロセッサユニット270には、プロセッサ部272が備えられている。プロセッサ部272には、常画像モードが選択された場合に信号処理を行う、通常画像処理部174および表示処理部176と、蛍光画像モードが選択された場合に信号処理を行う、推定分光データ算出部180、画像処理部281および表示処理部188と、照明光および励起光の強度を制御する光量制御部189とが設けられている。
画像処理部281は、図8に示すように、準蛍光画像信号生成部282、準通常画像信号生成部283、擬似蛍光収率算出部284および蛍光重畳画像生成部285を備えている。なお、準蛍光画像信号生成部282、準通常画像信号生成部283、擬似蛍光収率算出部284および蛍光重畳画像生成部285についての詳細は後述する。
さらにプロセッサ部272には、メモリ290およびキーボード型の入力部192およびスコープユニット110のコネクタ127と着脱自在に接続されるコネクタ194が接続されている。またプロセッサ部272は、スコープユニット110の制御部121、照明光ユニット150の制御部167および励起光ユニット130の制御部140と接続されている。
メモリ290には、被観察部10の推定分光データを算出するための推定マトリクスデータがテーブルとして予め記憶され、また観察部と略同等の蛍光特性を有し、異なる放射強度の蛍光を発する複数個の観察部サンプルから発せられる蛍光の放射強度情報と、この複数個の観察部サンプルから発せられる蛍光を本実施形態に用いられている蛍光内視鏡装置と同等の分光特性を有する蛍光内視鏡装置により撮像した画像信号との関係がルックアップテーブルとして予め記憶されている。ルックアップテーブルとして記憶されている関係についての詳細は後述する。
以下、上記構成を有する本実施形態の蛍光内視鏡装置200の動作について説明する。なお、通常画像モードの際の動作は、第1の実施形態である蛍光内視鏡装置100と同様であるため、その説明は省略する。
通常画像モードにおいて動作している際に、使用者が入力部192の所定のキーもしくはスイッチ122を一回押圧すると、蛍光画像モードにおける動作が開始され、被観察部10へ照明光L1および励起光L2が照射される。CCD117から出力された撮像信号は、RGB画像信号としてプロセッサユニット270のプロセッサ部272の推定分光データ算出手段280および画像処理部281へ入力される。
画像処理部281の擬似蛍光収率算出部284では、まず、特定蛍光波長帯域(470nm〜510nm)の各推定分光データq13〜q21を加算し、擬似蛍光強度Dを算出する。また、参照光強度Eとしてスコープユニット110から出力された画像信号Rの光強度を用いる。擬似蛍光強度Dを、画像信号Rの光強度の値で除算することにより、擬似蛍光収率Fを求め蛍光重畳画像生成部285へ出力する。また、参照光強度Eおよび擬似蛍光収率Fを準蛍光画像信号生成部282および準通常画像生成部283へ出力する。
蛍光重畳画像生成部285では、この擬似蛍光収率Fに対して、第1の実施形態と同様に、例えば、所定の判定値以上であれば緑を割り当て、判定値より小さければ赤をわりあてて、蛍光画像を生成する。また、観察者が、擬似蛍光収率Fが小さくなる病変組織の位置を確認しやすいように、スコープユニット110から出力された画像信号Rの光強度のみを反映させた白黒画像へ上述の蛍光画像を重畳した蛍光重畳画像データを生成して、表示処理部188へ出力する。
一方、メモリ290には、異なる放射強度の蛍光を発する複数個の観察部サンプルから発せられる蛍光の放射強度情報としての擬似蛍光収率Fと、この複数個の観察部サンプルから発せられる蛍光を本実施形態に用いられている蛍光内視鏡装置と同等の分光特性を有する蛍光内視鏡装置により撮像した画像信号との関係が、図9に示すようなルックアップテーブルとして予め記憶されている。
このルックアップテーブルを作成する際には、まず発する蛍光の放射強度が異なる多数の観察部サンプルを準備する。なお、観察部サンプルは、分光反射率および発する蛍光の分光放射率が、観察部10と略同等であることが好ましい。まず、観察部サンプルとスコープ部110の先端の距離を、像を撮像可能な最短距離に設定し、観察部サンプルへ照明光L1および励起光L2を照射し、上述した方法と同様の方法により、反射光と蛍光とからなる像を撮像し、所定画素における擬似蛍光収率Fと、参照光強度E(R画像信号の光強度)を求める。その後、励起光L2のみを観察部サンプルへ照射し、励起光L2の照射により観察部サンプルから発せられた蛍光の像を撮像し、蛍光の画像信号(R,G,B)を取得する。また、観察部サンプルとスコープ部の先端の距離を変化させて、種々の参照光強度E、例えば、参照光強度E1〜E5までの5段階の参照光強度Eにおいて、蛍光の画像信号(R,G,B)を取得する。なお、擬似蛍光収率Fは、演算の際に参照光強度による除算が行われているため、観察部サンプルとスコープ部の先端の距離の長短による影響は相殺されている。
蛍光放射強度の異なる観察部サンプル、すなわち擬似蛍光収率Fの値が異なる観察部サンプルから、上記と同様に、擬似蛍光収率Fを求め、参照光強度EをE1からE5まで5段階に変化させ、各段階毎に蛍光の画像信号(R,G,B)を取得する。同様に、種々の擬似蛍光収率F、例えばF1、F2、F3、F4およびF5の擬似蛍光収率Fを有する観察部サンプルから、各参照光強度Eにおける蛍光の画像信号(R,G,B)を取得する。これらの結果を、図9に示すルックアップテーブルとして、予めメモリ290へ記憶する。なおこのルックアップテーブルは、実測により取得した擬似蛍光収率F、参照光強度E、蛍光の画像信号(R,G,B)に対して、適宜平均化処理あるいは補間処理等を施して、作成してもよい。
画像処理部281の準蛍光画像信号生成部282では、各画素毎に、算出された擬似蛍光収率Fおよび参照光強度Eと、メモリ290に記憶されているルックアップテーブルを用いて、該画素の画像信号に含まれている蛍光の画像信号(R,G,B)を求め、準通常画像信号生成部283へ出力する。例えば、擬似蛍光収率FがF3で、参照光強度EがE3であれば、蛍光の画像信号は(R33、G33、B33)となる。
準通常画像信号生成部283では、各画素毎に、CCD117で撮像した画像信号R,G,B)から蛍光の画像信号(R33、G33、B33)を減算した準通常画像信号(R-R33、G-G33、B-B33)を作成する。また、この3色画像信号に各種の信号処理を施した上、輝度信号Yと色差信号Cで構成されるY/C信号を生成し、表示処理部188へ出力する。
表示処理部188では、蛍光重畳画像生成部285から出力された蛍光強調画像用の画像信号Y/Cから作成した蛍光強調画像と、準通常画像信号生成部283から出力されて準通常画像用の画像信号Y/Cから作成した準カラー通常画像とを並べて表示した表示画像を生成し、モニタ11へ出力して表示させる。
以上の説明で明らかなように、本発明による蛍光内視鏡装置200では、異なる放射強度の蛍光を発する複数個の観察部サンプルから発せられる蛍光の擬似蛍光収率と、該蛍光の画像信号との関係を示すルックアップテーブルを予めメモリ290へ記憶しておき、照明光および励起光を同時に被観察部10へ照射し、照明光の反射光と励起光の励起により発せられた蛍光とからなる像を撮像し、撮像された画像信号の各画素毎に、該画素の画像信号と予めメモリ290に記憶されている推定分光データ算出用の推定マトリクスとから、蛍光の略中心波長帯域を含む特定蛍光波長帯域の推定分光データを算出し、この特定蛍光波長帯域の推定分光データから擬似蛍光強度Dと参照光強度Eを求め、擬似蛍光強度Dを参照光強度Eにより除算することにより、擬似蛍光収率Fを算出し、この擬似蛍光収率Fとメモリ190に記憶されているルックアップテーブルとから、該等する蛍光の画像信号を求め、CCD117で撮像した画像信号から該当する蛍光の画像信号を減算することにより、準通常画像信号を生成したため、この準通常画像信号は蛍光の画像信号の含有率がより低くなるので、この準通常画像信号から生成した準通常画像を、照明光のみを照射して取得した通常画像の代用として用いることができる。また、単位時間あたりに取得可能は準通常画像のコマ数が少なくなることがないので、準通常画像を動画として表示する場合であっても、良好な画像を提供することができる。
また上記第2の実施の形態においては、特定蛍光波長帯域としては、蛍光の中心波長帯域である490nmを含む所定幅の波長帯域を用いたが、これに限定されるものではなく、実質的に蛍光の強度を反映する波長帯域であればよく、例えば490nmのみ、あるいは480nmや500nmのみであってもよい。また、485nm〜495nm等であってもよい。例えば特定蛍光波長帯域が、490nmのみであれば、推定分光データ(q17)のみを算出すれば、擬似蛍光強度が得られ、また特定蛍光波長帯域が、485nm〜495nmであれば、推定分光データ(q16、q17、q18)を算出すれば、擬似蛍光強度が得られる。
またこの特定蛍光波長帯域は、全波長帯域が実質的な蛍光の波長帯域内であることが好ましく、不必要に広い波長帯域であることは好ましくない。具体的には波長帯域幅は100nm以下であることが好ましく。50nm以下であることがより好ましい。また、10nm以下あるいは上述したように単波長であってもよい。
さらに、各実施の形態においては、スコープ部110内を伝播した照明光L1と励起光L2とを同時に被観察部10へ照射し、CCD117で撮像した画像信号と、予めメモリ190に記憶されているマトリクスデータを用いて、推定分光データを算出し、この推定分光データから擬似蛍光強度を算出し、この擬似蛍光強度に基づいて蛍光画像を生成する蛍光内視鏡装置を用いて説明を行ったが、本発明の蛍光画像取得装置の形態は、上記のような実施形態に限定されるものではなく、照明光と励起光とを照射し、蛍光画像を取得する形態であればいかなる形態であってもよい。励起光光源がLEDでもよい。また、例えばスコープ部先端にLED等の光源部を備えた内視鏡装置、コルポスコープ、あるいはカプセル内視鏡装置等であってもよいし、また蛍光画像取得機能を備える顕微鏡等であってもよい。
また、CCD117のモザイクフィルタとしては、原色型の3色フィルタを用いて説明を行ったが、これに限定されるものではなく、4色型あるいは補色型等のモザイクフィルタ等を用いることもできる。この場合には、CCD117から出力される信号を信号処理により原色型の信号へ変換してもよいし、予めこれらのモザイクフィルタの分光特性に合わせた推定マトリクスデータをメモリへ記憶させておいてもよい。
なお、本実施に形態においては、蛍光の擬似蛍光収率と、該蛍光の画像信号との関係を示すルックアップテーブルを予めメモリ290へ記憶したが、このルックアップテーブルの代わりに、蛍光の強度と蛍光の画像信号との関係を示すルックアップテーブルを予めメモリ290へ記憶してもよい。例えば被観察部の各領域がスコープユニット110からほぼ等距離にある場合などには、擬似蛍光収率の代わりに蛍光強度を用いて、蛍光の画像信号を算出することができる。
本発明の第1の実施形態に係る蛍光内視鏡装置の構成を示すブロック図 画像処理部の構成を示すブロック図 波長と推定分光データとの関係を示す図 波長と推定分光データとの関係を示す図 擬似蛍光収率と表示色との関係を示す図 擬似蛍光収率と表示色との関係を示す図 他の蛍光内視鏡装置の構成を示す図 本発明の第2の実施形態に係る蛍光内視鏡装置の構成を示すブロック 画像処理部の構成を示すブロック図 ルックアップテーブルの説明図 正常組織および病変組織から発せられる蛍光のスペクトルの説明図
符号の説明
10 観察部
11 モニタ
100 蛍光内視鏡装置
110 スコープユニット
111 照明用光学系
112 ライトガイド
113 光コネクタ
115 結像レンズ
116 励起光カットフィルタ
117 CCD
118 CCD駆動回路
121 制御部
122 スイッチ
125 信号ライン
126 信号ライン
127 コネクタ
130 励起光ユニット
131 半導体レーザ
132 駆動回路
133 ライトガイド(ファイバー)
134 スイッチ
136 光コネクタ
150 照明光ユニット
151 キセノンランプ
152 駆動回路
153 光コネクタ
154 接続検知部
155 波長フィルタ
156 絞り
157 ダイクロイックミラー
158 集光レンズ
159 ロータリーシャッタ
161 光コネクタ
162 接続検知部
163 ライトガイド(ファイバー)
164 レンズ
165 コネクタ
166 接続検知部
167 制御部
170,270 プロセッサユニット
172,271 プロセッサ部
174 通常画像処理部
176 表示処理部
180 推定分光データ算出部
181,195,281 画像処理部
182,282 準蛍光画像信号生成部
183,283 準通常画像信号生成部
184,284 擬似蛍光収率算出部
185,285 蛍光重畳画像生成部
188,196 表示処理部
189 光量制御部
190,290 メモリ
192 入力部

Claims (5)

  1. 照明光および励起光が同時に照射された被観察部の前記照明光の反射光と前記励起光の励起により発せられた蛍光とからなる像を撮像し、
    撮像された画像信号の各画素毎に、該画素の画像信号と予め記憶されている推定分光データ算出用の推定マトリクスとから、前記蛍光の略中心波長帯域を少なくとも含む波長帯域である特定蛍光波長帯域の推定分光データを算出し、該特定蛍光波長帯域の推定分光データに基づいて、前記蛍光に起因する画像信号を含む準蛍光画像信号を求め、前記撮像された画像信号から前記準蛍光画像信号を除いて準通常画像信号を生成することを特徴とする画像取得方法。
  2. 照明光および励起光を同時に被観察部へ照射する光照射手段と、
    前記被観察部における前記照明光の反射光と前記励起光が照射された前記被観察部から発せられる蛍光とからなる像を撮像する撮像手段と、
    推定分光データ算出用の推定マトリクスを記憶する第1の記憶部と、
    前記撮像手段から出力された画像信号の画素毎に、該画素の画像信号と前記推定マトリクスとを用いて、前記蛍光の略中心波長帯域を少なくとも含む波長帯域である特定蛍光波長帯域の推定分光データを算出する推定分光データ算出手段と、
    前記推定分光データ算出手段により算出された特定蛍光波長帯域の推定分光データに基づいて蛍光に起因する画像信号を含む準蛍光画像信号を生成する準蛍光画像信号生成手段と、前記撮像手段により撮像された画像信号から準蛍光画像信号を除いて準通常画像信号を生成する準通常画像信号生成手段とを有する画像処理手段とを備えることを特徴とする画像取得装置。
  3. 前記画像処理手段が、前記特定蛍光波長帯域の推定分光データから、前記観察部から発せられる蛍光の放射強度を反映する情報である蛍光放射強度情報を求める蛍光放射強度情報算出手段を有し、
    前記観察部と略同等の蛍光特性を有し、前記励起光の照射により異なる放射強度の蛍光を発する複数個の観察部サンプルから発せられる蛍光の蛍光放射強度情報と、前記複数個の観察部サンプルから発せられる蛍光を前記撮像手段で撮像して取得した蛍光画像信号との関係を予め記憶する第2の記憶部を備え、
    前記準蛍光画像信号生成手段が、前記蛍光放射強度算出手段により求められた放射線強度情報と、前記第2の記憶部へ記憶された前記関係とに基づいて、前記準蛍光画像信号を生成するものであることを特徴とする請求項2記載の画像取得装置。
  4. 前記光照射手段が、前記励起光の照射と同時に、該励起光とは波長の異なる参照光を前記被観察部へ照射するものであり、
    前記撮像手段が、前記被観察部における前記参照光の反射光を含む像を撮像するものであり、
    前記蛍光放射強度情報算出手段が、前記撮像手段で撮像された前記参照光の反射光の強度である参照光強度を算出し、前記特定蛍光波長帯域の推定分光データから前記特定蛍光波長帯域の光強度である擬似蛍光強度を算出し、該擬似蛍光強度を前記参照光強度により除算した擬似蛍光収率を、前記蛍光放射強度情報として算出するものであることを特徴とする請求項3記載の画像取得装置。
  5. 前記特定蛍光波長帯域を入力操作により設定する入力手段を備えていることを特徴とする請求項2から4いずれか1項記載の画像取得装置。
JP2008238091A 2008-09-17 2008-09-17 画像取得装置および画像取得装置の作動方法 Expired - Fee Related JP5191327B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008238091A JP5191327B2 (ja) 2008-09-17 2008-09-17 画像取得装置および画像取得装置の作動方法
US12/561,171 US8203709B2 (en) 2008-09-17 2009-09-16 Image obtaining method and image obtaining apparatus
EP09011826A EP2165643B1 (en) 2008-09-17 2009-09-16 Image obtaining method and image obtaining apparatus
AT09011826T ATE553692T1 (de) 2008-09-17 2009-09-16 Bilderfassungsverfahren und bilderfassungsvorrichtung
CN200910175501.2A CN101708120B (zh) 2008-09-17 2009-09-17 图像获得方法和图像获得设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008238091A JP5191327B2 (ja) 2008-09-17 2008-09-17 画像取得装置および画像取得装置の作動方法

Publications (2)

Publication Number Publication Date
JP2010068925A true JP2010068925A (ja) 2010-04-02
JP5191327B2 JP5191327B2 (ja) 2013-05-08

Family

ID=42201267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008238091A Expired - Fee Related JP5191327B2 (ja) 2008-09-17 2008-09-17 画像取得装置および画像取得装置の作動方法

Country Status (1)

Country Link
JP (1) JP5191327B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012090726A (ja) * 2010-10-26 2012-05-17 Fujifilm Corp 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び照明光制御方法
WO2013084566A1 (ja) * 2011-12-07 2013-06-13 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2016039345A1 (ja) * 2014-09-09 2016-03-17 オリンパス株式会社 撮像素子および内視鏡装置
WO2019059379A1 (ja) * 2017-09-21 2019-03-28 国立大学法人北海道大学 生体検査装置及び生体検査方法
US10667675B2 (en) 2016-02-18 2020-06-02 Panasonic Corporation Imaging device and image processing method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002143079A (ja) * 2000-11-10 2002-05-21 Asahi Optical Co Ltd 電子内視鏡装置
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2004000477A (ja) * 2002-03-28 2004-01-08 Fuji Photo Film Co Ltd 蛍光判定方法および装置
JP2006175052A (ja) * 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 蛍光画像撮像装置
JP2007202621A (ja) * 2006-01-31 2007-08-16 Fujinon Corp 電子内視鏡装置
JP2007268047A (ja) * 2006-03-31 2007-10-18 Fujinon Corp 電子内視鏡装置およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002143079A (ja) * 2000-11-10 2002-05-21 Asahi Optical Co Ltd 電子内視鏡装置
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2004000477A (ja) * 2002-03-28 2004-01-08 Fuji Photo Film Co Ltd 蛍光判定方法および装置
JP2006175052A (ja) * 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 蛍光画像撮像装置
JP2007202621A (ja) * 2006-01-31 2007-08-16 Fujinon Corp 電子内視鏡装置
JP2007268047A (ja) * 2006-03-31 2007-10-18 Fujinon Corp 電子内視鏡装置およびプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012090726A (ja) * 2010-10-26 2012-05-17 Fujifilm Corp 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び照明光制御方法
WO2013084566A1 (ja) * 2011-12-07 2013-06-13 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2016039345A1 (ja) * 2014-09-09 2016-03-17 オリンパス株式会社 撮像素子および内視鏡装置
JP2016058866A (ja) * 2014-09-09 2016-04-21 オリンパス株式会社 撮像素子および内視鏡装置
US10335019B2 (en) 2014-09-09 2019-07-02 Olympus Corporation Image pickup element and endoscope device
US10667675B2 (en) 2016-02-18 2020-06-02 Panasonic Corporation Imaging device and image processing method
WO2019059379A1 (ja) * 2017-09-21 2019-03-28 国立大学法人北海道大学 生体検査装置及び生体検査方法

Also Published As

Publication number Publication date
JP5191327B2 (ja) 2013-05-08

Similar Documents

Publication Publication Date Title
JP5081720B2 (ja) 蛍光内視鏡装置および励起光ユニット
JP5229723B2 (ja) 蛍光画像取得装置
EP2409635B1 (en) Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
JP5110702B2 (ja) 蛍光画像取得装置
JP5502812B2 (ja) 生体情報取得システムおよび生体情報取得システムの作動方法
JP5351924B2 (ja) 生体情報取得システムおよび生体情報取得システムの作動方法
JP4818753B2 (ja) 内視鏡システム
JP5485191B2 (ja) 内視鏡装置
JP4855728B2 (ja) 照明装置及び観察装置
JP5329593B2 (ja) 生体情報取得システムおよび生体情報取得システムの作動方法
JP5191329B2 (ja) 画像取得装置
EP2165643A1 (en) Image obtaining method and image obtaining apparatus
JP5485190B2 (ja) 内視鏡装置
WO2010122884A1 (ja) 蛍光画像装置及び蛍光画像取得方法
JP5147538B2 (ja) 蛍光画像取得装置および蛍光画像取得装置の作動方法
JP5757891B2 (ja) 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム
JP2005046634A (ja) コンパクトな蛍光内視鏡映像システム
JP5485215B2 (ja) 内視鏡装置
JP5191327B2 (ja) 画像取得装置および画像取得装置の作動方法
JP5538143B2 (ja) 内視鏡システム
JP2012090726A (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び照明光制御方法
JP5264382B2 (ja) 画像取得装置
JP2004024496A (ja) 蛍光診断画像生成方法および装置
JP5152795B2 (ja) 蛍光画像取得装置および蛍光画像取得装置の作動方法
JP2010136775A (ja) 画像取得方法および内視鏡装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160208

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees