JP2013172903A - 電子内視鏡装置 - Google Patents
電子内視鏡装置 Download PDFInfo
- Publication number
- JP2013172903A JP2013172903A JP2012040307A JP2012040307A JP2013172903A JP 2013172903 A JP2013172903 A JP 2013172903A JP 2012040307 A JP2012040307 A JP 2012040307A JP 2012040307 A JP2012040307 A JP 2012040307A JP 2013172903 A JP2013172903 A JP 2013172903A
- Authority
- JP
- Japan
- Prior art keywords
- image
- excitation light
- fluorescence
- autofluorescence
- electronic endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Endoscopes (AREA)
Abstract
【課題】励起光の種類よりも多数の生体成分の含有率を推定する。
【解決手段】被検体に照射したときに被検体から蛍光を発光させる励起光を発生する励起光光源と、蛍光により被検体を撮像するEMCCD46と、EMCCD64で撮像した蛍光画像の画素値を、蛍光を発光する複数の蛍光成分の各々の含有率に対応付ける変換行列データ154を予め記憶するROM67と、蛍光画像と変換行列データ154を取得し、蛍光画像の画素値に変換行列データ154を作用させ、画素毎に励起光の種類よりも多い複数の蛍光成分の含有率の推定値をそれぞれ算出する含有率算出部151と、含有率算出部151が算出した含有率に対応する値を画素値とする画像を生成する画像生成部152と、を備える。
【選択図】図6
【解決手段】被検体に照射したときに被検体から蛍光を発光させる励起光を発生する励起光光源と、蛍光により被検体を撮像するEMCCD46と、EMCCD64で撮像した蛍光画像の画素値を、蛍光を発光する複数の蛍光成分の各々の含有率に対応付ける変換行列データ154を予め記憶するROM67と、蛍光画像と変換行列データ154を取得し、蛍光画像の画素値に変換行列データ154を作用させ、画素毎に励起光の種類よりも多い複数の蛍光成分の含有率の推定値をそれぞれ算出する含有率算出部151と、含有率算出部151が算出した含有率に対応する値を画素値とする画像を生成する画像生成部152と、を備える。
【選択図】図6
Description
本発明は、電子内視鏡によって被検体内を撮影する電子内視鏡装置に関する。
医療分野において、電子内視鏡装置を利用した検査が普及している。電子内視鏡装置は、例えば、撮像素子等が搭載され、被検体内に挿入される挿入部を有する電子内視鏡と、電子内視鏡を通して被検体内に光を照射する光源ユニット、電子内視鏡や光源ユニットの動作制御を行ったり、電子内視鏡で撮影した画像に画像処理を施したりするプロセッサユニット等で構成される。旧来の典型的な電子内視鏡装置では白色光を照射して被検体内を撮像するので、被検体内を自然な色合いで観察することができる。
しかし、白色光で被検体内を撮像した画像によれば上述のように自然な色合いで被検体内を観察することができるが、自然な色合いの画像は、必ずしも粘膜の微細構造の視認性や病変組織の識別性に優れているわけではない。また、病変組織の識別等のためには中深層血管等の観察が必要になることもあるが、白色光下で得た画像では中深層血管等の粘膜下組織を観察も容易ではない。こうしたことから、近年では、観察の対象となる組織が明瞭になるように強調された画像を得るようにした電子内視鏡装置が知られている。
具体的には、狭帯域光観察、自家蛍光観察、赤外光観察等の特殊光観察を行えるようにした電子内視鏡装置が知られている。狭帯域光観察は、例えば、青色や緑色の極狭い波長帯域の光(狭帯域光)を照射して被検体内を撮像し、狭帯域光の吸収率の相違によって血管等の所定組織を観察しやすくする観察方法である。自家蛍光観察は、紫外線や青色の狭帯域光を励起光として被検体内に照射することによって生体組織から自家蛍光を励起発生させ、この自家蛍光で被検体内を撮像することによって、病変組織等を観察しやすくする観察方法である。赤外光観察では、近赤外光を照射して被検体内を撮像することにより、深層血管を観察しやすくする観察方法である。
上述のような特殊光観察の中でも、自家蛍光観察は癌組織等の病変組織の識別に有効であることから特に需要が高まっている。前述のように自家蛍光観察では励起光を照射して発生する自家蛍光によって被検体を撮像するが、励起光の照射によって自家蛍光を励起発光する生体成分は複数種類あり、また、これらは正常組織にも病変組織にも存在する。このため、自家蛍光観察によって病変組織をより確実に識別するためには、正常組織が発した自家蛍光と病変組織等が発した自家蛍光を分離し、病変組織等からの自家蛍光を峻別できることが望ましい。こうした要望から、近年では、予め取得された平均的な被検体の正常組織から得られる自家蛍光のスペクトルを用いて、被検体を撮影して得られた画像から得られる自家蛍光全体のスペクトルから正常組織や病変組織等による自家蛍光のスペクトルを分離し、病変組織等の識別性を向上させる電子内視鏡装置が提案されている(特許文献1)。特許文献1では、この手法をアンミキシングと称している。
特許文献1に記載のアンミキシングは、より具体的には次のような手法である。まず、n種類の励起光に対して自家蛍光を励起発光する生体成分がm種類あるとするとき、n種の励起光で所定含有率のm種の生体成分を各々励起して、その自家蛍光スペクトルのデータをn×m行列として予め測定しておく。そして、n種の励起光を被検体内に照射して各々得られる自家蛍光のスペクトルのデータ列(n×1ベクトル)に、前述のn×m行列の逆行列を演算することにより、m種の生体成分の含有率を推定する。
但し、このアンミキシングにおける演算が可能なのは、励起光の種類nが含有率を特定する生体成分の数m以上の場合である(n≧m)。したがって、特許文献1のアンミキシングを用いる場合、含有率を推定する生体成分の数以上の励起光光源を用意しなければならないが、このように多数の励起光光源を設けることは、コストアップや光源ユニットの大型化につながるので当然好ましくない。また、病変組織等を識別可能な1枚の画像を得るために、複数の励起光でそれぞれ被検体内を撮像しなければならないので、励起光の種類が多いほど観察用の画像生成に時間を要するという問題もある。このため、より少数種類の励起光で、多数の生体成分の含有率を推定できることが望ましい。
本発明は、上述の点に鑑みてなされたものであり、励起光の種類よりも多数の生体成分の含有率を推定し、推定した生体成分の含有率に基づいて観察用の画像を生成することにより、病変組織等の識別性を向上させることができる電子内視鏡装置を提供することを目的とする。
本発明の電子内視鏡装置は、被検体に照射したときに前記被検体から蛍光を発光させる励起光を発生する励起光光源と、前記蛍光により、前記被検体を撮像する撮像装置と、前記撮像装置で撮像した前記被検体の蛍光画像の画素値を、前記蛍光を発光する複数の蛍光成分の各々の含有率に対応付ける変換行列データを予め記憶する記憶手段と、前記蛍光画像と前記変換行列データを取得し、前記蛍光画像の画素値に前記変換行列データを作用させ、画素毎に前記励起光の種類よりも多い複数の前記蛍光成分の含有率の推定値をそれぞれ算出する含有率算出部と、前記含有率算出部が算出した前記含有率に対応する値を画素値とする画像を生成する画像生成部と、を備えることを特徴とする。
前記蛍光成分は前記被検体が備える生体成分であり、前記蛍光は自家蛍光であることが好ましい。
前記励起光の波長がそれぞれ異なる複数の前記励起光光源を有し、前記変換行列データは、複数の前記励起光光源を各々使用して得た複数の前記蛍光画像の対応する画素の画素値を、複数の前記励起光光源の総数よりも他種類の前記蛍光成分の含有率に対応付けるデータであることが好ましい。
前記変換行列データは、前記含有率を推定する前記蛍光成分が所定含有率で含まれたファントムを、前記励起光を照射して撮像して得た蛍光画像に基づいて算出されたデータであることが好ましい。
前記変換行列データは、複数の前記蛍光成分のうち少なくとも1種類含む複数の前記ファントムを、前記励起光を照射してそれぞれ撮像して得た複数の蛍光画像に基づいて算出されたデータであることが好ましい。
前記所定含有率は、前記被検体における前記蛍光成分の平均的な含有率であることが好ましい。
前記画像生成部は、複数の前記蛍光成分毎に色付けをして、前記含有率算出部が算出した前記含有率に対応する値を画素値とするカラーの画像を生成することが好ましい。
前記励起光光源は、レーザーダイオードであることが好ましい。
前記撮像装置は、モノクロのイメージセンサによって前記被検体を前記蛍光で撮像することが好ましい。
前記撮像装置は、前記蛍光を光電変換して得られる信号電荷を増倍して感度を向上させるEMCCDであることが好ましい。
前記撮像装置は、前記励起光を遮蔽する励起光カットフィルタを備えることが好ましい。
本発明は、被検体を撮像した画像の画素値を生体成分の含有率に対応付ける変換行列データを予め記憶しておき、これを用いて生体成分の含有率を推定するので、励起光の種類よりも多数の生体成分の含有率を推定することができる。これにより、推定した生体成分の含有率に基づいて観察用の画像を生成し、病変組織等の識別性を向上させることができる。
図1に示すように、電子内視鏡装置10は、電子内視鏡11、プロセッサユニット12、及び光源ユニット13を備える。電子内視鏡11は、被検者の体内に挿入される可撓性の挿入部14と、挿入部14の基端部分に連接された操作部16と、プロセッサユニット12及び光源ユニット13に接続されるコネクタ17と、操作部16とコネクタ17間を繋ぐユニバーサルコード18等を有する。挿入部14の先端である先端部19には、白色光で被検体を撮像するためのCCD43(図2参照)と、自家蛍光で被検体を撮像するためのEMCCD(Electronically Magnified CCD)46(図2参照)の2種類のイメージセンサが搭載されている。これにより電子内視鏡装置10は、白色光(以下、通常光という)による撮影(以下、通常光撮影という)と、自家蛍光による撮影(以下、自家蛍光撮影という)の二種類の撮影を行うことができる。
操作部16には先端部19を上下左右に湾曲させるためのアングルノブや、先端部19からエアーや水を噴出させるための送気/送水ボタン、観察画像を静止画記録するためのレリーズボタン、モニタ21に表示された観察画像の拡大/縮小を指示するズームボタンといった操作部材が設けられている。また、操作部16の先端側には、電気メス等の処置具が挿通される鉗子口が設けられている。鉗子口は、挿入部14内の鉗子チャネルを介して先端部19に設けられた鉗子出口に連通している。
プロセッサユニット12は、電子内視鏡11及び光源ユニット13と電気的に接続され、電子内視鏡装置10の動作を統括的に制御する。プロセッサユニット12は、ユニバーサルコード18や挿入部14内に挿通された伝送ケーブルを介して電子内視鏡11に給電を行い、CCD43及びEMCCD46の駆動を制御する。また、プロセッサユニット12は、伝送ケーブルを介してCCD43及びEMCCD46から出力された撮像信号を取得し、後述する各種の画像データを生成する。プロセッサユニット12で生成された画像データは、プロセッサユニット12にケーブル接続されたモニタ21に観察画像として表示される。
図2に示すように、電子内視鏡11には、観察窓26の奥に対物光学系27やカメラヘッドアセンブリ(CHA)31が設けられ、照明窓32の奥には光源ユニット13から被検体内に照射するための光ファイバ52やレンズ等の図示しない投光用部材が設けられている。なお、対物光学系27やカメラヘッドアセンブリ(CHA)31は、後述するプロセッサユニット12のDSP62,63やDIP64とともに電子内視鏡装置10の撮像装置を構成する。
観察窓26は、先端部19の端面に透明な材料で形成され、被検体内から入射する光をレンズ等からなる対物光学系27を介してCHA31に導く。照明窓32は、光源ユニット13から光ファイバ52や投光用部材を介して出射させる光を被検体内に照射するための窓であり、先端部19の端面に透明な材料で形成される。なお、図2では便宜的に照明窓32を1個記載しているが、照明窓32は複数(例えば2個)形成されており、各照明窓32から光を照射することにより、撮影範囲をむらなく照明することができるようになっている。また、光ファイバ52は、各照明窓32に対応して分岐されており、全ての照明窓32から同じ光が被検体内に照射される。
CHA31は、CPU41の制御のもとに被検体内を撮像するアセンブリであり、ビームスプリッタ42、CCD43、EMCCD46、CCD制御回路44、EMCCD制御回路47等を備える。CHA31を構成する各部のうち、ビームスプリッタ42、CCD43、EMCCD46は先端部19に設けられている。一方、CCD制御回路44及びEMCCD制御回路47と、CHA31を制御するCPU41は、操作部16やユニバーサルコード18のコネクタ17等に設けられている。
CCD43は、被検体内を白色光(以下、通常光という)によって撮像するイメージセンサであり、撮像面をビームスプリッタ42の出射面に向けて配置される。CCD43の動作は、CCD制御回路44によって制御される。CCD制御回路44は、CPU41から入力される制御信号に基づいて、CCD43の動作タイミングを制御する。また、CCD43から出力される撮像信号を取得し、A/D変換してプロセッサユニット12のDSP62に入力する。CCD43の動画撮像時のフレームレートは通常30fpsまたは60fpsであるが、1〜200fpsの間の任意のフレームレートでも良い。また、静止画記録も可能である。
EMCCD46は高感度イメージセンサであり、電子内視鏡装置10では微弱な自家蛍光によって被検体内を撮像するために設けられている。EMCCD46の動作は、EMCCD制御回路47によって制御される。EMCCD制御回路47は、CPU41から入力される制御信号に基づいて、EMCCD46の動作タイミングを制御する。また、EMCCD46から出力される撮像信号を取得し、A/D変換してプロセッサユニット12のDSP63に入力する。
投光ユニット36は、通常光を被検体内に照射するユニットであり、光ファイバ52によって光源ユニット13から青色レーザー光が導光される。投光ユニット36の先端部分には、蛍光体54が設けられている。蛍光体54は、例えばYAGやBAM(BaMgAl10O17)からなり、光ファイバ52から出射される青色レーザー光の一部を吸収して緑色〜黄色を中心に励起発光する。このため、投光ユニット36は、蛍光体54を拡散しながら透過する青色の光と、蛍光体54から励起発光された光とが合わさって擬似白色の通常光を出射する。
プロセッサユニット12は、CPU61、デジタル信号処理回路(DSP)62,63、デジタル画像処理回路(DIP)64、表示制御回路65、ROM67、RAM68等を備える。
CPU61は、プロセッサユニット12の動作を統括的に制御する。CPU61は、制御信号やデータの入力のために、データバスやアドレスバス、制御線(いずれも図示しない)を介して各部と接続されている。また、CPU61によるプロセッサユニット12の動作制御は、操作パネル、マウスやキーボード等の入力デバイス(図示しない)や、電子内視鏡11の操作部16から入力される操作信号に基づいて行われる。
ROM67にはプロセッサユニット12を制御するための各種プログラム(OS,アプリケーションプログラム等)やグラフィックデータ、後述する変換行列データ154(図6参照)等の各種データが記憶されている。CPU61は、ROM67から必要なプログラムやデータを読み出して、作業メモリであるRAM68に展開し、読み出したプログラムを逐次処理する。また、CPU61は、検査日時、被検体や術者の情報等の文字情報を、操作部51やLAN等のネットワークより取得し、RAM68に記憶する。
さらに、CPU61は、被検体内に照射する光の種類や照射タイミング等、撮影の態様に応じてCCD43やEMCCD46の電荷蓄積期間やその開始/終了のタイミングを調節する制御信号を電子内視鏡11のCPU41に入力する。電子内視鏡11のCPU41は、CPU61から入力される制御信号にしたがってCCD駆動回路98やEMCCD駆動回路98を駆動することにより、CCD43やEMCCD46の動作を制御する。また、CCD43における通常光による撮像とEMCCD46における自家蛍光による撮像を交互に行う場合、これを指示するタイミング調節信号をCCD制御回路44及びEMCCD制御回路47に入力する。CCD43,EMCCD46による撮像は交互でも良く、またそれぞれのフレーム蓄積時間が異なっても良い。さらに、フレーム選択を1:1でなく、2:1,4:1,8:1,16:1の様にEMCCDでの撮像を少なくしても良い。表示においては、通常光画像と蛍光画像それぞれの画像更新に合わせて、静止画像を更新しても良い。双方の画像が同時更新される必要はない。
また、CPU61は、電子内視鏡11のCPU41に入力するものと同期した制御信号を光源ユニット13のCPU71に入力する。これにより、撮影態様に応じて、CCD43やEMCCD46による撮像のタイミングに同期して、光源ユニット13から通常光や励起光を被検体内に照射させる。
DSP62は、CCD43から入力される撮像信号に対して、色分離、色補間、ゲイン補正、ホワイトバランス調節、ガンマ補正等の各種信号処理を施し、通常光による撮影画像(以下、通常光画像という)を生成する。DSP62で生成された通常光画像は、DIP64の作業メモリに入力される。また、DSP62は、例えば生成した通常光画像の各画素の輝度を平均した平均輝度値等、照明光量の自動制御(ALC制御)に必要な第1ALC制御用データを生成し、CPU61に入力する。CPU61は、DSP62から入力される第1ALC制御用データを光源ユニット13のCPU71に入力する。
DSP63は、EMCCD46から入力される撮像信号に対して、ゲイン補正、ガンマ補正等の各種信号処理を施し、自家蛍光による撮影画像(以下、自家蛍光画像という)を生成する。DSP63で生成された自家蛍光画像は、DIP64の作業メモリに入力される。また、DSP63は、生成した自家蛍光画像のコントラストやシャープネスに基づいて第2ALC制御用データを生成し、CPU61に入力する。CPU61は、自家蛍光画像に基づいた第2ALC制御用データを光源ユニット13のCPU71に入力する。
DIP64は、DSP62及びDSP63で生成された通常光画像及び自家蛍光画像に対して、電子変倍、色強調処理、エッジ強調処理等の各種画像処理を施す。さらに、モニタ21への表示画像の設定によっては、DIP64は、通常光画像と自家蛍光画像を重畳した合成画像を生成することがある。なお、後述するように自家蛍光画像が入力された場合、DIP64は二種類の自家蛍光画像に基づいて、自家蛍光を励起発光した三種類の生体成分の含有率を推定する。そして、推定した各生体成分の含有率に基づいて生体成分毎の自家蛍光画像を生成し、これらに上述の各種画像処理を施す。また、合成画像を生成する場合は、生成した生体成分毎の自家蛍光画像を用いる。こうしてDIP64で処理された通常光画像や、DIP64により生成された自家蛍光画像や合成画像は、観察画像としてVRAM(図示しない)に一時的に記憶された後、表示制御回路65に入力される。
表示制御回路65は、VRAMから観察画像を取得してモニタ21に表示する。また、表示制御回路65は、CPU61からの制御信号に基づいて、ROM67やRAM68に記憶されたグラフィックデータ等を受け取る。グラフィックデータ等には、観察画像のうち被検体内が写された有効画素領域だけを表示させる表示マスク、検査日時,被検体や術者の情報等の文字情報、GUIといったものがある。表示制御回路65は、VRAMから取得した観察画像に対してグラフィックデータ等の重畳処理を行うとともに、モニタ21の表示形式に応じたビデオ信号(コンポーネント信号、コンポジット信号等)に変換してモニタ21に出力する。これにより、モニタ21に観察画像が表示される。
プロセッサユニット12には、上記の他にも各種画像に対して所定の圧縮形式(例えばJPEG形式)で画像圧縮処理を施す圧縮処理回路や、レリーズボタンの操作に連動して、圧縮された画像をリムーバブルメディアに記録するメディアI/F、LAN等のネットワークとの間で各種データの伝送制御を行うネットワークI/F等が設けられている。これらは、データバス等を介してCPU61と接続されている。
光源ユニット13は、通常光光源81、第1励起光光源82、第2励起光光源83、及びこれらの動作を制御するCPU71を備える。CPU71は、例えば、プロセッサユニット12から入力される制御信号に基づき、CCD43やEMCCD46の撮像タイミングに同期して通常光光源81、第1励起光光源82、第2励起光光源83をオン/オフさせる。これにより、CCD43により通常光撮影を行うときには通常光光源81から通常光が被検体内に照射され、EMCCD46により自家蛍光撮影を行うときには第1励起光光源82や第2励起光光源83から励起光が被検体内に照射される。また、CPU71は、プロセッサユニット12から入力されるALC制御用データに基づいて、各光源81,82,83の発光量を調節する。
通常光光源81は、中心波長445nmの青色光を発するレーザーダイオードと蛍光体(いずれも図示しない)を備える。蛍光体は、例えばYAGやBAM(BaMgAl10O17)からなり、レーザーダイオードが発した青色光の一部を吸収して緑色〜黄色を中心に励起発光する。このため、通常光光源81は、蛍光体を拡散しながら透過する青色光と蛍光体から励起発光された光からなる擬似白色の通常光を出射する。通常光光源81が出射する通常光の光量は、第1ALC制御用データに基づいてレーザーダイオードの発光量を調節することにより、通常光撮影に最適に自動調節される。
第1励起光光源82と第2励起光光源83は、いずれも自家蛍光撮影用の励起光(例えば波長390〜470nm程度)を発するレーザーダイオードである。但し、第1励起光光源82が発する第1励起光の波長λ1と第2励起光光源83が発する第2励起光の波長λ2は各々異なる(λ1≠λ2)。第1励起光は、例えば中心波長340nmの紫外光であり、被検体内に照射されるとNADHやコラーゲン、エラスチン等を励起し、中心波長450nm、390nm、420nmの自家蛍光をそれぞれ発光させる。第2励起光は、例えば中心波長450nmの青色光であり、被検体内に照射されるとFADやコラーゲン、エラスチン等を励起し、中心波長515nm、530nm、520nmの自家蛍光をそれぞれ発光させる。なお、第1励起光や第2励起光の光量は、第2ALC制御用データに基づき、各励起光による自家蛍光観察に最適なように自動調節されるが、自家蛍光の光量は微弱であるため、自家蛍光の光量ができるだけ多くなるように、ほぼ常に最大発光量となるように制御される。また、電子内視鏡装置10で自家蛍光撮影を行うときには、第1励起光による撮像と第2励起光による撮像がセットにして行われる。このため、自家蛍光撮影を行うと、第1励起光で励起した自家蛍光による自家蛍光画像と、第2励起光で励起した自家蛍光画像の二種類の自家蛍光画像が撮像される。
上述の通常光光源81、第1励起光光源82、第2励起光光源83は、図示しないファイバカプラ等により1本にまとめられた光ファイバ84に接続され、さらにコネクタ17を介して電子内視鏡11の光ファイバ52に接続される。このため、通常光や第1励起光、第2励起光は全て照射窓32から照射される。但し、前述のように通常光光源81、第1励起光光源82、第2励起光光源83のオン/オフのタイミングはCCD43やEMCCD46の撮影タイミングに同期して制御されるので、通常光撮影を行うときには通常光だけが被検体内に照射され、第1励起光による自家蛍光撮影を行うときには第1励起光だけが被検体内に照射され、第2励起光による自家蛍光撮影を行うときには第2励起光だけが被検体内に照射される。
上述の電子内視鏡装置10の各部は、より詳細には次のように構成される。
まず、図3に示すように、ビームスプリッタ42は、対物光学系27から入射される光を、CCD43とEMCCD46の2方向に分岐して入射させる。ビームスプリッタ42は三角柱状のプリズムの斜面を合わせて、立方体形状に形成されるとともに、プリズムの界面には半透膜51が設けられる。半透膜51は、入射光の一部を透過し、残りを反射する。また、半透膜51による入射光の分岐は入射光の波長によらず、半透膜51は全波長域の光をほぼ同じ比率で透過/反射する。半透膜51は、例えば入射光量の30%〜70%を透過し、残り70%〜30%を反射するように形成される。但し、半透膜51の透過率及び反射率は、50%ずつに分岐させる等、他の比率でも良く、CCD43やEMCCD46の感度等に応じて任意に定められる。ビームスプリッタ42は、半透膜51によって被検体内からの入射光のうち30%〜70%をEMCCD46に入射させ、70%〜30%をCCD43に入射させる。プリズム42とEMCCD46との間には励起光をカットするフィルター95を挿入する。励起光の反射光をEMCCD46が受光することを避けるためである。フィルター95の励起光透過率は0.1%以下とすることが望ましい。また、プリズム42のEMCCD側出射部にフィルターを形成することでフィルター95の代替としても良い。
CCD43の背面にはペルチェ素子91と放熱板93が設けられる。ペルチェ素子91は、直流電流で駆動されることにより、CCD43に接する面を吸熱し、放熱板93に接する面から放熱する。これにより、CCD43から発生する熱は放熱板93から効率良く放熱され、CCD43は冷却される。同様に、EMCCD46の背面にはペルチェ素子92と放熱板94が設けられ、EMCCD46で発生する熱は放熱板94から効率良く放熱され、EMCCD46は冷却される。
励起光カットフィルタ95は、EMCCD46とビームスプリッタ42の間に設けられ、ビームスプリッタ42からEMCCD46に入射する光のうち、励起光を遮蔽し、自家蛍光だけをEMCCD46に入射させる。これにより、自家蛍光撮影を行う場合、励起光の反射光によってハレーション等を起こすことなく、EMCCD46は自家蛍光によって被検体内を撮像することができる。
CCD制御回路44は、タイミングジェネレータ(以下、TGという)96、駆動回路98、アナログ信号処理回路(以下、AFEという)101を備える。TG96は、CPU41から入力される制御信号に基づいて、駆動回路98にクロック信号を入力する。駆動回路98は、TG96から入力されるクロック信号を制御パルスに変換してCCD43に入力することによりCCD43の動作を制御する。AFE101は、CCD43が出力する撮像信号からノイズを除去しながらサンプリングし、増幅した後にデジタルな撮像信号に変換してDSP62に入力する。AFE101は、CPU41の制御のもとTG96から入力されるクロック信号に基づいて動作し、例えば、CPU41はプロセッサユニット12のCPU61から入力される制御信号に基づいて撮像信号の増幅率を調節する。
EMCCD制御回路47は、CCD制御回路44と同様に、TG97、駆動回路99、AFE102を備える。EMCCD制御回路47の各部の動作は、上述のCCD制御回路44の各部と同様である。
図4に示すように、CCD43は、受光素子(以下、PDという)105、垂直転送部(以下、VCCDという)106、水平転送部(以下、HCCDという)107、出力部108を有する。また、駆動回路98は、VCCDドライバ111、HCCDドライバ112、リセットドライバ113を備える。
PD105は、マトリクス状に配置され、入射光を光電変換により信号電荷に変換して蓄積する。PD105の配列された領域が撮像面である。また、CCD43では、各PD105に対応するように、複数の色セグメントからなるカラーフィルタが形成されている。カラーフィルタは、例えばベイヤー配列の原色(RGB)あるいは補色(CMYまたはCMYG)カラーフィルタである。
VCCD106は、垂直方向(Y方向)に並ぶPD105の列毎に設けられ、読み出しゲート109を介して各々のPD105と接続される。VCCD106は、読み出しゲート109を介してPD105から読み出された信号電荷を垂直方向に転送し、HCCD107に入力する。VCCD106は、複数の垂直転送電極を有し、駆動回路98のVCCDドライバ111から印加される垂直転送パルスφV1〜φV4によって4相駆動される。これらの垂直転送電極のうち、第1及び第3の垂直転送パルスφV1,φV3が印加される垂直転送電極は、読み出しゲート109のゲート電極を兼ねている。
HCCD107は、各VCCD106から順次転送される1行分の信号電荷を水平方向(X方向)に転送する。HCCD107は複数の水平転送電極を有し、駆動回路98のHCCDドライバ112から水平転送電極に印加される水平転送パルスφH1,φH2によって2相駆動される。HCCD107の出力端には、フローティングディフュージョンアンプが出力部108として設けられている。出力部108は、HCCD107から転送された信号電荷を1画素(1つのPD105)分ずつ電圧信号に変換して、撮像信号Voutを出力する。
リセットドライバ113は、電荷リセット用のクロック信号をレベル変換することによりリセットパルスφRSを発生させる。リセットドライバ113は、リセットパルスφRSを出力部108に入力することにより、電荷電圧変換が終了して撮像信号Voutとして出力された信号電荷を画素毎に破棄させる。
AFE101は、相関二重サンプリング回路(以下、CDSという)114、自動ゲイン調節回路(以下、AGCという)115、A/D変換器(以下、A/Dという)116を備える。CDS114は、CCD43が出力する撮像信号に対して相関二重サンプリング処理を施し、CCD43が駆動することによって生じるノイズを除去する。AGC115は、CDS114によってノイズが除去された撮像信号を増幅する。A/D116は、AGC115で増幅された撮像信号を所定のビット数のデジタルな撮像信号に変換する。
図5に示すように、EMCCD46は、CCD43と同様にPD121、VCCD122、HCCD123、出力部124等を備える。これらの作用はCCD43と同様である。また、VCCDドライバ131、HCCDドライバ132、リセットドライバ133、CDS134、AGC135、A/D136も同様である。但し、EMCCD46は、HCCD123と出力部124の間に、電荷増倍部125が設けられている。
電荷増倍部125は、微弱な画像信号を増幅する電荷転送路であり、HCCD123よりも高電圧で駆動される。電荷増倍部125は、EMドライバ137から入力されるEMパルスによって駆動される。EMドライバ137は、駆動回路99に設けられ、TG97から入力されるクロック信号からEMパルスを生成する。電荷増倍部125は、HCCD123から転送される信号電荷を、転送時に駆動電圧に応じた高電界によって加速することによって、結晶格子と衝突させ、新たな電荷(電子‐ホール対)を発生させる。このインパクトイオン効果により発生した新たな信号電荷もまた、高電界によって加速され、アバランシェ効果によってさらに新たな信号電荷を生み出す。これにより、電荷増倍部125は、HCCD123から転送された信号電荷を増倍する。電荷増倍部125によって増倍された信号電荷は、出力部124に入力される。
EMCCD46は、上述のように電荷増倍部125によって信号電荷を増倍する。また、電荷増倍部125で信号電荷を増倍すると、撮像信号を増幅する場合と比較してノイズを抑えながら信号電荷だけを増倍することができるため、S/Nが良い。したがって、EMCCD46は、微弱な自家蛍光であっても、明瞭に被検体内を撮像することができる。なお、EMCCD46にはカラーフィルタは設けられていない。このため、EMCCD46で撮像した画像はモノクロである。
図6に示すように、DIP64は、含有率算出部151、画像生成部152、画像処理部153を備える。また、ROM67には変換行列データ154が記憶されている。
含有率算出部151は、EMCCD46で撮像された自家蛍光画像がDSP63から入力され、入力された自家蛍光画像から、自家蛍光を励起発光する複数(例えば3種類)の生体成分の含有率を算出する。より具体的には、被検体内に第1励起光(波長λ1)を照射してEMCCD46で撮像された自家蛍光画像(以下、第1自家蛍光画像という)と、第2励起光(波長λ2)を照射してEMCCD46で撮像された自家蛍光画像(以下、第2自家蛍光画像という)が含有率算出部151に入力される。また、第1自家蛍光画像と第2自家蛍光画像が入力されると、含有率算出部151はROM67から変換行列データ154を取得する。そして、第1自家蛍光画像の画素値と第2自家蛍光画像の画素値を用いて変換行列データ154により演算することにより、自家蛍光を励起発光する3種類の生体成分F1,F2,F3の含有率Γ1,Γ2,Γ3をそれぞれ算出する。含有率算出部151が算出した生体成分の含有率Γ1,Γ2,Γ3は画像生成部512に入力される。なお、生体成分F1,F2,F3の含有率Γ1,Γ2,Γ3は、全画素について画素毎に算出される。
変換行列データ154は、生体成分F1,F2,F3がそれぞれ所定含有率α1,α2、α3になるように調節された生体模型(以下、ファントムという)を、電子内視鏡装置10によって第1励起光、第2励起光で励起して自家蛍光を発光させ、撮像したときに得られる第1自家蛍光画像及び第2自家蛍光画像から算出されたデータである。ファントムの撮像は電子内視鏡装置10の製造時に行われ、変換行列データ154はROM67に予め記憶されている。
画像生成部152は、含有率算出部151から入力される生体成分の含有率を画素値とした新たな画像を生成する。具体的には、画像生成部152は含有率Γ1に応じた値を画素値とするΓ1画像と、含有率Γ2に応じた値を画素値とするΓ2画像と、含有率Γ3に応じた値を画素値とするΓ3画像の三種類の画像(含有率画像)を生成する。含有率Γiに応じた値とは、含有率Γiの値そのものでも良いし、含有率Γiに所定定数を乗算する等して生体成分Fiの視認性を向上させるようにした値でも良い。ここでは、画像生成部152は、含有率Γiに基づいて、生体成分Fiの視認性が向上するように画素値を調節したΓi画像を生成するものとする。画像処理部152が生成したΓ1画像、Γ2画像、Γ3画像は、画像処理部153に入力される。
画像処理部153は、入力された画像に対して電子変倍、色強調処理、エッジ強調処理等の各種画像処理を施す。画像処理部153には、自家蛍光撮影した場合、画像生成部152からΓ1画像、Γ2画像、Γ3画像が入力される。このため、画像処理部153は、Γ1画像、Γ2画像、Γ3画像に対して上述の各種画像処理を施す。一方、通常光撮影をしたときには、CCD43で撮像された通常光画像がDSP62から入力される。このため、画像処理部153は、DSP62から入力された通常光画像に対して上述の各種画像処理を施す。
以下、上述のように構成される電子内視鏡装置10の作用を説明する。
図7に示すように、被検体Hには、3種類の自家蛍光を励起発光する生体成分F1,F2,F3があり、これらの生体成分F1,F2,F3は、第1励起光λ1の照射よって励起発光する自家蛍光のスペクトルは、それぞれf1(中心波長Λ1),f2(中心波長Λ2),f3(中心波長Λ3)であるとする。また、簡単のため、生体成分F1,F2,F3は、第2励起光λ2によってもそれぞれスペクトルf1,f2,f3の自家蛍光を励起発光するものとする。但し、第1励起光λ1を照射した時と、第2励起光λ2を照射した時とでは、各生体成分F1,F2,F3の自家蛍光の発光効率が異なる。このため、図8及び図9に示すように、励起光λ1を照射したときに被検体Hが発する自家蛍光のスペクトルS1と励起光λ2を照射したときに被検体Hが発する自家蛍光のスペクトルS2は異なる。第1自家蛍光画像161の画素値は図8のスペクトルS1の面積に対応し、第2自家蛍光画像162の画素値は図9のスペクトルS2の面積に対応する。したがって、第1励起光λ1を照射して得られる第1自家蛍光画像161と、第2励起光λ2を照射して得られる第2自家蛍光画像162を比較すると、生体成分F1,F2,F3は第1自家蛍光画像161と第2自家蛍光画像162の両方に現れるが、それぞれ生体成分F1,F2,F3の現れ方が異なる。
励起光λiを被検体Hに照射したときに生体成分Fjが励起発光する自家蛍光の発光効率をΦij、生体成分Fjの被検体Hにおける含有率をΓjとすると、EMCCD46に入射する自家蛍光のスペクトルSiは、下記数1の式で表される(i=1,2、j=1,2,3)。
さらに、電子内視鏡装置10の対物光学系全体の分光透過率スペクトルをC、第1励起光λ1を照射した時のEMCCD46の出力値(自家蛍光画像161の画素値)をp1、第2励起光λ2を照射した時のEMCCD46の出力値(自家蛍光画像162の画素値)をp2とすると、p1,p2を要素とするEMCCD46の出力値ベクトルpは、下記数2の式で表される。
さらに、便宜的にC・fj=Cjとして、数2の式はより具体的に下記数3のように表される。
生体組織の平均的な組成及びその発光効率、電子内視鏡装置10の分光透過スペクトルは既知なので、上記数3の式において、発光効率ΦijとCjは既知量である。また、EMCCD46の出力値ベクトルp=(p1,p2)は測定値である。このため、上記数3式を解くことができれば、被検体Hにおける生体成分F1,F2,F3の含有率Γ1,Γ2,Γ3を求めることができる。しかしながら、数3の式は、3個の未知量Γ1,Γ2,Γ3に対して2つの方程式しかないので、これを解いて含有率Γ1,Γ2,Γ3を一意に決定することはできない。
このため、電子内視鏡装置10では、以下に説明するようにEMCCD46の出力値ベクトルpを生体成分F1,F2,F3の含有率Γ1,Γ2,Γ3に対応付ける変換行列データ154を予め求めておき、これを用いて含有率Γ1,Γ2,Γ3を算出する。
図10に示すように、変換行列データ154は、ファントムE1〜E7の測定により算出される。ファントムE1は、生体成分F1,F2,F3の含有率がそれぞれ所定含有率α1,α2,α3に調節されたファントムである。ファントムE2は、生体成分F1,F2の含有率がそれぞれ所定含有率α1,α2であり、生体成分F3を含まない。同様に、ファントムE3は、生体成分F1,F3が所定含有率α1,α3で生体成分F2を含まず、ファントムE4は生体成分F2,F3が所定含有率α2,α3で生体成分F1を含まない。また、ファントムE5は生体成分F1が所定含有率α1であり、生体成分F2,F3を含まない。同様に、ファントムE6は、生体成分F2が所定含有率α2であり、生体成分F1,F3を含まず、ファントムE7は、生体成分F3が所定含有率α3であり、生体成分F1,F2を含まない。
なお、被検体Hにおける生体成分F1,F2,F3の含有率Γ1,Γ2,Γ3は、個体差等もあるが平均的な値は既知である。このため、ファントムE1〜E7における生体成分F1,F2,F3の含有率α1,α2,α3は、実際の生体における平均的な生体成分F1,F2,F3の含有率である。
変換行列データ154を算出するときには、上述のファントムE1〜E7を第1励起光λ1と第2励起光λ2でそれぞれ励起し、発生した自家蛍光をEMCCD46で撮像し、下記数4に示す2×7行列Pを得る。但し、各要素pikは、ファントムEk(k=1〜7)を第1励起光λ1で励起して撮像した第1自家蛍光画像の画素値p1kと、ファントムEkを第2励起光λ2で励起して撮像した第2自家蛍光画像の画素値p2kである。
一方、ファントムE1〜E7は、生体成分F1,F2,F3の含有率が前述の通り既知量α1〜α3(または0)のいずれかである。このため、数4の2×7行列Pを下記数5に示す3×7行列Wに対応付ける行列が変換行列データ154である。行列Wの第1列はファントムE1を測定したときに得られるべき生体組織F1,F2,F3の含有量α1,α2,α3を並べたものである。同様に、第2列は、ファントムE2を測定したときに得られるべき生体組織F1,F2,F3の含有量α1,α2,0を並べたものである。他の列についても同様である。
数4の2×7行列Pに左から作用させて、数5の3×7行列Wを得る行列Mとすると、変換行列データ154はMP=Wを満たす行列Mである。この式の両辺に右から行列Pの転置行列PTをかけると(MPPT=WPT)、PPTは正則行列になるので逆行列(PPT)−1が存在する。このため、下記数6によって変換行列データ154(行列M)を算出することができる。また、変換行列データ154(行列M)は3×2行列であり、被検体Hを撮像して得た第1自家蛍光画像161と第2自家蛍光画像162の画素値p1,p2を要素とするEMCCD46の出力値ベクトルp(2×1行列)に左から作用させれば、3×1行列を得ることができる。
変換行列データ154(行列M)は、上述の算出方法から分かる通り、少なくともファントムE1〜E7を第1励起光λ1及び第2励起光λ2でそれぞれ撮像したときに得られる第1自家蛍光画像と第2自家蛍光画像の画素値を要素とする出力値ベクトルpを、生体成分F1,F2,F3の含有率α1,α2,α3に正確に写像する行列である。したがって、ファントムE1〜E7における生体成分F1,F2,F3の含有率α1,α2,α3が、実際の被検体Hにおける生体成分F1,F2,F3の含有率Γ1,Γ2,Γ3に近い値であれば、実際の被検体Hを撮像して得た第1自家蛍光画像161と第2自家蛍光画像162の画素値p1,p2を要素とするEMCCD46の出力値ベクトルp(2×1行列)に変換行列データ154(行列M)を作用させて得た3×1行列は、被検体Hの生体成分F1,F2,F3の含有率Γ1,Γ2,Γ3の良い推定値を与える。
上述のことから、電子内視鏡装置10は、自家蛍光撮影を行う場合、まず、第1励起光光源82をオンにし、被検体Hに第1励起光λ1を照射して、EMCCD46等により第1自家蛍光画像161を得る。次いで、第2励起光光源83をオンにし、被検体Hに第2励起光λ2を照射して、EMCCD46等により第2自家蛍光画像162を得る。
含有率算出部151はこれらの自家蛍光画像161,162と変換行列データ154を取得する。そして、第1自家蛍光画像161と第2自家蛍光画像162から各々対応する画素の画素値p1,p2を抽出し、これらの値からなる出力値ベクトルpに変換行列データ154(行列M)を作用させることにより、生体成分F1,F2,F3の含有率Γ1,Γ2,Γ3の推定値を算出する。また、この含有率Γ1,Γ2,Γ3の推定は、画素毎に全画素について行う。さらに、画像生成部152によって、含有率Γ1に対応する値を画素値とするΓ1画像と、含有率Γ2に対応する値を画素値とするΓ2画像と、含有率Γ3に対応する値を画素値とするΓ3画像が生成される。
図11に示すように、被検体Hには第1励起光λ1,第2励起光λ2によって自家蛍光を励起発光する生体成分が複数あるので、第1自家蛍光画像161及び第2自家蛍光画像162においてはこれらが重畳されて現れ、個々の生体成分F1,F2,F3の像は視認し難い。一方、含有率算出部151が算出した含有率Γ1,Γ2,Γ3の推定値に基づいて画像生成部153が生成したΓ1画像167、Γ2画像168、Γ3画像169は、他の生体成分が重畳されず、それぞれ生体成分F1,F2,F3を表す。すなわち、Γ1画像167、Γ2画像168、Γ3画像169では、各々に生体成分F1,F2,F3が分離して表示される。このため、生体成分F1,F2,F3の視認性が良い。
上述のように、電子内視鏡装置10によれば、変換行列データ154を予め記憶しておくことで、変換行列データ154と二種類の励起光を照射して得られる第1自家蛍光画像161と第2自家蛍光画像162から、励起光光源の数よりも多い3種類の生体成分F1,F2,F3の含有率Γ1,Γ2,Γ3を推定し、各々に視認性が良い画像を生成することができる。また、励起光光源の数よりも多数の生体成分の含有率を推定することができるので、励起光光源の数を抑え、低コストに電子内視鏡装置を構成することができる。
また、電子内視鏡装置10は、薬剤蛍光や便等の生体内残渣物による蛍光等、生体成分以外による蛍光と、生体成分による自家蛍光とを分離して観察するのではなく、自家蛍光を励起発光する生体成分自体を分離して観察可能である。このため、電子内視鏡装置10によれば、正常組織と病変組織とで生体成分の含有率に差がある場合の観察に特に好適であり、複数の生体成分から励起発光された自家蛍光が重畳した自家蛍光画像では観察し難かった正常組織から病変組織への移行程度等を画像化して仔細に観察したり、移行程度を定量的に評価したりすることができる。
なお、上述の実施形態では、簡単のため、生体成分F1,F2,F3が第1励起光λ1と第2励起光λ2を照射したときに、同じスペクトルf1,f2,f3で自家蛍光を励起発光する例を説明したが、通常は励起光の波長が異なれば、同じ生体成分でも異なるスペクトルの自家蛍光を励起発光する。しかし、変換行列データ154の算出方法からわかるように、このような現実的な場合でも、上述の実施形態と同様に変換行列データ154を算出することができる。
なお、電子内視鏡装置10は、通常光光源81とCCD43を用いて通常光撮影もすることができる。このように自家蛍光撮影とともに通常光撮影をするときには、通常光画像に、自家蛍光撮影により生成したΓ1画像167,Γ2画像168,Γ3画像169を重畳して表示しても良い。例えば、図12に示すように、病変組織が生体成分F1を多く含む場合、通常光画像171にΓ1画像167を重畳した合成画像172を生成し、モニタ21に表示しても良い。こうした合成処理は、画像処理部153で行われる。また、図12では、通常光画像171にΓ1画像167だけを重畳する例を示したが、Γ1画像167,Γ2画像168,Γ3画像169のうち2つ(あるいは全て)を重畳した合成画像を生成しても良い。
なお、上述の実施形態では、簡単のため二種類の励起光光源82,83を用いて自家蛍光撮影を行い、三種類の生体成分の含有率を推定する例を説明したが、同様にして四種類以上の生体成分の含有率を推定することもできる。例えば、4種類の生体成分F1,F2,F3,F4の含有率Γ1,Γ2,Γ3,Γ4を推定する場合、図13に示すように、生体成分F1,F2,F3,F4の含有率がそれぞれα1,α2,α3,α4または0のファントムE1〜E13を第1励起光λ1及び第2励起光λ2によってそれぞれ撮像して、変換行列データ(行列M)を算出する。この場合、行列Pや行列Wの列数が増加するが、変換行列データ(行列M)の算出方法は上述の実施形態と同様であり、得られる変換行列データ(行列M)は3×2行列である。
なお、上述の実施形態では、二種類の励起光λ1,λ2を用いて自家蛍光撮影を行い、三種類の生体成分の含有率を推定する例を説明したが、三種類以上の励起光を用いて、四種類以上の生体成分の含有率を推定しても良い。この場合、行列Pや行列Wの行数や列数が増大するが、変換行列データ(行列M)の算出方法は上述の実施形態と同様である。但し、三種類の自家蛍光画像を用いて四種類の生体成分の含有率を推定する場合には、変換行列データが4×3行列に、EMCCD46の出力値ベクトルpが3×1行列になる等、変換行列データMや出力値ベクトルpの要素数が変化する。
なお、上述の実施形態では、二種類の励起光λ1,λ2を用いて自家蛍光撮影を行い、三種類の生体成分の含有率を推定する例を説明したが、一種類の励起光を用いて自家蛍光撮影を行い、二種類以上の生体成分の含有率を推定することもできる。この場合、数6の式における逆行列(PPT)−1がスカラー量になるが、数6と同様にして変換行列データ154を算出することができる。
なお、上述の実施形態では、二種類の励起光λ1,λ2を用いて自家蛍光撮影を行い、三種類の生体成分の含有率を推定する場合に、三種類の生体成分の有無の全組み合わせに対応する7種のファントムE1〜E7を測定して変換行列データ154を算出する例を説明したが、必ずしも三種類の生体成分の有無の全組み合わせに対応するファントムを測定する必要はない。例えば、ファントムE7を測定したデータがなくても、行列Pや行列Wの要素数が変化するが、上述の実施形態と同様にして変換行列データを求め、これを用いて三種類の生体成分の含有率を推定することができる。極端な例ではあるが、ファントムE1だけを測定して変換行列データ154を算出することもできる。但し、データが少ないほど含有率の推定精度が悪化するので、できる限り多種類のファントムを測定して変換行列データ154を算出することが好ましい。また、少数のファントムを測定して変換行列データ154を算出する場合、測定するファントムのいずれか1つには、少なくとも含有率を推定する生体成分が含まれなければならない。例えば、図10のファントムE2,E5,E6だけを測定する場合でも、上述の実施形態と同様に変換行列データ154を算出することができるが、こうして算出した変換行列データ154には生体成分F3の情報が全く含まれないので、これを用いて生体成分F3の含有率Γ3の推定値を一応算出できたとしても、信頼できる値ではないからである。
なお、上述の実施形態では、ファントムE1〜E7における生体成分F1,F2,F3の含有率α1,α2,α3が、実際の生体における平均的な生体成分F1,F2,F3の含有率である例を説明したが、含有率α1,α2,α3は任意の値でも良い。但し、上述の実施形態のように、含有率α1,α2,α3を実際の生体における平均的な生体成分F1,F2,F3の含有率にしておけば、被検体における生体成分F1,F2,F3の含有率Γ1,Γ2,Γ3の推定精度が向上する。
なお、上述の実施形態では、ファントムE1〜E7は、生体成分F1,F2,F3の含有率α1,α2,α3だけが規定されたものであったが、ファントムE1〜E7はさらに生体成分F1,F2,F3の分布を考慮したものであることが好ましい。例えば、生体成分F1が被検体表面に多く分布し、生体成分F3が深層に多く分布する場合には、ファントムE1〜E7もこれに対応する生体成分の分布を有することが好ましい。このように生体成分の分布を考慮したファントムを用いて変換行列データ154を算出しておけば、励起光の粘膜下への侵入長等も変換行列データ154に反映されるので、実際の生体成分の含有率の推定値はより正確になる。
なお、上述の実施形態では、自家蛍光を励起発光する生体成分がF1,F2,F3の3種類であるとして、これらに3種類に各々対応するΓ1画像、Γ2画像、Γ3画像を全て生成する例を説明したが、画像生成部152は含有率を推定した全ての生体成分について画像を生成する必要はなく、観察に必要のない生体成分の画像は生成しなくても良い。
なお、上述の実施形態では、画像生成部152によって、生体成分F1,F2,F3を表すΓ1画像、Γ2画像、Γ3画像を各々に生成する例を説明したが、画像生成部152は、生体成分F1,F2,F3の含有率Γ1,Γ2,Γ3に対応する値をRGBの各画素に割り当てて、カラーの自家蛍光画像を生成しても良い。例えば、含有率Γ1をR画素、含有率Γ2をG画素、含有率Γ3をB画素にした自家蛍光画像は、生体成分F1,F2,F3を同時に観察できるとともに、各生体成分F1,F2,F3の視認性も良い。また、ここでは含有率Γ1,Γ2,Γ3に対応する値をRGBの各画素に割り当てる例を挙げたが、生体成分F1,F2,F3にそれぞれRGB以外の色付けをしてカラーの自家蛍光画像を生成しても良い。例えば、生体成分F1,F2,F3をそれぞれマゼンタ、シアン、イエローにしても良い。これは四種類以上の生体成分の含有率を推定するときに各生体成分を同時に観察し、かつ、各々の視認性を向上させるときに有用である。
なお、上述の実施形態では、自家蛍光撮影を行う電子内視鏡装置を例に説明したが、生体成分によって発光量や反射光量が異なることを利用して被検体を撮影、観察する電子内視鏡装置であれば本発明を好適に用いることができる。例えば、薬剤蛍光等を利用した観察を行う電子内視鏡装置や狭帯域光観察を行う電子内視鏡装置、赤外光観察を行う電子内視鏡装置においても本発明は好適であり、少数の光源で生体成分毎の画像を得ることができる。
なお、上述の実施形態では、自家蛍光撮影の他に通常光撮影を行うことができる電子内視鏡装置10の例を説明したが、自家蛍光撮影だけを行う専用の電子内視鏡装置においても本発明は好適である。
なお、上述の実施形態では、自家蛍光撮影を行ったときに、Γ1画像等、自家蛍光由来の成分のみで被検体内を画像化する例を説明したが、これに限らない。例えば、腫瘍と血管炎症は同程度の波長及び同程度の光量で自家蛍光を発光するので、自家蛍光だけで撮像した画像では区別がつきにくいことが知られている。また、緑色狭帯域光(540〜560nm)は、腫瘍での反射率が高く、血管炎症での反射率が低いことが知られている。このため、自家蛍光撮影の他に、緑色狭帯域光を照射して被検体を撮像し、自家蛍光撮影で推定した生体成分の含有量Γに基づく値を緑色画素の画素値にし、緑色狭帯域光を照射して得た画像の画素値を青色画素及び赤色画素にした画像を生成するようにしても良い。こうすると、正常組織は淡緑色に、腫瘍はマゼンタ色、血管炎症は暗緑色になるので、腫瘍と血管炎症を区別することができる。
なお、上述の実施形態では、自家蛍光由来のΓ1画像167等や合成画像171をモニタ21に表示する例を説明したが、モニタ21への画像の表示態様は任意である。例えば、Γ1画像167等と合成画像171を並べて表示しても良いし、Γ1画像167等や合成画像171と通常光画像を並べて表示しても良い。
なお、上述の実施形態では、出力値ベクトルpに左から作用させて、第1,第2自家蛍光画像の画素値を生体成分F1,F2,F3の含有率Γ1,Γ2,Γ3に対応付ける変換行列データ154を用いる例を説明したが、変換行列データ154は、出力値ベクトルpに右からさせて第1,第2自家蛍光画像の画素値を生体成分F1,F2,F3の含有率Γ1,Γ2,Γ3に対応付けるデータであっても良い。
なお、上述の実施形態では、EMCCD46がモノクロである例を説明したが、CCD43と同様にカラーフィルタを設け、カラーで自家蛍光画像を撮像するようにしても良い。但し、生体成分が励起発光する自家蛍光の波長帯は限られているので、カラーフィルタを設けると活用されない画素が生じることがある。このため、上述の実施形態のように、自家蛍光撮影用のEMCCD46はずにモノクロにし、全画素を有効に活用して高解像度の自家蛍光画像を得るようにすることが好ましい。
なお、上述の他、生体成分の含有率の推定に必要な画像を取得することができれば、その他の電子内視鏡装置各部の構成は任意に変更可能である。例えば、ビームスプリッタ42によって被検体からの光をCCD43とEMCCD46に分岐して入射させるが、ビームスプリッタ42の代わりにハーフミラーを用いても良い。また、ビームスプリッタ42等を用いて被検体からの光を分岐せずに、CCD43とEMCCD46で各々独立して被検体内の撮像を行えるようにしても良い。
また、自家蛍光撮影を行うためのイメージセンサとしてEMCCD46を用いる例を説明したが、微弱な自家蛍光を撮像することができれば、他の方式の高感度イメージセンサを用いても良い。また、上述の実施形態ではCCD型イメージセンサを用いる例を説明したが、CMOS型イメージセンサを用いても良い。さらに、CCD/EMCCD共にV:4相、H:2相のCCDについて駆動の説明をしたが、CCD型イメージセンサを用いる場合でも、2相、3相、4相駆動等、細部の動作は異なる態様のイメージセンサを用いても良い。
10 電子内視鏡装置
11 電子内視鏡
12 プロセッサユニット
13 光源ユニット
64 デジタル画像処理回路(DIP)
67 ROM
81 通常光光源
82 第1励起光光源
83 第2励起光光源
151 含有率算出部
152 画像生成部
153 画像処理部
154 変換行列データ
11 電子内視鏡
12 プロセッサユニット
13 光源ユニット
64 デジタル画像処理回路(DIP)
67 ROM
81 通常光光源
82 第1励起光光源
83 第2励起光光源
151 含有率算出部
152 画像生成部
153 画像処理部
154 変換行列データ
Claims (11)
- 被検体に照射したときに前記被検体から蛍光を発光させる励起光を発生する励起光光源と、
前記蛍光により、前記被検体を撮像する撮像装置と、
前記撮像装置で撮像した前記被検体の蛍光画像の画素値を、前記蛍光を発光する複数の蛍光成分の各々の含有率に対応付ける変換行列データを予め記憶する記憶手段と、
前記蛍光画像と前記変換行列データを取得し、前記蛍光画像の画素値に前記変換行列データを作用させ、画素毎に前記励起光の種類よりも多い複数の前記蛍光成分の含有率の推定値をそれぞれ算出する含有率算出部と、
前記含有率算出部が算出した前記含有率に対応する値を画素値とする画像を生成する画像生成部と、
を備えることを特徴とする電子内視鏡装置。 - 前記蛍光成分は前記被検体が備える生体成分であり、前記蛍光は自家蛍光であることを特徴とする請求項1記載の電子内視鏡装置。
- 前記励起光の波長がそれぞれ異なる複数の前記励起光光源を有し、
前記変換行列データは、複数の前記励起光光源を各々使用して得た複数の前記蛍光画像の対応する画素の画素値を、複数の前記励起光光源の総数よりも他種類の前記蛍光成分の含有率に対応付けるデータであること
を特徴とする請求項1または2記載の電子内視鏡装置。 - 前記変換行列データは、前記含有率を推定する前記蛍光成分が所定含有率で含まれたファントムを、前記励起光を照射して撮像して得た蛍光画像に基づいて算出されたデータであることを特徴とする請求項1〜3のいずれか1項に記載の電子内視鏡装置。
- 前記変換行列データは、複数の前記蛍光成分のうち少なくとも1種類含む複数の前記ファントムを、前記励起光を照射してそれぞれ撮像して得た複数の蛍光画像に基づいて算出されたデータであることを特徴とする請求項4記載の電子内視鏡装置。
- 前記所定含有率は、前記被検体における前記蛍光成分の平均的な含有率であることを特徴とする請求項4または5に記載の電子内視鏡装置。
- 前記画像生成部は、複数の前記蛍光成分毎に色付けをして、前記含有率算出部が算出した前記含有率に対応する値を画素値とするカラーの画像を生成することを特徴とする請求項1〜6のいずれか1項に記載の電子内視鏡装置。
- 前記励起光光源は、レーザーダイオードであることを特徴とする請求項1〜7のいずれか1項に記載の電子内視鏡装置。
- 前記撮像装置は、モノクロのイメージセンサによって前記被検体を前記蛍光で撮像することを特徴とする請求項1〜8のいずれか1項に記載の電子内視鏡装置。
- 前記撮像装置は、前記蛍光を光電変換して得られる信号電荷を増倍して感度を向上させるEMCCDであることを特徴とする請求項1〜9のいずれか1項に記載の電子内視鏡装置。
- 前記撮像装置は、前記励起光を遮蔽する励起光カットフィルタを備えることを特徴とする請求項1〜10のいずれか1項に記載の電子内視鏡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012040307A JP2013172903A (ja) | 2012-02-27 | 2012-02-27 | 電子内視鏡装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012040307A JP2013172903A (ja) | 2012-02-27 | 2012-02-27 | 電子内視鏡装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013172903A true JP2013172903A (ja) | 2013-09-05 |
Family
ID=49266425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012040307A Pending JP2013172903A (ja) | 2012-02-27 | 2012-02-27 | 電子内視鏡装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013172903A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017018126A1 (ja) * | 2015-07-30 | 2017-02-02 | オリンパス株式会社 | 内視鏡用カメラヘッド及びこれを有する内視鏡装置 |
CN106725263A (zh) * | 2016-12-15 | 2017-05-31 | 深圳开立生物医疗科技股份有限公司 | 应用于内窥镜系统的成像方法 |
JPWO2016140199A1 (ja) * | 2015-03-02 | 2017-12-14 | シチズン時計株式会社 | 光測定装置及びこれを備えた歯ブラシ |
CN112807096A (zh) * | 2021-02-23 | 2021-05-18 | 珠海维尔康生物科技有限公司 | 一种新型光学设计的荧光摄像头及其成像方法 |
-
2012
- 2012-02-27 JP JP2012040307A patent/JP2013172903A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2016140199A1 (ja) * | 2015-03-02 | 2017-12-14 | シチズン時計株式会社 | 光測定装置及びこれを備えた歯ブラシ |
WO2017018126A1 (ja) * | 2015-07-30 | 2017-02-02 | オリンパス株式会社 | 内視鏡用カメラヘッド及びこれを有する内視鏡装置 |
JP6147455B1 (ja) * | 2015-07-30 | 2017-06-14 | オリンパス株式会社 | 内視鏡用カメラヘッド及びこれを有する内視鏡装置 |
CN107405058A (zh) * | 2015-07-30 | 2017-11-28 | 奥林巴斯株式会社 | 内窥镜用摄像头和具有它的内窥镜装置 |
US10376136B2 (en) | 2015-07-30 | 2019-08-13 | Olympus Corporation | Camera head for endoscope and endoscope apparatus having the same |
CN106725263A (zh) * | 2016-12-15 | 2017-05-31 | 深圳开立生物医疗科技股份有限公司 | 应用于内窥镜系统的成像方法 |
CN112807096A (zh) * | 2021-02-23 | 2021-05-18 | 珠海维尔康生物科技有限公司 | 一种新型光学设计的荧光摄像头及其成像方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5628062B2 (ja) | 電子内視鏡システム | |
US8834359B2 (en) | Method of controlling endoscope and endoscope | |
EP2301416B1 (en) | Method of controlling endoscope and endoscope | |
CN106388756B (zh) | 图像处理装置及其工作方法以及内窥镜系统 | |
JP5501210B2 (ja) | 画像処理装置 | |
JP5331904B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP5485215B2 (ja) | 内視鏡装置 | |
JP5110702B2 (ja) | 蛍光画像取得装置 | |
WO2013084566A1 (ja) | 内視鏡装置 | |
JP2012130629A (ja) | 内視鏡診断装置 | |
JP5335017B2 (ja) | 内視鏡装置 | |
JP2010213993A (ja) | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡駆動方法 | |
JP2013146484A (ja) | 電子内視鏡システム、画像処理装置、画像処理方法及び画像処理プログラム | |
JP2010213992A (ja) | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡駆動方法 | |
EP2465410B1 (en) | Image processing device | |
JP2013172903A (ja) | 電子内視鏡装置 | |
EP2366326A2 (en) | Endoscope image correcting device and endoscope apparatus | |
JP2014042842A (ja) | 内視鏡装置 | |
JP2010184047A (ja) | 内視鏡、内視鏡駆動方法、並びに内視鏡システム | |
JP2010184046A (ja) | 内視鏡、内視鏡駆動方法、並びに内視鏡システム | |
JP5764472B2 (ja) | 内視鏡診断装置 | |
JP6669539B2 (ja) | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム | |
JP2002045328A (ja) | 蛍光診断画像表示装置 | |
JP2013102897A (ja) | 内視鏡診断装置 | |
JP2012217670A (ja) | 内視鏡診断装置 |