JP2004329583A - Solid-state image pickup element, electronic endoscope and electronic endoscope device - Google Patents

Solid-state image pickup element, electronic endoscope and electronic endoscope device Download PDF

Info

Publication number
JP2004329583A
JP2004329583A JP2003129943A JP2003129943A JP2004329583A JP 2004329583 A JP2004329583 A JP 2004329583A JP 2003129943 A JP2003129943 A JP 2003129943A JP 2003129943 A JP2003129943 A JP 2003129943A JP 2004329583 A JP2004329583 A JP 2004329583A
Authority
JP
Japan
Prior art keywords
light
unit
light receiving
electronic endoscope
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003129943A
Other languages
Japanese (ja)
Other versions
JP4531347B2 (en
Inventor
Hideo Sugimoto
秀夫 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Pentax Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pentax Corp filed Critical Pentax Corp
Priority to JP2003129943A priority Critical patent/JP4531347B2/en
Publication of JP2004329583A publication Critical patent/JP2004329583A/en
Application granted granted Critical
Publication of JP4531347B2 publication Critical patent/JP4531347B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide image information by visible light and image information by fluorescent light without increasing the diameter even when incorporated inside cylindrical equipment. <P>SOLUTION: This solid-state image pickup element is provided with a light receiving part where a plurality of photodetectors are arranged in a matrix shape on a single semiconductor substrate formed long in a predetermined direction. In the respectively different areas of the predetermined direction, a first light receiving part including the plurality of photodetectors capable of receiving the visible light and a second light receiving part including the plurality of photodetectors capable of receiving the fluorescent light of a wavelength shorter than that of the visible light are provided. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は、単一の半導体基板上に複数の受光素子がマトリクス状に配置され、可視光の画像情報と蛍光の画像情報とを得ることができる固体撮像素子と、この固体撮像素子を先端部に備えている電子内視鏡、さらにこの電子内視鏡を備えている電子内視鏡装置に関する。
【０００２】
【従来の技術】
従来、内視鏡の挿入部を細径化することにより、体腔内、特に細い管状器官内に内視鏡を挿入する際の患者の苦痛を軽減している。近年はその挿入部先端部にＣＣＤなどの固体撮像素子を備えている電子内視鏡（電子スコープ）が広く普及しており、その挿入部内部に備えられている種々の部品を小型化することによって細径化を達成している。この内視鏡や電子内視鏡は細ければ細いほど、体腔内の至る所に挿入できるようになり、また、体腔内を自在に動かすことができるようになるため、さらなる細径化が要求されている。
【０００３】
電子内視鏡では上述した理由により小型化に適したモノクロのＣＣＤを搭載したものが多く見られる。しかしながら近年は生体組織の状態をより正確に観察するため、カラー画像を得るような装置が実用に供している。このカラー画像を得る装置は大きく分類すると２通りある。一つは、ＣＣＤ上にマトリクス状に配置されている複数の受光素子各々の前面にＲＧＢなどのカラーフィルタを備えたものによりカラー画像を得る、いわゆる同時方式を用いたものである。もう一つは、電子内視鏡に接続されている光源装置の回転カラーフィルタを介した各色の照明光で照明される生体組織をモノクロのＣＣＤで撮像することによりカラー画像を得る、いわゆる面順次方式を用いたものである。
【０００４】
また近年、体腔内の生体組織に励起光を照射した際に、この励起光が照射された生体組織が正常な状態であれば蛍光を発し、癌細胞などの病変部であれば正常な状態に比べて減弱した蛍光を発するという特性を利用する蛍光観察（自家蛍光観察）が広く知られている。例えば、特許文献１や特許文献２に、この自家蛍光観察を利用して体腔内の生体組織を観察する電子内視鏡が提案されている。
【０００５】
上述の特許文献１によると、光源装置は、白色光用光源と紫外光用光源の２つの光源を備えており、さらにこれらの光源の前面にそれぞれシャッタを備えている。これらのシャッタにより電子内視鏡のライトガイドには、Ｒ光、Ｇ光、及びＢ光と、励起光としての紫外光とが交互に入射し、生体組織はこれら各色の光と紫外光によって交互に照明され、電子内視鏡は生体組織の可視光の観察画像情報と自家蛍光観察による蛍光の画像情報とを得ることができる。
【０００６】
また、特許文献２の一態様によると、電子内視鏡は、可視光の観察画像を得るための固体撮像素子と、自家蛍光観察による蛍光の画像情報を得るための固体撮像素子を先端部に備えている。更に、光源装置は切り替えスイッチを備えており、電子内視鏡は、この切り替えスイッチの操作に応じていずれかの固体撮像素子に観察光像を導き、生体組織の可視光の観察画像情報と自家蛍光観察による蛍光の画像情報とを得ている。
【０００７】
【特許文献１】
特開２００２−３４９１３号公報（第４、５頁、第１図）
【特許文献２】
特開平１１−１１３８３９号公報（第２頁から第６頁、第１、３、４図）
【０００８】
【発明が解決しようとする課題】
上述の特許文献１において、自家蛍光観察に用いる紫外光用光源の光束は、白色光用光源の光束が電子内視鏡に向けて射出されている間、光路中に配置されたＵＶ回転シャッタにより遮光されている。さらに説明すると、ＲＧＢ回転シャッタ及びＵＶ回転シャッタはそれぞれ半周期に相当する分の開口を有しているため、固体撮像素子には、ＲＧＢ回転シャッタの半周期に相当する期間中Ｒ光、Ｇ光、及びＢ光の各照明光照射による反射光が入射し、ＵＶ回転シャッタの前記期間と略同程度の期間中紫外光照射により得られた蛍光が入射してくる。
【０００９】
しかし、生体組織の正常部位であっても、得られる蛍光は微弱であるため、上述の電子内視鏡のように、蛍光が固体撮像素子に入射する期間がＵＶ回転シャッタの半周期に相当する分のみである場合、固体撮像素子に蓄積される電荷量は不足する傾向にある。また、上述したように電子内視鏡に用いられている固体撮像素子は電子内視鏡の細径化を達成するために小型化されている。そのため、このような固体撮像素子は１画素当たりのサイズが小さく、受光感度が低い。従って、このような電子内視鏡では、Ｓ／Ｎ比の高い蛍光画像信号を得ることが困難となってしまう。
【００１０】
また、上述の特許文献２では、電子内視鏡の先端部に２つの固体撮像素子が備えられており、それぞれの固体撮像素子により可視光の観察画像と自家蛍光の観察画像を得ている。そのため、この電子内視鏡の挿入部の径は、それぞれの固体撮像素子から引き出された信号線により太く形成されている。すなわち、この電子内視鏡は患者への負担を増やすものとなってしまう。
【００１１】
また、上述した電子内視鏡を備えた電子内視鏡装置を用いて自家蛍光観察を行った場合、観察部位が所定の蛍光を発していると、術者はその部位が正常部位であることを容易に把握できる。しかし、観察部位から固体撮像素子に到達する蛍光が減弱していると、その部位が異常部位である、若しくは電子内視鏡と観察部位との距離が遠い、またはその観察部位が穴部の奥であるなど複数の要素が考えられる。そのため、術者にとって、観察部位からの減弱した蛍光に基づいて異常部位であるか否かを正確に判断することは困難である。
【００１２】
そこで、本発明は上記の事情に鑑み、円筒状の機器内に組み込まれてもその径を太くさせることなく可視光による画像情報と蛍光による画像情報とを得ることができ、さらに、蛍光による画像情報を高いＳ／Ｎ比で得ることができる固体撮像素子、及びこの固体撮像素子を備えた電子内視鏡、さらにはこの電子内視鏡を備えた電子内視鏡装置を提供することを目的とする。また、体腔内の観察対象が正常部位であるか異常部位であるかを、術者が正確に判断することができる電子内視鏡装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記の課題を解決する本発明の一態様に係る固体撮像素子は、所定方向に長く形成された単一の半導体基板上に、複数の受光素子がマトリクス状に配置されている受光部を有したものであって、所定方向のそれぞれ異なった領域に、可視光を受光可能な受光素子を複数含んだ第１の受光部と、可視光より短い波長の蛍光を受光可能な受光素子を複数含んだ第２の受光部とを有している。すなわち、この固体撮像素子は、可視光による画像情報を得るための受光部と、蛍光による画像情報を得るための受光部とを所定方向に長く形成された単一の半導体基板上に有しているため、円筒状の機器内に組み込まれてもその径を太くさせることなく可視光による画像情報と蛍光による画像情報と得ることができる。
【００１４】
また、上記固体撮像素子において、第２の受光部に含まれた複数の受光素子の各々は、第１の受光部に含まれた複数の受光素子の各々より受光面積が広い。それぞれの受光素子を上記のように形成することにより、第２の受光部は第１の受光部より高感度となる。従って、第２の受光部に入射してくる蛍光が微弱であっても、Ｓ／Ｎ比の高い画像情報を得ることができる。
【００１５】
また、上記固体撮像素子は、第１の受光部で蓄積された電荷の転送先である第１の転送部と、第２の受光部で蓄積された電荷の転送先である第２の転送部とをさらに備え、これら第１の転送部と第２の転送部とを、所定方向に一列に整列した素子に含んでいる。すなわち、それぞれの受光部の転送先を一列に整列した素子に含むことにより固体撮像素子を小型化させることが可能となる。さらには、可視光から得られた画像信号と、蛍光から得られた画像信号とを共通の信号線で引き出すことも可能となる。
【００１６】
また、上記の課題を解決する本発明の一態様に係る電子内視鏡は、所定方向に長く形成された単一の半導体基板上に複数の受光素子がマトリクス状に配置されている受光部を有した固体撮像素子を先端部内に備えたものである。この電子内視鏡は、所定方向のそれぞれ異なった領域に、可視光を受光可能な受光素子を複数含んだ第１の受光部と、可視光より短い波長の自家蛍光を受光可能な受光素子を複数含んだ第２の受光部とを有した固体撮像素子を、半導体基板の長手方向と先端部の長手方向とが一致するように配置している。すなわち、この電子内視鏡は、可視光による画像情報を得るための受光部と、自家蛍光による画像情報を得るための受光部とを所定方向に長く形成された単一の半導体基板上に有した固体撮像素子を備えているため、その径を太くさせることなく可視光による画像情報と自家蛍光による画像情報と得ることができる。
【００１７】
また、上記電子内視鏡において、固体撮像素子は、第１の受光部で蓄積された電荷の転送先である第１の転送部と、第２の受光部で蓄積された電荷の転送先である第２の転送部とをさらに備え、第１の転送部と第２の転送部とを、所定方向に一列に整列した素子に含んでいる。このような固体撮像素子を備えると、可視光から得られた画像信号と、自家蛍光から得られた画像信号とを共通の信号線で引き出すことが可能となるため、電子内視鏡の細径化を図ることができる。
【００１８】
また、上記電子内視鏡は、第１の受光部と第２の受光部とが光学的に略等価に位置するように、観察像側からの光束を、第１の受光部と第２の受光部とに向けて分離する光束分離手段をさらに備えている。
【００１９】
また、上記の課題を解決する本発明の一態様に係る電子内視鏡装置は、所定方向に長く形成された単一の半導体基板上に複数の受光素子がマトリクス状に配置されている受光部を有した固体撮像素子を先端部内に備えた電子内視鏡と、観察像を得るための光束を電子内視鏡に供給する光源部を備えたプロセッサとを備えたものである。この電子内視鏡装置は、所定方向のそれぞれ異なった領域に、可視光を受光可能な受光素子を複数含んだ第１の受光部と、可視光より短い波長の自家蛍光を受光可能な受光素子を複数含んだ第２の受光部とを有した固体撮像素子を、半導体基板の長手方向と電子内視鏡先端部の長手方向とが一致するように配置している。すなわち、この電子内視鏡装置に備えられている電子内視鏡は、可視光による画像情報を得るための受光部と、自家蛍光による画像情報を得るための受光部とを所定方向に長く形成された単一の半導体基板上に有した固体撮像素子を備えているため、その径を太くさせることなく可視光による画像情報と自家蛍光による画像情報と得ることができる。
【００２０】
また、上記電子内視鏡装置において、プロセッサは、光源部から射出する光束のうち蛍光を得るための励起光と可視光とを透過するフィルタと、上記光束を遮光する遮光部とを含んだフィルタ部と、フィルタ部のフィルタと遮光部とが上記光束の光路中に交互に挿脱するようフィルタ部を回転させる回転駆動部とをさらに備えている。また、フィルタは複数種類あって、フィルタ部は、Ｒ光と励起光、Ｇ光と励起光、Ｂ光と励起光を透過するそれぞれのフィルタを少なくとも１つずつ有している。また、光源部は単一の発光素子を有している。このように電子内視鏡装置を構成すると、光源から射出した光束には可視光と励起光とが含まれているため、固体撮像素子は可視光を受光している期間中であっても自家蛍光を受光することができる。従って、固体撮像素子は、自家蛍光による画像情報を高いＳ／Ｎ比で得ることができる。
【００２１】
また、上記電子内視鏡装置において、プロセッサは、第１の受光部から可視光による画像情報を得ることができる第１の状態と、前期可視光による画像情報に加えて第２の受光部から蛍光による画像情報を得ることができる第２の状態とを選択可能な操作部と、この操作部の操作に応じて固体撮像素子の駆動制御を行う制御部とをさらに備えている。また、プロセッサは信号処理部をさらに備えている。可視光の画像情報はそれぞれ異なった色画像情報を複数有するものであって、操作部により上記第２の状態のとき、信号処理部は複数の色画像情報のいずれかと自家蛍光の画像情報とを加算することができる。また、可視光による画像情報はＲ光とＧ光とＢ光をそれぞれ含んだ複数の色画像情報であって、蛍光による画像情報はＲ光の色画像情報と加算されることが好ましい。また、このＲ光の色画像情報が加算された蛍光による画像情報に、さらにＢ光の色画像情報を加算することも好ましい。
【００２２】
【発明の実施の形態】
図１は、本発明の実施形態の電子内視鏡１００を備えている電子内視鏡装置５００の構成を示したブロック図である。この電子内視鏡装置５００は、患者の体腔内の画像情報を出力する電子内視鏡１００と、電子内視鏡１００に出力された画像情報に所定の処理を施し映像信号に変換する画像処理装置に加えて観察像を得るための光束を電子内視鏡１００に供給する光源装置を備えたプロセッサ２００と、プロセッサ２００から出力された映像信号を表示するモニタ３００から構成されている。以下に、この図１を用いて、この電子内視鏡装置５００の構成と作用を説明する。
【００２３】
プロセッサ２００は、本実施形態での観察対象である生体組織４００を照明する照明光を射出する光源部２１０を備えている。この光源部２１０が射出する照明光は可視光の波長帯域の光と紫外線の波長帯域の光とを含んだものである。本実施形態の電子内視鏡装置５００では電子内視鏡１００先端部の細径化を達成するために面順次方式の撮像システムを採用している。そのため、この照明光の光路中にはＲＧＢＵＶ回転フィルタ２２０が配置されている。
【００２４】
図２は、本実施形態に用いられるＲＧＢＵＶ回転フィルタ２２０の構成を示した正面図である。また、図３は、ＲＧＢＵＶ回転フィルタ２２０が有している各フィルタの特性と、固体撮像素子１５０の各受光部のフィルタ特性を示したグラフである。このグラフの縦軸は透過率を示しており横軸は波長を示している。以下に、この図２及び図３を用いて、ＲＧＢＵＶ回転フィルタ２２０について説明する。
【００２５】
このＲＧＢＵＶ回転フィルタ２２０は、中心軸２２０ａを中心として周方向に開口部と遮光部とを交互に有している。さらに説明を加えるとこのＲＧＢＵＶ回転フィルタ２２０は、開口部及び遮光部をそれぞれ３つずつ有しており、これら３つの開口部にそれぞれ異なった透過特性を有したフィルタを具備している。ここでいうそれぞれ異なった透過特性を有したフィルタとは、図３に示すＲ特性を有したフィルタ、Ｇ特性を有したフィルタ、及びＢ特性を有したフィルタである。
【００２６】
本実施形態において、Ｒ特性を有したフィルタとは、光源部２１０から射出される光束のうち、可視光であるＲ光（レッド）を含む帯域の光と、波長λｅを有する励起光を含む紫外線波長帯域の光とを透過するカラーフィルタ２２０Ｒを示す。また、Ｇ特性を有したフィルタとは、可視光であるＧ光（グリーン）を含む帯域の光と、波長λｅを有する励起光を含む紫外線波長帯域の光とを透過するカラーフィルタ２２０Ｇを示す。また、Ｂ特性を有したフィルタとは、可視光であるＢ光（ブルー）を含む帯域の光と、波長λｅを有する励起光を含む紫外線波長帯域の光とを透過するカラーフィルタ２２０Ｂを示す。なお、説明を分かり易くするために、各フィルタは、図３で比較的高い透過率を有した波長帯域のみの光をそれぞれ透過するものとする。
【００２７】
このＲＧＢＵＶ回転フィルタ２２０は、その周方向に、順に、カラーフィルタ２２０Ｒ、遮光部、カラーフィルタ２２０Ｇ、遮光部、カラーフィルタ２２０Ｂ、遮光部を有している。なお、それぞれのカラーフィルタを具備した開口部は、周方向にそれぞれ同一の角度を有した扇状の開口からなる。また、カラーフィルタ２２０Ｂとカラーフィルタ２２０Ｒとの間の遮光部は、後述する受光部１５２ａの蓄積電荷の転送期間を確保するために、他の遮光部より周方向に大きく形成されている。以下に、このＲＧＢＵＶ回転フィルタ２２０を用いた面順次方式によるカラー画像の生成のプロセスを説明する。
【００２８】
まず、タイミングジェネレータ２３０は、図示しないモータドライバに駆動信号を送信する。このモータドライバはこの受信した駆動信号に基づいてモータ２２２を駆動させる。このモータ２２２の回転軸は、ＲＧＢＵＶ回転フィルタ２２０を中心軸２２０ａで回転自在に支持している。従って、モータ２２２の駆動に伴いＲＧＢＵＶ回転フィルタ２２０は、中心軸２２０ａを中心に回転する。ＲＧＢＵＶ回転フィルタ２２０が回転することにより光源部２１０から射出された照明光は、カラーフィルタ２２０Ｒ、カラーフィルタ２２０Ｇ、カラーフィルタ２２０Ｂの各色のフィルタを、それぞれのカラーフィルタ間に備えられた遮光部により間欠的に遮られながら透過する。
【００２９】
プロセッサ２００はコネクタ２８０により電子内視鏡１００と接続されている。ＲＧＢＵＶ回転フィルタ２２０の各色のフィルタを透過した照明光の各々は、この光路中に配置されている集光レンズ２２４を介して電子内視鏡１００が備えるライトガイド１１０に入射する。そしてこの照明光は、ライトガイド１１０により電子内視鏡１００の先端部に導光される。このライトガイド１１０に導光された照明光は、電子内視鏡１００の先端部の前面に備えられた照明窓１２０を介して生体組織４００を照明する。
【００３０】
生体組織４００を照明した照明光のうちＲ光、Ｇ光、及びＢ光はこの生体組織４００により反射され、観察光として対物光学系１３０に入射する。この対物光学系１３０に入射した観察光は、光路偏向部１４０により対物光学系１３０の光軸と直交する方向、言い換えると電子内視鏡１００の長手方向と直交する方向に折り曲げられる。
【００３１】
なお、生体組織４００により反射された照明光のうちＲ光、Ｇ光、及びＢ光は、略波長を変化させることなく対物光学系１３０に入射する。
【００３２】
また、上記可視光とともに射出された紫外線波長帯域の波長λｅを有する励起光が生体組織４００に照射されたとき、生体組織４００が正常な状態であれば、励起光はこの生体組織４００に吸収される。そしてこの生体組織４００は、基底状態から励起状態に変化、すなわちエネルギー準位を上げる。エネルギー準位が上がった生体組織４００は元の基底状態に戻る際に、波長λｅの励起光より長い波長λ１を有した蛍光を発する。すなわち、生体組織４００が正常な状態であれば、この生体組織４００に照射された波長λｅの励起光は、波長λ１の蛍光となって発散し、対物光学系１３０に入射する。また、生体組織４００が癌細胞などの病変部である場合、励起光はこの生体組織４００のエネルギー準位を上げることなく反射する。すなわち、生体組織４００が病変部である場合、励起光が照射されたこの生体組織４００は蛍光をほとんど発しない。
【００３３】
本実施形態の電子内視鏡１００では、生体組織４００からの観察光を受光して光電変換を行い画像信号を生成する機能を有する固体撮像素子１５０は、電子内視鏡１００の長手方向にその受光面が位置するよう配置されている。この固体撮像素子１５０は例えばＣＣＤである。
【００３４】
上述した光路偏向部１４０により折り曲げられた観察光は、この固体撮像素子１５０の受光面で結像して、この受光面が有しているマトリクス状に配置された複数の受光素子の各々に受光される。なお、生体組織４００は上述したようにＲＧＢＵＶ回転フィルタ２２０の各フィルタを順に透過した間欠的な照明光により照明されているため、固体撮像素子１５０の受光面は、各フィルタに応じた観察光を間欠的に順次受光する。
【００３５】
プロセッサ２００が備えているドライバ２４０は、タイミングジェネレータ２３０から送信されてくる駆動制御信号により固体撮像素子１５０を駆動している。さらに詳しく説明すると、このドライバ２４０はタイミングジェネレータ２３０から送信されてくる駆動制御信号に基づいて、固体撮像素子１５０が蛍光と、Ｒ光、Ｇ光、Ｂ光のいずれかの観察光とを受光している期間はその観察光を各受光素子にて光電変換して電荷として蓄積するよう固体撮像素子１５０を駆動し、ＲＧＢＵＶ回転フィルタ２２０の遮光部により固体撮像素子１５０がいずれの観察光も受光しない期間は各受光素子に蓄積されている電荷を転送して画像信号として出力させるよう固体撮像素子１５０を駆動することができる。
【００３６】
固体撮像素子１５０から出力された画像信号は、プロセッサ２００に送信されて、後述する画像処理を施される。このプロセッサ２００に画像処理を施された信号は、外部機器に表示可能な種々のビデオ信号に変換されてモニタ３００に出力され、このモニタ３００上でカラーの観察画像として表示される。以下に、プロセッサ２００で行われる画像処理のプロセスを説明する。
【００３７】
固体撮像素子１５０によって得られた体腔内の生体組織４００の画像信号は、プロセッサ２００に備えられている初段映像信号処理部２５０に送信される。この初段映像信号処理部２５０は、送信された画像信号を増幅させ、サンプリング、ホールド等の処理を行う。そして、この画像信号をデジタル信号に変換させる。変換されたデジタル信号は、さらに、初段映像信号処理部２５０が有している図示しないマルチプレクサによって固体撮像素子１５０の駆動と同期して切り替えられ、Ｒ、Ｇ、Ｂの各色の画像信号、さらには蛍光の画像信号であるＦ信号に分離されて、ＲＧＢＦメモリ２６０が有している各メモリに出力される。
【００３８】
ＲＧＢＦメモリ２６０はＲ、Ｇ、Ｂの各色に対応した３つのフレームメモリである図示しないＲメモリ、Ｇメモリ、Ｂメモリに加えてさらに、Ｆ信号用のフレームメモリである図示しないＦメモリを備えている。初段映像信号処理部２５０に分離された各色の画像信号及びＦ信号は、それぞれ対応するフレームメモリに格納される。
【００３９】
タイミングジェネレータ２３０は、ＲＧＢＦメモリ２６０の各フレームメモリに格納されている画像信号を同時に読み出すためのタイミング信号を送信する。このタイミング信号は、例えば、１秒当たり３０フレームから構成される動画がモニタ上において表示できるタイミングで送信される。すなわち、このタイミングジェネレータ２３０は、ＲＧＢＦメモリ２６０の各フレームメモリに格納されている画像信号を１秒当たり３０フレーム、同時に読み出すタイミング信号を送信する。このタイミング信号に基づき、各色の画像信号は同時に読み出されて、後段信号処理部２７０に出力される。
【００４０】
後段信号処理部２７０は、この信号をアナログ信号に変換させ、さらにこのアナログ信号をモニタ３００に表示させるためのコンポジットビデオ信号や、Ｙ／Ｃ信号、ＲＧＢビデオ信号に変換する。そして、これらのビデオ信号がモニタ３００に出力されると、モニタ３００上に生体組織４００の観察画像がカラー画像で表示される。
【００４１】
図４は、後段信号処理部２７０における画像処理の一態様を模式的に示した図である。図４中のＲはＲＧＢＦメモリ２６０においてＲメモリに格納されていたＲ光の画像信号を示し、ＦはＲＧＢＦメモリ２６０においてＦメモリに格納されていたＦ信号を示している。また、Ｒ−Ｆは後段信号処理部２７０内の加算回路で演算されたＲ光の信号とＦ信号との演算結果を示している。また横軸は時間軸を示している。
【００４２】
図４によると、後段信号処理部２７０はＲ光の信号とＦ信号とを加算回路により演算する。例えば期間Ｔａは生体組織４００を撮像した期間であるため、後段信号処理部２７０は生体組織４００のＲ光の信号を得る。また、この期間Ｔａで撮像した生体組織４００は正常部位であり、後段信号処理部２７０は生体組織４００で発した蛍光により生成されたＦ信号を得る。このとき、後段信号処理部２７０の加算回路によりＲ光の信号とＦ信号とを演算すると、その演算結果は０となる。
【００４３】
また、期間Ｔｂは生体組織４００を撮像した期間であるため、後段信号処理部２７０は生体組織４００のＲ光の信号を得る。また、この期間Ｔｂで撮像した生体組織４００は異常部位であるため正常部位と比べて強度の低い蛍光しか得られず、後段信号処理部２７０は期間Ｔａの場合と異なったＦ信号を得る。このとき、後段信号処理部２７０の加算回路によりＲ光の信号とＦ信号とを演算すると、その演算後に信号が出力される。
【００４４】
また、期間Ｔｃは生体組織４００を撮像していない期間、例えば電子内視鏡１００と生体組織４００との距離が遠いとき、または電子内視鏡１００が穴部の奥を観察しているときなどであり、後段信号処理部２７０は期間Ｔａや期間Ｔｂの場合と異なった生体組織４００のＲ光の信号を得る。また、この期間Ｔｃでは生体組織４００を撮像していないため、蛍光を得ることができない。従って、この期間ＴｃではＦ信号を得ることはできない。このとき、後段信号処理部２７０の加算回路によりＲ光の信号とＦ信号とを演算すると、その演算結果は０となる。
【００４５】
以上のように、本実施形態の電子内視鏡装置５００を用いて生体組織の自家蛍光観察を行うと、観察中の生体組織が正常部位であるとき及び生体組織が正確に観察できていないとき、後段信号処理部２７０は上記演算により同様の演算結果を算出する。また、観察中の生体組織が異常部位であるとき、後段信号処理部２７０は、上記演算により、生体組織が正常部位であるときと異なった演算結果を算出する。すなわち後段信号処理部２７０は観察中の生体組織が異常部位であるときのみ他の状態と異なった演算結果を算出することができるため、異常部位を確実に識別させることが可能となる。
【００４６】
図５は、後段信号処理部２７０における画像処理の一態様を、回路図を用いて模式的に示した図である。図５によると、後段信号処理部２７０は、図４と同様にＲ光の信号とＦ信号とを演算し、さらに、その演算結果をＢ光の信号に加算して出力することができる。
【００４７】
図１に示したように、プロセッサ２００は自家蛍光画像観察ボタン２９０を具備している。この自家蛍光画像観察ボタン２９０がオンしているとき、自家蛍光画像観察ボタン２９０からスイッチＳＷ１を制御するスイッチ制御信号Ｃが後段信号処理部２７０に送信されているため、スイッチＳＷ１はオンした状態となっている。また、この自家蛍光画像観察ボタン２９０をオフしているとき、自家蛍光画像観察ボタン２９０からスイッチ制御信号Ｃが後段信号処理部２７０に送信されていないため、スイッチＳＷ１はオフした状態となっている。
【００４８】
スイッチＳＷ１がオンしているとき、Ｒ光の信号とＦ信号とを演算した信号は、Ｂ光の信号と加算されて後段信号処理部２７０から出力される。このようにＲ光の信号とＦ信号とを演算した信号にＢ光の信号を加算して得られた信号をモニタ３００に出力して表示した場合、モニタ３００では、観察中の生体組織のうち蛍光強度が低下した部位、すなわち異常部位のみが、青みかかった画像として表示される。従って、術者は観察中の生体組織に異常部位が含まれているかどうかを容易に判断することができる。
【００４９】
図６は、本発明の実施形態の電子内視鏡１００の先端部の内部構造を模式的に示した側断面図である。この図６では電子内視鏡１００の先端部の内部構造を図１より詳細に示したものである。以下に、この図６を用いて、この電子内視鏡１００の先端部の構成と作用をより詳細に説明する。
【００５０】
上述したように、対物光学系１３０に入射した生体組織４００の観察光は、光路偏向部１４０により電子内視鏡１００の長手方向と直交する方向に折り曲げられる。この光路偏向部１４０は、第１のプリズム１４２と第２のプリズム１４４とを貼り合わせることにより形成されている。また、これらのプリズムは、電子内視鏡１００の長手方向に、対物光学系１３０側から第１のプリズム１４２、第２のプリズム１４４の順に並んで配置されている。
【００５１】
第１のプリズム１４２は、生体組織４００から得られた観察光の光路中に、光を分割する機能を有するビームスプリッタ１４２ａを有している。このビームスプリッタ１４２ａは、対物光学系１３０の光軸と一致する生体組織４００の観察光の光路に対して４５度傾いた状態で配置している。別の言い方をすると、このビームスプリッタ１４２ａは、電子内視鏡１００の長手方向に対して４５度傾いた状態で配置している。そのため、このビームスプリッタ１４２ａに入射した生体組織４００の観察光は、その一部が９０度折り曲げられて電子内視鏡１００の長手方向と直交する方向、すなわち固体撮像素子１５０に向かって進行し、その一部が透過して第２のプリズム１４４内を電子内視鏡１００の長手方向に沿って進行していく。
【００５２】
さらに説明すると、このビームスプリッタ１４２ａは、折り曲げられる光と透過する光との強度比が１：１、若しくは折り曲げられる光の強度が透過する光に比べて高くなるように、生体組織４００の観察光を分割する機能を有している。
【００５３】
第２のプリズム１４４は、ビームスプリッタ１４２ａを透過した観察光の光路中に、光を全反射する機能を有する全反射ミラー１４４ａを有している。この全反射ミラー１４４ａは、対物光学系１３０の光軸と一致するビームスプリッタ１４２ａを透過した観察光の光路に対して４５度傾いた状態で配置している。別の言い方をすると、この全反射ミラー１４４ａは、電子内視鏡１００の長手方向に対して４５度傾いた状態で配置している。従って、ビームスプリッタ１４２ａを透過した観察光は、この全反射ミラー１４４ａにより９０度折り曲げられて、電子内視鏡１００の長手方向と直交する方向、すなわち固体撮像素子１５０に向かって進行する。
【００５４】
図７は、本発明の実施形態の電子内視鏡１００の先端部内に備えられている固体撮像素子１５０の構成を模式的に示した上面図である。この固体撮像素子１５０は、半導体基板上に、複数の受光素子がマトリクス状に配置されている受光部１５２を備えたものである。以下に、この図７を用いて、この固体撮像素子１５０の構成と作用を説明する。なお、この固体撮像素子１５０の基台である半導体基板の受光部１５２を備えている面すなわち受光面は、図７に示す矢印Ｙ方向の辺が矢印Ｘ方向の辺より長い長方形の形状を有している。
【００５５】
固体撮像素子１５０は、受光部１５２と、水平転送部１５４と、アンプ１５６とを備えている。上述したようにこの電子内視鏡装置５００は面順次方式によりカラー画像を生成しているため、この固体撮像素子１５０はモノクロＣＣＤである。また、電子内視鏡１００の細径化を達成するため、この固体撮像素子１５０は蓄積部を備えないフルフレーム型ＣＣＤである。
【００５６】
受光部１５２は、受光部１５２ａと受光部１５２ｂの２つのイメージエリアを有している。この受光部１５２ａは、ビームスプリッタ１４２ａで折り曲げられた観察光のイメージエリアであって、この観察光の結像面と一致するよう配置されている。また、受光部１５２ｂは、全反射ミラー１４４ａで折り曲げられた観察光のイメージエリアであって、この観察光の結像面と一致するよう配置されている。すなわち、受光部１５２ａと受光部１５２は電子内視鏡１００の長手方向に沿って並んで配置されている。
【００５７】
受光部１５２ａと受光部１５２ｂは、矢印Ｙ方向と矢印Ｘ方向のそれぞれに等しい長さの辺を有しており、また、同一形状及び同一面積を有している。この受光部１５２ａに含まれる受光素子の１つ１つは、受光部１５２ｂに含まれる受光素子の１つ１つより受光面積が広い。従って受光部１５２ａは、受光部１５２ｂと比べて受光素子の数すなわち画素数は少ないが、受光部１５２ｂより高い感度を有している。言い換えると、受光部１５２ｂは、受光部１５２ａと比べて低感度であるが、高画素数を有している。
【００５８】
受光部１５２ａと受光部１５２ｂの前面にはそれぞれ異なったフィルタが配置されている。受光部１５２ａの前面に配置されているフィルタは、図３において一点鎖線で示された自家蛍光のみを透過する特性（以降、これをＦ特性という）を有したものである。このＦ特性は、カラーフィルタ２２０Ｂを透過する帯域の波長より短い波長の帯域を透過し、かつ波長λｅを含んだ紫外線帯域の波長より長い波長であるλ１を含んだ波長帯域を透過する特性を有している。また、受光部１５２ｂの前面に配置されているフィルタは、図３において点線で示されたＲＧＢ特性を有したものである。このＲＧＢ特性は、カラーフィルタ２２０Ｂ、カラーフィルタ２２０Ｇ、及びカラーフィルタ２２０Ｒを透過する帯域を全て透過し、カラーフィルタ２２０Ｂを透過する波長帯域より短い波長帯域は透過しないものである。従って、受光部１５２ａは波長λ１である蛍光を含んだ波長帯域の光を受光することができる。また、受光部１５２ｂは可視光を含んだ波長帯域の光を受光することができる。
【００５９】
また上述したように、この固体撮像素子１５０はフルフレーム型ＣＣＤであるため、この受光部１５２は複数の受光素子各々に蓄積された電荷を、図７の矢印Ｘ方向に転送する垂直転送部の機能を兼ね備えている。なお、固体撮像素子１５０は微少サイズのチップであるため、受光部１５２ａと受光部１５２ｂとは光学的に略等価に配置されている。従って、これら２つの受光部には実質的に同一の観察像が結像する。
【００６０】
水平転送部１５４は、受光部１５２が備えている複数の受光素子の各々に蓄積された電荷が転送されてくる部位であって、半導体基板の長手方向に一列に整列した電荷結合素子から構成されている。この水平転送部１５４は、受光部１５２ａが有している受光素子に蓄積された電荷が転送されてくる水平転送部１５４ａと、受光部１５２ｂが有している受光素子に蓄積された電荷が転送されてくる水平転送部１５４ｂを含んでいる。
【００６１】
水平転送部１５４を構成している電荷結合素子の各々は、矢印Ｙ方向に関して、受光部１５２の受光素子と同ピッチで配置されている。水平転送部１５４に含まれている水平転送部１５４ａは、受光部１５２ａの受光素子各々と矢印Ｙ方向に一致して配置している電荷結合素子から構成されている。また、水平転送部１５４に含まれている水平転送部１５４ｂは、受光部１５２ｂの受光素子各々と矢印Ｙ方向に一致して配置している電荷結合素子から構成されている。なお、この水平転送部１５４を構成している電荷結合素子の各々は、受光部１５２の受光素子各々に蓄積された電荷が受光素子複数個相当蓄積されても飽和しないようその許容量を多くするため、矢印Ｘ方向に関して受光部１５２の受光素子より大きく形成されている。
【００６２】
水平転送部１５４ａには、受光部１５２ａが有している受光素子の各々に蓄積された電荷が、矢印Ｘ方向に直交する矢印Ｙ方向の受光素子１ライン毎に順次転送されてくる。また、水平転送部１５４ｂには、受光部１５２ｂが有している受光素子の各々に蓄積された電荷が、矢印Ｘ方向に直交する矢印Ｙ方向の受光素子１ライン毎に順次転送されてくる。そしてこの水平転送部１５４は、受光部１５２ａと受光部１５２ｂから転送されたそれぞれ１ラインずつの電荷をアンプ１５６に出力する。アンプ１５６は、この出力された電荷を増幅してプロセッサ２００が備えている初段映像信号処理部２５０に出力する。
【００６３】
図８は、固体撮像素子１５０の撮像及び転送の周期と、固体撮像素子１５０に入射してくる観察光の周期とを示したタイミングチャートである。図８（ａ）は、固体撮像素子１５０の撮像及び転送を行うためのタイミングチャートであって、電荷を蓄積する蓄積期間と、蓄積した各色に対応した電荷を転送する転送期間とを交互に繰り返したものとなっている。また、図８（ｂ）は、固体撮像素子１５０に入射してくる観察光の周期を示したタイミングチャートであって、蛍光及び各色の観察光が入射してくる期間と、観察光が遮光されている期間とを交互に繰り返したものとなっている。以下に、この図８に示したタイミングチャートの詳細を説明する。
【００６４】
図４に示すように、カラーフィルタ２２０Ｒを介して照明された生体組織４００の観察光が受光部１５２ａ及び１５２ｂに入射している期間、固体撮像素子１５０は、受光部１５２ａ及び１５２ｂの受光素子の各々に、この観察光による電荷を蓄積している。さらに説明すると、受光部１５２ａは生体組織４００から発した蛍光を光電変換して電荷として蓄積し、受光部１５２ｂは生体組織４００から反射した可視光（Ｒ光）を光電変換して電荷として蓄積する。
【００６５】
受光部１５２ａ及び１５２ｂに一定期間蛍光とＲ光の観察光が入射するとＲＧＢＵＶ回転フィルタ２２０の遮光部により照明光が一定期間遮光され、各受光部に入射していた観察光も一定期間途絶える。この受光部１５２ａ及び１５２ｂに観察光が入射しない期間、固体撮像素子１５０は、受光部１５２ｂの受光素子の各々に蓄積されたＲ光の観察光による電荷の各々を、水平転送部１５４ｂに順次転送する。またこのとき、固体撮像素子１５０は、受光部１５２ａの受光素子の各々に蓄積された蛍光の観察光による電荷の各々を、水平転送部１５４ａに転送することなく、そのままの電荷蓄積状態が保たれる。水平転送部１５４ｂに転送された受光部１５２ｂの電荷は、生体組織４００のＲ光の画像情報としてアンプ１５６から順次出力され、初段映像信号処理部２５０に送信される。
【００６６】
固体撮像素子１５０は、同じ要領でカラーフィルタ２２０Ｇを介して照明された生体組織４００のＧ光の観察光による電荷を受光部１５２ｂに蓄積し、受光部１５２ｂに蓄積したＧ光の観察光による電荷のみを水平転送部１５４ｂに転送する。水平転送部１５４ｂに転送されたこの電荷は、Ｇ光の画像情報としてアンプ１５６から順次出力され、初段映像信号処理部２５０に送信される。同時に、固体撮像素子１５０は、この時得られた蛍光の観察光による電荷を、受光部１５２ａの受光素子の各々に既に蓄積されていた電荷と加算して蓄積し、そのままの電荷蓄積状態が保たれる。
【００６７】
また、固体撮像素子１５０は、同じ要領でカラーフィルタ２２０Ｂを介して照明された生体組織４００のＢ光の観察光による電荷を蓄積する。同時に、固体撮像素子１５０は、この時得られた蛍光の観察光による電荷を、受光部１５２ａの受光素子の各々に既に蓄積されていた電荷と加算して蓄積する。このとき固体撮像素子１５０は、受光部１５２ｂに蓄積したＢ光の観察光による電荷を水平転送部１５４ｂに順次転送すると共に、受光部１５２ａに蓄積した蛍光の観察光による電荷を水平転送部１５４ａに順次転送する。水平転送部１５４ａ及び水平転送部１５４ｂに転送されたこれら電荷は、蛍光の画像情報及びＢ光の画像情報としてアンプ１５６から順次出力され、初段映像信号処理部２５０に送信される。上述したように、この転送期間に該当するＲＧＢＵＶ回転フィルタ２２０の遮光部は、他の遮光部より周方向に大きく形成されている。従って、この転送期間は他の転送期間よりも長い期間となるため、固体撮像素子１５０は、Ｂ光の画像情報に加えて蛍光の画像情報も水平転送部１５４において水平転送することができ、Ｂ光の画像情報及び蛍光の画像情報としてアンプ１５６から出力することができる。なお、このときアンプ１５６から出力される蛍光の画像情報は、Ｒ光、Ｇ光、及びＢ光の観察光の全ての蓄積期間に対応した期間で蓄積されたものであるため、Ｓ／Ｎ比が高い信号となっている。
【００６８】
このように、アンプ１５６から出力されたＲ光、Ｇ光、Ｂ光の画像情報、またはＲ光、Ｇ光、Ｂ光に加えて蛍光の画像情報をプロセッサ２００で処理することにより１画面のカラー画像が形成される。また、この作業を繰り返すことによりモニタ３００上に生体組織４００の画像が動画として表示される。
【００６９】
図９は、図８の期間Ｔｄにおける転送動作を詳細に示したタイミングチャートである。この期間Ｔｄは、Ｇ光の観察光により蓄積した受光部１５２ｂの電荷を水平転送部１５４ｂに順次転送してＧ光の画像情報としてアンプ１５６から出力する期間を示している。以下に、この図９に示したタイミングチャートで電荷の転送動作を説明する。
【００７０】
図９（ａ）は、受光部１５２ａの受光素子各々に蓄積された電荷を、矢印Ｙ方向１ラインの受光素子毎に水平転送部１５４ａに向けて矢印Ｘ方向に順次転送させるＶ１信号のパルスを示したタイミングチャートである。また、図９（ｂ）は、受光部１５２ｂの受光素子各々に蓄積された電荷を、矢印Ｙ方向１ラインの受光素子毎に水平転送部１５４ｂに向けて矢印Ｘ方向に順次転送させるＶ２信号のパルスを示したタイミングチャートである。また、図９（ｃ）は、水平転送部１５４に転送された電荷を、水平転送部１５４の水平方向、すなわち矢印Ｙ方向に転送するＨ信号のパルスを示したタイミングチャートである。
【００７１】
期間ＴｄはＧ光の画像情報のみを転送する期間であって、上述したように受光部１５２ａに蓄積された電荷は転送されないため、Ｖ１信号は入力されずＶ２信号のみが入力される。Ｖ２信号の１パルスが受光部１５２ｂに入力すると、受光部１５２ｂの受光素子各々に蓄積されている全ての電荷は、矢印Ｘ方向に一段シフトする。その結果、水平転送部１５４ｂの最も近くに配置している１ラインの受光素子に蓄積されている電荷の各々は、矢印Ｘ方向にシフトして水平転送部１５４ｂの矢印Ｙ方向に一致する電荷結合素子の各々に転送される。
【００７２】
Ｖ２信号の１パルスにより受光部１５２ｂから水平転送部１５４ｂに電荷が転送されると、次に、Ｈ信号が水平転送部１５４に入力し、水平転送部１５４ｂに転送された上記電荷を矢印Ｙ方向に順次転送する。すなわち、水平転送部１５４ｂに転送された上記電荷は、アンプ１５６に順次掃き出されて増幅し初段映像信号処理部２５０に送信される。
【００７３】
上述した期間Ｔｄにおける一連の動作は、受光部１５２ｂに蓄積されている全ラインの受光素子の電荷を初段映像信号処理部２５０に送信するまで繰り返される。全ラインの電荷がアンプ１５６から出力されると期間Ｔｄの転送動作は終了し、次に、Ｂ光及び蛍光の観察光の蓄積動作が開始される。
【００７４】
図１０は、図８の期間Ｔｅにおける転送動作を詳細に示したタイミングチャートである。この期間Ｔｅは、蛍光の観察光により蓄積した受光部１５２ａの電荷、及びＢ光の観察光により蓄積した受光部１５２ｂの電荷を水平転送部１５４に転送して蛍光の画像情報及びＢ光の画像情報としてアンプ１５６から出力する期間を示している。以下に、この図１０に示したタイミングチャートで電荷の転送動作を説明する。
【００７５】
図１０（ａ）は、図９（ａ）と同様に、受光部１５２ａの受光素子各々に蓄積された電荷を、矢印Ｙ方向１ラインの受光素子毎に水平転送部１５４ａに向けて矢印Ｘ方向に順次転送させるＶ１信号のパルスを示したタイミングチャートである。また、図１０（ｂ）は、図９（ｂ）と同様に、受光部１５２ｂの受光素子各々に蓄積された電荷を、矢印Ｙ方向１ラインの受光素子毎に水平転送部１５４ｂに向けて矢印Ｘ方向に順次転送させるＶ２信号のパルスを示したタイミングチャートである。また、図１０（ｃ）は、図９（ｃ）と同様に、水平転送部１５４に転送された電荷を、水平転送部１５４の水平方向、すなわち矢印Ｙ方向に転送するＨ信号のパルスを示したタイミングチャートである。
【００７６】
期間Ｔｅは蛍光の画像情報及びＢ光の画像情報を転送する期間であるため、Ｖ１信号、Ｖ２信号は、それぞれ受光部１５２ａ、受光部１５２ｂに入力される。そのため、受光部１５２ａの受光素子各々に蓄積されている全ての電荷は、Ｖ１信号の１パルスにつき矢印Ｘ方向に一段シフトし、水平転送部１５４ａの最も近くに配置している１ラインの受光素子に蓄積されている電荷の各々は、水平転送部１５４ａに転送される。また、受光部１５２ｂの受光素子各々に蓄積されている全ての電荷も、Ｖ２信号の１パルスにつき矢印Ｘ方向に一段シフトし、水平転送部１５４ｂの最も近くに配置している１ラインの受光素子に蓄積されている電荷の各々は、水平転送部１５４ｂに転送される。
【００７７】
Ｖ１信号、Ｖ２信号のそれぞれの１パルスにより受光部１５２ａ、受光部１５２ｂから水平転送部１５４ａ、水平転送部１５４ｂに電荷が転送されると、次に、Ｈ信号が水平転送部１５４に入力し、水平転送部１５４に転送された上記各電荷を矢印Ｙ方向に順次転送する。すなわち、水平転送部１５４ａ及び水平転送部１５４ｂに転送された上記各電荷は、アンプ１５６に順次掃き出されて増幅し初段映像信号処理部２５０に送信される。このとき水平転送部１５４ａに蓄積された電荷は、水平転送部１５４ｂを介してアンプ１５６に出力される。すなわち、水平転送部１５４ａに蓄積された電荷は、水平転送部１５４ｂに蓄積された電荷より水平転送に長い時間を要する。従って、図１０（ｃ）に示したＨ信号の入力パルス時間は、図９（ｃ）に示したＨ信号の入力パルス時間よりも長くなっている。
【００７８】
上述した一連の動作を繰り返し行うと、受光部１５２ａは受光部１５２ｂより受光素子の数が少ないため、受光部１５２ａの全ラインの蓄積電荷の転送のみが先に終了し、受光部１５２ｂの蓄積電荷の転送動作のみが続行される。従って、受光部１５２ａへのＶ１信号の入力パルスはなくなり、Ｖ２信号のみが受光部１５２ｂに入力される。従って、期間Ｔｅの開始から途中までの期間は上述した受光部１５２ａ及び受光部１５２ｂの蓄積電荷の転送が行われ、期間Ｔｅの途中から終了するまでの期間は図９と同様に受光部１５２ｂの蓄積電荷の転送のみが行われる。
【００７９】
なお、上述したように、本実施形態の固体撮像素子１５０は、２つのイメージエリアである受光部１５２ａと受光部１５２ｂとが電子内視鏡１００の先端部の長手方向に沿って並んで配置されている。また、本実施形態の固体撮像素子１５０では、受光部１５２ａと受光部１５２ｂの電荷の転送路が１ラインの電荷結合素子である水平転送部１５４で形成されている。さらに、この水平転送部１５４は、電子内視鏡１００の先端部の長手方向に沿って配列されている。従って、本実施形態の固体撮像素子１５０を備えることにより、電子内視鏡の径を太くすることなく、可視光による画像情報と蛍光による画像情報とを得ることができる。なお、光路偏向部１４０、固体撮像素子１５０の受光部１５２ａと受光部１５２ｂと水平転送部１５４とを上記配置構成としたことにより、固体撮像素子１５０から得られる可視光による画像情報と蛍光による画像情報は、そのままでは正像にはならないが、ＲＧＢＦメモリ２６０に展開したときに正像となるよう書き込み処理を行うか、或いは、ＲＧＢＦメモリ２６０に可視光による画像情報と蛍光による画像情報をそのまま展開し、読み出すときに正像となるよう読み出しアドレスを生成する等の処理を行えば、モニタ３００上に正像の画像を表示することができる。
【００８０】
また、本実施形態の固体撮像素子１５０は、可視光の観察画像に比べて高解像度の要求が低い蛍光による観察画像を得るための受光部１５２ａの受光素子各々の受光面積を、受光部１５２ｂの受光素子各々の受光面積より大きく形成したことにより、発光強度の低い蛍光の画像信号を、高いＳ／Ｎ比で得ることができる。なお、後段信号処理部２７０にて、Ｒ光の信号とＦ信号とを演算し、さらに、その演算結果をＢ光の信号に加算する際、Ｆ信号に補間処理等を施すことにより、Ｆ信号のデータ量をＲ光の信号及びＢ光の信号のデータ量に合わせておく。
【００８１】
以上が本発明の実施形態である。本発明はこれらの実施形態に限定されるものではなく様々な範囲で変形が可能である。
【００８２】
なお、本実施形態において、受光部１５２ａと受光部１５２ｂのそれぞれの前面にフィルタを配置しているが、光路偏向部１４０における蛍光及び可視光のそれぞれの光路中に上記フィルタを配置してもよい。
【００８３】
また、本発明の実施形態において、固体撮像素子１５０はモノクロＣＣＤであるが、受光素子毎にカラーフィルタが備えられているカラーＣＣＤであってもよい。この場合、面順次方式でないため、ＲＧＢＵＶ回転フィルタ２２０は不要となり、本実施形態と異なった電荷蓄積・転送のタイミングで固体撮像素子は駆動される。
【００８４】
【発明の効果】
以上のように本発明の固体撮像素子は、可視光による画像情報を得るための受光部と、蛍光による画像情報を得るための受光部とを所定方向に長く形成された単一の半導体基板上に有しているため、円筒状の機器内に組み込まれてもその径を太くさせることなく可視光による画像情報と蛍光による画像情報と得ることができる。また、本発明の固体撮像素子は、円筒状の機器内に組み込まれてもその径を太くさせることなく蛍光による画像情報を高いＳ／Ｎ比で得ることができる。
【００８５】
また、本発明の電子内視鏡は、可視光による画像情報を得るための受光部と、蛍光による画像情報を得るための受光部とを所定方向に長く形成された単一の半導体基板上に有した固体撮像素子を備えているため、その径を太くさせることなく可視光による画像情報と蛍光による画像情報と得ることができる。また、本発明の電子内視鏡は、その径を太くさせることなく蛍光による画像情報を高いＳ／Ｎ比で得ることができる。
【００８６】
また、本発明の電子内視鏡装置は、蛍光の画像情報と可視光の画像情報とを演算することにより、観察対象が異常部位であるか否かを正確に算出することができる。
【図面の簡単な説明】
【図１】本発明の実施形態の電子内視鏡を備えている電子内視鏡装置の構成を示したブロック図である。
【図２】本実施形態に用いられるＲＧＢＵＶ回転フィルタの構成を示した正面図である。
【図３】ＲＧＢＵＶ回転フィルタが有している各フィルタの特性と、固体撮像素子の各受光部のフィルタ特性を示したグラフである。
【図４】後段信号処理部における画像処理の一態様を模式的に示した図である。
【図５】後段信号処理部における画像処理の一態様を、回路図を用いて模式的に示した図である。
【図６】本発明の実施形態の電子内視鏡の先端部の内部構造を模式的に示した側断面図である。
【図７】本発明の実施形態の電子内視鏡の先端部内に備えられている固体撮像素子の構成を模式的に示した上面図である。
【図８】固体撮像素子の撮像及び転送の周期と、固体撮像素子に入射してくる観察光の周期とを示したタイミングチャートである。
【図９】図８の期間Ｔｄにおける転送動作を詳細に示したタイミングチャートである。
【図１０】図８の期間Ｔｅにおける転送動作を詳細に示したタイミングチャートである。
【符号の説明】
１００ 電子内視鏡
１４０ 光路偏向部
１５０ 固体撮像素子
１５２ａ、１５２ｂ 受光部
１５４ａ、１５４ｂ 水平転送部
５００ 電子内視鏡装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention provides a solid-state imaging device in which a plurality of light-receiving elements are arranged in a matrix on a single semiconductor substrate, and is capable of obtaining visible light image information and fluorescence image information. The present invention relates to an electronic endoscope provided in the electronic endoscope and an electronic endoscope apparatus provided with the electronic endoscope.
[0002]
[Prior art]
BACKGROUND ART Conventionally, by reducing the diameter of an insertion portion of an endoscope, pain of a patient when the endoscope is inserted into a body cavity, particularly, into a thin tubular organ, is reduced. In recent years, electronic endoscopes (electronic scopes) having a solid-state imaging device such as a CCD at the distal end of the insertion section have become widespread, and various components provided inside the insertion section have been reduced in size. This achieves a smaller diameter. The smaller the endoscope or electronic endoscope, the more it can be inserted into the body cavity and the more freely it can be moved inside the body cavity. Have been.
[0003]
Many electronic endoscopes are equipped with a monochrome CCD suitable for miniaturization for the reasons described above. However, in recent years, in order to observe the state of a living tissue more accurately, a device for obtaining a color image has been put to practical use. There are two main types of devices for obtaining this color image. One is a so-called simultaneous method in which a color image is obtained by using a color filter such as RGB on the front surface of each of a plurality of light receiving elements arranged in a matrix on a CCD. The other is to obtain a color image by imaging a living tissue illuminated with illumination light of each color through a rotating color filter of a light source device connected to an electronic endoscope with a monochrome CCD, so-called plane sequential. This is a method using a method.
[0004]
In recent years, when living tissue in a body cavity is irradiated with excitation light, the living tissue irradiated with the excitation light emits fluorescence if it is in a normal state, and returns to a normal state if it is a lesion such as cancer cells. Fluorescence observation (auto-fluorescence observation) that utilizes the characteristic of emitting attenuated fluorescence as compared with the other is widely known. For example, Patent Literature 1 and Patent Literature 2 propose an electronic endoscope for observing a living tissue in a body cavity using the autofluorescence observation.
[0005]
According to Patent Document 1 described above, the light source device includes two light sources, a light source for white light and a light source for ultraviolet light, and further includes a shutter in front of these light sources. With these shutters, R light, G light, and B light and ultraviolet light as excitation light alternately enter the light guide of the electronic endoscope, and the living tissue is alternately irradiated with light of each of these colors and ultraviolet light. The electronic endoscope can obtain observation image information of visible light of living tissue and image information of fluorescence by autofluorescence observation.
[0006]
According to one aspect of Patent Document 2, an electronic endoscope includes a solid-state imaging device for obtaining a visible light observation image and a solid-state imaging device for obtaining fluorescence image information obtained by autofluorescence observation at its distal end. Have. Further, the light source device includes a changeover switch, and the electronic endoscope guides the observation light image to any one of the solid-state imaging devices in accordance with the operation of the changeover switch, and obtains the observation image information of the visible light of the living tissue and the self-image. The image information of the fluorescence by the fluorescence observation is obtained.
[0007]
[Patent Document 1]
JP-A-2002-34913 (pages 4, 5; FIG. 1)
[Patent Document 2]
JP-A-11-113839 (Pages 2 to 6, FIGS. 1, 3, 4)
[0008]
[Problems to be solved by the invention]
In Patent Document 1 described above, the luminous flux of the ultraviolet light source used for autofluorescence observation is controlled by a UV rotating shutter arranged in the optical path while the luminous flux of the white light source is emitted toward the electronic endoscope. It is shaded. More specifically, since the RGB rotary shutter and the UV rotary shutter each have an opening corresponding to a half cycle, the solid-state imaging device supplies the R light and the G light during the period corresponding to the half cycle of the RGB rotary shutter. , And B light, which are reflected by the illumination light irradiation, enter, and the fluorescence obtained by the ultraviolet light irradiation enters during a period substantially equal to the period of the UV rotary shutter.
[0009]
However, even in a normal part of a living tissue, since the obtained fluorescence is weak, a period during which the fluorescence is incident on the solid-state imaging device corresponds to a half cycle of the UV rotary shutter as in the above-described electronic endoscope. When only the charge is stored, the amount of charge stored in the solid-state imaging device tends to be insufficient. Further, as described above, the solid-state imaging device used in the electronic endoscope is downsized in order to reduce the diameter of the electronic endoscope. Therefore, such a solid-state imaging device has a small size per pixel and low light receiving sensitivity. Therefore, with such an electronic endoscope, it is difficult to obtain a fluorescent image signal having a high S / N ratio.
[0010]
In Patent Document 2 described above, two solid-state imaging devices are provided at the distal end of an electronic endoscope, and an observation image of visible light and an observation image of autofluorescence are obtained by each of the solid-state imaging devices. Therefore, the diameter of the insertion portion of the electronic endoscope is formed to be large by signal lines drawn from the respective solid-state imaging devices. That is, this electronic endoscope increases the burden on the patient.
[0011]
In addition, when performing auto-fluorescence observation using an electronic endoscope apparatus including the above-described electronic endoscope, if the observation site emits a predetermined fluorescence, the operator determines that the site is a normal site. Can be easily grasped. However, if the fluorescence reaching the solid-state imaging device from the observation site is attenuated, the site is an abnormal site, or the distance between the electronic endoscope and the observation site is long, or the observation site is deep inside the hole. There may be multiple factors such as Therefore, it is difficult for the surgeon to accurately determine whether or not the site is an abnormal site based on the attenuated fluorescence from the observation site.
[0012]
In view of the above circumstances, the present invention can obtain image information based on visible light and image information based on fluorescence without increasing its diameter even when incorporated in a cylindrical device, and further, an image based on fluorescence can be obtained. It is an object to provide a solid-state imaging device capable of obtaining information at a high S / N ratio, an electronic endoscope including the solid-state imaging device, and an electronic endoscope apparatus including the electronic endoscope. And It is another object of the present invention to provide an electronic endoscope apparatus that allows an operator to accurately determine whether an observation target in a body cavity is a normal site or an abnormal site.
[0013]
[Means for Solving the Problems]
A solid-state imaging device according to one embodiment of the present invention that solves the above problem has a light-receiving portion in which a plurality of light-receiving elements are arranged in matrix on a single semiconductor substrate that is formed to be long in a predetermined direction. A first light-receiving section including a plurality of light-receiving elements capable of receiving visible light, and a plurality of light-receiving elements capable of receiving fluorescence having a wavelength shorter than that of visible light, in different regions in a predetermined direction. A second light receiving unit. That is, this solid-state imaging device has a light receiving unit for obtaining image information by visible light and a light receiving unit for obtaining image information by fluorescent light on a single semiconductor substrate formed to be long in a predetermined direction. Therefore, even when incorporated in a cylindrical device, image information based on visible light and image information based on fluorescence can be obtained without increasing the diameter.
[0014]
In the solid-state imaging device, each of the plurality of light receiving elements included in the second light receiving unit has a larger light receiving area than each of the plurality of light receiving elements included in the first light receiving unit. By forming each light receiving element as described above, the second light receiving section has higher sensitivity than the first light receiving section. Therefore, even if the fluorescence incident on the second light receiving portion is weak, image information with a high S / N ratio can be obtained.
[0015]
The solid-state imaging device may further include a first transfer unit that is a transfer destination of the charge stored in the first light receiving unit, and a second transfer unit that is a transfer destination of the charge stored in the second light receiving unit. And the first transfer unit and the second transfer unit are included in elements arranged in a line in a predetermined direction. That is, it is possible to reduce the size of the solid-state imaging device by including the transfer destinations of the respective light receiving units in elements arranged in a line. Further, an image signal obtained from visible light and an image signal obtained from fluorescence can be extracted through a common signal line.
[0016]
In addition, an electronic endoscope according to one embodiment of the present invention that solves the above-described problem includes a light-receiving unit in which a plurality of light-receiving elements are arranged in a matrix on a single semiconductor substrate that is formed to be long in a predetermined direction. The solid-state image pickup device provided in the front end portion. The electronic endoscope includes a first light receiving section including a plurality of light receiving elements capable of receiving visible light and a light receiving element capable of receiving autofluorescence having a wavelength shorter than that of visible light in different regions in a predetermined direction. A solid-state imaging device having a plurality of second light-receiving units is arranged such that the longitudinal direction of the semiconductor substrate and the longitudinal direction of the tip end coincide with each other. That is, this electronic endoscope has a light receiving section for obtaining image information by visible light and a light receiving section for obtaining image information by autofluorescence on a single semiconductor substrate formed to be long in a predetermined direction. Since the solid-state imaging device is provided, image information based on visible light and image information based on auto-fluorescence can be obtained without increasing the diameter.
[0017]
In the electronic endoscope, the solid-state imaging device includes a first transfer unit that is a transfer destination of the charge accumulated in the first light receiving unit and a transfer destination of the charge accumulated in the second light receiving unit. The device further includes a certain second transfer unit, and the first transfer unit and the second transfer unit are included in elements arranged in a line in a predetermined direction. With such a solid-state imaging device, an image signal obtained from visible light and an image signal obtained from auto-fluorescence can be extracted through a common signal line. Can be achieved.
[0018]
Further, the electronic endoscope transmits the light flux from the observation image side to the first light receiving portion and the second light receiving portion so that the first light receiving portion and the second light receiving portion are positioned substantially optically equivalent. Further, there is further provided a light beam separating means for separating the light beam toward the light receiving section.
[0019]
In addition, an electronic endoscope apparatus according to one embodiment of the present invention that solves the above problem has a light receiving unit in which a plurality of light receiving elements are arranged in a matrix on a single semiconductor substrate that is formed long in a predetermined direction. An electronic endoscope provided with a solid-state imaging device having the above in the distal end portion, and a processor provided with a light source unit for supplying a light flux for obtaining an observation image to the electronic endoscope. The electronic endoscope apparatus includes a first light receiving unit including a plurality of light receiving elements capable of receiving visible light in different regions in a predetermined direction, and a light receiving element capable of receiving autofluorescence having a shorter wavelength than visible light. Are arranged so that the longitudinal direction of the semiconductor substrate coincides with the longitudinal direction of the tip of the electronic endoscope. That is, the electronic endoscope provided in the electronic endoscope apparatus has a light receiving portion for obtaining image information by visible light and a light receiving portion for obtaining image information by autofluorescence elongated in a predetermined direction. Since the solid-state imaging device provided on a single semiconductor substrate is provided, image information based on visible light and image information based on autofluorescence can be obtained without increasing the diameter.
[0020]
Further, in the electronic endoscope apparatus, the processor includes a filter including a filter that transmits excitation light and visible light for obtaining fluorescence in a light beam emitted from the light source unit, and a light blocking unit that blocks the light beam. And a rotation drive unit that rotates the filter unit such that the filter and the light shielding unit of the filter unit are alternately inserted into and removed from the optical path of the light beam. Also, there are a plurality of types of filters, and the filter unit has at least one filter that transmits R light and excitation light, G light and excitation light, and B light and excitation light. The light source section has a single light emitting element. When the electronic endoscope apparatus is configured in this manner, since the luminous flux emitted from the light source includes the visible light and the excitation light, the solid-state imaging device can generate its own light even during the period of receiving the visible light. Fluorescence can be received. Therefore, the solid-state imaging device can obtain image information based on autofluorescence at a high S / N ratio.
[0021]
Further, in the electronic endoscope apparatus, the processor may be configured to obtain a first state in which image information based on visible light can be obtained from the first light receiving unit; An operation unit capable of selecting a second state in which image information based on fluorescence can be obtained, and a control unit that controls driving of the solid-state imaging device in accordance with the operation of the operation unit are further provided. Further, the processor further includes a signal processing unit. The visible light image information has a plurality of different color image information, and when in the second state by the operation unit, the signal processing unit converts any of the plurality of color image information and the image information of the autofluorescence. Can be added. Preferably, the image information based on the visible light is a plurality of pieces of color image information including the R light, the G light, and the B light, and the image information based on the fluorescence is preferably added to the color image information based on the R light. It is also preferable to add the color image information of the B light to the image information of the fluorescence to which the color image information of the R light is added.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a block diagram illustrating a configuration of an electronic endoscope apparatus 500 including an electronic endoscope 100 according to an embodiment of the present invention. The electronic endoscope apparatus 500 includes an electronic endoscope 100 that outputs image information in a patient's body cavity, and an image processing that performs predetermined processing on the image information output to the electronic endoscope 100 and converts the image information into a video signal. The processor 200 includes a processor 200 having a light source device that supplies a light beam for obtaining an observation image to the electronic endoscope 100, and a monitor 300 that displays a video signal output from the processor 200. The configuration and operation of the electronic endoscope device 500 will be described below with reference to FIG.
[0023]
The processor 200 includes a light source unit 210 that emits illumination light for illuminating the living tissue 400 to be observed in the present embodiment. The illumination light emitted from the light source unit 210 includes light in the wavelength band of visible light and light in the wavelength band of ultraviolet light. In the electronic endoscope apparatus 500 according to the present embodiment, a plane-sequential imaging system is employed to reduce the diameter of the distal end of the electronic endoscope 100. Therefore, an RGBUV rotation filter 220 is disposed in the optical path of the illumination light.
[0024]
FIG. 2 is a front view showing the configuration of the RGBUV rotation filter 220 used in the present embodiment. FIG. 3 is a graph showing the characteristics of each filter included in the RGBUV rotation filter 220 and the filter characteristics of each light receiving unit of the solid-state imaging device 150. The vertical axis of this graph indicates the transmittance, and the horizontal axis indicates the wavelength. Hereinafter, the RGBUV rotation filter 220 will be described with reference to FIGS.
[0025]
The RGBUV rotary filter 220 has openings and light-shielding portions alternately in the circumferential direction around the central axis 220a. More specifically, the RGBUV rotary filter 220 has three openings and three light-shielding portions, respectively, and the three openings have filters having different transmission characteristics. The filters having different transmission characteristics here are a filter having an R characteristic, a filter having a G characteristic, and a filter having a B characteristic shown in FIG.
[0026]
In the present embodiment, the filter having the R characteristic refers to a light in a band including the R light (red), which is a visible light, and an ultraviolet light including the excitation light having the wavelength λe in the light flux emitted from the light source unit 210. 5 shows a color filter 220R that transmits light in a wavelength band. The filter having the G characteristic refers to a color filter 220G that transmits light in a band including visible G light (green) and light in an ultraviolet wavelength band including excitation light having a wavelength λe. The filter having the B characteristic refers to a color filter 220B that transmits light in a band including visible B light (blue) and light in an ultraviolet wavelength band including excitation light having a wavelength λe. In order to make the description easy to understand, it is assumed that each filter transmits light only in a wavelength band having a relatively high transmittance in FIG.
[0027]
The RGBUV rotary filter 220 has a color filter 220R, a light shielding unit, a color filter 220G, a light shielding unit, a color filter 220B, and a light shielding unit in that order in the circumferential direction. The openings provided with the respective color filters are formed as fan-shaped openings having the same angle in the circumferential direction. The light-shielding portion between the color filter 220B and the color filter 220R is formed to be larger in the circumferential direction than the other light-shielding portions in order to secure a transfer period of the charge stored in the light-receiving portion 152a described later. Hereinafter, a process of generating a color image by the frame sequential method using the RGBUV rotation filter 220 will be described.
[0028]
First, the timing generator 230 transmits a drive signal to a motor driver (not shown). The motor driver drives the motor 222 based on the received drive signal. The rotation shaft of the motor 222 supports the RGBUV rotation filter 220 so as to be rotatable about the center shaft 220a. Accordingly, the RGBUV rotation filter 220 rotates around the central axis 220a with the driving of the motor 222. The illumination light emitted from the light source unit 210 by the rotation of the RGBUV rotation filter 220 intermittently intermittently controls the color filters of the color filters 220R, 220G, and 220B by a light shielding unit provided between the color filters. It is transmitted while being blocked.
[0029]
The processor 200 is connected to the electronic endoscope 100 by a connector 280. Each of the illumination lights transmitted through the respective filters of the RGBUV rotation filter 220 enters the light guide 110 of the electronic endoscope 100 via the condenser lens 224 disposed in the optical path. The illumination light is guided by the light guide 110 to the distal end of the electronic endoscope 100. The illumination light guided to the light guide 110 illuminates the living tissue 400 via an illumination window 120 provided on the front surface of the distal end of the electronic endoscope 100.
[0030]
Of the illumination light that illuminates the living tissue 400, the R light, the G light, and the B light are reflected by the living tissue 400 and enter the objective optical system 130 as observation light. The observation light incident on the objective optical system 130 is bent by the optical path deflecting unit 140 in a direction orthogonal to the optical axis of the objective optical system 130, in other words, in a direction orthogonal to the longitudinal direction of the electronic endoscope 100.
[0031]
Note that among the illumination light reflected by the living tissue 400, the R light, the G light, and the B light enter the objective optical system 130 without substantially changing the wavelength.
[0032]
Further, when the living tissue 400 is irradiated with the excitation light having the wavelength λe of the ultraviolet wavelength band emitted together with the visible light and the living tissue 400 is in a normal state, the excitation light is absorbed by the living tissue 400. You. Then, the living tissue 400 changes from the ground state to the excited state, that is, raises the energy level. When returning to the original ground state, the living tissue 400 having the increased energy level has a wavelength λ longer than the excitation light having the wavelength λe. 1 It emits fluorescence having That is, if the living tissue 400 is in a normal state, the excitation light of the wavelength λe applied to the living tissue 400 has a wavelength λ 1 And diverges and enters the objective optical system 130. When the living tissue 400 is a lesion such as a cancer cell, the excitation light is reflected without raising the energy level of the living tissue 400. That is, when the living tissue 400 is a lesion, the living tissue 400 irradiated with the excitation light hardly emits fluorescence.
[0033]
In the electronic endoscope 100 of the present embodiment, the solid-state imaging device 150 having a function of receiving observation light from the living tissue 400 and performing photoelectric conversion to generate an image signal is arranged in the longitudinal direction of the electronic endoscope 100. It is arranged so that the light receiving surface is located. The solid-state imaging device 150 is, for example, a CCD.
[0034]
The observation light bent by the above-described optical path deflecting unit 140 forms an image on the light receiving surface of the solid-state imaging device 150 and is received by each of the plurality of light receiving elements arranged in a matrix on the light receiving surface. Is done. Since the living tissue 400 is illuminated with the intermittent illumination light that has passed through the filters of the RGBUV rotation filter 220 in order as described above, the light receiving surface of the solid-state imaging device 150 emits observation light corresponding to each filter. Light is intermittently received sequentially.
[0035]
The driver 240 included in the processor 200 drives the solid-state imaging device 150 by a drive control signal transmitted from the timing generator 230. More specifically, the driver 240 causes the solid-state imaging device 150 to receive fluorescence and any one of R light, G light, and B light observation light based on a drive control signal transmitted from the timing generator 230. During this period, the solid-state imaging device 150 is driven such that the observation light is photoelectrically converted by each light receiving element and stored as an electric charge, and the solid-state imaging device 150 does not receive any observation light due to the light blocking portion of the RGBUV rotary filter 220. During the period, the solid-state imaging device 150 can be driven to transfer charges accumulated in each light receiving element and output the image signal as an image signal.
[0036]
The image signal output from the solid-state imaging device 150 is transmitted to the processor 200 and subjected to image processing described later. The signal processed by the processor 200 is converted into various video signals that can be displayed on an external device, output to the monitor 300, and displayed on the monitor 300 as a color observation image. Hereinafter, a process of image processing performed by the processor 200 will be described.
[0037]
The image signal of the living tissue 400 in the body cavity obtained by the solid-state imaging device 150 is transmitted to the first-stage video signal processing unit 250 provided in the processor 200. The first-stage video signal processing unit 250 amplifies the transmitted image signal and performs processing such as sampling and holding. Then, the image signal is converted into a digital signal. The converted digital signal is further switched in synchronization with the driving of the solid-state imaging device 150 by a multiplexer (not shown) included in the first-stage video signal processing unit 250, and an image signal of each color of R, G, and B, and further, The signal is separated into F signals, which are fluorescent image signals, and output to the respective memories of the RGBF memory 260.
[0038]
The RGBF memory 260 includes an F memory (not shown), which is a frame memory for F signals, in addition to an R memory, a G memory, and a B memory (not shown) which are three frame memories corresponding to each of R, G, and B colors. I have. The image signal and F signal of each color separated by the first stage video signal processing unit 250 are stored in the corresponding frame memories.
[0039]
The timing generator 230 transmits a timing signal for simultaneously reading image signals stored in each frame memory of the RGBF memory 260. This timing signal is transmitted, for example, at a timing at which a moving image composed of 30 frames per second can be displayed on the monitor. That is, the timing generator 230 transmits a timing signal for simultaneously reading out the image signal stored in each frame memory of the RGBF memory 260 at 30 frames per second. Based on this timing signal, the image signals of the respective colors are read out at the same time and output to the subsequent signal processing unit 270.
[0040]
The subsequent signal processing unit 270 converts this signal into an analog signal, and further converts this analog signal into a composite video signal, a Y / C signal, and an RGB video signal for displaying on the monitor 300. Then, when these video signals are output to the monitor 300, an observation image of the living tissue 400 is displayed on the monitor 300 as a color image.
[0041]
FIG. 4 is a diagram schematically illustrating one mode of image processing in the subsequent signal processing unit 270. 4 indicates an image signal of R light stored in the R memory in the RGBF memory 260, and F indicates an F signal stored in the F memory in the RGBF memory 260. Further, R-F indicates a calculation result of the R light signal and the F signal calculated by the addition circuit in the subsequent signal processing unit 270. The horizontal axis indicates the time axis.
[0042]
According to FIG. 4, the post-stage signal processing unit 270 calculates the signal of the R light and the F signal by an adding circuit. For example, since the period Ta is a period during which the living tissue 400 is imaged, the subsequent signal processing unit 270 obtains an R light signal of the living tissue 400. Further, the living tissue 400 imaged in this period Ta is a normal part, and the subsequent signal processing unit 270 obtains an F signal generated by the fluorescence emitted from the living tissue 400. At this time, if the signal of the R light and the F signal are calculated by the addition circuit of the subsequent signal processing unit 270, the calculation result becomes 0.
[0043]
Further, since the period Tb is a period during which the living tissue 400 is imaged, the subsequent signal processing unit 270 obtains an R light signal of the living tissue 400. Further, since the living tissue 400 imaged in this period Tb is an abnormal site, only fluorescent light having a lower intensity than that of a normal site is obtained, and the subsequent signal processing unit 270 obtains an F signal different from that in the period Ta. At this time, when the signal of the R light and the F signal are calculated by the addition circuit of the subsequent signal processing unit 270, the signal is output after the calculation.
[0044]
Further, the period Tc is a period during which the living tissue 400 is not imaged, for example, when the distance between the electronic endoscope 100 and the living tissue 400 is long, or when the electronic endoscope 100 is observing the back of the hole, or the like. The post-stage signal processing unit 270 obtains a different R light signal of the living tissue 400 from the case of the period Ta or the period Tb. In this period Tc, the living tissue 400 is not imaged, so that fluorescence cannot be obtained. Therefore, the F signal cannot be obtained during this period Tc. At this time, if the signal of the R light and the F signal are calculated by the addition circuit of the subsequent signal processing unit 270, the calculation result becomes 0.
[0045]
As described above, when the auto-fluorescence observation of the living tissue is performed using the electronic endoscope apparatus 500 of the present embodiment, when the living tissue being observed is a normal site and when the living tissue cannot be accurately observed. , The post-stage signal processing unit 270 calculates the same operation result by the above operation. In addition, when the living tissue under observation is an abnormal site, the subsequent signal processing unit 270 calculates, by the above-described calculation, a calculation result different from that when the living tissue is a normal site. That is, the rear-stage signal processing unit 270 can calculate an operation result different from that in other states only when the living tissue under observation is an abnormal site, and thus can identify the abnormal site reliably.
[0046]
FIG. 5 is a diagram schematically illustrating one mode of image processing in the subsequent signal processing unit 270 using a circuit diagram. According to FIG. 5, the post-stage signal processing unit 270 can calculate the R light signal and the F signal in the same manner as in FIG. 4, and can add the calculation result to the B light signal and output the result.
[0047]
As shown in FIG. 1, the processor 200 includes an auto-fluorescence image observation button 290. When the auto-fluorescence image observation button 290 is turned on, the switch control signal C for controlling the switch SW1 is transmitted from the auto-fluorescence image observation button 290 to the subsequent signal processing unit 270, so that the switch SW1 is turned on. Has become. Further, when the auto-fluorescence image observation button 290 is turned off, the switch SW1 is in an off state because the switch control signal C is not transmitted from the auto-fluorescence image observation button 290 to the subsequent signal processing unit 270. .
[0048]
When the switch SW1 is turned on, the signal obtained by calculating the R light signal and the F signal is added to the B light signal and output from the subsequent signal processing unit 270. When a signal obtained by adding the signal of the B light to the signal obtained by calculating the signal of the R light and the F signal is output to the monitor 300 and displayed, the monitor 300 Only the part where the fluorescence intensity is reduced, that is, only the abnormal part is displayed as a bluish image. Therefore, the surgeon can easily determine whether the living tissue under observation contains an abnormal site.
[0049]
FIG. 6 is a side sectional view schematically showing an internal structure of a distal end portion of the electronic endoscope 100 according to the embodiment of the present invention. FIG. 6 shows the internal structure of the distal end of the electronic endoscope 100 in more detail than FIG. Hereinafter, the configuration and operation of the distal end portion of the electronic endoscope 100 will be described in more detail with reference to FIG.
[0050]
As described above, the observation light of the living tissue 400 incident on the objective optical system 130 is bent by the optical path deflecting unit 140 in a direction orthogonal to the longitudinal direction of the electronic endoscope 100. The optical path deflecting unit 140 is formed by bonding a first prism 142 and a second prism 144 together. These prisms are arranged in the longitudinal direction of the electronic endoscope 100 in the order of the first prism 142 and the second prism 144 from the objective optical system 130 side.
[0051]
The first prism 142 has a beam splitter 142a having a function of splitting light in the optical path of observation light obtained from the living tissue 400. The beam splitter 142a is arranged in a state of being inclined by 45 degrees with respect to the optical path of the observation light of the living tissue 400 that coincides with the optical axis of the objective optical system 130. In other words, the beam splitter 142a is arranged in a state of being inclined by 45 degrees with respect to the longitudinal direction of the electronic endoscope 100. Therefore, the observation light of the living tissue 400 incident on the beam splitter 142a is partially bent at 90 degrees and travels in a direction orthogonal to the longitudinal direction of the electronic endoscope 100, that is, toward the solid-state imaging device 150, Part of the light passes through and travels in the second prism 144 along the longitudinal direction of the electronic endoscope 100.
[0052]
More specifically, the beam splitter 142a provides an observation light for the living tissue 400 such that the intensity ratio between the light to be bent and the light to be transmitted is 1: 1 or the intensity of the light to be bent is higher than that to the transmitted light. Has the function of dividing
[0053]
The second prism 144 has a total reflection mirror 144a having a function of totally reflecting light in an optical path of observation light transmitted through the beam splitter 142a. The total reflection mirror 144a is arranged in a state of being inclined by 45 degrees with respect to the optical path of the observation light transmitted through the beam splitter 142a that coincides with the optical axis of the objective optical system 130. In other words, the total reflection mirror 144a is arranged in a state of being inclined by 45 degrees with respect to the longitudinal direction of the electronic endoscope 100. Therefore, the observation light transmitted through the beam splitter 142a is bent 90 degrees by the total reflection mirror 144a, and travels in a direction orthogonal to the longitudinal direction of the electronic endoscope 100, that is, toward the solid-state imaging device 150.
[0054]
FIG. 7 is a top view schematically illustrating the configuration of the solid-state imaging device 150 provided in the distal end portion of the electronic endoscope 100 according to the embodiment of the present invention. The solid-state imaging device 150 includes a light receiving section 152 in which a plurality of light receiving elements are arranged in a matrix on a semiconductor substrate. The configuration and operation of the solid-state imaging device 150 will be described below with reference to FIG. It should be noted that the surface of the semiconductor substrate, which is the base of the solid-state imaging device 150, including the light receiving portion 152, that is, the light receiving surface has a rectangular shape in which the side in the arrow Y direction shown in FIG. are doing.
[0055]
The solid-state imaging device 150 includes a light receiving unit 152, a horizontal transfer unit 154, and an amplifier 156. As described above, since the electronic endoscope device 500 generates a color image by a frame sequential method, the solid-state imaging device 150 is a monochrome CCD. Further, in order to achieve a reduction in the diameter of the electronic endoscope 100, the solid-state imaging device 150 is a full-frame CCD having no storage unit.
[0056]
The light receiving section 152 has two image areas of a light receiving section 152a and a light receiving section 152b. The light receiving section 152a is an image area of the observation light bent by the beam splitter 142a, and is arranged so as to coincide with the image forming plane of the observation light. The light receiving section 152b is an image area of the observation light bent by the total reflection mirror 144a, and is arranged so as to coincide with the image forming plane of the observation light. That is, the light receiving unit 152a and the light receiving unit 152 are arranged side by side along the longitudinal direction of the electronic endoscope 100.
[0057]
The light receiving unit 152a and the light receiving unit 152b have sides of the same length in the arrow Y direction and the arrow X direction, respectively, and have the same shape and the same area. Each of the light receiving elements included in the light receiving section 152a has a larger light receiving area than each of the light receiving elements included in the light receiving section 152b. Therefore, the light receiving unit 152a has a smaller number of light receiving elements, that is, a smaller number of pixels than the light receiving unit 152b, but has higher sensitivity than the light receiving unit 152b. In other words, the light receiving unit 152b has lower sensitivity than the light receiving unit 152a, but has a higher pixel count.
[0058]
Different filters are arranged on the front surfaces of the light receiving unit 152a and the light receiving unit 152b, respectively. The filter disposed in front of the light receiving section 152a has a characteristic of transmitting only the auto-fluorescence indicated by a dashed line in FIG. 3 (hereinafter, referred to as an F characteristic). This F characteristic has a wavelength λ that transmits a wavelength band shorter than the wavelength of the band transmitting the color filter 220B and is longer than the wavelength of the ultraviolet band including the wavelength λe. 1 Has the characteristic of transmitting in a wavelength band including. The filter disposed on the front surface of the light receiving section 152b has the RGB characteristics shown by the dotted line in FIG. The RGB characteristics are such that all the bands that pass through the color filters 220B, 220G, and 220R are transmitted, and wavelength bands shorter than the wavelength band that passes through the color filters 220B are not transmitted. Therefore, the light receiving section 152a has the wavelength λ. 1 The light in the wavelength band including the fluorescent light can be received. The light receiving section 152b can receive light in a wavelength band including visible light.
[0059]
Further, as described above, since the solid-state imaging device 150 is a full frame type CCD, the light receiving unit 152 is a vertical transfer unit that transfers the charges accumulated in each of the plurality of light receiving devices in the direction of arrow X in FIG. It has functions. Since the solid-state imaging device 150 is a small-sized chip, the light receiving unit 152a and the light receiving unit 152b are optically substantially equivalently arranged. Accordingly, substantially the same observation image is formed on these two light receiving units.
[0060]
The horizontal transfer unit 154 is a part to which charges accumulated in each of the plurality of light receiving elements included in the light receiving unit 152 are transferred, and is configured by charge coupled elements arranged in a line in the longitudinal direction of the semiconductor substrate. ing. The horizontal transfer unit 154 transfers the charge accumulated in the light receiving element included in the light receiving unit 152a, and the horizontal transfer unit 154a transfers the charge accumulated in the light receiving element included in the light receiving unit 152b. And a horizontal transfer unit 154b.
[0061]
Each of the charge coupled elements constituting the horizontal transfer unit 154 is arranged at the same pitch as the light receiving elements of the light receiving unit 152 in the arrow Y direction. The horizontal transfer unit 154a included in the horizontal transfer unit 154 includes a charge-coupled device that is arranged in alignment with each of the light receiving elements of the light receiving unit 152a in the arrow Y direction. The horizontal transfer unit 154b included in the horizontal transfer unit 154 includes a charge-coupled device that is arranged in alignment with each of the light-receiving elements of the light-receiving unit 152b in the arrow Y direction. Note that each of the charge-coupled devices constituting the horizontal transfer unit 154 has a larger allowable amount so that even if a plurality of light-receiving elements of the light-receiving unit 152 accumulate a plurality of light-receiving elements, they are not saturated. For this reason, it is formed larger than the light receiving element of the light receiving section 152 in the arrow X direction.
[0062]
The electric charge accumulated in each of the light receiving elements included in the light receiving unit 152a is sequentially transferred to the horizontal transfer unit 154a for each line of the light receiving elements in the arrow Y direction orthogonal to the arrow X direction. Further, the electric charges accumulated in each of the light receiving elements included in the light receiving section 152b are sequentially transferred to the horizontal transfer section 154b for each line of the light receiving elements in the arrow Y direction orthogonal to the arrow X direction. Then, the horizontal transfer unit 154 outputs the charge of each line transferred from the light receiving unit 152a and the light receiving unit 152b to the amplifier 156. The amplifier 156 amplifies the output electric charge and outputs the amplified electric charge to the first stage video signal processing unit 250 included in the processor 200.
[0063]
FIG. 8 is a timing chart showing a period of imaging and transfer of the solid-state imaging device 150 and a period of observation light incident on the solid-state imaging device 150. FIG. 8A is a timing chart for performing imaging and transfer of the solid-state imaging device 150, in which an accumulation period for accumulating charges and a transfer period for transferring charges corresponding to the accumulated colors are alternately repeated. It has become. FIG. 8B is a timing chart showing the period of the observation light incident on the solid-state imaging device 150. The period in which the fluorescence and the observation light of each color are incident and the observation light are blocked. Are alternately repeated. The details of the timing chart shown in FIG. 8 will be described below.
[0064]
As shown in FIG. 4, during a period in which the observation light of the living tissue 400 illuminated via the color filter 220R is incident on the light receiving units 152a and 152b, the solid-state imaging device 150 is connected to the light receiving elements of the light receiving units 152a and 152b. Each accumulates the electric charge due to the observation light. More specifically, the light receiving unit 152a photoelectrically converts the fluorescence emitted from the living tissue 400 and accumulates the electric charge, and the light receiving unit 152b photoelectrically converts the visible light (R light) reflected from the living tissue 400 and accumulates the electric charge. .
[0065]
When the observation light of the fluorescence and the R light is incident on the light receiving units 152a and 152b for a certain period, the illumination light is shielded for a certain period by the light shielding unit of the RGBUV rotation filter 220, and the observation light incident on each light receiving unit is also cut off for a certain period. During a period in which the observation light does not enter the light receiving units 152a and 152b, the solid-state imaging device 150 sequentially transfers each of the charges due to the observation light of the R light accumulated in each of the light receiving elements of the light receiving unit 152b to the horizontal transfer unit 154b. I do. At this time, the solid-state imaging device 150 maintains the charge accumulation state as it is without transferring each of the charges due to the fluorescence observation light accumulated in each of the light receiving elements of the light receiving unit 152a to the horizontal transfer unit 154a. It is. The charges of the light receiving unit 152b transferred to the horizontal transfer unit 154b are sequentially output from the amplifier 156 as R light image information of the living tissue 400, and transmitted to the first stage video signal processing unit 250.
[0066]
The solid-state imaging device 150 accumulates, in the same manner, the electric charge due to the observation light of the G light of the living tissue 400 illuminated via the color filter 220G in the light receiving unit 152b, and the electric charge due to the observation light of the G light accumulated in the light receiving unit 152b. Is transferred to the horizontal transfer unit 154b. The charges transferred to the horizontal transfer unit 154b are sequentially output from the amplifier 156 as G light image information, and transmitted to the first-stage video signal processing unit 250. At the same time, the solid-state imaging device 150 accumulates and accumulates the charge obtained by the observation light of the fluorescence obtained at this time with the charge already accumulated in each of the light receiving elements of the light receiving section 152a, and maintains the charge accumulation state as it is. Dripping.
[0067]
In addition, the solid-state imaging device 150 accumulates the charges of the observation light of the B light of the living tissue 400 illuminated via the color filter 220B in the same manner. At the same time, the solid-state imaging device 150 accumulates and accumulates the charge obtained by the fluorescence observation light obtained at this time with the charge already accumulated in each of the light receiving elements of the light receiving section 152a. At this time, the solid-state imaging device 150 sequentially transfers the charge due to the observation light of the B light accumulated in the light receiving unit 152b to the horizontal transfer unit 154b, and also transfers the charge due to the observation light of the fluorescence accumulated in the light reception unit 152a to the horizontal transfer unit 154a. Transfer sequentially. These charges transferred to the horizontal transfer unit 154a and the horizontal transfer unit 154b are sequentially output from the amplifier 156 as fluorescence image information and B light image information, and transmitted to the first-stage video signal processing unit 250. As described above, the light-shielding portion of the RGBUV rotary filter 220 corresponding to this transfer period is formed larger in the circumferential direction than the other light-shielding portions. Therefore, since this transfer period is longer than the other transfer periods, the solid-state imaging device 150 can horizontally transfer the fluorescent light image information in addition to the B light image information in the horizontal transfer unit 154. It can be output from the amplifier 156 as light image information and fluorescent image information. At this time, since the image information of the fluorescent light output from the amplifier 156 is accumulated in a period corresponding to all accumulation periods of the observation light of the R light, the G light, and the B light, the S / N ratio Is a high signal.
[0068]
As described above, the processor 200 processes the image information of the R light, the G light, and the B light output from the amplifier 156, or the image information of the fluorescence in addition to the R light, the G light, and the B light. An image is formed. By repeating this operation, the image of the living tissue 400 is displayed on the monitor 300 as a moving image.
[0069]
FIG. 9 is a timing chart showing the transfer operation in the period Td of FIG. 8 in detail. The period Td indicates a period in which the charges of the light receiving unit 152b accumulated by the observation light of the G light are sequentially transferred to the horizontal transfer unit 154b and output from the amplifier 156 as image information of the G light. The charge transfer operation will be described below with reference to the timing chart shown in FIG.
[0070]
FIG. 9A shows a pulse of the V1 signal for sequentially transferring the charges accumulated in the light receiving elements of the light receiving unit 152a in the arrow X direction toward the horizontal transfer unit 154a for each light receiving element in one line in the arrow Y direction. It is a timing chart shown. FIG. 9B shows a V2 signal for sequentially transferring the charges accumulated in each of the light receiving elements of the light receiving unit 152b in the arrow X direction toward the horizontal transfer unit 154b for each light receiving element in one line in the arrow Y direction. 6 is a timing chart showing a pulse. FIG. 9C is a timing chart showing an H signal pulse for transferring the charges transferred to the horizontal transfer unit 154 in the horizontal direction of the horizontal transfer unit 154, that is, in the direction of the arrow Y.
[0071]
The period Td is a period in which only the image information of the G light is transferred, and the electric charge accumulated in the light receiving unit 152a is not transferred as described above. Therefore, the V1 signal is not input and only the V2 signal is input. When one pulse of the V2 signal is input to the light receiving unit 152b, all the electric charges accumulated in each of the light receiving elements of the light receiving unit 152b are shifted by one stage in the direction of the arrow X. As a result, each of the electric charges accumulated in the light receiving element of one line arranged closest to the horizontal transfer unit 154b shifts in the direction of the arrow X so that the charge coupling coincides with the direction of the arrow Y of the horizontal transfer unit 154b. Transferred to each of the elements.
[0072]
When charge is transferred from the light receiving unit 152b to the horizontal transfer unit 154b by one pulse of the V2 signal, an H signal is input to the horizontal transfer unit 154, and the charge transferred to the horizontal transfer unit 154b is transferred in the direction of arrow Y. Sequentially. That is, the charges transferred to the horizontal transfer unit 154b are sequentially swept out by the amplifier 156, amplified, and transmitted to the first-stage video signal processing unit 250.
[0073]
The above-described series of operations in the period Td is repeated until the charges of the light receiving elements of all the lines accumulated in the light receiving unit 152b are transmitted to the first-stage video signal processing unit 250. When the charges of all the lines are output from the amplifier 156, the transfer operation in the period Td ends, and then the accumulation operation of the B light and the fluorescence observation light is started.
[0074]
FIG. 10 is a timing chart showing the transfer operation in the period Te of FIG. 8 in detail. During this period Te, the electric charge of the light receiving unit 152a accumulated by the observation light of the fluorescent light and the electric charge of the light receiving unit 152b accumulated by the observation light of the B light are transferred to the horizontal transfer unit 154, and the image information of the fluorescent light and the image of the B light are transferred. A period during which information is output from the amplifier 156 is shown. Hereinafter, the charge transfer operation will be described with reference to the timing chart shown in FIG.
[0075]
10A, similarly to FIG. 9A, the electric charge accumulated in each of the light receiving elements of the light receiving unit 152a is transferred to the horizontal transfer unit 154a for each light receiving element of one line in the arrow Y direction in the arrow X direction. 5 is a timing chart showing pulses of a V1 signal sequentially transferred to the V1. 9B, similarly to FIG. 9B, the electric charge accumulated in each of the light receiving elements of the light receiving unit 152b is transferred to the horizontal transfer unit 154b for each light receiving element in one line in the arrow Y direction. 6 is a timing chart showing pulses of a V2 signal sequentially transferred in an X direction. Further, FIG. 10C shows a pulse of the H signal for transferring the charges transferred to the horizontal transfer unit 154 in the horizontal direction of the horizontal transfer unit 154, that is, the arrow Y direction, as in FIG. 9C. It is a timing chart.
[0076]
Since the period Te is a period during which the image information of the fluorescent light and the image information of the B light are transferred, the V1 signal and the V2 signal are input to the light receiving units 152a and 152b, respectively. Therefore, all the electric charges accumulated in each of the light receiving elements of the light receiving section 152a are shifted by one stage in the direction of the arrow X for one pulse of the V1 signal, and the light receiving elements of one line arranged closest to the horizontal transfer section 154a are arranged. Are transferred to the horizontal transfer unit 154a. In addition, all the electric charges accumulated in each of the light receiving elements of the light receiving unit 152b are also shifted by one stage in the direction of the arrow X for one pulse of the V2 signal, and one line of the light receiving element disposed closest to the horizontal transfer unit 154b. Are transferred to the horizontal transfer unit 154b.
[0077]
When charge is transferred from the light receiving unit 152a and the light receiving unit 152b to the horizontal transfer unit 154a and the horizontal transfer unit 154b by one pulse of each of the V1 signal and the V2 signal, the H signal is input to the horizontal transfer unit 154 next. The charges transferred to the horizontal transfer unit 154 are sequentially transferred in the direction of arrow Y. That is, the electric charges transferred to the horizontal transfer unit 154a and the horizontal transfer unit 154b are sequentially swept out by the amplifier 156, amplified, and transmitted to the first-stage video signal processing unit 250. At this time, the charges accumulated in the horizontal transfer unit 154a are output to the amplifier 156 via the horizontal transfer unit 154b. That is, the charge stored in the horizontal transfer unit 154a requires a longer time for horizontal transfer than the charge stored in the horizontal transfer unit 154b. Therefore, the input pulse time of the H signal shown in FIG. 10C is longer than the input pulse time of the H signal shown in FIG. 9C.
[0078]
When the above-described series of operations is repeated, the number of light receiving elements of the light receiving unit 152a is smaller than that of the light receiving unit 152b. Therefore, only the transfer of the accumulated charges of all the lines of the light receiving unit 152a ends first, and the accumulated charges of the light receiving unit 152b are terminated. Only the transfer operation is continued. Therefore, there is no input pulse of the V1 signal to the light receiving unit 152a, and only the V2 signal is input to the light receiving unit 152b. Therefore, during the period from the start to the middle of the period Te, the above-described transfer of the accumulated charge of the light receiving unit 152a and the light receiving unit 152b is performed, and the period from the middle to the end of the period Te is the same as that of FIG. Only the transfer of the stored charge is performed.
[0079]
As described above, in the solid-state imaging device 150 of the present embodiment, the light receiving unit 152a and the light receiving unit 152b, which are two image areas, are arranged side by side along the longitudinal direction of the distal end of the electronic endoscope 100. ing. In the solid-state imaging device 150 of the present embodiment, the charge transfer path of the light receiving unit 152a and the light receiving unit 152b is formed by the horizontal transfer unit 154, which is a one-line charge-coupled device. Further, the horizontal transfer units 154 are arranged along the longitudinal direction of the distal end of the electronic endoscope 100. Therefore, by providing the solid-state imaging device 150 of the present embodiment, image information using visible light and image information using fluorescence can be obtained without increasing the diameter of the electronic endoscope. The light path deflecting unit 140, the light receiving unit 152a, the light receiving unit 152b, and the horizontal transfer unit 154 of the solid-state imaging device 150 have the above-described arrangement configuration. Although the information does not become a normal image as it is, write processing is performed so that the image becomes a normal image when developed in the RGBF memory 260, or image information by visible light and image information by fluorescence are directly developed in the RGBF memory 260. If a process such as generating a read address so that a normal image is obtained when reading is performed, a normal image can be displayed on the monitor 300.
[0080]
In addition, the solid-state imaging device 150 of the present embodiment uses the light-receiving area of each of the light-receiving elements of the light-receiving unit 152a for obtaining an observation image by fluorescence that requires a higher resolution than a visible-light observation image. By forming the light receiving area larger than the light receiving area of each of the light receiving elements, it is possible to obtain a fluorescent image signal with a low emission intensity at a high S / N ratio. In addition, when the R signal and the F signal are calculated in the subsequent signal processing unit 270, and the calculation result is added to the B light signal, the F signal is subjected to interpolation processing or the like, thereby obtaining the F signal. Is adjusted to the data amount of the R light signal and the B light signal.
[0081]
The above is the embodiment of the present invention. The present invention is not limited to these embodiments, and can be modified in various ranges.
[0082]
In the present embodiment, the filters are arranged on the front surfaces of the light receiving unit 152a and the light receiving unit 152b, however, the filters may be arranged in the respective optical paths of the fluorescent light and the visible light in the optical path deflecting unit 140. .
[0083]
Further, in the embodiment of the present invention, the solid-state imaging device 150 is a monochrome CCD, but may be a color CCD in which a color filter is provided for each light receiving element. In this case, the RGBUV rotation filter 220 is not required because the method is not the frame sequential method, and the solid-state imaging device is driven at a charge accumulation / transfer timing different from that of the present embodiment.
[0084]
【The invention's effect】
As described above, the solid-state imaging device according to the present invention has a light receiving unit for obtaining image information by visible light and a light receiving unit for obtaining image information by fluorescence formed on a single semiconductor substrate formed to be long in a predetermined direction. Therefore, even when incorporated in a cylindrical device, it is possible to obtain image information by visible light and image information by fluorescence without increasing the diameter. Further, the solid-state imaging device of the present invention can obtain image information by fluorescence at a high S / N ratio without increasing its diameter even when incorporated in a cylindrical device.
[0085]
In addition, the electronic endoscope of the present invention has a light receiving unit for obtaining image information by visible light and a light receiving unit for obtaining image information by fluorescent light on a single semiconductor substrate formed to be long in a predetermined direction. Since the solid-state imaging device is provided, it is possible to obtain image information by visible light and image information by fluorescence without increasing the diameter. Further, the electronic endoscope of the present invention can obtain image information by fluorescence at a high S / N ratio without increasing the diameter.
[0086]
Further, the electronic endoscope apparatus of the present invention can accurately calculate whether or not the observation target is an abnormal site by calculating the image information of the fluorescent light and the image information of the visible light.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an electronic endoscope apparatus including an electronic endoscope according to an embodiment of the present invention.
FIG. 2 is a front view showing a configuration of an RGBUV rotation filter used in the embodiment.
FIG. 3 is a graph showing characteristics of each filter included in the RGBUV rotation filter and filter characteristics of each light receiving unit of the solid-state imaging device.
FIG. 4 is a diagram schematically illustrating one aspect of image processing in a subsequent signal processing unit.
FIG. 5 is a diagram schematically illustrating an aspect of image processing in a subsequent-stage signal processing unit using a circuit diagram.
FIG. 6 is a side sectional view schematically showing an internal structure of a distal end portion of the electronic endoscope according to the embodiment of the present invention.
FIG. 7 is a top view schematically illustrating a configuration of a solid-state imaging device provided in a distal end portion of the electronic endoscope according to the embodiment of the present invention.
FIG. 8 is a timing chart showing a period of imaging and transfer of the solid-state imaging device and a period of observation light incident on the solid-state imaging device.
FIG. 9 is a timing chart showing a transfer operation in a period Td of FIG. 8 in detail.
FIG. 10 is a timing chart showing a transfer operation in a period Te of FIG. 8 in detail.
[Explanation of symbols]
100 electronic endoscope
140 Optical path deflection unit
150 solid-state image sensor
152a, 152b light receiving unit
154a, 154b horizontal transfer unit
500 Electronic endoscope device

Claims (14)

所定方向に長く形成された単一の半導体基板上に、複数の受光素子がマトリクス状に配置されている受光部を有した固体撮像素子であって、
前記所定方向のそれぞれ異なった領域に、可視光を受光可能な受光素子を複数含んだ第１の受光部と、
前記可視光より短い波長の蛍光を受光可能な受光素子を複数含んだ第２の受光部と、を有したこと、を特徴とする固体撮像素子。A solid-state imaging device having a light-receiving unit in which a plurality of light-receiving elements are arranged in a matrix on a single semiconductor substrate formed to be long in a predetermined direction,
A first light receiving unit including a plurality of light receiving elements capable of receiving visible light in different regions in the predetermined direction,
And a second light receiving section including a plurality of light receiving elements capable of receiving fluorescence having a wavelength shorter than the visible light. 前記第２の受光部に含まれた前記複数の受光素子の各々は、前記第１の受光部に含まれた前記複数の受光素子の各々より受光面積が広いこと、を特徴とする請求項１に記載の固体撮像素子。2. A light receiving area of each of the plurality of light receiving elements included in the second light receiving unit is larger than each of the plurality of light receiving elements included in the first light receiving unit. 3. The solid-state imaging device according to item 1. 前記第１の受光部で蓄積された電荷の転送先である第１の転送部と、
前記第２の受光部で蓄積された電荷の転送先である第２の転送部と、をさらに備え、
前記第１の転送部と前記第２の転送部とを、前記所定方向に一列に整列した素子に含んだこと、を特徴とする請求項１または請求項２のいずれかに記載の固体撮像素子。A first transfer unit that is a transfer destination of the charge accumulated in the first light receiving unit;
A second transfer unit that is a transfer destination of the electric charge accumulated in the second light receiving unit.
3. The solid-state imaging device according to claim 1, wherein the first transfer unit and the second transfer unit are included in devices arranged in a line in the predetermined direction. 4. . 所定方向に長く形成された単一の半導体基板上に複数の受光素子がマトリクス状に配置されている受光部を有した固体撮像素子を、先端部内に備えた電子内視鏡であって、
前記所定方向のそれぞれ異なった領域に、可視光を受光可能な受光素子を複数含んだ第１の受光部と、前記可視光より短い波長の自家蛍光を受光可能な受光素子を複数含んだ第２の受光部と、を有した前記固体撮像素子を、前記半導体基板の長手方向と前記先端部の長手方向とが一致するように配置したこと、を特徴とする電子内視鏡。An electronic endoscope provided with a solid-state imaging device having a light receiving section in which a plurality of light receiving elements are arranged in a matrix on a single semiconductor substrate formed in a predetermined direction long in a tip portion,
A first light-receiving unit including a plurality of light-receiving elements capable of receiving visible light and a second light-receiving element including a plurality of light-receiving elements capable of receiving autofluorescence having a shorter wavelength than the visible light in different regions in the predetermined direction. An electronic endoscope, wherein the solid-state imaging device having the light-receiving section is disposed such that a longitudinal direction of the semiconductor substrate coincides with a longitudinal direction of the distal end portion. 前記固体撮像素子は、前記第１の受光部で蓄積された電荷の転送先である第１の転送部と、
前記第２の受光部で蓄積された電荷の転送先である第２の転送部と、をさらに備え、
前記第１の転送部と前記第２の転送部とを、前記所定方向に一列に整列した素子に含んだこと、を特徴とする請求項４に記載の電子内視鏡。A first transfer unit that is a transfer destination of the charge accumulated in the first light receiving unit;
A second transfer unit that is a transfer destination of the electric charge accumulated in the second light receiving unit.
The electronic endoscope according to claim 4, wherein the first transfer unit and the second transfer unit are included in elements arranged in a line in the predetermined direction. 前記第１の受光部と前記第２の受光部とが光学的に略等価に位置するように、観察像側からの光束を、前記第１の受光部と前記第２の受光部とに向けて分離する光束分離手段をさらに備えていること、を特徴とする請求項４または請求項５のいずれかに記載の電子内視鏡。The luminous flux from the observation image side is directed to the first light receiving unit and the second light receiving unit such that the first light receiving unit and the second light receiving unit are optically substantially equivalent to each other. The electronic endoscope according to claim 4, further comprising a light beam separating unit that separates the light. 所定方向に長く形成された単一の半導体基板上に複数の受光素子がマトリクス状に配置されている受光部を有した固体撮像素子を先端部内に備えた電子内視鏡と、
観察像を得るための光束を前記電子内視鏡に供給する光源部を備えたプロセッサと、を備えた電子内視鏡装置であって、
前記所定方向のそれぞれ異なった領域に、可視光を受光可能な受光素子を複数含んだ第１の受光部と、前記可視光より短い波長の自家蛍光を受光可能な受光素子を複数含んだ第２の受光部と、を有した前記固体撮像素子を、前記半導体基板の長手方向と前記先端部の長手方向とが一致するように配置したこと、を特徴とする電子内視鏡装置。An electronic endoscope provided with a solid-state imaging device having a light-receiving unit in which a plurality of light-receiving elements are arranged in a matrix on a single semiconductor substrate formed in a predetermined direction in a distal end portion,
A processor having a light source unit that supplies a light flux for obtaining an observation image to the electronic endoscope, and an electronic endoscope apparatus including:
A first light-receiving unit including a plurality of light-receiving elements capable of receiving visible light and a second light-receiving element including a plurality of light-receiving elements capable of receiving autofluorescence having a shorter wavelength than the visible light in different regions in the predetermined direction. An electronic endoscope apparatus, wherein the solid-state imaging device having the light receiving section is disposed such that a longitudinal direction of the semiconductor substrate coincides with a longitudinal direction of the distal end portion. 前記プロセッサは、前記光源部から射出する光束のうち前記自家蛍光を得るための励起光と前記可視光とを透過するフィルタと、射出する前記光束を遮光する遮光部と、を含んだフィルタ部と、
前記フィルタ部の前記フィルタと前記遮光部とを、前記光束の光路中に交互に挿脱するよう前記フィルタ部を回転させる回転駆動部と、をさらに備えていること、を特徴とする請求項７に記載の電子内視鏡装置。The processor, a filter that transmits the excitation light and the visible light for obtaining the auto-fluorescence of the light beam emitted from the light source unit, and a light-shielding unit that shields the emitted light beam, a filter unit including ,
8. The apparatus according to claim 7, further comprising: a rotation drive unit configured to rotate the filter unit such that the filter and the light blocking unit of the filter unit are alternately inserted into and removed from the optical path of the light flux. An electronic endoscope apparatus according to claim 1. 前記フィルタは複数種類あって、
前記フィルタ部は、Ｒ光と前記励起光、Ｇ光と前記励起光、Ｂ光と前記励起光を透過するそれぞれのフィルタを少なくとも１つずつ有していること、特徴とする請求項８に記載の電子内視鏡装置。There are multiple types of the filters,
9. The filter according to claim 8, wherein the filter unit has at least one filter that transmits the R light and the excitation light, the G light and the excitation light, and the B light and the excitation light that transmits the excitation light. Electronic endoscope device. 前記光源部は単一の発光素子を有していること、を特徴とする請求項８または請求項９のいずれかに記載の電子内視鏡装置。The electronic endoscope device according to claim 8, wherein the light source unit has a single light emitting element. 前記プロセッサは、前記第１の受光部から前記可視光による画像情報を得ることができる第１の状態と、前記可視光による画像情報に加えて前記第２の受光部から前記自家蛍光による画像情報を得ることができる第２の状態と、を選択可能な操作部と、
前記操作部の操作に応じて前記固体撮像素子の駆動制御を行う制御部と、をさらに備えていること、を特徴とする請求項７から請求項１０のいずれかに記載の電子内視鏡装置。A first state in which image information based on the visible light can be obtained from the first light receiving unit; and image information based on the autofluorescence from the second light receiving unit in addition to the image information based on the visible light. A second state capable of obtaining
The electronic endoscope device according to any one of claims 7 to 10, further comprising: a control unit configured to perform drive control of the solid-state imaging device in accordance with an operation of the operation unit. . 前記プロセッサは信号処理部をさらに備え、
前記可視光の画像情報はそれぞれ異なった色画像情報を複数有するものであって、
前記操作部により前記第２の状態のとき、前記信号処理部は前記複数の色画像情報のいずれかと前記自家蛍光の画像情報とを加算すること、を特徴とする請求項１１に記載の電子内視鏡装置。The processor further includes a signal processing unit,
The visible light image information has a plurality of different color image information respectively,
12. The electronic device according to claim 11, wherein the signal processing unit adds one of the plurality of color image information and the image information of the autofluorescence when the operation unit is in the second state. Endoscope device. 前記可視光による画像情報はＲ光とＧ光とＢ光をそれぞれ含んだ複数の色画像情報であって、
前記自家蛍光による画像情報は前記Ｒ光の色画像情報と加算されること、を特徴とする請求項１２に記載の電子内視鏡装置。The image information based on the visible light is a plurality of color image information including R light, G light, and B light, respectively.
13. The electronic endoscope apparatus according to claim 12, wherein the image information based on the autofluorescence is added to the color image information of the R light. 前記Ｒ光の色画像情報が加算された前記自家蛍光による画像情報に、さらにＢ光の色画像情報を加算すること、を特徴とする請求項１３に記載の電子内視鏡装置。14. The electronic endoscope apparatus according to claim 13, wherein the color image information of the B light is further added to the image information of the autofluorescence to which the color image information of the R light is added.
JP2003129943A 2003-05-08 2003-05-08 Electronic endoscope device Expired - Fee Related JP4531347B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003129943A JP4531347B2 (en) 2003-05-08 2003-05-08 Electronic endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003129943A JP4531347B2 (en) 2003-05-08 2003-05-08 Electronic endoscope device

Publications (2)

Publication Number Publication Date
JP2004329583A true JP2004329583A (en) 2004-11-25
JP4531347B2 JP4531347B2 (en) 2010-08-25

Family

ID=33505608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003129943A Expired - Fee Related JP4531347B2 (en) 2003-05-08 2003-05-08 Electronic endoscope device

Country Status (1)

Country Link
JP (1) JP4531347B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2058759A2 (en) 2007-11-07 2009-05-13 Fujifilm Corporation Image capturing system, image capturing method, and program
JP2009131615A (en) * 2007-11-07 2009-06-18 Fujifilm Corp Image capturing system, image capturing method and program
JP2010162123A (en) * 2009-01-14 2010-07-29 Fujifilm Corp Image processing system, image processing method and program
JP2011254937A (en) * 2010-06-08 2011-12-22 Fujifilm Corp Image processing system, method and program
JP2012020080A (en) * 2010-07-16 2012-02-02 Fujifilm Corp Endoscopic device and method for driving solid-state image sensing device thereof
JP2014103597A (en) * 2012-11-21 2014-06-05 Olympus Corp Imaging apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63234941A (en) * 1986-11-29 1988-09-30 オリンパス光学工業株式会社 Image pickup apparatus
JPS63244011A (en) * 1987-03-31 1988-10-11 Olympus Optical Co Ltd Electronic endoscope
JPH01197716A (en) * 1988-02-02 1989-08-09 Toshiba Corp Enlargement photographing mechanism for electronic endoscope
JPH02200237A (en) * 1989-01-30 1990-08-08 Olympus Optical Co Ltd Fluorescent observing method
JPH1014869A (en) * 1996-04-30 1998-01-20 Fuji Photo Film Co Ltd Fluorescent endoscope
JP2000341711A (en) * 1999-05-26 2000-12-08 Sony Corp Solid state image pickup device and prism unit to be used for the device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63234941A (en) * 1986-11-29 1988-09-30 オリンパス光学工業株式会社 Image pickup apparatus
JPS63244011A (en) * 1987-03-31 1988-10-11 Olympus Optical Co Ltd Electronic endoscope
JPH01197716A (en) * 1988-02-02 1989-08-09 Toshiba Corp Enlargement photographing mechanism for electronic endoscope
JPH02200237A (en) * 1989-01-30 1990-08-08 Olympus Optical Co Ltd Fluorescent observing method
JPH1014869A (en) * 1996-04-30 1998-01-20 Fuji Photo Film Co Ltd Fluorescent endoscope
JP2000341711A (en) * 1999-05-26 2000-12-08 Sony Corp Solid state image pickup device and prism unit to be used for the device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2058759A2 (en) 2007-11-07 2009-05-13 Fujifilm Corporation Image capturing system, image capturing method, and program
JP2009131615A (en) * 2007-11-07 2009-06-18 Fujifilm Corp Image capturing system, image capturing method and program
US7667180B2 (en) 2007-11-07 2010-02-23 Fujifilm Corporation Image capturing system, image capturing method, and recording medium
US7675017B2 (en) 2007-11-07 2010-03-09 Fujifilm Corporation Image capturing system, image capturing method, and recording medium
JP2010162123A (en) * 2009-01-14 2010-07-29 Fujifilm Corp Image processing system, image processing method and program
JP2011254937A (en) * 2010-06-08 2011-12-22 Fujifilm Corp Image processing system, method and program
JP2012020080A (en) * 2010-07-16 2012-02-02 Fujifilm Corp Endoscopic device and method for driving solid-state image sensing device thereof
JP2014103597A (en) * 2012-11-21 2014-06-05 Olympus Corp Imaging apparatus

Also Published As

Publication number Publication date
JP4531347B2 (en) 2010-08-25

Similar Documents

Publication Publication Date Title
JP4433347B2 (en) Fluorescence imaging device
US8643710B2 (en) Image pickup apparatus
JP5698878B2 (en) Endoscope device
US8866893B2 (en) Imaging apparatus
US6638215B2 (en) Video endoscope system
US6663561B2 (en) Video endoscope system
US20060155166A1 (en) Endoscope device
CN103919521B (en) Endoscope apparatus and operational approach thereof
JP2011250926A (en) Electronic endoscope system
JP2004313523A (en) Solid-state image sensor, electronic endoscope
WO2006004038A1 (en) Light source device and fluorescence observation system
JP4520216B2 (en) Fluorescence observation endoscope device
JP4531347B2 (en) Electronic endoscope device
JP4459709B2 (en) Fluorescence observation endoscope device
JP6190906B2 (en) Imaging module and endoscope apparatus
JP3809058B2 (en) Electronic endoscope device
JP2010184046A (en) Endoscope, endoscope driving method, and endoscope system
JP4448320B2 (en) Electronic endoscope device
JP2001212072A (en) Fluorescent imaging instrument
JPH01136629A (en) Endoscopic apparatus for fluorescent observation
JP2010184047A (en) Endoscope, endoscope driving method, and endoscope system
JP2003018467A (en) Charge multiplier type solid-state electronic imaging apparatus and its control method
JP2810716B2 (en) Endoscope for fluorescence observation
JP2001212073A (en) Fluorescent imaging instrument
JP4459549B2 (en) Solid-state imaging device, electronic endoscope, and electronic endoscope apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060323

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091005

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100609

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees