以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図4は本発明の実施形態1を示したものであり、図1は内視鏡装置1の構成を示すブロック図である。
図1に示すように、内視鏡装置1は、アナログ画像取得部たる内視鏡2と、ビデオプロセッサ3と、光源装置4と、観察モニタ5と、デジタルファイリング装置6と、入力部7と、を備えている。
内視鏡2は、手元側の操作部から延出され被検体内へ挿入される細長の挿入部の先端部に、撮像光学系11、対物絞り12、アクチュエータ13、撮像素子14、照明光学系15を備えている。内視鏡2は、さらに、挿入部および操作部を延設されて光源装置4へ接続されるライトガイド16を備えると共に、操作部にモード切替指示スイッチ17とスコープIDメモリ18とを備えている。
ライトガイド16は、光学ファイババンドル等により構成されていて、光源装置4から供給される照明光を照明光学系15へ伝達するものである。
照明光学系15は、伝達された照明光を被写体となる被検体へ向けて照射するものである。
撮像光学系11は、照明された被写体の光学像を撮像素子14上に結像するものである。
対物絞り12は、撮像光学系11により結像される光学像の明るさを変化させて調節する光学素子であり、開口径の異なる複数の絞り開口を備えている(図13、図14等参照)。
アクチュエータ13は、対物絞り12を駆動して、絞り開口径を変化させるものである。また、アクチュエータ13は、図示しない励起光カットフィルタを撮像素子14の受光光路上に挿脱する駆動も行う。ここに、励起光カットフィルタは、蛍光観察を行う際に、被検体から反射されてくる励起光(後述するように、B−LED22bが発光する青色光)をカットするための光学素子である。
撮像素子14は、撮像光学系11により結像された光学像からアナログの画像を生成するものである。この撮像素子14は、撮像面上に複数の画素14p(図6参照)を配列して構成されており、本実施形態においてはアナログ増幅部であるFDアンプ(Floating Diffusion Amplifier)を内蔵するものとなっている。このFDアンプは、フォトダイオード(PD)により発生された電荷を一時的に蓄積するためのフローティングディフュージョン(FD)から信号を読み出す際に、電荷信号を電圧信号に変換し、この変換時に信号増幅を行うものであり、画像を処理することにより明るさを変化させるものの一種である。そして、FDアンプは、アナログ画像を増幅する際の増幅率を制御することが可能となっている(この増幅率の制御は、後述するように、撮像素子ドライバ41が行う)。このような撮像素子14は、アナログの画像をフレーム期間毎のフレーム単位で時系列的に取得するように制御される。
モード切替指示スイッチ17は、観察モードを切り替える入力指示を行うためのスイッチである。本実施形態においては、観察モードとして通常光観察モードと蛍光観察モードとがあることを想定しており、モード切替指示スイッチ17の操作状態に応じて、通常光観察モードに設定するための指示信号と蛍光観察モードに設定するための指示信号との何れかがビデオプロセッサ3の後述するモード切替回路43へ出力される。
スコープIDメモリ18は、内視鏡2の製品型番やシリアル番号、あるいはその他内視鏡2に固有の情報等を不揮発に記憶する記憶媒体である。
光源装置4は、発光ユニット21と、コリメートレンズ24と、LED駆動回路25と、電源26と、を備えている。
発光ユニット21は、光源として、赤色(R)光を発光するR−LED22rと、緑色(G)光を発光するG−LED22gと、青色(B)光を発光するB−LED22bと、を備えている。これらの内のB−LED22bが発光する青色光は、蛍光観察を行う際の励起光としても用いられる。また、G−LED22gが発光する緑色光は、蛍光観察を行う際の参照光としても用いられる。
具体例を挙げれば、波長390〜470nmの青色光は、粘膜に存在するコラーゲンなどの蛍光物質からの自家蛍光を観察するための励起光となる。また、波長540〜560nmの緑色光は、血液中のヘモグロビンに吸収される参照光となる。青色励起光を照射したときに、腫瘍組織は、正常組織に比べて自家蛍光が減弱するという特性がある。このために、蛍光観察(AFI:Auto Fluorescence Imaging)においてはこれら励起光および参照光を照射することにより、腫瘍性病変と正常粘膜とを異なる色調で強調表示して、がんなど微細病変の早期発見を支援することが可能となっている。
発光ユニット21は、さらに、第1のビームスプリッタ23rと、第2のビームスプリッタ23gと、第3のビームスプリッタ23bと、を備えている。
第1のビームスプリッタ23rは、R−LED22rから照射された赤色光を反射する反射ミラーとして機能する。
第2のビームスプリッタ23gは、第1のビームスプリッタ23rにより反射された赤色光を透過すると共に、G−LED22gから照射された緑色光を反射するものである。
第3のビームスプリッタ23bは、第2のビームスプリッタ23gからの赤色光および緑色光を反射すると共に、B−LED22bから照射された青色光を透過するものである。
コリメートレンズ24は、第3のビームスプリッタ23bからのRGB光を平行光束にして、ライトガイド16の入射端へ照射するものである。
LED駆動回路25は、AGCゲイン検知回路37から入力される制御信号に基づいて、発光ユニット21の各LED22r,22b,22gの何れを、どのような発光タイミングで発光させるかを制御するものである。このとき、LED駆動回路25は、モード切替回路43から通知された観察モードが通常光観察モードであるかまたは蛍光観察モードであるかに応じて、各LED22r,22b,22gの発光タイミングを制御するようになっている。
電源26は、発光ユニット21およびLED駆動回路25へ電力を供給する電力源である。
ビデオプロセッサ3は、プロセス回路31と、A/D変換回路32と、画像処理回路33と、D/A変換回路38a,38b,38cと、符号化回路39と、撮像素子ドライバ41と、アクチュエータ制御回路42と、モード切替回路43と、調光制御パラメータ切替回路44と、調光回路45と、を備えている。
撮像素子14から出力されるアナログの撮像信号は、プロセス回路31へ入力される。
プロセス回路31は、入力された撮像信号にアナログのプロセス処理を行うものである。
A/D変換回路32は、プロセス回路31から出力されるアナログ撮像信号をサンプリング(量子化)して、画像処理用の所定の階調数N(Nは2以上の整数)のデジタル画像信号に変換するA/D変換部である。なお、本実施形態においては、A/D変換回路32は12ビット、すなわち2の12乗の階調数のデジタル画像信号に変換するものとして説明する。
また、本実施形態では撮像素子14がアナログ撮像素子であるものとしてA/D変換回路32をビデオプロセッサ3に設けたが、デジタル撮像素子である場合には撮像素子14内に設けられていることになる(このときには、さらにプロセス回路31を撮像素子14内に設けても良いし、プロセス回路31に相当する処理をビデオプロセッサ3内においてデジタル的に行っても良い)。
画像処理回路33は、A/D変換回路32から出力されたデジタル画像信号に各種のデジタル信号処理を施すものであり、AGC(オート・ゲイン・コントロール)処理回路34、ビニングフレーム加算回路35、色マトリクス回路36、およびAGCゲイン検知回路37を備えている。
AGC処理回路34は、デジタルの画像信号のゲインを調節して増幅を行うデジタルゲイン調節部であり、利得(ゲイン)を制御することが可能となっている。
ビニングフレーム加算回路35は、画像信号にビニング処理、あるいはフレーム加算処理を行うものである。
ここに、ビニング処理は、空間的に近接する複数の画素信号を加算して1画素として取り扱う処理であり、幾つかの例としては、2×2画素を1画素として取り扱う2×2ビニング、3×3画素を1画素として取り扱う3×3ビニング、等が挙げられる。本実施形態ではビニング処理をビデオプロセッサ3内のビニングフレーム加算回路35により行う例を説明するが、ビニング処理機能を備えた撮像素子14によりビニング処理を行っても構わない。後述する実施形態2において説明するように、ビニング処理には、画素数が1/k(ここに、kは正の整数)に減少する処理と、画素数をほとんど減少させない処理とがある。
また、フレーム加算処理は、撮像素子14からフレーム単位で出力される画像信号を、同一画素位置同士で加算することにより、複数フレームの画像信号を1フレームの画像信号として取り扱う処理である。フレーム加算処理の例としては、2つのフレームを加算して1つのフレームを生成する2フレーム加算、3つのフレームを加算して1つのフレームを生成する3フレーム加算、等が幾つかの例として挙げられる。例えば2フレーム加算の場合でも、第1フレームと第2フレームとを加算して第1の加算フレームを生成した後において、第3フレームと第4フレームとを加算して第2の加算フレームを生成する等の場合と、第2フレームと第3フレームとを加算して第2の加算フレームを生成する等の場合と、がある。前者の場合にはフレーム数が半分になるが、後者の場合には総フレーム数が例えば1フレーム減るだけである。
色マトリクス回路36は、AGC処理回路34によりゲイン調節された後のデジタル画像に、画像信号の色空間変換を行ったり、γ変換を行ったりすることにより、出力用(観察用や保存用など)の画像を生成する出力画像生成部である。ここに、色空間変換は、例えばRGB信号からYCbCr信号へ変換する、等である。また、γ変換は、よく知られているように、観察モニタ5の表示特性に合うように信号値を非線形に変換する処理であり、典型的には、低輝度の信号の階調を伸長し、高輝度の信号の階調を圧縮するような変換を行う。このγ変換においては、デジタル画像処理用の階調数Nから、出力用の階調数M(Mは2以上N以下の整数)への変換も行う。なお、本実施形態においては、γ変換において、10ビット、すなわち2の10乗の階調数に変換するものとして説明する。
AGCゲイン検知回路37は、後述するように調光回路45から発光ユニット21の照明光量を取得して、発光ユニット21の光量が最大照明光量となったか否かを判定し、最大照明光量となった場合であって、さらに明るさを増大する必要がある場合には、AGC処理回路34を制御してゲインを増大させる。
AGCゲイン検知回路37は、さらにAGC処理回路34のゲインを取得して、照明光量が最大照明光量であってかつゲインが所定の階調数に基づいて設定される閾値Th以上であるかを判定し、最大照明光量であって閾値Th以上である場合(第1の明るさ調整レベルとなったとき)には、AGC処理回路34にゲインを閾値Thよりも増加させないようにするとともに、明るさ変化部に対して画像の明るさを増大させるように制御する制御部である。
このAGCゲイン検知回路37が制御する明るさ変化部は、画像の明るさを変化させるものであり、撮像素子14に内蔵されるFDアンプ(あるいは、ビデオプロセッサ3内に設けたアナログ増幅部など)、ビニングフレーム加算回路35が備えるビニング処理機能(あるいは撮像素子14が備えるビニング処理機能)、ビニングフレーム加算回路35が備えるフレーム加算処理機能、後述するようにフレームレートの制御を行う撮像素子ドライバ41、対物絞り12などがあって、下記に説明するように実施形態毎に異なる構成を採用している。
従って、明るさ変化部が明るさを変化させる対象となる画像としては、撮像素子のフォトダイオード(PD)により光電変換して得られるアナログ画像、このアナログ画像をFDアンプ等でアナログ増幅したアナログ画像、アナログ画像をA/D変換回路32により変換したデジタル画像などがある。
そして、本実施形態における明るさ変化部は、撮像素子14のFDアンプであるものとする。従って、AGCゲイン検知回路37は、撮像素子ドライバ41を介してFDアンプの増幅率を制御する。
このとき、明るさ変化部による明るさの変化は、連続的とはならず、不連続となる場合がある。例えば、ビニングやフレーム加算の場合には整数倍が単位となるし、FDアンプによるアナログ増幅や、フレームレートの変更ステップ、対物絞り12の開口径についても段階的な(不連続な)変化となることがあると考えられる。このような場合には、明るさ変化部により明るさを変化させる前後において出力用画像の明るさが急激に変化することなく略同一に維持されるように、明るさ変化部が変化させた明るさを相殺する分だけ、AGCゲイン検知回路37は、AGC処理回路34にゲインを調整させる処理を行う。従って、明るさ変化部により明るさを増大した後は、ゲインが閾値Th未満になると考えられるために、AGC処理回路34によりゲインを変化させてより細かいレベルでの明るさの制御を行うことが再び可能となる。
また、明るさ変化部により明るさを既に増大している場合において、AGC処理回路34のゲインが1となってもさらに明るさを減少させる必要がある場合(第2の明るさ調整レベルとなったとき)には、AGCゲイン検知回路37は、明るさ変化部に明るさを減少させるように制御する。このときに明るさ変化部が減少させた明るさを相殺する分だけ、AGCゲイン検知回路37が、AGC処理回路34にゲインを調整させる処理を行うのは上述と同様である。従って、明るさ変化部により明るさを減少した後は、ゲインが1よりも大きくなると考えられるために、AGC処理回路34によりゲインを変化させてより細かいレベルでの明るさの制御を行うことが再び可能となる。
このような処理を行う場合には、明るさ変化部により明るさを増大する時点の第1の明るさ調整レベル(発光ユニット21による照明光量調整、AGC処理回路34によるゲイン調整、および明るさ変化部による明るさ調整を組み合わせた明るさ調整レベル)と、明るさ変化部により明るさを減少する時点の第2の明るさ調整レベルとは異なり、基本的に、第1の明るさ調整レベルは第2の明るさ調整レベル以上となる。
特に、明るさ変化部による明るさの変化が不連続である場合には、第1の明るさ調整レベルは第2の明るさ調整レベルよりも高い。従って、明るさ調整レベルを増大するときの経路と、明るさ調整レベルを減少するときの経路とは異なり、いわゆるヒステリシス曲線に類似する経路形状となる(図2、図5、図8、図12等参照)。
明るさ変化部による不連続な明るさの変化は、いわゆる明るさ調整モードのスイッチングとして捉えることができるが、上述したようなヒステリシス形状の経路を辿る場合には、一旦モード移行した後は、手ブレや被写体の動きによって被写体距離が変化する等により被写体の明るさが多少変化したとしても(つまり、被写体の明るさに大きな変化が生じない限り)、元のモードにすぐには戻らず、頻繁なモードスイッチングが起こり難い利点がある。
明るさ変化部による明るさ変化(モードスイッチング)は、後述するように、画質の変化を伴うことがあるが、頻繁にモードスイッチングが起こると出力用画像の画質が頻繁に変化することになるために、観察者に違和感を与えことになる。従って、こうした違和感を軽減することも可能となる。
さらに、明るさ変化部による明るさ変化(モードスイッチング)は、後述するように、撮像素子14のリセットが必要になる場合もある。このときには、モードスイッチングを行うとフレーム落ちが発生することになる。従って、モードスイッチングが発生し難いヒステリシス形状の明るさ調整経路を採用することにより、フレーム落ちの発生回数を大幅に抑制することが可能となる。
そして、AGCゲイン検知回路37は、明るさ変化部が明るさを増大させておらず、かつAGC処理回路34のゲインが「1」であって、さらに明るさを減少する必要がある場合には、調光回路45を制御して発光ユニット21の照明光量を減少させる。
加えて、AGCゲイン検知回路37は、上述した画像処理用の階調数N(所定の階調数)に基づき閾値Thを設定する処理も行う。具体例として、AGCゲイン検知回路37は、さらに、上述した出力用の階調数Mと、(γ変換は非線形変換であるために)γ変換したときに階調落ちが発生しない階調数Lと、に基づいて、以下の数式1に示すように閾値Thを設定する。
[数1]
Th=λ×min[N,L]/M
ここに、λは値を調整するために乗算される1以下の所定の係数であり、min[N,L]はNとLの内の大きくない方の値をとることを示している。
なお、数式1をより簡易化して、γ変換における階調落ちを考慮しないようにする場合には、数式1は次の数式2のように書かれる。
[数2]
Th=λ×N/M
この数式2に示すように閾値Thを設定する場合には、AGCゲイン検知回路37は、画像処理用の階調数Nと出力用の階調数Mとを用いていることになる。そして具体的な数値例を挙げれば、本実施形態においてはNは12ビットで表現される階調、Mは10ビットで表現される階調であるために、λ=1とすると、Th=4となる。従って、AGCゲイン検知回路37は、AGC処理回路34のゲインが「4」となったところで、明るさ変化部に画像の明るさを増大させる制御を行うことになる。このゲイン「4」は、画像処理用の階調数Nの信号から出力用の階調数Mの信号に変換したときに、階調落ちが発生しない最大ゲイン値となる。
D/A変換回路38a,38b,38cは、色マトリクス回路36から出力されるデジタルの画像信号をアナログの画像信号に変換するものであり、例えば出力される信号成分(RGB成分、あるいはYCbCr成分等)毎に対応して設けられている。
符号化回路39は、色マトリクス回路36から出力されるデジタルの画像信号に符号化処理(具体例としては圧縮処理)を行うものである。
撮像素子ドライバ41は、撮像素子14を駆動制御し、露光や読み出しを行わせるものである。この撮像素子ドライバ41は、撮像素子14に内蔵されるFDアンプの増幅率の制御も行う。さらに撮像素子ドライバ41は、撮像素子14により撮像する際のフレームレートの制御も行う。加えて撮像素子ドライバ41は、撮像素子14がビニング処理機能を備えている場合には、該機能の制御も行う。
アクチュエータ制御回路42は、アクチュエータ13を制御することにより、対物絞り12を駆動させて絞り開口径を変化させ、あるいは励起光カットフィルタを撮像光学系11の光路上に挿脱するものである。
モード切替回路43は、モード切替指示スイッチ17から入力された指示信号に応じて、内視鏡装置1の観察モードを切り替えるものである。すなわち、モード切替回路43は、モード切替指示スイッチ17から蛍光観察モードに設定する指示信号が入力された場合には、アクチュエータ制御回路42を介してアクチュエータ13に励起光カットフィルタを撮像光学系11の光路上へ挿入させるとともに、調光制御パラメータ切替回路44を介して調光回路45に蛍光観察用のパラメータを設定させる。また、モード切替回路43は、モード切替指示スイッチ17から通常光観察モードに設定する指示信号が入力された場合には、アクチュエータ制御回路42を介してアクチュエータ13に励起光カットフィルタを撮像光学系11の光路上から退避させるとともに、調光制御パラメータ切替回路44を介して調光回路45に通常光観察用のパラメータを設定させる。
調光制御パラメータ切替回路44は、モード切替回路43により設定された観察モードに応じて、調光回路45に設定される調光制御パラメータを切り替えるものである。
調光回路45は、プロセス回路31から出力される撮像信号(すなわち、AGC処理回路34による処理が行われる前の信号)に基づき画像の明るさを検知して、画像の明るさが適切な明るさとなるように、光源装置4により発光する照明光の光量を調整するものである。従って、調光回路45によりR−LED22r、G−LED22g、B−LED22bのそれぞれの発光量が設定され、すなわち発光バランスの調整も行われる。
調光回路45は、内部に調光制御パラメータを備えており、調光制御パラメータ切替回路44からの制御に基づきパラメータセットを切り替える。具体的には、通常光観察モードのときにはR−LED22r、G−LED22g、B−LED22bの全てを発光許可するパラメータセットが用いられ、蛍光観察モードのときにはR−LED22rの発光を禁止するとともに、励起光を発光するB−LED22bおよび参照光を発光するG−LED22gの発光を許可するパラメータセットが用いられる。
さらに、調光回路45は、プロセス回路31の出力から検知される画像の明るさが適切になるように、各パラメータセットに設定するパラメータ値を、設定可能な範囲内において変更する。そして、調光回路45は、観察モードに応じたパラメータセットのパラメータ値に基づいて、調光信号を発光ユニット21へ出力し、電源26からR−LED22r、G−LED22g、B−LED22bへ供給する電流を設定する。これにより、LED駆動回路25から発光タイミングを示す発光信号が発光ユニット21へ出力されると、観察モードに応じた適切なタイミングおよび適切な照明光量で発光ユニット21が照明光を発光する。また、調光回路45は、発光ユニット21の照明光量を示す情報をAGCゲイン検知回路37へ出力する。
次に、図2は明るさ調整の手順を示す図である。
まず、本実施形態における明るさ調整のモードスイッチングは、撮像素子14に内蔵されるFDアンプにおけるローアンプモード(例えば、アナログ増幅のゲインが1)とハイアンプモード(例えば、アナログ増幅のゲインが3など)とのスイッチングとなっている。
そして、明るさの調整は、光源である発光ユニット21の照明光量により調整することが優先される。従って、基本設定としては、AGC処理回路34のゲインは1、FDアンプのモードはローアンプモードである。
このような基本設定の下で、光源光量を調整することにより、画像が明るすぎる場合には光源光量を減少させ、画像が暗すぎる場合には光源光量を増加させる。このときの明るさ調整範囲は、最小照明光量から最大照明光量までである。
そして、光源光量を最大照明光量にしても画像がまだ暗い場合には、AGC処理回路34のゲイン調整を2番目に優先して行う。本実施形態においては、階調落ちが発生しない最大ゲイン値は上述したように4であるために、ゲインによる明るさ調整範囲は1から4までである。
ゲインを4にしても画像がまだ暗い場合には、FDアンプのモードをハイアンプモードに設定する。FDアンプをハイアンプモードにしてアナログ画像の信号増幅を行うと、ノイズレベルも増幅されることになる。従って、明るさ変化部としてアナログ増幅部であるFDアンプを用いる場合には、画像の明るさを得る代わりに、S/N比の低下を招くことになる。つまり、明るさ変化部としてのFDアンプの利用は、画像の明るさと、出力用画像の画質と、のトレードオフの関係となっている。
さらにこのとき、ローアンプモードからハイアンプモードへ移行する前後で出力用画像の明るさが急激に変化することのないように、ローアンプモードからハイアンプモードへの移行に伴う明るさの増大量を相殺する分だけ、AGCゲイン検知回路37は、AGC処理回路34にゲインを減少させる処理を行う。
その後、AGCゲイン検知回路37は、AGC処理回路34にゲインを順次増加させて、1から4までの調整範囲内でゲインを増減することにより、出力用画像が適切な明るさとなるように明るさ調整を行う。
一方、光源光量が最大照明光量、FDアンプがハイアンプモード、AGC処理回路34のゲインが4である最大明るさの状態から、明るさを減少させるときには、次のように行う。
まず、AGC処理回路34にゲインを減少させる処理を行う。
ここで、ゲインを1にしても画像がまだ明るい場合には、FDアンプのモードをローアンプモードに設定する。このとき、ハイアンプモードからローアンプモードへ移行する前後で出力用画像の明るさが急激に変化することのないように、ハイアンプモードからローアンプモードへの移行に伴う明るさの減少量を相殺する分だけ、AGCゲイン検知回路37がAGC処理回路34にゲインを増加させる処理を行うのは上述と同様である。
その後、AGCゲイン検知回路37は、AGC処理回路34にゲインを順次減少させる。そして、ゲインを1にしても画像がまだ明るい場合には、光源の光量を減少させることにより、出力用画像が適切な明るさとなるように明るさ調整を行う。
続いて、図3は、撮像素子14に結像される画像がやや明るい場合と暗い場合の信号処理経路上における明るさヒストグラムの変化の様子の例を示す図である。
撮像素子14により光電変換を行うと(ST1)、画像がやや明るい場合には低輝度から例えば中輝度程度まで画素が分布する(ST1H)のに対し、画像が暗い場合には低輝度に大部分の画素が分布し、中輝度以上にはほとんど分布しない(ST1L)。
撮像素子14から画像を読み出す際にFDアンプにより増幅を行う(ST2)が、画像がやや明るい場合には例えばアナログ増幅は行わず(ST2H)、画像が暗い場合にはアナログ増幅を行ったとする(ST2L)。すると、画像がやや明るい場合だけでなく、画像が暗い場合にも、低輝度から例えば中輝度程度まで画素が分布した状態となる。
撮像素子14から出力されたアナログ画像をA/D変換回路32によりデジタル信号に変換すると(ST3)、画像がやや明るい場合と画像が暗い場合との何れにおいても同様のサンプリングが行われ、画像処理用の所定の階調数Nのデジタル画像信号となる(ST3H、ST3L)。
これらのデジタル画像信号に対して、AGC処理回路34によりデジタルゲイン調節を行いゲインアップした(ST4)とすると、何れのデジタル画像も階調幅が広がる(ST4H、ST4L)。
その後、色マトリクス回路36によりガンマ補正を行う(ST5)ことにより、何れのデジタル画像も出力用の階調数Mの信号に変換されると共に、明るさヒストグラムが例えば観察モニタ5に表示するのに適した形状に変化する(ST5H、ST5L)。
図4は、上述したような明るさ調整の処理を示すフローチャートである。
この処理を開始すると、まず、この明るさ調整の処理を終了するか否かを判定する(ステップS1)。
ここで、まだ終了しない場合には、現在取得されている画像の明るさが適切な明るさよりも明るすぎるか否かを判定する(ステップS2)。
ここで明るすぎないと判定された場合には、今度は、現在取得されている画像の明るさが適切な明るさよりも暗すぎるか否かを判定する(ステップS3)。
ここで、暗すぎないと判定された場合には、適切な明るさであることになるために、今後の明るさ変化に対応するためにステップS1へ戻って、上述したような処理を繰り返して行う。
また、ステップS3において暗すぎると判定された場合には、発光ユニット21の発光量が最大照明光量であるか否かを判定する(ステップS4)。
ここで、最大照明光量でないと判定された場合には、照明光量による調整を優先して、発光ユニット21の発光量を増大させてから(ステップS5)、上述したステップS1の処理へ戻る。
一方、ステップS4において既に最大照明光量であると判定された場合には、AGCゲイン検知回路37は、AGC処理回路34から取得したゲインの値が、閾値Th以上であるか否かを判定する(ステップS6)。
ここで、閾値Th未満であると判定された場合には、ゲインを増加させる余地があるということであるために、AGCゲイン検知回路37は、AGC処理回路34にゲインを増加させてから(ステップS7)、上述したステップS1の処理へ戻る。
また、ステップS6において、閾値Th以上であると判定された場合には、AGCゲイン検知回路37は、明るさ変化部に画像の明るさを増大させる(ステップS8)。すなわち本実施形態においては、上述したように、撮像素子14に内蔵されるFDアンプのモードをローアンプモードからハイアンプモードへ移行させる。なおこのときには、上述したように、ローアンプモードからハイアンプモードへの移行に伴う明るさの増大量を相殺する分だけ、AGC処理回路34にゲインを減少させる処理を行わせると良い。そしてその後、上述したステップS1の処理へ戻る。
一方、ステップS2において、現在取得されている画像の明るさが適切な明るさよりも明るすぎると判定された場合には、AGCゲイン検知回路37は、AGC処理回路34から取得したゲインの値が、1(つまり、ゲインアップなし)であるか否かを判定する。(ステップS9)。
ここで、ゲインの値が1でないと判定された場合には、AGCゲイン検知回路37は、AGC処理回路34にゲインを減少させてから(ステップS10)、上述したステップS1の処理へ戻る。
また、ステップS9において、ゲインの値が1であると判定された場合には、AGCゲイン検知回路37は、明るさ変化部に画像の明るさを増大させている最中であるか否かを判定する(ステップS11)。
ここで、明るさ増加処理中であると判定された場合には、AGCゲイン検知回路37は、明るさ変化部に画像の明るさを減少させる(ステップS12)。すなわち本実施形態においては、上述したように、撮像素子14に内蔵されるFDアンプのモードをハイアンプモードからローアンプモードへ移行させる。なおこのときには、上述したように、ハイアンプモードからローアンプモードへの移行に伴う明るさの減少量を相殺する分だけ、AGC処理回路34にゲインを増加させる処理を行わせると良い。そしてその後、上述したステップS1の処理へ戻る。
一方、ステップS11において、明るさ増加処理中でないと判定された場合には、AGCゲイン検知回路37は、発光ユニット21の発光量が最小照明光量であるか否かを判定する(ステップS13)。
ここで、最小照明光量でないと判定された場合には発光ユニット21の発光量を減少させてから(ステップS14)、また、最小照明光量であると判定された場合にはそのまま、上述したステップS1の処理へ戻る。
こうして、ステップS1において終了すると判定された場合には、この明るさ調整の処理を終了する。
なお、上述では撮像素子14に内蔵されるFDアンプによりアナログ画像の増幅を行ったが、このような構成に限定されるものではなく、例えばビデオプロセッサ3内にアナログ増幅部を設ける等の構成であっても構わない。
また、アナログ画像取得部は内視鏡2などの撮像素子14等を含む構成に限定されるものではなく、撮像により生成されたアナログの画像を取得するものであれば良い。従って、アナログ画像取得部は、例えばビデオプロセッサ3に相当するような画像処理装置におけるアナログ画像入力部であっても構わない。
そして、上述では、観察モードとして通常光観察モードと蛍光観察モードを例に挙げたが、その他にも、例えばNBI(Narrow Band Imaging:登録商標)観察モードに設定可能であっても構わない。
なお、上述では、アナログ増幅を、ローアンプモードとハイアンプモードとの不連続な2段階の切り替えとしたが、勿論これに限るものではない。例えば、より連続的な切り替えに近付くように、アナログ増幅のゲインの変化ステップを小さくしても良い。さらには、アナログ増幅のレンジをより大きくしても良い。具体例としては、アナログ増幅のゲインを1〜8までのレンジで、例えば256段階に分割した細かい変化ステップで行うようにしても良い。この場合には、明るさを増加する際に、AGC処理回路34によるデジタルのゲインが4に達した段階でアナログ増幅のゲインを段階的に上げて行くようにし、逆に明るさを減少する際に、アナログ増幅のゲインを段階的に下げて行き、アナログ増幅のゲインが1に達した段階でAGC処理回路34によるデジタルのゲインを4から減少させるようにする、等の処理が考えられる(ただし、この処理に限らず、上述したヒステリシス形状の明るさ調整経路を保つようにする処理であっても良い)。
このような実施形態1によれば、光源光量の調整による明るさの調整を優先して行っているために、光源光量の調整のみで対応可能な範囲(例えば近点)内においては出力用画像の画質が低下することがない。
また、AGC処理回路34によるゲイン調整により明るさの調整を行う場合には、出力用画像に階調落ちが発生しない上限を示す閾値Th以下の範囲内で調整を行うようにしたために、デジタルでゲインを調整しても出力用画像の画質が低下するのを防止することができる。
さらに、ゲインが閾値Thになっても明るさが不足する場合には、明るさ変化部としてのFDアンプをローアンプモードからハイアンプモードへ移行させるようにしたために、出力用画像の明るさの調整幅を広く確保することができ、遠点観察にも対応可能となる。
一方、デジタルゲインが1になっても明るさが過剰である場合には、明るさ変化部としてのFDアンプをハイアンプモードからローアンプモードへ移行させるようにしたために、出力用画像の画質を高いレベルに戻すことができ、例えば近点観察時の画質を高いレベルに維持することが可能となる。
そして、FDアンプのアンプモードを変更する際に、アンプモードの変更に伴う明るさの変化量を相殺する分だけ、AGC処理回路34がゲインを変化させるようにしたために、出力用画像の明るさが急激に変化するのを防止し、観察者の違和感が生じないようにすることができる。
加えて、FDアンプをローアンプモードからハイアンプモードへ移行させるときの第1の明るさ調整レベルが、ハイアンプモードからローアンプモードへ移行させるときの第2の明るさ調整レベルよりも高くなるように、つまりいわゆるヒステリシス曲線に類似する経路形状となるようにしたために、モードスイッチングの発生回数、ひいては画質の変化回数を低減し、観察者の違和感を軽減することができる。
こうして、遠点観察等の暗い被写体に対応可能となるように明るさ調整幅を広く確保することができると共に、近点観察等の明るい被写体の画質を低下させることのない内視鏡装置となる。
[実施形態2]
図5から図7は本発明の実施形態2を示したものであり、図5は明るさ調整の手順を示す図、図6は撮像素子14の画素配列を示す図、図7はビニング処理における加算対象画素の例を示す図である。
この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
上述した実施形態1は、明るさ変化部としてFDアンプを用いたが、本実施形態は、ビニングフレーム加算回路35または撮像素子14が備えるビニング処理機能を用いるものとなっている。
図6に示すように、撮像素子14は、画素14pを例えば水平方向および垂直方向に配列した2次元状の画素配列となっている。
そして、本実施形態においては、ビニング処理として、例えば図7に示すような4画素加算、すなわち、水平方向および垂直方向に隣接する2×2画素(4つの画素14p)を加算して1画素(ビニング後の画素14b)として取り扱う(従って、画像の明るさが増大する)2×2ビニングを行うものとする。従って、ビニング処理は、撮像素子の各画素から得られる画像を処理することにより明るさを変化させる処理の一種である。
ここに、ビニング処理は、ビニング処理機能を備えた撮像素子14を用いる場合には撮像素子14内において行うことも可能であるし、画像処理回路33中のビニングフレーム加算回路35により行うことも可能である。
例えば撮像素子14内においてビニング処理を行う場合には、一例としての2×2ビニングのときにはビニング処理後の画素数が1/4となって、読み出し画素数を低減することができるために、読出期間を短縮してフレームレートを向上することができる利点がある。
一方、ビニングフレーム加算回路35においてビニング処理を行う場合には、ビニング処理前の画像を保存したままビニング処理後の画像を生成する等が可能であるために、加算対象の着目4画素を2×2画素単位で移動していくのに代えて、水平1画素単位で移動し、1水平ラインが終了したところで垂直1画素単位で移動して再び水平1画素単位で移動するようにすれば、画素数がほとんど低減することがない(m、nを正の整数として、撮像素子14の全画素をm×n画素としたときに、ビニング処理後の画素数は(m−1)×(n−1)画素となる)利点がある。
こうして明るさ変化部としてビニング処理機能を用いた場合の明るさ調整の手順は、図5に示すように、上述した実施形態1の図2に示したものとほぼ同様である。すなわち、実施形態1のハイアンプモードへの移行に代えて4画素加算のビニング処理を行い、ローアンプモードへの移行に代えてビニング処理による画素加算をオフすれば良い。
なお、明るさ変化部としてビニング処理機能を用いる場合には、画像の明るさを得る代わりに、画素数の低下(特に、撮像素子14内でのビニング処理の場合)や、画像の鮮鋭度の低下(例えば、ビニングフレーム加算回路35内でのビニング処理の場合(空間的に近接した画素信号の加算を行うため))等を招くことになる。従って、明るさ変化部としてのビニング処理機能の利用は、画像の明るさと、出力用画像の画質と、のトレードオフの関係となっている。
また、画素数の低下を避けたい場合には、画素補間等の処理を追加して行うようにすれば良い。一方、鮮鋭度の低下を抑制したい場合には、鮮鋭度の強調処理を追加して行うようにすれば良い。
このような実施形態2によれば、ビニング処理を行うことによっても、上述した実施形態1とほぼ同様の効果を奏することができる。
[実施形態3]
図8から図10は本発明の実施形態3を示したものであり、図8は明るさ調整の手順を示す図、図9は蛍光観察モードにおける通常露光モードの動作を示すタイミングチャート、図10は蛍光観察モードにおける長時間露光モードの動作を示すタイミングチャートである。
この実施形態3において、上述の実施形態1,2と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
本実施形態は、明るさ変化部としてフレームレートの制御(すなわち、フレーム期間の変更)を行う撮像素子ドライバ41を用いるものとなっている。
撮像素子ドライバ41は、観察モードが通常光観察モードや蛍光観察モード、あるいはNBI観察モード等の何れであっても、必要に応じて、撮像素子14により撮像する際のフレームレートを上述したように制御し得るようになっている。
すなわち、例えば蛍光観察モードにおける通常露光モード時には、図9に示すように、光源装置4が励起光と参照光とを所定のタイミングで交互に発光する。そして、撮像素子14は励起光または参照光が発光されている間に露光を行う(露光期間EXP)。この通常露光モードの露光期間EXPが終了すると、撮像素子ドライバ41は、読出開始信号を撮像素子14へ出力する。撮像素子14は、読出開始信号を受けると読出期間RDに移行して、撮像した画像を画素単位、あるいはライン単位等で順次出力する。
一方、図10に示すような蛍光観察モードにおける長時間露光モード時に、光源装置4が励起光と参照光とを交互に発光するのは通常露光モード時と同様である。ただし、参照光を照射した結果得られる被検体からの反射光は通常の明るさを期待することができるのに対して、励起光を照射した結果、励起光カットフィルタを介して得られる被検体からの蛍光は、極めて微弱な明るさであると考えられる。そこで、AGCゲイン検知回路37は、LED駆動回路25を介して、長時間露光モードにおける励起光の照射期間(すなわち、励起光の露光期間EXP)を、通常露光モードにおける励起光の照射期間よりも長くするように発光ユニット21を制御する。具体例としては、通常露光モードの2フレーム分の期間(概略、(通常露光モードの2フレーム分の露光期間EXP)+(通常露光モードの1フレーム分の読出期間RD))とする等である。
従って、AGCゲイン検知回路37は、LED駆動回路25を介して発光ユニット21の発光タイミングを制御すると共に、撮像素子ドライバ41が撮像素子14へ出力する読出開始信号のタイミングを制御するようになっている。
こうして明るさ変化部としてフレームレートの制御を行う撮像素子ドライバ41を用いた場合の明るさ調整の手順は、図8に示すように、上述した実施形態1の図2に示したものとほぼ同様である。すなわち、実施形態1のハイアンプモードへの移行に代えて長時間露光モードへの移行を行い、ローアンプモードへの移行に代えて通常露光モードへの移行を行えば良い。
なお、明るさ変化部としてフレームレートの制御を行う撮像素子ドライバ41を用いる場合には、画像の明るさを得る代わりに、フレームレートの低下や、ブレの発生等を招くことになる。従って、明るさ変化部としてのフレームレートの制御を行う撮像素子ドライバ41の利用は、画像の明るさと、撮像素子14により取得されるアナログ画像のフレームレートと出力用画像の画質との少なくとも一方と、のトレードオフの関係となっている。
このような実施形態3によれば、フレームレートを変更する処理を行うことによっても、上述した実施形態1,2とほぼ同様の効果を奏することができる。
また、フレームレートを変更するモードスイッチングは撮像素子14のリセットを必要とする場合があり、このときには、モードスイッチングに伴ってフレーム落ちが発生することになる。従って、上述したようにモードスイッチングが発生し難いヒステリシス形状の明るさ調整経路を採用することにより、フレーム落ちの発生回数を大幅に抑制することが可能となる利点がある。
[実施形態4]
次に、図11は本発明の実施形態4を示したものであり、蛍光観察モードにおける長時間露光モードの動作を示すタイミングチャートである。
この実施形態4において、上述の実施形態1〜3と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
本実施形態は、明るさ変化部としてビニングフレーム加算回路35が備えるフレーム加算処理機能を用いるものとなっている。
まず、本実施形態においても、露光モードとして、通常露光モードと長時間露光モードとを設定可能となっている。これらの内の通常露光モードにおける露光および読み出しの動作は、上述した実施形態3の図9に示した動作と同様である。
一方、本実施形態における長時間露光モード時の露光および読み出しの動作は、例えば図11に示すように行う。
すなわち、図9に示した処理と同様に、撮像時のフレームレートは一定のままとする(従って、撮像素子14のリセットは不要となる)。ただし、図9の処理では励起光と参照光とを交互に照射して露光を行ったのに対して、本実施形態においては、例えば励起光、励起光、参照光(より明るい励起光の画像を得たい場合には、励起光の連続発光回数を増加させれば良い)の発光順序を繰り返して行うように制御して露光を行う。こうして、取得されたフレーム画像の内の、連続する励起光の発光期間の露光により得られたフレーム画像(時間的に近接する複数フレームの画像)をビニングフレーム加算回路35においてフレーム加算する(従って、出力用画像のフレームレートは低減する)。
このような処理を行うことにより、通常の露光時間の参照光の画像と、露光時間の長い励起光の画像と、を交互に得ることができる。
なお、明るさ変化部としてビニングフレーム加算回路35が備えるフレーム加算処理機能を用いる場合に、画像の明るさとトレードオフの関係となるのは、上述した実施形態3と同様に、フレームレートと出力用画像の画質との少なくとも一方である。
このような実施形態4によれば、上述した実施形態3とほぼ同様の効果を奏するとともに、光源装置4の発光順序とビデオプロセッサ3の画像処理内容については変更が必要であるが、撮像素子14の撮像時のフレームレートは変更の必要がないために、モードスイッチングを行ってもフレーム落ちが発生しない利点がある。
[実施形態5]
図12から図14は本発明の実施形態5を示したものであり、図12は明るさ調整の手順を示す図、図13は小径絞り開口時の対物絞り12の状態を示す図、図14は大径絞り開口時の対物絞り12の状態を示す図である。
この実施形態5において、上述の実施形態1〜4と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
本実施形態は、明るさ変化部として対物絞り12を用いるものとなっている。
対物絞り12は、より詳しくは、例えば図13および図14に示すように構成されている。
すなわち、対物絞り12は、光束通過用開口12bを有する絞り基板12aと、この絞り基板12aに対して回動軸12eを介して回動可能に軸支された絞り枠12cと、を備えている。絞り枠12cは、軸支部12dを介して回動軸12eに取り付けられており、小径絞り開口12sと、大径絞り開口12lと、を備えている。
小径絞り開口12sは、主に被写体の明るさが不足していないとき(例えば近点観察等)に用いられ、撮像素子14上に結像される画像は大径絞り開口12lの場合よりも暗くなるが、被写界深度が深い特徴がある。
一方、大径絞り開口12lは、主に被写体の明るさが不足しているとき(例えば遠点観察等)に用いられ、撮像素子14上に結像される画像は小径絞り開口12sの場合よりも明るくなるが、小径絞り開口12sを用いる場合に比して被写界深度が浅い。
内視鏡分野では、例えば数十mm程度の近点〜中点距離で観察を行うことが多く、撮像光学系11もこうした被写体距離に合わせて設計されることが多い。従って、100mm程度の遠点からの観察を大径絞り開口12lを介して行うと、被写界深度の浅さのために、遠点付近の被写体の像がぼけてしまうと考えられる。そこで、遠点観察時に被写体のピントがずれることのないように、大径絞り開口12lにはフォーカス位置調整用の補助レンズ11aが取り付けられている(ただし、撮像光学系11が焦点調節機能を備えている場合には、該機能を利用しても構わない)。
アクチュエータ13は、このような対物絞り12を駆動して、図13に示すような小径絞り開口12sが光束通過用開口12b上に位置する小絞りモードと、図14に示すような大径絞り開口12lが光束通過用開口12b上に位置する大絞りモードと、を切り替えて、撮像素子14上に結像される光学像の明るさを変化させる。
こうして明るさ変化部として対物絞り12を用いた場合の明るさ調整の手順は、図12に示すように、上述した実施形態1の図2に示したものとほぼ同様である。すなわち、実施形態1のハイアンプモードへの移行に代えて大絞りモードへの移行を行い、ローアンプモードへの移行に代えて小絞りモードへの移行を行えば良い。
なお、明るさ変化部として対物絞り12を用いる場合には、画像の明るさを得る代わりに、上述したように被写界深度の低下を招くことになる。従って、明るさ変化部としての対物絞り12の利用は、画像の明るさと、出力用画像の画質と、のトレードオフの関係となっている。
このような実施形態5によれば、対物絞り12を用いることによっても、上述した実施形態1〜4とほぼ同様の効果を奏することができる。
なお、上述した各実施形態の明るさ変化部の構成を、複数組み合わせて用いるようにしても勿論構わない。この場合には、明るさのダイナミックレンジをより拡大することができる利点がある。
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。