JP2014113416A - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP2014113416A
JP2014113416A JP2012271652A JP2012271652A JP2014113416A JP 2014113416 A JP2014113416 A JP 2014113416A JP 2012271652 A JP2012271652 A JP 2012271652A JP 2012271652 A JP2012271652 A JP 2012271652A JP 2014113416 A JP2014113416 A JP 2014113416A
Authority
JP
Japan
Prior art keywords
brightness
image
gain
unit
analog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012271652A
Other languages
English (en)
Other versions
JP6000838B2 (ja
Inventor
Shunji Takei
俊二 武井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2012271652A priority Critical patent/JP6000838B2/ja
Publication of JP2014113416A publication Critical patent/JP2014113416A/ja
Application granted granted Critical
Publication of JP6000838B2 publication Critical patent/JP6000838B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】明るさ調整幅を広く確保し、明るい被写体の画質低下を防ぐ内視鏡装置を提供する。
【解決手段】アナログ画像を取得する内視鏡2と、アナログ画像を所定階調数のデジタル画像に変換するA/D変換回路32と、デジタル画像のゲインを調節するAGC処理回路34と、デジタルゲイン調節された画像から出力用画像を生成する色マトリクス回路36と、画像の明るさを変化させる撮像素子14のFDアンプと、ゲインが所定階調数に基づいて設定される閾値以上であるかを判定し、閾値以上である場合には、AGC処理回路34にゲインを閾値よりも増加させないように、かつFDアンプに画像の明るさを増大させるように制御するAGCゲイン検知回路37と、を備える内視鏡装置1。
【選択図】図1

Description

本発明は、撮像により生成されたアナログの画像を取得してデジタルの画像に変換しゲインを調節する内視鏡装置に関する。
内視鏡では近点観察から遠点観察まで、適切な明るさおよび画質で観察できることが必要である。従って、非常に微弱な光を検出する内視鏡、例えば蛍光内視鏡などの場合には、遠点観察時の画像の明るさを確保することが重要になる。
画像の明るさを向上する方法としては、光源からの発光量を増大させる方法、明るい撮像光学系を用いる方法、絞りが可変である場合には絞り開口を大きくする方法、撮像素子から得られるアナログ信号をアナログ増幅する方法などが知られている。
ただし、光源の最大光量を増大させると、光源自体の発熱量が増大するだけでなく、例えば生体等の被検体にも熱的影響を与える可能性があるために、設定可能な最大光量には制限がある。こうした制限された最大光量で発光を行った場合には遠点画像が暗くなることもあり、このときには光源の制御だけでは明るい画像を得ることができない。また、明るい撮像光学系を用いたり絞り開口を大きくしたりすると、被写界深度が浅くなるために、合焦距離から離れた例えば遠点の被写体は十分シャープに観察することができない。さらに、アナログ信号増幅は、撮像信号だけでなく、撮像信号に混入しているノイズも増大してしまうことになるために、画質の点で好ましくない影響が生じる。
また、画像の明るさを向上する方法としては、例えば特開2005−131129号公報に、イオン化を利用して電荷の増倍を行うCMD(電荷増倍素子:Charge Multiplying Device)を用いたCCDが記載されている。
しかし、上記特開2005−131129号公報に記載された技術では、内視鏡の先端部に配設されたCCDに対して十分に高い電圧を印加しないと、十分な明るさの画像を得ることができない。一方、高い増幅率を得るために高い電圧を印加する場合には、安全性を図るために高電圧の信号線に十分な被覆を行うなどの必要があって、内視鏡の外径が増大してしまっていた。しかも、特殊な撮像素子を用いる必要があるために、コストも増大することになる。
一方、画像の明るさを向上する他の方法としては、例えば特開2009−219719号公報に、光源ユニットの自動制御が適正か否かを内視鏡画像の平均輝度値またはピーク値が設定輝度範囲内にあるか否かに基づき判断し、所定期間が経過しても設定輝度範囲から外れているときには、光源ユニットの制御による適切な光量制御は無理であると判断して、内視鏡画像の平均輝度値もしくはピーク値に基づいてゲイン係数を調整しゲイン補正を行う技術が記載されている。ここに、ゲイン補正は、DSP(デジタルシグナルプロセッサ)等からなる画像取得手段により取得された内視鏡画像に対して行う、デジタルのゲイン補正である。
このような撮像して得られたデジタル画像信号に対してデジタルゲインをかけ、信号強度を上げる方法について、図15を参照して説明する。図15は撮像して得られるアナログ画像信号から出力用(例えば、観察用や保存用など)の画像を得るときの流れを示す図である。
撮像素子の各画素で光電変換して得られる画像信号はアナログ信号である。ここに、得られたアナログ画像信号は、微弱な光を光電変換して得られた信号であり、多くの画素の信号値が低いヒストグラムになっているものとする。このアナログ信号は、その後にA/D変換されてデジタル画像信号に変換される。
ここに、人間の肉眼により滑らかな階調変化として認識される画像を得るためには、RGB信号の一色に付き256階調、つまり8ビットでの表示が必要であると言われている。また、近年広く普及してきたハイビジョン画像では、一色に付き、さらに階調数の多い1024階調が用いられることもある。そこで、ここでは出力画像が10ビットであるものとする。
このとき、途中の信号処理も10ビットで行うと、階調変換等を行った場合に中間階調が失われてしまうことがある。そこで、途中の信号処理においては、10ビットよりも階調数の大きい例えば12ビットでの処理が行われる。
従って、撮像素子から得られるアナログ信号をA/D変換する際には、12ビットのデジタル信号が出力されるようにサンプリングを行う。画像信号は、デジタル化されても、信号値の低い画素が多いヒストグラムとなるのはアナログ信号のときと同様である。
その後に、オートゲインコントロール(AGC:Automatic Gain Control)信号値にゲイン係数を乗算して、デジタル画像信号をリニア(線形)に増幅する。この処理を行うと、ダイナミックレンジが拡大する反面、階調が損なわれることになる。例えば、値0,1,2,…の信号を4倍に増幅すると、値0,4,8,…の信号が得られるが、値2〜3,5〜7,…の信号は存在しないために、いわゆる階調落ちが発生して、階調が1/4となってしまうことが分かる。
そして、表示に適した画像に変換するために、非線形な変換であるγ補正を行う。このガンマ補正の後、または同時に、処理用の12ビットの信号を、出力用の10ビットの信号に変換する処理も行う(ガンマ補正の前に10ビットの信号に変換すると、その後のガンマ補正が非線形であって階調落ちが発生するために、10ビットの信号への変換はガンマ補正の後または同時であることが好ましい)。ここに、12ビットから10ビットへの変換は、1/4倍の信号値増幅に相当するために、AGCによる信号増幅が4倍までであれば、出力画像における階調の損失は実質的に発生しないことが分かる。
特開2005−131129号公報 特開2009−219719号公報
しかしながら、観察に適した明るさの画像を得ようとするときに、4倍の信号増幅では十分でない場合がある。この点について、図16を参照して説明する。図16は4倍の信号増幅では画像の明るさが不足する場合の例を示す図である。
まず、画像の明るさを調整するに当たっては、最も良い画質を得るために、ゲインを1に固定した状態での光源光量調節を優先する。次に、光源光量を最大に調整したとしても明るさが不足する場合には、最大照明光量を維持しながら、次にAGCによるゲイン調整を行い、必要な明るさの画像を得るようにする。そして、処理信号が12ビット、出力信号が10ビットである上述した場合には、階調が損なわれていない出力画像を得ることができるのは、4のゲイン(4倍の信号増幅)までである。
点光源の被写体を考えたときに、被写体は近距離にあるほど明るく観察され、遠距離に行くに従い暗く観察されることになる。そして、近距離にある被写体(近景)に対しては光源光量の調節で対応可能であり、中距離にある被写体(中景)に対しては最大照明光量としてかつAGCによるゲイン調整が必要となる場合において、4までのゲイン調整では適切な明るさの画像を得ることができない被写体距離に到達した場合には、その被写体距離よりも遠距離にある被写体(遠景)は明るさ不足の領域となる。
このような明るさ不足の領域に対して例えば4よりも大きいゲイン調整を行うと、上述した理由により、階調の損失が発生して画質が低下することになる。また、例えば、上述のような12ビットでの処理ではなく、14ビットで処理するような場合であれば、AGCとして最大16倍までのゲイン調整をしても諧調の損失は発生しないが、この場合、撮像素子からの読み出し信号の情報量が大幅に増加してしまうため、画像の読み出し時間が長くなってしまう問題がある。
本発明は上記事情に鑑みてなされたものであり、暗い被写体に対応可能となるように明るさ調整幅を広く確保すると共に、明るい被写体の画質を低下させることのない内視鏡装置を提供することを目的としている。
上記の目的を達成するために、本発明の第1の態様による内視鏡装置は、撮像により生成されたアナログの画像を取得するアナログ画像取得部と、アナログの前記画像を所定の階調数のデジタルの画像に変換するA/D変換部と、デジタルの前記画像のゲインを調節するデジタルゲイン調節部と、前記デジタルゲイン調節部によりゲイン調節されたデジタルの前記画像から出力用の画像を生成する出力画像生成部と、前記画像の明るさを変化させる明るさ変化部と、前記ゲインが前記所定の階調数に基づいて設定される閾値以上であるかを判定し、前記閾値以上である場合には、前記デジタルゲイン調節部にゲインを該閾値よりも増加させないように、かつ前記明るさ変化部に対して前記画像の明るさを増大させるように制御する制御部と、を具備している。
本発明の内視鏡装置によれば、暗い被写体に対応可能となるように明るさ調整幅を広く確保すると共に、明るい被写体の画質を低下させないようにすることができる。
本発明の実施形態1の内視鏡装置の構成を示すブロック図。 上記実施形態1における明るさ調整の手順を示す図。 上記実施形態1において、撮像素子に結像される画像がやや明るい場合と暗い場合の信号処理経路上における明るさヒストグラムの変化の様子の例を示す図。 上記実施形態1における明るさ調整の処理を示すフローチャート。 本発明の実施形態2における明るさ調整の手順を示す図。 上記実施形態2における撮像素子の画素配列を示す図。 上記実施形態2のビニング処理における加算対象画素の例を示す図。 本発明の実施形態3における明るさ調整の手順を示す図。 上記実施形態3の蛍光観察モードにおける通常露光モードの動作を示すタイミングチャート。 上記実施形態3の蛍光観察モードにおける長時間露光モードの動作を示すタイミングチャート。 本発明の実施形態4の蛍光観察モードにおける長時間露光モードの動作を示すタイミングチャート。 本発明の実施形態5における明るさ調整の手順を示す図。 上記実施形態5において、小径絞り開口時の対物絞りの状態を示す図。 上記実施形態5において、大径絞り開口時の対物絞りの状態を示す図。 従来において、撮像して得られるアナログ画像信号から出力用の画像を得るときの流れを示す図。 従来において、4倍の信号増幅では画像の明るさが不足する場合の例を示す図。
以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図4は本発明の実施形態1を示したものであり、図1は内視鏡装置1の構成を示すブロック図である。
図1に示すように、内視鏡装置1は、アナログ画像取得部たる内視鏡2と、ビデオプロセッサ3と、光源装置4と、観察モニタ5と、デジタルファイリング装置6と、入力部7と、を備えている。
内視鏡2は、手元側の操作部から延出され被検体内へ挿入される細長の挿入部の先端部に、撮像光学系11、対物絞り12、アクチュエータ13、撮像素子14、照明光学系15を備えている。内視鏡2は、さらに、挿入部および操作部を延設されて光源装置4へ接続されるライトガイド16を備えると共に、操作部にモード切替指示スイッチ17とスコープIDメモリ18とを備えている。
ライトガイド16は、光学ファイババンドル等により構成されていて、光源装置4から供給される照明光を照明光学系15へ伝達するものである。
照明光学系15は、伝達された照明光を被写体となる被検体へ向けて照射するものである。
撮像光学系11は、照明された被写体の光学像を撮像素子14上に結像するものである。
対物絞り12は、撮像光学系11により結像される光学像の明るさを変化させて調節する光学素子であり、開口径の異なる複数の絞り開口を備えている(図13、図14等参照)。
アクチュエータ13は、対物絞り12を駆動して、絞り開口径を変化させるものである。また、アクチュエータ13は、図示しない励起光カットフィルタを撮像素子14の受光光路上に挿脱する駆動も行う。ここに、励起光カットフィルタは、蛍光観察を行う際に、被検体から反射されてくる励起光(後述するように、B−LED22bが発光する青色光)をカットするための光学素子である。
撮像素子14は、撮像光学系11により結像された光学像からアナログの画像を生成するものである。この撮像素子14は、撮像面上に複数の画素14p(図6参照)を配列して構成されており、本実施形態においてはアナログ増幅部であるFDアンプ(Floating Diffusion Amplifier)を内蔵するものとなっている。このFDアンプは、フォトダイオード(PD)により発生された電荷を一時的に蓄積するためのフローティングディフュージョン(FD)から信号を読み出す際に、電荷信号を電圧信号に変換し、この変換時に信号増幅を行うものであり、画像を処理することにより明るさを変化させるものの一種である。そして、FDアンプは、アナログ画像を増幅する際の増幅率を制御することが可能となっている(この増幅率の制御は、後述するように、撮像素子ドライバ41が行う)。このような撮像素子14は、アナログの画像をフレーム期間毎のフレーム単位で時系列的に取得するように制御される。
モード切替指示スイッチ17は、観察モードを切り替える入力指示を行うためのスイッチである。本実施形態においては、観察モードとして通常光観察モードと蛍光観察モードとがあることを想定しており、モード切替指示スイッチ17の操作状態に応じて、通常光観察モードに設定するための指示信号と蛍光観察モードに設定するための指示信号との何れかがビデオプロセッサ3の後述するモード切替回路43へ出力される。
スコープIDメモリ18は、内視鏡2の製品型番やシリアル番号、あるいはその他内視鏡2に固有の情報等を不揮発に記憶する記憶媒体である。
光源装置4は、発光ユニット21と、コリメートレンズ24と、LED駆動回路25と、電源26と、を備えている。
発光ユニット21は、光源として、赤色(R)光を発光するR−LED22rと、緑色(G)光を発光するG−LED22gと、青色(B)光を発光するB−LED22bと、を備えている。これらの内のB−LED22bが発光する青色光は、蛍光観察を行う際の励起光としても用いられる。また、G−LED22gが発光する緑色光は、蛍光観察を行う際の参照光としても用いられる。
具体例を挙げれば、波長390〜470nmの青色光は、粘膜に存在するコラーゲンなどの蛍光物質からの自家蛍光を観察するための励起光となる。また、波長540〜560nmの緑色光は、血液中のヘモグロビンに吸収される参照光となる。青色励起光を照射したときに、腫瘍組織は、正常組織に比べて自家蛍光が減弱するという特性がある。このために、蛍光観察(AFI:Auto Fluorescence Imaging)においてはこれら励起光および参照光を照射することにより、腫瘍性病変と正常粘膜とを異なる色調で強調表示して、がんなど微細病変の早期発見を支援することが可能となっている。
発光ユニット21は、さらに、第1のビームスプリッタ23rと、第2のビームスプリッタ23gと、第3のビームスプリッタ23bと、を備えている。
第1のビームスプリッタ23rは、R−LED22rから照射された赤色光を反射する反射ミラーとして機能する。
第2のビームスプリッタ23gは、第1のビームスプリッタ23rにより反射された赤色光を透過すると共に、G−LED22gから照射された緑色光を反射するものである。
第3のビームスプリッタ23bは、第2のビームスプリッタ23gからの赤色光および緑色光を反射すると共に、B−LED22bから照射された青色光を透過するものである。
コリメートレンズ24は、第3のビームスプリッタ23bからのRGB光を平行光束にして、ライトガイド16の入射端へ照射するものである。
LED駆動回路25は、AGCゲイン検知回路37から入力される制御信号に基づいて、発光ユニット21の各LED22r,22b,22gの何れを、どのような発光タイミングで発光させるかを制御するものである。このとき、LED駆動回路25は、モード切替回路43から通知された観察モードが通常光観察モードであるかまたは蛍光観察モードであるかに応じて、各LED22r,22b,22gの発光タイミングを制御するようになっている。
電源26は、発光ユニット21およびLED駆動回路25へ電力を供給する電力源である。
ビデオプロセッサ3は、プロセス回路31と、A/D変換回路32と、画像処理回路33と、D/A変換回路38a,38b,38cと、符号化回路39と、撮像素子ドライバ41と、アクチュエータ制御回路42と、モード切替回路43と、調光制御パラメータ切替回路44と、調光回路45と、を備えている。
撮像素子14から出力されるアナログの撮像信号は、プロセス回路31へ入力される。
プロセス回路31は、入力された撮像信号にアナログのプロセス処理を行うものである。
A/D変換回路32は、プロセス回路31から出力されるアナログ撮像信号をサンプリング(量子化)して、画像処理用の所定の階調数N(Nは2以上の整数)のデジタル画像信号に変換するA/D変換部である。なお、本実施形態においては、A/D変換回路32は12ビット、すなわち2の12乗の階調数のデジタル画像信号に変換するものとして説明する。
また、本実施形態では撮像素子14がアナログ撮像素子であるものとしてA/D変換回路32をビデオプロセッサ3に設けたが、デジタル撮像素子である場合には撮像素子14内に設けられていることになる(このときには、さらにプロセス回路31を撮像素子14内に設けても良いし、プロセス回路31に相当する処理をビデオプロセッサ3内においてデジタル的に行っても良い)。
画像処理回路33は、A/D変換回路32から出力されたデジタル画像信号に各種のデジタル信号処理を施すものであり、AGC(オート・ゲイン・コントロール)処理回路34、ビニングフレーム加算回路35、色マトリクス回路36、およびAGCゲイン検知回路37を備えている。
AGC処理回路34は、デジタルの画像信号のゲインを調節して増幅を行うデジタルゲイン調節部であり、利得(ゲイン)を制御することが可能となっている。
ビニングフレーム加算回路35は、画像信号にビニング処理、あるいはフレーム加算処理を行うものである。
ここに、ビニング処理は、空間的に近接する複数の画素信号を加算して1画素として取り扱う処理であり、幾つかの例としては、2×2画素を1画素として取り扱う2×2ビニング、3×3画素を1画素として取り扱う3×3ビニング、等が挙げられる。本実施形態ではビニング処理をビデオプロセッサ3内のビニングフレーム加算回路35により行う例を説明するが、ビニング処理機能を備えた撮像素子14によりビニング処理を行っても構わない。後述する実施形態2において説明するように、ビニング処理には、画素数が1/k(ここに、kは正の整数)に減少する処理と、画素数をほとんど減少させない処理とがある。
また、フレーム加算処理は、撮像素子14からフレーム単位で出力される画像信号を、同一画素位置同士で加算することにより、複数フレームの画像信号を1フレームの画像信号として取り扱う処理である。フレーム加算処理の例としては、2つのフレームを加算して1つのフレームを生成する2フレーム加算、3つのフレームを加算して1つのフレームを生成する3フレーム加算、等が幾つかの例として挙げられる。例えば2フレーム加算の場合でも、第1フレームと第2フレームとを加算して第1の加算フレームを生成した後において、第3フレームと第4フレームとを加算して第2の加算フレームを生成する等の場合と、第2フレームと第3フレームとを加算して第2の加算フレームを生成する等の場合と、がある。前者の場合にはフレーム数が半分になるが、後者の場合には総フレーム数が例えば1フレーム減るだけである。
色マトリクス回路36は、AGC処理回路34によりゲイン調節された後のデジタル画像に、画像信号の色空間変換を行ったり、γ変換を行ったりすることにより、出力用(観察用や保存用など)の画像を生成する出力画像生成部である。ここに、色空間変換は、例えばRGB信号からYCbCr信号へ変換する、等である。また、γ変換は、よく知られているように、観察モニタ5の表示特性に合うように信号値を非線形に変換する処理であり、典型的には、低輝度の信号の階調を伸長し、高輝度の信号の階調を圧縮するような変換を行う。このγ変換においては、デジタル画像処理用の階調数Nから、出力用の階調数M(Mは2以上N以下の整数)への変換も行う。なお、本実施形態においては、γ変換において、10ビット、すなわち2の10乗の階調数に変換するものとして説明する。
AGCゲイン検知回路37は、後述するように調光回路45から発光ユニット21の照明光量を取得して、発光ユニット21の光量が最大照明光量となったか否かを判定し、最大照明光量となった場合であって、さらに明るさを増大する必要がある場合には、AGC処理回路34を制御してゲインを増大させる。
AGCゲイン検知回路37は、さらにAGC処理回路34のゲインを取得して、照明光量が最大照明光量であってかつゲインが所定の階調数に基づいて設定される閾値Th以上であるかを判定し、最大照明光量であって閾値Th以上である場合(第1の明るさ調整レベルとなったとき)には、AGC処理回路34にゲインを閾値Thよりも増加させないようにするとともに、明るさ変化部に対して画像の明るさを増大させるように制御する制御部である。
このAGCゲイン検知回路37が制御する明るさ変化部は、画像の明るさを変化させるものであり、撮像素子14に内蔵されるFDアンプ(あるいは、ビデオプロセッサ3内に設けたアナログ増幅部など)、ビニングフレーム加算回路35が備えるビニング処理機能(あるいは撮像素子14が備えるビニング処理機能)、ビニングフレーム加算回路35が備えるフレーム加算処理機能、後述するようにフレームレートの制御を行う撮像素子ドライバ41、対物絞り12などがあって、下記に説明するように実施形態毎に異なる構成を採用している。
従って、明るさ変化部が明るさを変化させる対象となる画像としては、撮像素子のフォトダイオード(PD)により光電変換して得られるアナログ画像、このアナログ画像をFDアンプ等でアナログ増幅したアナログ画像、アナログ画像をA/D変換回路32により変換したデジタル画像などがある。
そして、本実施形態における明るさ変化部は、撮像素子14のFDアンプであるものとする。従って、AGCゲイン検知回路37は、撮像素子ドライバ41を介してFDアンプの増幅率を制御する。
このとき、明るさ変化部による明るさの変化は、連続的とはならず、不連続となる場合がある。例えば、ビニングやフレーム加算の場合には整数倍が単位となるし、FDアンプによるアナログ増幅や、フレームレートの変更ステップ、対物絞り12の開口径についても段階的な(不連続な)変化となることがあると考えられる。このような場合には、明るさ変化部により明るさを変化させる前後において出力用画像の明るさが急激に変化することなく略同一に維持されるように、明るさ変化部が変化させた明るさを相殺する分だけ、AGCゲイン検知回路37は、AGC処理回路34にゲインを調整させる処理を行う。従って、明るさ変化部により明るさを増大した後は、ゲインが閾値Th未満になると考えられるために、AGC処理回路34によりゲインを変化させてより細かいレベルでの明るさの制御を行うことが再び可能となる。
また、明るさ変化部により明るさを既に増大している場合において、AGC処理回路34のゲインが1となってもさらに明るさを減少させる必要がある場合(第2の明るさ調整レベルとなったとき)には、AGCゲイン検知回路37は、明るさ変化部に明るさを減少させるように制御する。このときに明るさ変化部が減少させた明るさを相殺する分だけ、AGCゲイン検知回路37が、AGC処理回路34にゲインを調整させる処理を行うのは上述と同様である。従って、明るさ変化部により明るさを減少した後は、ゲインが1よりも大きくなると考えられるために、AGC処理回路34によりゲインを変化させてより細かいレベルでの明るさの制御を行うことが再び可能となる。
このような処理を行う場合には、明るさ変化部により明るさを増大する時点の第1の明るさ調整レベル(発光ユニット21による照明光量調整、AGC処理回路34によるゲイン調整、および明るさ変化部による明るさ調整を組み合わせた明るさ調整レベル)と、明るさ変化部により明るさを減少する時点の第2の明るさ調整レベルとは異なり、基本的に、第1の明るさ調整レベルは第2の明るさ調整レベル以上となる。
特に、明るさ変化部による明るさの変化が不連続である場合には、第1の明るさ調整レベルは第2の明るさ調整レベルよりも高い。従って、明るさ調整レベルを増大するときの経路と、明るさ調整レベルを減少するときの経路とは異なり、いわゆるヒステリシス曲線に類似する経路形状となる(図2、図5、図8、図12等参照)。
明るさ変化部による不連続な明るさの変化は、いわゆる明るさ調整モードのスイッチングとして捉えることができるが、上述したようなヒステリシス形状の経路を辿る場合には、一旦モード移行した後は、手ブレや被写体の動きによって被写体距離が変化する等により被写体の明るさが多少変化したとしても(つまり、被写体の明るさに大きな変化が生じない限り)、元のモードにすぐには戻らず、頻繁なモードスイッチングが起こり難い利点がある。
明るさ変化部による明るさ変化(モードスイッチング)は、後述するように、画質の変化を伴うことがあるが、頻繁にモードスイッチングが起こると出力用画像の画質が頻繁に変化することになるために、観察者に違和感を与えことになる。従って、こうした違和感を軽減することも可能となる。
さらに、明るさ変化部による明るさ変化(モードスイッチング)は、後述するように、撮像素子14のリセットが必要になる場合もある。このときには、モードスイッチングを行うとフレーム落ちが発生することになる。従って、モードスイッチングが発生し難いヒステリシス形状の明るさ調整経路を採用することにより、フレーム落ちの発生回数を大幅に抑制することが可能となる。
そして、AGCゲイン検知回路37は、明るさ変化部が明るさを増大させておらず、かつAGC処理回路34のゲインが「1」であって、さらに明るさを減少する必要がある場合には、調光回路45を制御して発光ユニット21の照明光量を減少させる。
加えて、AGCゲイン検知回路37は、上述した画像処理用の階調数N(所定の階調数)に基づき閾値Thを設定する処理も行う。具体例として、AGCゲイン検知回路37は、さらに、上述した出力用の階調数Mと、(γ変換は非線形変換であるために)γ変換したときに階調落ちが発生しない階調数Lと、に基づいて、以下の数式1に示すように閾値Thを設定する。
[数1]
Th=λ×min[N,L]/M
ここに、λは値を調整するために乗算される1以下の所定の係数であり、min[N,L]はNとLの内の大きくない方の値をとることを示している。
なお、数式1をより簡易化して、γ変換における階調落ちを考慮しないようにする場合には、数式1は次の数式2のように書かれる。
[数2]
Th=λ×N/M
この数式2に示すように閾値Thを設定する場合には、AGCゲイン検知回路37は、画像処理用の階調数Nと出力用の階調数Mとを用いていることになる。そして具体的な数値例を挙げれば、本実施形態においてはNは12ビットで表現される階調、Mは10ビットで表現される階調であるために、λ=1とすると、Th=4となる。従って、AGCゲイン検知回路37は、AGC処理回路34のゲインが「4」となったところで、明るさ変化部に画像の明るさを増大させる制御を行うことになる。このゲイン「4」は、画像処理用の階調数Nの信号から出力用の階調数Mの信号に変換したときに、階調落ちが発生しない最大ゲイン値となる。
D/A変換回路38a,38b,38cは、色マトリクス回路36から出力されるデジタルの画像信号をアナログの画像信号に変換するものであり、例えば出力される信号成分(RGB成分、あるいはYCbCr成分等)毎に対応して設けられている。
符号化回路39は、色マトリクス回路36から出力されるデジタルの画像信号に符号化処理(具体例としては圧縮処理)を行うものである。
撮像素子ドライバ41は、撮像素子14を駆動制御し、露光や読み出しを行わせるものである。この撮像素子ドライバ41は、撮像素子14に内蔵されるFDアンプの増幅率の制御も行う。さらに撮像素子ドライバ41は、撮像素子14により撮像する際のフレームレートの制御も行う。加えて撮像素子ドライバ41は、撮像素子14がビニング処理機能を備えている場合には、該機能の制御も行う。
アクチュエータ制御回路42は、アクチュエータ13を制御することにより、対物絞り12を駆動させて絞り開口径を変化させ、あるいは励起光カットフィルタを撮像光学系11の光路上に挿脱するものである。
モード切替回路43は、モード切替指示スイッチ17から入力された指示信号に応じて、内視鏡装置1の観察モードを切り替えるものである。すなわち、モード切替回路43は、モード切替指示スイッチ17から蛍光観察モードに設定する指示信号が入力された場合には、アクチュエータ制御回路42を介してアクチュエータ13に励起光カットフィルタを撮像光学系11の光路上へ挿入させるとともに、調光制御パラメータ切替回路44を介して調光回路45に蛍光観察用のパラメータを設定させる。また、モード切替回路43は、モード切替指示スイッチ17から通常光観察モードに設定する指示信号が入力された場合には、アクチュエータ制御回路42を介してアクチュエータ13に励起光カットフィルタを撮像光学系11の光路上から退避させるとともに、調光制御パラメータ切替回路44を介して調光回路45に通常光観察用のパラメータを設定させる。
調光制御パラメータ切替回路44は、モード切替回路43により設定された観察モードに応じて、調光回路45に設定される調光制御パラメータを切り替えるものである。
調光回路45は、プロセス回路31から出力される撮像信号(すなわち、AGC処理回路34による処理が行われる前の信号)に基づき画像の明るさを検知して、画像の明るさが適切な明るさとなるように、光源装置4により発光する照明光の光量を調整するものである。従って、調光回路45によりR−LED22r、G−LED22g、B−LED22bのそれぞれの発光量が設定され、すなわち発光バランスの調整も行われる。
調光回路45は、内部に調光制御パラメータを備えており、調光制御パラメータ切替回路44からの制御に基づきパラメータセットを切り替える。具体的には、通常光観察モードのときにはR−LED22r、G−LED22g、B−LED22bの全てを発光許可するパラメータセットが用いられ、蛍光観察モードのときにはR−LED22rの発光を禁止するとともに、励起光を発光するB−LED22bおよび参照光を発光するG−LED22gの発光を許可するパラメータセットが用いられる。
さらに、調光回路45は、プロセス回路31の出力から検知される画像の明るさが適切になるように、各パラメータセットに設定するパラメータ値を、設定可能な範囲内において変更する。そして、調光回路45は、観察モードに応じたパラメータセットのパラメータ値に基づいて、調光信号を発光ユニット21へ出力し、電源26からR−LED22r、G−LED22g、B−LED22bへ供給する電流を設定する。これにより、LED駆動回路25から発光タイミングを示す発光信号が発光ユニット21へ出力されると、観察モードに応じた適切なタイミングおよび適切な照明光量で発光ユニット21が照明光を発光する。また、調光回路45は、発光ユニット21の照明光量を示す情報をAGCゲイン検知回路37へ出力する。
次に、図2は明るさ調整の手順を示す図である。
まず、本実施形態における明るさ調整のモードスイッチングは、撮像素子14に内蔵されるFDアンプにおけるローアンプモード(例えば、アナログ増幅のゲインが1)とハイアンプモード(例えば、アナログ増幅のゲインが3など)とのスイッチングとなっている。
そして、明るさの調整は、光源である発光ユニット21の照明光量により調整することが優先される。従って、基本設定としては、AGC処理回路34のゲインは1、FDアンプのモードはローアンプモードである。
このような基本設定の下で、光源光量を調整することにより、画像が明るすぎる場合には光源光量を減少させ、画像が暗すぎる場合には光源光量を増加させる。このときの明るさ調整範囲は、最小照明光量から最大照明光量までである。
そして、光源光量を最大照明光量にしても画像がまだ暗い場合には、AGC処理回路34のゲイン調整を2番目に優先して行う。本実施形態においては、階調落ちが発生しない最大ゲイン値は上述したように4であるために、ゲインによる明るさ調整範囲は1から4までである。
ゲインを4にしても画像がまだ暗い場合には、FDアンプのモードをハイアンプモードに設定する。FDアンプをハイアンプモードにしてアナログ画像の信号増幅を行うと、ノイズレベルも増幅されることになる。従って、明るさ変化部としてアナログ増幅部であるFDアンプを用いる場合には、画像の明るさを得る代わりに、S/N比の低下を招くことになる。つまり、明るさ変化部としてのFDアンプの利用は、画像の明るさと、出力用画像の画質と、のトレードオフの関係となっている。
さらにこのとき、ローアンプモードからハイアンプモードへ移行する前後で出力用画像の明るさが急激に変化することのないように、ローアンプモードからハイアンプモードへの移行に伴う明るさの増大量を相殺する分だけ、AGCゲイン検知回路37は、AGC処理回路34にゲインを減少させる処理を行う。
その後、AGCゲイン検知回路37は、AGC処理回路34にゲインを順次増加させて、1から4までの調整範囲内でゲインを増減することにより、出力用画像が適切な明るさとなるように明るさ調整を行う。
一方、光源光量が最大照明光量、FDアンプがハイアンプモード、AGC処理回路34のゲインが4である最大明るさの状態から、明るさを減少させるときには、次のように行う。
まず、AGC処理回路34にゲインを減少させる処理を行う。
ここで、ゲインを1にしても画像がまだ明るい場合には、FDアンプのモードをローアンプモードに設定する。このとき、ハイアンプモードからローアンプモードへ移行する前後で出力用画像の明るさが急激に変化することのないように、ハイアンプモードからローアンプモードへの移行に伴う明るさの減少量を相殺する分だけ、AGCゲイン検知回路37がAGC処理回路34にゲインを増加させる処理を行うのは上述と同様である。
その後、AGCゲイン検知回路37は、AGC処理回路34にゲインを順次減少させる。そして、ゲインを1にしても画像がまだ明るい場合には、光源の光量を減少させることにより、出力用画像が適切な明るさとなるように明るさ調整を行う。
続いて、図3は、撮像素子14に結像される画像がやや明るい場合と暗い場合の信号処理経路上における明るさヒストグラムの変化の様子の例を示す図である。
撮像素子14により光電変換を行うと(ST1)、画像がやや明るい場合には低輝度から例えば中輝度程度まで画素が分布する(ST1H)のに対し、画像が暗い場合には低輝度に大部分の画素が分布し、中輝度以上にはほとんど分布しない(ST1L)。
撮像素子14から画像を読み出す際にFDアンプにより増幅を行う(ST2)が、画像がやや明るい場合には例えばアナログ増幅は行わず(ST2H)、画像が暗い場合にはアナログ増幅を行ったとする(ST2L)。すると、画像がやや明るい場合だけでなく、画像が暗い場合にも、低輝度から例えば中輝度程度まで画素が分布した状態となる。
撮像素子14から出力されたアナログ画像をA/D変換回路32によりデジタル信号に変換すると(ST3)、画像がやや明るい場合と画像が暗い場合との何れにおいても同様のサンプリングが行われ、画像処理用の所定の階調数Nのデジタル画像信号となる(ST3H、ST3L)。
これらのデジタル画像信号に対して、AGC処理回路34によりデジタルゲイン調節を行いゲインアップした(ST4)とすると、何れのデジタル画像も階調幅が広がる(ST4H、ST4L)。
その後、色マトリクス回路36によりガンマ補正を行う(ST5)ことにより、何れのデジタル画像も出力用の階調数Mの信号に変換されると共に、明るさヒストグラムが例えば観察モニタ5に表示するのに適した形状に変化する(ST5H、ST5L)。
図4は、上述したような明るさ調整の処理を示すフローチャートである。
この処理を開始すると、まず、この明るさ調整の処理を終了するか否かを判定する(ステップS1)。
ここで、まだ終了しない場合には、現在取得されている画像の明るさが適切な明るさよりも明るすぎるか否かを判定する(ステップS2)。
ここで明るすぎないと判定された場合には、今度は、現在取得されている画像の明るさが適切な明るさよりも暗すぎるか否かを判定する(ステップS3)。
ここで、暗すぎないと判定された場合には、適切な明るさであることになるために、今後の明るさ変化に対応するためにステップS1へ戻って、上述したような処理を繰り返して行う。
また、ステップS3において暗すぎると判定された場合には、発光ユニット21の発光量が最大照明光量であるか否かを判定する(ステップS4)。
ここで、最大照明光量でないと判定された場合には、照明光量による調整を優先して、発光ユニット21の発光量を増大させてから(ステップS5)、上述したステップS1の処理へ戻る。
一方、ステップS4において既に最大照明光量であると判定された場合には、AGCゲイン検知回路37は、AGC処理回路34から取得したゲインの値が、閾値Th以上であるか否かを判定する(ステップS6)。
ここで、閾値Th未満であると判定された場合には、ゲインを増加させる余地があるということであるために、AGCゲイン検知回路37は、AGC処理回路34にゲインを増加させてから(ステップS7)、上述したステップS1の処理へ戻る。
また、ステップS6において、閾値Th以上であると判定された場合には、AGCゲイン検知回路37は、明るさ変化部に画像の明るさを増大させる(ステップS8)。すなわち本実施形態においては、上述したように、撮像素子14に内蔵されるFDアンプのモードをローアンプモードからハイアンプモードへ移行させる。なおこのときには、上述したように、ローアンプモードからハイアンプモードへの移行に伴う明るさの増大量を相殺する分だけ、AGC処理回路34にゲインを減少させる処理を行わせると良い。そしてその後、上述したステップS1の処理へ戻る。
一方、ステップS2において、現在取得されている画像の明るさが適切な明るさよりも明るすぎると判定された場合には、AGCゲイン検知回路37は、AGC処理回路34から取得したゲインの値が、1(つまり、ゲインアップなし)であるか否かを判定する。(ステップS9)。
ここで、ゲインの値が1でないと判定された場合には、AGCゲイン検知回路37は、AGC処理回路34にゲインを減少させてから(ステップS10)、上述したステップS1の処理へ戻る。
また、ステップS9において、ゲインの値が1であると判定された場合には、AGCゲイン検知回路37は、明るさ変化部に画像の明るさを増大させている最中であるか否かを判定する(ステップS11)。
ここで、明るさ増加処理中であると判定された場合には、AGCゲイン検知回路37は、明るさ変化部に画像の明るさを減少させる(ステップS12)。すなわち本実施形態においては、上述したように、撮像素子14に内蔵されるFDアンプのモードをハイアンプモードからローアンプモードへ移行させる。なおこのときには、上述したように、ハイアンプモードからローアンプモードへの移行に伴う明るさの減少量を相殺する分だけ、AGC処理回路34にゲインを増加させる処理を行わせると良い。そしてその後、上述したステップS1の処理へ戻る。
一方、ステップS11において、明るさ増加処理中でないと判定された場合には、AGCゲイン検知回路37は、発光ユニット21の発光量が最小照明光量であるか否かを判定する(ステップS13)。
ここで、最小照明光量でないと判定された場合には発光ユニット21の発光量を減少させてから(ステップS14)、また、最小照明光量であると判定された場合にはそのまま、上述したステップS1の処理へ戻る。
こうして、ステップS1において終了すると判定された場合には、この明るさ調整の処理を終了する。
なお、上述では撮像素子14に内蔵されるFDアンプによりアナログ画像の増幅を行ったが、このような構成に限定されるものではなく、例えばビデオプロセッサ3内にアナログ増幅部を設ける等の構成であっても構わない。
また、アナログ画像取得部は内視鏡2などの撮像素子14等を含む構成に限定されるものではなく、撮像により生成されたアナログの画像を取得するものであれば良い。従って、アナログ画像取得部は、例えばビデオプロセッサ3に相当するような画像処理装置におけるアナログ画像入力部であっても構わない。
そして、上述では、観察モードとして通常光観察モードと蛍光観察モードを例に挙げたが、その他にも、例えばNBI(Narrow Band Imaging:登録商標)観察モードに設定可能であっても構わない。
なお、上述では、アナログ増幅を、ローアンプモードとハイアンプモードとの不連続な2段階の切り替えとしたが、勿論これに限るものではない。例えば、より連続的な切り替えに近付くように、アナログ増幅のゲインの変化ステップを小さくしても良い。さらには、アナログ増幅のレンジをより大きくしても良い。具体例としては、アナログ増幅のゲインを1〜8までのレンジで、例えば256段階に分割した細かい変化ステップで行うようにしても良い。この場合には、明るさを増加する際に、AGC処理回路34によるデジタルのゲインが4に達した段階でアナログ増幅のゲインを段階的に上げて行くようにし、逆に明るさを減少する際に、アナログ増幅のゲインを段階的に下げて行き、アナログ増幅のゲインが1に達した段階でAGC処理回路34によるデジタルのゲインを4から減少させるようにする、等の処理が考えられる(ただし、この処理に限らず、上述したヒステリシス形状の明るさ調整経路を保つようにする処理であっても良い)。
このような実施形態1によれば、光源光量の調整による明るさの調整を優先して行っているために、光源光量の調整のみで対応可能な範囲(例えば近点)内においては出力用画像の画質が低下することがない。
また、AGC処理回路34によるゲイン調整により明るさの調整を行う場合には、出力用画像に階調落ちが発生しない上限を示す閾値Th以下の範囲内で調整を行うようにしたために、デジタルでゲインを調整しても出力用画像の画質が低下するのを防止することができる。
さらに、ゲインが閾値Thになっても明るさが不足する場合には、明るさ変化部としてのFDアンプをローアンプモードからハイアンプモードへ移行させるようにしたために、出力用画像の明るさの調整幅を広く確保することができ、遠点観察にも対応可能となる。
一方、デジタルゲインが1になっても明るさが過剰である場合には、明るさ変化部としてのFDアンプをハイアンプモードからローアンプモードへ移行させるようにしたために、出力用画像の画質を高いレベルに戻すことができ、例えば近点観察時の画質を高いレベルに維持することが可能となる。
そして、FDアンプのアンプモードを変更する際に、アンプモードの変更に伴う明るさの変化量を相殺する分だけ、AGC処理回路34がゲインを変化させるようにしたために、出力用画像の明るさが急激に変化するのを防止し、観察者の違和感が生じないようにすることができる。
加えて、FDアンプをローアンプモードからハイアンプモードへ移行させるときの第1の明るさ調整レベルが、ハイアンプモードからローアンプモードへ移行させるときの第2の明るさ調整レベルよりも高くなるように、つまりいわゆるヒステリシス曲線に類似する経路形状となるようにしたために、モードスイッチングの発生回数、ひいては画質の変化回数を低減し、観察者の違和感を軽減することができる。
こうして、遠点観察等の暗い被写体に対応可能となるように明るさ調整幅を広く確保することができると共に、近点観察等の明るい被写体の画質を低下させることのない内視鏡装置となる。
[実施形態2]
図5から図7は本発明の実施形態2を示したものであり、図5は明るさ調整の手順を示す図、図6は撮像素子14の画素配列を示す図、図7はビニング処理における加算対象画素の例を示す図である。
この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
上述した実施形態1は、明るさ変化部としてFDアンプを用いたが、本実施形態は、ビニングフレーム加算回路35または撮像素子14が備えるビニング処理機能を用いるものとなっている。
図6に示すように、撮像素子14は、画素14pを例えば水平方向および垂直方向に配列した2次元状の画素配列となっている。
そして、本実施形態においては、ビニング処理として、例えば図7に示すような4画素加算、すなわち、水平方向および垂直方向に隣接する2×2画素(4つの画素14p)を加算して1画素(ビニング後の画素14b)として取り扱う(従って、画像の明るさが増大する)2×2ビニングを行うものとする。従って、ビニング処理は、撮像素子の各画素から得られる画像を処理することにより明るさを変化させる処理の一種である。
ここに、ビニング処理は、ビニング処理機能を備えた撮像素子14を用いる場合には撮像素子14内において行うことも可能であるし、画像処理回路33中のビニングフレーム加算回路35により行うことも可能である。
例えば撮像素子14内においてビニング処理を行う場合には、一例としての2×2ビニングのときにはビニング処理後の画素数が1/4となって、読み出し画素数を低減することができるために、読出期間を短縮してフレームレートを向上することができる利点がある。
一方、ビニングフレーム加算回路35においてビニング処理を行う場合には、ビニング処理前の画像を保存したままビニング処理後の画像を生成する等が可能であるために、加算対象の着目4画素を2×2画素単位で移動していくのに代えて、水平1画素単位で移動し、1水平ラインが終了したところで垂直1画素単位で移動して再び水平1画素単位で移動するようにすれば、画素数がほとんど低減することがない(m、nを正の整数として、撮像素子14の全画素をm×n画素としたときに、ビニング処理後の画素数は(m−1)×(n−1)画素となる)利点がある。
こうして明るさ変化部としてビニング処理機能を用いた場合の明るさ調整の手順は、図5に示すように、上述した実施形態1の図2に示したものとほぼ同様である。すなわち、実施形態1のハイアンプモードへの移行に代えて4画素加算のビニング処理を行い、ローアンプモードへの移行に代えてビニング処理による画素加算をオフすれば良い。
なお、明るさ変化部としてビニング処理機能を用いる場合には、画像の明るさを得る代わりに、画素数の低下(特に、撮像素子14内でのビニング処理の場合)や、画像の鮮鋭度の低下(例えば、ビニングフレーム加算回路35内でのビニング処理の場合(空間的に近接した画素信号の加算を行うため))等を招くことになる。従って、明るさ変化部としてのビニング処理機能の利用は、画像の明るさと、出力用画像の画質と、のトレードオフの関係となっている。
また、画素数の低下を避けたい場合には、画素補間等の処理を追加して行うようにすれば良い。一方、鮮鋭度の低下を抑制したい場合には、鮮鋭度の強調処理を追加して行うようにすれば良い。
このような実施形態2によれば、ビニング処理を行うことによっても、上述した実施形態1とほぼ同様の効果を奏することができる。
[実施形態3]
図8から図10は本発明の実施形態3を示したものであり、図8は明るさ調整の手順を示す図、図9は蛍光観察モードにおける通常露光モードの動作を示すタイミングチャート、図10は蛍光観察モードにおける長時間露光モードの動作を示すタイミングチャートである。
この実施形態3において、上述の実施形態1,2と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
本実施形態は、明るさ変化部としてフレームレートの制御(すなわち、フレーム期間の変更)を行う撮像素子ドライバ41を用いるものとなっている。
撮像素子ドライバ41は、観察モードが通常光観察モードや蛍光観察モード、あるいはNBI観察モード等の何れであっても、必要に応じて、撮像素子14により撮像する際のフレームレートを上述したように制御し得るようになっている。
すなわち、例えば蛍光観察モードにおける通常露光モード時には、図9に示すように、光源装置4が励起光と参照光とを所定のタイミングで交互に発光する。そして、撮像素子14は励起光または参照光が発光されている間に露光を行う(露光期間EXP)。この通常露光モードの露光期間EXPが終了すると、撮像素子ドライバ41は、読出開始信号を撮像素子14へ出力する。撮像素子14は、読出開始信号を受けると読出期間RDに移行して、撮像した画像を画素単位、あるいはライン単位等で順次出力する。
一方、図10に示すような蛍光観察モードにおける長時間露光モード時に、光源装置4が励起光と参照光とを交互に発光するのは通常露光モード時と同様である。ただし、参照光を照射した結果得られる被検体からの反射光は通常の明るさを期待することができるのに対して、励起光を照射した結果、励起光カットフィルタを介して得られる被検体からの蛍光は、極めて微弱な明るさであると考えられる。そこで、AGCゲイン検知回路37は、LED駆動回路25を介して、長時間露光モードにおける励起光の照射期間(すなわち、励起光の露光期間EXP)を、通常露光モードにおける励起光の照射期間よりも長くするように発光ユニット21を制御する。具体例としては、通常露光モードの2フレーム分の期間(概略、(通常露光モードの2フレーム分の露光期間EXP)+(通常露光モードの1フレーム分の読出期間RD))とする等である。
従って、AGCゲイン検知回路37は、LED駆動回路25を介して発光ユニット21の発光タイミングを制御すると共に、撮像素子ドライバ41が撮像素子14へ出力する読出開始信号のタイミングを制御するようになっている。
こうして明るさ変化部としてフレームレートの制御を行う撮像素子ドライバ41を用いた場合の明るさ調整の手順は、図8に示すように、上述した実施形態1の図2に示したものとほぼ同様である。すなわち、実施形態1のハイアンプモードへの移行に代えて長時間露光モードへの移行を行い、ローアンプモードへの移行に代えて通常露光モードへの移行を行えば良い。
なお、明るさ変化部としてフレームレートの制御を行う撮像素子ドライバ41を用いる場合には、画像の明るさを得る代わりに、フレームレートの低下や、ブレの発生等を招くことになる。従って、明るさ変化部としてのフレームレートの制御を行う撮像素子ドライバ41の利用は、画像の明るさと、撮像素子14により取得されるアナログ画像のフレームレートと出力用画像の画質との少なくとも一方と、のトレードオフの関係となっている。
このような実施形態3によれば、フレームレートを変更する処理を行うことによっても、上述した実施形態1,2とほぼ同様の効果を奏することができる。
また、フレームレートを変更するモードスイッチングは撮像素子14のリセットを必要とする場合があり、このときには、モードスイッチングに伴ってフレーム落ちが発生することになる。従って、上述したようにモードスイッチングが発生し難いヒステリシス形状の明るさ調整経路を採用することにより、フレーム落ちの発生回数を大幅に抑制することが可能となる利点がある。
[実施形態4]
次に、図11は本発明の実施形態4を示したものであり、蛍光観察モードにおける長時間露光モードの動作を示すタイミングチャートである。
この実施形態4において、上述の実施形態1〜3と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
本実施形態は、明るさ変化部としてビニングフレーム加算回路35が備えるフレーム加算処理機能を用いるものとなっている。
まず、本実施形態においても、露光モードとして、通常露光モードと長時間露光モードとを設定可能となっている。これらの内の通常露光モードにおける露光および読み出しの動作は、上述した実施形態3の図9に示した動作と同様である。
一方、本実施形態における長時間露光モード時の露光および読み出しの動作は、例えば図11に示すように行う。
すなわち、図9に示した処理と同様に、撮像時のフレームレートは一定のままとする(従って、撮像素子14のリセットは不要となる)。ただし、図9の処理では励起光と参照光とを交互に照射して露光を行ったのに対して、本実施形態においては、例えば励起光、励起光、参照光(より明るい励起光の画像を得たい場合には、励起光の連続発光回数を増加させれば良い)の発光順序を繰り返して行うように制御して露光を行う。こうして、取得されたフレーム画像の内の、連続する励起光の発光期間の露光により得られたフレーム画像(時間的に近接する複数フレームの画像)をビニングフレーム加算回路35においてフレーム加算する(従って、出力用画像のフレームレートは低減する)。
このような処理を行うことにより、通常の露光時間の参照光の画像と、露光時間の長い励起光の画像と、を交互に得ることができる。
なお、明るさ変化部としてビニングフレーム加算回路35が備えるフレーム加算処理機能を用いる場合に、画像の明るさとトレードオフの関係となるのは、上述した実施形態3と同様に、フレームレートと出力用画像の画質との少なくとも一方である。
このような実施形態4によれば、上述した実施形態3とほぼ同様の効果を奏するとともに、光源装置4の発光順序とビデオプロセッサ3の画像処理内容については変更が必要であるが、撮像素子14の撮像時のフレームレートは変更の必要がないために、モードスイッチングを行ってもフレーム落ちが発生しない利点がある。
[実施形態5]
図12から図14は本発明の実施形態5を示したものであり、図12は明るさ調整の手順を示す図、図13は小径絞り開口時の対物絞り12の状態を示す図、図14は大径絞り開口時の対物絞り12の状態を示す図である。
この実施形態5において、上述の実施形態1〜4と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
本実施形態は、明るさ変化部として対物絞り12を用いるものとなっている。
対物絞り12は、より詳しくは、例えば図13および図14に示すように構成されている。
すなわち、対物絞り12は、光束通過用開口12bを有する絞り基板12aと、この絞り基板12aに対して回動軸12eを介して回動可能に軸支された絞り枠12cと、を備えている。絞り枠12cは、軸支部12dを介して回動軸12eに取り付けられており、小径絞り開口12sと、大径絞り開口12lと、を備えている。
小径絞り開口12sは、主に被写体の明るさが不足していないとき(例えば近点観察等)に用いられ、撮像素子14上に結像される画像は大径絞り開口12lの場合よりも暗くなるが、被写界深度が深い特徴がある。
一方、大径絞り開口12lは、主に被写体の明るさが不足しているとき(例えば遠点観察等)に用いられ、撮像素子14上に結像される画像は小径絞り開口12sの場合よりも明るくなるが、小径絞り開口12sを用いる場合に比して被写界深度が浅い。
内視鏡分野では、例えば数十mm程度の近点〜中点距離で観察を行うことが多く、撮像光学系11もこうした被写体距離に合わせて設計されることが多い。従って、100mm程度の遠点からの観察を大径絞り開口12lを介して行うと、被写界深度の浅さのために、遠点付近の被写体の像がぼけてしまうと考えられる。そこで、遠点観察時に被写体のピントがずれることのないように、大径絞り開口12lにはフォーカス位置調整用の補助レンズ11aが取り付けられている(ただし、撮像光学系11が焦点調節機能を備えている場合には、該機能を利用しても構わない)。
アクチュエータ13は、このような対物絞り12を駆動して、図13に示すような小径絞り開口12sが光束通過用開口12b上に位置する小絞りモードと、図14に示すような大径絞り開口12lが光束通過用開口12b上に位置する大絞りモードと、を切り替えて、撮像素子14上に結像される光学像の明るさを変化させる。
こうして明るさ変化部として対物絞り12を用いた場合の明るさ調整の手順は、図12に示すように、上述した実施形態1の図2に示したものとほぼ同様である。すなわち、実施形態1のハイアンプモードへの移行に代えて大絞りモードへの移行を行い、ローアンプモードへの移行に代えて小絞りモードへの移行を行えば良い。
なお、明るさ変化部として対物絞り12を用いる場合には、画像の明るさを得る代わりに、上述したように被写界深度の低下を招くことになる。従って、明るさ変化部としての対物絞り12の利用は、画像の明るさと、出力用画像の画質と、のトレードオフの関係となっている。
このような実施形態5によれば、対物絞り12を用いることによっても、上述した実施形態1〜4とほぼ同様の効果を奏することができる。
なお、上述した各実施形態の明るさ変化部の構成を、複数組み合わせて用いるようにしても勿論構わない。この場合には、明るさのダイナミックレンジをより拡大することができる利点がある。
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
1…内視鏡装置
2…内視鏡(アナログ画像取得部)
3…ビデオプロセッサ(明るさ変化部としてのアナログ増幅部を含むこともある)
4…光源装置
5…観察モニタ
6…デジタルファイリング装置
7…入力部
11…撮像光学系
11a…補助レンズ
12…対物絞り(明るさ変化部)
12a…絞り基板
12b…光束通過用開口
12c…絞り枠
12d…軸支部
12e…回動軸
12l…大径絞り開口
12s…小径絞り開口
13…アクチュエータ
14…撮像素子(アナログ画像取得部、明るさ変化部としてのFDアンプを含む)
14b…ビニング後の画素
14p…画素
15…照明光学系
16…ライトガイド
17…モード切替指示スイッチ
18…スコープIDメモリ
21…発光ユニット
22r…R−LED
22b…B−LED
22g…G−LED
23b,23g,23r…ビームスプリッタ
24…コリメートレンズ
25…LED駆動回路
26…電源
31…プロセス回路
32…A/D変換回路(A/D変換部)
33…画像処理回路
34…AGC処理回路(デジタルゲイン調節部)
35…ビニングフレーム加算回路(明るさ変化部)
36…色マトリクス回路(出力画像生成部)
37…AGCゲイン検知回路(制御部)
38a,38b,38c…D/A変換回路
39…符号化回路
41…撮像素子ドライバ(明るさ変化部)
42…アクチュエータ制御回路
43…モード切替回路
44…調光制御パラメータ切替回路
45…調光回路

Claims (12)

  1. 撮像により生成されたアナログの画像を取得するアナログ画像取得部と、
    アナログの前記画像を所定の階調数のデジタルの画像に変換するA/D変換部と、
    デジタルの前記画像のゲインを調節するデジタルゲイン調節部と、
    前記デジタルゲイン調節部によりゲイン調節されたデジタルの前記画像から出力用の画像を生成する出力画像生成部と、
    前記画像の明るさを変化させる明るさ変化部と、
    前記ゲインが前記所定の階調数に基づいて設定される閾値以上であるかを判定し、前記閾値以上である場合には、前記デジタルゲイン調節部にゲインを該閾値よりも増加させないように、かつ前記明るさ変化部に対して前記画像の明るさを増大させるように制御する制御部と、
    を具備したことを特徴とする内視鏡装置。
  2. 前記制御部は、前記明るさ変化部を制御する際に前記デジタルゲイン調節部にゲインを調整させて、該明るさ変化部の制御の前後における出力用の前記画像の明るさが略同一に維持されるようにさらに制御することを特徴とする請求項1に記載の内視鏡装置。
  3. 前記制御部は、前記所定の階調数と、出力用の階調数と、に基づき前記閾値をさらに設定するものであることを特徴とする請求項2に記載の内視鏡装置。
  4. 前記出力画像生成部は、前記デジタルゲイン調節部によりゲイン調節されたデジタルの前記画像に、γ変換を行うと共に、前記出力用の階調数への変換を行って出力用の画像を生成し、
    前記制御部は、前記所定の階調数をN、前記γ変換を行うときに階調落ちが発生しない階調数をL、前記出力用の階調数をM、1以下の所定の係数をλとし、NとLの内の大きくない方の値をmin[N,L]により表すとすると、前記閾値Thを
    Th=λ×min[N,L]/M
    として設定することを特徴とする請求項3に記載の内視鏡装置。
  5. 前記制御部は、前記明るさ変化部による明るさの変化が不連続である場合には、前記デジタルゲイン調節部および前記明るさ変化部による明るさ調整レベルが、前記明るさ変化部に明るさを増大させたときの第1の明るさ調整レベルよりも低い第2の明るさ調整レベルとなったときに、前記明るさ変化部に明るさを減少させるようにさらに制御することを特徴とする請求項4に記載の内視鏡装置。
  6. 前記明るさ変化部は、出力用の前記画像の画質と、前記アナログ画像取得部により取得されるアナログの前記画像のフレームレートと、の少なくとも一方とトレードオフの関係となるように、前記画像の明るさを変化させることを特徴とする請求項5に記載の内視鏡装置。
  7. 前記明るさ変化部は、前記画像を処理することにより明るさを変化させることを特徴とする請求項6に記載の内視鏡装置。
  8. 前記明るさ変化部は、アナログの前記画像を増幅するアナログ増幅部を有し、アナログの前記画像の増幅率を変化させることにより、明るさを変化させることを特徴とする請求項7に記載の内視鏡装置。
  9. 前記アナログ画像取得部は、複数の画素が配列された撮像素子を備え、
    前記明るさ変化部は、前記撮像素子の各画素から得られる画像に対してビニング処理を行うことにより、前記画像の明るさを増大することを特徴とする請求項7に記載の内視鏡装置。
  10. 前記アナログ画像取得部は、アナログの画像をフレーム単位で時系列的に取得するものであり、
    前記明るさ変化部は、時間的に近接する複数フレームの画像を加算することにより、明るさを変化させることを特徴とする請求項7に記載の内視鏡装置。
  11. 前記アナログ画像取得部は、アナログの画像をフレーム期間毎に取得するものであり、
    前記明るさ変化部は、前記フレーム期間を変更することにより、明るさを変化させることを特徴とする請求項6に記載の内視鏡装置。
  12. 前記アナログ画像取得部は、光学像からアナログの前記画像を生成する撮像素子と、光学像を前記撮像素子に結像する撮像光学系と、前記光学像の明るさを変化させる対物絞りと、を備え、
    前記明るさ変化部は、前記対物絞りにより前記光学像の明るさを変化させることにより、明るさを変化させることを特徴とする請求項6に記載の内視鏡装置。
JP2012271652A 2012-12-12 2012-12-12 内視鏡装置 Active JP6000838B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012271652A JP6000838B2 (ja) 2012-12-12 2012-12-12 内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012271652A JP6000838B2 (ja) 2012-12-12 2012-12-12 内視鏡装置

Publications (2)

Publication Number Publication Date
JP2014113416A true JP2014113416A (ja) 2014-06-26
JP6000838B2 JP6000838B2 (ja) 2016-10-05

Family

ID=51170059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012271652A Active JP6000838B2 (ja) 2012-12-12 2012-12-12 内視鏡装置

Country Status (1)

Country Link
JP (1) JP6000838B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016209380A (ja) * 2015-05-12 2016-12-15 ソニー株式会社 医療用撮像装置、撮像方法及び撮像装置
WO2017006404A1 (ja) * 2015-07-03 2017-01-12 オリンパス株式会社 内視鏡システム
JP2018138141A (ja) * 2017-02-24 2018-09-06 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
JP2020116146A (ja) * 2019-01-24 2020-08-06 富士フイルム株式会社 内視鏡システム
WO2021117136A1 (ja) * 2019-12-10 2021-06-17 オリンパス株式会社 撮像システム及び内視鏡システム
WO2021161369A1 (ja) * 2020-02-10 2021-08-19 オリンパス株式会社 内視鏡装置、情報処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003010101A (ja) * 2001-04-27 2003-01-14 Fuji Photo Film Co Ltd 内視鏡装置の撮像方法および装置
JP2011194040A (ja) * 2010-03-19 2011-10-06 Olympus Medical Systems Corp 医療機器
JP2012217483A (ja) * 2011-04-04 2012-11-12 Fujifilm Corp 内視鏡システム及びその駆動方法
WO2012164991A1 (ja) * 2011-05-27 2012-12-06 オリンパスメディカルシステムズ株式会社 医療装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003010101A (ja) * 2001-04-27 2003-01-14 Fuji Photo Film Co Ltd 内視鏡装置の撮像方法および装置
JP2011194040A (ja) * 2010-03-19 2011-10-06 Olympus Medical Systems Corp 医療機器
JP2012217483A (ja) * 2011-04-04 2012-11-12 Fujifilm Corp 内視鏡システム及びその駆動方法
WO2012164991A1 (ja) * 2011-05-27 2012-12-06 オリンパスメディカルシステムズ株式会社 医療装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016209380A (ja) * 2015-05-12 2016-12-15 ソニー株式会社 医療用撮像装置、撮像方法及び撮像装置
US10912451B2 (en) 2015-05-12 2021-02-09 Sony Corporation Medical imaging apparatus, imaging method, and imaging apparatus
WO2017006404A1 (ja) * 2015-07-03 2017-01-12 オリンパス株式会社 内視鏡システム
US10959601B2 (en) 2015-07-03 2021-03-30 Olympus Corporation Endoscope system
JP2018138141A (ja) * 2017-02-24 2018-09-06 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
JP2020116146A (ja) * 2019-01-24 2020-08-06 富士フイルム株式会社 内視鏡システム
JP7112970B2 (ja) 2019-01-24 2022-08-04 富士フイルム株式会社 内視鏡システム
WO2021117136A1 (ja) * 2019-12-10 2021-06-17 オリンパス株式会社 撮像システム及び内視鏡システム
WO2021161369A1 (ja) * 2020-02-10 2021-08-19 オリンパス株式会社 内視鏡装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP6000838B2 (ja) 2016-10-05

Similar Documents

Publication Publication Date Title
JP6000838B2 (ja) 内視鏡装置
JP5901854B2 (ja) 撮像装置
JP5534997B2 (ja) 電子内視鏡システム
KR101050887B1 (ko) 내시경용 화상 처리 장치 및 내시경 장치
US9858666B2 (en) Medical skin examination device and method for processing and enhancing an image of a skin lesion
EP1712177B1 (en) Signal processing device for endoscope
JP5355799B2 (ja) 内視鏡装置および内視鏡装置の作動方法
JP5184016B2 (ja) 撮像装置
US9513221B2 (en) Fluorescence observation apparatus
JP6247425B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US8545399B2 (en) Medical instrument
JP2012152413A (ja) 電子内視鏡システム
JP2007082180A (ja) 撮像装置及び画像処理方法
JP2017202241A (ja) 内視鏡システム、プロセッサ装置、及び信号処理方法
JP2006314504A (ja) 内視鏡プロセッサ
JP6285370B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JP7454409B2 (ja) 医療用制御装置及び医療用制御装置の制御方法
JP5242516B2 (ja) 画像処理装置
WO2016171087A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2018181156A1 (ja) 電子内視鏡システム
JP5856943B2 (ja) 撮像システム
JP2009206585A (ja) 画像処理装置、画像処理プログラムおよびデジタルカメラ
JP2013099595A (ja) 電子内視鏡システム
JP6312254B2 (ja) 内視鏡システム及びその作動方法
JP2018202006A (ja) 撮像システム、撮像方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150227

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150422

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20150525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160831

R151 Written notification of patent or utility model registration

Ref document number: 6000838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250