JP2010068993A - 電子内視鏡システム - Google Patents

Abstract

【課題】安価に構成しながらも、全体が明るく観察に適した画像を容易に得ることができる電子内視鏡システムを提供する。
【解決手段】電子内視鏡システム１１は、ＣＭＯＳ型のイメージセンサ（ＣＭＯＳセンサ）３１、ＣＰＵ５２、エリア輝度算出部６６、観察画像合成部６７等から構成される。ＣＭＯＳセンサ３１は、被写体内に挿入される挿入部に設けられ、ＣＰＵ５２は、ＣＭＯＳセンサ３１の露光後に、ＣＭＯＳセンサ３１の各画素に信号電荷を保持させたまま、増幅率の異なる撮像信号を複数回読み出す。エリア輝度算出部６６は、各画像データを複数のエリアに区分けし、各エリアを代表する輝度値を算出する。観察画像合成部６７は、エリア毎の輝度値に基づき、最適な増幅率の画像データを領域毎に判別し、領域単位で各画像データを組み合わせて１枚の観察用画像データを合成する。
【選択図】図３

Description

本発明は、被写体内を撮像する電子内視鏡システムに関するものであり、さらに詳しくは、ＣＭＯＳ型イメージセンサを用いる電子内視鏡システムに関する。

医療分野においては、細長い挿入部を被検者の体内に挿入して、挿入部の先端付近に搭載された小型の撮像装置によって、被検者の体内を直接的に撮像して診断する電子内視鏡システムが広く普及している。こうした電子内視鏡システムに搭載される微小な撮像装置は、いわゆるイメージセンサが搭載されており、被検者の体内に照明光を照射して、被検者の体内で反射された光を受けて、これを光電変換し、画素毎に信号電荷を蓄積する。そして、イメージセンサから信号電荷に対応する撮像信号を出力させて観察画像を得る。

イメージセンサとしては、ＣＭＯＳ型のイメージセンサやＣＣＤ型のイメージセンサが知られている。ＣＭＯＳ型のイメージセンサは安価に生産でき、また低消費電力であるという利点がある反面、通常は１水平ライン毎に順に信号の読み出しが行われるローリングシャッタ方式が採用されているために、動く被写体を撮像すると像が歪んでしまう点や、画素毎に設けられたアンプの個体差によりノイズが大きく高画質の画像を得るのが難しいという点が欠点である。一方、ＣＣＤ型のイメージセンサは、高価で高消費電力であり、スミアやブルーミング等の構造に起因する固有の問題点があるものの、高感度で高画質の画像が得易く、また、一つの画像内での同時性を確保できることから動く被写体の撮像に向いているという特徴がある。こうしたことから、静止させることが難しい被検者の体内を撮像する電子内視鏡システムでは、撮像装置にＣＣＤ型のイメージセンサが多く採用されている。

ところで、ＣＭＯＳやＣＣＤとった構造の違いによらず、イメージセンサが各画素に蓄積することができる信号電荷の総量には上限がある。このため、識別可能な信号電荷の量（いわゆるダイナミックレンジ）には限りがあり、極端にコントラスト差の大きい被写体を撮像すると、露光量が極端に大きい部分が白く飛んでしまったり、信号が飽和することを防ぐために露光量を減らすと、露光量が不十分な部分が黒くつぶれてしまったりすることがある。こうした不具合を軽減するために、イメージセンサのダイナミックレンジを擬似的に拡大して撮像できるようにする技術が知られている。例えば、特許文献１には、露光しながら複数回にわたって撮像信号を読み出して、複数の画像を取得し、これらの画像を対数的に圧縮して合成することで、ダイナミックレンジが拡大された本画像を得ることが記載されている。

また、同様に、イメージセンサのダイナミックレンジに起因する不具合を軽減するために、ダイナミックレンジを擬似的に拡大させるのではなく、露光しながら撮像信号を複数回に渡って読み出し、ここで得られる画像から、適切な露光量を判別したり、最終的に取得する画像の増幅率を変化させるなどして適切な露光量の画像を得る技術が知られている（特許文献２）。
特開２００７−１５１０６９号公報 特開２００５−１４３８０２号公報

上述のように、電子内視鏡システムではＣＣＤ型のイメージセンサが多く採用されているが、近年では、ＣＭＯＳ型イメージセンサの改良が進み、ＣＣＤ型のイメージセンサと同等か、あるいはＣＣＤ型イメージセンサに勝る画質の画像が容易に得られるようになってきた。このため、電子内視鏡システムにおいても、安価で量産性に優れ、消費電力の少ないＣＭＯＳ型のイメージセンサを、撮像装置に搭載することが望まれている。

また、電子内視鏡システムでは、被検者の体内という形状が複雑で奥行きのある暗所に照明光を照射して撮像するので、撮像する部分の全体を均一に照明することは難しく、場所によって明暗が大きく異なることも多い。このため、前述のように、露光時間によっては、ダイナミックレンジが有限であることに起因する白飛びや黒つぶれが生じ易いという問題がある。

そこで、前述のように、露光の最中に撮像信号を複数回読み出して得られる複数の画像を合成したり、これらの撮像信号から適切な露光量や増幅率を算出すれば、露光量自体は適切な観察画像を得ることができるようになる。しかし、１回の露光の最中に、撮像信号を複数回読み出すためには、通常よりも高速に撮像信号を読み出すことができるようにする必要があるが、こうした高速読み出しには、特殊で複雑な制御回路が必要となってしまうという問題がある。

また、電子内視鏡システムで撮像対象となる被検者の体内は、静止させることが難しいものであるばかりか、その形状が僅かな時間でも大きく変化してしまうこともある。そのうえ、イメージセンサから撮像対象までの距離が通常の撮像装置に比べて極めて近く、撮像対象の動きによる影響が大きい。

こうしたことから、１回の露光の最中に撮像信号を複数回読み出して得られる画像では、これらの画像を単純に合成しても、各画像間での像の動きや形状変化によって、合成後の画像では撮像対象がぼやけてしまうなどして、撮像対象が観察し易い合成画像を得ることが難しいという問題がある。

本発明は上述の問題点に鑑みてなされたものであり、安価に構成しながらも、全体が明るく観察に適した画像を容易に得ることができる電子内視鏡システムを提供することを目的とする。

本発明の電子内視鏡システムは、被写体内に挿入される挿入部に設けられ、前記被写体内を撮像するＣＭＯＳ型のイメージセンサと、前記イメージセンサの露光後、前記イメージセンサの各画素に信号電荷を保持させたまま、各画素から撮像信号を複数回読み出すとともに、各々の信号電荷の読み出し毎に前記撮像信号の増幅率を変更することで、増幅率の異なる画像データを複数枚取得する画像データ取得手段と、各々前記画像データを複数の領域に区分けし、各々の前記領域を代表する輝度値を算出する輝度値算出手段と、前記領域毎の前記輝度値に基づき、最適な増幅率の前記画像データを前記領域毎に判別し、前記領域の単位で前記画像データを組み合わせて１枚の観察用画像データを合成する画像合成手段と、を備えることを特徴とする。

また、前記画像合成手段は、前記輝度値算出手段によって算出された前記輝度値を、予め設けられた基準輝度値と比較し、前記輝度値が前記基準輝度値に最も近い前記画像データを前記領域毎に組み合わせて、前記観察用画像データを合成することを特徴とする。

また、前記画像合成手段は、複数枚の前記画像データのうちひとつの画像データを基準画像データとし、前記基準画像データについて前記領域毎に算出された前記輝度値を予め設けられた基準輝度値と比較し、前記輝度値が前記基準輝度値よりも小さい前記領域には前記基準画像データを用い、かつ、前記輝度値が前記基準値以上の前記領域には、前記基準画像データよりも増幅率の小さい前記画像データの前記領域を用いて、前記観察用画像データを合成することを特徴とする。

また、前記画像データ取得手段は、増幅率が異なる２種類の画像データを取得することを特徴とする。

また、前記画像データ取得手段によって前記画像データが取得されるときに、前記被写体内への照明が消灯されるように、照明光を制御する照明制御手段を備えることを特徴とする。

本発明によれば、安価に構成しながらも、全体が明るく観察に適した画像を容易に得ることができる。

図１に示すように、電子内視鏡システム１１は、電子内視鏡１２、プロセッサ装置１３、光源装置１４等から構成される。また、電子内視鏡１２は、挿入部１６、手元操作部１７、ユニバーサルコード１８等から構成される。

挿入部１６は、被検者の体内に挿入されるため、被検者の体内の形状に応じて自在に湾曲するように設けられている。また、挿入部１６の先端部分１６ａには、ＣＭＯＳ型のイメージセンサ（以下、ＣＭＯＳセンサという）を内蔵した撮像装置が内蔵されている。さらに、先端部分１６ａの端面には、前方に照明光を照射する照明窓や、被検者の体内からの光をＣＭＯＳセンサに導く観察窓、各種処置具が露出される鉗子出口、洗浄水や空気等が噴射される送気送水ノズル等が設けられている。

また、先端部分１６ａの後方には、湾曲部１９が設けられている。この湾曲部１９は、複数の湾曲駒を連結されたものであり、挿入部１６に挿通されたワイヤによって、手元操作部１７に設けられたアングルノブ２１と連結されている。したがって、湾曲部１９は、手元操作部１７に設けられたアングルノブ２１の回動操作によって挿入部１６に挿通されたワイヤが押し引きされることにより、上下左右の所望の方向に自在に湾曲する。

手元操作部１７は、前述のように湾曲部１９を操作するアングルノブ２１の他に、鉗子口２２や、送気送水ボタン２３等の各種操作ボタンが設けられている。鉗子口２２には、注射針や高周波メスなどがワイヤの先端に設けられた処置具が挿通される。また、送気送水ボタン２３は、図示しない送気送水装置から供給される空気や洗浄水の送気，送水を制御する。

ユニバーサルコード１８は、その基端部分に設けられたコネクタ２４を介して、電子内視鏡１２をプロセッサ装置１３に電気的に接続するとともに、電子内視鏡１２を光源装置１４に光学的に接続する。

プロセッサ装置１３は、電子内視鏡１２，光源装置１４，モニタ２６等に接続されており、電子内視鏡システム１１の動作を統括的に制御する。また、光源装置１４は、ユニバーサルコード１８や挿入部１６に挿通されたライトガイド（図３参照）を通じて、観察部位に向けて照明光を照射する。

前述のように、電子内視鏡システム１１には、イメージセンサとしてＣＭＯＳセンサ３１が用いられている。ＣＭＯＳセンサ３１は、図２に示すように、撮像領域３２、垂直走査回路３３、相関二重サンプリング（ＣＤＳ）回路３４、列選択トランジスタ３６、出力回路３７、水平走査回路３８等から構成される。

撮像領域３２は、画素４１がマトリクス状に配列されたものであり、図示しない結像光学系により観察部位の像が結像される。画素４１は、フォトダイオードＤ１、増幅用トランジスタＭ１、画素選択用トランジスタＭ２、リセット用トランジスタＭ３等から構成される。フォトダイオードＤ１は、光電変換によって、入射光量に応じた信号電荷を生成するとともに、これを蓄積する。フォトダイオードＤ１に蓄積された信号電荷は、増幅用トランジスタＭ１によって撮像信号として増幅され、画素選択用トランジスタＭ２によって、所定のタイミングで画素４１外に出力される。また、フォトダイオードＤ１に蓄積された信号電荷は、所定のタイミングでリセット用トランジスタＭ３によって破棄される。

また、撮像領域３２には、垂直走査回路３３から水平方向（Ｘ方向）に行選択線Ｌ１及び行リセット線Ｌ２が配線されているとともに、ＣＤＳ回路３４から垂直方向（Ｙ方向）に列信号線Ｌ３が配線されている。

行選択線Ｌ１は、画素選択用トランジスタＭ２のゲートに接続されており、行リセット線Ｌ２は、リセット用トランジスタＭ３のゲートに接続されている。また、列信号線Ｌ３は、画素選択用トランジスタＭ２のソースに接続されているとともに、ＣＤＳ回路３４を介して、対応する列の列選択トランジスタ３６に接続されている。

垂直走査回路３３は、タイミングジェネレータ（ＴＧ）４２から入力されるタイミング信号に基づいて、垂直走査信号を発生し、行選択線Ｌ１を１行ずつ選択して、撮像信号を列信号線Ｌ３に出力させる画素４１の行（以下、水平ラインという）を変更する。また、垂直走査回路３３は、水平ラインの行リセット線Ｌ２を１行ずつ選択して、信号電荷の破棄を行う水平ラインを変更する。さらに、垂直走査回路３３は、行選択線Ｌ１及び行リセット線Ｌ２の選択行が撮像領域３２の端に位置する水平ラインに達した場合には、先頭の水平ラインを再び選択し、上述の動作を繰り返す。

ＣＤＳ回路３４は、垂直走査回路３３によって選択された行選択線Ｌ１に接続された画素４１の撮像信号を、ＴＧ４２から入力されるタイミング信号に基づいて保持し、ノイズ除去を行う。

水平走査回路３８は、ＴＧ４２から入力されるタイミング信号に基づいて水平走査信号を発生し、列選択トランジスタ３６のオン，オフ制御を行う。

列選択トランジスタ３６は、出力回路３７に接続された出力バスライン４３とＣＤＳ回路との間に設けられており、水平走査信号に応じて、出力バスライン４３に撮像信号を転送させる画素を選択する。出力回路３７は、ＣＤＳ回路３４から出力バスライン４３に順に転送される撮像信号を増幅し、Ａ／Ｄ変換して出力する。出力回路３７による撮像信号の増幅率は、出力回路３７にゲイン調節信号を入力することにより調節される。

図３に示すように、電子内視鏡１２には、上述のＣＭＯＳセンサ３１と、対物レンズ５１、ＣＰＵ５２、タイミングジェネレータ（ＴＧ）４２、ライトガイド５３等が設けられている。

ＣＭＯＳセンサ３１は、前述のように挿入部１６の先端部分１６ａに設けられており、その前方には対物レンズ５１が配置されている。挿入部１６の先端部分１６ａの端面には観察窓５４が設けられており、この観察窓５４から入射する被写体からの光は、対物レンズ５１によってＣＭＯＳセンサ３１の撮像領域３２に結像される。ＣＭＯＳセンサ３１は、撮像領域３２に結像された被写体像を画素４１毎に光電変換し、各画素４１に露光量に応じた信号電荷を蓄積させ、所定のタイミングでアナログの撮像信号として出力する。ＣＭＯＳセンサ３１の駆動タイミングは、ＴＧ４２から入力されるタイミング信号によって制御される。

ＣＰＵ５２（画像データ取得手段）は、プロセッサ装置１３のＣＰＵ６１と通信を行い、電子内視鏡１２の各部を統括的に制御する。例えば、ＣＰＵ５２は、プロセッサ装置１３のＣＰＵ６１からの信号に基づき、ＴＧ４２に所定のタイミング信号を生じさせることによって、ＣＭＯＳセンサ３１の動作を制御する。また、ＣＰＵ５２は、ＴＧ４２によって発生させるタイミング信号を調節することにより、各画素４１に蓄積された信号電荷を保持させたままの状態で、撮像信号を複数回にわたって出力させる。さらに、ＣＰＵ５２は、出力回路３７にゲイン調節信号を入力することにより、ＣＭＯＳセンサ３１から増幅率を調節して撮像信号を出力させる。したがって、ＣＰＵ５２は、ＣＭＯＳセンサ３１に、露光期間が全く同じで、信号の増幅率だけが互いに異なる撮像信号（例えば、増幅率の小さい低ゲイン撮像信号と、増幅率の大きい高ゲイン撮像信号の２種類の撮像信号）を出力させる。

ライトガイド５３は、ユニバーサルコード１８や挿入部１６の内部に挿通されており、一端が挿入部１６の先端部分１６ａの端面に設けられた照明窓５６に接続され、他端は光源装置１４に接続されている。光源装置１４からの照明光は、ライトガイド５３を通じて、照明窓５６から観察部位へと照射される。

また、図３に示すように、プロセッサ装置１３は、ＣＰＵ６１、ＤＳＰ６２、Ｄ／Ａ変換回路６３、ＲＡＭ６４、エリア輝度算出部６６、観察画像合成部６７等から構成される。

ＣＰＵ６１は、プロセッサ装置１３の各部の動作を制御するとともに、電子内視鏡１２のＣＰＵ５２や光源装置１４のＣＰＵ７１と通信して、電子内視鏡１２や光源装置１４の動作を制御することにより、電子内視鏡システム１１を統括的に制御する。

ＤＳＰ６２は、ＣＭＯＳセンサ３１から出力された撮像信号に対して、色補間、ホワイトバランス調整、ガンマ補正等の各種信号処理を施す。ＣＭＯＳセンサ３１から出力された撮像信号は、ＤＳＰ６２によって各種画像処理が施されると、画像データとしてＲＡＭ６４に保持される。ＤＳＰ６２による各種画像処理は、ＣＭＯＳセンサ３１から出力される全ての撮像信号について施されるので、前述のように、ＣＭＯＳセンサ３１から、低ゲイン撮像信号と高ゲイン撮像信号が出力された場合には、低ゲイン撮像信号に各種信号処理を施した低ゲイン画像データと、高ゲイン撮像信号に各種信号処理を施した高ゲイン画像データが各々ＲＡＭ６４に保持される。また、ＤＳＰ６２は、ＲＡＭ６４から必要な画像データを読み出して、ＮＴＳＣ信号等の映像信号に変換し、Ｄ／Ａ変換回路６３によってＤ／Ａ変換することにより、画像データをモニタ２６上に表示させる。

エリア輝度算出部６６（輝度算出手段）は、ＲＡＭ６４に保持された画像データを読み出して、画像データを複数のエリア（領域）に区分けし、各エリアを代表する輝度値６８を算出する。各エリアを代表する輝度値６８は、エリア内の各画素の輝度値の平均で求められる。ここで算出された各エリアの輝度値６８は、ＲＡＭ６４に一時的に記録され、観察画像合成部６７によって使用される。

観察画像合成部６７（画像合成手段）は、ＲＡＭ６４に保持された画像データを複数読み出す。同時に、観察画像合成部６７は、読み出した各画像データについて、エリア輝度算出部６６によって区分けされたエリア毎の輝度値をそれぞれ読み出す。そして、観察画像合成部６７は、読み出した複数の画像データについて、エリア輝度算出部６６によって算出された輝度値を、ＲＡＭ６４に予め記憶された基準輝度値６９と比較し、輝度値が基準輝度値６９に最も近い画像データを判別する。観察画像合成部６７は、こうした判別を画像データの全てのエリアについて行う。そして、観察画像合成部６７は、ＲＡＭ６４から読み出した複数の画像データから、エリア輝度算出部６６によって算出される輝度値が基準輝度値６９に最も近い画像データが使用されるように、複数の画像データをエリア毎に組み合わせて１枚の観察画像データ（合成観察画像）を合成する。こうして観察画像合成部６７によって合成された観察画像データがモニタ２６上に診断に利用される観察画像として表示される。なお、基準輝度値６９は、診断に適した画像データの明るさの目安として、観察部位や照明光の波長帯等に応じて予め定められた輝度値である。

また、図３に示すように、光源装置１４は、ＣＰＵ７１（照明制御手段）、光源７２、波長選択フィルタ７３等から構成される。ＣＰＵ７１は、プロセッサ装置１３のＣＰＵ６１と通信し、ＣＭＯＳセンサ３１の駆動タイミング等に応じて、光源７２や波長選択フィルタ７３を駆動することにより、光源装置１４を制御する。

光源７２は、キセノンランプやハロゲンランプ等の広い波長帯にわたって高輝度の光を発する高輝度光源であり、ＣＰＵ７１によって点灯消灯の切り替えが制御される。また、光源７２から発せられた光は、集光レンズ７４によってライトガイド５３に効率良く導かれる。

波長選択フィルタ７３は、光源７２から発せられた光を、特定の波長帯の光に制限するフィルタであり、ＣＰＵ７１からの指示に基づいて、光源７２と集光レンズ７４の間に挿入，または退避される。これにより、光源装置１４は、設定や医師の操作等、必要に応じて照明光の波長帯を自在に切り替えられるようになっている。例えば、光源装置１４は、単に白色の可視光を出力するだけでなく、赤外光等の可視光以外の光や、可視光のＲＧＢ成分の比率を調節した特殊光を出力することができるようになっている。

上述のように構成される電子内視鏡システム１１によって診断を行うと、図４に示すようにして、照明光の波長帯や露光時間等の露光条件が等しく、ＣＭＯＳセンサ３１から出力される撮像信号の増幅率だけが異なる２種類の画像データが取得され、これらを合成して観察画像がモニタ２６上に表示される。

まず、設定等に応じた波長帯の照明光が観察部位に照射された状態で、ＣＭＯＳセンサ３１は所定の時間だけ露光され、露光量に応じた信号電荷が各画素４１に蓄積された状態となる。この間、ＣＭＯＳセンサ３１から撮像信号は出力されず、また、どの画素４１の蓄積電荷も破棄されない。

そして、所定時間の露光が完了すると、照明光は消灯される。同時に、出力回路３７のゲインが低く設定され、低ゲイン撮像信号がＣＭＯＳセンサ３１から出力される。このとき、各画素４１の信号電荷は破棄されずに、蓄積状態が維持される。また、低ゲイン撮像信号には、各種画像処理が施されて、低ゲイン画像データが取得される。

低ゲイン撮像信号が出力されると、出力回路３７のゲインが高く設定しなおされ、高ゲイン撮像信号がＣＭＯＳセンサ３１から出力される。ここで出力された高ゲイン撮像信号には各種画像処理が施されて、高ゲイン画像データが取得される。

こうして、低ゲイン画像データと高ゲイン画像データとが取得されると、各画素４１に蓄積されていた信号電荷は全て破棄されるとともに、再び照明光が点灯される。そして、ＣＭＯＳセンサ３１は、再び露光期間となり、上述の動作が繰り返される。

一方、上述のようにして取得された低ゲイン画像データと高ゲイン画像データは、１枚の観察画像データに合成されてモニタ２６上に表示される。このとき、低ゲイン画像データ８１と高ゲイン画像データ８２は、図５に示すようにして合成され、観察用画像データ８３とされる。

まず、取得された低ゲイン画像データ８１と高ゲイン画像データ８２は、各々に、いくつかのエリアに区分けされる。図５では、説明のため、３行３列の合計９個のエリア８４に区分けし、最上列の左側からエリア８４ａ、エリア８４ｂ、エリア８４ｃとし、中段の左側からエリア８４ｄ、エリア８４ｅ、エリア８４ｆ、下段の左側からエリア８４ｇ、エリア８４ｈ、エリア８４ｉとする。

このとき、低ゲイン画像データ８１と高ゲイン画像データ８２では、区分けされた各エリア８４が相互に対応するように、エリア８４の個数，大きさ，位置が等しくなるようにして区分けされる。

そして、区分けされた個々のエリア８４について、エリア内の輝度の平均値が算出され、各エリア８４を代表する輝度値としてその値が保持される。なお、この各エリアの輝度値は、ＲＡＭ６４に一時的に保持されるのみで、実際に画像データ内に表示されることはないが、図５では便宜上、各エリア８４を代表する輝度値を数字として各エリア８４内に例示する。

各エリア８４で輝度値６８が算出されると、低ゲイン画像データ８１と高ゲイン画像データ８２とで、エリア８４毎に、輝度値６８と基準輝度値６９（例えば１００という値）が比較される。このとき、低ゲイン画像データ８１と高ゲイン画像データ８２の対応するエリア８４のうち、どちらの輝度値６８がより基準輝度値６９に近いかを判別される。そして、エリア８４毎に輝度値がより基準輝度値６９に近い方の画像データが用いられるようにして低ゲイン画像データ８１と高ゲイン画像データ８２とが合成され観察用画像データ８３がつくられる。

例えば、図５では、エリア８４ａ〜８４ｄ，８４ｆ〜８４ｉの輝度値６８は、低ゲイン画像データ８１のエリア８４の方が高ゲイン画像データ８２の同エリア８４よりも輝度値６８が基準輝度値６９に近い。このため、エリア８４ａ〜８４ｄ，８４ｆ〜８４ｉについては、低ゲイン画像データ８１と高ゲイン画像データ８２とから観察用画像データ８３がつくられるときには、低ゲイン画像データ８１のエリア８４ａ〜８４ｄ，８４ｆ〜８４ｉのデータが使用される。

一方、エリア８４ｅについては、低ゲイン画像データ８１のエリア８４よりも、高ゲイン画像データ８２の同エリア８４のほうが、輝度値６８が基準輝度値６９に近い。このため、エリア８４ｅについては、低ゲイン画像データ８１と高ゲイン画像データ８２とから観察用画像データ８３がつくられるときには、高ゲイン画像データ８２のエリア８４ｅのデータが使用される。

こうして、低ゲイン画像データ８１と高ゲイン画像データ８２をエリア８４毎に組み合わせて合成された観察用画像データ８３では、低ゲイン画像データ８１で信号電荷の量が少なすぎて、黒くつぶれて構造の識別が難しいような部分には、これに対応する高ゲイン画像データ８２のエリア８４が用いられることになり、また、高ゲイン画像データ８２で露光量が多すぎて、蓄積された信号電荷の量が各画素４１の容量に迫り、殆ど白く飛んで構造の識別が難しいような部分には、低ゲイン画像データ８１が用いられることになる。このため、観察用画像データ８３は、全エリア８４で、構造の観察がし易い、適切な明るさの画像データとなる。

以上のように、電子内視鏡システム１１では、ＣＭＯＳセンサ３１を用いることによって、画素４１に信号電荷を蓄積させたままの状態で、ゲインを変えて複数の画像データを取得する。また、これらのゲインの異なる画像データをいくつかのエリアに区分けし、エリア毎に構造の観察に最適な明るさの画像データが選択されるようにして、観察用画像データ８３を合成する。このため、電子内視鏡システム１１によれば、複雑で高価な回路を用いずに、観察画像の全体で構造を観察し易い画像を安価に得ることができる。

また、電子内視鏡システム１１では、露光の途中で撮像信号を読み出すのではなく、一定時間の露光後に、信号電荷を各画素４１に蓄積させたままの状態で、ゲインの異なる画像データを複数取得するので、これらの画像データでは、明るさだけが異なり、撮像された被写体の構造等は全く同じ状態となっている。このため、これらの画像データを合成した観察用画像データ８３は、撮像対象がぼやけてしまったりすることなく、観察し易い画像となっている。

また、電子内視鏡システム１１では、ＣＭＯＳセンサ３１が露光期間のときにだけ照明光を点灯し、ＣＭＯＳセンサ３１から撮像信号を読み出す期間には、照明光を消灯するようにしたから、ＣＭＯＳセンサ３１から同時に複数読み出す画像データは、全く同じ状態の撮像対象を同じ露光時間で撮像したものとなっており、これらの画像データの同時性が厳密に保たれる。このように同時性が厳密に保たれた画像データから観察用画像データ８３を合成するようにしたことで、動きのある被写体を撮像し、かつ、複数の画像データを合成しているにもかかわらず、合成後の観察用画像データ８３は、像が不鮮明になったりすることなく、観察し易いものとなっている。

また、電子内視鏡システム１１では、ＣＭＯＳセンサ３１が露光期間のときにだけ照明光を点灯し、ＣＭＯＳセンサ３１からの撮像信号を読み出す期間には、照明光を消灯するようにしたから、機械的なシャッタ機構を用いなくても、容易に上述のような観察用画像データ８３を得ることができるから、電子内視鏡システム１１の構成を簡素に、安価に構成することができる。

なお、上述の実施形態では、画像データを複数のエリア８４に区分けする例として、３行３列で合計９個のエリア８４に区分けする例を示したが、これに限らず、低ゲイン画像データと高ゲイン画像データのように同時に取得した画像データ間で等しい区分けの仕方ならば、各エリア８４の大きさや個数等は任意に決めることができる。例えば、３行３列よりもさらに細かいエリアに区分けするようにしても良く、１画素の領域を１エリアとしても良い。また、上述の実施形態では、画像データを区分けした各エリア８４は、いずれも同じ大きさ、形状となっている例を示したが、これに限らず、全エリア８４で画像データの全体をカバーしていれば良く、区分けするエリアの大きさを画像データに対する位置に応じて異なる大きさにしても良い。例えば、主な観察対象が映る画像データの中央付近ではエリア８４の大きさを小さく区分けし、画像データの外周部分では中央付近よりも大きなエリアで区分けするようにしても良い。

なお、上述の実施形態では、増幅率が異なる画像データとして、低ゲイン画像データ８１と高ゲイン画像データ８２の２種類の画像データを取得するが、これに限らず、２種類以上であれば、さらに多数の増幅率の異なる画像データを取得し、これらの画像データから観察用画像データ８３を合成するようにしても良い。このように、増幅率の異なる画像データとして多数の画像データを取得して、これらを上述の実施形態のように合成することで、観察用画像データは、全体が明るく観察し易いものになるばかりでなく、合成後のエリア間の境界が目立ちにくくなり、より高精細な観察用画像データを得ることができるようになる。

また、上述の実施形態では、画像データを複数のエリア８４に区分けするときに、３行３列の長方形のエリア８４に区分けするが、これに限らず、任意の形状で画像データを区分けするようにしても良い。例えば、画像処理により、画像データに写された撮像対象の形状や色、明暗等を識別し、撮像対象の形状に沿ってエリア８４に区分けするなど、撮像対象に合わせたエリア８４を区分けしても良い。

なお、上述の実施形態では、出力回路３７でＣＭＯＳセンサ３１から出力される撮像信号の増幅率を自在に調節する例を説明したが、これに限らず、画素４１にアンプが設けられ、かつ、これを画素毎に調節可能なＣＭＯＳセンサ３１の場合には、画素毎に撮像信号の増幅率を調節するようにしても良い。また、ＣＤＳ回路３４にアンプ機能がある場合には、ＣＤＳ回路３４で増幅率を調節するようにしても良い。

なお、上述の実施形態では、画像データを区分けした各エリア８４で、各エリア８４を代表する輝度値６８を算出し、これを予め定められた基準輝度値６９と比較して、基準輝度値６９に最も近い輝度値６８の画像データをエリア８４毎に組み合わせて観察用画像データ８３を合成するが、基準輝度値６９の値は観察対象や状況等に応じて、ユーザが自在に設定できるように設けられていることが好ましい。また、電子内視鏡システム１１で観察を行っている最中にも、これを変更可能としてあることが好ましい。

なお、上述の実施形態では、増幅率の異なる画像データを取得するときに、低ゲイン画像データ８１を取得してから高ゲイン画像データ８２を取得するといったように、画像データを単位とした撮像信号の読み出しを行うが、これに限らず、画素毎に、あるいは水平ライン毎に増幅率の異なる画像データを複数読み出すようにしても良い。例えば、ＣＭＯＳセンサ３１から撮像信号を読み出すときに、ある一つの水平ラインについて、低ゲイン撮像信号と高ゲイン撮像信号とを読み出す。そして、他の水平ラインについても同様に、水平ライン毎に、増幅率の異なる撮像信号を順に出力させるようにし、低ゲイン画像データ８１と高ゲイン画像データ８２を同時に取得するようにしても良い。

なお、上述の実施形態では、観察画像合成部６７は、低ゲイン画像データ８１と高ゲイン画像データ８２の両方の画像データについて、エリア毎の輝度値が基準輝度値６９に近いエリアを用いて観察用画像データ８３を合成するが、これに限らず、観察画像合成部６７は、低ゲイン画像データ８１と高ゲイン画像データ８２のうち一方の画像データを基準画像データとし、基準画像データについてのみエリア毎の輝度値を基準輝度値６９との比較することにより、観察用画像データ８３を合成するときに使用する最適な増幅率の画像データをエリア毎に選別するようにしても良い。

例えば、観察画像合成部６７が高ゲイン画像データ８２を基準画像データとして観察用画像データ８３に使用する最適な増幅率の画像データを選別するときには、観察画像合成部６７は、上述の実施形態と同様に高ゲイン画像データ８２の各エリアの輝度値を基準輝度値６９とそれぞれ比較する。そして、基準輝度値６９よりも輝度値が小さいエリアでは、観察用画像データ８３に高ゲイン画像データ８２を使用する。一方、輝度値が基準輝度値６９以上のエリアには、観察用画像データ８３に低ゲイン画像データ８１を使用する。

このように観察画像合成部６７が複数の画像データのうちひとつを基準画像データとして、この基準画像データについて輝度値を基準輝度値と比較し、エリア毎に最適な増幅率の画像データを選別することで、最適な増幅率の画像データの選別と観察用画像データ８３の合成をより容易に行うことができる。なお、低ゲイン画像データ８１を基準とする場合も同様である。

電子内視鏡システムの構成を示す説明図である。 ＣＭＯＳセンサの構成を示す説明図である。 電子内視鏡システムの電気的な構成を示すブロック図である。 電子内視鏡システムの作用を示すフローチャートである。 観察用画像データを合成する様子を示す説明図である。

符号の説明

１１ 電子内視鏡システム
１２ 電子内視鏡
１３ プロセッサ装置
１４ 光源装置
１６ 挿入部
１７ 手元操作部
１８ ユニバーサルコード
１９ 湾曲部
２１ アングルノブ
２２ 鉗子口
２３ 送気送水ボタン
２４ コネクタ
２６ モニタ
３１ ＣＭＯＳセンサ
３２ 撮像領域
３３ 垂直走査回路
３４ ＣＤＳ回路
３６ 列選択トランジスタ
３７ 出力回路
３８ 水平走査回路
４１ 画素
４２ タイミングジェネレータ
４３ 出力バスライン
５１ 対物レンズ
５２ ＣＰＵ
５３ ライトガイド
５４ 観察窓
５６ 照明窓
６１ ＣＰＵ
６２ ＤＳＰ
６３ Ｄ／Ａ変換回路
６４ ＲＡＭ
６６ エリア輝度算出部
６７ 観察画像合成部
６８ エリア毎の輝度値
６９ 基準輝度値
７１ ＣＰＵ
７２ 光源
７３ 波長選択フィルタ
７４ 集光レンズ
８１ 低ゲイン画像データ
８２ 高ゲイン画像データ
８３ 観察用画像データ
８４，８４ａ〜ｉ エリア

Claims (5)

1. 被写体内に挿入される挿入部に設けられ、前記被写体内を撮像するＣＭＯＳ型のイメージセンサと、
   前記イメージセンサの露光後、前記イメージセンサの各画素に信号電荷を保持させたまま、各画素から撮像信号を複数回読み出すとともに、各々の信号電荷の読み出し毎に前記撮像信号の増幅率を変更することで、増幅率の異なる画像データを複数枚取得する画像データ取得手段と、
   各々前記画像データを複数の領域に区分けし、各々の前記領域を代表する輝度値を算出する輝度値算出手段と、
   前記領域毎の前記輝度値に基づき、最適な増幅率の前記画像データを前記領域毎に判別し、前記領域の単位で前記画像データを組み合わせて１枚の観察用画像データを合成する画像合成手段と、
   を備えることを特徴とする電子内視鏡システム。
2. 前記画像合成手段は、前記輝度値算出手段によって算出された前記輝度値を、予め設けられた基準輝度値と比較し、前記輝度値が前記基準輝度値に最も近い前記画像データを前記領域毎に組み合わせて、前記観察用画像データを合成することを特徴とする請求項１に記載の電子内視鏡システム。
3. 前記画像合成手段は、複数枚の前記画像データのうちひとつの画像データを基準画像データとし、前記基準画像データについて前記領域毎に算出された前記輝度値を予め設けられた基準輝度値と比較し、前記輝度値が前記基準輝度値よりも小さい前記領域には前記基準画像データを用い、かつ、前記輝度値が前記基準値以上の前記領域には、前記基準画像データよりも増幅率の小さい前記画像データの前記領域を用いて、前記観察用画像データを合成することを特徴とする請求項１に記載の電子内視鏡システム。
4. 前記画像データ取得手段は、増幅率が異なる２種類の画像データを取得することを特徴とする請求項１ないし３いずれかに記載の電子内視鏡システム。
5. 前記画像データ取得手段によって前記画像データが取得されるときに、前記被写体内への照明が消灯されるように、照明光を制御する照明制御手段を備えることを特徴とする請求項１ないし４いずれかに記載の電子内視鏡システム。

Images