JP2011114733A - 撮像装置、電子スコープ、及び電子内視鏡システム - Google Patents

Abstract

【課題】ノイズ除去データを固定パターンノイズの変化に応じて補正するのに好適な撮像装置を提供すること。
【解決手段】撮像装置を、固体撮像素子と、固体撮像素子の固定パターンノイズに対応するノイズ除去データを保持したノイズ除去データ保持手段と、固体撮像素子中の一部の画素を遮光する画素遮光手段と、遮光された遮光画素の撮像信号値と、ノイズ除去データで表現される該遮光画素の信号値との信号比に基づいて、該ノイズ除去データを補正するノイズ除去データ補正手段と、補正後のノイズ除去データを用いて、固体撮像素子が出力する撮像信号に含まれる固定パターンノイズを除去する固定パターンノイズ除去手段とから構成した。
【選択図】図４

Description

この発明は、固体撮像素子の固定パターンノイズを除去する機能を有する撮像装置、該撮像装置を有する電子スコープ、及び該電子スコープを有する電子内視鏡システムに関する。

近年、固体撮像素子を搭載した撮像装置が広く普及している。代表的な固体撮像素子として、例えば、安価かつ低消費電力で量産性に優れたＣＭＯＳ（Complementary Metal
Oxide Semiconductor）イメージセンサが知られている。しかし、ＣＭＯＳイメージセンサには、固定パターンノイズが大きいため、画質が劣化するという問題がある。ここでいう固定パターンノイズとは、各画素が潜在的に持つ発生不可避なノイズである。固定パターンノイズの発生原因には、例えば画素毎のトランジスタ特性のばらつきや、入射光量と無関係に発生する暗電流等が挙げられる。

ＣＭＯＳイメージセンサの出力電荷を処理する一般的な画像処理回路は、この種のノイズによる画質の劣化を改善するため、製造段階で評価された搭載ＣＭＯＳの固定パターンノイズのデータを予め保持している。画像処理回路は、ＣＭＯＳイメージセンサから出力される各画素の撮像データから、対応する固定パターンノイズのデータを減算して、画素毎に異なるノイズを除去する。以降の説明では、画像処理回路が保持する固定パターンノイズのデータを、ＣＭＯＳイメージセンサが潜在的に持つ固定パターンノイズとの混同を避けるため、「ノイズ除去データ」と記す。

この種の撮像装置においては、ＣＭＯＳイメージセンサの後段に配置された信号増幅器のゲインに応じて、除去すべき固定パターンノイズが変化する。ノイズ除去データが固定値である場合は、変化後の固定パターンノイズを除去しきれないため、残存したノイズによる画質の劣化が避けられない。そこで、ノイズ除去データを信号増幅器のゲインに応じて補正する撮像装置が、例えば特許文献１で提案されている。

特開２００３−１８４７５号公報

ところで、信号増幅器等のアナログ的な回路構成においては、部品個体差や経時変化、使用環境（温度）等も固定パターンノイズを変化させる原因として挙げられる。この種の原因による固定パターンノイズの変化と、ゲイン調整時の固定パターンノイズの変化は、複合的に現れる。そのため、例えばゲインに応じて変化する固定パターンノイズを良好に除去するためには、ゲインの変化率をノイズ除去データに単純に反映させる（例えばゲインを２倍に設定した場合にノイズ除去データも２倍に設定する等）だけでは足りず、信号増幅器の部品個体差や経時変化、温度依存性等も考慮してノイズ除去データを補正する必要がある。しかし、これらの変化原因は、予測が難しく、補正データを予め用意しておくのは実質的に不可能である。すなわち、特許文献１に記載の撮像装置では、ノイズ除去データを適切に補正しきれないため、残存したノイズによる画質の劣化が避けられない。

また、特許文献１には、部品の温度依存性を考慮したノイズ除去データの補正を行うため、撮像装置内に温度センサを実装した構成が記載されている。しかし、例えば電子スコープ等の小型撮像装置では、実装スペースの制約上、温度センサ等の部品をＣＭＯＳイメージセンサ近傍に配置するのは困難である。このように、特許文献１に記載の撮像装置には、小型化設計に不向きであるという欠点がある。

また、複合的な原因で変化する固定パターンノイズを良好に除去するためには、ＣＭＯＳイメージセンサを一時的に遮光するメカニカルシャッタが必要である。しかし、メカニカルシャッタをＣＭＯＳイメージセンサ近傍に配置すると電子スコープが大型化するため、安易には採用できない。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、ノイズ除去データを固定パターンノイズの変化に応じて補正するのに好適な撮像装置を提供することである。また、この撮像装置を搭載するのに好適な機器の一形態である電子スコープ、及び該電子スコープを有する電子内視鏡システムを提供することである。

上記の課題を解決する本発明の一形態に係る撮像装置は、固体撮像素子と、その固定パターンノイズに対応するノイズ除去データを保持したノイズ除去データ保持手段と、固体撮像素子中の一部の画素を遮光する画素遮光手段を有する。この撮像装置は、ノイズ除去データ補正手段によって、遮光画素の撮像信号値と、ノイズ除去データで表現される該遮光画素の信号値との信号比に基づいてノイズ除去データを補正する。この信号比は、固体撮像素子の周辺回路（例えばアナログアンプ等）を介した実測値に基づく値である。そのため、補正後のノイズ除去データは、アナログアンプ等の周辺回路の部品個体差や経時変化、温度依存性等を反映している。よって、固体撮像素子が出力する撮像信号に含まれる固定パターンノイズは、例えばアナログアンプのゲインや部品個体差、経時変化、温度依存性等と無関係に、固定パターンノイズ除去手段による補正後ノイズ除去データを用いた除去処理によって良好に除去される。

画素遮光手段は、一部の画素を実質的な遮光画素とすべく、固体撮像素子を動作させて低輝度画像を撮像する低輝度画像撮像手段と、撮像された低輝度画像を複数の領域に分割する低輝度画像分割手段と、分割された複数の領域の中から輝度の低い所定数の低輝度領域を選択する低輝度領域選択手段と、選択された所定数の低輝度領域が所定の条件を満たすか否かを判定する条件判定手段と、所定の条件を満たすと判定された場合に、所定数の低輝度領域の画素を遮光画素とみなす遮光画素みなし手段とを有する構成としてもよい。

低輝度画像撮像手段による低輝度画像の撮像時は、露光量を最小に抑えるため、固体撮像素子を最高速の電子シャッタ速度で動作させてもよい。

低輝度画像撮像手段は、低輝度画像に含まれ得るランダムノイズを良好に除去するため、低輝度画像を複数枚撮像し、複数枚の低輝度画像を平均化して一枚の低輝度画像を生成してもよい。この場合、低輝度画像分割手段は、生成された一枚の低輝度画像を複数の領域に分割することとなる。

本発明に係る撮像装置は、選択された全ての低輝度領域の信号値が低い値で分布しているかどうかを判断するため、これら低輝度領域の信号値の標準偏差を計算する標準偏差計算手段を更に有する構成としてもよい。この場合において、所定の条件は、低輝度領域の信号値の標準偏差が所定の閾値以下であることをいう。

別の形態によれば、本発明に係る撮像装置は、選択された全ての低輝度領域の信号値が低い値で分布しているかどうかを判断するため、これら低輝度領域の信号値の標準偏差、及び該信号値の平均値を計算する計算手段を更に有する構成であってもよい。この場合において、所定の条件は、低輝度領域の信号値の標準偏差、平均値がそれぞれ、第一、第二の閾値以下であることをいう。

画素遮光手段は、固体撮像素子中の一部の画素を被膜する遮光膜であってもよい。この遮光膜は、撮影画像中に黒点として現れないように、固体撮像素子の有効画素領域外の画素を被膜したものとしてもよい。

本発明に係る撮像装置で想定される固体撮像素子は、例えばＣＭＯＳイメージセンサである。

上記の課題を解決する本発明の一形態に係る電子スコープは、上記の何れかに記載の撮像装置を挿入部の先端に搭載した機器である。

上記の課題を解決する本発明の一形態に係る電子内視鏡システムは、上記電子スコープと、該電子スコープが出力する固定パターンノイズ除去後の撮像信号に所定の信号処理を施す信号処理装置とを有したシステムである。この信号処理装置は、低輝度画像撮像手段による低輝度画像撮像中、暗い画像が術者に唐突に提示されるのを避けるため、外部モニタへの出力を該低輝度画像を撮像する直前の画像に固定する。

本発明によれば、ノイズ除去データを固定パターンノイズの変化に応じて補正するのに好適な撮像装置が提供される。

本発明の実施形態の電子内視鏡システムの外観図である。 本発明の実施形態の電子内視鏡システムの構成を示すブロック図である。 本発明の実施形態の電子スコープが有するドライバ信号処理回路及びその周辺回路の構成を示すブロック図である。 本発明の実施形態において実行される固定パターンノイズを除去するためのノイズ除去データ補正処理を示すフローチャートである。 別の実施形態において実行される固定パターンノイズを除去するためのノイズ除去データ補正処理を示すフローチャートである。

以下、図面を参照して、本発明の実施形態の撮像装置を有する電子内視鏡システムについて説明する。

図１は、本実施形態の電子内視鏡システム１の外観図である。図１に示されるように、電子内視鏡システム１は、被写体を撮影するための電子スコープ１００を有している。電子スコープ１００は、可撓性を有するシース（外皮）１１ａによって外装された可撓管１１を備えている。可撓管１１の先端には、硬質性を有する樹脂製筐体によって外装された先端部１２が連結されている。可撓管１１と先端部１２との連結箇所にある湾曲部１４は、可撓管１１の基端に連結された手元操作部１３からの遠隔操作（具体的には、湾曲操作ノブ１３ａの回転操作）によって屈曲自在に構成されている。この屈曲機構は、一般的な電子スコープに組み込まれている周知の機構であり、湾曲操作ノブ１３ａの回転操作に連動した操作ワイヤの牽引によって湾曲部１４を屈曲させるように構成されている。先端部１２の方向が上記操作による屈曲動作に応じて変わることにより、電子スコープ１００による撮影領域が移動する。

図１に示されるように、電子内視鏡システム１は、プロセッサ２００を有している。プロセッサ２００は、電子スコープ１００からの信号を処理する信号処理装置と、自然光の届かない体腔内を電子スコープ１００を介して照明する光源装置とを一体に備えた装置である。別の実施形態では、信号処理装置と光源装置とを別体で構成してもよい。

プロセッサ２００には、電子スコープ１００の基端に設けられたコネクタ部１０に対応するコネクタ部２０が設けられている。コネクタ部２０は、コネクタ部１０に対応する連結構造を有し、電子スコープ１００とプロセッサ２００とを電気的にかつ光学的に接続するように構成されている。

図２は、電子内視鏡システム１の構成を示すブロック図である。図２に示されるように、電子内視鏡システム１は、所定のケーブルを介してプロセッサ２００に接続されたモニタ３００を有している。なお、図１においては、図面を簡略化するため、モニタ３００を図示省略している。

図２に示されるように、プロセッサ２００は、システムコントローラ２０２、タイミングコントローラ２０４を有している。システムコントローラ２０２は、電子内視鏡システム１を構成する各要素を制御する。タイミングコントローラ２０４は、信号の処理タイミングを調整するクロックパルスを電子内視鏡システム１内の各種回路に出力する。

ランプ２０８は、ランプ電源イグナイタ２０６による始動後、白色光を放射する。ランプ２０８には、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプが適している。ランプ２０８から放射された照明光は、集光レンズ２１０によって集光されつつ絞り２１２を介して適正な光量に制限されて、ＬＣＢ（light carrying bundle）１０２の入射端に入射する。

絞り２１２には、図示省略されたアームやギヤ等の伝達機構を介してモータ２１４が機械的に連結されている。モータ２１４は例えばＤＣモータであり、ドライバ２１６のドライブ制御下で駆動する。絞り２１２は、モニタ３００に表示される映像を適正な明るさにするため、モータ２１４によって動作して開度が変化して、ランプ２０８から放射された照明光の光量を開度に応じて制限する。適正とされる映像の明るさの基準は、術者によるフロントパネル２１８の輝度調節操作に応じて設定変更される。なお、ドライバ２１６を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。

ＬＣＢ１０２の入射端に入射した照明光は、ＬＣＢ１０２の内部を全反射を繰り返すことによって伝播する。ＬＣＢ１０２を伝播した照明光は、電子スコープ１００の先端に配されたＬＣＢ１０２の射出端から射出する。ＬＣＢ１０２の射出端から射出した照明光は、配光レンズ１０４を介して被写体を照明する。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、例えばベイヤ型画素配置を有する単板式カラーＣＭＯＳイメージセンサであり、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ、Ｇ、Ｂの各色に応じた撮像信号に変換する。変換された撮像信号は、ＡＦＥ（Analog Front End）１１０内のアナログアンプＡＰによる増幅後、ＡＤ変換されて、ドライバ信号処理回路１１２に入力する。

ここで、映像の明るさは、通常、光源側の調光制御で調節される。そのため、固体撮像素子１０８の電子シャッタ速度及びアナログアンプＡＰのゲインは、基本的には、固定値である。但し、例えば手ぶれ補正を行う場合や、被写体の明るさが急激に変動した場合等、特定の条件下では、電子シャッタ速度又はゲインを変更する。例として、手ぶれ補正を行う場合は、固体撮像素子１０８の電子シャッタ速度を上げる。このとき、絞り２１２又はモータ２１４等の機械的要素は、急激な変動に対して追従が遅れる。その結果、映像の明るさは、露光量不足によって急激に低下する。これを回避するため、絞り２１２が目標開度に達するまでの一時的な期間だけアナログアンプＡＰのゲインを増加させて、映像の明るさを適正なレベルまで増加させる。

図３は、ドライバ信号処理回路１１２及びその周辺回路の構成を示すブロック図である。なお、図３において、ドライバ信号処理回路１１２は、固体撮像素子１０８又はＡＦＥ１１０との結線が示されるが、図面を簡略化するため、それ以外の回路との結線は省略されている。

図３に示されるように、ドライバ信号処理回路１１２は、スコープ制御部３０、画像処理エンジン３２、フラッシュＲＯＭ（Read Only Memory）３４、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３６、ＤＡ変換器３８を有している。

スコープ制御部３０は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。電子スコープ１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、対応可能なレート、型番等が含まれる。スコープ制御部３０は、メモリ１１４から読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、スコープ制御部３０から出力された固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続中の電子スコープ（ここでは電子スコープ１００）に適した処理がされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。なお、システムコントローラ２０２は、電子スコープの型番と、この型番の電子スコープに適した制御情報とを対応付けたテーブルを有した構成としてもよい。この場合、システムコントローラ２０２は、対応テーブルの制御情報を参照して、プロセッサ２００に接続中の電子スコープに適した処理がされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、スコープ制御部３０にクロックパルスを供給する。

スコープ制御部３０は、タイミングコントローラ２０４から供給さるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。スコープ制御部３０は、タイミングコントローラ２０４のクロックパルスに従って、画像処理エンジン３２の動作も制御する。画像処理エンジン３２は、種々の原因で変化する固体撮像素子１０８の固定パターンノイズを良好に除去するため、図４のフローチャートに示されるノイズ除去データ補正処理を実行して、ノイズ除去データを補正する。なお、以降の本明細書中の説明並びに図面において、処理ステップは「Ｓ」と省略して記す。

図４に示されるノイズ除去データ補正処理は、例えばシステム起動中、定期的に実行される。但し、リソースの節約のため、ノイズ除去データ補正処理の実行タイミングをシステム起動直後や特定のタイミング等に限定してもよい。ここでいう特定のタイミングには、例えば前述した、手ぶれ補正を行うタイミングや、被写体の明るさが急激に変動したタイミング等が想定される。

画像処理エンジン３２は、ノイズ除去データ補正回路３２ａを有している。Ｓ１の処理では、ノイズ除去データ補正回路３２ａは、定期的に、又はシステム起動直後に、若しくはアナログアンプＡＰのゲインを変更する特定のタイミングでフラッシュＲＯＭ３４にアクセスして、ノイズ除去データを読み出す。フラッシュＲＯＭ３４には、製造段階で評価された固体撮像素子１０８の固定パターンノイズに対応するデフォルトのノイズ除去データが予め格納されている。

図４のノイズ除去データ補正処理において、固定パターンノイズを良好に除去するためには、固体撮像素子１０８の画素を一時的に遮光する必要がある。しかし、ＣＭＯＳイメージセンサは、その特性上、動作中に、画素を完全に遮光とすることが難しい。別の表現によれば、ＣＭＯＳイメージセンサでは、電子シャッタによる露光時間を０時間にするのが難しい。そこで、メカニカルシャッタを搭載した構成が考えられる。メカニカルシャッタを用いた場合には、画素を完全に遮光できるようになる。但し、小型撮像装置である一般的な電子スコープには、メカニカルシャッタを搭載するスペースはない。そこで、スコープ制御部３０は、図４のノイズ除去データ補正処理の実行開始と共に、固体撮像素子１０８を最高速の電子シャッタ速度で動作させる。固体撮像素子１０８の電子シャッタの最高速度は、例えば１／１２０００（単位：ｓ）である。

Ｓ２の処理では、ノイズ除去データ補正回路３２ａに、最高速の電子シャッタ速度で撮像された低輝度画像のデータが所定枚（例えば複数枚）数分入力する。このとき、低輝度画像は、アナログアンプＡＰを介するため、被写体の撮像信号と共に固定パターンノイズもゲインに応じて増加して、ノイズ除去データ補正回路３２ａに入力する。なお、低輝度画像取得中は、暗い画像が術者に唐突に提示されるのを避けるため、モニタ３００への出力画像を図４のノイズ除去データ補正処理の実行開始直前（又は低輝度画像を撮像する直前）の画像に固定してもよい。

Ｓ３の処理では、ノイズ除去データ補正回路３２ａは、取得した所定枚数の低輝度画像を平均化して一枚の低輝度画像を生成する。この平均化処理により、ランダムノイズが良好に除去される。平均化処理に用いる低輝度画像の枚数が多いほどランダムノイズを除去する効果が高い。一方、平均化処理に用いる低輝度画像の枚数が少ないほど画像処理エンジン３２の処理負担が軽減する。後者の処理負担の軽減を優先させたい場合は、Ｓ２の処理で取得する低輝度画像を一枚としてもよい。なお、Ｓ３以降の処理においては、欠陥画素（その画素アドレスは例えばフラッシュＲＯＭ３４等に予め格納しておく。）を計算対象から除外して処理を進めてもよい。

Ｓ４の処理では、ノイズ除去データ補正回路３２ａは、平均化処理後の低輝度画像（有効画素領域）の中から、実質的に遮光状態であるとみなすことができる遮光領域の候補を選択する。この処理は、例えば次の手順で実行される。

ノイズ除去データ補正回路３２ａは、平均化処理後の低輝度画像を１６×１６の計２５６の領域に分割する。ノイズ除去データ補正回路３２ａは、全ての分割領域に対して、領域を構成する画素の撮像信号値の平均値Ｓ_ＡＶを計算する。ノイズ除去データ補正回路３２ａは、２５６の分割領域の中から平均撮像信号値Ｓ_ＡＶの低い１６の分割領域を遮光領域の候補として選択する。

Ｓ５の処理では、ノイズ除去データ補正回路３２ａは、選択された１６の遮光領域候補の平均撮像信号値Ｓ_ＡＶの標準偏差σと平均値ＡＶを計算する。ノイズ除去データ補正回路３２ａは、計算された標準偏差σと平均値ＡＶが共に所定の閾値（それぞれの閾値は独立した値）以下であるか否かを判定する。標準偏差σと平均値ＡＶが共に所定の閾値以下である場合は（Ｓ５：ＹＥＳ）、１６の遮光領域候補を遮光領域とみなし、Ｓ６の処理に進む。標準偏差σ又は平均値ＡＶの少なくとも一方が所定の閾値を超える場合は（Ｓ５：ＮＯ）、遮光領域が存在しないと判断して、低輝度画像を破棄した上で、処理をＳ２に戻す。なお、遮光領域候補の平均撮像信号値Ｓ_ＡＶは、その殆どが絶対的に低い値で分布していると決め付けても差し支えない。そのため、遮光領域候補が遮光領域であるか否かを標準偏差σだけで判断してもよい。この場合、平均値ＡＶの計算処理等が省略できるため、画像処理エンジン３２の処理負担の軽減に資する。また、標準偏差σと平均値ＡＶを用いた遮光領域の判定は、標準偏差σだけを用いた遮光領域の判定と比べて判定精度が高い。そのため、前者の判定における標準偏差σに対する閾値は、後者の判定における標準偏差σに対する閾値より大きい値としてもよい。

Ｓ６の処理では、ノイズ除去データ補正回路３２ａは、全ての遮光領域の構成画素毎に、所定の信号比Ｒを計算する。この信号比Ｒは、例えば対象画素の撮像信号値を、デフォルトノイズ除去データで表現される該対象画素の信号値で除算した値と定義される。ノイズ除去データ補正回路３２ａは次いで、計算された信号比Ｒの平均値Ｒ_ＡＶを計算する。ノイズ除去データ補正回路３２ａは、デフォルトノイズ除去データを平均信号比Ｒ_ＡＶで乗算して、ノイズ除去データの補正を行う。なお、平均信号比Ｒ_ＡＶから所定値以上離れている信号比Ｒは計算対象から除外して、改めて平均信号比Ｒ_ＡＶを計算するようにしてもよい。

Ｓ７の処理では、ノイズ除去データ補正回路３２ａは、補正されたノイズ除去データ（以下、「補正後ノイズ除去データ」と記す。）をＳＤＲＡＭ３６に格納（又は上書き）して、図４のノイズ除去データ補正処理を終了させる。

画像処理エンジン３２は、固定パターンノイズ除去回路３２ｂを有している。固定パターンノイズ除去回路３２ｂは、ＳＤＲＡＭ３６にアクセスして、補正後ノイズ除去データを読み出す。固定パターンノイズ除去回路３２ｂは、ＡＦＥ１１０が出力した撮像信号値から、補正後ノイズ除去データで表現される信号値を減算する。ここで、平均信号比Ｒ_ＡＶは、アナログアンプＡＰを介した実測値を基に生成されている。そのため、平均信号比Ｒ_ＡＶは、アナログアンプＡＰの理想的なゲインでなく、アナログアンプＡＰの部品個体差、経時変化、温度依存性等の、種々の固定パターンノイズの変化原因を織り込んだ実測的なゲインに対応する値となっている。従って、平均信号比Ｒ_ＡＶを用いて補正された補正後ノイズ除去データにも、これらの変化原因が織り込まれている。よって、固定パターンノイズ除去回路３２ｂによる減算処理では、デフォルトから変化した固定パターンノイズが良好に除去される。

画像処理エンジン３２は、画像処理回路３２ｃを有している。固定パターンノイズ除去後の撮像信号は、画像処理回路３２ｃに入力する。画像処理回路３２ｃは、この撮像信号に、クランプ、ニー、γ補正、補間処理、ＡＧＣ（Auto Gain Control）等の所定の信号処理を施して、ＤＡ変換器３８に出力する。撮像信号は、ＤＡ変換器３８によるＤＡ変換後、プロセッサ２００の信号処理回路２２０に出力される。

信号処理回路２２０は、ＤＡ変換器３８が出力した撮像信号に所定の処理を施して、図示省略されたフレームメモリにフレーム単位でバッファリングする。バッファリングされた信号は、タイミングコントローラ２０４によって制御されたタイミングでフレームメモリから掃き出されて、ＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）等の所定の規格に準拠した映像信号に変換される。変換された映像信号がモニタ３００に順次入力することにより、モニタ３００に、被写体のカラー画像が表示される。モニタ３００に表示されるカラー画像は、固体撮像素子１０８の固定パターンノイズが画像処理エンジン３２によって良好に除去されているので、画質の劣化が無い。

このように、本実施形態によれば、種々の原因で変化する固定パターンノイズが簡易な回路構成で良好に除去される。また、固定パターンノイズの除去のために、温度センサやメカニカルシャッタ等の部品を実装する必要がない。すなわち、本実施形態によれば、固体撮像素子１０８の周辺回路が複雑化せず、また、固体撮像素子１０８周辺の部品点数が削減できるため、撮像装置の小型化に有利である。

以上が本発明の実施形態の説明である。本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能である。例えばＣＣＤ（Charge Coupled Device）にも固定パターンノイズが存在する。そのため、ＣＣＤ搭載の撮像装置にも本発明を適用することができる。

図５は、別の実施形態において実行されるノイズ除去データ補正処理を示すフローチャートである。別の実施形態の電子内視鏡システム１は、固体撮像素子１０８の一部の画素（少なくとも一画素）が遮光膜（例えばアルミ遮光膜）によって完全に遮光されたオプティカルブラック画素である以外は、既述の実施形態の構成と実質的に同じである。なお、オプティカルブラック画素は、撮影画像中に黒点として現れないように、有効画素領域外に配置するのが好ましい。

図５に示されるように、Ｓ１１の処理では、図４のＳ１の処理と同様に、デフォルトノイズ除去データの読み出しが行われる。別の実施形態において、フラッシュＲＯＭ３４には、オプティカルブラック画素を含む固体撮像素子１０８の固定パターンノイズに対応するデフォルトノイズ除去データが格納されている。Ｓ１２の処理では、図４のＳ２の処理と同様に、ノイズ除去データ補正回路３２ａに、所定枚数（少なくとも一枚）分の画像データが入力する。Ｓ１３の処理では、図４のＳ３の処理と同様に、入力画像データの平均化処理が行われる。Ｓ１４の処理では、図４のＳ６の処理と同様に、オプティカルブラック画素毎に、所定の信号比Ｒが計算される。この場合の信号比Ｒは、平均化処理後のオプティカルブラック画素の撮像信号値を、そのオプティカルブラック画素のデフォルトノイズ除去データで表現される信号値で除算した値と定義される。次いで、信号比Ｒの平均値Ｒ_ＡＶが計算される。ノイズ除去データ補正回路３２ａは、デフォルトノイズ除去データを平均信号比Ｒ_ＡＶで乗算して、ノイズ除去データの補正を行う。Ｓ１５の処理では、図４のＳ７の処理と同様に、補正後ノイズ除去データのＳＤＲＡＭ３６への書き込みが行われる。

別の実施形態では、遮光領域を特定する処理の実行が不要であるから、画像処理エンジン３２の処理負担面で有利である。そして、別の実施形態においても既述の実施形態と同様に、平均信号比Ｒ_ＡＶがアナログアンプＡＰを介した実測値を基に生成されている。よって、固定パターンノイズ除去回路３２ｂによる減算処理では、デフォルトから変化した固定パターンノイズが良好に除去される。

１ 電子内視鏡システム
３２ 画像処理エンジン
１００ 電子スコープ
１０８ 固体撮像素子
１１０ ＡＦＥ
２００ プロセッサ
ＡＰ アナログアンプ

Claims (11)

1. 固体撮像素子と、
   前記固体撮像素子の固定パターンノイズに対応するノイズ除去データを保持したノイズ除去データ保持手段と、
   前記固体撮像素子中の一部の画素を遮光する画素遮光手段と、
   前記遮光された遮光画素の撮像信号値と、前記ノイズ除去データで表現される該遮光画素の信号値との信号比に基づいて、該ノイズ除去データを補正するノイズ除去データ補正手段と、
   補正後の前記ノイズ除去データを用いて、前記固体撮像素子が出力する撮像信号に含まれる固定パターンノイズを除去する固定パターンノイズ除去手段と、
   を有することを特徴とする撮像装置。
2. 前記画素遮光手段は、
   前記固体撮像素子を動作させて低輝度画像を撮像する低輝度画像撮像手段と、
   撮像された前記低輝度画像を複数の領域に分割する低輝度画像分割手段と、
   分割された前記複数の領域の中から輝度の低い所定数の低輝度領域を選択する低輝度領域選択手段と、
   選択された前記所定数の低輝度領域が所定の条件を満たすか否かを判定する条件判定手段と、
   前記所定の条件を満たすと判定された場合に、前記所定数の低輝度領域の画素を前記遮光画素とみなす遮光画素みなし手段と、
   を有することを特徴とする、請求項１に記載の撮像装置。
3. 前記低輝度画像撮像手段は、前記固体撮像素子を最高速の電子シャッタ速度で動作させることを特徴とする、請求項２に記載の撮像装置。
4. 前記低輝度画像撮像手段は、
   前記低輝度画像を複数枚撮像し、
   前記複数枚の低輝度画像を平均化して一枚の低輝度画像を生成し、
   前記低輝度画像分割手段は、
   生成された前記一枚の低輝度画像を前記複数の領域に分割することを特徴とする、請求項２又は請求項３に記載の撮像装置。
5. 前記所定数の低輝度領域の信号値の標準偏差を計算する標準偏差計算手段を更に有し、
   前記所定の条件とは、計算された前記標準偏差が所定の閾値以下であることを特徴とする、請求項２から請求項４の何れか一項に記載の撮像装置。
6. 前記所定数の低輝度領域の信号値の標準偏差、及び該信号値の平均値を計算する計算手段を更に有し、
   前記所定の条件とは、計算された前記標準偏差、前記平均値がそれぞれ、第一、第二の閾値以下であることを特徴とする、請求項２から請求項４の何れか一項に記載の撮像装置。
7. 前記画素遮光手段は、前記固体撮像素子中の一部の画素を被膜する遮光膜であることを特徴とする、請求項１に記載の撮像装置。
8. 前記遮光膜は、前記固体撮像素子の有効画素領域外の画素を被膜したことを特徴とする、請求項７に記載の撮像装置。
9. 前記固体撮像素子は、ＣＭＯＳイメージセンサであることを特徴とする、請求項１から請求項８の何れか一項に記載の撮像装置。
10. 請求項１から請求項９の何れか一項に記載の撮像装置を挿入部の先端に搭載したことを特徴とする電子スコープ。
11. 請求項２を引用する請求項１０に記載の電子スコープと、
    前記電子スコープが出力する固定パターンノイズ除去後の撮像信号に所定の信号処理を施す信号処理装置と、
    を有し、
    前記信号処理装置は、前記低輝度画像撮像手段による前記低輝度画像撮像中、外部モニタへの出力を該低輝度画像を撮像する直前の画像に固定することを特徴とする電子内視鏡システム。

Images