JP2011019155A - 固定パターンノイズ除去ユニット、撮像ユニット、および電子内視鏡システム - Google Patents

Abstract

【課題】固定パターンノイズを高い精度で除去する。
【解決手段】画像処理部は簡易ノイズデータを用いてフレームデータを生成する（Ｓ２０１）。タイミングコントローラは撮像素子に１０フレームの低輝度画像信号を生成させる（Ｓ２０５）。画像処理部は低輝度画像データに基づいて合成低輝度画像データを生成する（Ｓ２０６）。画像処理部は合成低輝度画像データとフレームデータとを比較することにより判別値を算出する（Ｓ２０７）。画像処理部は判別値に基づいて合成低輝度画像データの格納または破棄を判別する（Ｓ２０８）。画像処理部は格納された合成低輝度画像データを用いてＦＰＮデータを生成する（Ｓ２１２）。画像処理部は通常画像データからＦＰＮデータを減算する。
【選択図】図４

Description

本発明は、ＣＭＯＳ撮像素子などのように画素毎に異なる固定パターンノイズを簡易な構成で効果的に除去する固定パターンノイズ除去ユニット、撮像ユニット、および固定パターンノイズの除去された画像を作成する電子内視鏡システムに関する。

消費電力および製造コストの低減化することが可能なＣＭＯＳ撮像素子が知られている。ＣＭＯＳ撮像素子は各画素にアンプが設けられるため、画素毎に個別の固定パターンノイズが発生する。

また、露光時間を短く設定して電子シャッタを機能させることにより遮光状態と同等の状況下での撮像により固定パターンノイズを生成させ、撮像時の画像データから固定パターンノイズ成分を除去することが提案されている（特許文献１参照）。

しかし、露光時間を十分に短く設定できない場合や、光量の大きい光が入射する場合には、精度の高い固定パターンノイズを生成することが出来ない。それゆえ、このような状況下では、高い精度で固定パターンノイズを除去することが困難であった。

また、固定パターンノイズデータをメモリに格納して、画像信号から固定パターンノイズを除去することも提案されている。しかし、全画素に対する固定パターンノイズのデータ量は大きく、容量の大きなメモリが必要である。

また、固定パターンノイズデータを可逆圧縮してメモリに格納することも提案されている（特許文献２参照）が、十分な補正精度を確保するためにはある程度の容量のメモリが必要であり、小型化および製造コストの低減化に対する問題であった。

特開平１０−３１３４２８号公報 特開２００３−０１８４７５号公報

したがって、本発明では簡易な構成で固定パターンノイズを高い精度で除去する固定パターンノイズ除去ユニットを提供することを目的とする。

本発明の固定パターンノイズ除去ユニットは、撮像素子に固有の固定パターンノイズに相当するＦＰＮデータのデータ量を低下させた簡易ＦＰＮデータを受信する受信部と、撮像素子に通常時間を露光時間として撮影することにより通常画像信号を生成させまたは通常時間より短い低輝度時間を露光時間として撮影することにより低輝度画像信号を生成させる撮像素子制御部と、簡易ＦＰＮデータに基づいて低輝度画像信号を通常画像信号に含まれる固定パターンノイズの除去に用いることが可能か否かを判別する判別部と、判別部が低輝度画像信号を固定パターンノイズの除去に用いることが可能であると判別する場合に低輝度画像信号に基づく疑似固定パターンノイズを用いて通常画像信号に含まれる固定パターンノイズを除去するＦＰＮ除去部とを備えることを特徴としている。

さらに、撮像素子制御部に生成させた複数の低輝度画像信号を用いて疑似固定パターンノイズに相当する疑似ＦＰＮデータを生成する疑似ＦＰＮ生成部を備え、判別部は簡易ＦＰＮデータと疑似ＦＰＮデータのデータ値を比較することにより疑似ＦＰＮデータの生成に用いた低輝度画像信号を固定パターンノイズの除去に用いることが可能か否かを判別し、ＦＰＮ除去部は疑似ＦＰＮデータを用いて通常画像信号に含まれる固定パターンノイズを除去することが好ましい。

さらに、疑似ＦＰＮ生成部は複数の低輝度画像信号を平均化することにより疑似ＦＰＮデータを生成することが好ましい。

また、疑似ＦＰＮ生成部は簡易ＦＰＮデータを用いて疑似ＦＰＮデータを生成することが好ましい。

また、ＦＰＮ除去部は、低輝度画像信号を固定パターンノイズの除去に用いることが不可能であると判別する場合に、簡易ＦＰＮデータを用いて通常画像信号に含まれる固定パターンノイズを除去することが好ましい。

また、撮像素子制御部は、判別部が低輝度信号を固定パターンノイズの除去に用いることが不可能であると判別する場合に、低輝度画像信号を生成させた後の所定の時間経過後に撮像素子に低輝度画像信号を生成させることが好ましい。

また、簡易ＦＰＮデータを格納するメモリを備え、受信部はメモリから簡易ＦＰＮデータを受信することが好ましい。

また、簡易ＦＰＮデータは、ＦＰＮデータを圧縮させることにより生成されることが好ましい。または、簡易ＦＰＮデータは、撮像素子に配置される画素の一部に対する固定パターンノイズに相当することが好ましい。または、簡易ＦＰＮデータは、前記撮像素子に配置される画素の並ぶ行および／または列毎の固定パターンノイズに相当することが好ましい。

また、低輝度時間は、撮像素子に対して設定可能な最短の露光時間に定められることが好ましい。

本発明の撮像ユニットは、撮像素子と、撮像素子に固有の固定パターンノイズに相当するＦＰＮデータのデータ量を低下させた簡易ＦＰＮデータを格納するメモリと、撮像素子に通常時間を露光時間として撮影することにより通常画像信号を生成させまたは通常時間より短い低輝度時間を露光時間として撮影することにより低輝度画像信号を生成させる撮像素子制御部と、簡易ＦＰＮデータに基づいて低輝度画像信号を通常画像信号に含まれる固定パターンノイズの除去に用いることが可能か否かを判別する判別部と、判別部が低輝度画像信号を固定パターンノイズの除去に用いることが可能であると判別する場合に低輝度画像信号に基づく疑似固定パターンノイズを用いて通常画像信号に含まれる固定パターンノイズを除去するＦＰＮ除去部とを備えることを特徴としている。

本発明の電子内視鏡システムは、撮像素子を有する電子内視鏡と、撮像素子に固有の固定パターンノイズに相当するＦＰＮデータのデータ量を低下させた簡易ＦＰＮデータを格納するメモリと、撮像素子に通常時間を露光時間として撮影することにより通常画像信号を生成させまたは通常時間より短い低輝度時間を露光時間として撮影することにより低輝度画像信号を生成させる撮像素子制御部と、簡易ＦＰＮデータに基づいて低輝度画像信号を通常画像信号に含まれる固定パターンノイズの除去に用いることが可能か否かを判別する判別部と、判別部が低輝度画像信号を固定パターンノイズの除去に用いることが可能であると判別する場合に低輝度画像信号に基づく疑似固定パターンノイズを用いて通常画像信号に含まれる固定パターンノイズを除去するＦＰＮ除去部とを備えることを特徴としている。

本発明によれば、容量の大きなメモリを用いることなく、高い精度で固定パターンノイズを除去することが可能となる。

本発明の一実施形態を適用した固定パターンノイズ除去ユニットを有する電子内視鏡システムの内部構成を概略的に示すブロック図である。 画像処理部の内部構成を概略的に示すブロック図である。 ＦＰＮの除去の処理を説明するためのフローチャートである。 ＦＰＮデータ生成処理のサブルーチンのフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態を適用した固定パターンノイズ除去ユニットを有する電子内視鏡システムの内部構成を概略的に示すブロック図である。

電子内視鏡システム１０は、電子内視鏡２０、内視鏡プロセッサ４０、およびモニタ１１によって構成される。内視鏡プロセッサ４０は、電子内視鏡２０、及びモニタ１１に接続される。

内視鏡プロセッサ４０には光源ユニット（図示せず）が設けられる。光源ユニットから照射する照明光が、電子内視鏡２０のコネクタ２１から挿入管２２の先端まで延設されるライトガイド（図示せず）によって挿入管２２の先端まで伝達される。

ライトガイドにより伝達された照明光が挿入管２２の先端付近に照射される。照明光を照射された被写体が電子内視鏡２０により撮像される。電子内視鏡２０の撮像により生成する画像信号が内視鏡プロセッサ４０に送られる。

内視鏡プロセッサ４０は画像処理回路４１を有しており、画像処理回路４１において電子内視鏡２０から得られた画像信号に対して所定の信号処理が施される。所定の信号処理を施した画像信号はモニタ１１に送信され、送信された画像信号に相当する画像がモニタ１１に表示される。

なお、光源ユニットおよび画像処理回路４１は、内視鏡プロセッサ４０に設けられるシステムコントローラ４２により動作が制御される。また、システムコントローラ４２は、電子内視鏡２０にも接続され、電子内視鏡２０の各部位の動作も制御する。

なお、内視鏡プロセッサ４０には入力部４３が設けられる。使用者によるコマンドが入力されると、入力されたコマンドに応じたオーダー信号が入力部４３からシステムコントローラ４２に送信される。システムコントローラ４２は、受信したオーダー信号に応じて各部位の動作を制御する。

電子内視鏡２０には、対物レンズ２３、撮像素子２４、Ａ／Ｄコンバータ２５、画像処理部３０、Ｄ／Ａコンバータ２６、ＳＤＲＡＭ２７（メモリ）、タイミングコントローラ２８（撮像素子制御部）、フラッシュＲＯＭ などが設けられる。

前述のように、照明光が照射された被写体の光学像が対物レンズ２３を介して、撮像素子２４の受光面に到達する。タイミングコントローラ２８の駆動に基づいて、撮像素子２４は受光面に到達した光学像に相当する画像信号を生成する。

撮像素子２４はＣＭＯＳ撮像素子であり、受光面には行列状に複数の画素（図示せず）が配置される。各画素では、受光量に応じた画素信号が生成される。

各画素において生成される画素信号は、固定パターンノイズ（ＦＰＮ）成分および受光量成分を有する。ＦＰＮ成分は、各画素固有のノイズ成分であり、露光時間に関わらず一定の大きさである。また、受光量成分は、画素への積算露光量、すなわち入射光の光量および露光時間の積に応じて変化する。

タイミングコントローラ２８により各画素が生成する画素信号の出力時期が制御され、画素信号が撮像素子２４から順番に出力される。受光面に配置されたすべての画素が生成した画素信号によって１フレームの画像信号が構成される。タイミングコントローラ２８の制御に基づき、画像観察時に撮像素子２４は１／６０秒毎に１フレームの画像信号を生成し、出力する。

なお、後述するように、タイミングコントローラ２８は画素の露光時間を制御することも可能である。さらに、タイミングコントローラ２８により、Ａ／Ｄコンバータ２５および画像処理部３０における動作のタイミングも制御される。

生成された画像信号は、撮像素子２４からＡ／Ｄコンバータ２５に送信される。Ａ／Ｄコンバータ２５によりＡ／Ｄ変換が施され、アナログ画像信号がデジタル画像データに変換される。なお、画像データは、画素信号をＡ／Ｄ変換した画素データによって構成される。

画像データは、画像処理部３０に送信される。画像処理部３０では、ＦＰＮ除去を含む所定の画像処理が画像データに対して施される。なお、画像処理部３０はＳＤＲＡＭ２７とフラッシュＲＯＭ２９とに接続される。

ＳＤＲＡＭ２７には、後述するように、合成低輝度画像データおよび合成されたＦＰＮデータが格納される。また、フラッシュＲＯＭ２９には、後述するように、簡易ＦＰＮデータが予め格納されている。

所定の画像処理が施された画像データは、Ｄ／Ａコンバータ２６に送信される。Ｄ／Ａコンバータ２６によりＤ／Ａ変換が施され、デジタル画像データがアナログ画像信号に変換される。変換された画像信号は内視鏡プロセッサ４０の画像処理回路４１に送信される。前述のように、画像処理回路４１では画像信号に対して所定の画像処理が施される。画像処理後、画像信号はモニタ１１に送信され、画像信号に相当する画像がモニタ１１に表示される。

次に、画像処理部３０の構成とともに、画像処理部３０において実行されるＦＰＮ除去について説明する。図２に示すように、画像処理部３０は、平均化回路３１、判別回路３２、フレームデータ生成回路３３、ＦＰＮ生成回路３４、ＦＰＮ補正回路３５（ＦＰＮ除去部）、および一般画像処理回路３６などによって構成される。

画素データからＦＰＮ成分を除去するためには、各画素固有のＦＰＮ成分を求める必要である。ＦＰＮ除去の前に、画像処理部３０によりＦＰＮ成分とみなせるノイズデータによって構成されるＦＰＮデータが生成される。

前述のように、画素データはＦＰＮ成分と受光量成分とを有する。受光量成分がゼロとなる状況において画素データを生成させることにより、ＦＰＮ成分とみなせるノイズデータが作成される。ノイズデータの作成のためには、明る過ぎない状況において極めて短い露光時間で画像データを生成させる必要がある。

ＦＰＮデータ生成のために、電子内視鏡２０の起動時にタイミングコントローラ２８は、電子内視鏡２０で調整可能な最短の時間、例えば２００ｎｓの時間である低輝度時間を露光時間として撮像素子２４に１０回の撮影を実行させ、１０フレームの低輝度画像信号を生成させる。

低輝度画像信号に相当する低輝度画像データは平均化回路３１に入力される。平均化回路３１では、１０フレームの低輝度画像データを画素データ毎に相加平均することにより、合成低輝度画像データが生成される。

合成低輝度画像データは、判別回路３２に送信される。判別回路３２では、合成低輝度画像データがＦＰＮデータ生成に用いるのに適しているか否かが判別される。合成低輝度画像データの適否の判別にはフレームデータを用いる。以下に説明するように、フレームデータはフレームデータ生成回路３３により生成され、判別回路３２に入力される。

フレームデータ生成部３３では、フラッシュＲＯＭ２９に格納された簡易ＦＰＮデータを用いてフレームデータを生成する。フレームデータは、全画素に対して近似的に生成されたノイズデータによって構成される。

一般的に、固定パターンノイズは画像において縦筋状、横筋状に表れる。したがって、固定パターンノイズは画素の配列される行および列に依存しており、各画素のノイズデータはＦＰＮ行成分とＦＰＮ列成分を合計することにより近似的に生成可能である。

簡易ＦＰＮデータは、撮像素子２４の受光面における画素の行および列毎のＦＰＮ成分であるＦＰＮ行成分およびＦＰＮ列成分によって構成される。したがって、ｍ行ｎ列に画素が配置された場合、全画素に対するＦＰＮ成分は（ｍ×ｎ）のノイズデータとなるが、簡易ＦＰＮデータは（ｍ＋ｎ）のノイズデータである。

前述のように、フレームデータ生成部３３では、簡易ＦＰＮデータを用いて全画素のノイズデータを生成することにより、フレームデータを生成する。生成したフレームデータは、判別回路３２およびＦＰＮ生成回路３４に送信される。

判別回路３２では、合成低輝度画像データとフレームデータとのデータ値の差分が画素毎に算出される。次に、判別回路３２では、画素毎の差分の絶対値を平均化することにより判別値が算出される。判別値が閾値未満である場合に、合成低輝度画像データがＦＰＮデータ生成に適用可能であると判別する。なお、閾値は、例えば、合成低輝度画像データの情報量が１２ビットである場合に、２０ＬＳＢに定められる。

判別回路３２により合成低輝度画像データがＦＰＮデータ生成に適用可能であると判別されたときに、合成低輝度画像データはＳＤＲＡＭ２７の低輝度画像データ領域２７ａに格納される。なお、ＦＰＮデータ生成に適用不可能であると判別された合成低輝度画像データは破棄される。

４フレームの合成低輝度画像データがＳＤＲＡＭ２７に格納されるまで、あるいは所定の時間、例えば起動開始後５秒経過するまで、低輝度画像信号および合成低輝度画像データの生成と、合成低輝度画像データの適否の判別と、ＳＤＲＡＭ２７への格納とが繰返される。

４フレームの合成低輝度画像データのＳＤＲＡＭ２７への格納後、または所定の時間経過後に、ＦＰＮ生成回路３４は、ＳＤＲＡＭ２７に格納されたすべての合成低輝度画像データを読出す。

ＦＰＮ生成回路２７では、読出した合成低輝度画像データを用いてＦＰＮデータが生成される。詳細に説明すると、合成低輝度画像データの画素毎のデータを平均化することにより画素固有のノイズデータが生成され、全画素のノイズデータを生成することによりＦＰＮデータが生成される。生成されたＦＰＮデータはＳＤＲＡＭ２７のＦＰＮデータ領域２７ｂに格納される。

なお、ＳＤＲＡＭ２７に４フレームの合成低輝度画像データが格納されていない場合には、ＦＰＮ生成回路３４ではフレームデータ生成回路３３から送信されたフレームデータを用いてＦＰＮデータが生成される。

例えば、ＳＤＲＡＭ２７に合成低輝度画像データが格納されていない場合には、ＦＰＮ生成回路３３からフレームデータがＦＰＮデータとして出力される。また、ＳＤＲＡＭ２７にｓフレーム（ｓ＝１、２、または３）の合成低輝度画像データが格納されている場合には、フレームデータに（４−ｓ）の係数を乗じて、合成低輝度画像データとともに相加平均することによりＦＰＮデータが生成される。

ＦＰＮデータがＳＤＲＡＭ２７に格納されると、タイミングコントローラ２８は通常時間、例えば１／６０秒を露光時間として撮像素子２４に撮影を実行させ、１フレームの通常画像信号を生成させる。

通常画像信号に相当する通常画像データはＦＰＮ補正回路３５に入力される。ＦＰＮ補正回路３５は通常画像データを受信すると、ＦＰＮデータ領域２７ｂからＦＰＮデータがＦＰＮ補正回路３５に読出される。

ＦＰＮ補正回路３５において、通常画像データからＦＰＮデータが減算されることにより通常画像データからＦＰＮが除去される。ＦＰＮの除去された通常画像データは一般画像処理回路３６に送信される。

一般画像処理回路３６では、受信した画像データに色補間処理やガンマ補正処理などの所定のデータ処理が施される。所定のデータ処理が施された通常画像データが、前述のようにＤ／Ａコンバータ２６に送信される。

なお、フレームデータを用いてＦＰＮデータを生成した場合には、通常画像信号の生成開始後から所定の期間の経過後に、再び合成低輝度画像データの生成、合成低輝度画像データの適否の判別、およびＳＤＲＡＭ２７への格納が実行される。新たに格納された合成低輝度画像データと、すでに格納されている合成低輝度画像データとを用いてＦＰＮデータが生成される。新たに生成されたＦＰＮデータによりＦＰＮデータ領域２７ｂに格納されたＦＰＮデータが更新される。

次に、システムコントローラ４２、タイミングコントローラ２８、および画像処理部３０によって行われるＦＰＮ除去の処理を図３のフローチャートを用いて説明する。図３はＦＰＮデータ除去の処理を説明するためのフローチャートである。ＦＰＮ除去の処理は、電子内視鏡システム１０の電源をＯＮにするときに開始される。

ステップＳ１００において、システムコントローラ４２は、電子内視鏡２０を起動させる。電子内視鏡２０の起動時に、電子内視鏡２０の固有データの読込みおよび撮像素子２４の初期化などを実行する。電子内視鏡２０の起動後、ステップＳ２００に進む。

ステップＳ２００において、後述するように、画像処理部３０は、ＦＰＮデータを生成する。ＦＰＮデータを生成すると、ステップＳ１０１に進む。

ステップＳ１０１において、システムコントローラ４２は、第１の経過時間ｔ１を０にリセットする。第１の経過時間ｔ１のリセット後、ステップＳ１０２に進む。

ステップＳ１０２において、ステップＳ２００において生成したＦＰＮデータの生成にフレームデータが用いられたか否かをシステムコントローラ４２は判別する。フレームデータが用いられた場合には、ステップＳ１０３に進む。フレームデータが用いられていない場合には、ステップＳ１０３をスキップして、ステップＳ１０４に進む。

ステップＳ１０３において、システムコントローラ４２は、第１の経過時間ｔ１の計時を開始する。第１の経過時間の計時を開始後、ステップＳ１０４に進む。

ステップＳ１０４において、タイミングコントローラ２８は通常時間を露光時間として撮像素子２４に撮像を実行させ、通常画像信号を生成させる。また、画像処理部３０は、低輝度画像信号を低輝度画像データに変換する。通常画像データへの変換後、ステップＳ１０５に進む。

ステップＳ１０５において、画像処理部３０は、まずＦＰＮデータ領域２７ｂに格納されたＦＰＮデータを読出す。次に、通常画像データからＦＰＮデータを減算することにより、通常画像データのＦＰＮ成分を除去する。ＦＰＮ成分の除去後にステップＳ１０６に進む。

ステップＳ１０６において、システムコントローラ４２は第１の経過時間ｔ１が所定期間を経過しているか否かを判別する。第１の経過時間ｔ１が所定期間の経過前、すなわち第１の経過時間ｔ１が所定期間未満である場合には、ステップＳ１０７に進む。第１の経過時間ｔ１が所定期間以上である場合には、ステップＳ２００に戻る。

ステップＳ１０７において、動画表示を終了するコマンドが入力されているか否かをシステムコントローラ４２は判別する。動画表示を終了するコマンドが入力されていない場合には、ステップＳ１０４に戻り、動画表示を終了するコマンドが入力されるまでステップＳ１０４〜ステップＳ１０７の処理を繰返す。動画表示を終了するコマンドが入力されている場合に、ＦＰＮ成分除去の処理を終了する。

次に、ステップＳ２００において実行されるＦＰＮデータ生成処理のサブルーチンを図４のフローチャートを用いて説明する。

ステップＳ２０１において、画像処理部３０はフラッシュＲＯＭ２９に格納された簡易ＦＰＮデータを読出す。簡易ＦＰＮデータの読出し後、ステップＳ２０２に進む。

ステップＳ２０２において、画像処理部３０は簡易ＦＰＮデータに基づいて、フレームデータを生成する。フレームデータの生成後、ステップＳ２０３に進む。

ステップＳ２０３において、システムコントローラ４２は第２の経過時間ｔ２を０にリセットする。第２の経過時間ｔ２のリセット後、ステップＳ２０４に進む。

ステップＳ２０４において、システムコントローラ４２は、第２の経過時間ｔ２の計時を開始する。第２の経過時間ｔ２の計時を開始後、ステップＳ１０４に進む。

ステップＳ２０５において、タイミングコントローラ２８は低輝度時間を露光時間として撮像素子２４に１０回の撮影を実行させ、１０フレームの低輝度画像信号を生成させる。また、画像処理部３０は１０フレームの低輝度画像信号を低輝度画像データに変換する。低輝度画像データへの変換後、ステップＳ２０６に進む。

ステップＳ２０６では、画像処理部３０は、１０フレームの低輝度画像データを相加平均することにより合成低輝度画像データを生成する。合成低輝度画像データの生成後、ステップＳ２０７に進む。

ステップＳ２０７において、画像処理部３０は、フレームデータと合成低輝度画像データに基づいて判別値を算出する。判別値の算出後、ステップＳ２０８に進む。

ステップＳ２０８において、画像処理部３０は、判別値が閾値未満であるか否かを判別する。判別値が閾値未満である場合には、ステップＳ２０９に進む。判別値が閾値以上である場合には、ステップＳ２１０に進む。

ステップＳ２０９において、画像処理部３０は合成低輝度画像データを低輝度画像データ領域２７ａに格納する。合成低輝度画像データの格納後、ステップＳ２１１に進む。一方、ステップＳ２１０において、画像処理部３０は合成低輝度画像データを廃棄する。合成低輝度画像データの廃棄後、ステップＳ２１１に進む。

ステップＳ２１１において、画像処理部３０はＳＤＲＡＭ２７に４フレームの合成低輝度画像データが格納されている否かを判別する。４フレームの合成低輝度画像データが格納されている場合には、ステップＳ２１２に進む。４フレームの合成低輝度画像データが格納されていない場合には、ステップＳ２１３に進む。

ステップＳ２１２において、画像処理部３０はＳＤＲＡＭ２７に格納されている４フレームの合成低輝度画像データのみを相加平均することにより、ＦＰＮデータを生成する。ＦＰＮデータの生成後、ＦＰＮデータ生成処理のサブルーチンを終了する。

ステップＳ２１３において、システムコントローラ４２は第２の経過時間ｔ２が所定期間を経過しているか否かを判別する。第２の経過時間ｔ２が所定期間を経過していない、すなわち第２の経過時間ｔ２が所定期間以下である場合には、ステップＳ２０５に進む。以後、第２の経過時間ｔ２が所定期間を超えるまでステップＳ２０５〜ステップＳ２１３の処理を繰返す。第２の経過時間ｔ２が所定期間を超える場合には、ステップＳ２１４に進む。

ステップＳ２１４において、画像処理部３０はＳＤＲＡＭ２７に格納されている全合成低輝度画像データおよびフレームデータを相加平均することにより、ＦＰＮデータを生成する。ＦＰＮデータの生成後、ＦＰＮデータ生成処理のサブルーチンを終了する。

以上のような本実施形態を適用した固定パターンノイズ除去ユニットによれば、フレームデータに基づいて合成低輝度画像データをＦＰＮデータ生成に適しているか否かを判別するので、高い精度でＦＰＮ除去可能である。

また、全画素の固定パターンノイズに相当するデータに比べてデータ量の少ない簡易ＦＰＮデータをメモリに格納するので、容量の大きなメモリが不要である。それゆえ、機器の大型化や製造コストの増加を抑制可能である。

また、第１の実施形態によれば、低輝度画像信号の生成時に撮像素子２４が受光する光学像が明る過ぎる場合に、フレームデータを用いてＦＰＮデータを生成するので、通常画像データからＦＰＮを除去することが可能である。

なお、本実施形態において、簡易ＦＰＮデータを用いてフレームデータを生成し、生成したフレームデータを合成低輝度画像データの適正を判別する構成であるが、簡易ＦＰＮデータを用いた他の方法により合成低輝度画像データの適正を判別してもよい。例えば、合成低輝度画像データに基づいて各行および各列のＦＰＮ成分を生成させ、簡易ＦＰＮデータと比較することにより合成低輝度画像データの適正を判別しても、本実施形態と同様の効果を得ることが可能である。

また、本実施形態において、ＦＰＮデータは合成低輝度画像データを相加平均することにより生成される構成であるが、合成低輝度画像データに基づいて他の方法により生成されてもよい。

また、本実施形態において、ＦＰＮデータは４フレームの合成低輝度画像データを用いて生成される構成であるが、４フレームに限られない。単一のフレームの合成低輝度画像データをＦＰＮデータとして出力してもよい。

また、本実施形態において、合成低輝度画像データは低輝度画像データを相加平均することにより生成される構成であるが、低輝度画像データに基づいて他の方法により生成されてもよい。

また、本実施形態において、合成低輝度画像データは１０フレームの低輝度画像データを用いて生成される構成であるが、１０フレームに限られない。単一のフレームの低輝度画像データを合成低輝度画像データとして、以後の処理に用いてもよい。

また、本実施形態において、簡易ＦＰＮデータは画素の行および列毎のＦＰＮ成分であるが、全画素のＦＰＮ成分よりデータ量が少なくなるように取得したデータを簡易ＦＰＮデータとしてもよい。

例えば、全画素の中の任意の一部の画素のＦＰＮ成分を簡易ＦＰＮデータとして用いてもよい。さらに、全画素のＦＰＮ成分を圧縮することにより、簡易ＦＰＮデータを生成してもよい。また、全画素のＦＰＮ成分の情報量を低減化させ、例えば１２ビットのデータを５ビットに変換して簡易ＦＰＮデータとして用いてもよい。

また、本実施形態において、４フレームの合成低輝度画像データがＳＤＲＡＭ２７に格納されない場合にはフレームデータを用いてＦＰＮデータを生成する構成であるが、どのような場合であってもフレームデータを用いずにＦＰＮデータを生成してもよい。

ただし、本実施形態のように、合成低輝度画像データのフレーム数が少ない場合には、フレームデータを用いることにより、ＦＰＮデータの生成時に発生するノイズの影響を低減化可能である。また、合成低輝度画像データが格納されなかった場合であっても、通常画像データからＦＰＮを除去することが可能である。

また、本実施形態において画像処理部３０は電子内視鏡２０に設けられる構成であるが、内視鏡プロセッサ４０に設けられてもよい。ただし、内視鏡プロセッサ４０に設ける場合には、電子内視鏡２０と内視鏡プロセッサ４０の接続時に、電子内視鏡２０特有の簡易ＦＰＮデータを画像処理部３０が受信可能な構成にすれば、本実施形態と同様の効果を得ることが可能である。

また、本実施形態において、内視鏡プロセッサ４０に設けられたシステムコントローラ４２により内視鏡システム１０の各部位が制御される構成であるが、電子内視鏡２０の各部位を制御するシステムコントローラが電子内視鏡２０に設けられてもよい。

また、本実施形態において、フレームデータを用いてＦＰＮデータを生成した場合には、所定期間経過時に再び合成低輝度画像データを生成して、ＦＰＮデータを更新する公正であるが、ＦＰＮデータを更新しなくてもよい。ＦＰＮデータを更新しなくても、十分なＦＰＮ補正が可能である。

また、本実施形態において、フレームデータの生成後に所定期間が経過後には、合成低輝度画像データの生成を終了する構成であるが、終了しなくてもよい。ただし、撮像素子２４の撮像範囲に明る過ぎる被写体が継続的に存在する場合には、通常の画像を表示できなくなるので、本実施形態のように所定期間の経過後に強制的に終了する構成であることが好ましい。

また、本実施形態において、低輝度時間は電子内視鏡２０で調整可能な最短の時間であるが、最短時間に限られない。ＦＰＮデータ生成時に想定される被写体の明るさに対して、画素信号の受光量成分を実質的にゼロにさせる時間であれば低輝度時間として定めてもよい。

また、本実施形態において、ＦＰＮデータ生成は電子内視鏡システム１０の起動時に実行される構成であるが、起動時に限られない。他の初期動作の終了後や使用者によるＦＰＮデータ生成の実行コマンドの入力時に、ＦＰＮデータ生成を始める構成であってもよい。

また、本実施形態において、固定パターンノイズ除去ユニットは電子内視鏡システムに適用される構成であるが、デジタルスチルカメラやデジタルビデオカメラなどの他の撮像装置に適用されてもよい。

また、本の実施形態において、撮像素子２４はＣＭＯＳ撮像素子であるが、各画素にアンプが設けられ、画素固有の固定パターンノイズが生じる他の種類の撮像素子に対しても適用可能である。

１０ 電子内視鏡システム
２０ 電子内視鏡
２４ 撮像素子
２７ ＳＤＲＡＭ
２７ａ、２７ｂ 低輝度画像データ領域、ＦＰＮデータ領域
２８ タイミングコントローラ
２９ フラッシュＲＯＭ
３０ 画像処理部
３１ 平均化回路
３２ 判別回路
３３ フレームデータ生成回路
３４ ＦＰＮ生成回路
３５ ＦＰＮ補正回路
４０ 内視鏡プロセッサ
４２ システムコントローラ

Claims (13)

1. 撮像素子に固有の固定パターンノイズに相当するＦＰＮデータのデータ量を低下させた簡易ＦＰＮデータを受信する受信部と、
   前記撮像素子に通常時間を露光時間として撮影することにより通常画像信号を生成させ、または前記通常時間より短い低輝度時間を露光時間として撮影することにより低輝度画像信号を生成させる撮像素子制御部と、
   前記簡易ＦＰＮデータに基づいて、前記低輝度画像信号を前記通常画像信号に含まれる前記固定パターンノイズの除去に用いることが可能か否かを判別する判別部と、
   前記判別部が前記低輝度画像信号を前記固定パターンノイズの除去に用いることが可能であると判別する場合に、前記低輝度画像信号に基づく疑似固定パターンノイズを用いて前記通常画像信号に含まれる前記固定パターンノイズを除去するＦＰＮ除去部とを備える
   ことを特徴とする固定パターンノイズ除去ユニット。
2. 前記撮像素子制御部に生成させた複数の前記低輝度画像信号を用いて、前記疑似固定パターンノイズに相当する疑似ＦＰＮデータを生成する疑似ＦＰＮ生成部を備え、
   前記判別部は、前記簡易ＦＰＮデータと前記疑似ＦＰＮデータのデータ値を比較することにより、前記疑似ＦＰＮデータの生成に用いた前記低輝度画像信号を前記固定パターンノイズの除去に用いることが可能か否かを判別し、
   前記ＦＰＮ除去部は、前記疑似ＦＰＮデータを用いて前記通常画像信号に含まれる前記固定パターンノイズを除去する
   ことを特徴とする請求項１に記載の固定パターンノイズ除去ユニット。
3. 前記疑似ＦＰＮ生成部は、前記複数の低輝度画像信号を平均化することにより前記疑似ＦＰＮデータを生成することを特徴とする請求項２に記載の固定パターンノイズ除去ユニット。
4. 前記疑似ＦＰＮ生成部は、前記簡易ＦＰＮデータを用いて前記疑似ＦＰＮデータを生成することを特徴とする請求項２または請求項３記載の固定パターンノイズ除去ユニット。
5. 前記ＦＰＮ除去部は、前記低輝度画像信号を前記固定パターンノイズの除去に用いることが不可能であると判別する場合に、前記簡易ＦＰＮデータを用いて前記通常画像信号に含まれる前記固定パターンノイズを除去することを特徴とする請求項１〜請求項４のいずれか１項に記載の固定パターンノイズ除去ユニット。
6. 前記撮像素子制御部は、前記判別部が前記低輝度信号を前記固定パターンノイズの除去に用いることが不可能であると判別する場合に、前記低輝度画像信号を生成させた後の所定の時間経過後に前記撮像素子に前記低輝度画像信号を生成させることを特徴とする請求項１〜請求項５のいずれか１項に記載の固定パターンノイズ除去ユニット。
7. 前記簡易ＦＰＮデータを格納するメモリを備え、前記受信部は前記メモリから前記簡易ＦＰＮデータを受信することを特徴とする請求項１〜請求項６のいずれか１項に記載の固定パターンノイズ除去ユニット。
8. 前記簡易ＦＰＮデータは、前記ＦＰＮデータを圧縮させることにより生成されることを特徴とする請求項１〜請求項７のいずれか１項に記載の固定パターンノイズ除去ユニット。
9. 前記簡易ＦＰＮデータは、前記撮像素子に配置される画素の一部に対する固定パターンノイズに相当することを特徴とする請求項１〜請求項７のいずれか１項に記載の固定パターンノイズ除去ユニット。
10. 前記簡易ＦＰＮデータは、前記撮像素子に配置される画素の並ぶ行および／または列毎の固定パターンノイズに相当することを特徴とする請求項１〜請求項７のいずれか１項に記載の固定パターンノイズ除去ユニット。
11. 前記低輝度時間は、前記撮像素子に対して設定可能な最短の露光時間に定められることを特徴とする請求項１〜請求項１０のいずれか１項に記載の固定パターンノイズ除去ユニット。
12. 撮像素子と、
    前記撮像素子に固有の固定パターンノイズに相当するＦＰＮデータのデータ量を低下させた簡易ＦＰＮデータを格納するメモリと、
    前記撮像素子に通常時間を露光時間として撮影することにより通常画像信号を生成させ、または前記通常時間より短い低輝度時間を露光時間として撮影することにより低輝度画像信号を生成させる撮像素子制御部と、
    前記簡易ＦＰＮデータに基づいて、前記低輝度画像信号を前記通常画像信号に含まれる前記固定パターンノイズの除去に用いることが可能か否かを判別する判別部と、
    前記判別部が前記低輝度画像信号を前記固定パターンノイズの除去に用いることが可能であると判別する場合に、前記低輝度画像信号に基づく疑似固定パターンノイズを用いて前記通常画像信号に含まれる前記固定パターンノイズを除去するＦＰＮ除去部とを備える
    ことを特徴とする撮像ユニット。
13. 撮像素子を有する電子内視鏡と、
    前記撮像素子に固有の固定パターンノイズに相当するＦＰＮデータのデータ量を低下させた簡易ＦＰＮデータを格納するメモリと、
    前記撮像素子に通常時間を露光時間として撮影することにより通常画像信号を生成させ、または前記通常時間より短い低輝度時間を露光時間として撮影することにより低輝度画像信号を生成させる撮像素子制御部と、
    前記簡易ＦＰＮデータに基づいて、前記低輝度画像信号を前記通常画像信号に含まれる前記固定パターンノイズの除去に用いることが可能か否かを判別する判別部と、
    前記判別部が前記低輝度画像信号を前記固定パターンノイズの除去に用いることが可能であると判別する場合に、前記低輝度画像信号に基づく疑似固定パターンノイズを用いて前記通常画像信号に含まれる前記固定パターンノイズを除去するＦＰＮ除去部とを備える
    ことを特徴とする電子内視鏡システム。

Images