JP2007335991A

JP2007335991A - 信号処理回路

Info

Publication number: JP2007335991A
Application number: JP2006162639A
Authority: JP
Inventors: Masahiko Nozaki; 正彦野崎; Junichi Hosokawa; 純一細川; Naohito Watanabe; 尚人渡邉
Original assignee: Toshiba Corp; Toshiba Digital Media Engineering Corp
Current assignee: Toshiba Corp; Toshiba Development and Engineering Corp
Priority date: 2006-06-12
Filing date: 2006-06-12
Publication date: 2007-12-27

Abstract

【課題】解像度の低下を招くことなく、固定ノイズや画素欠陥のようなキズ並びにランダムノイズを補正できる信号処理回路を提供する。
【解決手段】信号処理回路は、並べ替え回路３５、エッジ検出回路３９、キズ補正回路３６、ノイズリダクション回路３７及び重み付け加算回路３８を備える。並べ替え回路は、補正の対象となる画素とその周辺の画素の中から同色の画素を抽出してレベル順に並べ替える。エッジ検出回路は、画素の映像信号から垂直と水平エッジ成分を抽出し、加算して画像のエッジを検出する。キズ補正回路は白キズと黒キズを補正し、ノイズリダクション回路はメジアンフィルタ処理する。重み付け加算回路は、画素の信号レベルの差が大きい時にキズ補正回路の出力の重み付けを強くして加算し、画素の信号レベルの差が小さい時にノイズリダクション回路の出力の重み付けを強くして加算する。
【選択図】図１

Description

本発明は、例えば固体撮像装置において画素から得た映像信号を処理するための信号処理回路に関し、特にノイズリダクション機能付きで且つ白キズと黒キズの補正を行う信号処理回路に関する。

従来、自動キズ補正回路では、同色の３×３＝９画素の信号から中央の画素がキズか否かを判別し、周辺の正常な画素の加算平均と置き換えることによりキズ補正を行っている（例えば特許文献１参照）。この方法は、９画素中に２画素の黒キズと２画素の白キズが混在していても補正が可能である。また、解像度を保持したままで固定ノイズや画素欠陥のようなキズを補正するのにも効果を発揮する。しかしながら、ランダムノイズの補正は不可能である。

一方、例えば特許文献２には、ランダムノイズに強いメジアンフィルタ方式のノイズリダクション回路が開示されている。しかし、映像信号をメジアンフィルタ処理（二次元メジアンフィルタ方式による補正処理）すると、元信号に比べて解像度が大きく低下する。
特開２００４−１３４９４１特開２０００−３５８１９５

本発明は上記のような事情に鑑みてなされたもので、その目的とするところは、解像度の低下を招くことなく、固定ノイズや画素欠陥のようなキズ並びにランダムノイズを補正できる信号処理回路を提供することにある。

本発明の一態様によると、キズ補正の対象となる画素とその周辺の複数画素の中から同色の画素を抜き出し、信号レベルの順に並べ替える並べ替え回路と、前記キズ補正の対象となる画素とその周辺の複数画素の映像信号から垂直エッジ成分と水平エッジ成分を抽出し、垂直エッジ成分と水平エッジ成分との加算結果に基づいて画像のエッジを検出するエッジ検出回路と、前記並べ替え回路の出力信号が供給され、並べ替えた画素間の信号レベルの差に基づいて白キズと黒キズを検出して補正するキズ補正回路と、前記並べ替え回路の出力信号が供給され、前記キズ補正の対象となる画素とその周辺の複数画素の映像信号をメジアンフィルタ処理してランダムノイズを補正するノイズリダクション回路と、前記キズ補正回路から出力されるキズ補正処理された信号と、前記ノイズリダクション回路から出力されるメジアンフィルタ処理された信号が供給され、前記エッジ検出回路で検出したエッジに基づいて重み付けを変えて加算を行う重み付け加算回路とを具備し、前記重み付け加算回路は、キズ補正の対象となる画素とその周辺の複数画素の信号レベルの差が大きい時に前記キズ補正回路の出力の重み付けを強くして加算し、信号レベルの差が小さい時に前記ノイズリダクション回路の出力の重み付けを強くして加算する信号処理回路が提供される。

本発明によれば、解像度の低下を招くことなく、固定ノイズや画素欠陥のようなキズ並びにランダムノイズを補正できる信号処理回路が得られる。

以下、本発明の実施形態について図面を参照して説明する。
図１及び図２はそれぞれ本発明の実施形態に係る信号処理回路について説明するためのもので、図１は信号処理回路の構成例を示すブロック図、図２は上記図１に示す信号処理回路が用いられる固体撮像装置の概略構成例を示すブロック図である。

図２に示す固体撮像装置は、増幅型ＣＭＯＳイメージセンサであり、撮像領域１１には画素としての単位セル１２−１１，１２−１２，…，１２−ｍｎがｍ行及びｎ列の二次元的に配置されている。この図２では撮像領域１１における４行及び４列を抜き出して１列の回路構成を代表的に詳しく示している。

上記撮像領域１１は垂直方向に複数のブロックに分割されている。この撮像領域１１における各単位セル列にはそれぞれ、垂直信号線ＶＬＩＮ１，ＶＬＩＮ２，ＶＬＩＮ３，…が接続されている。

上記撮像領域１１の一端（上部）には、ソースフォロワ回路用の負荷トランジスタＴＬＭ１，ＴＬＭ２，ＴＬＭ３，…が水平方向に配置されている。これら負荷トランジスタＴＬＭ１，ＴＬＭ２，ＴＬＭ３，…の電流通路は、上記垂直信号線ＶＬＩＮ１，ＶＬＩＮ２，ＶＬＩＮ３，…の一端と接地点間にそれぞれ接続されている。上記負荷トランジスタＴＬＭ１，ＴＬＭ２，ＴＬＭ３，…のゲートには、バイアス回路２１からバイアス電圧ＶＴＬが印加される。

上記垂直信号線ＶＬＩＮ１，ＶＬＩＮ２，ＶＬＩＮ３，…の他端（下部）には、カラム型ノイズキャンセル回路とアナログ／デジタル変換器（ＣＤＳ＆ＡＤＣ）１３、アナログ／デジタル変換した信号をラッチするラッチ回路１４、ラッチした信号を記憶するためのラインメモリ１５、及びこのラインメモリ１５の信号を読み出すための水平シフトレジスタ回路１６が接続されている。上記ラッチ回路１４、ラインメモリ１５及び水平シフトレジスタ回路１６等の回路部１７は、ＣＤＳ＆ＡＤＣ１３で得たデジタルデータを保持するデータ保持回路として働くものである。

上記撮像領域１１に隣接して、垂直ブロック選択回路１８、ブロック内ライン選択回路１９及びパルスセレクタ回路２０が設けられている。そして、パルスセレクタ回路２０からパルス信号ＡＤＲＥＳ１，ＡＤＲＥＳ２，…、パルス信号ＲＥＳＥＴ１，ＲＥＳＥＴ２，…及びパルス信号ＲＥＡＤ１，ＲＥＡＤ２，…が単位セルの行毎にそれぞれ供給される。

すなわち、垂直ブロック選択回路１８から出力されるブロック選択信号Ｖｂｌｏｃｋ１，Ｖｂｌｏｃｋ２によって撮像領域１１中のブロックが選択される。この垂直ブロック選択回路１８は、シフトレジスタ回路またはデコーダ回路で形成されている。上記垂直ブロック選択回路１８で選択されたブロック中の単位セル行（画素行）は、信号ＢＬｉｎｅ１〜ＢＬｉｎｅ４に基づいてブロック内ライン選択回路１９で選択される。そして、上記ブロック内ライン選択回路１９の出力信号と画素駆動パルス信号ＲＥＳＥＴ，ＲＥＡＤ，ＡＤＲＥＳとに基づいて、パルスセレクタ回路２０により単位セル行が選択される。

各々の単位セル１２−１１，１２−１２，…は、４つのトランジスタ（行選択トランジスタＴａ、増幅トランジスタＴｂ、リセットトランジスタＴｃ、読み出しトランジスタＴｄ）とフォトダイオードＰＤから構成されている。単位セル１２−１１を例に取ると、上記トランジスタＴａ，Ｔｂの電流通路は、電源ＶＤＤと垂直信号線ＶＬＩＮ１間に直列接続される。上記トランジスタＴａのゲートにはパルス信号ＡＤＲＥＳ１が供給される。上記トランジスタＴｃの電流通路は、電源ＶＤＤとトランジスタＴｂのゲート（検出部ＦＤ）との間に接続され、そのゲートにパルス信号ＲＥＳＥＴ１が供給される。また、上記トランジスタＴｄの電流通路の一端は上記検出部ＦＤに接続され、そのゲートにパルス信号（読み出しパルス）ＲＥＡＤ１が供給される。そして、上記トランジスタＴｄの電流通路の他端にフォトダイオードＰＤのカソードが接続され、このフォトダイオードＰＤのアノードは接地されている。

上記ＣＤＳ＆ＡＤＣ１３中には、ノイズキャンセラ用のコンデンサ（容量）Ｃ１１，Ｃ１２，Ｃ１３，…とＣ２１，Ｃ２２，Ｃ２３，…が配置されると共に、垂直信号線ＶＬＩＮ１，ＶＬＩＮ２，ＶＬＩＮ３，…の信号を伝達するためのトランジスタＴＳ１１，ＴＳ１２，ＴＳ１３，…、Ａ／Ｄ変換用の基準波形を入力するためのトランジスタＴＳ２１，ＴＳ２２，ＴＳ２３，…、及び２段のコンパレータ回路ＣＯＭＰ１１，ＣＯＭＰ１２，ＣＯＭＰ１３，…とＣＯＭＰ２１，ＣＯＭＰ２２，ＣＯＭＰ２３，…が配置されている。

上記トランジスタＴＳ１１，ＴＳ１２，ＴＳ１３，…の電流通路の一端は垂直信号線ＶＬＩＮ１，ＶＬＩＮ２，ＶＬＩＮ３，…にそれぞれ接続され、ゲートには図示しないタイミングジェネレータから出力されるパルス信号Ｓ１が供給される。上記トランジスタＴＳ１１，ＴＳ１２，ＴＳ１３，…の電流通路の他端にはそれぞれ、キャパシタＣ１１，Ｃ１２，Ｃ１３，…とＣ２１，Ｃ２２，Ｃ２３，…の一方の電極が接続される。上記キャパシタＣ１１，Ｃ１２，Ｃ１３，…の他方の電極には、アナログ／デジタル変換器（ＡＤＣ）の比較用の基準電圧ＶＲＥＦ（三角波）が増幅回路ＡＭＰから供給される。上記キャパシタＣ２１，Ｃ２２，Ｃ２３，…の他方の電極はそれぞれ、コンパレータ回路ＣＯＭＰ１１，ＣＯＭＰ１２，ＣＯＭＰ１３，…の入力端に接続される。

上記各コンパレータ回路ＣＯＭＰ１１，ＣＯＭＰ１２，ＣＯＭＰ１３，…は、インバータＩＮＶ１１，ＩＮＶ１２，ＩＮＶ１３，…と、これらのインバータＩＮＶ１１，ＩＮＶ１２，ＩＮＶ１３，…の入力端と出力端間に電流通路がそれぞれ接続されたトランジスタＴＳ２１，ＴＳ２２，ＴＳ２３，…とで構成されている。また、上記各コンパレータ回路ＣＯＭＰ２１，ＣＯＭＰ２２，ＣＯＭＰ２３，…は、インバータＩＮＶ２１，ＩＮＶ２２，ＩＮＶ２３，…と、これらのインバータＩＮＶ２１，ＩＮＶ２２，ＩＮＶ２３，…の入力端と出力端間に電流通路が接続されたトランジスタＴＳ３１，ＴＳ３２，ＴＳ３３，…とで構成されている。上記コンパレータ回路ＣＯＭＰ１１，ＣＯＭＰ１２，ＣＯＭＰ１３，…とＣＯＭＰ２１，ＣＯＭＰ２２，ＣＯＭＰ２３，…との間には、キャパシタＣ３１，Ｃ３２，Ｃ３３…が接続される。上記トランジスタＴＳ２１，ＴＳ２２，ＴＳ２３，…のゲートにはパルス信号Ｓ２、上記トランジスタＴＳ３１，ＴＳ３２，ＴＳ３３，…のゲートにはパルス信号Ｓ３がそれぞれ供給される。

上記コンパレータ回路ＣＯＭＰ２１，ＣＯＭＰ２２，ＣＯＭＰ２３，…から出力されるデジタル信号はラッチ回路１４でラッチされる。このラッチ回路１４には、ラッチした信号を読み出すためのラインメモリ１５と水平シフトレジスタ回路１６とが接続されている。そして、ラインメモリ１５から１２ビットのデジタル信号が出力され、図１に示す信号処理回路に供給されてキズ補正が行われる。

図１に示す信号処理回路は、プリγ補正回路３１、４Ｈラインメモリ３２、キズ補正処理ブロック３３及び逆γ補正回路３４等で構成されている。上記キズ補正処理ブロック３３には、画素の抽出と信号レベルの順位を決定する並べ替え回路３５、自動キズ補正回路３６、ノイズリダクション回路３７、重み付け加算回路３８及びエッジ検出回路３９等が含まれている。

図２に示すＣＭＯＳイメージセンサにおけるラインメモリ１５から出力された１２ビットの映像信号は、プリγ補正回路３１に供給され、キズ補正を行う前にγ補正処理が行われる。γ補正によって得られた１１ビットの映像信号は４Ｈラインメモリ３２に供給され、この４Ｈラインメモリ３２で５ライン分の画素信号が抽出される。抽出された１１ビットの画素信号はキズ補正処理ブロック３３への入力信号となる。

上記キズ補正処理ブロック３３では、上記並べ替え回路３５により５ライン分の画素信号から、補正対象の画素とこの画素を中心とした周辺５×５の画素の抽出と、これら５×５画素の中から同色の３×３＝９画素の信号レベルの順位の決定が行われる。すなわち、この並べ替え回路３５は、抜き出した３×３画素の信号を信号レベルの大きい画素順に並び替え、並び替えた第４，第５，第６番目の画素の信号レベルの平均値を算出し、自動キズ補正回路３６によるキズ補正の対象となる画素の信号レベルと置き換える。

自動キズ補正回路３６では、上記並べ替え回路３５により並べ替えた画素間の信号レベルの差に基づいて白キズと黒キズを検出して補正処理が行われる。また、ノイズリダクション回路３７では、上記キズ補正の対象となる画素とその周辺の５×５画素の映像信号をメジアンフィルタ処理することによりランダムノイズの補正が行われる。そして、自動キズ補正回路３６からキズ補正処理した補正信号ＡＢＰＣ（１１ビット）が出力され、ノイズリダクション回路３７からメジアンフィルタ処理した画素の信号ＮＲ（１１ビット）が出力される。

上記エッジ検出回路３９は画像のエッジを検出するもので、キズ補正の対象となる画素とその周辺の５×５画素の信号から垂直エッジ成分ＨＥと水平エッジ成分ＶＥを抽出し、これらの成分ＨＥとＶＥの演算に基づいてエッジＥＶを検出して出力する。このエッジ検出回路３９は、エッジを検出する時、キズ補正の対象となる画素を中心に乗算係数を設定し、垂直エッジ成分ＨＥと水平エッジ成分ＶＥを抽出して加算する。エッジ検出回路３９では、同色の画素だけでなく他の色の画素から得た信号も用いてエッジＥＶを検出する。

また、上記エッジ検出回路３９には、アナログゲイン調整制御信号が供給されて制御され、入力信号をＡ／Ｄ変換する時にアナログゲイン調整を行い、アナログゲイン調整分を検出したエッジに反映させることでキズ補正処理にアナログゲイン連動させる。

そして、上記重み付け加算回路３８で、キズ補正処理された補正信号ＡＢＰＣとメジアンフィルタ処理された画素信号ＮＲに上記エッジ検出回路３９で重み付けを与えて加算する。重み付け加算回路３８は、キズ補正の対象となる画素とその周辺の５×５画素の信号レベルの差が大きい時に自動キズ補正回路３６の出力の重み付けを強くして加算し、信号レベルの差が小さい時に上記ノイズリダクション回路３７の出力の重み付けを強くして加算する。

上記重み付け加算回路３８で、重み付け加算した信号ＡＢＰＣＮＲは、逆γ補正回路３４で逆γ補正処理され、次段の回路ブロックに転送される。

上記プリγ補正回路３１と逆γ補正回路３４による処理は、入力された信号に対して直接キズ補正処理をすると黒い部分に黒キズがあると潰れて見つけにくいため、γ補正で黒キズを見つけやすくして補正処理するためのものである。補正処理後には、逆γ補正を行って元の信号に戻す。

次に、上記キズ補正処理ブロック３３で行われる演算の一例について図３乃至図１１により詳しく説明する。

まず、エッジ検出回路３９で、垂直エッジ成分ＨＥと水平エッジ成分ＶＥからエッジＥＶを検出する。図３は、補正の対象となる画素Ｒ２２とその周辺の５×５画素の配列（縦方向グループ）を示している。ここでは、水平方向の垂直エッジ成分ＨＥを抽出するために、縦方向に分割した５個のグループ（縦方向グループ）ＨＥ１，ＨＥ２，ＨＥ３，ＨＥ４，ＨＥ５について考える。

図４は、ランダムノイズを含むキズ補正前の５×５＝２５画素の領域から高精度でエッジ検出を行うための係数設定を示している。本例では、グループＨＥ３を挟んでグループＨＥ１，ＨＥ２にマイナスの係数を、グループＨＥ４，ＨＥ５にはプラスの係数を設定するので、グループＨＥ１〜ＨＥ５はそれぞれ以下の式で表すことができる。

ＨＥ１＝−｛Ｒ０４＋Ｒ４４＋２×（Ｇｂ１４＋Ｒ２４＋Ｇｂ３４）｝
ＨＥ２＝−｛Ｇｂ０３＋Ｇｒ４３＋２×（Ｂ１３＋Ｇｒ２３＋Ｂ３３）｝
ＨＥ４＝Ｇｂ０１＋Ｇｒ４１＋２×（Ｂ１１＋Ｇｒ２１＋Ｂ３１）
ＨＥ５＝Ｒ００＋Ｒ４０＋２×（Ｇｂ１０＋Ｒ２０＋Ｇｂ３０）
これより、ＨＥ算出の演算式は、
ＨＥ＝ＨＥ１＋ＨＥ２＋ＨＥ４＋ＨＥ５
＝｜Ｒ００＋Ｇｒ０１＋２×（Ｇｂ１０＋Ｂ１１＋Ｒ２０＋Ｇｒ２１＋Ｇｂ３０＋Ｂ３１）＋Ｒ４０＋Ｇｒ４１−｛Ｇｒ０３＋Ｒ０４＋２×（Ｂ１３＋Ｇｂ１４＋Ｇｒ２３＋Ｒ２４＋Ｂ３３＋Ｇｂ３４）＋Ｇｒ４３＋Ｒ４４｝｜
となる。

同様な方法で、垂直方向の水平エッジ成分ＶＥを抽出する。図５に示すように補正の対象となる画素Ｒ２２と周辺の５×５画素の配列（横方向グループ）で、横方向に分割した５個のグループ（横方向グループ）ＶＥ１，ＶＥ２，ＶＥ３，ＶＥ４，ＶＥ５を考える。

また、水平方向の垂直エッジ成分ＶＥを算出する係数設定を図６に示す。グループＶＥ３を挟んで、グループＶＥ１，ＶＥ２にマイナスの係数を、グループＶＥ４，ＶＥ５にプラスの係数を設定すると、グループＶＥ１〜ＶＥ５は以下の式で表すことができる。

ＶＥ１＝−｛Ｒ４０＋Ｒ４４＋２×（Ｇｒ４１＋Ｒ４２＋Ｇｒ４３）｝
ＶＥ２＝−｛Ｇｂ３０＋Ｇｂ３４＋２×（Ｂ３１＋Ｇｂ３２＋Ｂ３３）｝
ＶＥ４＝Ｇｂ１０＋Ｇｒ１４＋２×（Ｂ１１＋Ｇｂ１２＋Ｂ１３）
ＶＥ５＝Ｒ００＋Ｒ０４＋２×（Ｇｒ０１＋Ｒ０２＋Ｇｒ０３）
これより、ＶＥ算出の演算式は、
ＶＥ＝ＶＥ１＋ＶＥ２＋ＶＥ４＋ＶＥ５
＝｜Ｒ００＋Ｇｂ１０＋２×（Ｇｒ０１＋Ｒ０２＋Ｇｒ０３＋Ｂ１１＋Ｇｂ１２＋Ｂ１３）＋Ｒ０４＋Ｇｂ１４−｛Ｇｂ３０＋Ｒ４０＋２×（Ｂ３１＋Ｇｂ３２＋Ｂ３３＋Ｇｒ４１＋Ｒ４２＋Ｇｒ４３）＋Ｇｂ３４＋Ｒ４４｝｜
となる。

従って、水平方向の垂直エッジ成分ＨＥと垂直方向の水平エッジ成分ＶＥから領域内のエッジ成分ＥＶの大きさは、以下の式で表すことができる。

ＥＶ＝（ＨＥ＋ＶＥ）／ｎ
ここで、ｎは各エッジ成分ＨＥ，ＶＥの係数設定と領域内のエッジ成分ＥＶの階調により調整する。本実施形態では、ＥＶを２５６階調として抽出している。また、ＥＶの最大値は、設定した係数及び１画素１１ビットであることを踏まえて、
１６（エッジ最大時係数合計）×２０４７（１画素最大値）×２（水平と垂直）＝６５５０４
となる。よって、ＥＶ＝２５６とするためにｎ＝２５５とする。

次に、上記並べ替え回路３５、上記自動キズ補正回路３６及び上記ノイズリダクション回路３７の動作を説明する。４Ｈラインメモリ３２から出力される５ライン分の画素信号は、並べ替え回路３５に供給される。この並べ替え回路３５では、キズ補正の対象となる画素とその周辺の複数画素の中から同色の画素を抜き出して信号レベルの順に並べ替える。すなわち、並べ替え回路３５に入力された信号は、例えば図７に示すように補正の対象となる画素Ｒ２２を中心とし、周辺の５×５画素の配列の中から図８に示すように同色の３×３＝９画素（Ｒ４４，Ｒ４２，Ｒ４０，Ｒ２４，Ｒ２２，Ｒ２０，Ｒ０４，Ｒ０２，Ｒ００）の信号を抜き出す。この抜き出した信号を、図９に示すように信号レベルの大きい順９〜１に並び替える。

そして、上記自動キズ補正回路３６で同色の３×３＝９画素の信号から、中央の画素がキズか否かを判別し、周辺の正常な画素の平均値と置き換えることにより白キズと黒キズの自動補正を行う。

白キズ補正の判定は、
(1) 中央の画素の信号レベルが最大９で、且つ「９−８」の信号レベル差がスライスレベルＡより大きい場合は白キズと判定する。

(2) 中央の画素の信号レベルが最大９または８より大きく、且つ「８−７」の信号レベル差がスライスレベルＢより大きい場合は白キズと判定する。

(3) 輝度変化が少ない場合（「７−３」の信号レベル差がスライスレベルＣより小さい場合）にのみ補正する。

上記(1)，(2)の一方と(3)とが成立した場合、平均値＝（４＋５）／２に置換する。

このとき、白キズ補正すると判定した時、画素Ｒ２２の信号レベルを７番目の画素の信号レベルと置き換える。白キズ補正しないと判定した時、または、３番目〜７番目の信号レベルに差がないと判定した時、画素Ｒ２２の信号レベルを並び替えた中央の値、つまり５番目のレベルと置き換える。

また、黒キズ補正の判定は、
(4) 中央の画素の信号レベルが最小の１で、且つ「２−１」の信号レベル差がスライスレベルＥより大きい場合は黒キズと判定する。

(5) 中央の画素の信号レベルが最小の１または２より小さく、且つ「３−２」の信号レベル差がスライスレベルＤより大きい場合は黒キズと判定する。

(6) 輝度変化が少ない場合にのみ補正する（「７−３」の信号レベル差がスライスレベルＣより小さい場合に、上記(4)及び(5)の一方と(6)が成立した場合、平均値＝（５＋６）／２と置換する。

黒キズ補正すると判定した時、画素Ｒ２２の信号レベルを３番目の画素の信号レベルと置き換える。黒キズ補正しないと判定した時、または、３〜７番目の信号レベルに差がないと判定した時には、画素Ｒ２２の信号レベルを並び替えた中央の値、つまり５番目のレベルと置き換える。

上述したような処理を自動キズ補正回路１６で行うことにより、白キズと黒キズの補正処理を行うことができる。これによって、９画素中に２画素の黒キズ＋２画素の白キズが混在していても補正が可能である。

以上の処理にて、白キズと黒キズの補正処理を実行して自動キズ補正回路１６から補正信号ＡＢＰＣを出力し、重み付け加算回路１８に入力する。

一方、ノイズリダクション回路１７では、２次元メジアンフィルタ方式による補正処理を行う。補正の対象となる画素Ｒ２２とその周辺の５×５画素の配列を図１０に示す。この画素配列から、同色の３×３＝９画素（Ｒ４４，Ｒ４２，Ｒ４０，Ｒ２４，Ｒ２２，Ｒ２０，Ｒ０４，Ｒ０２，Ｒ００）の信号を抜き出し、信号レベルの大きい順に並び替える。

この時、信号レベル順に並び替えた画素が仮に図１１に示すような順番だと仮定すると、９画素中の平均信号レベルは５番目の画素Ｒ０４となる。よって、中央の画素Ｒ２２の信号レベルを画素Ｒ０４の信号レベルに置き換える。これにより、９画素中の平均信号レベルを選択することができる。

本例では、置き換える際、中央の４，５，６番目の画素の平均値を算出し、その平均値と置き換えている。この時演算係数は、４番目、６番目を１倍，５番目を２倍としている。

並び替えた画素が、図１１に示すような順番の時、４，５，６番目の画素は、Ｒ４０，Ｒ０４，Ｒ２４である。よって、演算式は、以下のようになる。

ＮＲ＝（Ｒ２４＋２×Ｒ０４＋Ｒ４０）／４
このＮＲをノイズリダクション出力として、重み付け加算回路１８に入力する。

このように、中央値つまり５番目の信号レベルと置き換えるのみでなく、４，５，６番目の平均値と置き換えることで、よりランダムノイズに効果のある補正処理を行うことができる。

上記重み付け加算回路１８は、自動キズ補正回路１６から供給された補正信号ＡＢＰＣと、ノイズリダクション回路１７から供給されたメジアンフィルタ方式による補正信号ＮＲを、エッジ検出回路３９で検出されたエッジＥＶを使用して重み付け演算を行う。重み付け加算結果をＡＢＰＣＮＲとすると、演算式は以下のようになる。

ＡＢＰＣＮＲ＝｛ＡＢＰＣ×ＥＶ＋ＮＲ×（２５６−ＥＶ）｝／２５６
これにより、エッジＥＶが強い時、つまり画素欠陥や固定ノイズであると判定された時は、自動キズ補正回路１６による処理（ＡＢＰＣ側）が強く効き、エッジＥＶが弱い時、つまりランダムノイズである可能性がある時は、ノイズリダクション回路１７による処理（ＮＲ側）が強く効くように補正の重みが調整される。よって、解像度を低下させることなく、画像の状態に応じた最適な補正処理を実行できる。

また、本実施形態では、エッジ検出回路３９にアナログゲイン調整制御信号を入力して制御することにより、Ａ／Ｄ変換でアナログゲインの調整をした場合に、その調整分をキズ補正に連動させることができる。例えば、Ａ／Ｄ変換時のリファレンス電圧を小さくなる方向に調整すると、ランダムノイズの影響が大きくなる傾向がある。このような場合、エッジＥＶが小さくなるように調整する。つまり、重み付け演算でノイズリダクション回路３７側を強くすることで、ランダムノイズ補正効果を大きくする方向に調整する。

以下は演算式の一例である。

ＥＶ’＝｜ＥＶ−ａｇｃｏｎｔ｜
ここで、ＥＶ’はアナログゲイン調整済みエッジ、ａｇｃｏｎｔはアナログゲイン調整用制御信号である。

上述したように、補正処理の対象となる画素周辺の５×５画素の映像信号における垂直エッジ成分と水平エッジ成分からエッジを検出し、画素欠陥や固定ノイズに高い効果のある自動キズ補正処理した画素信号と、ランダムノイズに高い効果のあるメジアンフィルタ処理した画素信号を、上記エッジの大きさにより重み付け加算することで、対象の画像の状態に応じてより効果のあるキズ補正処理を行うことができる。

以上説明したように、本発明の第１の態様によれば、重み付け加算により、キズ補正対象の画像状態に応じて、より効果のある補正処理を行うことができる。

また、第２の態様によれば、補正対象の画素周辺のエッジの大きさで画像の状態を判断し、キズ補正とノイズリダクションのうちより効果のある側の補正処理を割り当てることができる。

第３の態様によれば、エッジの検出精度を向上させることができる。

第４の態様によれば、アナログゲイン調整時のランダムノイズにも対処することができる。

第５の態様によれば、よりランダムノイズに効果のあるノイズリダクション補正処理を行うことができる。

従って、本発明の１つの側面によれば、解像度の低下を招くことなく、固定ノイズや画素欠陥のようなキズ並びにランダムノイズを補正できる信号処理回路が得られる。

以上実施形態を用いて本発明の説明を行ったが、本発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適宜な組み合わせにより種々の発明が抽出され得る。例えば実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明の実施形態に係る信号処理回路の構成例を示すブロック図。図１に示す信号処理回路が用いられる固体撮像装置の概略構成例を示しており、増幅型ＣＭＯＳイメージセンサのブロック図。補正の対象となる画素とその周辺の５×５画素の配列（縦方向グループ）を示す図。ランダムノイズを含むキズ補正前の５×５＝２５画素領域から高精度でエッジ抽出を行うための係数設定について説明するための図。補正の対象となる画素とその周辺の５×５画素の配列（横方向グループ）を示す図。水平方向の垂直エッジ成分を算出する係数設定について説明するための図。白キズと黒キズの補正対象となる画素とその周辺の５×５画素分の配列を示す図。切り替え回路で５×５画素の画素配列から同色の３×３＝９画素の信号を抜き出した状態を示す図。同色の３×３＝９画素の信号と、信号レベルの並び替えについて説明するための図。二次元メジアンフィルタ方式による補正処理が行われる中央の画素とその周辺５×５画素の配列について説明するための図。図１０に示した画素配列を信号レベルの順に並び替える例について説明するための図。

符号の説明

３１…プリγ補正回路、３２…４Ｈラインメモリ、３３…キズ補正処理ブロック、３４…逆γ補正回路、３５…並べ替え回路、３６…自動キズ補正回路、３７…ノイズリダクション回路、３８…重み付け加算回路、３９…エッジ検出回路。

Claims

キズ補正の対象となる画素とその周辺の複数画素の中から同色の画素を抜き出し、信号レベルの順に並べ替える並べ替え回路と、
前記キズ補正の対象となる画素とその周辺の複数画素の映像信号から垂直エッジ成分と水平エッジ成分を抽出し、垂直エッジ成分と水平エッジ成分との加算結果に基づいて画像のエッジを検出するエッジ検出回路と、
前記並べ替え回路の出力信号が供給され、並べ替えた画素間の信号レベルの差に基づいて白キズと黒キズを検出して補正するキズ補正回路と、
前記並べ替え回路の出力信号が供給され、前記キズ補正の対象となる画素とその周辺の複数画素の映像信号をメジアンフィルタ処理してランダムノイズを補正するノイズリダクション回路と、
前記キズ補正回路から出力されるキズ補正処理された信号と、前記ノイズリダクション回路から出力されるメジアンフィルタ処理された信号が供給され、前記エッジ検出回路で検出したエッジに基づいて重み付けを変えて加算を行う重み付け加算回路とを具備し、
前記重み付け加算回路は、キズ補正の対象となる画素とその周辺の複数画素の信号レベルの差が大きい時に前記キズ補正回路の出力の重み付けを強くして加算し、信号レベルの差が小さい時に前記ノイズリダクション回路の出力の重み付けを強くして加算する
ことを特徴とする信号処理回路。
前記エッジ検出回路は、キズ補正の対象となる画素とその周辺の５×５画素の信号からエッジを検出し、前記キズ補正回路でキズ補正処理した信号と前記ノイズリダクション回路でメジアンフィルタ処理した信号を前記重み付け加算回路で重み付け加算することを特徴とする請求項１に記載の信号処理回路。
前記エッジ検出回路は、前記エッジを検出する時、キズ補正の対象となる画素を中心に乗算係数を設定し、垂直エッジ成分と水平エッジ成分を抽出して加算することによりエッジを検出することを特徴とする請求項２に記載の信号処理回路。
前記エッジ検出回路は、アナログゲイン調整制御信号により制御され、入力信号をＡ／Ｄ変換する時にアナログゲイン調整を行い、アナログゲイン調整分を検出したエッジに反映させることでキズ補正処理にアナログゲインを連動させることを特徴とする請求項３に記載の信号処理回路。
前記並べ替え回路は、キズ補正の対象となる画素とその周辺５×５画素から同色の３×３画素の信号を抜き出し、信号レベルの大きい順に画素を並び替え、並び替えた第４，第５，第６番目の画素の信号レベルの平均値を算出し、前記キズ補正回路による前記キズ補正の対象となる画素の信号レベルと置き換えることを特徴とする請求項１に記載の信号処理回路。