JP2010141663A - 撮像装置 - Google Patents

Abstract

【課題】フレームメモリを用いたフレーム間ノイズ補正において、簡易な回路でイメージセンサに起因するランダムノイズをフレーム加重平均処理により抑制し、撮像画像に応じて画素単位で加重平均の重み付け量を制御することでボケを防ぎ、画質を向上させる。
【解決手段】周辺画素フレーム差分合計算出回路１５は、２フレーム間の注目画素の周辺画素のうち、対応する周辺画素同士の差分合計を算出する。周辺画素フレーム差分合計は、周辺画素のフレーム間の相関、すなわち画像の動きの大きさを表す。加算平均強度算出回路１６は、周辺画素フレーム差分合計に反比例するような値に正規化した加算平均強度を算出する。フレーム加算平均処理回路１７は、注目画素の加算平均強度によって注目画素及びその周辺画素の領域の画像の動きを画素単位で検出し、この検出した動きが小さいほど、加重平均値における注目画素におけるフレーム加算平均値の割合を大きくする。
【選択図】図１

Description

本発明は撮像装置に係り、特にＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサなどの固体撮像素子（以下、イメージセンサという）を用いた撮像装置に関する。

イメージセンサを使用したビデオカメラやデジタルカメラなどの撮像装置においては、撮像して得た映像信号中に熱雑音やリセットノイズなどのランダムノイズ成分があり、画質劣化の要因となっている。これを解決するためこれまでに様々な発明が提案されている（例えば、特許文献１、２参照）。

特許文献１には、ランダムノイズを効果的に抑制するために、フレームメモリを用いたフレーム間ノイズ補正やフレーム巡回型ノイズ補正を行う発明が開示されている。また、特許文献２には、動き検出回路を使用し、その動き検出結果によりノイズ補正量を制御する発明が開示されている。

特開２００５−３３３４２４号公報 特開２００２−７７７０４号公報

しかしながら、特許文献１記載のフレームメモリを用いたフレーム間ノイズ補正のようなランダムノイズ抑制方法では、数フレーム分の情報を加算して画を作ることになるため、動きの大きな部分、特に高周波領域部分にボケが目立つ。また、特許文献２記載の発明では、動き検出回路の構成が複雑である。

本発明は上記の点に鑑みなされたもので、フレームメモリを用いたフレーム間ノイズ補正において、簡易な回路で、フレーム間の動きの大きな領域ではボケを抑制し、かつ、動きの小さい領域ではイメージセンサに起因するランダムノイズを抑制することを可能とし、画質を向上させる撮像装置を提供することを目的とする。

上記の目的を達成するため、本発明は、イメージセンサから出力された画像信号をフレーム単位で記憶する記憶手段と、記憶手段に入力される画像信号の現フレームと記憶手段から出力される現フレームより前のフレームとの間において、処理対象である注目画素の周辺に位置する複数の周辺画素の信号値それぞれのフレーム間差分値を算出するとともに、そのそれぞれのフレーム間差分値の合計値である差分合計値を算出するフレーム差分合計値算出手段と、差分合計値の大きさに応じた重み付け係数を算出する重み付け係数算出手段と、現フレームの注目画素の信号値と前のフレームの注目画素の信号値とを加算した加算平均値と、現フレームの注目画素の信号値とに対して、それぞれ重み付け係数に基づいて重み付けし、更にそのそれぞれ重み付けされた加算平均値と現フレームの注目画素の信号値とを加算した加重平均値を算出し、この算出した加重平均値を撮像画像データとして出力するフレーム加算平均処理手段とを有し、重み付け係数算出手段は、差分合計値の値が小さいほど、加算平均値の割合を現フレームの注目画素の信号値に対して大とするような重み付け係数を算出することを特徴とする。

また、本発明は、上記の前のフレームは、フレーム加算平均処理手段から出力される撮像画像データのフレームであることを特徴とする。

また、本発明は、上記のイメージセンサが、ベイヤ配列のカラーフィルタを搭載しており、加重平均値の算出は、同色のカラーフィルタを通過した画素同士によってなされるようにしてもよい。

本発明によれば、フレームメモリを用いたフレーム間ノイズ補正において、簡易な回路で、フレーム間の動きの大きな領域ではボケを抑制し、かつ、動きの小さい領域ではイメージセンサに起因するランダムノイズを抑制することが可能となり、画質を向上させることが可能となる。

次に、本発明の実施形態について図面と共に詳細に説明する。

（第１の実施の形態）
図１は、本発明になる撮像装置の第１の実施の形態のブロック図を示す。同図に示すように、本実施の形態の撮像装置１０は、ＣＣＤやＣＭＯＳセンサなどのイメージセンサ１１と、イメージセンサ１１から出力されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄコンバータ１２と、デジタル画像信号に対して固定パターンノイズ除去処理などを行うデジタル処理プロセッサ（ＤＳＰ）１３と、固定パターンノイズ除去処理後のデジタル画像信号をフレーム単位で蓄積するフレームメモリ１４とを有する。

更に、撮像装置１０は、注目画素の周辺画素に関して前後フレームの信号値の比較を行い、周辺画素フレーム差分合計を算出する周辺画素フレーム差分合計算出回路１５と、注目画素に関して、前後フレームの信号値の加算平均値と現フレームの信号値とを重み付け加算して加重平均値を算出して出力するフレーム加算平均処理回路１７と、周辺画素フレーム差分合計算出回路１５の算出結果によってフレーム加算平均処理回路１７における前後フレームの信号値の加算平均値と現フレームの信号値との加重平均時の割合（加算平均強度）を決定する加算平均強度算出回路１６と、出力フォーマット変換などの後段処理を行う後段処理ＤＳＰ１８とを有する。

次に、本実施の形態の撮像装置１０におけるランダムノイズ補正処理について説明する。ランダムノイズ補正処理は、フレームメモリ１４、周辺画素フレーム差分合計算出回路１５、加算平均強度算出回路１６及びフレーム加算平均処理回路１７により行われる。

フレームメモリ１４は、前段処理ＤＳＰ１３により固定パターンノイズ処理されたデジタル画像信号をフレーム単位で蓄積する。図２（Ａ）、（Ｂ）はフレームメモリ１４に蓄積される時間的に連続した２フレーム分の注目画素と周辺画素を示す。図２（Ａ）は、フレームメモリ１４から出力される前フレームのデジタル画像信号の注目画素ｅ’と、その周辺画素ａ’〜ｄ’及びｆ’〜ｉ’を示す。また、図２（Ｂ）は、フレームメモリ１４に入力される現フレームのデジタル画像信号の注目画素ｅと、その周辺画素ａ〜ｄ及びｆ〜ｉを示す。なお、図２（Ａ）、（Ｂ）中、同じアルファベットの画素は、それぞれイメージセンサ１１上の同じ位置の画素を表している。

周辺画素フレーム差分合計算出回路１５は、前フレームと現フレームに関しての注目画素ｅ’、ｅの上下左右に隣接する各４つの周辺画素のうち、対応する周辺画素同士の差分合計（（ｂ’−ｂ）＋（ｄ’−ｄ）＋（ｆ’−ｆ）＋（ｈ’−ｈ））を算出する。この周辺画素フレーム差分合計は、周辺画素のフレーム間の相関、すなわち画像の動きの大きさを表す。撮像装置１０は、この周辺画素フレーム差分合計を算出するにあたり、４つの周辺画素の差分合計を算出することでランダムノイズによる誤差を軽減する。

この周辺画素フレーム差分合計は、値が小さいほど、注目画素の上下左右に隣接する周辺画素のフレーム間相関が高い、つまり静止画領域であるか、動画領域であっても低周波領域（動きの小さな領域）である可能性が高いことを示す。そのような静止画領域又は低周波領域では、ランダムノイズ成分は目立ち易いが、ランダムノイズ成分を抑えるためにフレーム加算平均を強くかけても元々フレーム間差分が小さいため画のボケは目立ちにくい。また、周辺画素に隣接している注目画素に関しても、同様に周辺画素フレーム差分合計の値が小さいほど、静止画領域か低周波領域である確率が高いと考えられる。

そこで、本実施の形態では、周辺画素フレーム差分合計の値が小さいほど、撮像画像の注目画素が静止画領域か低周波領域であると判断し、フレーム加算平均処理回路１７により算出する加重平均値におけるフレーム加算平均値の割合が大きくなるようにフレーム加算平均強度を設定して、ランダムノイズを抑える。そのため、上記の周辺画素フレーム差分合計は、加算平均強度算出回路１６において、図３に示すように、周辺画素フレーム差分合計に反比例するような値に正規化される。

すなわち、上記のフレーム加算平均強度をαとした場合（０＜α＜１）、フレーム加算平均強度αは、周辺画素フレーム差分合計をｘ、定数をＡ、ａとすると、次式で表される。

(i) ｘ＞Ａのとき α＝０
(ii) ｘ≦Ａのとき α＝ｘ／ａ
ここでの定数Ａは、値が大であるほどフレーム加算平均された信号が出力される割合が高くなる。この定数Ａはフレームメモリ１４に蓄積される画像信号のＳ／Ｎ比などの条件にあわせて設定するものとする。

フレーム加算平均処理回路１７は、図４に示すブロック図の構成により、加算平均強度算出回路１６で算出されたフレーム加算平均強度に応じて、注目画素の現在の信号値と前後フレームのフレーム加算平均値とに重み付けを行った後、それらを加算した加重平均値を算出する。フレーム加算平均処理回路１７は、算出した加重平均値を撮像画像データとして後段処理ＤＳＰ１８へ出力する。

図４に示すように、フレーム加算平均処理回路１７は、フレームメモリ１４の入力デジタル画像信号である現フレームの注目画素におけるｎフレームデータと、フレームメモリ１４から出力される前フレームのデジタル画像信号である注目画素におけるｎ−１フレームデータとのフレーム加算平均値を演算する演算器１７１と、演算器１７１から出力される注目画素におけるフレーム加算平均値と第１の重み付け係数とを乗算する第１の乗算器１７２と、ｎフレームデータと第２の重み付け係数とを乗算する第２の乗算器１７３と、乗算器１７２及び１７３から出力されたデータを加算して出力する加算器１７４とから構成されている。

ここで、第１の乗算器１７２が演算器１７１から出力される注目画素におけるフレーム加算平均値と乗算する第１の重み付け係数は、加算平均強度算出回路１６からのフレーム加算平均強度α（０＜α＜１）である。一方、第２の乗算器１７３が注目画素における現フレームのｎフレームデータと乗算する第２の重み付け係数は、加算平均強度算出回路１６からの係数（１−α）である。

従って、フレーム加算平均処理回路１７は、周辺画素フレーム差分合計ｘが定数Ａ以下の場合は、注目画素及びその周辺画素の領域が静止画領域又は低周波領域であると判断し、乗算器１７２及び１７３から出力された注目画素における（ｎ−１）フレームとｎフレームの各データのフレーム加算平均値をフレーム加算平均強度αで重み付けした値のデータと、注目画素におけるｎフレームデータを（１−α）で重み付けした値のデータとの加算データ（すなわち、加重平均値）を出力する。また、その場合の重み付けは、周辺画素フレーム差分合計ｘの値が小さいほど、つまり静止画領域又はそれに近いほど、（ｎ−１）フレームとｎフレームの各データのフレーム加算平均値の割合を、ｎフレームデータの割合より多くする。

一方、フレーム加算平均処理回路１７は、周辺画素フレーム差分合計ｘが定数Ａより大の場合は、注目画素及びその周辺画素の領域が、静止画領域及び低周波領域、すなわち動きの小さな領域ではなく、動きの大きな領域であると判断し、このときα＝０であるので、乗算器１７３から出力される注目画素における現フレームのｎフレームデータのみを加算器１７４を通して出力する。これにより、従来生じていたフレーム間ノイズ補正による画像の動きの大きな部分のボケを生じないようにできる。

このように、本実施の形態によれば、フレーム間の注目画素の周辺画素フレーム差分合計ｘの値によって注目画素及びその周辺画素の領域の画像の動きを画素単位で検出し、この検出した動きが小さいほど、加重平均値における連続する２フレームの注目画素におけるフレーム加算平均値の割合を注目画素の現フレームの割合より大きくすることで、ランダムノイズを抑えることができると共に、動きが大きいときは現フレームの注目画素の信号のみを出力することで従来のフレーム間ノイズ補正による画像の動きの大きな部分のボケを生じないようにできる。

なお、上記の実施の形態において、判定精度を上げたい場合は注目画素の周辺画素として画素ａ，ａ’、ｃ，ｃ’、ｇ，ｇ’、ｉ，ｉ’を含めてもよく、またそれ以上広範囲の画素に対しても同様の処理を行い周辺画素フレーム差分合計を算出するようにしてもよい。更に、フレームメモリに余裕があれば、３フレーム以上の信号値よりフレーム差分検出および、フレーム加算平均値算出を行うことで更にノイズ抑制効果を上げることも可能である。

（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図５は、本発明になる撮像装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図５に示す本実施の形態の撮像装置２０は、前段処理ＤＳＰ１３とフレームメモリ１４の入力との間にスイッチ２１を設け、前段処理ＤＳＰ１３の出力にフレームメモリ２３を設けるとともに、フレーム加算平均処理回路２２の出力データをスイッチ２１を介してフレームメモリ１４にフィードバックすることにより、注目画素の前フレームまでの加算平均値と現フレームの注目画素におけるフレームデータとの加算平均を使用するフレーム巡回型のノイズ抑制を行う構成である。なお、フレーム加算平均処理回路２２は、図４と同様の構成である。

この実施の形態の撮像装置２０では、まず、スイッチ２１を端子２１ａ側に接続して前段処理ＤＳＰ１３から出力された現フレームのフレームデータを、スイッチ２１を通してフレームメモリ１４に供給し、図１に示した第１の実施の形態と同様の動作によりフレーム加算平均処理回路２２よりフレーム加算平均処理されたデータ又はｎフレームデータを出力する。

続いて、スイッチ２１を端子２１ｂ側に接続してフレーム加算平均処理回路２２より出力されたフレーム加算平均処理されたデータ又はｎフレームデータを、（ｎ−１）フレームデータとして、スイッチ２１を通してフレームメモリ１４に供給し、第１の実施の形態と同様の動作を行わせる。これにより、本実施の形態では、フレーム加算平均処理回路２２からは注目画素の前フレーム以前までの加算平均値と注目画素の現フレームの値との加重平均値が出力され、フレーム巡回型のノイズ抑制されたデータが出力される。

（第３の実施の形態）
図６は、本発明になる撮像装置の第３の実施の形態で用いられる画像信号の一例を示す。本実施の形態の撮像装置は、ベイヤ配列のカラーフィルタを搭載したイメージセンサを有する。ベイヤ配列のカラーフィルタは、図６（Ａ）〜（Ｃ）に示すように、Ｇで示す緑色光を透過させるＧ色透過部を市松状に配置し、残りの箇所にＢで示す青色光を透過させるＢ色透過部と、Ｒで示す赤色光を透過させるＲ色透過部とを更に市松状に配置した構成である。隣接する透過部は画素ピッチ単位で配置されている。

ここで、図６（Ａ）に二重丸で囲んで示すＧ色透過部に対応した緑色光入射画素を注目画素とする場合は、同図（Ａ）に一重丸で囲んで示す注目画素よりも２画素ピッチだけ上下左右に配置された４つのＧ色透過部に対応した緑色光入射画素を周辺画素として、第１又は第２の実施の形態と同様にして周辺画素フレーム差分合計を算出する。

また、図６（Ｂ）に二重丸で囲んで示すＲ色透過部に対応した赤色光入射画素を注目画素とする場合は、同図（Ｂ）に一重丸で囲んで示す注目画素よりも２画素ピッチだけ上下左右に配置された４つのＲ色透過部に対応した赤色光入射画素を周辺画素として、第１又は第２の実施の形態と同様にして周辺画素フレーム差分合計を算出する。

更に、図６（Ｃ）に二重丸で囲んで示すＢ色透過部に対応した青色光入射画素を注目画素とする場合は、同図（Ｃ）に一重丸で囲んで示す注目画素よりも２画素ピッチだけ上下左右に配置された４つのＢ色透過部に対応した青色光入射画素を周辺画素として、第１又は第２の実施の形態と同様にして周辺画素フレーム差分合計を算出する。

そして、このようにして算出した周辺画素フレーム差分合計の値に基づいて、第１又は第２の実施の形態と同様にして注目画素におけるフレーム加算平均強度を決定し、更にそのフレーム加算平均強度に応じた重み付け処理を行うことで、他の色の画像信号の影響を受けずにランダムノイズ抑制を行うことが可能となる。

なお、本実施の形態において、フレーム差分検出に用いる周辺画素の同色の画素信号の位置は、図６（Ａ）〜（Ｃ）に示した２画素ピッチ範囲に限らず、より広範囲のものを使用することも考えられる。また第１の実施の形態と同様に３フレーム以上の信号値よりフレーム差分検出および、フレーム加算平均値算出を行うことで更にノイズ抑制効果を上げることも可能である。

本発明の撮像装置の第１の実施の形態のブロック図である。 本発明の撮像装置の第１の実施の形態における注目画素とその周辺画素の２フレーム分の値を表す図である。 本発明の撮像装置の第１の実施の形態における周辺画素フレーム差分平均と、フレーム加算平均強度との関係を表す図である。 本発明の撮像装置の第１の実施の形態中の要部の構成の一例を示すブロック図である。 本発明の撮像装置の第２の実施の形態のブロック図である。 本発明の第３の実施の形態における注目画素とその周辺画素の値を表す図である。

符号の説明

１０、２０ 撮像装置
１１ イメージセンサ
１２ Ａ／Ｄコンバータ
１３ 前段処理ＤＳＰ（デジタル・シグナル・プロセッサ）
１４、２３ フレームメモリ
１５ 周辺画素フレーム差分合計算出回路
１６ 加算平均強度算出回路
１７、２２ フレーム加算平均処理回路
１８ 後段処理ＤＳＰ（デジタル・シグナル・プロセッサ）
２１ スイッチ
１７１ 演算器
１７２、１７３ 乗算器
１７４ 加算器

Claims (3)

1. イメージセンサから出力された画像信号をフレーム単位で記憶する記憶手段と、
   前記記憶手段に入力される画像信号の現フレームと前記記憶手段から出力される前記現フレームより前のフレームとの間において、処理対象である注目画素の周辺に位置する複数の周辺画素の信号値それぞれのフレーム間差分値を算出するとともに、そのそれぞれのフレーム間差分値の合計値である差分合計値を算出するフレーム差分合計値算出手段と、
   前記差分合計値の大きさに応じた重み付け係数を算出する重み付け係数算出手段と、
   前記現フレームの前記注目画素の信号値と前記前のフレームの前記注目画素の信号値とを加算した加算平均値と、前記現フレームの前記注目画素の信号値とに対して、それぞれ前記重み付け係数に基づいて重み付けし、更にそのそれぞれ重み付けされた加算平均値と前記現フレームの前記注目画素の信号値とを加算した加重平均値を算出し、この算出した加重平均値を撮像画像データとして出力するフレーム加算平均処理手段と
   を有し、
   前記重み付け係数算出手段は、前記差分合計値の値が小さいほど、前記加算平均値の割合を前記現フレームの前記注目画素の信号値に対して大とするような前記重み付け係数を算出する
   ことを特徴とする撮像装置。
2. 前記前のフレームは、前記フレーム加算平均処理手段から出力される撮像画像データのフレームであることを特徴とする請求項１記載の撮像装置。
3. 前記イメージセンサは、ベイヤ配列のカラーフィルタを搭載しており、
   前記加重平均値の算出は、同色のカラーフィルタを通過した画素同士によってなされる
   ことを特徴とする請求項１又は２記載の撮像装置。

Images