JP2008263507A

JP2008263507A - 映像処理装置及び映像処理プログラム

Info

Publication number: JP2008263507A
Application number: JP2007105925A
Authority: JP
Inventors: Takeo Tsuruoka; 建夫鶴岡
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2007-04-13
Filing date: 2007-04-13
Publication date: 2008-10-30
Anticipated expiration: 2027-04-13
Also published as: WO2008129926A1; JP5052189B2; US20100026859A1; US8154630B2

Abstract

【課題】巡回型のノイズ低減処理において、動き成分とランダムノイズを高精度に分離することで高品位な映像信号を得られるようにする。
【解決手段】撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、前記映像信号に対してノイズ低減処理を行うノイズ低減部(114)と、前記映像信号のうち現在の映像信号から第１のノイズ量を推定する第１のノイズ推定部(112)と、前記第１のノイズ量、前記現在の映像信号及び前記ノイズ低減処理後の過去の映像信号に基づき第２のノイズ量を推定する第２のノイズ推定部(113)と、を備え、前記ノイズ低減部(114)は、前記現在の映像信号に対しては、前記第２のノイズ量に基づき前記ノイズ低減処理を行う。
【選択図】図１

Description

本発明は、撮像系に起因する映像信号のランダムノイズの低減処理技術に関し、特に巡回型のノイズ低減処理に関する。

撮像素子とそれに付随するアナログ回路及びA/Dコンバータなどから構成される撮像系から得られる映像信号は、一般にノイズ成分を含有する。このノイズ成分は、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子及びアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。

動画像におけるランダムノイズの低減処理としては、時間軸方向の相関性を用いた巡回型のノイズ低減処理がある。巡回型のノイズ低減処理は、映像信号自体は過去の映像信号と相関性が高く、一方、ランダムノイズは過去の映像信号と相関性が低いことを利用し、現在と過去の映像信号間にて差分処理を行うことでランダムノイズのみを抽出し、抽出されたランダムノイズを用いて現在の映像信号のノイズ低減処理を行うものである。

この場合、課題となるのは被写体が変化する動領域において差分処理を行うと動き成分もまたランダムノイズと共に抽出されてしまうことにある。このため、差分処理を行った信号から動き成分を除去する精度が、巡回型のノイズ低減処理の精度を左右する要因となる。

このような動き成分を除去する方法としては、例えば、特開平10-13734号公報では映像信号から動き成分を検出し、検出された動き成分に基づき差分処理を行った信号に対するリミット値と帰還係数を制御する方法が開示されている。これにより、動き成分が少ないときはノイズ低減処理を強めに行いノイズ量の少ない映像信号を、動き成分が大きいときはノイズ低減処理を弱めに行い残像の少ない映像信号を得ることが可能となる。

また、特開2000-209507公報では差分処理を行った信号値から帰還係数を制御する方法が開示されている。差分処理を行った信号値が小さい場合はランダムノイズと判断し、帰還係数を大きくすることでノイズ量の少ない映像信号を、差分処理を行った信号値が大きい場合は動き成分と判断し、帰還係数を小さくすることで残像の少ない映像信号を得ることが可能となる。

さらに、特開2006-23959公報ではノイズ量をノイズモデルに基づきブロック単位に推定して、ブロック単位にノイズ低減処理を制御する例が開示されている。
特開平10-13734号公報特開2000-209507公報特開2006-23959公報

特開平10-13734号公報では動き成分を検出することで高精度なノイズ低減処理が可能となるが、一般に動き成分の検出処理は計算量が多く処理時間が長くなること、及び全体としてコストが高くなるという課題がある。また、動き成分とランダムノイズという性質が異なる信号間の処理は、制御のためのパラメータ設定が複雑になり、操作性が低下するという課題がある。

また、特開2000-209507公報では差分処理を行った信号値で制御を行うため計算量が少なく低コスト化が可能であるが、動き成分とランダムノイズの分離精度が低く高品位な映像信号が得られないという課題がある。

さらに、特開2006-23959公報では時間軸方向の相関性を用いた巡回型のノイズ低減処理とは独立しており、相互を最適に活用できないという課題がある。

本発明は、上記問題点に着目してなされたもので、巡回型のノイズ低減処理において、動き成分とランダムノイズを高精度に分離することで高品位な映像信号を得られるようにすることを目的とする。

（請求項１、２）
請求項１に記載の発明は、撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、前記映像信号に対してノイズ低減処理を行うノイズ低減手段と、前記映像信号のうち現在の映像信号から第１のノイズ量を推定する第１のノイズ推定手段と、前記第１のノイズ量、前記現在の映像信号及び前記ノイズ低減処理後の過去の映像信号に基づき第２のノイズ量を推定する第２のノイズ推定手段と、を備え、前記ノイズ低減手段は、前記現在の映像信号に対しては、前記第２のノイズ量に基づき前記ノイズ低減処理を行うことを特徴とする映像処理装置である。

また、請求項２に記載の発明は、請求項１に記載の映像処理装置において、前記第２のノイズ推定手段が、前記第１のノイズ量を用いて前記現在の映像信号と前記ノイズ低減処理後の過去の映像信号との差分信号を補正することにより前記第２のノイズ量を推定することを特徴とする映像処理装置である。

これらの発明に対応する実施形態は、図１〜図１２Ｄに示される第１の実施形態及び図１３〜図２３Ｄに示される第２の実施形態である。ノイズ低減手段は図１、図３、図１１に示されるノイズ低減部114及び図１３、図１５、図１６、図１９に示されるノイズ低減部604が、第１のノイズ推定手段は図１、図４、図１１に示される第１ノイズ推定部112及び図１３、図２０に示される第１ノイズ推定部602が、第２のノイズ推定手段は図１、図６、図１０、図１１に示される第２ノイズ推定部113及び図１３、図２１に示される第２ノイズ推定部603が対応する。

これらの発明の好ましい適用例は、ノイズ低減部114及びノイズ低減部604にて映像信号に対してノイズ低減処理を行い、第１ノイズ推定部112及び第１ノイズ推定部602にて映像信号のうち現在の映像信号から第１のノイズ量を推定し、第２ノイズ推定部113及び第２ノイズ推定部603にて第１のノイズ量、現在の映像信号及びノイズ低減処理後の過去の映像信号に基づき第２のノイズ量を推定し、ノイズ低減部114及びノイズ低減部604が現在の映像信号に対して第２のノイズ量に基づき上記ノイズ低減処理を行う映像処理装置である。

これらの発明によれば、時系列的に取り込まれた映像信号に対してノイズ低減処理を行うにあたり、現在の映像信号から第１のノイズ量を推定し、第１のノイズ量を用いて現在の映像信号及びノイズ低減処理後の過去の映像信号から第２のノイズ量を推定し、上記ノイズ低減処理は、現在の映像信号に対して第２のノイズ量に基づきノイズ低減処理を行う。巡回型のノイズ低減処理において、現在の映像信号及びノイズ低減処理後の過去の映像信号に加え、現在の映像信号から推定される動き成分を含まない第１のノイズ量を用いるようにしたことで、動き成分とランダムノイズを高い精度で分離することができ、高品位な映像信号が得られる。また、第１のノイズ量に基づきランダムノイズを分離する構成のため、性質的に同質な信号間の処理となり、制御の簡略化及び操作性の向上が可能となる。

また、第２のノイズ推定手段は、例えば、第１のノイズ量を用いて現在の映像信号とノイズ低減処理後の過去の映像信号との差分信号を補正することにより第２のノイズ量を推定する（請求項２）。このノイズ推定処理は上記の通り性質的に同質な信号間での処理であり、制御の簡略化及び操作性の向上が可能となる。

（請求項３）
請求項３に記載の発明は、請求項２に記載の映像処理装置において、前記第２のノイズ推定手段が、前記ノイズ低減処理後の映像信号を所定の単位時間で遅延させる遅延手段と、前記映像信号及び前記遅延された前記ノイズ低減処理後の映像信号間から差分信号を算出する差分手段と、前記差分信号と前記第１のノイズ量を比較する比較手段と、前記比較結果に基づき前記差分信号を補正することで前記第２のノイズ量を求める補正手段と、を備えたことを特徴とする映像処理装置である。

この発明に対応する実施形態は図１〜図１２Ｄに示される第１の実施形態である。遅延手段は図６、図１０に示される記録部400が、差分手段は図６、図１０に示される差分部401が、比較手段は図６、図１０に示される比較部402が、構成補正手段は図６に示される上限値設定部403及び図１０に示される置換部404が対応する。

この発明の好ましい適用例は、記録部400にてノイズ低減処理後の映像信号を所定の単位時間で遅延し、差分部401にて映像信号及び遅延されたノイズ低減処理後の映像信号間から差分信号を算出し、比較部402にて差分信号の絶対値と第１のノイズ量を比較し、上限値設定部403、置換部404にて比較結果に基づき差分信号を補正することで第２のノイズ量を求める映像処理装置である。

この発明によれば、現在の映像信号と所定時間遅延させたノイズ低減処理後の過去の映像信号間の差分信号を第１のノイズ量に基づき補正することで第２のノイズ量を求める。第１のノイズ量を用いることで、差分信号からの動き成分とランダムノイズの分離を高精度化することができ、高品位な映像信号が得られる。また、第１のノイズ量に基づく補正処理により第２のノイズ量を求める手法は同質な信号間での処理となり、制御の簡略化が可能となり操作性が向上する。

（請求項４）
請求項４に記載の発明は、請求項２に記載の映像処理装置において、前記第２のノイズ推定手段が、前記ノイズ低減処理後の映像信号を複数種類の所定の単位時間で遅延させる遅延手段と、前記映像信号及び前記遅延された前記ノイズ低減処理後の複数の映像信号間から複数の差分信号を算出する差分手段と、前記複数の差分信号と前記第１のノイズ量を比較する比較手段と、前記比較結果に基づき前記複数の差分信号を選択することで前記第２のノイズ量を求める選択手段と、を備えたことを特徴とする映像処理装置である。

この発明に対応する実施形態は図１３〜図２３Ｄに示される第２の実施形態である。遅延手段は図２１に示されるライン記録部900、フィールド記録部901、フレーム記録部902が、差分手段は図２１に示される差分部401が、比較手段は図２１に示される比較部402が、選択手段は図２１に示される選択部904が対応する。

この発明の好ましい適用例は、ライン記録部900、フィールド記録部901、フレーム記録部902にてノイズ低減処理後の映像信号を複数種類の所定の単位時間で遅延し、差分部401にて映像信号及び遅延されたノイズ低減処理後の複数の映像信号間から複数の差分信号を算出し、比較部402にて複数の差分信号の絶対値と第１のノイズ量を比較し、選択部904にて比較結果に基づき差分信号を選択することで第２のノイズ量を求める映像処理装置である。

この発明によれば、現在の映像信号と複数種類の所定時間遅延させたノイズ低減処理後の過去の映像信号間の差分信号を第１のノイズ量に基づき選択することで第２のノイズ量を求める。第１のノイズ量を用いることで、差分信号から動き成分とランダムノイズの分離を高精度化することができ、高品位な映像信号が得られる。また、第１のノイズ量に基づき最適な第２のノイズ量を選択する手法は容易であり、制御の簡略化が可能となり操作性が向上する。

（請求項５）
請求項５に記載の発明は、請求項３または４に記載の映像処理装置において、前記遅延手段が、前記所定の単位時間としてライン単位時間、フィールド単位時間及びフレーム単位時間の中から少なくとも一つを選択することを特徴とする映像処理装置である。

この発明に対応する実施形態は、図１〜図１２Ｄに示される第１の実施形態及び図１３〜図２３Ｄに示される第２の実施形態である。遅延手段で使用されるライン単位時間、フィールド単位時間あるいはフレーム単位時間は図６、図１０に示される記録部400及び図２１に示されるライン記録部900、フィールド記録部901、フレーム記録部902にて用いられる。

この発明の好ましい適用例は記録部400、ライン記録部900、フィールド記録部901、フレーム記録部902にてノイズ低減処理後の映像信号をライン単位時間、フィールド単位時間あるいはフレーム単位時間遅延する映像処理装置である。

この発明によれば、ノイズ低減処理後の映像信号をライン単位時間、フィールド単位時間あるいはフレーム単位時間遅延して現在の映像信号との差分を得る。従来使用されている撮像素子及び信号処理系との親和性、互換性が高く、多様な映像処理装置に適応することが可能となる。

（請求項６）
請求項６に記載の発明は、請求項３または４に記載の映像処理装置において、前記遅延手段が、前記ノイズ低減処理後の映像信号を記録する記録手段を備えたことを特徴とする映像処理装置である。

この発明に対応する実施形態は、図１〜図１２Ｄに示される第１の実施形態及び図１３〜図２３Ｄに示される第２の実施形態である。記録手段は図６、図１０に示される記録部400及び図２１に示されるライン記録部900、フィールド記録部901、フレーム記録部902が対応する。

この発明の好ましい適用例は、記録部400、ライン記録部900、フィールド記録部901、フレーム記録部902にてノイズ低減処理後の映像信号を記録する映像処理装置である。

この発明によれば、ノイズ低減処理後の映像信号を記録することにより所定時間遅延させる。従来使用されている撮像素子及び信号処理系との親和性、互換性が高く、多様な映像処理装置に適応することが可能となる。

（請求項７）
請求項７に記載の発明は、請求項３に記載の映像処理装置において、前記補正手段が、前記差分信号の絶対値が前記第１のノイズ量以上の場合に前記差分信号に上限値を設定する上限値設定手段を備えたことを特徴とする映像処理装置である。

この発明に対応する実施形態は図１〜図１２Ｄに示される第１の実施形態である。上限値設定手段は図６に示される上限値設定部403が対応する。

この発明の好ましい適用例は、上限値設定部403にて差分信号の絶対値が第１のノイズ量以上の場合に差分信号に上限値を設定する映像処理装置である。

この発明によれば、第１のノイズ量に基づき差分信号に上限値を設定することで第２のノイズ量を求める。第１のノイズ量を用いることで、差分信号から動き成分とランダムノイズの分離を高精度化することができ、高品位な映像信号が得られる。また、第１のノイズ量に基づき上限値を設定することにより第２のノイズ量を求める手法は同質な信号間での処理となり、制御の簡略化が可能となり操作性が向上する。

（請求項８）
請求項８に記載の発明は、請求項３に記載の映像処理装置において、前記補正手段が、前記差分信号の絶対値が前記第１のノイズ量以上の場合に前記差分信号を零に置換する置換手段を備えたことを特徴とする映像処理装置である。

この発明に対応する実施形態は図１〜図１２Ｄに示される第１の実施形態である。置換手段は図１０に示される置換部404が対応する。

この発明の好ましい適用例は、置換部404にて差分信号の絶対値が第１のノイズ量以上の場合に差分信号を零に置換する映像処理装置である。

この発明によれば、第１のノイズ量に基づき差分信号を零に置換することで第２のノイズ量を求める。第１のノイズ量を用いることで、差分信号から動き成分とランダムノイズの分離を高精度化することができ、高品位な映像信号が得られる。また、第１のノイズ量に基づき差分信号を零に置換する処理は上限値設定処理よりも実装が容易であり、システムの低コスト化が可能となる。

（請求項９）
請求項９に記載の発明は、請求項１から８に記載の映像処理装置において、前記ノイズ低減手段が、前記現在の映像信号から前記ノイズ低減処理を行う注目画素を抽出する画素抽出手段と、前記注目画素に対応する前記第２のノイズ量を抽出するノイズ量抽出手段と、前記注目画素の値と前記注目画素に対応する前記第２のノイズ量間で減算処理を行う減算手段と、を備えたことを特徴とする映像処理装置である。

この発明に対応する実施形態は図１〜図１２Ｄに示される第１の実施形態である。画素抽出手段は図３に示される画素抽出部200が、ノイズ量抽出手段は図３に示されるノイズ量抽出部201が、減算手段は図３に示される減算部202が対応する。

この発明の好ましい適用例は、画素抽出部200にて映像信号からノイズ低減処理を行う注目画素を抽出し、ノイズ量抽出部201にて注目画素に対応する第２のノイズ量を抽出し、減算部202にて注目画素と注目画素に対応する第２のノイズ量間で減算処理を行う映像処理装置である。

この発明によれば、画素単位で第２のノイズ量を減算することによりノイズ低減処理を行う。減算によるノイズ低減処理は計算量が少なく、システム全体の高速化及び低コスト化を可能とする。

（請求項１０）
請求項１０に記載の発明は、請求項１から８に記載の映像処理装置において、前記ノイズ低減手段が、前記現在の映像信号からノイズ低減処理を行う注目画素及び前記注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出する局所領域抽出手段と、前記局所領域から低周波成分を抽出する低周波抽出手段と、前記注目画素に対応する前記第２のノイズ量を抽出するノイズ量抽出手段と、前記注目画素に対応する前記第２のノイズ量及び前記低周波成分に基づき前記注目画素の値に対してコアリング処理を行うコアリング手段と、を備えたことを特徴とする映像処理装置である。

この発明に対応する実施形態は図１３〜図２３Ｄに示される第２の実施形態である。局所領域抽出手段は図１５、図１６、図１９に示される局所領域抽出部700が、低周波抽出手段は図１５に示される平均算出部701、図１６に示される係数用ROM704及びローパスフィルタ部705、あるいは、図１９に示される差成分算出部706、差成分用ROM707、重み係数合成部708、座標用ROM709及びフィルタリング部710が、ノイズ量抽手段は図１５、図１６、図１９に示されるノイズ量抽出部702が、コアリング手段は図１５、図１６、図１９に示されるコアリング部703が対応する。

この発明の好ましい適用例は、局所領域抽出部700にて映像信号からノイズ低減処理を行う注目画素及び注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出し、平均算出部701、係数用ROM704及びローパスフィルタ部705、あるいは、差成分算出部706、差成分用ROM707、重み係数合成部708、座標用ROM709及びフィルタリング部710にて局所領域から低周波成分を抽出し、コアリング部703にて注目画素に対応する第２のノイズ量及び低周波成分に基づき注目画素に対してコアリング処理を行う映像処理装置である。

この発明によれば、注目画素を含有する局所領域の低周波成分と第２のノイズ量に基づき注目画素にコアリング処理を行うことによりノイズ低減処理を行う。ランダムノイズのみを重点的に低減でき、かつエッジなどのノイズ以外の画素との連続性が確保できるため、高品位な映像信号が得られる。

（請求項１１）
請求項１１に記載の発明は、請求項１０に記載の映像処理装置において、前記低周波抽出手段が、前記局所領域から平均値を算出する平均値算出手段を備えたことを特徴とする映像処理装置である。

この発明に対応する実施形態は図１３〜図２３Ｄに示される第２の実施形態である。平均値算出手段は図１５に示される平均算出部701が対応する。

この発明の好ましい適用例は、平均算出部701にて局所領域から平均値を算出する映像処理装置である。

この発明によれば、局所領域の低周波成分として平均値を用いる。平均値の算出は容易であり、システム全体の高速化及び低コスト化が可能になる。

（請求項１２）
請求項１２に記載の発明は、請求項１０に記載の映像処理装置において、前記低周波抽出手段が、前記局所領域に対してローパスフィルタを適用するローパスフィルタ手段を備えたことを特徴とする映像処理装置である。

この発明に対応する実施形態は図１３〜図２３Ｄに示される第２の実施形態である。ローパスフィルタ手段は図１６に示される係数用ROM704及びローパスフィルタ部705が対応する。

この発明の好ましい適用例は、係数用ROM704及びローパスフィルタ部705にて局所領域に対してローパスフィルタを適用する映像処理装置である。

この発明によれば、局所領域の低周波成分としてローパスフィルタの処理結果を用いる。ノイズ量に影響されずに安定した低周波成分の抽出が可能となり、高精度なノイズ低減処理が可能となる。また、ローパスフィルタは実装が比較的容易で、システム全体の高速化及び低コスト化を可能とする。

（請求項１３）
請求項１３に記載の発明は、請求項１０に記載の映像処理装置において、前記低周波抽出手段が、前記局所領域に対してバイラテラルフィルタを適用するバイラテラルフィルタ手段を備えたことを特徴とする映像処理装置である。

この発明に対応する実施形態は図１３〜図２３Ｄに示される第２の実施形態が対応する。バイラテラルフィルタ手段は図１９に示される差成分算出部706、差成分用ROM707、重み係数合成部708、座標用ROM709及びフィルタリング部710が対応する。

この発明の好ましい適用例は、差成分算出部706、差成分用ROM707、重み係数合成部708、座標用ROM709及びフィルタリング部710にて局所領域に対してバイラテラルフィルタを適用する映像処理装置である。

この発明によれば、局所領域の低周波成分としてバイラテラルフィルタの処理結果を用いる。ノイズ量やエッジ成分の有無に影響されずに安定した低周波成分の抽出が可能となり、高精度なノイズ低減処理が可能となる。

（請求項１４〜１６）
請求項１４に記載の発明は、請求項１に記載の映像処理装置において、前記第１のノイズ推定手段がノイズモデルを用いて前記現在の映像信号から前記第１のノイズ量を推定することを特徴とする映像処理装置である。

また、請求項１５に記載の発明は、請求項１４に記載の映像処理装置において、前記第１のノイズ推定手段が、前記現在の映像信号から前記ノイズ低減処理を行う注目画素及び前記注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出する局所領域抽出手段と、前記局所領域の平均値を算出する平均値算出手段と、前記撮像系の温度値及び前記現在の映像信号に対するゲインに関する情報を収集する収集手段と、基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、前記収集手段からの情報及び前記局所領域の平均値に基づき前記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、前記局所領域の平均値及び前記選択されたパラメータに基づき補間演算により前記注目画素のノイズ量を求める補間手段と、を備えたことを特徴とする映像処理装置である。

また、請求項１６に記載の発明は、請求項１５に記載の映像処理装置において、前記収集手段で得られない情報に関して標準値を付与する付与手段を備え、前記パラメータ選択手段は、前記収集手段または前記付与手段からの情報及び前記局所領域の平均値に基づき前記パラメータ群から前記必要となるパラメータを選択することを特徴とする映像処理装置である。

これらの発明に対応する実施形態は図１〜図１２Ｄに示される第１の実施形態である。局所領域抽出手段は図４に示される局所領域抽出部300が、平均値算出手段は図４に示される平均値算出部301が、収集手段は図４に示されるゲイン算出部302及び制御部117が、付与手段は図４に示される標準値付与部303が、パラメータ記録手段は図４に示されるパラメータ用ROM304が、パラメータ選択手段は図４に示されるパラメータ選択部305が、補間手段は図４に示される補間部306、補正部307が対応する。

これらの発明の好ましい適用例は、局所領域抽出部300にて映像信号からノイズ低減処理を行う注目画素及び注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出し、平均値算出部301にて局所領域の平均値を算出し、ゲイン算出部302及び制御部117にて映像信号を撮像する際に用いた撮像素子の温度値及び映像信号に対するゲイン値に関する情報を収集し、標準値付与部303にてゲイン算出部302及び制御部117からの情報が得られない場合に標準値を付与し、パラメータ用ROM304に予め測定しておいたノイズ量推定のために使用される基準ノイズモデルに関するパラメータを記録し、パラメータ選択部305にて収集手段または付与手段からの情報及び局所領域の平均値に基づきパラメータ群から必要となるパラメータを選択し、補間部306、補正部307にて局所領域の平均値及び選択されたパラメータに基づき補間演算によりノイズ量を求める映像処理装置である。

これらの発明によれば、ノイズ量に関係する各種情報を撮影ごとに動的に求め、基準ノイズモデルに基づき補間処理を行うことで第１のノイズ量を求める。撮影ごとに異なる条件に動的に適応し、高精度かつ安定的な第１のノイズ量の推定が可能となる。また、ノイズ量の算出に補間演算を用いているが、補間演算は実装が容易であり、システムの低コスト化が可能となる。

また、ノイズ量に関係する情報が得られない場合には標準値を付与し、これを用いるようにしたことで（請求項１６）、ノイズ量に関係する情報が得られない場合であってもノイズ低減処理が可能になる。

（請求項１７、１８）
請求項１７に記載の発明は、請求項１から１３に記載の映像処理装置において、前記第１のノイズ推定手段が、前記現在の映像信号から前記ノイズ低減処理を行う注目画素及び前記注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出する局所領域抽出手段と、前記局所領域の平均値を算出する平均値算出手段と、前記撮像系の温度値及び前記現在の映像信号に対するゲインに関する情報を収集する収集手段と、前記収集手段からの情報及び前記局所領域の平均値を入力として前記注目画素のノイズ量を出力するノイズテーブル手段と、を備えたことを特徴とする映像処理装置である。

また、請求項１８に記載の発明は、請求項１７に記載の映像処理装置において、前記収集手段で得られない情報に関して標準値を付与する付与手段を備え、前記ノイズテーブル手段は、前記収集手段または前記付与手段からの情報及び前記局所領域の平均値を入力として前記注目画素のノイズ量を出力することを特徴とする映像処理装置である。

これらの発明に対応する実施形態は図１３〜図２３Ｄに示される第２の実施形態である。局所領域抽出手段は図２０に示される局所領域抽出部300が、平均値算出手段は図２０に示される平均値算出部301が、収集手段は図２０に示されるゲイン算出部302及び制御部117が、付与手段は図２０に示される標準値付与部303が、ノイズテーブル手段は図２０に示されるノイズテーブル部800が対応する。

これらの発明の好ましい適用例は、局所領域抽出部300にて映像信号からノイズ低減処理を行う注目画素及び注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出し、平均値算出部301にて局所領域の平均値を算出し、ゲイン算出部302及び制御部117にて映像信号を撮像する際に用いた撮像素子の温度値及び映像信号に対するゲイン値に関する情報を収集し、ノイズテーブル部800にて収集手段または付与手段からの情報及び局所領域の平均値に基づきノイズ量を求める映像処理装置である。

これらの発明によれば、ノイズ量に関係する各種情報を撮影ごとに動的に求め、ルックアップテーブルから第１のノイズ量を求める。撮影ごとに異なる条件に動的に適応し、高精度かつ安定的な第１のノイズ量の推定が可能となる。また、ノイズ量の算出にルックアップテーブルを用いているため、高速なノイズ量の推定が可能となる。

また、ノイズ量に関係する情報が得られない場合には標準値を付与し、これを用いるようにしたことで（請求項１８）、ノイズ量に関係する情報が得られない場合であってもノイズ低減処理が可能になる。

（請求項１９）
請求項１９に記載の発明は、請求項１から１８に記載の映像処理装置において、前記撮像系が色フィルタを前面に配置した撮像素子を使用する撮像系であり、前記装置が、前記撮像素子に使用される色フィルタごとに前記映像信号を複数の色信号に分離する色信号分離手段と、前記色信号ごとに前記ノイズ低減手段、前記第１のノイズ推定手段及び前記第２のノイズ推定手段を順次適用するよう制御する信号制御手段と、を備えたことを特徴とする映像処理装置である。

この発明に対応する実施形態は図１〜図１２Ｄに示される第１の実施形態である。色信号分離手段は図１、図１１に示される色信号分離部111が、信号制御手段は図１、図１１に示される制御部117が対応する。

この発明の好ましい適用例は、色信号分離部111にて撮像素子に使用される色フィルタごとに映像信号を複数の色信号に分離し、制御部117にて色信号ごとにノイズ低減手段及び第１のノイズ推定手段及び第２のノイズ推定手段を順次適用するよう制御する映像処理装置である。

この発明によれば、映像信号から色信号を分離し、各々を独立してノイズ低減処理を行う。各色信号を独立に処理するため、動き成分とランダムノイズの分離を高精度化することができ、高品位な映像信号が得られる。

（請求項２０）
請求項２０に記載の発明は、請求項１から１８に記載の映像処理装置において、前記撮像系が色フィルタを前面に配置した撮像素子を使用する撮像系であり、前記装置が、前記映像信号から輝度信号及び色差信号を分離する輝度色差分離手段と、前記輝度信号、前記色差信号ごとに前記ノイズ低減手段、前記第１のノイズ推定手段及び前記第２のノイズ推定手段を順次適用するよう制御する信号制御手段と、を備えたことを特徴とする映像処理装置である。

この発明に対応する実施形態は図１３〜図２３Ｄに示される第２の実施形態である。輝度色差分離手段は図１３に示される輝度色差分離部601が、信号制御手段は図１３に示される制御部117が該当する。

この発明の好ましい適用例は、輝度色差分離部601にて映像信号から輝度信号と色差信号を分離し、制御部117にて輝度信号、色差信号ごとにノイズ低減手段、第１のノイズ推定手段及び第２のノイズ推定手段を順次適用するよう制御する映像処理装置である。

この発明によれば、映像信号から輝度信号と色差信号を分離し、各々を独立してノイズ低減処理を行う。輝度信号と色差信号を独立に処理するため、動き成分とランダムノイズの分離を高精度化することができ、高品位な映像信号が得られる。

（請求項２１）
請求項２１に記載の発明は、請求項１９または２０に記載の映像処理装置において、前記撮像素子がベイヤー型原色フィルタまたは色差線順次型補色フィルタを前面に配置した撮像素子であることを特徴とする映像処理装置である。

この発明に対応する実施形態は、図１〜図１２Ｄに示される第１の実施形態及び図１３〜図２３Ｄに示される第２の実施形態が対応する。ベイヤー型原色フィルタは図２(a)に、色差線順次型補色フィルタは図９(a)、図１４(a)に示される。

この発明の好ましい適用例は、図２(a)に示されるベイヤー型原色フィルタ、または図９(a)、図１４(a)に示される色差線順次型補色フィルタを撮像素子の前面に配置した映像処理装置である。

この発明によれば、ベイヤー型原色フィルタまたは色差線順次型補色フィルタを前面に配置した撮像素子を用いる。従来の撮影素子との親和性、互換性が高く、多様なシステムに適応することが可能となる。

（請求項２２）
請求項２２の発明による映像処理プログラムは、上記請求項１による映像処理装置に対応し、請求項１の発明と同様な作用・効果を得ることができる。

巡回型のノイズ低減処理において、動き成分を含まない現在の映像信号から第１のノイズ量を求め、過去の映像信号との差分信号に対して第１のノイズ量に基づき動き成分とランダムノイズを分離する構成のため、動き成分とランダムノイズを高精度に分離することができ、高品位な映像信号が得られる。また、第１のノイズ量に基づきランダムノイズを分離する構成のため、性質的に同質な信号間の処理となり、制御の簡略化及び操作性の向上が可能となる。

以下、添付図面を参照しながら本発明の実施形態について説明する。

まず、その構成について説明する。図１は第１の実施形態の構成図である。レンズ系100、絞り101、CCD102を介して撮影された映像信号は、増幅器（図中"Gain"）104にて増幅され、A/Dコンバータ（図中"A/D"）105にてデジタル信号へ変換される。A/Dコンバータ105からの映像信号は、バッファ106を介して色信号分離部111へ転送される。

バッファ106は、プリホワイトバランス調整部（図中"PreWB部"）107、測光評価部108、合焦点検出部109へも接続されている。プリホワイトバランス調整部107は増幅器104へ、測光評価部108は絞り101、CCD102、増幅器104へ、合焦点検出部109はAFモータ110へ接続されている。

色信号分離部111は、第１ノイズ推定部112、第２ノイズ推定部113、ノイズ低減部114へ接続されている。第１ノイズ推定部112は第２ノイズ推定部113へ、第２ノイズ推定部113はノイズ低減部114へ接続されている。ノイズ低減部114は、第２ノイズ推定部113及び信号処理部115へ接続されている。信号処理部115は、メモリカードなどの出力部116に接続されている。

マイクロコンピュータなどの制御部117は、増幅器104、A/D105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、色信号分離部111、第１ノイズ推定部112、第２ノイズ推定部113、ノイズ低減部114、信号処理部115、出力部116と双方向に接続されている。

また、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えの設定を行うためのインターフェースを備えた外部I/F部118も制御部117に双方向に接続されている。さらに、CCD102の近傍に配置された温度センサー103からの信号は制御部117へ接続されている。

続いて、信号処理の内容について説明する。

図１を参照しながら映像信号の流れを説明する。外部I/F部118を介してISO感度などの撮影条件を設定した後、シャッターボタンを押すことで撮像モードに入る。レンズ系100、絞り101、CCD102を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。以後、連続的に出力される複数の映像信号を単に映像信号、１枚の映像信号をフレーム信号と表記する。また、本実施形態においては上記所定時間間隔として1/30秒（以後は１フレーム時間と表記する）を想定する。さらに、CCD102としてはベイヤー（Bayer）型原色フィルタを前面に配置した単板CCDを想定する。

図２(a)はベイヤー型原色フィルタの構成を示す。ベイヤー型は2×2画素を基本単位とし、赤(R)、青(B)フィルタが１画素ずつ、緑(Gr、Gb)フィルタが２画素配置される。なお、緑フィルタは同一な特性であるが、本例では処理の便宜上これをGrとGbに区別するものとする。上記アナログ信号は増幅器104にて所定量増幅され、A/Dコンバータ105にてデジタル信号へ変換されてバッファ106へ転送される。

バッファ106は、１フレーム信号を記録可能で、撮影にともない順次上書きされることになる。バッファ106内のフレーム信号は、制御部117の制御に基づき、所定のフレーム時間間隔で間欠的にプリホワイトバランス調整部107、測光評価部108及び合焦点検出部109へ転送される。

プリホワイトバランス調整部107では所定レベルの信号を色フィルタに対応する色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を増幅器104へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。

測光評価部108では、設定されたISO感度、手ぶれ限界のシャッター速度などを加味し、適正露光となるよう絞り101やCCD102の電子シャッター速度や増幅器104の増幅率などを制御する。また、合焦点検出部109では、映像信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。

プリホワイトバランス調整部107にて求められたホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件は制御部117へ転送される。

一方、色信号分離部111は制御部117の制御に基づき、以後のノイズ低減処理の対象となる注目画素及び注目画素の近傍に位置する近傍画素からなる局所領域を色信号ごとに順次抽出する。

本実施形態においては、例えば図２(a)に示される10×10画素を基本単位としてフレーム信号から抽出する。この場合、ノイズ低減処理の対象となる注目画素はR₂₂、Gr₂₂、Gb₂₂、B₂₂の4画素となる。

次に、図２(b)に示されるようにR、Gr、Gb、Bの色フィルタごとに5×5画素の局所領域として分離する。以降は、時刻Tにおける局所領域内の画素値をC^T _ij（Cは色信号でC=R、Gr、Gb、B、iはX座標でi=0〜4、jはY座標でj=0〜4）で表記する。5×5画素の局所領域の場合、注目画素値はC^T ₂₂となる。

上記局所領域は第１ノイズ推定部112へ、上記注目画素は第２ノイズ推定部113、ノイズ低減部114へ転送される。第１ノイズ推定部112は、制御部117の制御に基づき、注目画素値C^T ₂₂に関する第１のノイズ量C_N1^T ₂₂を推定し、これを第２ノイズ推定部113へ転送する。

第２ノイズ推定部113は、制御部117の制御に基づき、色信号分離部111からの注目画素値C^T ₂₂と後述するノイズ低減部114からのノイズ低減処理がなされた過去の注目画素値間の差分信号を求め、これを第１ノイズ推定部112からの第１のノイズ量C_N1^T ₂₂を用いて補正することで第２のノイズ量C_N2^T ₂₂を推定し、これをノイズ低減部114へ転送する。

本実施形態においては、過去の注目画素としては１フレーム時間前の時刻T-1のフレーム信号を想定し、ノイズ低減処理がなされた画素値をC'で表記することとする。注目画素値C^T ₂₂に関するノイズ低減処理がなされた過去の注目画素値はC'^T-1 ₂₂となる。

ノイズ低減部114は、制御部117の制御に基づき、色信号分離部111からの注目画素値C^T ₂₂に関して第２ノイズ推定部113からの第２のノイズ量C_N2^T ₂₂を差分することで、ノイズ低減処理がなされた注目画素値C'^T ₂₂を算出し、これを第２ノイズ推定部113及び信号処理部115へ転送する。なお、ノイズ低減部114は後述する第２の実施形態のノイズ低減部604のように注目画素値C^T ₂₂に関して第２のノイズ量C_N2^T ₂₂を用いてコアリング処理を行うことでノイズ低減処理がなされた注目画素値C'^T ₂₂を算出するようにしてもよい。

上記色信号分離部111、第１ノイズ推定部112、第２ノイズ推定部113、ノイズ低減部114における処理は、制御部117の制御に基づき局所領域単位で同期して行われる。

信号処理部115は、制御部117の制御に基づき、ノイズ低減処理がなされたフレーム信号に対して公知の補間処理、強調処理、階調処理、圧縮処理などを行い、出力部116へ転送する。出力部116は、磁気ディスクやメモリカードなどの記録媒体に映像信号を記録保存する。

図３はノイズ低減部114の構成の一例を示すもので、ノイズ低減部114は、画素抽出部200、ノイズ量抽出部201、減算部202からなる。

色信号分離部111は画素抽出部200へ、第２ノイズ推定部113はノイズ量抽出部201へ接続している。画素抽出部200及びノイズ量抽出部201は、減算部202へ接続している。減算部202は、第２ノイズ推定部113及び信号処理部115へ接続している。制御部117は、画素抽出部200、ノイズ量抽出部201、減算部202と双方向に接続されている。

画素抽出部200は、制御部117の制御に基づき、色信号分離部111から注目画素値C^T ₂₂を読み込み、減算部202へ転送する。ノイズ量抽出部201は、制御部117の制御に基づき、第２ノイズ推定部113から第２のノイズ量C_N2^T ₂₂を読み込み、減算部202へ転送する。

減算部202は、制御部117の制御に基づき、画素抽出部200からの注目画素値C^T ₂₂とノイズ量抽出部201からの第２のノイズ量C_N2^T ₂₂の間で減算処理を行い、ノイズ低減処理がなされた注目画素値C'^T ₂₂を求める。

ノイズ低減処理がなされた注目画素値C'^T ₂₂は、第２ノイズ推定部113及び信号処理部115へ転送される。

図４は第１ノイズ推定部112の構成の一例を示すもので、第１ノイズ推定部112は、局所領域抽出部300、平均値算出部301、ゲイン算出部302、標準値付与部303、パラメータ用ROM304、パラメータ選択部305、補間部306、補正部307からなる。

色信号分離部111は、局所領域抽出部300を介して平均値算出部301へ接続している。平均値算出部301、ゲイン算出部302、標準値付与部303、パラメータ用ROM304は、パラメータ選択部305へ接続している。パラメータ選択部305は、補間部306及び補正部307へ接続している。補間部306は補正部307へ、補正部307は第２ノイズ推定部113へ接続している。制御部117は、局所領域抽出部300、平均値算出部301、ゲイン算出部302、標準値付与部303、パラメータ選択部305、補間部306、補正部307と双方向に接続されている。

局所領域抽出部300は、制御部117の制御に基づき、図２(b)に示される5×5画素の局所領域を順次抽出し、平均値算出部301へ転送する。平均値算出部301は、制御部117の制御に基づき、局所領域抽出部300からの局所領域に関する平均値C_AVを求める。

(2)式に示される平均値C_AVは、パラメータ選択部305へ転送される。

ゲイン算出部302は、制御部117から転送されるISO感度及び露光条件に関する情報に基づき増幅器104における増幅量を求め、パラメータ選択部305へ転送する。また、制御部117は温度センサー103からCCD102の温度情報を得て、これをパラメータ選択部305へ転送する。

パラメータ選択部305は、平均値算出部301からの局所領域の平均値、ゲイン算出部302からのゲインの情報、制御部117からの温度情報に基づき第１のノイズ量を推定する。

図５は、第１のノイズ量の推定に関する説明図である。図５(a)は、信号レベルLに対するノイズ量Nをプロットしたもので、信号レベルに対して２次曲線的に増加している。図５(a)を２次関数でモデル化すると(3)式が得られる。

ここで、α、β、γは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。図５(a)は、一例としてある温度下においてゲインに関連する３種類のISO感度100、200、400に対するノイズ量をプロットしている。個々の曲線は(3)式に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形でモデルの定式化を行うと、

となる。ここで、α_gt、β_gt、γ_gtは定数項である。

ただし、(4)式の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このため、図５(b)に示すようなモデルの簡略化を行う。図５(b)においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLとノイズ量Nからなる座標データ(L_n、N_n)で表す。ここで、nは変曲点の数を示す。

また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数k_gtも用意される。補正係数k_gtは、各ノイズモデルと基準ノイズモデル間から最小自乗法により算出される。基準ノイズモデルから他のノイズモデルを導出するには、上記補正係数k_gtを乗算することで行われる。

図５(c)は、図５(b)に示す簡易化されたノイズモデルからノイズ量を算出する方法を示す。例えば、与えられた信号レベルl、ゲインがg、温度がtに対応するノイズ量Nを求めることを想定する。まず、信号レベルlが基準ノイズモデルのどの区間に属するかを探索する。ここでは、(L_n、N_n)と(L_n+1、N_n+1)間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量N_lを線形補間にて求める。

次に補正係数k_gtを乗算することでノイズ量Nを求める。

パラメータ選択部305は、平均値算出部301からの局所領域の平均値C_AVから信号レベルlを、ゲイン算出部302からのゲインの情報からゲインgを、制御部117からの温度情報から温度tを設定する。

次に、信号レベルlが属する区間の座標データ(L_n、N_n)と(L_n+1、N_n+1)をパラメータ用ROM304から探索し、これを補間部306へ転送する。さらに、補正係数k_gtをパラメータ用ROM304から探索し、これを補正部307へ転送する。

補間部306は、制御部117の制御に基づき、パラメータ選択部305からの信号レベルl及び区間の座標データ(L_n、N_n)と(L_n+1、N_n+1)から(5)式に基づき基準ノイズモデルにおける基準ノイズ量N_lを算出し、補正部307へ転送する。

補正部307は、制御部117の制御に基づき、パラメータ選択部305からの補正係数k_gt及び補間部306からの基準ノイズ量N_lから(6)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、注目画素値C^T ₂₂の第１のノイズ量C_N1^T ₂₂として第２ノイズ推定部113へ転送される。

なお、上記ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部303に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。また、ここではノイズモデルを用いて第１のノイズ量C_N1^T ₂₂を得ているが、後述する第２の実施形態のようにルックアップテーブルを用いて第１のノイズ量C_N1^T ₂₂を得るようにしても構わない。

図６は第２ノイズ推定部113の構成の一例を示す。第２ノイズ推定部113は、記録部400、差分部401、比較部402、上限値設定部403からなる。

ノイズ低減部114は記録部400へ、色信号分離部111及び記録部400は差分部401へ接続している。差分部401は、比較部402及び上限値設定部403へ接続している。第１ノイズ推定部112は比較部402へ、比較部402は上限値設定部403へ接続している。上限値設定部403はノイズ低減部114へ接続している。制御部117は、記録部400、差分部401、比較部402、上限値設定部403と双方向に接続されている。

ノイズ低減部114からのノイズ低減処理がなされた信号は、画素単位で順次記録部400へ転送され、記録される。本実施形態においては、記録部400は１フレーム信号を記録可能とし、次のノイズ低減処理がなされたフレーム信号が転送されてきた場合は上書きされる。本実施形態では、１フレーム時間単位で映像信号が出力されるため、記録部400には１フレーム時間前のノイズ低減処理がなされた映像信号が記録されている。

差分部401は、制御部117の制御に基づき、色信号分離部111から注目画素値C^T ₂₂を、記録部400から注目画素値C^T ₂₂に対応するノイズ低減処理がなされた過去の注目画素値C'^T-1 ₂₂を読み込み、両者間で差分処理を行うことで差分信号C_Δ^T ₂₂を得る。

(7)式に示される差分信号C_Δ^T ₂₂は、比較部402及び上限値設定部403へ転送される。比較部402は、制御部117の制御に基づき、差分部401から差分信号C_Δ^T ₂₂を読み込むとともに、第１ノイズ推定部112から注目画素値C^T ₂₂に対応する第１のノイズ量C_N1^T ₂₂を読み込み、両者の比較を行う。この比較は、差分信号C_Δ^T ₂₂の絶対値が第１のノイズ量C_N1^T ₂₂に含まれるか否かを判断するもので、C_Δ^T ₂₂≧C_N1^T ₂₂または-C_N1^T ₂₂≧C_Δ^T ₂₂の場合はノイズ範囲外、C_N1^T ₂₂＞C_Δ^T ₂₂＞-C_N1^T ₂₂の場合はノイズ範囲内とする。上記判断結果は、上限値設定部403へ転送される。

上限値設定部403は、制御部117の制御に基づき、差分部401からの差分信号C_Δ^T ₂₂に対して比較部402からの比較結果に基づき補正を行うことで第２のノイズ量C_N2^T ₂₂を求める。

(8)式は、差分信号がノイズ量を上回る（差分信号が負の場合は下回る）場合にノイズ量を上限とする制約を設けることを意味する。上記第２のノイズ量C_N2^T ₂₂は、ノイズ低減部114へ転送される。

図７(a)、(b)、図８は上記第２のノイズ量の推定に関する説明図である。図７(a)、(b)は時系列的に撮影される映像信号及びX軸方向のプロファイルを示す。被写体としては、黒を背景として白の矩形がX軸方向に移動する場合を想定する。図７(b)は現在の時刻Tの映像信号C^Tを、図７(a)は１フレーム時間前の時刻T-1の映像信号C^T-1を示す。なお、図７(a)の映像信号はノイズ低減処理が完了しており、ノイズ低減処理後の映像信号C'^T-1が存在する。

図８は、映像信号が図７(a)、(b)に示す信号である場合の色信号分離部111、第１ノイズ推定部112、第２ノイズ推定部113内の差分部401及び上限値設定部403、ノイズ低減部114における処理を図示したものである。

色信号分離部111からは、図７(b)に示される時刻Tの映像信号が転送される。ノイズ低減部114からは、図７(a)に示される時刻T-1のノイズ低減処理後の映像信号C'^T-1が転送される。

差分部401は、(7)式に示される差分信号C_Δ^Tを算出する。この場合、差分信号C_Δ^Tにはランダムノイズと動き成分の二成分が混在することになる。本例においては、白の矩形がX軸方向に移動しているため、矩形の境界部で大きな動き成分が検出されることになる。

第１ノイズ推定部112からは第１のノイズ量C_N1^Tが転送される。第１のノイズ量C_N1^Tは、時刻Tの映像信号C^T及びノイズモデルに基づき推定されるため動き成分が含まれない。上限値設定部403は、(8)式に示されるように第１のノイズ量C_N1^Tを逸脱する場合に第１のノイズ量C_N1^Tを上限値とする補正を行う。これにより、差分信号C_Δ^Tから動き成分が除去され、第２のノイズ量C_N2^Tが求められる。

ノイズ低減部114では、(1)式に示される減算処理がなされ、ノイズ低減処理がなされた時刻Tの映像信号C'^Tが生成される。

続いて、上記ノイズ低減処理による効果について説明する。

現在の映像信号から推定される第１のノイズ量は動き成分を含まないので、これを用いて動き成分とランダムノイズを分離することで、両成分を高い精度で分離することができ、高品位な映像信号が得られる。また、分離に使用する第１のノイズ量の推定及び減算処理で行われるノイズ低減処理は計算量が少なく、システム全体の高速化及び低コスト化を可能とする。

また、第１のノイズ量の推定は、撮影ごとに異なる条件に動的に適応するため、高精度かつ安定的な推定が可能となる。さらに、第１のノイズ量に基づく補正処理により第２のノイズ量を求める手法は、同質な信号間での処理となり、制御の簡略化が可能となり操作性が向上する。

また、ノイズ低減処理後の映像信号をフレーム単位時間遅延して現在の映像信号との差分を得るようにしたので、従来使用されている撮像素子及び信号処理系との親和性、互換性が高く、多様な撮像システムに適応することが可能となる。

また、各色信号を独立に処理するため、動き成分とランダムノイズの分離を高精度化することができ、高品位な映像信号が得られる。

また、ベイヤー型原色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。なお、上記実施形態では撮像素子としてベイヤー型原色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、色差線順次型補色フィルタを用いることも可能であるし、二板、三板撮像素子の利用も可能である。

図９(a)は色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy)、マゼンタ(Mg)、イエロー(Ye)、緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。色差線順次型補色フィルタの場合、色信号分離部111は、図９(a)に示される10×10画素単位で映像信号を読み込み、これを図９(b)に示されるようにMg、G、Ye、Cyの色フィルタごとに、注目画素を中心とする5×5画素を局所領域として分離する。時刻Tにおける局所領域内の画素値はC^T _ij（Cは色信号でC=Mg、G、Ye、Cy）で示されることになる。

また、第２ノイズ推定部113において差分信号が第１のノイズ量を逸脱する場合に、第１のノイズ量を上限とする補正処理を行う構成となっていたが、このような構成に限定される必要はない。

例えば、第１のノイズ量を逸脱する場合に零に置換するなどのより簡易的な構成も可能である。図１０は、第２ノイズ推定部113の別構成の一例を示すもので、図６に示す上限値設定部403を置換部404に置換した構成になっている。基本構成は図６に示す第２ノイズ推定部113と同等であり、同一の構成には同一の名称と番号を割り当てている。

以下、異なる部分のみ説明する。差分部401及び比較部402は、置換部404へ接続している。置換部404はノイズ低減部114へ接続している。制御部117は置換部404と双方向に接続されている。図６に示す差分部401及び比較部402と同様に、差分部401は差分信号C_Δ^T ₂₂を算出し、比較部402は差分信号C_Δ^T ₂₂と第１のノイズ量C_N1^T ₂₂間の比較を行う。置換部404は、制御部117の制御に基づき、差分部401からの差分信号C_Δ^T ₂₂に対して比較部402からの比較結果に基づき補正を行うことで第２のノイズ量C_N2^T ₂₂を求める。

後段のノイズ低減部114は、注目画素値C^T ₂₂とノイズ量抽出部201からの第２のノイズ量C_N2^T ₂₂間にて減算処理を行うため、(9)式に示される置換処理は動領域において何も処理を行わないことを意味する。一般に動領域では視覚的に高周波域の識別能が低下するため、ランダムノイズが目立ちにくく、置換処理においても対応することができる。置換処理は、図６に示す上限値設定処理よりも実装が容易であり、システムの低コスト化が可能となる。

さらに、上記実施形態ではレンズ系100、絞り101、CCD102、温度センサー103、増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図１１に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。

図１１は、図１に示す構成からレンズ系100、絞り101、CCD102、温度センサー103、増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、AFモータ110を省略し、入力部500、ヘッダ情報解析部501を追加した形態となっている。基本構成は図１と同等であり、同一の構成には同一の名称と番号を割り当てている。

以下、異なる部分のみ説明する。入力部500は、バッファ106及びヘッダ情報解析部501へ接続している。制御部117は、入力部500、ヘッダ情報解析部501と双方向に接続している。マウス、キーボードなどの外部I/F部118を介して再生操作を開始することで、記録媒体に保存された映像信号及びヘッダ情報が入力部500から読み込まれる。なお、映像信号は所定の時間間隔、本実施形態では１フレーム時間間隔で１枚ずつ順次読み込まれる。

入力部500からのフレーム信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部501へ転送される。ヘッダ情報解析部501は、ヘッダ情報から撮影時の情報を抽出して制御部117へ転送する。以後の処理は、図１と同等である。

また、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの映像信号を未処理のままのRawデータとして、制御部117からCCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

図１２Ａは上記信号処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。以下、各ステップの処理について説明する。

ステップS1では映像信号及び撮影時の露光条件などのヘッダ情報を読み込む。

ステップS2では映像信号から順次フレーム信号を抽出する。

ステップS3では図２(b)に示されるように所定サイズの局所領域を分離抽出する。

ステップS4では第１のノイズ量の推定を行う。この処理は図１２Ｂのフローに従って実行され、これについては後述する。

ステップS5では第２のノイズ量の推定を行う。この処理は図１２Ｃのフローに従って実行され、これについては後述する。

ステップS6ではノイズ低減処理を行う。この処理は図１２Ｄのフローに従って実行され、これについては後述する。

ステップS7ではノイズ低減処理がなされた信号を出力する。

ステップS8では全ての局所領域が完了したかを判断し、完了していない場合はステップS3へ分岐し、完了した場合はステップS9へ分岐する。

ステップS9では公知の補間処理、強調処理、階調処理、圧縮処理が行われる。

ステップS10では処理が完了したフレーム信号が出力される。

ステップS11では全てのフレーム信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。

図１２Ｂは、図１２ＡのステップS4における第１ノイズ推定処理に関するフローである。以下、各ステップの処理について説明する。

ステップS20では読み込まれたヘッダ情報から温度、ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合はこれに代えて所定の標準値を割り当てる。

ステップS21では(2)式に示されるように局所領域の平均値を算出する。

ステップS22では基準ノイズモデルの座標データ及び補正係数を読み込む。

ステップS23では注目画素値が属する基準ノイズモデルの区間の座標データ及び対応する補正係数を選択する。

ステップS24では(5)式に示される補間処理にて基準ノイズ量を求める。

ステップS25では(6)式に示される補正処理にて第１のノイズ量を求める。

ステップS26では第１のノイズ量を出力して終了する。

図１２Ｃは、図１２ＡのステップS5における第２ノイズ推定処理に関するフローである。以下、各ステップの処理について説明する。

ステップS30ではノイズ低減処理がなされた過去の、本実施形態では１フレーム過去のフレーム信号を入力する。

ステップS31では(7)式に示されるように差分信号を算出する。

ステップS32では第１のノイズ量を入力する。

ステップS33では差分信号が第１のノイズ量に含まれるか否かを比較判定する。

ステップS34では(8)式に示されるように差分信号に第１のノイズ量を上限とする制約を設けることで第２のノイズ量を求める。

ステップS35では第２のノイズ量を出力して終了する。

図１２Ｄは、図１２ＡのステップS6におけるノイズ低減処理に関するフローである。以下、各ステップの処理について説明する。

ステップS40では第２のノイズ量を入力する。

ステップS41では、(1)式に示されるようにフレーム信号と第２のノイズ量間にて減算処理を行い、ノイズ低減処理がなされた信号を求める。

ステップS42ではノイズ低減処理がなされた信号を出力して終了する。

このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。

続いて本発明の第２の実施形態について説明する。

まず、その構成について説明する。図１３は第２の実施形態の構成図である。本実施形態は、図１に示す第１の実施形態におけるCCD102がCCD600へ、色信号分離部111が輝度色差分離部601へ、第１ノイズ推定部112が第１ノイズ推定部602へ、第２ノイズ推定部113が第２ノイズ推定部603へ、ノイズ低減部114がノイズ低減部604へ置換された構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。

レンズ系100、絞り101、CCD600を介して撮影された映像信号は、増幅器（図中"Gain"）104にて増幅され、A/Dコンバータ（図中"A/D"）105にてデジタル信号へ変換され、バッファ106へ転送される。

バッファ106は、プリホワイトバランス調整部（図中"PreWB部"）107、測光評価部108、合焦点検出部109、輝度色差分離部601へ接続されている。輝度色差分離部601は、第１ノイズ推定部602、第２ノイズ推定部603、ノイズ低減部604へ接続されている。第１ノイズ推定部602は第２ノイズ推定部603へ、第２ノイズ推定部603はノイズ低減部604へ接続されている。ノイズ低減部604は、第２ノイズ推定部603及び信号処理部115へ接続されている。制御部117は、輝度色差分離部601、第１ノイズ推定部602、第２ノイズ推定部603、ノイズ低減部604と双方向に接続されている。

続いてその信号処理の内容について説明する。基本的に第１の実施形態と同等であるので、異なる部分のみ説明する。

図１３を参照しながら映像信号の流れを説明する。外部I/F部118を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100、絞り101、CCD600を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。なお、本実施形態においては、また、CCD600としては色差線順次型補色フィルタを前面に配置した単板CCDを想定する。

図１４(a)は色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy)、マゼンタ(Mg)、イエロー(Ye)、緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。

CCD600からの映像信号は、図１４(a)に示されるように上下のラインが加算され、偶数ラインと奇数ラインに分離した２つのフィールド信号（偶数フィールド信号と奇数フィールド信号）から構成される。また、上記所定時間間隔として1/60秒（以後は１フィールド時間と表記する）を想定する。偶数及び奇数フィールド信号を合成することで１枚の映像信号が得られるが、１枚の映像信号をフレーム信号と表記する。上記フレーム信号は1/30秒間隔で合成されることになる。

CCD600からのアナログ信号は増幅器104にて所定量増幅され、A/Dコンバータ105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、２フィールド信号、すなわち１フレーム信号を記録可能で、撮影にともない順次上書きされることになる。輝度色差分離部601は制御部117の制御に基づき、偶数及び奇数フィールド信号から輝度信号Yと色差信号Cb、Crを算出する。

この後、ノイズ低減処理の対象となる注目画素及び注目画素の近傍に位置する近傍画素からなる局所領域を順次抽出する。本実施形態においては、局所領域として輝度信号Yは5×5画素を、色差信号Cb、Crは5×3画素を想定する。

図１４(b)、(c)は偶数及び奇数フィールド信号から抽出された局所領域を示す。図１４(b)は偶数フィールド信号から輝度信号Yと色差信号Crを抽出した例を示す。色差信号Crは１ライン間隔でしか生成されないため、有効な画素は5×3画素となる。また、この例では色差信号Cbは注目画素が得られないため使用しない。なお、注目画素位置が異なれば、上記とは逆に色差信号Cbが存在し、色差信号Crが存在しない例も発生する。

図１４(c)は奇数フィールド信号から輝度信号Yと色差信号Cbを抽出した例を示す。色差信号Cbは、１ライン間隔でしか生成されないため、有効な画素は5×3画素となる。また、この例では色差信号Crは注目画素が得られないため使用しない。なお、注目画素位置が異なれば、上記とは逆に色差信号Crが存在し、色差信号Cbが存在しない例も発生する。

以降は、時刻Tにおける局所領域内の画素値をC^T _ij（Cは信号でC=Y、CrまたはC=Y、Cb、iはX座標でi=0〜4、jはY座標で偶数フィールド信号の輝度信号Yの場合はｊ=0、2、4、6、8、偶数フィールド信号の色差信号CrまたはCbの場合はｊ=0、4、8、奇数フィールド信号の輝度信号Yの場合はj=1、3、5、7、9、奇数フィールド信号の色差信号CbまたはCrの場合はj=1、5、9）で表記する。注目画素値は偶数フィールド信号の場合C^T ₂₄、奇数フィールド信号の場合C^T ₂₅となる。なお、以後の説明は、図１４(b)に示されるような偶数フィールド信号かつC=Y、Crに関して行うが、偶数フィールド信号かつC=Y、Cbや奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。

上記局所領域は第１ノイズ推定部602及びノイズ低減部604へ、上記注目画素は第２ノイズ推定部603へ転送される。第１ノイズ推定部602は、制御部117の制御に基づき、注目画素値C^T ₂₄に関する第１のノイズ量C_N1^T ₂₄を推定し、これを第２ノイズ推定部603へ転送する。

第２ノイズ推定部603は、制御部117の制御に基づき、輝度色差分離部601からの注目画素値C^T ₂₄と後述するノイズ低減部604からのノイズ低減処理がなされた複数の過去の信号間の差分信号を求め、これらを第１ノイズ推定部602からの第１のノイズ量C_N1^T ₂₄を用いて選択することで第２のノイズ量C_N2^T ₂₄を推定し、ノイズ低減部604へ転送する。本実施形態においては、過去の信号としては２フィールド前（１フレーム前）、１フィールド前、１ライン前の三種類を想定する。

ノイズ低減部604は、制御部117の制御に基づき、輝度色差分離部601からの注目画素値C^T ₂₄に関して第２ノイズ推定部603からの第２のノイズ量C_N2^T ₂₄を用いてコアリング処理を行うことでノイズ低減処理がなされた注目画素値C'^T ₂₄を算出し、これを第２ノイズ推定部603及び信号処理部115へ転送する。なお、ノイズ低減部604は、第１の実施形態のノイズ低減部114のように注目画素値C^T ₂₄と第２のノイズ量C_N2^T ₂₄の間で減算処理を行うことによってノイズ低減処理がなされた注目画素値C'^T ₂₄を算出するようにしてもよい。

上記輝度色差分離部601、第１ノイズ推定部602、第２ノイズ推定部603、ノイズ低減部604における処理は、制御部117の制御に基づき局所領域単位で同期して行われる。

信号処理部115は、制御部117の制御に基づき、ノイズ低減処理がなされた偶数フィールド信号及び奇数フィールド信号に対して公知の同時化処理を行うことでフレーム信号を合成し、上記フレーム信号に対して公知の強調処理、階調処理、圧縮処理などを行い、出力部116へ転送する。出力部116は、磁気ディスクやメモリカードなどの記録媒体に映像信号を記録保存する。

図１５はノイズ低減部604の構成の一例を示すもので、ノイズ低減部604は、局所領域抽出部700、平均算出部701、ノイズ量抽出部702、コアリング部703からなる。

輝度色差分離部601は局所領域抽出部700へ、局所領域抽出部700は平均算出部701及びコアリング部703へ接続している。第２ノイズ推定部603はノイズ量抽出部702へ、ノイズ量抽出部702はコアリング部703へ接続している。コアリング部703は、第２ノイズ推定部603及び信号処理部115へ接続している。制御部117は、局所領域抽出部700、平均算出部701、ノイズ量抽出部702、コアリング部703と双方向に接続されている。

以後の説明は、偶数フィールド信号に関して行うが、奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。

局所領域抽出部700は、制御部117の制御に基づき、輝度色差分離部601から局所領域を読み込み、局所領域を平均算出部701へ、局所領域内の注目画素をコアリング部703へ転送する。平均算出部701は、制御部117の制御に基づき、局所領域の平均値C_AV（C=Y、Cr）を算出する。

(11)式において、i=0〜4、輝度信号Yの場合はｊ=0、2、4、6、8、色差信号Crの場合はｊ=0、4、8となる。算出された平均値C_AVはコアリング部703へ転送される。

ノイズ量抽出部702は、制御部117の制御に基づき、第２ノイズ推定部603から第２のノイズ量C_N2^T ₂₄を読み込み、コアリング部703へ転送する。

コアリング部703は、制御部117の制御に基づき、局所領域抽出部700からの注目画素値C^T ₂₄に対して平均算出部701からの平均値C_AV及びノイズ量抽出部702からの第２のノイズ量C_N2^T ₂₄を用いてコアリング処理を行い、ノイズ低減処理がなされた注目画素値C'^T ₂₄を求める。

ノイズ低減処理がなされた注目画素値C'^T ₂₄は、第２ノイズ推定部603及び信号処理部115へ転送される。

なお、上記構成ではコアリング処理に局所領域の平均値を用いる構成となっていたが、このような構成に限定される必要はない。例えば、第２のノイズ量C_N2^T ₂₄に対応した適用的なローパスフィルタ処理を行う構成も可能である。

図１６は、ノイズ低減部604の別構成の一例を示すもので、図１５に示す平均算出部701を削除し、係数用ROM704、ローパスフィルタ部705を追加した構成になっている。基本構成は図１５に示すノイズ低減部604と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。

局所領域抽出部700、ノイズ量抽出部702、係数用ROM704は、ローパスフィルタ部705へ接続している。ローパスフィルタ部705はコアリング部703へ接続している。制御部117はローパスフィルタ部705と双方向に接続されている。ローパスフィルタ部705は、制御部117の制御に基づき、ノイズ量抽出部702からの第２のノイズ量C_N2^T ₂₄を用いて係数用ROM704からローパスフィルタ処理に用いるフィルタ係数を選択して、読み込む。

図１７は、係数用ROM704に記録されているフィルタ係数の一例を示す、各フィルタはサイズが5×5画素で、Type1〜Type4までの４種類の周波数特性が記録されている。なお、図１７中の各係数の値は128倍されている。Type1は高周波成分を残存し、Type4へと順次高周波成分を抑制する周波数特性となっている。ローパスフィルタ部705は、第２のノイズ量C_N2^T ₂₄からType1〜Type4の周波数特性を選択する。

この選択は、例えば図１８に示されるノイズ量Nとフィルタの種類Type間の関係に基づき行われる。ノイズ量Nが大きいほど高周波成分を抑制する周波数特性のフィルタが選択されることになる。ローパスフィルタ部705は、選択されたフィルタ係数に基づき、局所領域抽出部700からの局所領域に対してローパスフィルタ処理を行う。

なお、輝度信号Yの場合は5×5画素の局所領域でローパスフィルタのサイズと一致するが、色差信号Crの場合は5×3画素の局所領域でローパスフィルタのサイズと一致しない。この場合は、存在しない画素に関してはローパスフィルタ処理の対象化から除外し、実際に使用された画素のフィルタ係数に基づき正規化することで対応する。

ローパスフィルタ処理による結果はコアリング部703へ転送される。コアリング部703は、(12)式における平均値C_AVをローパスフィルタ処理の結果と置き換えて、コアリング処理を行う。

さらに、局所領域の平均値の代わりにバイラテラル（Bilateral）フィルタ処理を行う構成も可能である。図１９は、ノイズ低減部604のバイラテラルフィルタ処理を行う構成の一例を示すもので、図１５に示す平均算出部701を削除し、差成分算出部706、差成分用ROM707、重み係数合成部708、座標用ROM709、フィルタリング部710を追加した構成になっている。基本構成は図１５に示すノイズ低減部604と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。

局所領域抽出部700は、差成分算出部706、フィルタリング部710、コアリング部703へ接続している。差成分算出部706は、重み係数合成部708、フィルタリング部710を介してコアリング部703へ接続している。差成分用ROM707は差成分算出部706へ、座標用ROM709は重み係数合成部708へ接続している。制御部117は、差成分算出部706、重み係数合成部708、フィルタリング部710と双方向に接続されている。

差成分算出部706は、制御部117の制御に基づき、局所領域抽出部700から局所領域を読み出し、(13)式に示されるように注目画素値C^T ₂₄との差成分の絶対値δ^T _ijを算出する。

その後、差成分算出部706は差成分用ROM707から差成分の絶対値δ^T _ijに対応する第１の重み係数w1_ijを読み出す。第１の重み係数w1_ijは、例えば(14)式に示される関数式で定められる。

(14)式におけるσ1は調整用のパラメータで、σ1=1〜10程度を用いる。差成分用ROM707は、(14)式に示される関数式に基づき予め算出しておいた第１の重み係数w1_ijを記録したテーブルである。

求められた第１の重み係数w1_ijは重み係数合成部708へ転送される。重み係数合成部708は、制御部117の制御に基づき、差成分算出部706からの第１の重み係数w1_ij及び座標用ROM709から座標値(i、j)に対応する第２の重み係数w2_ijを読み込み、これらを合成する。第２の重み係数w2_ijは、例えば(15)式に示される関数式で定められる。

(15)式におけるσ2は調整用のパラメータで、σ2=1〜10程度を用いる。また、Ti及びTjは注目画素の座標を意味し、本実施形態においてはTi=2、Tj=4となる。座標用ROM709は、(15)式に示される関数式に基づき予め算出しておいた第２の重み係数w2_ijを記録したテーブルである。第１の重み係数w1_ij及び第２の重み係数w2_ijは(16)式に基づき合成され、重み係数w_ijが算出される。

算出された重み係数w_ijはフィルタリング部710へ転送される。フィルタリング部710は、制御部117の制御に基づき、局所領域抽出部700からの局所領域に対して重み係数合成部708からの重み係数w_ijを用いてフィルタリング処理を行う。なお、上記フィルタリング処理は重み係数w_ijの総和で正規化される過程も含まれる。フィルタリング処理された結果はコアリング部703へ転送される。

コアリング部703は、(12)式における平均値C_AVをフィルタリング処理の結果と置き換えて、コアリング処理を行う。

図２０は第１ノイズ推定部602の構成の一例を示すもので、第１の実施形態の図４に示される第１ノイズ推定部112にノイズテーブル部800が追加され、パラメータ用ROM304、パラメータ選択部305、補間部306、補正部307が省略された形態になっている。基本構成は図４に示す第１ノイズ推定部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。

輝度色差分離部601は局所領域抽出部300へ接続している。平均値算出部301、ゲイン算出部302、標準値付与部303は、ノイズテーブル部800へ接続している。ノイズテーブル部800は、第２ノイズ推定部603へ接続している。制御部117は、ノイズテーブル部800と双方向に接続されている。なお、以後の説明は、説明を簡単にするため、偶数フィールド信号に関して行うが、奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。

局所領域抽出部300は、制御部117の制御に基づき、図１４(b)に示される5×5画素または5×3画素の局所領域を順次抽出し、平均値算出部301へ転送する。

平均値算出部301は、制御部117の制御に基づき、(11)式に示されるように局所領域抽出部300からの局所領域に関する平均値C_AVを求める。平均値C_AVはノイズテーブル部800へ転送される。

ゲイン算出部302は、制御部117から転送されるISO感度及び露光条件に関する情報に基づき増幅器104における増幅量を求め、ノイズテーブル部800へ転送する。また、制御部119は温度センサー103からCCD600の温度情報を得て、これをノイズテーブル部800へ転送する。

ノイズテーブル部800は、平均値算出部301からの局所領域に関する平均値、ゲイン算出部302からのゲインの情報、制御部117からの温度情報に基づきノイズ量を出力する。ノイズテーブル部800は、温度、信号値レベル、ゲインとノイズ量間の関係を記録したルックアップテーブルである。ノイズテーブル部800で得られたノイズ量Nは注目画素値C^T ₂₄の第１のノイズ量C_N1^T ₂₄として第２ノイズ推定部113へ転送される。

なお、上記ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部303に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。また、ここではルックアップテーブルを用いて第１のノイズ量C_N1^T ₂₄を得ているが、第１の実施形態と同様にノイズモデルを用いて第１のノイズ量C_N1^T ₂₄を得るようにしても構わない。

図２１は第２ノイズ推定部603の構成の一例を示すもので、第１の実施形態の図６に示される第２ノイズ推定部113にライン記録部900、フィールド記録部901、フレーム記録部902、バッファ903、選択部904が追加され、記録部400、上限値設定部403が省略された形態になっている。基本構成は図６に示す第２ノイズ推定部113と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。

ノイズ低減部604はライン記録部900、フィールド記録部901、フレーム記録部902へ、ライン記録部900、フィールド記録部901、フレーム記録部902、輝度色差分離部601は差分部401へ接続している。差分部401はバッファ903へ、バッファ903は比較部402及び選択部904へ接続している。第１ノイズ推定部602は比較部402へ、比較部402は選択部904へ接続している。選択部904は、ノイズ低減部604へ接続している。以後の説明は偶数フィールド信号に関して行うが、奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。

ノイズ低減部604からのノイズ低減処理がなされた信号は、画素単位でライン記録部900、フィールド記録部901、フレーム記録部902へ転送され、記録される。ライン記録部900は１ライン前の信号を、フィールド記録部901は１フィールド前の信号を、フレーム記録部902を１フレーム前の信号を記録する。

差分部401は、制御部117の制御に基づき、輝度色差分離部601から注目画素値Y^T ₂₄またはCr^T ₂₄を、ライン記録部900から１ライン前の信号Y'^T ₂₂またはCr'^T ₂₀を、フィールド記録部901から１フィールド前の信号Y'^T-1 ₂₃、Y'^T-1 ₂₅またはCr'^T-1 ₂₃、Cr'^T-1 ₂₇を、フレーム記録部902から１フレーム前の信号Y'^T-2 ₂₄またはCr'^T-2 ₂₄を読み込み、両者間で差分処理を行うことでライン差分信号C_Δ1^T ₂₄、フィールド差分信号C_Δ2^T ₂₄、フレーム差分信号C_Δ3^T ₂₄を得る。輝度信号に関しては、

色差信号に関しては、

となる。図２２Ａ、図２２Ｂは、上記注目画素と１ライン前の信号、１フィールド前の信号、１フレーム前の信号の位置関係を示す。

図２２Ａ(a)は、時刻Tにおける輝度信号に関する5×5画素の局所領域と注目画素Y^T ₂₄を示す。図２２Ａ(b)は、時刻Tの１ライン前、時刻T-1の１フィールド前、時刻T-2の１フレーム前のノイズ低減処理がなされた輝度信号を示す。１フレーム前の輝度信号からは注目画素Y^T ₂₄と同一座標上の画素が選択されるが、１ライン前及び１フィールド前の輝度信号には同一座標上の画素が存在しないため、近傍画素が選択される。

図２２Ｂ(a)は、時刻Tにおける色差信号に関する5×3画素の局所領域と注目画素Cr^T ₂₄を示す。図２２Ｂ(b)は、時刻Tの１ライン前、時刻T-1の１フィールド前、時刻T-2の１フレーム前のノイズ低減処理がなされた色差信号を示す。１フレーム前の色差信号からは注目画素Cr^T ₂₄と同一座標上の画素が選択されるが、１ライン前及び１フィールド前の色差信号には同一座標上の画素が存在しないため、近傍画素が選択される。

上記の画素配置に起因し、注目画素との相関性に関しては静止領域においては１フレーム前≧１フィールド前≧１ライン前の関係があり、ノイズ低減処理に関する精度もこの順序となる。一方、動領域の精度は１ライン≧１フィールド前≧１フレーム前の関係がある。(17)または(18)式に示される差分信号Δ1^T ₂₄、Δ2^T ₂₄、Δ3^T ₂₄は、バッファ903へ転送され記録される。

比較部402は、制御部117の制御に基づき、バッファ903から差分信号Δ1^T ₂₄、Δ2^T ₂₄、Δ3^T ₂₄を、第１ノイズ推定部602から注目画素値C^T ₂₄に対応する第１のノイズ量C_N1^T ₂₄を読み込み、両者の比較を行う。比較は１フレーム前のΔ3^T ₂₄、１フィールド前のΔ2^T ₂₄、１ライン前のΔ1^T ₂₄の順で行われ、第１のノイズ量C_N1^T ₂₄以下となった場合に直ちに選択部904へ結果が転送される。これは、静止領域においては１フレーム前、１フィールド前、１ライン前の順でノイズ低減処理に関する精度が高いためで、この順で優先的に選択されるようにするためである。

なお、１ライン前のΔ1^T ₂₄でも第１のノイズ量C_N1^T ₂₄以下とならない場合は、自動的に１ライン前の信号が結果として選択され、選択部904へ転送される。

選択部904は、制御部117の制御に基づき、比較部402の結果に従いバッファ903から差分信号の一つを選択し、これをノイズ低減部604へ転送する。

なお、フレーム間隔が十分に短い場合は、１フレーム前、１フィールド前の信号に代えて数フレーム前、数フィールド前の信号を用いても構わない。

現在の映像信号から推定される第１のノイズ量は動き成分を含まないので、これを用いて動き成分とランダムノイズを分離することで、両成分を高い精度で分離することができ、高品位な映像信号が得られる。また、分離に使用する第１のノイズ量の推定はルックアップテーブルを用いるため計算量が少なく、システム全体の高速化が可能となる。

また、上記第１のノイズ量の推定は、撮影ごとに異なる条件に動的に適応するため、高精度かつ安定的な推定が可能となる。第１のノイズ量に基づき最適な第２のノイズ量を選択する手法は容易であり、制御の簡略化が可能となり操作性が向上する。

また、注目画素を含有する局所領域の低周波成分と第２のノイズ量に基づきコアリング処理を用いることでノイズ低減処理を行うため、ランダムノイズのみを重点的に低減でき、かつエッジなどのノイズ以外の画素との連続性が確保でき、高品位な映像信号が得られる。

上記低周波成分として平均値を用いる場合は、システム全体の高速化及び低コスト化が可能となる。また、ローパスフィルタの処理結果を用いる場合は、ノイズ量に影響されずに安定した低周波成分の抽出が可能となり、高精度なノイズ低減処理が可能となる。バイラテラルフィルタの処理結果を用いる場合は、ノイズ量やエッジ成分の有無に影響されずに安定した低周波成分の抽出が可能となり、高精度なノイズ低減処理が可能となる。

ノイズ低減処理後の映像信号をライン単位時間またはフィールド単位時間またはフレーム単位時間遅延するため、従来使用されている撮像素子及び信号処理系との親和性、互換性が高く、多様な撮像システムに適応することが可能となる。

また、輝度信号及び色差信号を独立に処理するため、動き成分とランダムノイズの分離を高精度化することができ、高品位な映像信号が得られる。また、色差線順次型補色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。

なお、上記実施形態では撮像素子として色差線順次型補色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、第１の実施形態と同様にベイヤー型原色フィルタを用いる構成も可能である。この場合、欠落するRGB信号を公知の補間処理により補い、(19)式に基づき輝度信号と色差信号を求める。

また、この場合はフレーム信号のみでフィールド信号が存在しないことになる。第２ノイズ推定部603は、１ライン前の信号または１フレーム前の信号から差分信号を求め、両者から選択を行う構成になる。

さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD600からの映像信号を未処理のままのRawデータとして、制御部117からCCD600の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

図２３Ａは上記信号処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。なお、図１２Ａに示す第１の実施形態における信号処理のフローと同一のステップに関しては、同一のステップ数を割り当てている。以下、各ステップの処理について説明する。

ステップS50では映像信号から偶数フィールド信号及び奇数フィールド信号を順次抽出する。

ステップS51では(10)式に示されるように輝度信号と色差信号を分離する。分離後の輝度信号及び色差信号から図１４(b)、(c)に示されるように、輝度信号は5×5画素、色差信号は5×3画素の局所領域が抽出される。

ステップS52では第１のノイズ量の推定を行う。この処理は図２３Ｂのフローに従って実行され、これについては後述する。

ステップS53では第２のノイズ量の推定を行う。この処理は図２３Ｃのフローに従って実行され、これについては後述する。

ステップS54ではノイズ低減処理を行う。この処理は図２３Ｄのフローに従って実行され、これについては後述する。

ステップS55では全ての輝度信号と色差信号の局所領域が完了したかを判断し、完了していない場合はステップS51へ分岐し、完了した場合はステップS9へ分岐する。

ステップS9では偶数フィールド信号及び奇数フィールド信号から公知の同時化処理にてフレーム信号を合成し、フレーム信号に対して公知の強調処理、階調処理、圧縮処理が行われる。

ステップS5では全てのフィールド信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。

図２３Ｂは、図２３ＡのステップS52における第１ノイズ推定処理に関するフローである。なお、図１２Ｂに示す第１の実施形態における第１ノイズ推定処理のフローと同一のステップに関しては、同一のステップ数を割り当てている。以下、各ステップの処理について説明する。

ステップS20では読み込まれたヘッダ情報から温度、ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。

ステップS21では(11)式に示されるように局所領域の平均値を算出する。

ステップS60では、輝度信号または色差信号の信号値レベル、ゲイン、撮像素子の動作温度とノイズ量間の関係を記録したノイズ量に関するテーブルを読み込み、第１のノイズ量を求める。

ステップS26では第１のノイズ量を出力して終了する。

図２３Ｃは、図２３ＡのステップS53における第２ノイズ推定処理に関するフローである。なお、図１２Ｃに示す第１の実施形態における第２ノイズ推定処理のフローと同一のステップに関しては、同一のステップ数を割り当てている。以下、各ステップの処理について説明する。

ステップS70ではノイズ低減処理がなされた過去の１ライン前、１フィールド前、１フレーム前の信号を入力する。

ステップS71では(17)、(18)式に示されるように差分信号を算出する。

ステップS32では第１のノイズ量を入力する。

ステップS72では１フレーム前、１フィールド前、１ライン前の順で差分信号と第１のノイズ量間での比較を行う。上記比較は差分信号が第１のノイズ量以下となって時点で確定し、１ライン前の差分信号が第１のノイズ量以下にならない場合は１ライン前の差分信号を比較結果とする。

ステップS73では、比較結果に基づき差分信号を選択し、これを第２のノイズ量とする。

ステップS35では第２のノイズ量を出力して終了する。

図２３Ｄは、図２３ＡのステップS54におけるノイズ低減処理に関するフローである。なお、図１２Ｄに示す第１の実施形態におけるノイズ低減処理のフローと同一のステップに関しては、同一のステップ数を割り当てている。以下、各ステップの処理について説明する。

ステップS40では第２のノイズ量を入力する。

ステップS80では(11)式に示されるように局所領域の平均値を算出する。

ステップS80では、(12)式に示されるようにコアリング処理を行い、ノイズ低減処理がなされた信号を求める。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

第１の実施形態の構成図である。ベイヤー型原色フィルタの配置と局所領域に関する説明図である。ノイズ低減部の構成図である。第１ノイズ推定部の構成図である。第１のノイズ量の推定に関する説明図である。第２ノイズ推定部の構成図である。第２のノイズ量の推定に関する説明図であり、時系列的に撮影される映像信号及びX軸方向のプロファイルを示す。第２のノイズ量の推定に関する説明図であり、各処理部における信号形態を示す。色差線順次型補色フィルタの配置と局所領域に関する説明図である。別形態の第２ノイズ推定部の構成図である。別形態の第１の実施形態の構成図である。信号処理のフローのうち、全体処理のフローである。信号処理のフローのうち、第１ノイズ推定処理のフローである。信号処理のフローのうち、第２ノイズ推定処理のフローである。信号処理のフローのうち、ノイズ低減処理のフローである。第２の実施形態の構成図である。色差線順次型補色フィルタの局所領域に関する説明図である。ノイズ低減部の構成図である。別形態のノイズ低減部の構成図である。平滑化用フィルタに関する説明図である。平滑化用フィルタの選択に関する説明図である。別形態のノイズ低減部の構成図である。第１ノイズ推定部の構成図である。第２ノイズ推定部の構成図である。第２ノイズ推定部で用いる過去の映像信号に関する説明図である。第２ノイズ推定部で用いる過去の映像信号に関する説明図である。信号処理のフローのうち、全体処理のフローである。信号処理のフローのうち、第１ノイズ推定処理のフローである。信号処理のフローのうち、第２ノイズ推定処理のフローである。信号処理のフローのうち、ノイズ低減処理のフローである。

符号の説明

112, 602 第１ノイズ推定部
113, 603 第２ノイズ推定部
114, 604 ノイズ低減部

Claims

撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、
前記映像信号に対してノイズ低減処理を行うノイズ低減手段と、
前記映像信号のうち現在の映像信号から第１のノイズ量を推定する第１のノイズ推定手段と、
前記第１のノイズ量、前記現在の映像信号及び前記ノイズ低減処理後の過去の映像信号に基づき第２のノイズ量を推定する第２のノイズ推定手段と、
を備え、前記ノイズ低減手段は、前記現在の映像信号に対しては、前記第２のノイズ量に基づき前記ノイズ低減処理を行うことを特徴とする映像処理装置。
請求項１に記載の映像処理装置において、
前記第２のノイズ推定手段が、前記第１のノイズ量を用いて前記現在の映像信号と前記ノイズ低減処理後の過去の映像信号との差分信号を補正することにより前記第２のノイズ量を推定することを特徴とする映像処理装置。
請求項２に記載の映像処理装置において、
前記第２のノイズ推定手段が、
前記ノイズ低減処理後の映像信号を所定の単位時間で遅延させる遅延手段と、
前記映像信号及び前記遅延された前記ノイズ低減処理後の映像信号間から差分信号を算出する差分手段と、
前記差分信号と前記第１のノイズ量を比較する比較手段と、
前記比較結果に基づき前記差分信号を補正することで前記第２のノイズ量を求める補正手段と、
を備えたことを特徴とする映像処理装置。
請求項２に記載の映像処理装置において、
前記第２のノイズ推定手段が、
前記ノイズ低減処理後の映像信号を複数種類の所定の単位時間で遅延させる遅延手段と、
前記映像信号及び前記遅延された前記ノイズ低減処理後の複数の映像信号間から複数の差分信号を算出する差分手段と、
前記複数の差分信号と前記第１のノイズ量を比較する比較手段と、
前記比較結果に基づき前記複数の差分信号を選択することで前記第２のノイズ量を求める選択手段と、
を備えたことを特徴とする映像処理装置。
請求項３または４に記載の映像処理装置において、
前記遅延手段が、前記所定の単位時間としてライン単位時間、フィールド単位時間及びフレーム単位時間の中から少なくとも一つを選択することを特徴とする映像処理装置。
請求項３または４に記載の映像処理装置において、
前記遅延手段が、前記ノイズ低減処理後の映像信号を記録する記録手段を備えたことを特徴とする映像処理装置。
請求項３に記載の映像処理装置において、
前記補正手段が、前記差分信号の絶対値が前記第１のノイズ量以上の場合に前記差分信号に上限値を設定する上限値設定手段を備えたことを特徴とする映像処理装置。
請求項３に記載の映像処理装置において、
前記補正手段が、前記差分信号の絶対値が前記第１のノイズ量以上の場合に前記差分信号を零に置換する置換手段を備えたことを特徴とする映像処理装置。
請求項１から８のいずれか一つに記載の映像処理装置において、
前記ノイズ低減手段が、
前記現在の映像信号から前記ノイズ低減処理を行う注目画素を抽出する画素抽出手段と、
前記注目画素に対応する前記第２のノイズ量を抽出するノイズ量抽出手段と、
前記注目画素の値と前記注目画素に対応する前記第２のノイズ量間で減算処理を行う減算手段と、
を備えたことを特徴とする映像処理装置。
請求項１から８のいずれか一つに記載の映像処理装置において、
前記ノイズ低減手段が、
前記現在の映像信号からノイズ低減処理を行う注目画素及び前記注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出する局所領域抽出手段と、
前記局所領域から低周波成分を抽出する低周波抽出手段と、
前記注目画素に対応する前記第２のノイズ量を抽出するノイズ量抽出手段と、
前記注目画素に対応する前記第２のノイズ量及び前記低周波成分に基づき前記注目画素の値に対してコアリング処理を行うコアリング手段と、
を備えたことを特徴とする映像処理装置。
請求項１０に記載の映像処理装置において、
前記低周波抽出手段が、前記局所領域から平均値を算出する平均値算出手段を備えたことを特徴とする映像処理装置。
請求項１０に記載の映像処理装置において、
前記低周波抽出手段が、前記局所領域に対してローパスフィルタを適用するローパスフィルタ手段を備えたことを特徴とする映像処理装置。
請求項１０に記載の映像処理装置において、
前記低周波抽出手段が、前記局所領域に対してバイラテラルフィルタを適用するバイラテラルフィルタ手段を備えたことを特徴とする映像処理装置。
請求項１から１３のいずれか一つに記載の映像処理装置において、
前記第１のノイズ推定手段がノイズモデルを用いて前記現在の映像信号から前記第１のノイズ量を推定することを特徴とする映像処理装置。
請求項１４に記載の映像処理装置において、
前記第１のノイズ推定手段が、
前記現在の映像信号から前記ノイズ低減処理を行う注目画素及び前記注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値及び前記現在の映像信号に対するゲインに関する情報を収集する収集手段と、
基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記収集手段からの情報及び前記局所領域の平均値に基づき前記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
前記局所領域の平均値及び前記選択されたパラメータに基づき補間演算により前記注目画素のノイズ量を求める補間手段と、
を備えたことを特徴とする映像処理装置。
請求項１５に記載の映像処理装置において、
前記収集手段で得られない情報に関して標準値を付与する付与手段を備え、
前記パラメータ選択手段は、前記収集手段または前記付与手段からの情報及び前記局所領域の平均値に基づき前記パラメータ群から前記必要となるパラメータを選択することを特徴とする映像処理装置。
請求項１から１３のいずれか一つに記載の映像処理装置において、
前記第１のノイズ推定手段が、
前記現在の映像信号から前記ノイズ低減処理を行う注目画素及び前記注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値及び前記現在の映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段からの情報及び前記局所領域の平均値を入力として前記注目画素のノイズ量を出力するノイズテーブル手段と、
を備えたことを特徴とする映像処理装置。
請求項１７に記載の映像処理装置において、
前記収集手段で得られない情報に関して標準値を付与する付与手段を備え、
前記ノイズテーブル手段は、前記収集手段または前記付与手段からの情報及び前記局所領域の平均値を入力として前記注目画素のノイズ量を出力することを特徴とする映像処理装置。
請求項１から１８のいずれか一つに記載の映像処理装置において、
前記撮像系が色フィルタを前面に配置した撮像素子を使用する撮像系であり、
前記装置が、
前記撮像素子に使用される色フィルタごとに前記映像信号を複数の色信号に分離する色信号分離手段と、
前記色信号ごとに前記ノイズ低減手段、前記第１のノイズ推定手段及び前記第２のノイズ推定手段を順次適用するよう制御する信号制御手段と、
を備えたことを特徴とする映像処理装置。
請求項１から１８のいずれか一つに記載の映像処理装置において、
前記撮像系が色フィルタを前面に配置した撮像素子を使用する撮像系であり、
前記装置が、
前記映像信号から輝度信号及び色差信号を分離する輝度色差分離手段と、
前記輝度信号、前記色差信号ごとに前記ノイズ低減手段、前記第１のノイズ推定手段及び前記第２のノイズ推定手段を順次適用するよう制御する信号制御手段と、
を備えたことを特徴とする映像処理装置。
請求項１９または２０に記載の映像処理装置において、
前記撮像素子がベイヤー型原色フィルタまたは色差線順次型補色フィルタを前面に配置した撮像素子であることを特徴とする映像処理装置。
撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理プログラムにおいて、
前記映像信号に対してノイズ低減処理を行うノイズ低減ステップと、
前記映像信号のうち現在の映像信号から第１のノイズ量を推定する第１のノイズ推定ステップと、
前記第１のノイズ量、前記現在の映像信号及び前記ノイズ低減処理後の過去の映像信号に基づき第２のノイズ量を推定する第２のノイズ推定ステップと、
を備え、前記ノイズ低減ステップは、前記現在の映像信号に対しては、前記第２のノイズ量に基づき前記ノイズ低減処理を行うことを特徴とする映像処理プログラム。