JP2011124694A - 画像処理装置と画像処理方式および撮像装置 - Google Patents

Abstract

【課題】動被写体やエッジ部分のノイズ除去性能の低下を容易に軽減できるようにする。
【解決手段】第１重み係数設定部は、入力画像の画素毎に動き判定を行い、動き判定結果に応じて時間方向の平滑化強度を調整する第１重み係数を画素毎に設定する。第２重み係数設定部は、入力画像の画素毎にエッジ判定を行い、エッジ判定結果に応じて空間方向の平滑化強度を調整する第２重み係数を画素毎に設定する。重み係数統合部は、入力画像の画素毎に、第１重み係数と第２重み係数の正規化を行うことで、第１重み係数と第２重み係数を、時間方向の平滑化強度が弱い部分は空間方向の平滑化で補完し、空間方向の平滑化強度が弱い部分は時間方向の平滑化で補完するように調整する。平滑化部は、重み係数統合部で正規化された第１重み係数と第２重み係数を用いた演算を行い、入力画像に対して時空間方向平滑化処理が行われた出力画像を得る。
【選択図】 図２

Description

この発明は画像処理装置と画像処理方法および撮像装置に関する。詳しくは、画像信号に含まれるノイズの除去を行う画像処理装置と画像処理方式および撮像装置に関する。

近年、撮像装置の普及に伴い、不利な条件下で撮影されたディジタル画像を復元するニーズが増加してきている。例えば、監視カメラでは、夜間などの低照度時において監視カメラに入力される光量が少なくなると、ノイズの目立つ画像となってしまい、このノイズの影響により監視対象である人の顔や車のナンバーなどの判別が困難となってしまう。このため、ノイズを有する画像からノイズを除去して画像を復元するノイズリダクションと呼ばれる技術が必要となる。

また、ノイズリダクションでは、元画像の詳細部分を保存するようにしてノイズを除去できることが望ましい。例えば、ナンバープレートのノイズを除去するとき、ノイズ除去後の画像で文字が潰れてしまうと、ナンバーの判別が困難となってしまう。したがって、元画像の詳細部分を保存するようにノイズ除去を行うことで、ノイズ除去後の画像でナンバーの判別が可能となる。

このノイズリダクションの方式は、大きく分けて空間フィルタ方式と時間フィルタ方式の２つの方式がある。空間フィルタ方式は、現在のフレームにおいて、中心画素と周辺画素を用いてフィルタリングを行う方式である。時間フィルタ方式は、過去のフレームと現在のフレームの画素を用いてフィルタリングを行う方法である。

空間フィルタ方式では、エッジ判定を行い、エッジを保存するようにフィルタリングを行う。これは、フィルタリングによってエッジがボケて解像感が無くなることを避けるためである。よく用いられる手段としては、バイラテラルフィルタ（C Tomasi and R Manduchi,“Bilateral filtering for gray and color images”, Computer Vision, 1998）がある。バイラテラルフィルタは、重み付き平滑化フィルタの一種であり、重み係数を求める際に工夫することで、エッジ保存が可能なノイズリダクションとなる。このバイラテラルフィルタにおいて、重みの指標は、参照画素と周辺画素との輝度差であり、輝度差が大きいほど参照画素との関係性が低いとして、重み係数を小さくする。また、輝度差が小さいほど参照画素との関係性が高いとして重み係数を大きくする。このように、バイラテラルフィルタでは、輝度差によって重み係数が決められるため、エッジの保存性がよい。

また、時間フィルタ方式には、ＦＩＲ（Finit Impulse Response）方式とＩＩＲ（Infinite Impulse Response）方式がある。ＦＩＲ方式は、現在画像と複数枚の過去画像を入力とした非巡回型のフィルタである。ＩＩＲ方式は、現在画像と前フレームのフィルタリング結果画像（以下「ＩＩＲ画像」という）を入力とした巡回型のフィルタである。

ＦＩＲ方式は、複数枚の過去画像をメモリに保存する必要がある。したがって、ハードウェアのリソースの面では、ＩＩＲ方式が有利である。なお、ＦＩＲ方式で、過去画像の数を１フレームとすれば、ハードウェアのリソースはＩＩＲ方式と同等になるが、ノイズ除去性能の面でＦＩＲ方式はＩＩＲ方式に劣る。これは、ＩＩＲ方式は巡回型なので、擬似的に複数枚の過去画像を入力としたフィルタとなっているためである。

特許文献１や特許文献２の発明では、このような空間フィルタと時間フィルタを用いてノイズを除去することが行われている。

特開２００２−１０１０６号公報 特開２００６−２２９７４９号公報

ところで、空間フィルタ方式でエッジを保存するようにフィルタリングを行うと、エッジ保存のために、平坦部分に比べてエッジ部分のノイズ除去性能は弱くなってしまう。また、時間フィルタでフィルタリングを行う場合、被写体が静止している場合は、弊害なく動作するが、動被写体が存在する場合は、過去フレームを用いることから動被写体部分にブラーが生じる。このため、時間フィルタ方式を用いる場合、動き判定を行い、動被写体部分はフィルタリングしないようにしてブラーの抑制を行うと、非動被写体部分に比べて動被写体部分のノイズ除去性能は弱くなってしまう。

さらに、特許文献１では、時間フィルタと空間フィルタを個々に設けていることから構成が複雑となる。

そこで、この発明では、動被写体やエッジ部分のノイズ除去性能の低下を容易に軽減できる画像処理装置と画像処理方法および撮像装置を提供することを目的とする。

この発明の第１の側面は、
入力画像の画素毎に動き判定を行い、動き判定結果に応じて時間方向の平滑化強度を調整する第１重み係数を画素毎に設定する第１重み係数設定部と、
前記入力画像の画素毎にエッジ判定を行い、エッジ判定結果に応じて空間方向の平滑化強度を調整する第２重み係数を画素毎に設定する第２重み係数設定部と、
前記入力画像の画素毎に、前記第１重み係数と前記第２重み係数の正規化を行うことで、前記第１重み係数と前記第２重み係数を、時間方向の平滑化強度が弱い部分は空間方向の平滑化で補完し、空間方向の平滑化強度が弱い部分は時間方向の平滑化で補完するように調整する重み係数統合部と、
前記重み係数統合部で正規化された第１重み係数と第２重み係数を用いた演算を行い、前記入力画像に対する時空間方向平滑化処理が行われた出力画像を得る平滑化部と、
を有する画像処理装置にある。

この画像処理装置では、第１重み係数設定部で動き判定を行うとき、判定を行う画素を基準とした第１の所定範囲の入力画像と、平滑化部で時空間方向平滑化処理された画像における第１の所定範囲に対応する位置の画像を用いる。また、第２重み係数設定部でエッジ判定を行うとき、判定を行う画素を基準とした第２の所定範囲の入力画像と、該判定を行う画素の周辺に位置する画素を基準とした第２の所定範囲の入力画像を用いる。

第１重み係数設定部は、第１の所定範囲である２つの画像を用いて、第１の所定範囲の各画素における画素信号の差分絶対値の総和を色毎に算出して、色毎に算出した差分絶対値の総和が動き判別閾値よりも大きいときは動き部分の画素として判別し、差分絶対値の総和が動き判別閾値以下のときは動き部分でない画素と判別して、動き部分の画素が動き部分でない画素よりも平滑化強度が強くなるように第１重み係数を設定する。第１重み係数設定部は、入力画像の画素毎にノイズ推定値の算出を行い、ノイズ推定値に応じて動き判別閾値を変化させて、ノイズが多いときに閾値を大きくする。ノイズ推定値の算出では、所定範囲における画素信号の総和が小さいほうの所定範囲の選択を行い、選択した所定範囲の基準である画素位置を基準として分散算出範囲をシフトさせて分散値の算出を行い、算出した分散値の平均値をノイズ推定値とする。

第２重み係数設定部は、第２の所定範囲である２つの画像を用いて、第２の所定範囲の各画素における画素信号の差分絶対値の総和を算出して、差分絶対値の総和がエッジ判別閾値よりも大きいときはエッジ部分の画素と判別し、差分絶対値の総和がエッジ判別閾値以下のときはエッジ部分でない画素と判別して、エッジ部分の画素がエッジ部分でない画素よりも平滑化強度が強くなるように第２重み係数を設定する。また、第２重み係数設定部も第１重み係数設定部と同様に、ノイズ推定値の算出や、ノイズ推定値に応じてエッジ判定閾値を変化させる。

平滑化部は、時空間方向平滑化処理を行う処理対象画素毎に、該処理対象画素に対する正規化された第１重み係数と第２重み係数と、時空間方向平滑化処理された画像における処理対象画素と等しい位置の画素の画素信号と、入力画像における処理対象画素の周辺画素の画素信号を用いて演算を行い、処理対象画素の時空間方向平滑化処理後の画素信号を生成する。

また、この発明の第２の側面は、
第１重み係数設定部で、入力画像の画素毎に動き判定を行い、動き判定結果に応じて時間方向の平滑化強度を調整する第１重み係数を画素毎に設定するステップと、
第２重み係数設定部で、前記入力画像の画素毎にエッジ判定を行い、エッジ判定結果に応じて空間方向の平滑化強度を調整する第２重み係数を画素毎に設定するステップと、
重み係数統合部で、前記入力画像の画素毎に、前記第１重み係数と前記第２重み係数の正規化を行うことで、前記第１重み係数と前記第２重み係数を、時間方向の平滑化強度が弱い部分は空間方向の平滑化で補完し、空間方向の平滑化強度が弱い部分は時間方向の平滑化で補完するように調整するステップと、
平滑化部で、前記重み係数統合部で正規化された第１重み係数と第２重み係数を用いた演算を行い、前記入力画像に対する時空間方向平滑化処理が行われた出力画像を得るステップとを有する画像処理方法にある。

さらに、この発明の第３の側面は、
被写体を撮像して画像信号を得る撮像部と、
前記画像信号を用いて画素毎に動き判定を行い、動き判定結果に応じて時間方向の平滑化強度を調整する第１重み係数を画素毎に設定する第１重み係数設定部と、
前記画像信号を用いて画素毎にエッジ判定を行い、エッジ判定結果に応じて空間方向の平滑化強度を調整する第２重み係数を画素毎に設定する第２重み係数設定部と、
画素毎に、前記第１重み係数と前記第２重み係数の正規化を行うことで、前記第１重み係数と前記第２重み係数を、時間方向の平滑化強度が弱い部分は空間方向の平滑化で補完し、空間方向の平滑化強度が弱い部分は時間方向の平滑化で補完するように調整する重み係数統合部と、
前記重み係数統合部で正規化された第１重み係数と第２重み係数を用いた演算を行い、前記画像信号に対して時空間方向平滑化処理が行われた出力画像信号を得る平滑化部と、
を有する撮像装置にある。

この発明によれば、画素毎に動き判定が行われて、動き判定の判定結果に応じて時間方向の平滑化強度を調整する第１重み係数の設定が行われる。また、画素毎にエッジ判定が行われて、エッジ判定の判定結果に応じて空間方向の平滑化強度を調整する第２重み係数の設定が行われる。この第１重み係数と第２重み係数の正規化を行うことで、第１重み係数と第２重み係数が、時間方向の平滑化強度が弱い部分は空間方向の平滑化で補完し、空間方向の平滑化強度が弱い部分は時間方向の平滑化で補完するように調整されて、正規化後の第１重み係数と第２重み係数を用いた演算によって、入力画像に対する時空間方向平滑化処理が行われた出力画像が生成される。このため、動被写体やエッジ部分のノイズ除去性能の低下を容易に軽減できる。

撮像装置の構成を示す図である。 ノイズ除去部の構成を示す図である。 第１重み係数設定部の構成を示す図である。 第１重み係数設定部における画像信号の抜き出し動作を例示した図である。 ノイズ推定値算出部の構成を示す図である。 第１重み係数を設定するためのコアリング関数を例示した図である。 差分絶対値和を用いた場合の動作を説明するための図である。 総和に基づいた差分を用いた場合の動作を説明するための図である。 第２重み係数設定部の構成を示す図である。 周辺画素を例示した図である。 第２重み係数設定部の構成を示す図である。 第２重み係数を設定するためのコアリング関数を例示した図である。 現在画像を示す図である。 ＩＩＲ画像を示す図である。 在画像に対して空間方向の平滑化を行った場合の画像を示す図である。 現在画像に対してＩＩＲ画像を用いて時間方向の平滑化を行った場合の画像を示す図である。 現在画像に対して空間方向の平滑化を行ったのちＩＩＲ画像を用いて時間方向の平滑化を行った場合（あるいはＩＩＲ画像を用いて時間方向の平滑化を行ったのち空間方向の平滑化を行った場合）の画像を示す図である。 ノイズ除去部で、現在画像に対して時空間方向平滑化処理が行われた画像を示す図である。 ノイズ除去処理を示すフローチャートである。

以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．本発明の画像処理装置を備えた撮像装置の構成
２．本発明の画像処理装置の構成
３．本発明の画像処理装置の動作

＜１．本発明の画像処理装置を備えた撮像装置の構成＞
図１は、本発明の画像処理装置を備えた撮像装置の構成を例示している。撮像装置１０は、撮像光学部１１、駆動部１２、撮像部１３、タイミング信号発生部（ＴＧ部）１４、前処理部１５、ノイズ除去部２０、後処理部３１、システムコントローラ４１等を備えている。

撮像光学部１１は、被写体の光学像を撮像部１３の撮像面に結像させるためのフォーカスレンズ、撮像面に結像される光学像の拡大／縮小を行うためのズームレンズ、光量を調整するためのアイリス、レンズやアイリスを駆動する駆動機構等を具備している。

駆動部１２は、システムコントローラ４１からの制御信号に基づいて、撮像光学部１１の駆動機構等を駆動するための駆動信号を生成して撮像光学部１１に出力する。

撮像部１３は、光電変換素子例えばＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の固体撮像素子を用いて構成されている。撮像部１３は、ＴＧ部１４から出力された駆動信号に基づいて光電変換処理を行い、被写体の光学像に応じた電荷信号を生成して前処理部１５に出力する。なお、以下の説明では、撮像部１３で用いられる固体撮像素子が、例えばベイヤー配列のカラーフィルタを用いた単板方式の固体撮像素子である場合を示している。

ＴＧ部１４は、システムコントローラ４１からの制御信号に応じて駆動信号の生成を行い、生成した駆動信号を撮像部１３に出力する。

前処理部１５は、撮像部１３から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理、利得調整処理、Ａ／Ｄ変換処理、撮像素子に起因する欠陥画素の補正処理、レンズに起因する明るさの不均一性（シェーディング）の補正処理等の信号処理を行う。前処理部１５は、前処理後の画像信号をノイズ除去部２０に出力する。

本発明の画像処理装置に相当するノイズ除去部２０は、時空間方向平滑化処理によってノイズの除去を行う。すなわち、ノイズ除去部２０は、動き部分に対して時間方向の平滑化強度を弱くして残像の発生を抑える。また、ノイズ除去部２０は、エッジ部分に対して空間方向の平滑化強度を弱くしてエッジ部分の画像を保存する。さらに、ノイズ除去部２０は、平滑化強度を弱くするとノイズ除去の効果が低下することから、動き部分について動きのない部分よりも空間方向の平滑化強度を強くする。また、ノイズ除去部２０は、エッジ部分についてエッジでない部分よりも時間方向の平滑化強度を強くする。ノイズ除去部２０は、このような時空間方向平滑化処理を行うことで、動被写体やエッジ部分のノイズ除去性能の低下を軽減させる。

後処理部３１は、ノイズ除去部２０から出力された画像信号に対して、ホワイトバランス調整処理やガンマ補正処理、輪郭補正処理、解像度変換処理、撮像信号を所定フォーマットの信号例えば輝度信号と色差信号に変換する変換処理等を行う。

システムコントローラ４１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されている。システムコントローラ４１は、ＲＯＭ等に記憶されたプログラムを実行して、図示していない操作部あるいは外部コントローラからの操作信号に応じて制御信号の生成を行う。システムコントローラ４１は、生成した制御信号によって、駆動部１２やＴＧ部１４、前処理部１５、ノイズ除去部２０、後処理部３１等の動作を統括的に制御して、撮像被写体の好適な画像信号の生成を行う。

＜２．本発明の画像処理装置の構成＞
次に、本発明の画像処理装置に相当するノイズ除去部２０について説明する。ノイズ除去部２０は、時空間方向平滑化処理によってノイズの除去を行う。また、ノイズ除去部２０は、ハードウェアのリソースやノイズ除去性能を考慮して、例えばＩＩＲ方式で時間方向平滑化処理を行う。

図２は、ノイズ除去部２０の構成を示している。ノイズ除去部２０は、第１重み係数設定部２１、第２重み係数設定部２３、重み係数統合部２５、平滑化部２７、フレームメモリ２９を有している。

第１重み係数設定部２１は、現在画像の画素毎に動き判定を行い、動き判定結果に応じて時間方向の平滑化強度を調整する第１重み係数Ｗiirの設定を画素毎に行う。第２重み係数設定部２３は、現在画像の画素毎にエッジ判定を行い、エッジ判定結果に応じて空間方向の平滑化強度を調整する第２重み係数Ｗ0〜Ｗ(K-1)の設定を画素毎に行う。なお、Ｋは、判定を行う画素の周辺に位置しており空間方向の平滑化に用いられる周辺画素の数を示している。

重み係数統合部２５は、第１重み係数設定部２１から出力された重み係数Ｗiirと、第２重み係数設定部２３から出力された重み係数Ｗ0〜Ｗ(K-1)の正規化を行うことで、第１重み係数Ｗiirと第２重み係数Ｗ0〜Ｗ(K-1)を、時間方向の平滑化強度が弱い部分は空間方向の平滑化で補完し、空間方向の平滑化強度が弱い部分は時間方向の平滑化で補完するように調整する。平滑化部２７は、重み係数統合部２５から出力された正規化後の第１重み係数Ｗ'iirと第２重み係数Ｗ'0〜Ｗ'(K-1)を用いて、現在画像に対する時空間方向平滑化処理を行い、ノイズの除去された現在画像の画像信号ＤＶfilを生成して後処理部３１に出力する。また、ノイズの除去された現在画像の画像信号ＤＶfilをフレームメモリ２９に書き込む。

第１重み係数設定部２１は、判定を行う画素を基準とした第１の所定範囲の入力画像と、平滑化部で時空間方向平滑化処理された画像における第１の所定範囲に対応する位置の画像を用いて第１重み係数Ｗiirの設定を画素毎に行う。第１重み係数設定部２１は、第１重み係数Ｗiirの設定において、第１の所定範囲である２つの画像を用いて、第１の所定範囲の各画素における画素信号の差分絶対値の総和を算出する。第１重み係数設定部２１は、差分絶対値の総和が動き判別閾値よりも大きいときは動き部分の画素として判別し、差分絶対値の総和が動き判別閾値以下のときは動き部分でない画素と判別する。さらに、第１重み係数設定部２１は、動き部分の画素が動き部分でない画素よりも平滑化強度が強くなるように第１重み係数Ｗiirを設定する。

図３は、第１重み係数設定部２１の構成を示している。第１重み係数設定部２１は、中心画素ブロック抜き出し部２１０，２１３、ＲＧＢ抜き出し部２１１，２１４、Ｒ総和算出部２１２Ｒ，２１５Ｒ、Ｇ総和算出部２１２Ｇ，２１５Ｇ、Ｂ総和算出部２１２Ｂ，２１５Ｂを有している。また、第１重み係数設定部２１は、Ｒ差分算出部２１６Ｒ、Ｇ差分算出部２１６Ｇ、Ｂ差分算出部２１６Ｂ、絶対値算出部２１７Ｒ，２１７Ｇ，２１７Ｂ、総和算出部２１８，２１９，２２０、ノイズ推定値算出部２２１、コアリング部２２２を有している。

中心画像ブロック抜き出し部２１０は、現在画像において、動き判定を行う画素（以下「動き判定画素」という）を中心とした所定画素数のブロックの画素信号を抜き出してＲＧＢ抜き出し部２１１と総和算出部２１９に出力する。

ＲＧＢ抜き出し部２１１は、中心画像ブロック抜き出し部２１０で抜き出された所定画素数のブロックの画素信号から、Ｒ画素（赤画素）の画素信号を抜き出してＲ総和算出部２１２Ｒに出力する。同様に、ＲＧＢ抜き出し部２１１は、所定画素数のブロックからＧ画素（緑画素）の画素信号を抜き出してＧ総和算出部２１２Ｇに出力し、Ｂ画素（青画素）の画素信号を抜き出してＢ総和算出部２１２Ｂに出力する。

図４は、第１重み係数設定部２１における画像信号の抜き出し動作を例示している。例えば、図４の（Ａ）に示すように、中心画像ブロック抜き出し部２１０は、動き判定画素Ｐａを中心とした破線で示す５画素×５画素のブロックの画素信号を抜き出す。また、ＲＧＢ抜き出し部２１１は、抜き出されたブロックの画像信号から図４の（Ｂ）に示すようにＲ画素の画素信号を抜き出してＲ総和算出部２１２Ｒに出力する。また、ＲＧＢ抜き出し部２１１は、図４の（Ｃ）に示すように、Ｇ画素の画素信号を抜き出してＧ総和算出部２１２Ｇに出力する。さらに、ＲＧＢ抜き出し部２１１は、図４の（Ｄ）に示すように、Ｂ画素の画素信号を抜き出してＢ総和算出部２１２Ｂに出力する。

図３のＲ総和算出部２１２Ｒは、ＲＧＢ抜き出し部２１１で抜き出されたＲ画素の画素信号の総和を算出して、Ｒ差分算出部２１６Ｒに出力する。Ｇ総和算出部２１２Ｇは、ＲＧＢ抜き出し部２１１で抜き出されたＧ画素の画素信号の総和を算出して、Ｇ差分算出部２１６Ｇに出力する。Ｂ総和算出部２１２Ｂは、ＲＧＢ抜き出し部２１１で抜き出されたＢ画素の画素信号の総和を算出して、Ｂ差分算出部２１６Ｂに出力する。

中心画像ブロック抜き出し部２１３は、フレームメモリ２９から読み出されたＩＩＲ画像において、動き判定画素と等しい位置を中心とした所定画素数のブロックの画素信号を抜き出してＲＧＢ抜き出し部２１４と総和算出部２２０に出力する。

ＲＧＢ抜き出し部２１４は、中心画像ブロック抜き出し部２１３で抜き出された所定画素数のブロックの画素信号から、Ｒ画素の画素信号を抜き出してＲ総和算出部２１５Ｒに出力する。同様に、ＲＧＢ抜き出し部２１４は、所定画素数のブロックからＧ画素の画素信号を抜き出してＧ総和算出部２１５Ｇに出力し、Ｂ画素の画素信号を抜き出してＢ総和算出部２１５Ｂに出力する。

Ｒ差分算出部２１６Ｒは、Ｒ総和算出部２１２Ｒで算出された総和値とＲ総和算出部２１５Ｒで算出された総和値の差分値を計算して絶対値算出部２１７Ｒに出力する。絶対値算出部２１７Ｒは、Ｒ差分算出部２１６Ｒで算出された差分値の絶対値を求めて総和算出部２１８に出力する。

Ｇ差分算出部２１６Ｇは、Ｇ総和算出部２１２Ｇで算出された総和値とＧ総和算出部２１５Ｇで算出された総和値の差分値を計算して絶対値算出部２１７Ｇに出力する。絶対値算出部２１７Ｇは、Ｇ差分算出部２１６Ｇで算出された差分値の絶対値を求めて総和算出部２１８に出力する。

Ｂ差分算出部２１６Ｂは、Ｂ総和算出部２１２Ｂで算出された総和値とＢ総和算出部２１５Ｂで算出された総和値の差分値を計算して絶対値算出部２１７Ｂに出力する。絶対値算出部２１７Ｂは、Ｂ差分算出部２１６Ｂで算出された差分値の絶対値を求めて総和算出部２１８に出力する。

総和算出部２１８は、絶対値算出部２１７Ｒ，２１７Ｇ，２１７Ｂで算出した差分値の絶対値の総和値ＥＲaを計算してコアリング部２２２に出力する。

総和算出部２１９は、中心画像ブロック抜き出し部２１０で抜き出された所定画素数のブロック、すなわち現在画像における動き判定画素を基準としたブロック内の各画素の画素信号の総和値ＢＴaを算出してノイズ推定値算出部２２１に出力する。総和算出部２２０は、中心画像ブロック抜き出し部２１３で抜き出された所定画素数のブロック、すなわちＩＩＲ画像における動き判定画素と等しい位置の画素を基準としたブロック内の各画素の画素信号の総和値ＢＴiirを算出する。総和算出部２２０は、算出した総和値ＢＴiirをノイズ推定値算出部２２１に出力する。

ノイズ推定値算出部２２１は、総和算出部２１９，２２０から出力された総和値を比較して、総和値が小さい画像の画像信号を用いてノイズ推定値の算出を行う。

図５は、ノイズ推定値算出部２２１の構成を示している。ノイズ推定値算出部２２１は総和値比較部２２１ａと信号選択部２２１ｂとシフト分散値算出部２２１ｃを有している。

総和値比較部２２１ａは、総和算出部２１９から出力された総和値ＢＴaと、総和算出部２２０から出力された総和値ＢＴiirを比較して、比較結果を信号選択部２２１ｂに出力する。

信号選択部２２１ｂは、総和算出部２１９から出力された総和値ＢＴaが総和算出部２２０から出力された総和値ＢＴiir以下であることを比較結果が示しているとき、現在画像の画像信号ＤＶをシフト分散値算出部２２１ｃに出力する。また、信号選択部２２１ｂは、総和算出部２１９から出力された総和値ＢＴaが総和算出部２２０から出力された総和値ＢＴiirよりも大きいことを比較結果が示しているとき、ＩＩＲ画像の画像信号ＤＶiirをシフト分散値算出部２２１ｃに出力する。

シフト分散値算出部２２１ｃは、信号選択部２２１ｂから出力された画像信号を用いてシフト分散値の算出を行い、算出したシフト分散値σaをノイズ推定値としてコアリング部２２２に出力する。

シフト分散値算出部２２１ｃは、式（１）からシフト分散値（ノイズ推定値）σaを算出する。なお、式（１）において、「ｎ」は「（ブロックの横画素数−１）／２」、「ｍ」は「（ブロックの縦画素数−１）／２」を示している。また、式（１）において、ｘ（０，０）は、動き判定画素の画素信号であり、ｘ（ｉ，ｊ）は、動き判定画素から横方向にｉ画素、縦方向にｊ画素だけ離れている画素の画素信号である。また、式（１）では、分散値を算出する画素と、この画素を基準として中心画像ブロック抜き出し部２１０，２１３で用いた所定画素数のブロックの画素の平均値との誤差の絶対値を算出している。しかし、ブロックサイズは、分散値の算出のためのブロックサイズを別個に設定してもよい。

式（１）では、画素ｘ（ｉ，ｊ）の画素信号と、ブロック内（破線で示す範囲）の画素信号の平均値との誤差の絶対値を求める。さらに、画素ｘ（ｉ，ｊ）をブロック内で移動して、画素ｘ（ｉ，ｊ）の移動後の画素ｘ（ｉ，ｊ）を基準としたブロック内の画素信号の平均値との誤差の絶対値をそれぞれ算出する。さらに、画素ｘ（ｉ，ｊ）をブロック内で移動して求めた誤差の絶対値の平均をノイズ推定値σaとする。

このように、動き判定画素を基準としたブロック内の各画素について、分散値の算出のためにブロックにおける画素信号の平均値との誤差の絶対値を算出して、各画素について算出した絶対値の平均を動き判定画素のノイズ推定値σaとしている。

ここで、動き判定画素を基準としたブロック内の画素が被写体を構成する画素であってノイズでないときは、この画素の画素信号と分散値の算出に用いたブロックにおける画素信号の平均値との誤差が小さい。また、画素がノイズであるときは、被写体の画素と関連性がないことから誤差が大きい。したがって、動き判定画素を基準としたブロック内において、ノイズレベルが高い場合やノイズの画素が多いと、ノイズ推定値σaは大きくなる。すなわち、シフト分散値の算出によって、動き判定画素を基準としたブロックのノイズ量に応じた値であるノイズ推定値σaを得ることができるので、ノイズ推定のためのテーブルを予め設けておく必要がない。また、式（１）に示すノイズ推定値σaの算出では、演算のパイプライン化が可能となるため、より少ないハードウェアリソースで実装可能である。

コアリング部２２２は、総和算出部２１８で算出した総和値ＥＲaに応じて動き判定を行い、動き判定結果に応じた重み係数Ｗiirを設定する。コアリング部２２２は、総和値ＥＲaに応じた動き判定と、動き判定結果に応じた重み係数Ｗiirを設定できるコアリング関数を有している。

図６は、動き判定結果に応じた重み係数Ｗiirを設定するためのコアリング関数を例示している。コアリング関数では動き判定閾値ＴＨha，ＴＨlaが設定されている。コアリング部２２２は、総和値ＥＲaが動き判定閾値ＴＨhaよりも大きい場合、動被写体の画素として判定して、重み係数Ｗiirを係数値Ｌlaに設定する。コアリング部２２２は、総和値ＥＲaが動き判定閾値ＴＨla以下である場合、動被写体の画素でない判定して、重み係数Ｗiirを係数値Ｌlaよりも大きい係数値Ｌhaに設定する。また、総和値ＥＲaが動き判定閾値ＴＨlaよりも大きく動き判定閾値ＴＨha以下である場合、動被写体の画素か動被写体の画素でないか、正しく判別できないとして、総和値ＥＲaに応じて重み係数Ｗiirを係数値Ｌha〜Ｌlaの範囲内で設定する。

また、コアリング関数の動き判定閾値ＴＨha，ＴＨlaは、ノイズ推定値σaに応じて変化させる。例えば「ＴＨha＝αa×σa，ＴＨla＝βa×σa」として、ノイズが多いときは動き判定閾値ＴＨha，ＴＨlaを大きくして、ノイズが少ないときは動き判定閾値ＴＨha，ＴＨlaを小さくする。なお、「αa」は動被写体の画素と判別するための動き判定閾値ＴＨhaを設定するためのパラメータである。また、「βa」は、動被写体の画素でないと判別するための動き判定閾値ＴＨlaを設定するためのパラメータである。なお、図６では、「αa」と「βa」が異なる場合を示しているが、「αa」と「βa」が等しくともよい。

このようなコアリング関数を用いて、ノイズ推定値σaに応じて動き判定閾値ＴＨha，ＴＨlaを変化させると、ノイズが多いときには、総和値ＥＲaが大きくなければ動被写体の画素と判別されることがない。また、ノイズが少ないときには、総和値ＥＲaが小さくとも動被写体の画素と判別される。

ここで、動き判定閾値ＴＨha，ＴＨlaを固定させた場合、ノイズの影響によって総和値ＥＲaが大きくなると、動被写体でない画素が動被写体の画素と判別されてしまう場合がある。この場合、第１重み係数Ｗiirが小さくされるため、時間方向の平滑化強度が弱くなり、動被写体でない画素のノイズ除去効果が少なくなってしまう。また、動被写体の画素であっても総和値ＥＲaが小さいと、動被写体でない画素と判別されてしまう場合がある。この場合、第１重み係数Ｗiirが大きくされるため、時間方向の平滑化強度が強くなり、ブラーを生じてしまう。しかし、ノイズ推定値σaに応じて動き判定閾値ＴＨha，ＴＨlaを可変すれば、ノイズの影響の少ない動き判定を行うことができる。すなわち、ノイズに対してロバストな動き判定を行うことができる。

また、第１重み係数設定部２１は、差分絶対値和（以下「ＳＡＤ」という）ではなく総和に基づいた差分を用いて動き判定を行う。

図７は、差分絶対値和を用いた場合の動作を説明するための図である。図７の（Ａ）は、画像に動きがなくノイズを生じている場合を示している。なお、図の矢印はノイズを示している。また、図７の（Ｂ）は画像に動きがありノイズがない場合を示している、なお、図の矢印は動きを示している。ここで、図７の（Ａ）の差分絶対値は図７の（Ｃ）となる。また、図７の（Ｂ）の差分絶対値は図７の（Ｄ）となる。したがって、画像に動きがなくノイズを生じている場合と、画像に動きがありノイズがない場合とで、ＳＡＤが等しくなり場合が生じてしまうため、ＳＡＤを用いたときノイズと動被写体の区別を行うことができないおそれがある。

図８は、総和に基づいた差分を用いた場合の動作を説明するための図である。図８の（Ａ）は、画像に動きがなくノイズを生じている場合を示している。なお、図の矢印はノイズを示している。また、図８の（Ｂ）は画像に動きがありノイズがない場合を示している、なお、図の矢印は動きを示している。ここで、図８の（Ａ）について総和に基づく差分を用いると図８の（Ｃ）に示すように差分値は「０」となる。また、図８の（Ｂ）について総和に基づく差分を用いると図１の（Ｄ）に示すように差分値は「０」にならないことから、ノイズと動被写体の区別を行うことができる。

このように、第１重み係数設定部２１は、総和に基づいた差分を用いて動き判定を行うことで、ノイズと動被写体の区別を正しく行うことができるようになる。

さらに、ノイズ推定値算出部２２１は、総和算出部２１９から出力された総和値ＢＴaが総和算出部２２０から出力された総和値ＢＴiir以下であるとき、現在画像の画像信号ＤＶを用いてノイズ推定値の算出を行う。ノイズ推定値算出部２２１は、総和算出部２１９から出力された総和値ＢＴaが総和算出部２２０から出力された総和値ＢＴiirよりも大きいとき、ＩＩＲ画像の画像信号ＤＶiirを用いてノイズ推定値の算出を行う。ここで、ノイズが多い場合は総和値が大きくなることから、総和値が小さいほうの画像を選択するとノイズの少ない画像を選択することになる。したがって、ノイズ推定値σaも小さくなる。したがって、第１重み係数Ｗiirは、総和値ＥＲaが小さくならないと係数値が大きくならず時間方向の平滑化強度も強くならないので、ブラーが発生し難くなる。

次に、第２重み係数設定部について説明する。第２重み係数設定部２３は、判定を行う画素を基準とした第２の所定範囲の入力画像と、この判定を行う画素の周辺に位置する画素を基準とした第２の所定範囲の入力画像を用いて第２重み係数Ｗ0〜Ｗ(K-1)の設定を画素毎に行う。第２重み係数設定部２３は、第２重み係数Ｗ0〜Ｗ(K-1)の設定において、第２の所定範囲である２つの画像を用いて、第２の所定範囲の各画素における画素信号の差分絶対値の総和を算出する。第２重み係数設定部２３は、差分絶対値の総和がエッジ判別閾値よりも大きいときはエッジ部分の画素として判別し、差分絶対値の総和がエッジ判別閾値以下のときはエッジ部分でない画素と判別する。さらに、第２重み係数設定部２３は、エッジ部分の画素がエッジ部分でない画素よりも平滑化強度が強くなるように第２重み係数0〜Ｗ(K-1)を設定する。

図９は、第２重み係数設定部２３の構成を示している。第２重み係数設定部２３では、現在画像を入力として、エッジ判定を行う画素（以下「エッジ判定画素」という）に対する各周辺画素の重み係数を算出して重み係数統合部２５に出力する。周辺画素の数「Ｋ」は、式（２）から算出する。なお、式（２）において、「ｎ」は「（ブロックの横画素数−１）／２」、「ｍ」は「（ブロックの縦画素数−１）／２」を示している。

このように、式（２）から算出した数の周辺画素を用いて、第２重み係数設定部２３-0〜２３-(K-1)によって、周辺画素毎に重み係数の算出を並列に行う。

図１０は、例えばブロックの横画素数と縦画素数が５画素である場合の周辺画素を例示している。ブロックの横画素数と縦画素数が５画素である場合、式（２）からＫ＝８となるすなわち、図１０において、丸印を付加した８画素が周辺画素である。

図１１は、第２重み係数設定部２３-0の構成を示している。第２重み係数設定部２３-0は、中心画素ブロック抜き出し部２３０、ＲＧＢ抜き出し部２３１，２３４、Ｒ総和算出部２３２Ｒ，２３５Ｒ、Ｇ総和算出部２３２Ｇ，２３５Ｇ、Ｂ総和算出部２３２Ｂ，２３５Ｂ、周辺画素ブロック抜き出し部２３３を有している。また、エッジ判定部は、Ｒ差分算出部２３６Ｒ、Ｇ差分算出部２３６Ｇ、Ｂ差分算出部２３６Ｂ、絶対値算出部２３７Ｒ，２３７Ｇ，２３７Ｂ、総和算出部２３８，２３９，２４０、ノイズ推定値算出部２４１、コアリング部２４２を有している。

中心画像ブロック抜き出し部２３０は、現在画像において、エッジ判定を行う画素（以下「エッジ判定画素」という）を中心とした所定画素数のブロックの画素信号を抜き出してＲＧＢ抜き出し部２３１と総和算出部２３９に出力する。

ＲＧＢ抜き出し部２３１は、中心画像ブロック抜き出し部２３０で抜き出された所定画素数のブロックの画素信号から、Ｒ画素の画素信号を抜き出してＲ総和算出部２３２Ｒに出力する。同様に、ＲＧＢ抜き出し部２３１は、所定画素数のブロックからＧ画素の画素信号を抜き出してＧ総和算出部２３２Ｇに出力し、Ｂ画素の画素信号を抜き出してＢ総和算出部２３２Ｂに出力する。

Ｒ総和算出部２３２Ｒは、ＲＧＢ抜き出し部２３１で抜き出されたＲ画素の画素信号の総和を算出して、Ｒ差分算出部２３６Ｒに出力する。Ｇ総和算出部２３２Ｇは、ＲＧＢ抜き出し部２３１で抜き出されたＧ画素の画素信号の総和を算出して、Ｇ差分算出部２３６Ｇに出力する。Ｂ総和算出部２３２Ｂは、ＲＧＢ抜き出し部２３１で抜き出されたＢ画素の画素信号の総和を算出して、Ｂ差分算出部２３６Ｂに出力する。

周辺画像ブロック抜き出し部２３３は、現在画像において、周辺画素を中心とした所定画素数のブロックの画素信号を抜き出してＲＧＢ抜き出し部２３４と総和算出部２４０に出力する。例えば、図１０の（Ｂ）において、右下の周辺画素を中心とした５画素×５画素のブロックの画素信号を抜き出す。

ＲＧＢ抜き出し部２３４は、周辺画像ブロック抜き出し部２３３で抜き出された所定画素数のブロックの画素信号から、Ｒ画素の画素信号を抜き出してＲ総和算出部２３５Ｒに出力する。同様に、ＲＧＢ抜き出し部２３４は、所定画素数のブロックからＧ画素の画素信号を抜き出してＧ総和算出部２３５Ｇに出力し、Ｂ画素の画素信号を抜き出してＢ総和算出部２３５Ｂに出力する。

Ｒ差分算出部２３６Ｒは、Ｒ総和算出部２３２Ｒで算出された総和値とＲ総和算出部２３５Ｒで算出された総和値の差分値を計算して絶対値算出部２３７Ｒに出力する。絶対値算出部２３７Ｒは、Ｒ差分算出部２３６Ｒで算出された差分値の絶対値を求めて総和算出部２３８に出力する。

Ｇ差分算出部２３６Ｇは、Ｇ総和算出部２３２Ｇで算出された総和値とＧ総和算出部２３５Ｇで算出された総和値の差分値を計算して絶対値算出部２３７Ｇに出力する。絶対値算出部２３７Ｇは、Ｇ差分算出部２３６Ｇで算出された差分値の絶対値を求めて総和算出部２３８に出力する。

Ｂ差分算出部２３６Ｂは、Ｂ総和算出部２３２Ｂで算出された総和値とＢ総和算出部２３５Ｂで算出された総和値の差分値を計算して絶対値算出部２３７Ｂに出力する。絶対値算出部２３７Ｂは、Ｂ差分算出部２３６Ｂで算出された差分値の絶対値を求めて総和算出部２３８に出力する。

総和算出部２３８は、絶対値算出部２３７Ｒ，２３７Ｇ，２３７Ｂで算出した差分値の絶対値の総和値ＥＲbを計算してコアリング部２４２に出力する。

総和算出部２３９は、中心画像ブロック抜き出し部２３０で抜き出された所定画素数のブロック、すなわち現在画像におけるエッジ判定画素を基準としたブロック内の各画素の画素信号の総和値ＢＴbを算出してノイズ推定値算出部２４１に出力する。総和算出部２４０は、周辺画像ブロック抜き出し部２３３で抜き出された所定画素数のブロック、すなわち現在画像における周辺画素を基準としたブロック内の各画素の画素信号の総和値ＢＴrを算出してノイズ推定値算出部２４１に出力する。

ノイズ推定値算出部２４１は、総和算出部２３９，２４０から出力された総和値を比較して、総和値が小さい画像の画素位置を基準としてノイズ推定値の算出を行う。

ノイズ推定値算出部２４１は、第１重み係数設定部２１のノイズ推定値算出部２２１と同様に構成されている。ノイズ推定値算出部２４１は、総和値が小さい領域の画素位置、すなわちエッジ判定画素あるいは周辺画素のいずれかを基準として、第１重み係数設定部２１のノイズ推定値算出部２２１と同様にノイズ推定値σbを算出してコアリング部２４２に出力する。

コアリング部２４２は、総和算出部２３８で算出した総和値ＥＲbに応じてエッジ判定を行い、エッジ判定結果に応じた重み係数Ｗ0を設定して、図３に示す重み係数統合部２５に出力する。重み係数Ｗ0は、空間方向の平滑化強度を設定する係数であり、重み係数Ｗ0の値が大きいときは、空間方向の平滑化強度を強くする。コアリング部２４２は、総和値ＥＲbに応じたエッジ判定と、エッジ判定結果に応じた重み係数Ｗ0を設定できるコアリング関数を有している。

図１２は、エッジ判定結果に応じた重み係数Ｗ0を設定するためのコアリング関数を例示している。コアリング関数ではエッジ判定閾値ＴＨhb，ＴＨlbが設定されている。コアリング部２４２は、総和値ＥＲbがエッジ判定閾値ＴＨhbよりも大きい場合、エッジ部分の画素として判定して、重み係数Ｗ0を係数値Ｌlbに設定する。コアリング部２４２は、総和値ＥＲbがエッジ判定閾値ＴＨlb以下の場合、エッジ部分の画素でない判定して、重み係数Ｗ0を係数値Ｌlbよりも大きい係数値Ｌhbに設定する。また、総和値ＥＲbがエッジ判定閾値ＴＨlbよりも大きくエッジ判定閾値Ｈhb以下の範囲内である場合、エッジ部分の画素かエッジ部分の画素でないか、正しく判別できないとして、総和値ＥＲbに応じて重み係数Ｗ0を係数値Ｌhb〜Ｌlbの範囲内で設定する。

また、コアリング関数のエッジ判定閾値ＴＨhb，ＴＨlbは、ノイズ推定値σbに応じて変化させる。例えば「ＴＨhb＝αb×σb，ＴＨlb＝βb×σb」として、ノイズが多いときはエッジ判定閾値ＴＨhb，ＴＨlbを大きくして、ノイズが少ないときはエッジ判定閾値ＴＨhb，ＴＨlbを小さくする。なお、「αb」はエッジ部分の画素と判別するためのエッジ判定閾値ＴＨhbを設定するためのパラメータである。また、「βb」は、エッジ部分の画素でないと判別するためのエッジ判定閾値ＴＨlbを設定するためのパラメータである。なお、図１２では、「αb」と「βb」が異なる場合を示しているが、「αb」と「βb」が等しくともよい。

このようなコアリング関数を用いて、ノイズ推定値σbに応じてエッジ判定閾値ＴＨhb，ＴＨlbを変化させると、ノイズが多いときには、総和値ＥＲbが大きくなければエッジ部分の画素と判別されることがない。また、ノイズが少ないときには、総和値ＥＲbが小さくともエッジ部分の画素と判別される。

ここで、エッジ判定閾値ＴＨhb，ＴＨlbを固定させた場合、ノイズの影響によって総和値ＥＲbが大きくなると、エッジ部分でない画素がエッジ部分の画素と判別されてしまう場合がある。この場合、第２重み係数Ｗ0が小さくされるため、空間方向の平滑化強度が弱くなり、エッジ部分でない画素のノイズ除去効果が少なくなってしまう。また、エッジ部分の画素であっても総和値ＥＲbが小さいと、エッジ部分でない画素と判別されてしまう場合がある。この場合、第２重み係数Ｗ0が大きくされるため、空間方向の平滑化強度が強くなり、エッジ部分の解像感が低下してしまう。しかし、ノイズ推定値σbに応じてエッジ判定閾値ＴＨhb，ＴＨlbを可変すれば、ノイズの影響の少ないエッジ判定を行うことができる。すなわち、ノイズに対してロバストなエッジ判定を行うことができる。

さらに、ノイズ推定値算出部２４１は、総和算出部２３９から出力された総和値ＢＴbと総和算出部２４０から出力された総和値ＢＴrのいずれか総和値が小さいほうの画像を選択してノイズ推定値の算出を行う。ここで、ノイズ推定値算出部２２１について説明したように、ノイズが多い場合は総和値が大きくなることから、総和値が小さいほうの画像を選択するとノイズの少ない画像を選択することになり、ノイズ推定値σbも小さくなる。したがって、第２重み係数Ｗ0は、総和値ＥＲbが小さくならないと係数値が大きくならず空間方向の平滑化強度も強くならないので、エッジ部分の解像感の低下が発生し難くなる。

また、第２重み係数設定部２３-1〜２３-(K-1)も第２重み係数設定部２３-0と同様に構成されている。第２重み係数設定部２３-1〜２３-(K-1)は、ぞれぞれ互いに異なる周辺画素を基準として、空間方向の平滑化強度を設定するための重み係数Ｗ1〜Ｗ(K-1)の設定を並列して行い、設定した重み係数Ｗ1〜Ｗ(K-1)を重み係数統合部２５に出力する。このように、エッジ判定部を構成することで、ノイズとエッジ部分の区別が可能となる。

図２に示す重み係数統合部２５は、第１重み係数設定部２１から出力された重み係数Ｗiirと、第２重み係数設定部２３-0〜２３-(K-1)から出力された重み係数Ｗ0〜Ｗ(K-1)の正規化を行い、正規化後の重み係数を平滑化部２７に出力する。

重み係数統合部２５は、例えば式（３）の演算を行い、第１重み係数設定部２１から出力された重み係数wiirの正規化を行う。また、重み係数統合部２５は、例えば式（４）の演算を行い、第２重み係数設定部２３-0〜２３-(K-1)から出力された重み係数Ｗ0〜Ｗ(K-1)の正規化を行う。なお、式（３），（４）において、「γ」は時間方向の平滑化と空間方向の平滑化のどちらを重視するかのパラメータであり、「γ」を大きくすると時間方向の平滑化が重視される。

このように重み係数Ｗiir，Ｗ0〜Ｗ(K-1)の正規化を行うと、正規化後の重み係数Ｗ'iirは、重み係数Ｗiirに対して重み係数Ｗ0〜Ｗ(K-1)の割合が大きいときには小さな値となり、重み係数Ｗ0〜Ｗ(K-1)の割合が小さくなると大きくなる。また、正規化後の重み係数Ｗ'0〜Ｗ'(K-1)は、重み係数Ｗ0〜Ｗ(K-1)に対して重み係数Ｗiirの割合が大きいときには小さな値となり、重み係数Ｗiirの割合が小さくなると大きくなる。このため、時間方向の平滑化強度が弱い画素に対しては空間方向の平滑化強度が強められて、空間方向の平滑化強度が弱い画素に対しては時間方向の平滑化強度が強くされる。すなわち、時間方向の平滑化強度が弱い部分は空間方向の平滑化で補完し、空間方向の平滑化強度が弱い部分は時間方向の平滑化で補完するように重み係数Ｗiir，Ｗ0〜Ｗ(K-1)が調整される。

また、パラメータ「γ」を用いることで、時間方向の平滑化と空間方向の平滑化のどちらを重視するか容易に調整できる。パラメータ「γ」が用いられいない場合、例えば第１重み係数や第２重み係数を設定するためのコアリング関数を変更する必要がある。しかしパラメータ「γ」を用いることで、コアリング関数の変更等を行わなくとも、パラメータ「γ」の値を変えるだけで、時間方向の平滑化と空間方向の平滑化のどちらを重視するか容易に調整できるようになる。

平滑化部２７は、正規化後の重み係数Ｗ'iir，Ｗ'0〜Ｗ'(K-1)と、周辺画素の画素信号ｘkとＩＩＲ画像の画素信号ｘiirを用いた積和演算を行う。平滑化部２７は、積和演算によって、現在画像に対して時空間方向平滑化処理を行い、ノイズが除去された現在画像の画像信号の画素信号ｘfilを算出して、図１に示す後処理部３１に出力する。また、ノイズが除去された画像信号をフレームメモリ２９にＩＩＲ画像の画像信号として書き込む。式（５）は、重み係数統合部２５で行う積和演算を例示している。

＜３．本発明の画像処理装置の動作＞
次に、本発明の画像処理装置に相当するノイズ除去部２０の動作について説明する。図１３は現在画像、図１４はＩＩＲ画像を示している。また、図１５は現在画像に対して空間方向の平滑化を行った場合の画像、図１６は現在画像に対してＩＩＲ画像を用いて時間方向の平滑化を行った場合の画像を示している。図１７は、現在画像に対して空間方向の平滑化を行ったのちＩＩＲ画像を用いて時間方向の平滑化を行った場合（あるいはＩＩＲ画像を用いて時間方向の平滑化を行ったのち空間方向の平滑化を行った場合）の画像を示している。図１８は、ノイズ除去部２０で、現在画像に対して時空間方向平滑化処理が行われた画像を示している。

なお、被写体には、左方向に移動する動被写体（例えば人間）と、エッジを含む静止物体（例えば木）が含まれており、背景は一様とする。また、動作をわかりやすくするため、図１３〜１７において、ノイズレベルが高いノイズは星状のマーク、ノイズレベルが低いノイズは丸状のマークで示している。

図１３に示す現在画像に対して空間方向の平滑化処理を行い、エッジ保存のためにエッジ部分で平滑化強度を弱くすると、図１５に示すように、静止物体のエッジ部分ではＳ／Ｎが改善されていない画像となってしまう。

また、図１３に示す現在画像と図１４に示すＩＩＲ画像を用いて時間方向の平滑化処理を行い、ブラー抑制のために動被写体部分で平滑化強度を弱くすると、図１６に示すように、動被写体部分でＳ／Ｎが改善されていない画像となってしまう。

さらに、現在画像に対して時間方向の平滑化を行った後に空間方向の平滑化を行った場合、または空間方向の平滑化を行った後に時間方向の平滑化を行った場合、動被写体は空間方向の平滑化のみが作用し、エッジ部分には時間方向の平滑化のみが作用する。さらに、背景部分には、時間方向と空間方向の平滑化が作用する。したがって、図１７に示すように、背景部分に比べてエッジ部分と動被写体部分ではＳ／Ｎの改善が少なくなる。このように、背景のノイズが少なくエッジ部分と動被写体部分でノイズが残っていると、特にノイズ残留部分が目立ってしまう。

これらに対して、ノイズ除去部２０の重み係数統合部２５は、時間方向の平滑化強度を設定する重み係数と空間方向の平滑化強度を設定する重み係数の正規化が行われて、時間方向の平滑化強度が弱い部分は空間方向の平滑化によって補完される。さらに、空間方向の平滑化強度が弱い部分は時間方向の平滑化によって補完される。したがって、重み係数統合部２５から出力された正規化後の重み係数を用いて平滑化部２７で現在画像とＩＩＲ画像を用いた積和演算を行うと、一方の平滑化強度が弱いとき他方の平滑化で補完するように時空間平滑化処理が行われる。このため、ノイズ除去部２０から出力される画像は、図１８に示すように、背景部分だけでなくエッジ部分および動被写体部分でもＳ／Ｎが改善された画像を得ることができる。

また、上述の一連の処理はハードウェアだけでなく、ソフトウェア、あるいは両者の複合構成によって実行することが可能である。

図１９は、上述の一連のノイズ除去処理を示すフローチャートである。ステップＳＴ１でノイズ除去部は、動き判定処理を行う。動き判定処理では、現在画像の画像信号ＤＶとＩＩＲ画像の画像信号ＤＶfilを用いて、現在画像における処理対象画素について動き判定を行い、その判定結果から第１重み係数Ｗiirを設定してステップＳＴ２に進む。

ステップＳＴ２でノイズ除去部は、エッジ判定処理を行う。エッジ判定処理では、現在画像の画像信号ＤＶを用いて、現在画像における処理対象画素と処理対象画素の周辺に位置する周辺画素に基づき、周辺画素毎に処理対象画素のエッジ判定を行う。さらに、判定結果から第２重み係数Ｗ0〜Ｗ(K-1)を設定してステップＳＴ３に進む。
ステップＳＴ３でノイズ除去部は、重み係数統合処理を行う。重み係数統合処理では、動き判定結果から設定された第１重み係数と、エッジ判定結果から設定された第２重み係数の正規化を行う。正規化を行うと、時間方向の平滑化強度が弱いときは空間方向の平滑化強度を強くして、空間方向の平滑化強度が弱いときは時間方向の平滑化強度を強くするように、第１と第２重み係数が調整されてステップＳＴ４に進む。

ステップＳＴ４でノイズ除去部は、時空間方向平滑化処理を行う。時空間方向平滑化処理では、正規化後の第１および第２重み係数と、処理対象画素の周辺画素と、ＩＩＲ画像における処理対象画素と等しい位置の画素とを用いて、現在画像における処理対象画素の時空間平滑化処理を行ってステップＳＴ５に進む。

ステップＳＴ５でノイズ除去部は、全画素について処理が完了したか否かを判別する。ここで、ノイズ除去対象の画像において処理が完了していない画素が残っているときはステップＳＴ６に進み、全画素について処理が終了しているときはノイズ除去処理を終了する。

ステップＳＴ６でノイズ除去部は、処理が完了していない画素を処理対象画素に設定してステップＳＴ１に戻る。

なお、図１８では、動き判定処理を行ってからエッジ判定を行う場合を示しているが、エッジ判定処理を行ってから動き判定を行うようにしてもよい。さらに、マルチコアプロセッサ等を用いることで、並列処理が可能であるときは、動き判定処理やエッジ判定処理を並列して行うようにしてもよい。

このようなノイズ除去処理を行うプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させる。このようにすれば、ハードウェアに限らずソフトウェアでもノイズ除去処理を行うことができる。

なお、プログラムは、記録媒体としてのハードディスクやＲＯＭに予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

さらに、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることもできる。

本発明では、時間方向の平滑化が弱いときには空間方向の平滑化によって、空間方向の平滑化が弱いときには時間方向の平滑化によって、それぞれ弱い部分の補完が行われるので、動被写体やエッジ部分のノイズ除去性能の低下を軽減できる。したがって、ノイズ除去後の画像は視認性が向上した画像となり、ノイズ除去を施す前では認識できなかった部分を認識可能とする画像を得ることができる。例えば、夜間時の車のナンバーがノイズにより見えなかった場合、本発明のノイズ除去を行うことでナンバーを読み取ることが可能となる。また、動き判定結果に基づいて設定された第１重み係数とエッジ判定結果に基づいて設定された第２重み係数を正規化して、正規化後の重み係数を用いて時空間方向平滑化処理の演算を行うことから、時間フィルタと空間フィルタを個々に設ける必要がなく、構成が容易となる。

また、コアリング部２２２，２４２では、ノイズ量に応じて閾値を変化させていることから、誤った動き判定によってブラーが生じてしまうことを防止できる。また、誤ったエッジ判定によってエッジ保存が達成されなくなってしまうことを防止できる。例えば、低照度下の撮像のため画像のＳ／Ｎが悪化してノイズの振幅と動被写体やエッジ部分の輝度差との区別が難しくなるような場合でも、ノイズ量に応じて閾値が変化されることから、動被写体やエッジ部分の判定を正しく行うことが可能となる。したがって、動被写体やエッジ部分のノイズ除去性能の低下をより確実に軽減できる。

また、ノイズは、周波数帯域では一様に分布するため、画像のデータ圧縮の際には、ノイズに多くのビットが割り振られることになる。その結果、データ圧縮率が低下したり、データ圧縮後の画像のノイズが非常に多くなり画質が悪化してしまう問題が発生する場合がある。しかし、本発明では動被写体やエッジ部分でも他の部分と同様にＳ／Ｎを改善することができるので、画像のデータ圧縮した場合、データ圧縮率の低下やデータ圧縮後の画像の画質悪化等の問題を解決することも可能となる。

なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。例えば、上述の実施の形態では、入力画像の画像信号がベイヤー方式の画像信号である場合を示したが、ＲＧＢの色毎に設けられた撮像素子から出力される画像信号等のように他の方式の画像信号を用いてもよい。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

この発明では、画素毎に動き判定の判定結果に応じて時間方向の平滑化強度を調整する第１重み係数が設定される。また、画素毎にエッジ判定の判定結果に応じて空間方向の平滑化強度を調整する第２重み係数が設定される。この第１重み係数と第２重み係数の正規化を行うことで、第１重み係数と第２重み係数が、時間方向の平滑化強度が弱い部分は空間方向の平滑化で補完し、空間方向の平滑化強度が弱い部分は時間方向の平滑化で補完するように調整されて、正規化後の第１重み係数と第２重み係数を用いた算によって、入力画像に対する時空間方向平滑化処理が行われた出力画像が生成されて、動被写体やエッジ部分のノイズ除去性能の低下が軽減される。したがって、撮像装置や画像信号の記録再生等を行う機器に適している。

１０・・・撮像装置、１１・・・撮像光学部、１２・・・駆動部、１３・・・撮像部、１４・・・タイミング信号生成部（ＴＧ部）、１５・・・前処理部、２０・・・ノイズ除去部、２１・・・第１重み係数設定部、２３，２３-0〜２３-(K-1)・・・第２重み係数設定部、２５・・・係数統合部、２７・・・平滑化部、２９・・・フレームメモリ、３１・・・後処理部、４１・・・システムコントローラ、２１０，２１３，２３０・・・中心画素ブロック抜き出し部、２１１，２１４，２３１，２３４・・・ＲＧＢ抜き出し部、２１２Ｒ，２１５Ｒ，２３２Ｒ，２３５Ｒ・・・Ｒ総和算出部、２１２Ｇ，２１５Ｇ，２３２Ｒ，２３５Ｒ・・・Ｇ総和算出部、２１２Ｂ，２１５Ｂ，２３２Ｂ，２３５Ｂ・・・Ｂ総和算出部、２１６Ｒ，２３６Ｒ・・・Ｒ差分算出部、２１６Ｇ，２３６Ｇ・・・Ｇ差分算出部、２１６Ｂ，２３６Ｂ・・・Ｂ差分算出部、２１７Ｒ，２１７Ｇ，２１７Ｂ，２３７Ｒ，２３７Ｇ，２３７Ｂ・・・絶対値算出部、２１８，２１９，２２０，２３８，２３９，２４０・・・総和算出部、２２１，２４１・・・ノイズ推定値算出部、２２１ａ・・・総和値比較部、２２１ｂ・・・信号選択部、２２１ｃ・・・シフト分散値算出部、２２２，２４２・・・コアリング部、２３３・・・周辺画素ブロック抜き出し部、

Claims (9)

1. 入力画像の画素毎に動き判定を行い、動き判定結果に応じて時間方向の平滑化強度を調整する第１重み係数を画素毎に設定する第１重み係数設定部と、
   前記入力画像の画素毎にエッジ判定を行い、エッジ判定結果に応じて空間方向の平滑化強度を調整する第２重み係数を画素毎に設定する第２重み係数設定部と、
   前記入力画像の画素毎に、前記第１重み係数と前記第２重み係数の正規化を行うことで、前記第１重み係数と前記第２重み係数を、時間方向の平滑化強度が弱い部分は空間方向の平滑化で補完し、空間方向の平滑化強度が弱い部分は時間方向の平滑化で補完するように調整する重み係数統合部と、
   前記重み係数統合部で正規化された第１重み係数と第２重み係数を用いた演算を行い、前記入力画像に対する時空間方向平滑化処理が行われた出力画像を得る平滑化部と
   を有する画像処理装置。
2. 前記第１重み係数設定部は、判定を行う画素を基準とした第１の所定範囲の入力画像と、前記平滑化部で前記時空間方向平滑化処理された画像における前記第１の所定範囲に対応する位置の画像を用い、
   前記第２重み係数設定部は、判定を行う画素を基準とした第２の所定範囲の入力画像と、該判定を行う画素の周辺に位置する画素を基準とした第２の所定範囲の入力画像を用い、
   前記第１重み係数設定部は、前記第１の所定範囲である２つの画像を用いて、前記第１の所定範囲の各画素における画素信号の差分絶対値の総和を算出して、該差分絶対値の総和が動き判別閾値よりも大きいときは動き部分の画素として判別し、前記差分絶対値の総和が動き判別閾値以下のときは動き部分でない画素と判別して、動き部分の画素が動き部分でない画素よりも平滑化強度が強くなるように前記第１重み係数を設定し、
   前記第２重み係数設定部は、前記第２の所定範囲である２つの画像を用いて、前記第２の所定範囲の各画素における画素信号の差分絶対値の総和を算出して、該差分絶対値の総和がエッジ判別閾値よりも大きいときはエッジ部分の画素と判別し、前記差分絶対値の総和がエッジ判別閾値以下のときはエッジ部分でない画素と判別して、エッジ部分の画素がエッジ部分でない画素よりも平滑化強度が強くなるように前記第２重み係数を設定する請求項１記載の画像処理装置。
3. 前記第１重み係数設定部と前記第２重み係数設定部は、前記入力画像の画素毎にノイズ推定値の算出を行い、該ノイズ推定値に応じて前記動き判別閾値および／またはエッジ判別閾値を変化させて、ノイズが多いときに閾値を大きくする請求項２記載の画像処理装置。
4. 前記第１重み係数設定部と前記第２重み係数設定部は、前記所定範囲における画素信号の総和が小さいほうの所定範囲の選択を行い、選択した所定範囲を用いて前記ノイズ推定値の算出を行う請求項３記載の画像処理装置。
5. 前記第１重み係数設定部と前記第２重み係数設定部は、前記選択した所定範囲の基準である画素位置を基準として分散算出範囲をシフトさせて分散値の算出を行い、算出した分散値の平均値を前記ノイズ推定値とする請求項４記載の画像処理装置。
6. 前記平滑化部は、時空間方向平滑化処理を行う処理対象画素毎に、該処理対象画素に対する正規化された第１重み係数と第２重み係数と、前記時空間方向平滑化処理された画像における前記処理対象画素と等しい位置の画素の画素信号と、前記入力画像における前記処理対象画素の周辺画素の画素信号を用いて演算を行い、前記処理対象画素の時空間方向平滑化処理後の画素信号を生成する請求項２記載の画像処理装置。
7. 前記入力画像はベイヤー方式の画像であり、
   前記第１重み係数設定部および前記第２重み係数設定部は、色毎に前記差分絶対値を算出する請求項２記載の画像処理装置。
8. 第１重み係数設定部で、入力画像の画素毎に動き判定を行い、動き判定結果に応じて時間方向の平滑化強度を調整する第１重み係数を画素毎に設定するステップと、
   第２重み係数設定部で、前記入力画像の画素毎にエッジ判定を行い、エッジ判定結果に応じて空間方向の平滑化強度を調整する第２重み係数を画素毎に設定するステップと、
   重み係数統合部で、前記入力画像の画素毎に、前記第１重み係数と前記第２重み係数の正規化を行うことで、前記第１重み係数と前記第２重み係数を、時間方向の平滑化強度が弱い部分は空間方向の平滑化で補完し、空間方向の平滑化強度が弱い部分は時間方向の平滑化で補完するように調整するステップと、
   平滑化部で、前記重み係数統合部で正規化された第１重み係数と第２重み係数を用いた演算を行い、前記入力画像に対する時空間方向平滑化処理が行われた出力画像を得るステップとを有する画像処理方法。
9. 被写体を撮像して画像信号を得る撮像部と、
   前記画像信号を用いて画素毎に動き判定を行い、動き判定結果に応じて時間方向の平滑化強度を調整する第１重み係数を画素毎に設定する第１重み係数設定部と、
   前記画像信号を用いて画素毎にエッジ判定を行い、エッジ判定結果に応じて空間方向の平滑化強度を調整する第２重み係数を画素毎に設定する第２重み係数設定部と、
   画素毎に、前記第１重み係数と前記第２重み係数の正規化を行うことで、前記第１重み係数と前記第２重み係数を、時間方向の平滑化強度が弱い部分は空間方向の平滑化で補完し、空間方向の平滑化強度が弱い部分は時間方向の平滑化で補完するように調整する重み係数統合部と、
   前記重み係数統合部で正規化された第１重み係数と第２重み係数を用いた演算を行い、前記画像信号に対して時空間方向平滑化処理が行われた出力画像信号を得る平滑化部と
   を有する撮像装置。