JP2013081078A - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】より精度良くブロックノイズを検出する。
【解決手段】動き予測処理部は、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出し、動き補償処理部は、動きベクトルを用いて参照画像の動き補償を行うことで、動き補償画像を生成し、差分算出部は、基準画像と動き補償画像の画素の画素値の差分値を算出し、閾値処理部は、差分値に対して閾値処理を施すことで、ブロック単位の動き補償画像にブロックノイズが含まれるか否かを判定する。本技術は、画像処理装置に適用することができる。
【選択図】図２

Description

本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、より精度良くブロックノイズを検出することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。

一般に、画像の符号化処理および復号処理は、ブロック単位で行われるが、画像信号の圧縮率を高くした場合、隣り合うブロック間に階調差が生じることがある。特に、階調変化の緩やかな部分においては、その階調差が生じやすい。この階調差によるノイズはブロックノイズと呼ばれている。

このようなブロックノイズを検出するために、画像において、隣接するブロックの１次微分値を求めるようにしたものがある（例えば、特許文献１参照）。

特願２００１−１１９６９５号公報

しかしながら、上述した技術においては、画像に含まれるエッジ部分とブロックの境界部分とが一致した場合、ブロックノイズを含まないのにもかかわらず、そのブロックが、ブロックノイズを含むブロックとして誤検出されてしまっていた。

本技術は、このような状況に鑑みてなされたものであり、より精度良くブロックノイズを検出することができるようにするものである。

本技術の一側面の画像処理装置は、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出する動き予測処理部と、前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成する動き補償処理部と、前記基準画像と前記動き補償画像の画素の画素値の差分値を算出する差分算出部と、前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像にブロックノイズが含まれるか否かを判定する閾値処理部とを備える。

前記差分算出部には、ブロック単位の前記基準画像と前記動き補償画像の画素の画素値の差分値を算出させ、前記差分値を、所定の関数で近似する近似処理部と、前記所定の関数を積分する積分処理部とをさらに設け、前記閾値処理部には、前記積分処理部により得られた積分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定させることができる。

前記差分算出部には、前記基準画像と前記動き補償画像の、注目ブロックにおいて隣接ブロックに隣接する境界部分の画素の画素値の差分値を算出させることができる。

前記差分算出部には、前記基準画像と前記動き補償画像の、注目ブロックにおいて隣接ブロックに隣接する境界部分の画素を間引いた画素の画素値の差分値を算出させることができる。

前記閾値処理部には、前記積分処理部により得られた積分値と、画像の輝度値に対応するノイズ強度に基づいて設定される閾値とを比較することで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定させることができる。

前記差分算出部には、前記基準画像の画素の画素値を微分した第１の微分値と、前記動き補償画像の画素の画素値を微分した第２の微分値の差分値を算出させ、前記閾値処理部には、前記第１の微分値と前記第２の微分値の差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定させることができる。

前記差分算出部には、前記基準画像における、注目ブロックおよび隣接ブロックの境界部分の画素の画素値を微分した前記第１の微分値と、前記動き補償画像における、前記注目ブロックおよび前記隣接ブロックの境界部分の画素の画素値を微分した前記第２の微分値の差分値を算出させることができる。

ブロックの境界部分の前記差分値の平均値を算出する平均値算出部をさらに設け、前記閾値処理部には、前記平均値算出部により算出された平均値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定させることができる。

前記閾値処理部には、前記第１の微分値と前記第２の微分値の差分値と、画像の輝度値に対応するノイズ強度に基づいて設定される閾値とを比較することで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定させることができる。

前記差分算出部により算出された前記差分値を微分する微分処理部をさらに設け、前記閾値処理部には、前記微分処理部により算出された微分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定させることができる。

前記微分処理部には、注目ブロックおよび隣接ブロックの境界部分の前記差分値を微分させることができる。

ブロックの境界部分の前記微分値の平均値を算出する平均値算出部をさらに設け、前記閾値処理部には、前記平均値算出部により算出された平均値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定させることができる。

前記閾値処理部には、前記微分処理部により算出された前記微分値と、画像の輝度値に対応するノイズ強度に基づいて設定される閾値とを比較することで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定させることができる。

本技術の一側面の画像処理方法は、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出する動き予測処理部と、前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成する動き補償処理部と、前記基準画像と前記動き補償画像の画素の画素値の差分値を算出する差分算出部と、前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像にブロックノイズが含まれるか否かを判定する閾値処理部とを備える画像処理装置の画像処理方法であって、前記画像処理装置が、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出し、前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成し、前記基準画像と前記動き補償画像の画素の画素値の差分値を算出し、前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像にブロックノイズが含まれるか否かを判定するステップを含む。

本技術の一側面のプログラムおよび一側面の記録媒体に記録されるプログラムは、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出する動きベクトル検出ステップと、前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成する動き補償処理ステップと、前記基準画像と前記動き補償画像の画素の画素値の差分値を算出する差分算出ステップと、前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像にブロックノイズが含まれるか否かを判定する判定ステップとを含む処理をコンピュータに実行させる。

本技術の一側面においては、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルが検出され、動きベクトルを用いて参照画像の動き補償を行うことで、動き補償画像が生成され、基準画像と動き補償画像の画素の画素値の差分値が算出され、差分値に対して閾値処理を施すことで、ブロック単位の動き補償画像にブロックノイズが含まれるか否かが判定される。

本技術の一側面によれば、より精度良くブロックノイズを検出することが可能となる。

本技術を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。 ブロックノイズ検出部の第１の構成例を示すブロック図である。 ブロックノイズ検出の仕組みについて説明する図である。 ブロックノイズ検出結果出力処理について説明するフローチャートである。 図２のブロックノイズ検出部によるブロックノイズ検出処理について説明するフローチャートである。 ブロックの境界部分の差分値について説明する図である。 輝度値に対するノイズ強度について説明する図である。 ブロックノイズ検出の第１の構成の変形例を示すブロック図である。 図８のブロックノイズ検出部によるブロックノイズ検出処理について説明するフローチャートである。 ブロックノイズ検出部の第２の構成例を示すブロック図である。 図１０のブロックノイズ検出部によるブロックノイズ検出処理について説明するフローチャートである。 差分値の近似について説明する図である。 積分処理について説明する図である。 区分求積法について説明する図である。 区分求積法について説明する図である。 コンピュータのハードウェアの構成例を示すブロック図である。

以下、本技術の実施の形態について図面を参照して説明する。なお、説明は以下の順序で行う。
１．画像処理装置の構成
２．ブロックノイズ検出部の第１の構成例
３．ブロックノイズ検出結果出力処理とブロックノイズ検出処理について
４．ブロックノイズ検出部の第１の構成の変形例とブロックノイズ検出処理
５．ブロックノイズ検出部の第２の構成例とブロックノイズ検出処理

＜１．画像処理装置の構成＞
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示している。

図１の画像処理装置１１は、例えば、図示せぬ撮像装置から供給（入力）されてくる基準画像（以下、Cur画という）と、そのCur画より時間的に前の参照画像（以下、Ref画という）とを用いてブロックマッチングを行い、Cur画の予測画像を生成する。そして、画像処理装置１１は、Cur画と予測画像とを比較することで、予測画像に含まれるブロックノイズを検出し、その検出結果を出力する。なお、画像処理装置１１に入力される画像は、時間的に連続した複数のフレームからなる動画像であり、Ref画は、ブロックノイズの検出結果に基づいて、他の画像処理装置によってCur画に対してノイズ低減処理が施されたノイズ低減画像である。また、画像処理装置１１は、それ自身がデジタルカメラ等の撮像装置に設けられるようにしてもよい。

図１の画像処理装置１１は、動き予測処理部３１、動き補償処理部３２、およびブロックノイズ検出部３３から構成される。

動き予測処理部３１は、注目しているフレームとしてのCur画と、１フレーム前のRef画とから、これらの画像を構成するブロック単位の動きベクトルMVを検出し、動き補償処理部３２に供給する。具体的には、動き予測処理部３１は、Cur画のブロックと、対応するRef画のブロックとの位置合わせを行うことで、ブロック単位の動きベクトルMVを求める。

動き補償処理部３２は、動き予測処理部３１からの、ブロック単位の動きベクトルMVを用いてRef画の動き補償を行うことで、Ref画をブロック単位でCur画に位置合わせした動き補償画像（以下、MC画という）を生成し、ブロックノイズ検出部３３に供給する。

ブロックノイズ検出部３３は、Cur画と、動き補償処理部３２からのMC画とを比較することで、MC画に含まれるブロックノイズを検出し、その検出結果を出力する。具体的には、ブロックノイズ検出部３３は、Cur画とMC画の画素の画素値の差分値を求め、その差分値に対して閾値処理を施すことで、ブロック単位のMC画に含まれるブロックノイズを検出する。

＜２．ブロックノイズ検出部の第１の構成例＞
次に、図２を参照して、ブロックノイズ検出部３３の第１の構成例について説明する。

図２のブロックノイズ検出部３３は、フィルタ処理部５１、フィルタ処理部５２、微分処理部５３、微分処理部５４、差分算出部５５、平均値算出部５６、および閾値処理部５７から構成される。

フィルタ処理部５１は、Cur画に対してフィルタ処理を施し、微分処理部５３に供給する。具体的には、フィルタ処理部５１は、メディアンフィルタやローパスフィルタ、メディアンフィルタとローパスフィルタとの組み合わせのフィルタ等を用いて、Cur画に対してフィルタ処理を施す。

フィルタ処理部５２は、MC画に対してフィルタ処理を施し、微分処理部５４に供給する。具体的には、フィルタ処理部５２は、フィルタ処理部５１と同様に、メディアンフィルタやローパスフィルタ、メディアンフィルタとローパスフィルタとの組み合わせのフィルタ等を用いて、MC画に対してフィルタ処理を施す。

微分処理部５３は、フィルタ処理部５１によってフィルタ処理が施されたCur画の画素の画素値を微分した微分値を求め、差分算出部５５に供給する。例えば、図３Ａに示されるように、図中矢印方向（ｘ軸方向）に並ぶCur画の画素間の画素値の差分値（１次微分値）を求める。図３Ａに示されるように、Cur画の１次微分値は、Cur画におけるエッジ部分（Cur画の左右方向中心部分）で、その値が大きくなる。

微分処理部５４は、フィルタ処理部５２によってフィルタ処理が施されたMC画の画素の画素値を微分した微分値を求め、差分算出部５５に供給する。例えば、図３Ｂ示されるように、図中矢印方向（ｘ軸方向）に並ぶブロック単位のMC画の画素間の画素値の差分（１次微分値）を求める。図３Ｂに示されるように、MC画の１次微分値は、MC画におけるエッジ部分（Cur画の左右方向中心部分）とブロックノイズを含むブロック（網掛けされているブロック）の境界部分で、その値が大きくなる。

差分算出部５５は、微分処理部５３からのCur画の微分値と、微分処理部５４からのMC画の微分値の差分値を算出し、平均値算出部５６に供給する。すなわち、図３Ａに示されるCur画の１次微分値と、図３Ｂに示されるMC画の１次微分値との差分値は、図３Ｃに示されるように、それぞれのエッジ部分の値は相殺され、ブロックノイズを含むブロックの境界部分のみが値をもつようになっている。

平均値算出部５６は、差分算出部５５からの差分値の平均値を、ブロック単位で算出し、閾値処理部５７に供給する。

閾値処理部５７は、平均値算出部５６からの平均値が、所定の閾値より大きいか否かをブロック単位で判定することで、そのブロックのMC画にブロックノイズが含まれているか否かを示す検出結果を出力する。

＜３．ブロックノイズ検出結果出力処理とブロックノイズ検出処理について＞
次に、図４および図５のフローチャートを参照して、図１の画像処理装置１１によるブロックノイズ検出結果出力処理、および、図２のブロックノイズ検出部３３によるブロックノイズ検出処理について説明する。

［ブロックノイズ検出結果出力処理について］
まず、図４のフローチャートを参照して、図１の画像処理装置１１によるブロックノイズ検出結果出力処理について説明する。

ステップＳ１１において、動き予測処理部３１は、Cur画とRef画とから、ブロック毎に、動きベクトルMVを検出し、動き補償処理部３２に供給する。

ステップＳ１２において、動き補償処理部３２は、動き予測処理部３１からの動きベクトルMVを用いてRef画の動き補償を行うことで、動き補償画像（MC画）を生成し、ブロックノイズ検出部３３に供給する。

ステップＳ１３において、ブロックノイズ検出部３３は、ブロックノイズ検出処理を実行することで、MC画に含まれるブロックノイズを検出し、その検出結果を出力する。

以上のようにして、MC画におけるブロックノイズの検出結果が出力される。

［ブロックノイズ検出処理について］
次に、図５のフローチャートを参照して、図４のフローチャートのステップＳ１３におけるブロックノイズ検出処理について説明する。

ステップＳ３１において、フィルタ処理部５１は、Cur画に対してフィルタ処理を施し、微分処理部５３に供給する。

ステップＳ３２において、フィルタ処理部５２は、MC画に対してフィルタ処理を施し、微分処理部５４に供給する。

このように、Cur画およびMC画に対してフィルタ処理を施すことにより、それぞれの画像に含まれるノイズを抑制することができる。なお、ステップＳ３１，Ｓ３２の処理は、並列して実行されてもよい。

ステップＳ３３において、微分処理部５３は、フィルタ処理部５１によってフィルタ処理が施された、注目している注目ブロックと、注目ブロックに隣接する隣接ブロックの境界部分のCur画に対して微分処理を施す。具体的には、微分処理部５３は、Cur画において、注目ブロックの４辺と、その４辺に隣接する隣接ブロックの画素の画素値の差分値を求め、差分算出部５５に供給する。

ステップＳ３４において、微分処理部５４は、フィルタ処理部５２によってフィルタ処理が施された、注目ブロックと隣接ブロックの境界部分のMC画に対して微分処理を施す。具体的には、微分処理部５４は、MC画において、注目ブロックの４辺と、その４辺に隣接する隣接ブロックの画素の画素値の差分値を求め、差分算出部５５に供給する。

ステップＳ３５において、差分算出部５５は、微分処理部５３からの、注目ブロック４辺分のCur画の微分値（差分値）と、微分処理部５４からの、注目ブロック４辺分のMC画の微分値（差分値）の差分値を算出し、平均値算出部５６に供給する。

ステップＳ３６において、平均値算出部５６は、差分算出部５５からの４辺分の差分値の平均値を、１辺毎に算出し、閾値処理部５７に供給する。例えば、１ブロックが８×８画素で構成される場合、平均値算出部５６は、８画素分の差分値の平均値を１辺毎に算出する。

すなわち、図６の右側に示されるように、注目ブロックと隣接ブロックの境界部分の画素値が画素（ピクセル）単位で比較された値が用いられるのではなく、注目ブロックと隣接ブロックの境界部分の画素値が境界線単位（ブロックの１辺単位）で比較された値が用いられる。このように、差分値を合算して平均することで、Cur画に含まれるイメージセンサ由来のノイズの影響を抑えることができるようになる。

ここで、Cur画の微分値（差分値）をΔCur、MC画の微分値（差分値）をΔMcとすると、平均値算出部５６により得られる平均値block_strengthは、以下の式（１）で表わされる。

・・・（１）

なお、式（１）におけるblocksizeは、ブロックサイズであり、上述した例では８となる。また、式（１）において、abs（Ａ）は、Ａの絶対値を示している。この平均値block_strengthの値が大きいほど、注目ブロックと隣接ブロックとの間に階調差が生じているということができる。

なお、ブロックの４辺それぞれについて、差分値の平均値を求めるようにしたが、例えば、８画素分（ブロックの１辺分）の差分値のうちのいずれか１つを平均値として扱うようにしてもよい。

このようにして、注目ブロックについての平均値は４つ、すなわち、ブロックの４辺分得られる。

図５のフローチャートに戻り、ステップＳ３７において、閾値処理部５７は、平均値算出部５６からの、ブロックの４辺それぞれについての平均値が、予め求められた、輝度値に対するノイズ強度に基づいて設定された閾値より大きいか否かを判定する。

図７は、図示せぬ撮像装置によって得られる画像の、輝度値に対するノイズ強度を示している。

図７において、横軸は、画素の輝度値を示しており、縦軸は、ノイズ強度を示している。ノイズ強度は、画素によってばらつきを持っているので、画像全体おける画素毎のノイズ強度の分布を予め求め、そのノイズ強度の分布に基づいて、図７に示されるノイズ強度が得られる。

なお、ノイズ強度は、Ｒ，Ｇ，Ｂの３チャンネルの輝度値（輝度信号）について与えられるものであり、図７に示されるノイズ強度は、例えばＧ信号についてのノイズ強度を示しているものとする。

すなわち、閾値処理部５７は、注目ブロックの、Cur画における画素の輝度値（例えばＧ信号）に基づいて、図７に示される関係から、その輝度値に対応するノイズ強度に基づいた閾値Thを設定する。そして、閾値処理部５７は、その閾値Thと、平均値算出部５６からの、ブロックの４辺それぞれについての平均値とを、以下の式（２）を用いて比較し、平均値が閾値より大きいか否かを判定する。

・・・（２）

ステップＳ３７において、ブロックの４辺それぞれについての平均値のうちのいずれか１つが閾値より大きいと判定された場合、処理はステップＳ３８に進み、閾値処理部５７は、ブロックノイズが検出された旨の検出結果を出力する。

一方、ステップＳ３７において、ブロックの４辺それぞれについての平均値の全てが閾値より大きくないと判定された場合、処理はステップＳ３９に進み、閾値処理部５７は、ブロックノイズが検出されなかった旨の検出結果を出力する。

ステップＳ４０において、閾値処理部５７は、全てのブロックについて処理したか否かを判定する。

ステップＳ４０において、全てのブロックについて処理していないと判定された場合、処理はステップＳ３３に戻り、これ以降の処理が繰り返される。

一方、ステップＳ４０において、全てのブロックについて処理したと判定された場合、ブロックノイズ検出処理は終了する。その後、処理は、図４のフローチャートのステップＳ１３に戻る。

以上の処理によれば、Cur画のブロック境界部分の微分値と、MC画のブロック境界部分の微分値の差分値が算出され、その差分値が、ノイズ強度に応じて設定される閾値より大きいか否かが判定されることで、MC画のブロックに含まれるブロックノイズが検出されるようになる。したがって、画像に含まれるエッジ部分とブロックの境界部分とが一致した場合であっても、エッジ部分の値は相殺されるので、エッジ部分でブロックノイズを誤検出することなく、より精度良くブロックノイズを検出することができる。

また、ノイズ強度に応じて設定される閾値を用いることにより、撮像環境において照度が変化した場合であっても、そのときの輝度値に対応するノイズ強度に応じて閾値処理を行うことができるので、照度変化に対しても精度良くブロックノイズを検出ことができる。

なお、上述した説明では、ブロックの４辺それぞれについての平均値のうちのいずれか１つが閾値より大きいと判定された場合に、ブロックノイズが検出された旨の検出結果が出力されるものとしたが、ブロックの４辺それぞれについての平均値のうちの少なくともいずれか１つ（例えば、２つまたは３つ）や全てが閾値より大きいと判定された場合に、ブロックノイズが検出された旨の検出結果が出力されるようにしてもよい。

以上においては、Cur画およびMC画の微分値を求めてから、それぞれの差分値を求める構成について説明してきたが、以下においては、Cur画およびMC画の差分値を求めてから、その微分値を求める構成について説明する。

＜３．ブロックノイズ検出部の第１の構成の変形例とブロックノイズ検出処理＞
［ブロックノイズ検出部の第１の構成の変形例］
まず、図８を参照して、ブロックノイズ検出部の第１の構成の変形例について説明する。

図８のブロックノイズ検出部１３１は、フィルタ処理部５１、フィルタ処理部５２、閾値処理部５７、差分算出部１５１、微分処理部１５２、および平均値算出部１５３から構成される。

なお、図８のブロックノイズ検出部１３１において、図２のブロックノイズ検出部３３に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は省略する。

すなわち、差分算出部１５１は、フィルタ処理部５１によってフィルタ処理が施されたCur画の画素の画素値と、フィルタ処理部５２によってフィルタ処理が施されたMC画の画素の画素値の差分値を算出し、微分処理部１５２に供給する。

微分処理部１５２は、差分算出部１５１からの差分値を微分した微分値を求め、平均値算出部１５３に供給する。

平均値算出部１５３は、微分処理部１５２からの微分値の平均値を、ブロック単位で算出し、閾値処理部５７に供給する。

［ブロックノイズ検出処理について］
次に、図９のフローチャートを参照して、図８のブロックノイズ検出部１３１によるブロックノイズ検出処理について説明する。

なお、図９のフローチャートのステップＳ１３１，Ｓ１３２，Ｓ１３６乃至Ｓ１３９の処理は、図５のフローチャートのステップＳ３１，Ｓ３２，Ｓ３７乃至Ｓ４０の処理とそれぞれ同様であるので、その説明は省略する。

すなわち、ステップＳ１３３において、差分算出部１５１は、フィルタ処理部５１からのCur画の画素の画素値と、フィルタ処理部５２からのMC画の画素の画素値の差分値を算出し、微分処理部１５２に供給する。

ステップＳ１３４において、微分処理部１５２は、差分算出部１５１から差分値に対して微分処理を施す。具体的には、微分処理部１５２は、注目ブロックの４辺と、その４辺に隣接する隣接ブロックの画素の差分値の微分値（差分値）を求め、平均値算出部１５３に供給する。

ステップＳ１３５において、平均値算出部１５３は、微分処理部１５２からの４辺分の微分値の平均値を、１辺毎に算出し、閾値処理部５７に供給する。

図９のフローチャートで示されるブロックノイズ検出処理においても、図５のフローチャートで示されるブロックノイズ検出処理と同様の作用効果を奏することができる。

＜４．ブロックノイズ検出処理部の第２の構成例とブロックノイズ検出処理＞
［ブロックノイズ検出処理部の第２の構成例］
次に、図１０を参照して、ブロックノイズ検出処理部の第２の構成例について説明する。

図１０のブロックノイズ検出部２３１は、フィルタ処理部５１、フィルタ処理部５２、差分算出部２５１、近似処理部２５２、積分処理部２５３、および閾値処理部２５４から構成される。

なお、図１０のブロックノイズ検出部２３１において、図２のブロックノイズ検出部３３に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は省略する。

すなわち、差分算出部２５１は、フィルタ処理部５１によってフィルタ処理が施されたCur画の画素の画素値と、フィルタ処理部５２によってフィルタ処理が施されたMC画の画素の画素値の差分値を算出し、近似処理部２５２に供給する。

近似処理部２５２は、差分算出部２５１からの差分値を、所定の関数で近似し、積分処理部２５３に供給する。

積分処理部２５３は、近似処理部２５２からの関数に対して積分処理を施し、得られた積分値を、閾値処理部２５４に供給する。

閾値処理部２５４は、積分処理部２５３からの積分値が、所定の閾値より大きいか否かをブロック単位で判定することで、そのブロックのMC画にブロックノイズが含まれているか否かを示す検出結果を出力する。

［ブロックノイズ検出処理について］
ここで、図１１のフローチャートを参照して、図１０のブロックノイズ検出部２３１によるブロックノイズ検出処理について説明する。

なお、図１１のフローチャートのステップＳ２３１，Ｓ２３２の処理は、図５のフローチャートのステップＳ３１，Ｓ３２の処理とそれぞれ同様であるので、その説明は省略する。

すなわち、ステップＳ２３３において、差分算出部２５１は、フィルタ処理部５１によってフィルタ処理が施されたCur画の注目ブロックの、隣接ブロックに隣接する境界部分の画素の画素値と、フィルタ処理部５２によってフィルタ処理が施されたMC画の注目ブロックの、隣接ブロックに隣接する境界部分の画素の画素値の差分値を算出し、近似処理部２５２に供給する。具体的には、差分算出部２５１は、Cur画とMC画の、注目ブロックの４辺を構成する画素の画素値の差分値を求める。

ステップＳ２３４において、近似処理部２５２は、差分算出部２５１からの、注目ブロック４辺分の差分値を、１次関数で近似し、積分処理部２５３に供給する。

例えば、図１２に示される、８×８画素の注目ブロックBLについて、その４辺のうちの上辺を構成する画素の差分値（図中太線部分）が、d₀乃至d₃で与えられているものとする。なお、注目ブロックBLは、８×８画素で構成されているので、１辺あたりの差分値は８つ求められるが、ここでは、画素を間引いて（１画素飛ばしで）、画素位置−３，−１，１，３の４画素について、４つの差分値d₀乃至d₃が求められているものとする。このように、画素を間引いた形で差分値を求めることで、演算コストを抑えることができる。

この場合、近似処理部２５２は、４つの差分値d₀乃至d₃に対して、１次近似直線Ｌを求める。このように、１次近似直線を求めることで、Cur画に含まれるイメージセンサ由来のノイズの影響を抑えることができるようになる。

ステップＳ２３５において、積分処理部２５３は、近似処理部２５２によって求められた１次関数に対して積分処理を施し、注目ブロックの４辺それぞれについて求められた積分値を、閾値処理部２５４に供給する。

すなわち、積分処理部２５３は、図１２に示される画素位置をｘ軸の座標とした場合、以下の式（３）を用いて、近似処理部２５２によって求められた１次関数に対して積分処理を施す。

・・・（３）

式（３）において、値ａは、１次近似直線Ｌの傾き、値ｂは、１次近似直線Ｌの切片を表す。

なお、値ａおよび値ｂを、差分値d₀乃至d₃を用いて、最小二乗法により計算すると、式（３）は、以下の式（４）で表わされる。

・・・（４）

このようにして、注目ブロックについての積分値は４つ、すなわち、ブロックの４辺分得られる。

図１１のフローチャートに戻り、ステップＳ２３６において、閾値処理部２５４は、積分処理部２５３からの、ブロックの４辺分それぞれについての積分値が、予め求められた、輝度値に対するノイズ強度に基づいて設定された閾値より大きいか否かを判定する。

具体的には、閾値処理部２５４は、注目ブロックの、Cur画における画素の輝度値（例えばＧ信号）に基づいて、図７に示される関係から、その輝度値に対応するノイズ強度に基づいた閾値Thを設定する。そして、閾値処理部２５４は、その閾値Thと、積分処理部２５３からの積分値とを、以下の式（５）を用いて比較し、ブロックの４辺分それぞれについての積分値が閾値より大きいか否かを判定する。

・・・（５）

ステップＳ２３６において、ブロックの４辺分それぞれについての積分値のうちのいずれか１つが閾値より大きいと判定された場合、処理はステップＳ２３７に進み、閾値処理部２３４は、ブロックノイズが検出された旨の検出結果を出力する。

一方、ステップＳ２３６において、ブロックの４辺分それぞれについての積分値の全てが閾値より大きくないと判定された場合、処理はステップＳ２３８に進み、閾値処理部２３４は、ブロックノイズが検出されなかった旨の検出結果を出力する。

ステップＳ２３９において、閾値処理部２３４は、全てのブロックについて処理したか否かを判定する。

ステップＳ２３４において、全てのブロックについて処理していないと判定された場合、処理はステップＳ２３３に戻り、これ以降の処理が繰り返される。

一方、ステップＳ２３４において、全てのブロックについて処理したと判定された場合、ブロックノイズ検出処理は終了する。

以上の処理によれば、Cur画のブロック境界部分の画素値と、MC画のブロック境界部分の画素値の差分値が算出され、その差分値の近似関数の積分値が、ノイズ強度に応じて設定される閾値より大きいか否かが判定されることで、MC画のブロックに含まれるブロックノイズが検出されるようになる。したがって、画像に含まれるエッジ部分とブロックの境界部分とが一致した場合であっても、エッジ部分の値は相殺されるので、エッジ部分でブロックノイズを誤検出することなく、より精度良くブロックノイズを検出することができる。

また、ノイズ強度に応じて設定される閾値を用いることにより、撮像環境において照度が変化した場合であっても、そのときの輝度値に対応するノイズ強度に応じて閾値処理を行うことができるので、照度変化に対してもより精度良くブロックノイズを検出ことができる。

さらに、上述した処理においては、注目ブロックの画素と隣接ブロックの画素との差分値（微分値）を求める必要がないので、注目ブロックのみを参照すればよく、図５や図９のフローチャートを参照して説明した処理と比較して、演算コストを削減することが可能となる。

なお、上述した説明では、ブロックの４辺それぞれについての積分値のうちのいずれか１つが閾値より大きいと判定された場合に、ブロックノイズが検出された旨の検出結果が出力されるものとしたが、ブロックの４辺それぞれについての積分値のうちの少なくともいずれか１つ（例えば、２つまたは３つ）や全てが閾値より大きいと判定された場合に、ブロックノイズが検出された旨の検出結果が出力されるようにしてもよい。

また、上述のステップＳ２３５においては、１次近似直線Ｌに対して積分処理を行うようにしたが、これは、図１３に示されるように、ｘ軸と１次近似直線Ｌとで与えられる、網掛けされた領域の面積を求めることと同義である。

そこで、処理を簡略化するために、１次近似直線Ｌに対する積分処理に代えて、１次近似直線Ｌについて区分求積法を用いるようにしてもよい。

例えば、図１４に示されるように、注目ブロックの所定の１辺についての差分値と１次近似直線Ｌが与えられている場合、１次近似直線Ｌに対する積分値、すなわち、網掛けされた領域の面積は、図１５に示される、４つの矩形領域の面積を求めることで得られる。

なお、１ブロックが８×８画素で構成され、ブロック１辺について４つの画素（差分値）を用いて積分値（面積）を求める場合、図１５における矩形の幅は２となり、高さは各画素についての１次近似直線Ｌとなる。

ここで、４つの矩形領域の面積をＡとすると、面積Ａは、以下の式（６）で与えられる。

・・・（６）

式（６）において、d₀はｘ＝０における差分値、d₁はｘ＝２における差分値、d₂はｘ＝４における差分値、d₃はｘ＝６における差分値をそれぞれ表しており、式（６）は、以下の式（７）に示すように展開することができる。

・・・（７）

このように、積分処理の代わりに、区分求積法を用いることで、演算が簡単になるので、演算コストを削減することが可能となる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。

図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本技術は以下のような構成をとることができる。
（１） 基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出する動き予測処理部と、
前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成する動き補償処理部と、
前記基準画像と前記動き補償画像の画素の画素値の差分値を算出する差分算出部と、
前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像にブロックノイズが含まれるか否かを判定する閾値処理部と
を備える画像処理装置。
（２） 前記差分算出部は、ブロック単位の前記基準画像と前記動き補償画像の画素の画素値の差分値を算出し、
前記差分値を、所定の関数で近似する近似処理部と、
前記所定の関数を積分する積分処理部とをさらに備え、
前記閾値処理部は、前記積分処理部により得られた積分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
（１）に記載の画像処理装置。
（３） 前記差分算出部は、前記基準画像と前記動き補償画像の、注目ブロックにおいて隣接ブロックに隣接する境界部分の画素の画素値の差分値を算出する
（２）に記載の画像処理装置。
（４） 前記差分算出部は、前記基準画像と前記動き補償画像の、注目ブロックにおいて隣接ブロックに隣接する境界部分の画素を間引いた画素の画素値の差分値を算出する
（３）に記載の画像処理装置
（５） 前記閾値処理部は、前記積分処理部により得られた積分値と、画像の輝度値に対応するノイズ強度に基づいて設定される閾値とを比較することで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
（２）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記差分算出部は、前記基準画像の画素の画素値を微分した第１の微分値と、前記動き補償画像の画素の画素値を微分した第２の微分値と差分値を算出し、
前記閾値処理部は、前記第１の微分値と前記第２の微分値の差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
（１）に記載の画像処理装置。
（７） 前記差分算出部は、前記基準画像における、注目ブロックおよび隣接ブロックの境界部分の画素の画素値を微分した前記第１の微分値と、前記動き補償画像における、前記注目ブロックおよび前記隣接ブロックの境界部分の画素の画素値を微分した前記第２の微分値の差分値を算出する
（６）に記載の画像処理装置。
（８） ブロックの境界部分の前記差分値の平均値を算出する平均値算出部をさらに備え、
前記閾値処理部は、前記平均値算出部により算出された平均値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
（７）に記載の画像処理装置。
（９） 前記閾値処理部は、前記第１の微分値と前記第２の微分値の差分値と、画像の輝度値に対応するノイズ強度に基づいて設定される閾値とを比較することで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
（６）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記差分算出部により算出された前記差分値を微分する微分処理部をさらに備え、
前記閾値処理部は、前記微分処理部により算出された微分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
（１）に記載の画像処理装置。
（１１） 前記微分処理部は、注目ブロックおよび隣接ブロックの境界部分の前記差分値を微分する
（１０）に記載の画像処理装置。
（１２） ブロックの境界部分の前記微分値の平均値を算出する平均値算出部をさらに備え、
前記閾値処理部は、前記平均値算出部により算出された平均値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
（１１）に記載の画像処理装置。
（１３） 前記閾値処理部は、前記微分処理部により算出された前記微分値と、画像の輝度値に対応するノイズ強度に基づいて設定される閾値とを比較することで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
（１０）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出する動き予測処理部と、
前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成する動き補償処理部と、
前記基準画像と前記動き補償画像の画素の画素値の差分値を算出する差分算出部と、
前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像にブロックノイズが含まれるか否かを判定する閾値処理部と
を備える画像処理装置の画像処理方法であって、
前記画像処理装置が、
基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出し、
前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成し、
前記基準画像と前記動き補償画像の画素の画素値の差分値を算出し、
前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像にブロックノイズが含まれるか否かを判定する
ステップを含む画像処理方法。
（１５） 基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成する動き補償処理ステップと、
前記基準画像と前記動き補償画像の画素の画素値の差分値を算出する差分算出ステップと、
前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像にブロックノイズが含まれるか否かを判定する判定ステップと
を含む処理をコンピュータに実行させるプログラム。
（１６） 基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成する動き補償処理ステップと、
前記基準画像と前記動き補償画像の画素の画素値の差分値を算出する差分算出ステップと、
前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像にブロックノイズが含まれるか否かを判定する判定ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。

１１ 画像処理装置， ３１ 動き予測処理部， ３２ 動き補償処理部， ３３ ブロックノイズ検出部， ５３ 微分処理部， ５４ 微分処理部， ５５ 差分算出部， ５６ 平均値算出部， ５７ 閾値処理部， １５１ 差分算出部， １５２ 微分処理部， １５３ 平均値算出部， ２５１ 差分算出部， ２５２ 近似処理部， ２５３ 積分処理部， ２５４ 閾値処理部

Claims (16)

1. 基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出する動き予測処理部と、
   前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成する動き補償処理部と、
   前記基準画像と前記動き補償画像の画素の画素値の差分値を算出する差分算出部と、
   前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像にブロックノイズが含まれるか否かを判定する閾値処理部と
   を備える画像処理装置。
2. 前記差分算出部は、ブロック単位の前記基準画像と前記動き補償画像の画素の画素値の差分値を算出し、
   前記差分値を、所定の関数で近似する近似処理部と、
   前記所定の関数を積分する積分処理部とをさらに備え、
   前記閾値処理部は、前記積分処理部により得られた積分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
   請求項１に記載の画像処理装置。
3. 前記差分算出部は、前記基準画像と前記動き補償画像の、注目ブロックにおいて隣接ブロックに隣接する境界部分の画素の画素値の差分値を算出する
   請求項２に記載の画像処理装置。
4. 前記差分算出部は、前記基準画像と前記動き補償画像の、注目ブロックにおいて隣接ブロックに隣接する境界部分の画素を間引いた画素の画素値の差分値を算出する
   請求項３に記載の画像処理装置
5. 前記閾値処理部は、前記積分処理部により得られた積分値と、画像の輝度値に対応するノイズ強度に基づいて設定される閾値とを比較することで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
   請求項２に記載の画像処理装置。
6. 前記差分算出部は、前記基準画像の画素の画素値を微分した第１の微分値と、前記動き補償画像の画素の画素値を微分した第２の微分値と差分値を算出し、
   前記閾値処理部は、前記第１の微分値と前記第２の微分値の差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
   請求項１に記載の画像処理装置。
7. 前記差分算出部は、前記基準画像における、注目ブロックおよび隣接ブロックの境界部分の画素の画素値を微分した前記第１の微分値と、前記動き補償画像における、前記注目ブロックおよび前記隣接ブロックの境界部分の画素の画素値を微分した前記第２の微分値の差分値を算出する
   請求項６に記載の画像処理装置。
8. ブロックの境界部分の前記差分値の平均値を算出する平均値算出部をさらに備え、
   前記閾値処理部は、前記平均値算出部により算出された平均値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
   請求項７に記載の画像処理装置。
9. 前記閾値処理部は、前記第１の微分値と前記第２の微分値の差分値と、画像の輝度値に対応するノイズ強度に基づいて設定される閾値とを比較することで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
   請求項６に記載の画像処理装置。
10. 前記差分算出部により算出された前記差分値を微分する微分処理部をさらに備え、
    前記閾値処理部は、前記微分処理部により算出された微分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
    請求項１に記載の画像処理装置。
11. 前記微分処理部は、注目ブロックおよび隣接ブロックの境界部分の前記差分値を微分する
    請求項１０に記載の画像処理装置。
12. ブロックの境界部分の前記微分値の平均値を算出する平均値算出部をさらに備え、
    前記閾値処理部は、前記平均値算出部により算出された平均値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
    請求項１１に記載の画像処理装置。
13. 前記閾値処理部は、前記微分処理部により算出された前記微分値と、画像の輝度値に対応するノイズ強度に基づいて設定される閾値とを比較することで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
    請求項１０に記載の画像処理装置。
14. 基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出する動き予測処理部と、
    前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成する動き補償処理部と、
    前記基準画像と前記動き補償画像の画素の画素値の差分値を算出する差分算出部と、
    前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像にブロックノイズが含まれるか否かを判定する閾値処理部と
    を備える画像処理装置の画像処理方法であって、
    前記画像処理装置が、
    基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出し、
    前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成し、
    前記基準画像と前記動き補償画像の画素の画素値の差分値を算出し、
    前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像に前記ブロックノイズが含まれるか否かを判定する
    ステップを含む画像処理方法。
15. 基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成する動き補償処理ステップと、
    前記基準画像と前記動き補償画像の画素の画素値の差分値を算出する差分算出ステップと、
    前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像にブロックノイズが含まれるか否かを判定する判定ステップと
    を含む処理をコンピュータに実行させるプログラム。
16. 基準画像および参照画像から、画像を構成するブロック単位の動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトルを用いて前記参照画像の動き補償を行うことで、動き補償画像を生成する動き補償処理ステップと、
    前記基準画像と前記動き補償画像の画素の画素値の差分値を算出する差分算出ステップと、
    前記差分値に対して閾値処理を施すことで、ブロック単位の前記動き補償画像にブロックノイズが含まれるか否かを判定する判定ステップと
    を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。

Images