JP2007189657A

JP2007189657A - 画像評価装置、画像評価方法及びプログラム

Info

Publication number: JP2007189657A
Application number: JP2006183349A
Authority: JP
Inventors: Shunichi Kimura; 俊一木村
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2005-12-16
Filing date: 2006-07-03
Publication date: 2007-07-26
Also published as: US20070140590A1; CN100579170C; CN101014079A; KR20070064393A; US8135232B2; KR100828540B1; US20110164824A1

Abstract

【課題】画像データに施された符号化処理を適切に評価し、評価結果に応じた補正処理を行う画像処理装置を提供する。
【解決手段】画像処理装置２は、隣接画素間がブロック境界である場合の隣接画素の差分値を注目信号とし、かつ、隣接画素間がブロック境界でない場合の隣接画素の差分値をバックグラウンド信号として考えることに加え、バックグラウンド信号を取得する画素位置と、注目信号を取得する画素位置を近いものに限定する。このように位置的に近い画素の差分を用いることによって、「注目信号とバックグラウンド信号の相関が高い」という性質を利用することができ、より精度の高いブロック歪量の推定が可能となる。
【選択図】図３

Description

本発明は、入力画像の画質を判定する画像評価装置に関するものである。特に、ＪＰＥＧによって付与された画像歪量を推定する画像評価装置に関する。

ＪＰＥＧなどの符号化処理による画質劣化を評価する方法として、ブロック境界画素の差分値のヒストグラムと、非ブロック境界領域の隣接画素の差分値のヒストグラムを取得し、これら二種類のヒストグラムの差を検証する方式である。
例えば、特許文献１は、上記２種類のヒストグラムの差分の絶対値和を検証する方法を開示する。
また、特許文献２は、上記２種類のヒストグラムの最頻値の違いを検証する方法を開示する。
特開２０００−１５１４１８号公報特開平８−７９７５２号公報

本発明は、上述した背景からなされたものであり、画像データに施された符号化処理を適切に評価する画像評価装置を提供することを目的とする。

［画像評価装置］
上記目的を達成するために、本発明にかかる画像評価装置は、入力された画像から、抽出画素領域として、符号処理ブロックの境界位置にあるブロック境界画素ペア、及び、符号処理ブロックの境界位置以外の位置にある非ブロック境界画素ペアを抽出する画素抽出手段と、抽出されたブロック境界画素ペアの差分値、及び、非ブロック境界画素ペアの差分値を算出するペア内差分算出手段と、抽出領域ブロック歪量として、ブロック境界画素ペアの差分値と非ブロック境界画素ペアの差分値との差分値を算出するペア間差分算出手段と、前記ペア間差分算出手段により算出された差分値に基づいて、入力された画像に関するブロック歪量を評価する評価手段とを有する。

好適には、前記画素抽出手段は、非ブロック境界画素ペアを複数抽出し、前記ペア内差分算出手段は、抽出された複数の非ブロック境界画素ペアそれぞれの差分値を算出し、算出された複数の差分値の平均値を非ブロック境界画素ペアの差分値とする。

好適には、画像全体のブロック歪量は、抽出領域ブロック歪量の平均値である。

好適には、画像全体のブロック歪量は、抽出領域ブロック歪量の平均値を抽出領域ブロック歪量の標準偏差で割った値である。

好適には、入力画像の階調変化量に基づいて、非エッジ領域を判定する平坦画素領域判定手段をさらに有し、前記画素抽出手段は、前記平坦画素領域判定手段により非エッジ領域であると判定された画像領域から、ブロック境界画素ペア、及び、非ブロック境界画素ペアを抽出する。

好適には、前記平坦画素領域判定手段は、抽出画素領域の画素値の最大値と最小値の差を用いて、非エッジ領域であるか否かを判定する。

好適には、前記平坦画素領域判定手段は、ある符号処理ブロック内にある抽出画素領域の画素値の最大値と最小値の差分値と、他の符号処理ブロック内にある抽出画素領域の画素値の最大値と最小値の差分値とを算出し、算出された複数の差分値のうちの最大値を用いて判定を行う。

好適には、前記平坦画素領域判定手段は、ある符号処理ブロック内にある抽出画素領域の画素値の最大値と最小値の差分値と、他の符号処理ブロック内にある抽出画素領域の画素値の最大値と最小値の差分値とを算出し、算出された複数の差分値の平均値を用いて判定を行う。

好適には、前記画素抽出手段は、ブロック境界画素ペア及び非ブロック境界画素ペアそれぞれのペア画素間の相対位置が同じになるように抽出を行う。

好適には、前記画素抽出手段は、ブロック境界画素ペア及び非ブロック境界画素ペアそれぞれのペア画素間の相対位置が少なくとも９０度回転すれば同じになるように抽出を行う。

好適には、前記画素抽出手段は、ブロック境界画素ペア及びブロック境界画素ペアの左右あるいは上下各１画素の計４画素を抽出する。

好適には、前記画素抽出手段は、横方向、あるいは、縦方向のブロック境界画素ペアのみを抽出する。
好適には、前記画素抽出手段は、一部の行あるいは列のみのブロック境界画素ペアのみを抽出する。
好適には、前記画素抽出手段は、一部のブロック境界のみのブロック境界画素ペアのみを抽出する。

また、本発明にかかる画像評価装置は、入力された画像において、既定サイズのブロックを設定するブロック設定手段と、前記ブロック設定手段により設定されたブロックに基づいて、入力された画像の階調段差を評価する段差評価手段と、画像における位相又はサイズが異なる複数種類のブロックについて、入力された画像の階調段差を評価するように前記ブロック設定手段及び前記段差評価手段を制御する制御手段と、前記段差評価手段により複数種類のブロックそれぞれについて評価された階調段差に基づいて、入力された画像の階調段差に関する評価値を生成する評価値生成手段とを有する。
なお、ブロック設定手段によるブロックの設定は、仮想的なブロック分割処理を含み、必ずしも、現実に入力画像をブロックに分割する必要はない。

好適には、前記評価値生成手段は、複数種類のブロックそれぞれについて算出された評価値の中から、最大値又は最小値を、入力された画像の評価値として選択する。
好適には、前記段差評価手段は、入力された画像から、抽出画素領域として、前記ブロック設定手段により設定されたブロックの境界位置にあるブロック境界画素ペア、及び、符号処理ブロックの境界位置以外の位置にある非ブロック境界画素ペアを抽出する画素抽出手段と、抽出されたブロック境界画素ペアの差分値、及び、非ブロック境界画素ペアの差分値を算出するペア内差分算出手段と、抽出領域ブロック歪量として、ブロック境界画素ペアの差分値と非ブロック境界画素ペアの差分値との差分値を算出するペア間差分算出手段と、前記ペア間差分算出手段により算出された差分値に基づいて、入力された画像に関するブロック歪量を評価する評価手段とを含み、前記評価値生成手段は、複数種類のブロックそれぞれについて評価されたブロック歪量に基づいて、入力された画像の階調段差に関する評価値を生成する。

また、本発明にかかる画像評価方法は、入力された画像から、抽出画素領域として、符号処理ブロックの境界位置にあるブロック境界画素ペア、及び、符号処理ブロックの境界位置以外の位置にある非ブロック境界画素ペアを抽出し、抽出されたブロック境界画素ペアの差分値、及び、非ブロック境界画素ペアの差分値を算出し、抽出領域ブロック歪量として、ブロック境界画素ペアの差分値と非ブロック境界画素ペアの差分値との差分値を算出し、算出されたペア間の差分値に基づいて、入力された画像に関するブロック歪量を評価する。

また、本発明にかかるプログラムは、入力された画像から、抽出画素領域として、符号処理ブロックの境界位置にあるブロック境界画素ペア、及び、符号処理ブロックの境界位置以外の位置にある非ブロック境界画素ペアを抽出するステップと、抽出されたブロック境界画素ペアの差分値、及び、非ブロック境界画素ペアの差分値を算出するステップと、抽出領域ブロック歪量として、ブロック境界画素ペアの差分値と非ブロック境界画素ペアの差分値との差分値を算出するステップと、算出されたペア間の差分値に基づいて、入力された画像に関するブロック歪量を評価するステップとをコンピュータに実行させる。

本発明の画像評価装置によれば、画像データに施された符号化処理を適切に評価することができる。

まず、本発明の理解を助けるために、その背景及び概略を説明する。
画像データに対する圧縮度合い（圧縮率、量子化間隔など）によって、復号化された画像データで生ずる画質劣化の度合いが異なる。したがって、このような画質劣化を補正する画像処理は、圧縮度合いによって切り替えることが望ましい。

ここで、入力されるデータが符号データである場合には、符号データに含まれる符号化パラメータ（スケーリングファクタなど）などから、圧縮度合いを評価することは可能であるが、入力データが符号データではなくて、既に復号化された画像データである場合には、符号化パラメータを得ることができない。
また、たとえ符号データから符号化パラメータが得られたとしても、画像データに対して符号化処理が複数回施されている場合には、この符号化パラメータは、直近の符号化処理における圧縮度合いを示すのみであり、複数の符号化処理で蓄積した画質劣化に相当する圧縮度合いを示すものではない。

このような問題点を解決するために、ＪＰＥＧ符号化処理によって発生した画像歪量を、画像データから推定する方法が提案されている。特に、画像歪の中で視覚的に顕著で問題となっているブロック歪を検出する方式が提案されている。
例えば、特許文献１及び特許文献２は、ブロックの境界部にある画素の差分値のヒストグラムと、ブロック境界部以外の領域の隣接画素の差分値のヒストグラムを取得し、これら二種類のヒストグラムの差を検証する方式を提案する。
これらの方式は、二種類の差分値のヒストグラムを画像全体に渡って取得し、ニ種類のヒストグラムの差が大きな場合には、ブロック歪が大きいと判断するものである。すなわち、「隣接画素間がブロック境界でない場合の隣接画素の差分値」をバックグラウンド信号として考えて、注目信号である「隣接画素間がブロック境界である場合の隣接画素の差分値」とバックグラウンド信号との差が有意であるかどうかを見ていることになる。

このようにヒストグラムの差を見る場合、次のような問題点がある。
画像全体に渡って取得したニ種類のヒストグラム間の違いが小さいと、ブロック歪量を良好に検出できなくなる。特に、画像の一部で乱雑な部分が存在している場合、その乱雑な部分にブロック歪が紛れてしまい、ヒストグラムの違いが小さくなってしまう。

そこで、本実施形態における画像処理装置２は、隣接画素の差分値のヒストグラムを作成するのではなく、「隣接画素間がブロック境界である場合の隣接画素の差分値」を注目信号とし、かつ、「隣接画素間がブロック境界でない場合の隣接画素の差分値」をバックグラウンド信号として考えることに加え、バックグラウンド信号を取得する画素位置と、注目信号を取得する画素位置を近いものに限定する。
このように位置的に近い画素の差分を用いることによって、「注目信号とバックグラウンド信号の相関が高い」という性質を利用することができ、より精度の高いブロック歪量の推定が可能となる。
なお、一般に画像において、近傍の画素値間の相関が高いという事実に関しては、様々な報告がなされている。例えば、「昭和５９年初版第５刷発行、榎本肇編著『画像の情報処理』コロナ社 64ページ」において、画像の自己相関関数が示されている。この自己相関関数のグラフを参照することにより、近傍の画素間の相関が高いことが分かる。また、画素値の相関が高いことから、画素値差分の相関も高いと考えることができる。
より具体的には、画像処理装置２は、以下のような処理を行う。ブロック境界の２画素(ブロック境界画素ペア)を抽出して、その差分値を計算する。次に、上記画素の近傍であって、しかもブロック境界ではない２画素を、非ブロック境界画素ペアとする。このような非ブロック境界画素ペアを１ペアあるいは複数ペア抽出して、その差分値を計算する。
次に、上記非ブロック境界画素ペアの差分値の平均値を計算する。次に、ブロック境界画素値の差分値と、非ブロック境界画素ペアの差分値の平均値との差分を計算する。最終的に、上記差分値の絶対値の平均値をブロック歪量とする。
ただし、上記平均値を算出するにあたって、ブロック境界画素ペアと非ブロック境界画素ペアの画素値の最大値と最小値を求め、最大値と最小値の差分を計算する。最大値と最小値の差分が大きな場合、乱雑な画像領域であると判断する。このような画像領域は歪量計算(平均値計算)に使用しない。

［ハードウェア構成］
まず、本実施形態における画像処理装置２（画像評価装置）のハードウェア構成を説明する。
図１は、本発明にかかる画像評価方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図１に例示するように、画像処理装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＨＤＤ・ＣＤ装置などの記録装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６から構成される。
画像処理装置２は、例えば、プリンタ装置１０の内部に設けられており、通信装置２２又は記録装置２４などを介して画像データを取得し、取得された画像データから符号化処理による画質劣化を補正する。

［画像処理プログラム］
図２は、制御装置２０（図３）により実行される画像処理プログラム５の機能構成を例示する図である。
図２に例示するように、画像処理プログラム５は、本発明にかかる画像評価方法を実現する画像評価ユニット５００と、画像評価ユニット５００による評価結果に基づいて画像データを補正する画像補正ユニット６００とを有する。
また、画像評価ユニット５００は、画素ペア抽出部５１０、平坦領域判定部５２０、ブロック境界差分取得部５３０、非ブロック境界差分取得部５４０、抽出領域歪量算出部５５０、及び画像全体歪量算出部５６０を含む。

画素ペア抽出部５１０は、画像が入力されると、入力された画像データを８×８画素ブロックに分割し、分割された各画素ブロックから、ブロック境界画素ペアと非ブロック境界画素ペアとを抽出する。
例えば、画素ペア抽出部５１０は、図３（Ａ）に例示するように、入力画像を８×８画素ブロックに分割し、分割された８×８画素ブロックのうち、互いに隣接するブロック間で、８つのブロック境界画素ペアを抽出する。
本例の画素ペア抽出部５１０は、図３（Ｂ）に例示するように、隣接する２つのブロックから、a,b,c,dの４画素を、ブロック境界画素ペア、及び、非ブロック境界画素ペアとして抽出する。すなわち、画素ペア抽出部５１０は、ブロック境界画素ペアと、非ブロック境界画素ペアとを同時に抽出する。

入力画像のサイズが３２×３２の場合に抽出されるブロック境界画素ペア及び非ブロック境界画素ペアを図４に例示する。入力画像のサイズが３２×３２の場合、図４に例示するような画素領域が抽出される。
なお、上記画素領域は、一度に全ての領域を抽出する必要はない。処理を行う場合には、図３に例示するようなa,b,c,dの４画素だけを抽出すればよい。各４画素を抽出した処理を終了してから、次の４画素抽出処理を行えばよい。
さて、ここで、説明の便宜上、上記４画素の画像領域に番号Iを与える。I=1,2, ..., MaxIとする。以下、この４画素領域を抽出画素領域Iとする。また、a,b,c,dは、画素a,b,c,dの画素値を示すものとする。また、抽出画像領域Iのブロック歪強度をE(I)とする。以下、E(I)の取得方法を説明する。

平坦領域判定部５２０（図２）は、以下の式により、抽出画素領域Iの平坦度H(I)を算出する。
H(I)= max(a,b,c,d)-min(a,b,c,d)
なお、max(x0,x1,...)は、x0,x1,...の中の最大値を求める関数である。また、min(x0,x1,...)は、x0,x1,...の中の最小値を求める関数である。

ブロック境界差分取得部５３０（図２）は、以下の式により、ブロック境界差分値B(I)を算出する。
B(I)=abs(b-c)
なお、abs(x)は、ｘの絶対値を求める関数である。

非ブロック境界差分取得部５４０は、以下の式により、非ブロック境界画素ペアの差分値N(I)を算出する。
N(I)={abs(a-b)+abs(c-d)}/2

抽出領域歪量算出部５５０は、以下の式により、抽出領域Iのブロック歪量E(I)を算出する。
E(I)=B(I)-N(I)

画像全体歪量算出部５６０は、以下の式により、画像全体のブロック歪量BNを算出する。
BN=mean(E)/ｓｔｄ(E)
なお、mean(E)は、E（I）の平均値である。また、std(E)は、E(I)の標準偏差である。

また、画像全体歪量算出部５６０は、予め閾値TH1を用意しておき、平坦度H(I)が閾値TH1よりも小さくなる抽出領域Iのみを選択し、選択された抽出領域Iのみを用いて、上記平均値mean(E)及び標準偏差std(E)を算出する。これは、平坦な領域のみを用いてブロック歪量を算出するようにするためである。

［動作］
上記画像評価ユニット５００の動作は、図５に例示するフローチャートで実現される。なお、図５において、sqrt(ｘ)は、ｘの平方根を取得する関数である。また、全てのIでH(I)＞=TH1となる場合（すなわちNumI=0の場合）には、ブロック歪量BNが取得不可能であるとする。

［実験結果］
次に、上記画像処理装置２による画像評価処理の実験結果を説明する。
実験には、１〜３３番までの３３枚の画像を用いた。
１〜３３番の実験画像を目視すると、１５番及び１６番の画像のブロック歪量が他の画像と比較して小さいようにみえる。
したがって、上記画像処理装置２による画像評価処理により、画像１５番及び１６番をブロック歪量が小さい画像として検出することができればよい。
図６は、画像処理装置２により１〜３３の画像から検出されたブロック歪量を示すグラフである。
図６からわかるように、画像１５と画像１６のブロック歪量が他の画像と比べて特に小さい。これは、目視による評価結果と一致している。すなわち、本実施形態における画像処理装置２がブロック歪量を適切に評価できていることがわかる。

［変形例１］
上記実施形態では、BNを求めるときにEの平均値をEの標準偏差で割っている。標準偏差で割るのは、Eの平均値を正規化したいためである。つまり、E（I）が大きく変動するような画像に対しては、mean(E)の値の意義が小さい。E（I）の変動が小さい画像に対しては、mean(E)の値の意義が大きいと考えているからである。
ところが、上記実施形態に示すように、平坦画素領域のみに対して、BNの算出を行う場合、図７に示すように、標準偏差の値は、画像によってあまり変動しない。そのため、mean(E)をstd(E)で割る必要性が小さいと考えられる。
そこで、変形例１においては、
BN=mean(E)
として画像全体のブロック歪量を求める。

図８は、BN=mean(E)/std(E)として算出したブロック歪量と、BN=mean(E)として算出したブロック歪量とを比較する図であり、図８（Ａ）は、BN=mean(E)/std(E)として算出した結果を示し、図８（Ｂ）は、BN=mean(E)として算出した結果を示す。
図８を参照して分かるように、BN=mean(E)としても、ほぼ同様の結果を得ることができる。

［変形例２］
上記実施形態では、図４に示されるように、全てのブロック境界画素ペアを抽出したが、全てのブロック境界画素ペアを抽出する必要はない。
例えば、変形例２では、画素ペア抽出部５１０が、図９（Ａ）に例示するように、横方向の画素ペアのみを抽出する。
この場合の実験結果を図１０に示す。図１０を参照して分かるように、横方向の画素ペアのみでも十分な精度でブロック歪量を検出することができる。
なお、画素ペア抽出部５１０は、図９（Ｂ）に例示するように、縦方向の画素ペアのみを抽出してもよい。

また、画素ペア抽出部５１０は、図１１（Ａ）に例示するように、数行おきにサンプリングした抽出処理を行ってもよい。Nr行おきに画素ペアをサンプリングすると、図１１（Ａ）は、横方向のみのサンプリングで、かつ、Nr=2の場合に相当する。
この場合の実験結果を図１２に示す。図１２（Ａ）は、横方向の全画素ペアが抽出された場合に相当し、図１２（Ｂ）は、横方向の画素ペアが２画素おきに抽出された場合に相当し、図１２（Ｃ）は、横方向の画素ペアが４画素おきに抽出された場合に相当する。
図１２に示されたグラフより、ラインサンプリングを行っても性能劣化は小さいと考えられる。

また、画素ペア抽出部５１０は、さらに、図１１（Ｂ）に例示するように、処理ブロックをサンプリングしてもよい。Nb×Nbブロックから１ブロックのみサンプリングして検証する。なお、図１１（Ｂ）は、横方向のみのサンプリングで、かつ、Nr=4、Nb=2のサンプリングの場合に相当する。
この場合の実験結果を図１３に示す。図１３（Ａ）は、Nr=4、Nb=1のサンプリングの場合（すなわち、ブロック単位でのサンプリングを行わない場合）に相当し、図１３（Ｂ）は、Nr=4、Nb=2のサンプリングの場合に相当する。
図１３に示されたグラフより、ブロックサンプリングを行っても性能劣化は小さいと考えられる。

［変形例３］
上記実施形態では、図３に示されるような画素a,b,c,dをブロック境界画素ペア、及び、非ブロック境界画素ペアとして抽出したが、非ブロック境界画素ペアのパターンはこれに限らない。以下、ブロック境界画素ペアを画素b、ｃとし、ブロック境界画素ペアbcに対応する非ブロック境界画素ペアの他のパターンを説明する。
画素ペア抽出部５１０は、図１４（Ａ）に例示するように、非ブロック境界画素ペアを、a、ｂとしてもよい。この場合、非ブロック境界画素の差分値の平均値を取得する必要がない。
また、画素ペア抽出部５１０は、図１４（Ｂ）に例示するように、非ブロック境界画素ペアを画素a、ｄとしてもよい。すなわち、非ブロック境界画素ペアに画素bが含まれなくても構わない。本図では、画素dと画素bとが接していないが、もちろん接していてもよい。
また、画素ペア抽出部５１０は、図１４（Ｃ）に例示するように、複数の非ブロック境界画素ペアを抽出してもよい。また、画素ぺア抽出部５１０は、図１４（Ｄ）に例示するように、非ブロック境界画素ペアを、「aとd」、「ｄとe」、「eとb」の３種類と考えることができる。

また、画素ペア抽出部５１０は、図１４（Ｅ）に例示するように、ブロック境界画素ペアと非ブロック境界画素ペアとを互いに異なるラインから抽出してもよい。ただし、ブロック境界画素ペア間の相対位置関係と、非ブロック境界画素ペア間の相対位置関係は、同じである必要がある。例えば、図１４（Ｅ）に例示するように、画素bcが左右に隣あっている場合には、画素adも左右に隣あっているようにする。
あるいは、図１４（Ｆ）に例示するように、画素ペアの相対位置関係が９０度回転したものを許容することもできる。

［変形例４］
上記実施形態の平坦領域判定部５２０は、抽出画素領域Iの画素値の最大値と最小値の差をH(I)とした。
しかしながら、平坦領域（非エッジ領域）の判定方法は、他の方法であってもよい。例えば、非ブロック境界画素ペアからなる領域の最大値と最小値の差をH(I)としてもよい。
図１５（Ａ）に例示する場合には、
H(I)=max(a1,d1,a2,d2)- min(a1,d1,a2,d2)
とする。

また、平坦領域判定部５２０は、同一ブロック内に存在する画素領域の最大値と最小値の差をH(I)として算出してもよい。ここで、境界を接する二つのブロックが存在するので、最大値と最小値の差は２種類計算できる。その２種類の差の中で最大のものをH(I)とする。
例えば、図１５（Ｂ）に例示する場合には、
H(I)=max[{max(a1,d1)- min(a1,d1)}, {max(a2,d2)- min(a2,d2)}]
=max{abs(a1-d1), abs(a2-d2)}
となる。

あるいは、図１５（Ｃ）に例示する場合に、
H(I)=max[{max(a,b)- min(a,b)}, {max(c,d)- min(c,d)}]
=max{abs(a-b), abs(c-d)}

あるいは、最大値ではなく、平均値でも良い。
H(I)={max(a,b)- min(a,b)}, {max(c,d)- min(c,d)}/2
={abs(a-b), abs(c-d)}/2
あるいは、抽出画素領域Iの画素値の分散あるいは、標準偏差をH(I)としてもよい。

［変形例５］
上記実施形態及び変形例では、ＪＰＥＧ符号化処理のブロック位置が既知であることを前提として、８×８単位のブロック歪の程度をブロック歪量として算出した。
第５の変形例では、ＪＰＥＧ符号化処理のブロックの位置が不明の場合に、８×８ブロックの境界位置を検出しつつ、そのブロック歪量を算出する方法を説明する。
ブロック位置が不明となる場合としては、例えば処理対象となる元のＪＰＥＧ画像に対して、図１６に例示するようにクリッピング（切り取り）の処理を行った場合や、回転処理を行った場合などが挙げられる。

図１７は、符号化処理のブロックが縦方向にずれた画像を例示する図である。まず、図１７に例示するように、縦方向にブロック境界がずれている場合に関して説明する。
上記実施形態又は変形例で説明したように、画像処理装置２は、ブロックの境界を境にして横方向に並ぶ４つの画素（a,b,c,d）の階調段差をブロック歪算出の基本としている。したがって、画像に対して縦方向のブロック位置のずれは、ブロック歪量算出に本質的に影響しない。例えば、図１７に例示するように、縦方向にブロック位置がずれているような場合でも、算出対象となる４つの画素の位置が縦方向にずれるだけであり、ブロックの境界部分であることに変わりはなく、ブロック歪の検出は正常に行える。

図１８は、符号化処理のブロックが横方向にもずれた画像を例示する図である。次に、図１８に例示するように、横方向にもブロック境界がずれている場合に関して説明する。この場合には、横方向に並ぶ４つの画素（a,b,c,d）がブロック境界に掛からない場合が生じるため、上述してきた方法では、ブロック歪量の算出を行うことができない。
例えば、図１８に例示するように、横方向にもブロック位置がずれているような場合は、算出対象となる４つの画素の位置が横方向にもずれてしまい、ブロック境界での階調段差を拾うことができない。

そこで、第５の変形例における画像処理装置２は、画像における位相又はサイズが異なる複数種類のブロックについて、ブロック歪量を算出し、算出された複数のブロック歪量から、入力画像のブロック歪量を評価する。本例では、画像処理装置２は、ブロック歪算出の処理を、横方向に開始地点を計８位置ずらしてそれぞれ算出し、その最大値を採用する。
例えば、図１９に例示するように、画像処理装置２は、符号化処理のブロック位置が不明な画像Fに対して、上記実施形態で述べた方法で画像全体に渡ってブロック歪量BN(F,1)を算出して記憶する。このとき、図１８に例示したように、実際にブロック境界を算出できていない場合があるわけであるが、それは構わない。
次に、図１９に例示するように、画像処理装置２は、ブロック歪算出の開始位置を１画素右にずらしたところから、同様にして画像全体に渡ってブロック歪量BN(F,2)を算出して記憶する。以下、１画素ずつ右に開始位置をずらしながら、画像全体に渡ってブロック歪量を検出してゆく。
このようにして、本変形例の画像処理装置２は、１画素ずつずらしながら計８回、画像全体に渡ってブロック歪量BN(F,i)(i=1,…,8)を算出したら、その最大値を画像のブロック歪量BN(F)とし、またその最大値を与えた位置にブロック境界があると判定する。

次に、複数の位相で算出されたブロック歪量の最大値を、入力画像のブロック歪量としうる根拠を説明する。
まず、少なくとも１画素ずつずらしながら計８位置でブロック歪量を計算すれば、それらのうちのどれか一つが真に求めたいブロック歪量と一致するということは明らかである。また、上記実施形態及び変形例で説明してきたように、異なる画像間で比較した場合、ブロック歪量が大きいほどＪＰＥＧブロック歪が大きいと判断できる。そして、ブロック歪量という、８画素周期での大きな境界段差は、ＪＰＥＧブロック歪以外の要素によって生じることは稀である。これらの性質から、算出した８つの値のうちの最大値がある程度以上大きければ、それがブロック歪量そのものに相当すると考えるのが妥当である。また逆に、算出した８つの値のうちの最大値がある程度小さければ、その値はブロック歪量であるかどうか正確には判断できないものの、その最大値をブロック歪量としてしまっても、値がある程度小さいのだから問題はない。したがって、結局、値の大小に関わらず、算出した８つの値のうちの最大値をブロック歪量そのものとして問題はない。

上述の例として使用した３３枚の画像の周囲の画像フチをそれぞれ３画素ずつクリップしてから上記の最大値を採る方法でブロック歪量を算出したところ、図２０に示すように、クリップありとクリップなしとの間で、大差なくブロック歪量を算出することができた。

なお、計８位置からブロック歪量を算出できるということは、同時にブロック歪の境界位置を特定できることを意味している。したがって、画像処理装置８は、複数の位相でブロック歪量を算出し、算出された複数のブロック歪量を互いに比較することにより、符号化処理のブロック境界位置を推定してもよい。
また、上述のように、ブロック歪量は、高圧縮時のＪＰＥＧ画像で高い数値を取る特徴的な量であるため、計８位置から８つの値を算出したときに、その最大値だけが突出する場合が多い。逆に、８つの値の最大値が大きく突出していない場合には、その最大値はブロック歪量というよりも画像の構造から偶然に得られた値である可能性がある。そこで、画像処理装置２は、複数の位相でブロック歪量を算出し、算出されたブロック歪量を比較して、ブロック歪を除去するか否かを判断してもよい。
また、画像の拡大又は縮小により、符号化処理のブロックに相当する画像領域の大きさが変化した場合も、同様に、画像処理装置２は、複数のサイズのブロックについて、ブロック歪量を算出し比較することにより、真のブロック歪量を算出することができる。

［その他の変形例］
なお、平坦領域判定部５２０は必須ではない。
また、画像全体歪量算出部５６０は、上記実施形態で述べたように、E(I)の平均値を算出したが、この平均値の代わりに、E(I)の中央値、E(I)の最頻値、又は、E(I)の和(画像サイズが一定で、かつ平坦画素領域判定を行わない場合、和のみを取得すればよい)などを算出してもよい。

本発明にかかる画像評価方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。制御装置２０（図３）により実行される画像処理プログラム５の機能構成を例示する図である。抽出画素領域を例示する図である。３２×３２画素の入力画像における抽出画素領域を例示する図である。画像評価処理のフローチャートである。実施形態における画像評価処理の実験結果を示す図である。平坦領域における標準偏差のグラフである。変形例１の実験結果を示すグラフである。一方方向のみで抽出された抽出画素領域を例示する図である。横方向のみで抽出した場合の実験結果を示すグラフである。既定の間隔でサンプリングされた抽出画素領域を例示する図である。ラインサンプリングした場合の実験結果を示すグラフである。ブロックサンプリングした場合の実験結果を示すグラフである。変形例３におけるブロック境界画素ペア及び非ブロック境界画素ペアを例示する図である。変形例４における平坦領域の判定方法を説明する図である。クリッピングがなされた画像を例示する図である。縦方向のみにブロック境界位置がずれた画像を例示する図である。縦方向及び横方向にブロック境界位置がずれた画像を例示する図である。。位相をずらしてブロック歪を算出する方法を説明する図である。変形例５に関する実験結果を示すグラフである。

符号の説明

２・・・画像処理装置
５・・・画像処理プログラム
５００・・・画像評価ユニット
５１０・・・画素ペア抽出部
５２０・・・平坦領域判定部
５３０・・・ブロック境界差分取得部
５４０・・・非ブロック境界差分取得部
５５０・・・抽出領域歪量算出部
５６０・・・画像全体歪量算出部
６００・・・画像補正ユニット

Claims

入力された画像から、抽出画素領域として、符号処理ブロックの境界位置にあるブロック境界画素ペア、及び、符号処理ブロックの境界位置以外の位置にある非ブロック境界画素ペアを抽出する画素抽出手段と、
抽出されたブロック境界画素ペアの差分値、及び、非ブロック境界画素ペアの差分値を算出するペア内差分算出手段と、
抽出領域ブロック歪量として、ブロック境界画素ペアの差分値と非ブロック境界画素ペアの差分値との差分値を算出するペア間差分算出手段と、
前記ペア間差分算出手段により算出された差分値に基づいて、入力された画像に関するブロック歪量を評価する評価手段と
を有する画像評価装置。
前記画素抽出手段は、非ブロック境界画素ペアを複数抽出し、
前記ペア内差分算出手段は、抽出された複数の非ブロック境界画素ペアそれぞれの差分値を算出し、算出された複数の差分値の平均値を非ブロック境界画素ペアの差分値とする
請求項１に記載の画像評価装置。
画像全体のブロック歪量は、抽出領域ブロック歪量の平均値である
請求項１に記載の画像評価装置。
画像全体のブロック歪量は、抽出領域ブロック歪量の平均値を抽出領域ブロック歪量の標準偏差で割った値である
請求項１に記載の画像評価装置。
入力画像の階調変化量に基づいて、非エッジ領域を判定する平坦画素領域判定手段
をさらに有し、
前記画素抽出手段は、前記平坦画素領域判定手段により非エッジ領域であると判定された画像領域から、ブロック境界画素ペア、及び、非ブロック境界画素ペアを抽出する
請求項１に記載の画像評価装置。
前記平坦画素領域判定手段は、抽出画素領域の画素値の最大値と最小値の差を用いて、非エッジ領域であるか否かを判定する
請求項５に記載の画像評価装置。
前記平坦画素領域判定手段は、ある符号処理ブロック内にある抽出画素領域の画素値の最大値と最小値の差分値と、他の符号処理ブロック内にある抽出画素領域の画素値の最大値と最小値の差分値とを算出し、算出された複数の差分値のうちの最大値を用いて判定を行う
請求項５に記載の画像評価装置。
前記平坦画素領域判定手段は、ある符号処理ブロック内にある抽出画素領域の画素値の最大値と最小値の差分値と、他の符号処理ブロック内にある抽出画素領域の画素値の最大値と最小値の差分値とを算出し、算出された複数の差分値の平均値を用いて判定を行う
請求項５に記載の画像評価装置。
前記画素抽出手段は、ブロック境界画素ペア及び非ブロック境界画素ペアそれぞれのペア画素間の相対位置が同じになるように抽出を行う
請求項１に記載の画像評価装置。
前記画素抽出手段は、ブロック境界画素ペア及び非ブロック境界画素ペアそれぞれのペア画素間の相対位置が少なくとも９０度回転すれば同じになるように抽出を行う
請求項１に記載の画像評価装置。
前記画素抽出手段は、ブロック境界画素ペア及びブロック境界画素ペアの左右あるいは上下各１画素の計４画素を抽出する
請求項１に記載の画像評価装置。
前記画素抽出手段は、横方向、あるいは、縦方向のブロック境界画素ペアのみを抽出する
請求項１に記載の画像評価装置。
前記画素抽出手段は、一部の行あるいは列のみのブロック境界画素ペアのみを抽出する
請求項１に記載の画像評価装置。
前記画素抽出手段は、一部のブロック境界のみのブロック境界画素ペアのみを抽出する
請求項１に記載の画像評価装置。
入力された画像において、既定サイズのブロックを設定するブロック設定手段と、
前記ブロック設定手段により設定されたブロックに基づいて、入力された画像の階調段差を評価する段差評価手段と、
画像における位相又はサイズが異なる複数種類のブロックについて、入力された画像の階調段差を評価するように前記ブロック設定手段及び前記段差評価手段を制御する制御手段と、
前記段差評価手段により複数種類のブロックそれぞれについて評価された階調段差に基づいて、入力された画像の階調段差に関する評価値を生成する評価値生成手段と
を有する画像評価装置。
前記評価値生成手段は、複数種類のブロックそれぞれについて算出された評価値の中から、最大値又は最小値を、入力された画像の評価値として選択する
請求項１５に記載の画像評価装置。
前記段差評価手段は、
入力された画像から、抽出画素領域として、前記ブロック設定手段により設定されたブロックの境界位置にあるブロック境界画素ペア、及び、符号処理ブロックの境界位置以外の位置にある非ブロック境界画素ペアを抽出する画素抽出手段と、
抽出されたブロック境界画素ペアの差分値、及び、非ブロック境界画素ペアの差分値を算出するペア内差分算出手段と、
抽出領域ブロック歪量として、ブロック境界画素ペアの差分値と非ブロック境界画素ペアの差分値との差分値を算出するペア間差分算出手段と、
前記ペア間差分算出手段により算出された差分値に基づいて、入力された画像に関するブロック歪量を評価する評価手段と
を含み、
前記評価値生成手段は、複数種類のブロックそれぞれについて評価されたブロック歪量に基づいて、入力された画像の階調段差に関する評価値を生成する
請求項１５に記載の画像評価装置。
入力された画像から、抽出画素領域として、符号処理ブロックの境界位置にあるブロック境界画素ペア、及び、符号処理ブロックの境界位置以外の位置にある非ブロック境界画素ペアを抽出し、
抽出されたブロック境界画素ペアの差分値、及び、非ブロック境界画素ペアの差分値を算出し、
抽出領域ブロック歪量として、ブロック境界画素ペアの差分値と非ブロック境界画素ペアの差分値との差分値を算出し、
算出されたペア間の差分値に基づいて、入力された画像に関するブロック歪量を評価する
画像評価方法。
入力された画像から、抽出画素領域として、符号処理ブロックの境界位置にあるブロック境界画素ペア、及び、符号処理ブロックの境界位置以外の位置にある非ブロック境界画素ペアを抽出するステップと、
抽出されたブロック境界画素ペアの差分値、及び、非ブロック境界画素ペアの差分値を算出するステップと、
抽出領域ブロック歪量として、ブロック境界画素ペアの差分値と非ブロック境界画素ペアの差分値との差分値を算出するステップと、
算出されたペア間の差分値に基づいて、入力された画像に関するブロック歪量を評価するステップと
をコンピュータに実行させるプログラム。