JP2014130427A - 画質推定装置、画質推定方法および画質推定プログラム - Google Patents

Abstract

【課題】画像に固有の空間周波数特徴、時間周波数特徴の影響を考慮して、より良い精度で画質推定できる画質推定装置、画質推定方法および画質推定プログラムを提供する。
【解決手段】本発明に係る画質推定装置は、画像を構成する各画素から求まる複雑度に基づいて、学習用に予め劣化させた学習用画像を分類する第１画像分類部４０と、第１画像分類部４０により分類された学習用画像と、劣化前後の学習用画像の比較により学習用画像に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化度を分類毎に学習する学習部５０と、複雑度に基づいて、検査画像を分類する第２画像分類部８０と、学習部５０による学習結果に基づいて、第２画像分類部８０により分類された検査画像の画質劣化度を分類毎に推定する推定部９０と、を有する。
【選択図】図１

Description

本発明は、画像信号を符号化した際に生じる画質劣化の度合を推定する画質推定装置、画質推定方法および画質推定プログラムに関する。

画像信号の情報量は極めて多く、伝送や蓄積を効率的に行うために、これらを符号化（圧縮）する技術が用いられている。これに伴い、画像の符号化により画質が劣化する場合の画質評価技術も多数研究されている。

画質推定方式の一つとして、非特許文献１に開示されているようなＮＲ（Ｎｏ Ｒｅｆｅｒｅｎｃｅ）方式という手法がある。

非特許文献１の推定方法では、学習用画像データベースにある学習用画像を周波数変換して、得られた変換係数の分布形状をパラメータ化して特徴ベクトルとする。そして、学習用画像に対して主観的に判断した画質劣化の評価値（以下、主観評価値という）を正解データとして、特徴ベクトルとの確率的な対応関係を学習する。ここでの学習の識別器には、たとえば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）が用いられる。そして、ＳＶＭにより学習された結果は、学習パラメータとして記憶される。また、検査画像に対して同様に特徴ベクトルを算出し、ＳＶＲ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｒｅｇｒｅｓｓｉｏｎ）により、画質を推定できる。

Ａ．Ｋ．Ｍｏｏｒｔｈｙ ａｎｄ Ａ．Ｃ．Ｂｏｖｉｋ、‘‘Ａ Ｔｗｏ−ｓｔａｇｅ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｂｌｉｎｄ Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ａｓｓｅｓｓｍｅｎｔ’’、ＩＣＩＰ２０１０、ｐｐ．２４８１−２４８４、Ｓｅｐｔ．２０１０。

しかしながら、上記の非特許文献１に記載の発明では、画像に固有の空間周波数成分を考慮せずに、単に画像を周波数変換して得られた変換係数の分布形状を特徴ベクトルとしている。

ここで、高い空間周波数の成分を間引きする符号化方式を適用した画像の画質推定について考える。この場合、符号化前から高い空間周波数成分を含まない画像と、符号化により高い空間周波数成分が失われた画像とで、変換係数の分布形状に差がない可能性が十分に有り得る。

たとえば、ＳＶＭの学習結果として、符号化により高い空間周波数成分が失われた学習用画像の特徴ベクトルと主観評価値から学習した学習パラメータを記憶しているとする。このような場合、符号化前から高い空間周波数成分を含まない検査画像をＳＶＲにより画質推定すると、画質劣化度を過大に推定してしまう恐れがある。これでは、画質推定誤差が大きい。

本発明は、上記従来技術の課題を解決するためになされたものであり、画像に固有の空間周波数特性、時間周波数特性の影響を考慮して、より良い精度で画質推定できる画質推定装置、画質推定方法および画質推定プログラムを提供することを目的とする。

上記の目的を達成するための本発明に係る画質推定装置は、第１画像分類部、学習部、第２画像分類部、推定部を有する。第１画像分類部は、画像を構成する各画素から求まる複雑度に基づいて、学習用に予め劣化させた学習用画像を分類する。学習部は、第１画像分類部により分類された学習用画像と、劣化前後の学習用画像の比較により学習用画像に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化度を分類毎に学習する。第２画像分類部は、上記複雑度に基づいて、検査画像を分類する。推定部は、学習部による学習結果に基づいて、第２画像分類部により分類された検査画像の画質劣化度を分類毎に推定する。

上記の目的を達成するための本発明に係る画質推定方法は、第１画像分類ステップ、学習ステップ、第２画像分類ステップ、推定ステップを有する。第１画像分類ステップは、画像を構成する各画素から求まる複雑度に基づいて、学習用に予め劣化させた学習用画像を分類する。学習ステップは、第１画像分類ステップにより分類された学習用画像と、劣化前後の学習用画像の比較により学習用画像に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化度を分類毎に学習する。第２画像分類ステップは、上記複雑度に基づいて、検査画像を分類する。推定ステップは、学習ステップによる学習結果に基づいて、第２画像分類ステップにより分類された検査画像の画質劣化度を分類毎に推定する。

上記の目的を達成するための本発明に係る画質推定プログラムは、上記画質推定方法を、コンピュータに実行させる。

本発明に係る画質推定装置、画質推定方法および画質推定プログラムによれば、画像を構成する各画素から求まる複雑度に基づいて分類された画像を、分類毎に画質劣化度の学習および推定を行うことにより、画像に固有の空間周波数特性、時間周波数特性の影響を考慮して、画質推定精度を向上できる。

本発明に係る画質推定装置の構成を示すブロック図である。 図１の画質推定装置の学習部の構成を示すブロック図である。 図１の画質推定装置の推定部の構成を示すブロック図である。 本発明に係る画質推定装置の動作フローチャートである。 図４の学習プロセスのサブルーチンフローチャートである。 図４の推定プロセスのサブルーチンフローチャートである。 実施形態１に係る画質推定装置の構成を示すブロック図である。 動画像を構成するフレーム画像の例を示す図である。 動画像を構成するフレーム画像の他の例を示す図である。 図８の画像の１フレーム後のフレーム画像の一例を示す図である。 図８の画像の１フレーム後のフレーム画像の他の一例を示す図である。 図９の画像の１フレーム後のフレーム画像の一例を示す図である。 図９の画像の１フレーム後のフレーム画像の他の一例を示す図である。

本発明に係る画質推定装置、画質推定方法および画質推定プログラムは、画像を構成する各画素から求まる複雑度に基づいて画像を分類し、分類毎に画質劣化度の学習および推定を行う。画像に固有の空間周波数特性、時間周波数特性が含まれている画像を、空間周波数特性、時間周波数特性が類似する画像に分類して、分類毎に画質劣化度の学習および推定を行う。

以下、添付した図面を参照しながら、本発明の画質推定装置、画質推定方法および画質推定プログラムの実施形態を説明する。

＜画質推定装置の構成＞
図１は、本発明に係る画質推定装置の構成を示すブロック図である。図２は、図１の画質推定装置の学習部の構成を示すブロック図である。図３は、図１の画質推定装置の推定部の構成を示すブロック図である。

本発明に係る画質推定装置は、図１に示すように、学習用画像データベース１０、客観画質評価値算出部２０、第１複雑度算出部３０、第１画像分類部４０、学習部５０、学習結果記憶部６０、第２複雑度算出部７０、第２画像分類部８０、推定部９０を有する。学習用画像データベース１０および学習結果記憶部６０は、メモリやハードディスク等の記録装置によって達成される。また、客観画質評価値算出部２０、第１複雑度算出部３０、第１画像分類部４０、学習部５０、第２複雑度算出部７０、第２画像分類部８０、推定部９０は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ−Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が、各種プログラムを読み込んで実行することにより達成される。ここで、プログラムとは、たとえば、画像データの画質を推定するための画質推定プログラムである。

学習用画像データベース１０は、複数組の学習用画像を予め格納している。一組の学習用画像は、符号化（圧縮）により劣化していないオリジナルのままの無劣化画像と、当該無劣化画像を符号化により画質劣化させた劣化画像と、を含む。複数組の学習用画像は、動画像を構成する複数の連続したフレーム画像であって良い。たとえば、ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの動画像であってよい。この場合、複数の無劣化画像がフレームとして連続して無劣化動画像を構成し、複数の劣化画像がフレームとして連続して劣化動画像を構成する。以下では、無劣化動画像を構成する無劣化画像を無劣化フレーム画像といい、劣化動画像を構成する劣化画像を劣化フレーム画像という。また、無劣化画像という場合には無劣化フレーム画像を含み、劣化画像という場合には劣化フレーム画像を含む。無劣化フレーム画像と、当該無劣化フレーム画像を符号化により画質劣化させた劣化フレーム画像とが一組の学習用画像をなす。学習用画像データベース１０には、このような動画像を複数格納することができる。

客観画質評価値算出部２０は、学習用画像データベース１０の一組の劣化前後の学習用画像の比較により、当該学習用画像にかかる画質劣化度を、客観的な画質評価値（以下、客観評価値という）として算出する。客観評価値は、画質評価指標として一般的なＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）やＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ ＳＩＭｉｌａｒｉｔｙ）などを用いて算出できる。

第１複雑度算出部３０は、客観画質評価値算出部２０により客観評価値を算出した一組の学習用画像のうち、劣化画像を構成する各画素から、画像を分類する指標として、複雑度を算出する。複雑度が多段階ある場合、複雑度の段階毎に第１複雑度算出部３０を用意する。

複雑度は、たとえば、画像に固有の空間周波数特性、時間周波数特性により決定できる。類似する空間周波数特性、時間周波数特性を有する画像を同段階の複雑度に分類できる。ここで、任意の範囲内の空間周波数特性値、時間周波数特性値を有する画像が、空間周波数特性、時間周波数特性が類似するとみなされる。複雑度の詳細については、後述する。

第１画像分類部４０は、第１複雑度算出部３０により算出した複雑度に基づいて、上記劣化画像を分類する。複雑度に基づく劣化画像の分類動作の詳細については、後述する。

学習部５０は、客観評価値を正解値として与え、学習用画像として用意された劣化画像について画質劣化度を学習する。すなわち、学習部５０は、学習用画像として用意された劣化画像の特徴を表す特徴ベクトルを算出する。そして、学習部５０は、特徴ベクトルから劣化画像の画質劣化度を判定するための学習モデルを生成する。なお、学習モデルは、特徴ベクトルと、客観評価値（すなわち、劣化画像の画質劣化度）と、についての確率的な対応関係を決定する数理モデルであり、たとえば、教師あり学習の一つであるＳＶＭを用いてもよい。もちろん、これに限らず、回帰関数や、ニューラルネットワーク等を用いてもよい。さらに、学習部５０は、第１画像分類部４０により分類された画像の分類数と、同数用意される。すなわち、分類毎に画質劣化度の学習を行う。

より詳細には、学習部５０は、図２に示すように、周波数変換部５１と、変換係数パラメータ化部５２と、画質学習部５３と、を有する。

周波数変換部５１は、第１画像分類部４０により分類された劣化画像に対して周波数変換を行う。周波数変換は、ウェーブレット変換、離散コサイン変換、またはフーリエ変換などを用いることができる。

変換係数パラメータ化部５２は、周波数変換部５１での周波数変換により得られた変換係数の分布形状をパラメータ化して、特徴ベクトルとする。

画質学習部５３は、変換係数パラメータ化部５２で得られた特徴ベクトルと、客観画質評価値算出部２０で算出された上記客観評価値（画質劣化度）と、を関連付ける学習を行う。具体的には、画質学習部５３は、変換係数パラメータ化部５２で得られた特徴ベクトルから劣化画像の画質劣化度を判定するための学習モデルを生成する。たとえば、画質学習部５３は、学習モデルとして、少なくとも一つ以上のパラメータ（変数）を持つ数理モデルを採用し、各特徴ベクトルを入力したときに正解値の客観評価値を出力するように数理モデルのパラメータ値を決定する。ここで決定されたパラメータ値は、学習結果パラメータとして学習結果記憶部６０に記憶される。

学習結果記憶部６０は、画質学習部５３の学習結果、すなわち、上記一組の学習用画像の学習結果パラメータを記憶する。学習結果記憶部６０は、学習部５０と同数用意される。すなわち、画質劣化度の学習結果を分類毎に記憶する。

第２複雑度算出部７０は、第１複雑度算出部３０と同一の複雑度を検査画像から算出する。第２複雑度算出部７０に入力される検査画像は、画質劣化度の検査対象となる画像である。したがって、検査画像は、学習用画像とは異なり、無劣化画像および劣化画像の対ではない。検査画像は、動画像を構成する複数の連続したフレーム画像であって良い。複雑度が多段階ある場合、複雑度の段階毎に第２複雑度算出部７０を用意する。

第２画像分類部８０は、第２複雑度算出部７０により算出した複雑度に基づいて、検査画像を分類する。複雑度に基づく検査画像の分類動作の詳細については、後述する。

推定部９０は、学習結果記憶部６０に記憶されている学習結果に基づいて、第２画像分類部８０により分類された検査画像にかかる画質劣化度を推定する。すなわち、推定部９０は、学習部５０によって生成された学習モデルに、分類された検査画像を入力し、得られた出力値を分類された検査画像の画質劣化度とする。なお、学習モデルに含まれるパラメータには、学習結果記憶部６０に記憶された学習結果パラメータが用いられる。推定部９０は、学習結果記憶部６０と同数用意される。すなわち、推定部９０は、分類毎に学習結果記憶部６０に記憶されている学習結果に基づいて、画像劣化度を推定する。このため、第２画像分類部８０により分類された検査画像は、その分類により、適切な推定部９０に割り当てられる。

より詳細には、推定部９０は、図３に示すように、周波数変換部９１と、変換係数パラメータ化部９２と、画質推定部９３と、を有する。

周波数変換部９１は、第２画像分類部８０により分類された検査画像に対して周波数変換を行う。周波数変換には、学習部５０と同様の変換、すなわち、ウェーブレット変換、離散コサイン変換、またはフーリエ変換などを用いることができる。周波数変換部９１は、周波数変換部５１と同一処理を行うため、周波数変換部５１により代替処理することもできる。

変換係数パラメータ化部９２は、周波数変換部９１での周波数変換により得られた変換係数の分布形状をパラメータ化して、特徴ベクトルとする。変換係数パラメータ化部９２は、変換係数パラメータ化部５２と同一処理を行うため、変換係数パラメータ化部５２により代替処理することもできる。

画質推定部９３は、変換係数パラメータ化部９２で得られた特徴ベクトルを、学習結果記憶部６０に記憶された学習結果パラメータによって決定される学習モデルに入力して、分類毎に検査画像の画質劣化度を推定する。例えば、ＳＶＲ手法を用いることができる。

＜画質推定装置の動作＞
次に、本発明に係る画質推定装置の動作について説明する。画質推定装置の動作は、たとえば、ＣＰＵが画質推定プログラムを実行することで達成できる。

図４は、本発明に係る画質推定装置の動作フローチャートである。図４に示す動作は、画質推定プログラムのトップクラスに位置するメインプログラムの処理手順を示している。

（ステップＳ１００）
モード読取ステップとして、メインプログラムを実行するＣＰＵは、画質推定プログラムの実行モードを読み取る。実行モードは、ユーザーがキーボード、マウス、タッチパネル等の入力装置を使って設定できる。実行モードには、学習モード、推定モードを含むが、必要に応じて他のモードを含むこともできる。

（ステップＳ２００）
学習モード判断ステップとして、ＣＰＵにより、実行モードが学習モードであるか否かについて判断する。学習モードである場合は、ステップ３００に移行する。学習モードではない場合は、ステップ４００に移行する。

（ステップＳ３００）
学習プロセスステップとして、客観画質評価値算出部２０、第１複雑度算出部３０、第１画像分類部４０、学習部５０により、学習用画像に対する画質劣化度の学習を行う。学習プロセスステップＳ３００の詳細な処理は、図５のフローチャートを用いて後述する。

（ステップＳ４００）
推定モード判断ステップとして、ＣＰＵにより、実行モードが推定モードであるか否かについて判断する。推定モードである場合は、ステップ５００に移行する。推定モードではない場合は、ステップ６００に移行する。

（ステップＳ５００）
推定プロセスステップとして、第２複雑度算出部７０、第２画像分類部８０、推定部９０により、検査画像に対する画質劣化度の推定を行う。推定プロセスステップＳ５００の処理は、図６のフローチャートを用いて後述する。

（ステップＳ６００）
メインプログラム終了判断ステップとして、ＣＰＵにより、画質推定プログラムを終了させるか否かについて判断する。画質推定プログラムを終了させる場合は、ステップ７００に移行する。画質推定プログラムを終了させない場合は、最初に戻って次の画質劣化度の学習または推定を行う。例えば、動画像を構成する複数組の学習用画像の学習または検査画像の推定を終えて、学習用データベース１０に格納されている異なる動画像を構成する複数組の学習用画像の学習または検査画像の推定を行うことができる。

（ステップＳ７００）
終了ステップとして、ＣＰＵにより、画質推定プログラムの終了処理を実行する。学習モードまたは推定モードにおいて、プログラム実行の中で使用された変数のアドレス空間の開放や、外部とのアクセスの切断などの処理を行うことができる。

以上において、一つのＣＰＵですべての処理を行う態様を想定して説明したが、実行モード毎に別のＣＰＵで処理することもできる。この場合、ＣＰＵ間の相互アクセス処理が必要となる。ただし、機能ごとに別のチップに搭載されるＣＰＵを使用することにより、組合せの自由や機能のバージョンアップのし易さ、画質推定を必要とする終端機器で学習結果のみを利用して、学習プロセス自体は必要としないなどといった対応が柔軟にできる。

次に、学習プロセスステップＳ３００、推定プロセスステップＳ５００の詳細の処理を示すサブルーチンフローチャートについて説明する。

図５は、図４の学習プロセスのサブルーチンフローチャートである。

（ステップＳ３１０）
ＣＰＵは、学習用画像データベース１０に予め格納されている複数組の学習用画像から、学習させる学習用画像の組数Ｌを取得する。画質劣化度を学習させる学習用画像の母数の数とジャンルが多いほど、より良い推定精度が得られるが、予め検査画像のジャンルが分かる場合や、必要な推定精度などに応じて、適宜選択しながら決めることができる。特に動画像を構成する複数の連続したフレーム画像の場合は、組数Ｌは全フレーム画像の枚数を指すこともできれば、一定の規則、たとえば、一定の時間間隔でサンプリングされたフレーム画像の枚数を指すこともできる。

（ステップＳ３２０）
ＣＰＵは、Ｌ組の学習用画像のうち、一組の学習用画像を選択して、選択された学習用画像に対して第１複雑度算出部３０により、画像を分類する指標としての複雑度を算出する。

複雑度は、静止画像の場合は画面内複雑度をいう。画面内複雑度は、画像に固有の空間方向の複雑度である。画面内複雑度、たとえば、画像を構成する各画素の輝度または色から算出可能な、画像における輝度分散や輝度コントラスト、空間方向周波数分布、エッジ、フラット、テクスチャなどの画像構造の分布などを用いて求められる。一方、動画像の場合の複雑度は上記画面内複雑度以外に、画面間複雑度も含む。画面間複雑度は、複数の連続したフレーム画像に固有の時間方向の複雑度である。画面間複雑度は、たとえば、フレーム画像を構成する各画素の輝度または色から算出可能なフレーム間差分値、時間方向周波数分布などを用いて求められる。

後述の＜実施形態１＞で、複雑度として画面内複雑度の輝度分散値と画面間複雑度のフレーム間輝度差分値を算出する方法を詳細に説明する。

（ステップＳ３３０）
ＣＰＵは、第１複雑度算出部３０により算出した複雑度に基づいて、上記劣化画像を分類する。後述の＜実施形態１＞で、上記画面内複雑度の輝度分散値と画面間複雑度のフレーム間輝度差分値に基づく画像の分類方法を詳細に説明する。

（ステップＳ３４０）
ＣＰＵは、第１画像分類部４０により分類された学習用画像に対して学習部５０により画質劣化度の学習を行う。周波数変換部５１により、分類された劣化画像に対して周波数変換を行い、周波数変換により得られた変換係数の分布形状を変換係数パラメータ化部５２によりパラメータ化して、特徴ベクトルとする。当該特徴ベクトルと、客観画質評価値算出部２０で算出された当該学習用画像に与えられる客観評価値（画質劣化度）との関連付けを、画質学習部５３によりＳＶＭを用いて学習する。具体的には、変換係数パラメータ化部５２で得られた特徴ベクトルから劣化画像の画質劣化度を判定するための学習モデルを生成する。例えば、画質学習部５３は、学習モデルとして、少なくとも一つ以上のパラメータ（変数）を持つ数理モデルを採用し、各特徴ベクトルを入力したときに正解値の客観評価値を出力するように数理モデルのパラメータ値を決定する。

（ステップＳ３５０）
ＣＰＵは、分類された学習用画像の学習結果、すなわち、生成した学習モデルのパラメータ値を、学習結果パラメータとして学習結果記憶部６０に記憶する。

（ステップＳ３６０）
ＣＰＵは、ステップＳ３１０で取得されたＬ個のすべての組の学習用画像の画質劣化度の学習が終わったか否かについて判断する。すべての組の画質劣化度の学習が終わった場合、メインプログラムに移行する。継続して画質劣化度の学習をすべき組がある場合、ステップＳ３２０に移行して、他の組の学習用画像の画質劣化度の学習を行う。例えば、動画像の場合は、次のサンプリングされたフレーム画像の画質劣化度の学習を行う。

図６は、図４の推定プロセスのサブルーチンフローチャートである。

（ステップＳ５１０）
ＣＰＵは、画質推定の対象である検査画像の入力検知を行う。検査画像は、主として符号化された画像である。検査画像は、動画像を構成する複数の連続したフレーム画像の一フレーム画像であって良い。

（ステップＳ５２０）
ＣＰＵは、検査画像に対して第２複雑度算出部７０により第１複雑度算出部３０と同様に複雑度を算出する。

（ステップＳ５３０）
ＣＰＵは、検査画像に対して第２画像分類部８０により画像分類処理を行う。画像分類は、第２複雑度算出部７０により算出した複雑度に基づいて行う。

（ステップＳ５４０）
ＣＰＵは、分類された検査画像に対して推定部９０により画質劣化度の推定を行う。周波数変換部９１により、分類された検査画像に対して周波数変換を行い、周波数変換により得られた変換係数の分布形状を変換係数パラメータ化部９２によりパラメータ化して、特徴ベクトルとする。当該特徴ベクトルと、学習結果記憶部６０に記憶された学習結果パラメータによって決定される学習モデルに入力して、検査画像の画質劣化度を推定する。

（ステップＳ５５０）
ＣＰＵは、画質推定部９３による検査画像の画質劣化度の推定結果を出力する。検査画像が動画像を構成する複数の連続したフレーム画像である場合は、ＣＰＵは、全フレーム画像に対する画質推定結果を統合して、動画像に対する画質推定結果として出力することもできる。

（ステップＳ５６０）
ＣＰＵは、画質推定処理を終了するか否かについて判断する。処理を終了する場合、メインプログラムに移行する。継続して画質劣化度の推定を実行する場合、ステップＳ５１０に移行して、次の検査画像の入力検知を行う。たとえば、動画像を構成する複数の連続したフレーム画像のうち、一フレーム画像に対する画質推定を終えたら、異なるフレーム画像に対する画質劣化度の推定を行うことができる。

なお、上記した各フローチャートの各処理単位は、画質推定装置の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方やその名称によって、本願発明が制限されることはない。画質推定装置で行われる処理は、さらに多くの処理ステップに分割することもできる。また、１つの処理ステップが、さらに多くの処理を実行してもよい。

次に、本発明に係る画質推定装置、画質推定方法および画質推定プログラムを＜実施形態１＞としてさらに詳細に説明する。

＜実施形態１＞
実施形態１の画質推定装置は、画面内複雑度の輝度分散値と画面間複雑度のフレーム間輝度差分値に基づいて学習用画像または検査画像を分類する方法を利用する。すなわち、本実施形態に用いる学習用画像または検査画像は、動画像を構成する複数の連続したフレーム画像である。

＜実施形態１の画質推定装置の構成＞
図７は、実施形態１に係る画質推定装置の構成を示すブロック図である。図７において、図１と同一の構成要素には図１と同一の符号を付している。

本実施形態では、図１の画質推定装置が、第１複雑度算出部３０、学習部５０、学習結果記憶部６０、第２複雑度算出部７０、推定部９０をそれぞれ二つ有している場合を一例として説明する。

ただし、これは本実施形態の画像分類方法の説明を分かりやすく説明するために例示したものだけであって、第１複雑度算出部３０、学習部５０、学習結果記憶部６０、第２複雑度算出部７０、推定部９０が二つ以上の場合も、当然本願発明の技術的範囲に属する。

本実施形態において、第１複雑度算出部３０は、画面内複雑度の輝度分散値を算出する画面内複雑度算出部３１と、画面間複雑度のフレーム間輝度差分値を算出する画面間複雑度算出部３２を有する。

第１画像分類部４０は、上記輝度分散値とフレーム間輝度差分値に基づいて学習用画像を二種類のカテゴリーに分類する。たとえば、第１画像分類部４０は、符号化難易度が高い画像と低い画像に分類できる。分類された学習用画像のカテゴリーが符号化難易度の高い画像である場合、第１画像分類部４０は、当該学習用画像を学習部５０Ａに出力する。一方、分類された学習用画像のカテゴリーが符号化難易度の低い画像である場合、第１画像分類部４０は、当該学習用画像を学習部５０Ｂに出力する。

学習部５０Ａは、第１画像分類部４０により分類された符号化難易度の高い学習用画像と、当該学習用画像に対する客観画質評価値とを関連付け、当該関連付けを異なる符号化難易度の高い学習用画像を用いて繰り返し、画質劣化度を学習する。

学習部５０Ｂは、第１画像分類部４０により分類された符号化難易度の低い学習用画像と、当該学習用画像に対する客観画質評価値とを関連付け、当該関連付けを異なる符号化難易度の低い学習用画像を用いて繰り返し、画質劣化度を学習する。

学習結果記憶部６０Ａは、学習部５０Ａの学習結果を一つの学習パラメータとして記憶する。

学習結果記憶部６０Ｂは、学習部５０Ｂの学習結果を他の一つの学習パラメータとして記憶する。

第１複雑度算出部３０と同様に、第２複雑度算出部７０は、画面内複雑度の輝度分散値を算出する画面内複雑度算出部７１と、画面間複雑度のフレーム間輝度差分値を算出する画面間複雑度算出部７２を有する。

第２画像分類部８０は、上記輝度分散値とフレーム間輝度差分値に基づいて検査画像を上記二種類のカテゴリーに分類する。分類された検査画像のカテゴリーが符号化難易度の高い画像である場合、第２画像分類部８０は、当該検査画像を推定部９０Ａに出力する。一方、分類された検査画像のカテゴリーが符号化難易度の低い画像である場合、第２画像分類部８０は、当該検査画像を推定部９０Ｂに出力する。

推定部９０Ａは、学習部５０Ａによる学習結果に基づいて、第２画像分類部８０により分類された符号化難易度の高い検査画像の画質劣化度を推定する。

推定部９０Ｂは、学習部５０Ｂによる学習結果に基づいて、第２画像分類部８０により分類された符号化難易度の低い検査画像の画質劣化度を推定する。

＜実施形態１の画質推定装置の動作＞
次に、実施形態１の画質推定装置の動作について説明する。図４〜６における処理フローのうち、ステップＳ３２０およびステップＳ５２０における複雑度の算出方法、ステップＳ３３０およびステップＳ５３０における画像分類方法について主に説明する。他の処理ステップについては、図４〜６の処理フローと同様の動作を行う。この説明のために、図８および図９に示すフレーム画像の例を使用する。まず、図８および図９ついて簡単に説明する。

図８は、動画像を構成するフレーム画像の例を示す図である。図８では、フレーム画像Ａのうち、画面の一部に高周波数成分のＡ１、Ａ２部分を含み、それ以外の部分に低周波数成分のＡ０部分を含む。一方、図９は、動画像を構成するフレーム画像の他の例を示す図である。図９では、フレーム画像Ｂのうち、画面の一部に低周波数成分のＢ１、Ｂ２部分を含み、それ以外の部分に高周波数成分のＢ０部分を含む。

フレーム画像Ａ、Ｂは後述する複雑度の算出方法および画像分類方法を分かりやすく説明するために、比較用として用いた画像であって、フレーム画像Ａ、Ｂが特別な関係を有するものではなく、同一の動画像を構成する二つのフレーム画像を意味するものではない。

図８に示すように、フレーム画像ＡのＡ１、Ａ２部分は、比較的隣接する画素間の輝度変化が激しく、高い周波数特性を有する。それ以外のＡ０部分は、比較的隣接する画素間の輝度変化が緩く、低い周波数特性を有する。

一方、図９に示すように、フレーム画像ＢのＢ１、Ｂ２部分は、比較的隣接する画素間の輝度変化が緩く、低い周波数特性を有する。それ以外のＢ０部分は、比較的隣接する画素間の輝度変化が激しく、高い周波数特性を有する。

本実施形態の複雑度算出方法および画像分類方法の理解を容易にするために、画像分類の対象である学習用画像または検査画像は、すべてＸ×Ｙピクセルサイズ（Ｎ画素数）であるものとして説明する。

以下、（１）空間周波数特性を考慮した画面内複雑度に基づく画像分類方法、（２）時間周波数特性を考慮した画面間複雑度に基づく画像分類方法、（３）空間周波数特性および時間周波数特性の両方を考慮した画面内複雑度および画面間複雑度に基づく画像分類方法を、順番に開示する。

（１）空間周波数特性を考慮した画面内複雑度に基づく画像分類方法
まず、空間周波数特性を考慮した画面内複雑度に基づく画像分類方法を開示する。

画面内複雑度として、図８、９におけるフレーム画像Ａ、Ｂの平均輝度分散値Ｖ_Ａ、Ｖ_Ｂを算出する。一定の時間間隔でサンプリングされたフレーム画像のうち、時刻ｔ、画面内座標（ｘ、ｙ）における画素の輝度値をＩ（ｘ、ｙ、ｔ）とした場合、フレーム画像Ａ、Ｂの平均輝度分散値Ｖ_Ａ、Ｖ_Ｂは下記数式１により求められる。

さらに、上記平均輝度分散値Ｖは、下記数式２により正規化され、画面内複雑度Ｓと表すことができる。

ここで、Ｖ_{ｕｐｐｅｒ}は平均輝度分散値Ｖの上限値を決める閾値である。

以上のように、平均輝度分散値Ｖを正規化して画面内複雑度Ｓを算出する。そして、画面内複雑度Ｓを、予め定められた画像分類閾値Ｓ_ｔｈと比較して、その大小関係によりフレーム画像Ａ、Ｂを符号化難易度の異なる二種類の画像カテゴリーに分類できる。

図８のフレーム画像Ａの分類について考える。フレーム画像Ａは、上述したように画面の一部Ａ１、Ａ２にのみ高周波数特性を有し、それ以外の部分Ａ０に低周波数特性を有している。したがって、フレーム画像Ａ全体の平均輝度分散値Ｖ_Ａは比較的小さい値となり、正規化された画面内複雑度Ｓ_Ａも比較的小さい値となる。たとえば、画面内複雑度の値Ｓ_ＡがＳ_Ａ＝０．１５であるとする。この場合、画像分類閾値Ｓ_ｔｈが予めＳ_ｔｈ＝０．５と定められているとすると、Ｓ_Ａ＜Ｓ_ｔｈであるため、フレーム画像Ａは符号化難易度の低い画像カテゴリーに分類される。

一方、図９のフレーム画像Ｂの分類について考える。フレーム画像Ｂは、上述したように画面の一部Ｂ１、Ｂ２にのみ低周波数特性を有し、それ以外の部分Ｂ０に高周波数特性を有している。したがって、フレーム画像Ｂ全体の平均輝度分散値Ｖ_Ｂは比較的大きい値となり、正規化された画面内複雑度Ｓ_Ｂも比較的大きい値となる。たとえば、画面内複雑度の値Ｓ_ＢがＳ_Ｂ＝０．８５であるとする。この場合、画像分類閾値Ｓ_ｔｈが予めＳ_ｔｈ＝０．５と定められているとすると、Ｓ_Ｂ＞Ｓ_ｔｈであるため、フレーム画像Ｂは符号化難易度の高い画像カテゴリーに分類される。

以上のように、空間周波数特性が異なるフレーム画像Ａ、Ｂの画面内の平均輝度分散値Ｖ_Ａ、Ｖ_Ｂを正規化して画面内複雑度Ｓ_Ａ、Ｓ_Ｂの値を算出する。得られた画面内複雑度Ｓ_Ａ、Ｓ_Ｂの値と画像分類閾値Ｓ_ｔｈの値とを比較して、フレーム画像Ａ、Ｂを符号化難易度の異なる二種類の画像カテゴリーに分類できる。

このように、画面内複雑度に基づいて符号化難易度の異なる二種類の画像カテゴリーに分類されたフレーム画像Ａ、Ｂを、分類別に画質劣化度の学習または推定を行うことにより、画像に固有の空間周波数分布の影響を考慮して、画質推定精度を向上できる。
（２）時間周波数特性を考慮した画面間複雑度に基づく画像分類方法
次に、時間周波数特性を考慮した画面間複雑度に基づく画像分類方法を開示する。当該方法の理解を容易にするために、図１０〜図１３を使用する。まず、図１０〜図１３について簡単に説明する。

図１０は、図８の画像の１フレーム後のフレーム画像の一例を示す図である。図１０に示すフレーム画像Ａ’は、図８と同様に、画面の一部に高周波数成分のＡ１’、Ａ２’部分を含み、それ以外の部分に低周波数成分のＡ０’部分を含む。また、図１０のＡ１’部分は、図８のＡ１部分が次のフレームにおいて、大きく左下側に移動していることを示している。これに対し、図１０のＡ２’部分は、図８のＡ２部分と同じ位置にあり、次のフレームにおいて移動していない。

図１１は、図８の画像の１フレーム後のフレーム画像の他の一例を示す図である。図１１に示すフレーム画像Ａ’’は、図８と同様に、画面の一部に高周波数成分のＡ１’’、Ａ２’’部分を含み、それ以外の部分に低周波数成分のＡ０’’部分を含む。また、図１１のＡ１’’部分は、図８のＡ１部分が次のフレームにおいて、わずかに左上側に移動していることを示している。これに対し、図１１のＡ２’’部分は、図８のＡ２部分と同じ位置にあり、次のフレームにおいて移動していない。

図１２は、図９の画像の１フレーム後のフレーム画像の一例を示す図である。図１２に示すフレーム画像Ｂ’は、図９と同様に、画面の一部に低周波数成分のＢ１’、Ｂ２’部分を含み、それ以外の部分に高周波数特性成分のＢ０’部分を含む。また、図１２のＢ１’部分は、図９のＢ１部分が次のフレームにおいて、大きく右下側に移動していることを示している。これに対し、図１２のＢ２’部分は、図９のＢ２部分と同じ位置にあり、次のフレームにおいて移動していない。

図１３は、図９の画像の１フレーム後のフレーム画像の他の一例を示す図である。図１３に示すフレーム画像Ｂ’’は、図９と同様に、画面の一部に低周波数成分のＢ１’’、Ｂ２’’部分を含み、それ以外の部分に高周波数成分のＢ０’’部分を含む。また、図１３のＢ１’’部分は、図９のＢ１部分が次のフレームにおいて、わずかに右上側に移動していることを示している。これに対し、図１３のＢ２’’部分は、図９のＢ２部分と同じ位置にあり、次のフレームにおいて移動していない。

画面間複雑度として、図１０〜図１３におけるフレーム画像Ａ’、Ａ’’、Ｂ’、Ｂ’’のフレーム間輝度差分絶対値の平均値Ｆ_Ａ’、Ｆ_Ａ’’、Ｆ_Ｂ’、Ｆ_Ｂ’’を算出する。一定の時間間隔でサンプリングされたフレーム画像のうち、時刻ｔ、画面内座標（ｘ、ｙ）における画素の輝度値をＩ（ｘ、ｙ、ｔ）とした場合、フレーム間輝度差分絶対値の平均値Ｆ_Ａ’、Ｆ_Ａ’’、Ｆ_Ｂ’、Ｆ_Ｂ’’は下記数式３により求められる。

さらに、上記フレーム間輝度差分絶対値の平均値Ｆは、下記数式４により正規化され、画面間複雑度Ｔと表すことができる。

ここで、Ｆ_{ｕｐｐｅｒ}はフレーム間輝度差分絶対値の平均値Ｆの上限値を決める閾値である。

以上のように、正規化された画面間複雑度Ｔを、予め定められた画像分類閾値Ｔ_ｔｈと比較して、その大小関係によりフレーム画像Ａ’、Ａ’’、Ｂ’、Ｂ’’を符号化難易度の異なる二種類の画像カテゴリーに分類できる。

図１０のフレーム画像Ａ’の分類について考える。フレーム画像Ａ’は、上述したように図８のＡ１部分のみが次のフレームにおいて、大きく左下側に移動している。このため、フレーム画像Ａ’のフレーム間輝度差分絶対値の平均値Ｆ_Ａ’は比較的大きい値となり、正規化された画面間複雑度Ｔ_Ａ’も比較的大きい値となる。たとえば、画面間複雑度の値Ｔ_Ａ’がＴ_Ａ’＝０．８であるとする。この場合、画像分類閾値Ｔ_ｔｈが予めＴ_ｔｈ＝０．５と定められているとすると、Ｔ_Ａ’＞Ｔ_ｔｈであるため、フレーム画像Ａ’は符号化難易度の高い画像カテゴリーに分類される。

一方、図１１のフレーム画像Ａ’’の分類について考える。フレーム画像Ａ’’は、上述したように図８のＡ１部分のみが次のフレームにおいて、わずかに左上側に移動している。このため、画像Ａ’’のフレーム間輝度差分絶対値の平均値Ｆ_Ａ’’は比較的小さい値となり、正規化された画面間複雑度Ｔ_Ａ’’も比較的小さい値となる。たとえば、画面間複雑度の値Ｔ_Ａ’’がＴ_Ａ’’＝０．２であるとする。この場合、画像分類閾値Ｔ_ｔｈが予めＴ_ｔｈ＝０．５と定められているとすると、Ｔ_Ａ’’＜Ｔ_ｔｈであるため、フレーム画像Ａ’’は符号化難易度の低い画像カテゴリーに分類される。

図１２のフレーム画像Ｂ’の分類について考える。フレーム画像Ｂ’は、上述したように図９のＢ１部分のみが次のフレームにおいて、大きく右下側に移動している。このため、フレーム画像Ｂ’のフレーム間輝度差分絶対値の平均値Ｆ_Ｂ’は比較的大きい値となり、正規化された画面間複雑度Ｔ_Ｂ’も比較的大きい値となる。たとえば、画面間複雑度の値Ｔ_Ｂ’がＴ_Ｂ’＝０．８であるとする。この場合、画像分類閾値Ｔ_ｔｈが予めＴ_ｔｈ＝０．５と定められているとすると、Ｔ_Ｂ’＞Ｔ_ｔｈであるため、フレーム画像Ｂ’は符号化難易度の高い画像カテゴリーに分類される。

一方、図１３のフレーム画像Ｂ’’の分類について考える。フレーム画像Ｂ’’は、上述したように図９のＢ１部分のみが次のフレームにおいて、わずかに右上側に移動している。このため、フレーム画像Ｂ’’のフレーム間輝度差分絶対値の平均値Ｆ_Ｂ’’は比較的小さい値となり、正規化された画面間複雑度Ｔ_Ｂ’’も比較的小さい値となる。たとえば、画面間複雑度の値Ｔ_Ｂ’’がＴ_Ｂ’’＝０．２であるとする。この場合、画像分類閾値Ｔ_ｔｈが予めＴ_ｔｈ＝０．５と定められているとすると、Ｔ_Ｂ’’＜Ｔ_ｔｈであるため、フレーム画像Ｂ’’は符号化難易度の低い画像カテゴリーに分類される。

以上のように、時間周波数特性を考慮した画像分類方法では、フレーム間の画像の変化が大きいほど、高い画面間複雑度に正規化される。フレーム間での画像の変化が小さいほど、低い画面間複雑度に正規化される。正規化された画面間複雑度Ｔ_Ａ’、Ｔ_Ａ’’、Ｔ_Ｂ’、Ｔ_Ｂ’’の値と画像分類閾値Ｔ_ｔｈの値を比較することにより、フレーム画像Ａ’とＡ’’、Ｂ’とＢ’’を符号化難易度の異なる二種類の画像カテゴリーに分類できる。

このように、画面間複雑度に基づいて符号化難易度の異なる二種類の画像カテゴリーに分類されたフレーム画像Ａ’とＡ’’、Ｂ’とＢ’’を、分類別に画質劣化度の学習または推定を行うことにより、画像に固有の時間周波数分布の影響を考慮して、画質推定精度を向上できる。
（３）空間周波数特性および時間周波数特性の両方を考慮した画面内複雑度および画面間複雑度に基づく画像分類方法
次に、空間周波数特性および時間周波数特性の両方を考慮した画面内複雑度および画面間複雑度に基づく画像分類方法を開示する。

上述のような空間周波数特性のみを考慮して画面内複雑度に基づく画像分類方法、または時間周波数特性のみを考慮して画面間複雑度に基づく画像分類方法において、画質推定の精度に一定の限度を表す場合がある。下記の表１を用いて説明する。

表１では、図１０〜１３におけるフレーム画像Ａ’、Ａ’’、Ｂ’、Ｂ’’について、それぞれ上述した画面内複雑度と画面間複雑度を算出した。

ここで、画面内複雑度による画像分類閾値Ｓ_ｔｈが予めＳ_ｔｈ＝０．５と、画面間複雑度による画像分類閾値Ｔ_ｔｈが予めＴ_ｔｈ＝０．５と定められているとする。

フレーム画像Ａ’とＡ’’を比較してみると、画面内複雑度はともに０．１５であるが、画面間複雑度はフレーム画像Ａ’が０．８で、フレーム画像Ａ’’が０．２である。フレーム画像Ａ’、Ａ’’を、画面内複雑度に基づいて画像分類すると同じ符号化難易度の画像カテゴリーに分類されるが、画面間複雑度に基づいて画像分類すると異なる符号化難易度の画像カテゴリーに分類される。フレーム画像Ｂ’とＢ’’の関係についても同様である。

一方、フレーム画像Ａ’とＢ’を比較してみると、画面間複雑度はともに０．８であるが、画面内複雑度はフレーム画像Ａ’が０．１５で、フレーム画像Ｂ’が０．８５である。フレーム画像Ａ’、Ｂ’を画面間複雑度に基づいて画像分類すると同じ符号化難易度の画像カテゴリーに分類されるが、画面内複雑度に基づいて画像分類すると異なる符号化難易度の画像カテゴリーに分類される。フレーム画像Ａ’’とＢ’’の関係についても同様である。

このように、画面内複雑度のみによる画像分類では、画像に固有の時間周波数特性の影響が考慮されていない。また、画面間複雑度のみによる画像分類では、画像に固有の空間周波数特性の影響が考慮されていない。

画面内複雑度として、上述した平均輝度分散値Ｖを算出し、画面間複雑度として、上述したフレーム間輝度差分絶対値の平均値Ｆを算出する。

上記平均輝度分散値Ｖとフレーム間輝度差分絶対値の平均値Ｆを正規化して算出した画面内複雑度Ｓと画面間複雑度Ｔを用いて、下記数式５により符号化複雑度Ｃを算出する。

Ｃ＝Ｓ＊Ｔ … （数式５）
ここで、Ｃは単に画面内複雑度Ｓと画面間複雑度Ｔの積として表したが、たとえば、画面内における高周波特性の画素と低周波数特性の画素の割合、画面間における全画素数に対する輝度変化された画素数の割合などを考慮して、重みを付加することもできる。

この符号化複雑度Ｃを、予め定められた画像分類閾値Ｃ_ｔｈと比較して、その大小関係によりフレーム画像Ａ’、Ａ’’、Ｂ’、Ｂ’’を符号化難易度の異なる二種類の画像カテゴリーに分類できる。

図１０のフレーム画像Ａ’の分類について考える。たとえば、符号化複雑度Ｃ_Ａ’が０．１２（０．１５＊０．８）であるとする。この場合、画像分類閾値Ｃ_ｔｈがＣ_ｔｈ＝０．５と定められているとすると、Ｃ_Ａ’＜Ｃ_ｔｈであるため、フレーム画像Ａ’は符号化難易度の低い画像カテゴリーに分類される。

図１１のフレーム画像Ａ’’の分類について考える。たとえば、符号化複雑度Ｃ_Ａ’’が０．０３（０．１５＊０．２）であるとする。この場合、画像分類閾値Ｃ_ｔｈがＣ_ｔｈ＝０．５と定められているとすると、Ｃ_Ａ’’＜Ｃ_ｔｈであるため、フレーム画像Ａ’’は符号化難易度の低い画像カテゴリーに分類される。

図１２のフレーム画像Ｂ’の分類について考える。たとえば、符号化複雑度Ｃ_Ｂ’が０．６８（０．８５＊０．８）であるとする。この場合、画像分類閾値Ｃ_ｔｈがＣ_ｔｈ＝０．５と定められているとすると、Ｃ_Ｂ’＞Ｃ_ｔｈであるため、フレーム画像Ｂ’は符号化難易度の高い画像カテゴリーに分類される。

図１３のフレーム画像Ｂ’’の分類について考える。たとえば、符号化複雑度Ｃ_Ｂ’’が０．１７（０．８５＊０．２）であるとする。この場合、画像分類閾値Ｃ_ｔｈがＣ_ｔｈ＝０．５と定められているとすると、Ｃ_Ｂ’’＜Ｃ_ｔｈであるため、フレーム画像Ｂ’’は符号化難易度の低い画像カテゴリーに分類される。

すなわち、空間周波数特性と時間周波数特性が異なるフレーム画像Ａ’、Ａ’’、Ｂ’、Ｂ’’の符号化複雑度Ｃ_Ａ’、Ｃ_Ａ’’、Ｃ_Ｂ’、Ｃ_Ｂ’’の値と画像分類閾値Ｃ_ｔｈの値を比較することにより、フレーム画像Ａ’、Ａ’’、Ｂ’、Ｂ’’を符号化難易度の異なる二種類の画像カテゴリーに分類できる。

このように、画面内複雑度および画面間複雑度に基づいて符号化難易度の異なる二種類の画像カテゴリーに分類されたフレーム画像Ａ’、Ａ’’、Ｂ’、Ｂ’’を、分類別に画質劣化度の学習または推定を行うことにより、画像に固有の空間周波数特性および時間周波数特性の両方の影響を考慮して、画質推定精度を向上できる。

また、画質推定装置１０を動作させるプログラムは、ＵＳＢメモリ、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピュータ読み取り可能な記録媒体に記録されたプログラムは、通常、メモリやストレージ等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、画質推定装置１０の一機能としてその装置のソフトウェアに組み込んでもよい。

１０ 学習用画像データベース、
２０ 客観画質評価値算出部、
３０ 第１複雑度算出部、
３１ 第１画面内複雑度算出部、
３２ 第１画面間複雑度算出部、
４０ 第１画像分類部、
５０ 学習部、
６０ 学習結果記憶部、
７０ 第２複雑度算出部、
７１ 第２画面内複雑度算出部、
７２ 第２画面間複雑度算出部、
８０ 第２画像分類部、
９０ 推定部、
５１ 周波数変換部、
５２ 変換係数パラメータ化部、
５３ 画質学習部、
９１ 周波数変換部、
９２ 変換係数パラメータ化部、
９３ 画質推定部、
５０Ａ 第１学習部、
５０Ｂ 第２学習部、
６０Ａ 第１学習結果記憶部、
６０Ｂ 第２学習結果記憶部、
９０Ａ 第１推定部、
９０Ｂ 第２推定部。

Claims (9)

1. 画像を構成する各画素から求まる複雑度に基づいて、学習用に予め劣化させた学習用画像を分類する第１画像分類部と、
   前記第１画像分類部により分類された前記学習用画像と、劣化前後の学習用画像の比較により前記学習用画像に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化度を分類毎に学習する学習部と、
   前記複雑度に基づいて、検査画像を分類する第２画像分類部と、
   前記学習部による学習結果に基づいて、前記第２画像分類部により分類された検査画像の画質劣化度を分類毎に推定する推定部と、
   を有する画質推定装置。
2. 前記複雑度は、輝度分散、輝度コントラスト、空間方向周波数分布、エッジ、フラット、テクスチャ、画像間差分値、時間方向周波数分布の少なくとも一つを用いて算出される請求項１に記載の画質推定装置。
3. 前記検査画像は、動画像の１フレームを構成する画像であり、
   前記複雑度は、前記検査画像のフレーム内の空間方向周波数分布および前記検査画像のフレーム間の時間方向周波数分布の積により算出される請求項１または請求項２に記載の画質推定装置。
4. 前記画質評価値は、劣化前後の学習用画像に基づき、差分を算出することによって客観値として得られる請求項１〜３のいずれか一項に記載の画質推定装置。
5. 画像を構成する各画素から求まる複雑度に基づいて、学習用に予め劣化させた学習用画像を分類する第１画像分類ステップと、
   前記第１画像分類ステップにより分類された前記学習用画像と、劣化前後の学習用画像の比較により前記学習用画像に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化度を分類毎に学習する学習ステップと、
   前記複雑度に基づいて、検査画像を分類する第２画像分類ステップと、
   前記学習ステップによる学習結果に基づいて、前記第２画像分類ステップにより分類された検査画像の画質劣化度を分類毎に推定する推定ステップと、
   を有する画質推定方法。
6. 前記複雑度は、輝度分散、輝度コントラスト、空間方向周波数分布、エッジ、フラット、テクスチャ、画像間差分値、時間方向周波数分布の少なくとも一つを用いて算出される請求項１に記載の画質推定方法。
7. 前記検査画像は、動画像の１フレームを構成する画像であり、
   前記複雑度は、前記検査画像のフレーム内の空間方向周波数分布および前記検査画像のフレーム間の時間方向周波数分布の積により算出される請求項１または請求項２に記載の画質推定方法。
8. 前記画質評価値は、劣化前後の学習用画像に基づき、差分を算出することによって客観値として得られる請求項５〜７のいずれか一項に記載の画質推定方法。
9. 請求項５〜８のいずれか一項に記載の画質推定方法を、コンピュータに実行させるためのプログラム。