JP2014056442A - 画質推定装置、画質推定方法および画質推定プログラム - Google Patents

Abstract

【課題】画像に固有の空間周波数分布の影響を考慮して、より良い精度で画質推定できる画質推定装置を提供する。
【解決手段】本発明に係る画質推定装置は、画像内の領域を識別するための領域特徴に基づいて、学習用に予め劣化させた学習用画像から局所領域を少なくとも一つ抽出する第１領域抽出部２０と、第１領域抽出部２０により抽出された局所領域と、劣化前後の学習用画像の比較により局所領域に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する学習部４０と、領域特徴に基づいて、検査画像から局所領域を抽出する第２領域抽出部６０と、学習部４０による学習結果に基づいて、第２領域抽出部６０により抽出された局所領域の画質劣化を推定する推定部７０と、を有する。
【選択図】図１

Description

本発明は、画像信号を圧縮した際に生じる画質劣化の度合を推定する画質推定装置、画質推定方法および画質推定プログラムに関する。

画像信号の情報量は極めて多く、伝送や蓄積を効率的に行うため、これらを符号化（圧縮）する技術が用いられている。これに伴い、画像の符号化により画質が劣化する場合の画質評価技術も多数研究されている。

画質推定方式の一つとして、非特許文献１および２に開示されているようなＮＲ（Ｎｏ Ｒｅｆｅｒｅｎｃｅ）方式という手法がある。

非特許文献１の推定方法では、学習画像データベースにある学習用画像を全体範囲で周波数変換して、得られた変換係数の分布形状をパラメータ化して特徴ベクトルとする。そして、学習用画像に対して主観的に判断した画質劣化の評価値（以下、主観評価値という）を正解データとして、特徴ベクトルとの確率的な対応関係を学習する。ここでの学習の識別器には、たとえば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）が用いられる。そして、ＳＶＭにより学習された結果は、学習結果パラメータとして記憶される。また、検査画像に対して同様に特徴ベクトルを算出し、ＳＶＲ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｒｅｇｒｅｓｓｉｏｎ）により、画質を推定できる。

非特許文献２の推定方法では、非特許文献１と異なり、学習用画像の全体範囲、すなわち、画像単位では周波数変換しない。非特許文献２の推定方法では、学習用画像を所定のサイズの矩形ブロックに分割し、各ブロック画像のブロック全体、すなわち、ブロック単位で周波数変換している。

Ａ．Ｋ．Ｍｏｏｒｔｈｙ ａｎｄ Ａ．Ｃ．Ｂｏｖｉｋ、‘‘Ａ Ｔｗｏ−ｓｔａｇｅ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｂｌｉｎｄ Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ａｓｓｅｓｓｍｅｎｔ’’、ＩＣＩＰ２０１０、ｐｐ．２４８１−２４８４、Ｓｅｐｔ．２０１０。 Ｍ．Ａ．Ｓａａｄ、Ａ．Ｃ．Ｂｏｖｉｋ ａｎｄ Ｃ．Ｃｈａｒｒｉｅｒ、‘‘ＤＣＴ Ｓｔａｔｉｓｔｉｃｓ Ｍｏｄｅｌ−ｂａｓｅｄ Ｂｌｉｎｄ Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ａｓｓｅｓｓｍｅｎｔ’’、ＩＣＩＰ２０１１、ｐｐ．３０９３−３０９６、Ｓｅｐｔ．２０１１。

非特許文献１および２に記載の発明では、周波数変換する範囲を、画像単位とするか、学習用画像を機械的に小さく分割したブロック単位とするかで異なる。しかし、画像に固有の空間周波数成分を考慮せずに、単に画像（ブロック）を周波数変換して得られた変換係数の分布形状を特徴ベクトルとして用いる点では共通する。

ここで、高い空間周波数の成分を間引きする符号化方式を適用した画像の画質推定について考える。この場合、符号化前から高い空間周波数成分を含まない画像と、符号化により高い空間周波数成分が失われた画像とで、変換係数の分布形状に差がない可能性が十分に有り得る。

たとえば、ＳＶＭの学習結果として、符号化により高い空間周波数成分が失われた学習用画像の特徴ベクトルと主観評価値とを記憶しているとする。このような場合、符号化前から高周波成分を含まない検査画像をＳＶＲにより画質推定すると、画質劣化を過大に推定してしまう恐れがある。これでは、画質推定誤差が大きい。

本発明は、上記従来技術の課題を解決するためになされたものであり、画像に固有の空間周波数分布の影響を考慮して、より良い精度で画質推定できる画質推定装置、画質推定方法および画質推定プログラムを提供することを目的とする。

上記の目的を達成するための本発明に係る画質推定装置は、第１領域抽出部、学習部、第２領域抽出部、推定部を有する。第１領域抽出部は、画像内の領域を識別するための領域特徴に基づいて、学習用に予め劣化させた学習用画像から局所領域を少なくとも一つ抽出する。学習部は、第１領域抽出部により抽出された局所領域と、劣化前後の学習用画像の比較により局所領域に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する。第２領域抽出部は、上記領域特徴に基づいて、検査用画像から局所領域を抽出する。推定部は、学習部による学習結果に基づいて、第２領域抽出部により抽出された局所領域の画質劣化を推定する。

上記の目的を達成するための本発明に係る画質推定方法は、第１領域抽出ステップ、学習ステップ、第２領域抽出ステップ、推定ステップを有する。第１領域抽出ステップは、画像内の領域を識別するための領域特徴に基づいて、学習用に予め劣化させた学習用画像から局所領域を少なくとも一つ抽出する。学習ステップは、第１領域抽出ステップにより抽出された局所領域と、劣化前後の学習用画像の比較により局所領域に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する。第２領域抽出ステップは、上記領域特徴に基づいて、検査画像から局所領域を抽出する。推定ステップは、学習ステップによる学習結果に基づいて、第２領域抽出ステップにより抽出された局所領域の画質劣化を推定する。

上記の目的を達成するための本発明に係る画質推定プログラムは、上記画質推定方法を、コンピュータに実行させる。

本発明に係る画質推定装置、画質推定方法および画質推定プログラムによれば、画像中の領域特徴に基づいて抽出された局所領域別に画質劣化の学習および推定を行うことにより、画像に固有の空間周波数分布の影響を考慮して、画質推定精度を向上できる。

本発明に係る画質推定装置の構成を示すブロック図である。 図１の画質推定装置の学習部の構成を示すブロック図である。 図１の画質推定装置の推定部の構成を示すブロック図である。 本発明に係る画質推定装置の動作フローチャートである。 図４の学習プロセスのサブルーチンフローチャートである。 図４の推定プロセスのサブルーチンフローチャートである。 実施形態１に係る画質推定装置の構成を示すブロック図である。 局所領域を抽出するための画像の一部を拡大し、基準ブロックでブロック分割した様子を示す図である。 図８の基準ブロックを示す図である。 図８の分割されたブロック単位の輝度分散値算出結果を示す図である。 図１０の輝度分散値算出結果に基づいて、分割されたブロックを２分類して、局所領域を抽出するイメージ図である。 実施形態２に係る画質推定装置の構成を示すブロック図である。 局所領域を抽出するための画像の一例を示す図である。 図１３の対象画像に対して、Ｓａｌｉｅｎｃｙ Ｍａｐ手法により注視しやすい特徴領域を特定した画像である。 図１４の特徴領域特定結果に基づいて、局所領域を抽出するイメージ図である。

本発明に係る画質推定装置、画質推定方法および画質推定プログラムは、画像中の領域特徴に基づいて抽出された局所領域別に画質劣化の学習および推定を行う。画像単位またはブロック単位において異なる空間周波数成分が含まれている画像であっても、空間周波数特性が類似する局所領域単位で画質劣化の学習および推定を行う。

以下、添付した図面を参照しながら、本発明の画質推定装置、画質推定方法および画質推定プログラムの実施形態を説明する。

（画質推定装置の構成）
図１は、本発明に係る画質推定装置の構成を示すブロック図である。図２は、図１の画質推定装置の学習部の構成を示すブロック図である。図３は、図１の画質推定装置の推定部の構成を示すブロック図である。

本発明に係る画質推定装置は、図１に示すように、学習用画像データベース１０、第１領域抽出部２０、客観画質評価値算出部３０、学習部４０、学習結果記憶部５０、第２領域抽出部６０、推定部７０、画質統合部８０を有する。学習用画像データベース１０および学習結果記憶部５０は、メモリやハードディスク等の記録装置によって達成される。また、第１領域抽出部２０、客観画質評価値算出部３０、学習部４０、第２領域抽出部６０、推定部７０、画質統合部８０は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ−Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が、各種プログラムを読み込んで実行することにより達成される。ここで、プログラムとは、たとえば、画像データの画質を推定するための画質推定プログラムである。

学習用画像データベース１０は、複数組の学習用画像を予め格納している。一組の学習用画像は、オリジナルのまま劣化していない無劣化画像と、予め学習用に無劣化画像を符号化により画質劣化させた劣化画像と、を含む。

第１領域抽出部２０は、画像内の所定の領域を識別するための領域特徴に基づいて、学習データベース１０の一組の学習用画像のうち、劣化画像から局所領域を少なくとも一つ抽出する。

領域特徴は、たとえば、画像の空間周波数特性により決定でき、類似する空間周波数特性を有する領域が局所領域として抽出される。任意の範囲内の空間周波数特性値を有する領域が、空間周波数特性が類似すると見なされる。領域特徴、および、当該領域特徴に基づく局所領域の抽出動作の詳細については、後述する。

客観画質評価値算出部３０は、劣化前後の学習用画像の比較により局所領域に与えられる画質評価値を算出する。すなわち、客観画質評価値算出部３０は、第１領域抽出部２０により劣化画像から抽出された局所領域を、無劣化画像の対応する領域と比較し、当該局所領域における客観画質評価値（以下、客観評価値という）を算出する。

客観評価値は、画質評価指標として一般的なＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）やＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ ＳＩＭｉｌａｒｉｔｙ）などを用いて算出できる。

学習部４０は、第１領域抽出部２０により抽出された局所領域と、当該局所領域における上記客観評価値とを関連付ける。当該関連付けを、学習部４０は、異なる学習用画像を用いて繰り返し、画質劣化を学習する。すなわち、学習部４０は、上記局所領域における学習用画像として用意された劣化画像の特徴を表す特徴ベクトルを算出する。そして、学習部４０は、特徴ベクトルから上記局所領域における劣化画像の画質劣化度を判定するための学習モデルを生成する。なお、学習モデルは、特徴ベクトルと、客観評価値（すなわち、上記局所領域における劣化画像の画質劣化度）と、についての確率的な対応関係を決定する数理モデルであり、たとえば、教師あり学習の一つであるＳＶＭを用いてもよい。もちろん、これに限らず、回帰関数や、ニューラルネットワーク等を用いてもよい。学習部４０は、第１領域抽出部２０により抽出された局所領域と、同数用意される。すなわち、同じ領域特徴を有する局所領域を学習単位として、画質劣化の学習を行う。

学習部４０は、図２に示すように、周波数変換部４１、変換係数パラメータ化部４２、画質学習部４３を含む。

周波数変換部４１は、第１領域抽出部２０により抽出された一局所領域の劣化画像に対して周波数変換する。周波数変換は、ウェーブレット変換、離散コサイン変換、またはフーリエ変換などを用いることができる。

変換係数パラメータ化部４２は、周波数変換部４１で得られた周波数変換に用いた変換係数の分布形状をパラメータ化して、特徴ベクトルとする。

画質学習部４３は、変換係数パラメータ化部４２で得られた特徴ベクトルと、客観画質評価値算出部３０で算出された一局所領域の客観評価値と、を関連付ける学習を行う。具体的には、画質学習部４３は、変換係数パラメータ化部４２で得られた特徴ベクトルから上記局所領域における劣化画像の画質劣化度を判定するための学習モデルを生成する。たとえば、画質学習部４３は、学習モデルとして、少なくとも一つ以上のパラメータ（変数）を持つ数理モデルを採用し、各特徴ベクトルを入力したときに正解値の客観評価値を出力するように数理モデルのパラメータ値を決定する。ここで決定されたパラメータ値は、学習結果パラメータとして学習結果記憶部５０に記憶される。

学習結果記憶部５０は、画質学習部４３の学習結果、すなわち、上記一局所領域の特徴ベクトルと客観評価値との関連付けを、学習パラメータとして記憶する。学習結果記憶部５０は、学習部４０と同数用意される。すなわち、同じ領域特徴を有する局所領域単位の学習結果を別々に記憶する。

第２領域抽出部６０は、第１領域抽出部２０と同一の領域特徴に基づいて、検査画像から局所領域を抽出する。第２領域抽出部６０に入力される検査画像は、画像劣化の検査対象となる画像である。したがって、検査画像は、学習用画像とは異なり、無劣化画像および劣化画像の対ではない。領域特徴、および、当該領域特徴に基づく局所領域の抽出動作の詳細については、後述する。

推定部７０は、学習結果記憶部５０に記憶されている学習結果に基づいて、第２領域抽出部６０により抽出された局所領域の画質劣化を推定する。すなわち、推定部７０は、学習部４０によって生成された学習モデルに、上記抽出された局所領域の検査画像を入力し、得られた出力値を抽出された局所領域の検査画像の画質劣化度とする。なお、学習モデルに含まれるパラメータには、学習結果記憶部６０に記憶された学習結果パラメータが用いられる。推定部７０は、学習結果記憶部５０と同数用意される。すなわち、推定部７０は、同じ領域特徴を有する局所領域別に、学習結果記憶部５０に記憶されている学習結果を用いて、画像劣化を推定する。このため、第２領域抽出部６０により抽出された局所領域は、その領域特徴により、適切な推定部７０に割り当てられる。

推定部７０は、図３に示すように、周波数変換部７１、変換係数パラメータ化部７２、画質推定部７３を含む。

周波数変換部７１は、第２領域抽出部６０により抽出された一局所領域の検査画像に対して周波数変換する。周波数変換は、ウェーブレット変換、離散コサイン変換、またはフーリエ変換などを用いることができる。周波数変換部７１は、周波数変換部４１と同一処理を行うため、周波数変換部４１により代替処理することもできる。

変換係数パラメータ化部７２は、周波数変換部７１で得られた周波数変換に用いた変換係数の分布形状をパラメータ化して、特徴ベクトルとする。変換係数パラメータ化部７２は、変換係数パラメータ化部４２と同一処理を行うため、変換係数パラメータ化部４２により代替処理することもできる。

画質推定部７３は、変換係数パラメータ化部７２で得られた特徴ベクトルと、学習結果記憶部５０に記憶された学習パラメータとを用いて、一局所領域の画質劣化を推定する。例えば、ＳＶＲ手法を用いることができる。

画質統合部８０は、一つの検査画像から抽出された複数の局所領域ごとの推定部７０による画質推定結果を統合して、一つの検査画像の画質推定結果として出力する。複数の画質推定結果に対して、それぞれ重みをつけて統合することができる。なお、推定部７０が一つしかない場合、すなわち、抽出される局所領域が一つに限っている場合、画質統合部８０は無くても良い。

（画質推定装置の動作）
次に、本発明に係る画質推定装置の動作について説明する。画質推定装置の動作は、ＣＰＵが画質推定プログラムを実行することで達成できる。

図４は、本発明に係る画質推定装置の動作フローチャートである。図４に示す動作は、画質推定プログラムのトップクラスに位置するメインプログラムの処理手順を示している。

（ステップＳ１００）
モード読取ステップとして、メインプログラムを実行するＣＰＵは、画質推定プログラムの実行モードを読み取る。実行モードは、ユーザーがキーボード、マウス、タッチパネル等の入力装置を使って設定できる。実行モードには、学習モード、推定モードを含むが、必要に応じて他のモードを含むこともできる。

（ステップＳ２００）
学習モード判断ステップとして、ＣＰＵにより、実行モードが学習モードであるか否かについて判断する。学習モードである場合は、ステップ３００に移行する。学習モードではない場合は、ステップ４００に移行する。

（ステップＳ３００）
学習プロセスステップとして、第１領域抽出部２０、客観画質評価値算出部３０、学習部４０により、学習用画像に対する画質劣化の学習を行う。学習プロセスステップＳ３００の詳細な処理は、図５のフローチャートを用いて後述する。

（ステップＳ４００）
推定モード判断ステップとして、ＣＰＵにより、実行モードが推定モードであるか否かについて判断する。推定モードである場合は、ステップ５００に移行する。推定モードではない場合は、ステップ６００に移行する。

（ステップＳ５００）
推定プロセスステップとして、第２領域抽出部６０、推定部７０、画質統合部８０により、検査画像に対する画質劣化の推定を行う。推定プロセスステップＳ５００の処理は、図７のフローチャートを用いて後述する。

（ステップＳ６００）
メインプログラム終了判断ステップとして、ＣＰＵにより、画質推定プログラムを終了させるか否かについて判断する。画質推定プログラムを終了させる場合は、ステップ７００に移行する。画質推定プログラムを終了させない場合は、最初に戻って次の画質劣化の学習または推定を行う。

（ステップＳ７００）
終了ステップとして、ＣＰＵにより、画質推定プログラムの終了処理を実行する。学習モードまたは推定モードにおいて、プログラム実行の中で使用された変数のアドレス空間の開放や、外部とのアクセスの切断などの処理を行うことができる。

以上において、一つのＣＰＵですべての処理を行う態様を想定して説明したが、実行モード毎に別のＣＰＵで処理することもできる。この場合、ＣＰＵ間の相互アクセス処理が必要となる。ただし、機能ごとに別のチップに搭載されるＣＰＵを使用することにより、組合せの自由や機能のバージョンアップのし易さ、画質推定を必要とする終端機器で学習結果のみを利用して、学習プロセス自体は必要としないなどといった対応が柔軟にできる。

次に、学習プロセスステップＳ３００、推定プロセスステップＳ５００の詳細の処理を示すサブルーチンフローチャートについて説明する。

図５は、図４の学習プロセスのサブルーチンフローチャートである。

（ステップＳ３１０）
ＣＰＵは、学習用画像データベース１０に予め格納されている複数組の学習用画像から、学習させる学習用画像の組数Ｌを取得する。画質劣化を学習させる学習用画像の母数の数とジャンルが多いほど、より良い推定精度が得られるが、予め検査画像のジャンルが分かる場合や、必要な推定精度などに応じて、適宜選択しながら決めることができる。

（ステップＳ３２０）
ＣＰＵは、Ｌ組の学習用画像のうち、一組の学習用画像を選択して、選択された学習用画像に対して第１領域抽出部２０により領域抽出処理を行う。領域抽出は、画像内の領域を識別するための領域特徴に基づいて行う。

領域特徴は、既存の画像領域分類方法として、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）、ＶＱ（Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ）、ｋ−ｍｅａｎｓ、領域成長法、ｗａｔｅｒｓｈｅｄなどの手法において用いる輝度値、カラー値、濃度勾配などの特徴量と、予め定められた基準量との関係により定める。

また、領域特徴は、既存の画像領域特定手法であるＳａｌｉｅｎｃｙ Ｍａｐにおいては、人間が注目しやすい主要オブジェクトの領域を識別するための基準として、画像のエッジ、色、テクスチャなどの画像特徴により定めることもできる。

後述の（実施形態１）では、輝度分散値に基づいて領域を分類することで局所領域を抽出する方法を、（実施形態２）では、Ｓａｌｉｅｎｃｙ Ｍａｐ手法を用いて領域を特定することで局所領域を抽出する方法を、それぞれ詳細に説明する。

領域特徴に基づいて抽出された局所領域の数をＫとする。

（ステップＳ３３０）
ＣＰＵは、Ｋ個の局所領域のうち、任意の局所領域を選択して、選択された一局所領域の学習用画像に対して学習部４０により画質劣化の学習を行う。周波数変換部４１により、一局所領域に対する劣化画像に対して周波数変換し、得られた周波数変換に用いた変換係数の分布形状を変換係数パラメータ化部４２によりパラメータ化して、特徴ベクトルとする。当該特徴ベクトルと、客観画質評価値算出部３０で算出された一局所領域の客観評価値との関連付けを、画質学習部４３によりＳＶＭを用いて学習する。具体的には、変換係数パラメータ化部４２で得られた特徴ベクトルから一局所領域の劣化画像の画質劣化度を判定するための学習モデルを生成する。例えば、画質学習部４３は、学習モデルとして、少なくとも一つ以上のパラメータ（変数）を持つ数理モデルを採用し、各特徴ベクトルを入力したときに正解値の客観評価値を出力するように数理モデルのパラメータ値を決定する。

（ステップＳ３４０）
ＣＰＵは、一局所領域の学習結果、すなわち上記関連付けを学習パラメータとして、学習結果記憶部５０に記憶させる。

（ステップＳ３５０）
ＣＰＵは、ステップＳ３２０で領域抽出されたＫ個のすべての局所領域の画質劣化の学習が終えたか否かについて判断する。すべての局所領域の画質劣化の学習が終えた場合、次のステップＳ３６０に移行する。継続して画質劣化の学習をすべき局所領域がある場合、ステップＳ３３０に移行して、他の局所領域の画質劣化の学習を行う。

（ステップＳ３６０）
ＣＰＵは、ステップＳ３１０で取得されたＬ個のすべての組の学習用画像の画質劣化の学習が終えたか否かについて判断する。すべての組の画質劣化の学習が終えた場合、メインプログラムに移行する。継続して画質劣化の学習をすべき組がある場合、ステップＳ３２０に移行して、他の組の学習用画像の画質劣化の学習を行う。

図６は、図４の推定プロセスのサブルーチンフローチャートである。

（ステップＳ５１０）
ＣＰＵは、画質推定の対象である検査画像の入力検知を行う。検査画像は、主として符号化された画像である。

（ステップＳ５２０）
ＣＰＵは、検査画像に対して第２領域抽出部６０により領域抽出処理を行う。領域抽出は、第１領域抽出部２０と同一の領域特徴に基づいて行う。抽出された局所領域の数をＫ’とする。

（ステップＳ５３０）
ＣＰＵは、Ｋ’個の局所領域のうち、任意の局所領域を選択して、選択された一局所領域の検査画像に対して推定部７０により画質劣化の推定を行う。周波数変換部７１により、一局所領域に対する検査画像に対して周波数変換し、得られた周波数変換に用いた変換係数の分布形状を変換係数パラメータ化部７２によりパラメータ化して、特徴ベクトルとする。当該特徴ベクトルを、学習結果記憶部５０に記憶された学習パラメータによって決定される学習モデルに入力して一局所領域の画質劣化度を推定する。

（ステップＳ５４０）
ＣＰＵは、一局所領域の推定結果を画質統合部８０に格納する。

（ステップＳ５５０）
ＣＰＵは、ステップＳ５２０で領域抽出されたＫ’個のすべての局所領域の画質劣化の推定が終えたか否かについて判断する。すべての局所領域の画質劣化の推定が終えた場合、次のステップＳ５６０に移行する。継続して画質劣化の推定をすべき局所領域がある場合、ステップＳ５３０に移行して、他の局所領域の画質劣化の推定を行う。

（ステップＳ５６０）
ＣＰＵは、すべての抽出された局所領域の画質劣化の推定が終えると、画質統合部８０によりそれぞれの一局所領域の推定結果に重みを付加してこれらを統合し、一つの検査画像の画質推定結果として、出力機器を通じて出力する。重みは、たとえば、検査画像全体における一局所領域が占める面積、すなわち、全画素数に対する一局所領域の画素数のパーセンテージとすることができる。

（ステップＳ５７０）
画質推定処理を終了させるか否かについて判断する。処理を終了させる場合、メインプログラムに移行する。継続して画質劣化の推定を実行する場合、ステップＳ５１０に移行して、次の検査画像の入力検知を行う。

なお、上記した各フローチャートの各処理単位は、画質推定装置の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方やその名称によって、本願発明が制限されることはない。画質推定装置で行われる処理は、さらに多くの処理ステップに分割することもできる。また、１つの処理ステップが、さらに多くの処理を実行してもよい。

次に、本発明に係る画質推定装置、画質推定方法および画質推定プログラムを（実施形態１）と（実施形態２）に分けてさらに詳細に説明する。

（実施形態１）
実施形態１は、輝度分散値に基づいて学習用画像または検査画像から局所領域を抽出する方法を利用した画質推定装置である。

（実施形態１の画質推定装置の構成）
図７は、実施形態１に係る画質推定装置の構成を示すブロック図である。図７において、図１と同一の構成要素には図１と同一の符号を付している。

本実施形態では、図１の画質推定装置が、学習部４０、学習結果記憶部５０、推定部７０をそれぞれ二つ有している場合を一例として説明する。

ただし、これは本実施形態の局所領域抽出方法の説明を分かりやすく説明するために例示したものだけであって、学習部４０、学習結果記憶部５０、推定部７０が二つ以上の場合も、当然本願発明の技術的範囲に属する。

本実施形態において、第１領域抽出部２０は、上記領域特徴に基づいて学習用画像を二つの局所領域に分類して抽出する。

客観画質評価値算出部３０は、第１領域抽出部２０により抽出された二つの局所領域について、それぞれ客観評価値を算出する。

学習部４０Ａは、第１領域抽出部２０により抽出された一方の局所領域と、当該一方の局所領域に対する客観画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する。

学習部４０Ｂは、第１領域抽出部２０により抽出された他方の局所領域と、当該他方の局所領域に対する客観画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する。

学習結果記憶部５０Ａは、学習部４０ＡのＳＶＭにより学習した結果を一つの学習パラメータとして記憶する。

学習結果記憶部５０Ｂは、学習部４０ＢのＳＶＭにより学習した結果を他の一つの学習パラメータとして記憶する。

同様に、第２領域抽出部６０は、上述領域特徴に基づいて検査画像から二つの局所領域を抽出する。

推定部７０Ａは、学習部４０Ａによる学習結果に基づいて、第２領域抽出部６０により抽出された一つの局所領域の画質劣化を推定する。

推定部７０Ｂは、学習部４０Ｂよる学習結果に基づいて、第２領域抽出部６０により抽出された他の一つの局所領域の画質劣化を推定する。

（実施形態１の画質推定装置の動作）
次に、実施形態１の画質推定装置の動作について説明する。図４〜６における処理フローのうち、ステップＳ３２０およびステップＳ５２０における領域抽出方法について主に説明する。他の処理ステップについては、図４〜６の処理フローと同様な動作を行う。

図８は、局所領域を抽出するための画像の一部を拡大し、基準ブロックＢｉｊでブロック分割した様子を示す図である。図９は、図８の基準ブロックＢｉｊを示す図である。

本実施形態の領域抽出方法の理解を容易にするために、局所領域を抽出する対象である学習用画像または検査画像において、Ｘ×Ｙピクセルサイズの画像領域部分を切出して説明する。

図８に示す例では、４０×４０サイズの画像を用いる。拡大された図８でわかるように、左上の領域と右下の領域では、隣接する画素間の輝度変化が激しく、高い空間周波数成分を含んでいる。

一方、左下から右上に係る領域では、比較的に隣接する画素間の輝度変化が緩く、低い空間周波数成分を含んでいる。

このように、領域毎に空間周波数成分が異なる画像に対して、効率的に画質劣化を学習または推定させるための方法を開示する。

まず、図８に示すように、４０×４０サイズの画像領域を基準ブロックＢｉｊ（Ｎ×Ｎ）で機械的なブロック分割を行う。

ここで、基準ブロックＢｉｊは、図９に示すような（Ｎ＝８ピクセル）の矩形ブロックである。そのため、領域抽出対象画像はＢ１１〜Ｂ５５の２５個のブロック単位に画像領域が分割される。

次に、基準ブロックＢｉｊにより分割された画像領域毎に、当該分割された画像領域内の平均輝度分散値Ｖ_Ｂｉｊ（ｉ＝１〜５、ｊ＝１〜５）を求める。画像内座標（ｘ、ｙ）における画素の輝度値をＩ（ｘ、ｙ）とした場合、平均輝度分散値Ｖ_Ｂｉｊは下記数式１により求められる。

図１０は、図８の分割されたブロック単位の輝度分散値算出結果を示す図である。Ｂ１１〜Ｂ５５の２５個のブロック単位に、それぞれの平均輝度分散値Ｖ_Ｂ１１〜Ｖ_Ｂ５５を表示している。

さらに、上記平均輝度分散値Ｖ_Ｂｉｊは、下記数式２により正規化され、Ｖ’_Ｂｉｊと表すことができる。

ここで、Ｖ_{ｕｐｐｅｒ}はＶ_Ｂｉｊの上限値を決める閾値である。

この正規化されたＶ_Ｂｉｊ’に基づいて、予め定められた領域分類閾値Ｖ_ｔｈにより、Ｖ_Ｂｉｊ’とＶ_ｔｈの数値の大小関係で上記分割されたブロックを２分類できる。

図１１は、図１０の輝度分散値算出結果に基づいて、分割されたブロックを２分類して、局所領域を抽出するイメージ図である。

Ｖ_Ｂｉｊ’がＶ_ｔｈより大きい場合（例えば、Ｖ_Ｂｉｊ’＝０．７、Ｖ_ｔｈ＝０．５）、該当するブロックを第０局所領域として、Ｖ_Ｂｉｊ’がＶ_ｔｈより大きくない場合（例えば、Ｖ_Ｂｉｊ’＝０．３、Ｖ_ｔｈ＝０．５）、該当するブロックを第１局所領域として、分類できる。

すなわち、本実施形態においては、機械的に分割された矩形ブロック単位の画像を、さらにブロック集合である第０局所領域と第１局所領域に分類した。領域分類には、正規化された輝度分散値Ｖ_Ｂｉｊ’と領域分類閾値Ｖ_ｔｈの大小関係を領域特徴として用いた。

このように、画像中の領域特徴に基づいて抽出された局所領域別に画質劣化の学習または推定を行うことにより、画像に固有の空間周波数分布の影響を考慮して、画質推定精度を向上させている。

（実施形態２）
実施形態２は、Ｓａｌｉｅｎｃｙ Ｍａｐ手法を用いて領域を特定することで局所領域を抽出する方法を利用した画質推定装置である。

（実施形態２の画質推定装置の構成）
図１２は、実施形態２に係る画質推定装置の構成を示すブロック図である。図１２において、図１と同一の構成要素には図１と同一の符号を付している。

実施形態２では、図１の画質推定装置が、学習部４０、学習結果記憶部５０、推定部７０をそれぞれ一つだけ有し、画質統合部８０を有していない場合を一例として説明する。

本実施形態において、第１領域抽出部２０は、領域特徴に基づいて学習用画像または検査画像から一つの局所領域を特定して抽出する。

客観画質評価値算出部３０は、第１領域抽出部２０により抽出された一つの局所領域について、客観評価値を算出する。

学習部４０は、第１領域抽出部２０により抽出された一つの局所領域と、当該一つの局所領域の上記一つの客観画質評価値とを関連付ける。当該関連付けを、学習部４０は、異なる学習用画像を用いて繰り返し、画質劣化を学習する。

学習結果記憶部５０は、学習部４０のＳＶＭにより学習した結果を一つの学習パラメータとして記憶する。

同様に、第２領域抽出部６０は、上述領域特徴に基づいて検査画像から一つの局所領域を抽出する。

推定部７０は、学習部４０による学習結果に基づいて、第２領域抽出部６０により抽出された一つの局所領域の画質劣化を推定する。

（実施形態２の画質推定装置の動作）
次に、実施形態２の画質推定装置の動作について説明する。図４〜６における処理フローのうち、ステップＳ３２０およびステップＳ５２０における領域抽出方法について主に説明する。他の処理ステップについては、図４〜６の処理フローと同様な動作を行う。

図１３は、局所領域を抽出するための画像の一例を示す図である。

本実施形態の領域抽出方法を説明するため、領域抽出対象画像として、図１３に示すような蝶の写真をパソコンに取り込んだ画像を用いる。

本実施形態の領域抽出対象画像は、さらに原画像をサブサンプリングした縮小画像を用いてもよい。領域抽出のための演算コスト削減や、微小なノイズ、テクスチャ変化に影響を受けないロバストな領域抽出を行うことができる。

図１４は、図１３の領域抽出対象画像に対して、Ｓａｌｉｅｎｃｙ Ｍａｐ手法により注視しやすい特徴領域を特定した画像である。図でわかるように、当該手法により、画像における主要オブジェクトの蝶とバックグランドを分離することができる。

図１５は、図１４の特徴領域特定結果に基づいて、局所領域を抽出するイメージ図である。図面中の白枠で囲まれた局所領域の画像のみを抽出して、画質劣化を学習または推定させる。

このように、人間が画質劣化を知覚する際には画像内の特徴的な領域である注視領域が大きな影響を与えるという前提に基づいて、注視領域の空間周波数特性に適した画質劣化推定モデルを用いることによって、画質推定精度を向上できる。

なお、上記実施形態においては、静止画像における画質劣化の学習または推定を行う場合を開示した。

ただし、本発明に係る画質推定装置、画質推定方法および画質推定プログラムによれば、動画像に対する画質劣化の学習または推定を行うこともできる。動画像は静止画像が時間的に連続したフレームの集合と考えられるため、学習または推定の画像をフレーム画像とみなすことができる。

また、画質推定装置を動作させるプログラムは、ＵＳＢメモリ、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピュータ読み取り可能な記録媒体に記録されたプログラムは、通常、メモリやストレージ等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、画質推定装置の一機能としてその装置のソフトウェアに組み込んでもよい。

１０ 学習用画像データベース、
２０ 第１領域抽出部、
３０ 客観画質評価値算出部、
４０ 学習部、
５０ 学習結果記憶部、
６０ 第２領域抽出部、
７０ 推定部、
８０ 画質統合部、
４１ 周波数変換部、
４２ 変換係数パラメータ化部、
４３ 画質学習部、
７１ 周波数変換部、
７２ 変換係数パラメータ化部、
７３ 画質推定部、
４０Ａ 第１学習部、
４０Ｂ 第２学習部、
４０Ａ 第１学習結果記憶部、
４０Ｂ 第２学習結果記憶部、
７０Ａ 第１推定部、
７０Ｂ 第２推定部。

Claims (13)

1. 画像内の領域を識別するための領域特徴に基づいて、学習用に予め劣化させた学習用画像から局所領域を少なくとも一つ抽出する第１領域抽出部と、
   前記第１領域抽出部により抽出された前記局所領域と、劣化前後の学習用画像の比較により前記局所領域に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する学習部と、
   前記領域特徴に基づいて、検査画像から局所領域を抽出する第２領域抽出部と、
   前記学習部による学習結果に基づいて、前記第２領域抽出部により抽出された局所領域の画質劣化を推定する推定部と、
   を有する画質推定装置。
2. 前記領域特徴は複数に分類可能であり、
   前記第１領域抽出部は、前記領域特徴毎に、前記学習用画像から複数の局所領域を分類して抽出し、
   前記学習部は、前記領域特徴の分類別に、前記局所領域と前記画質評価値とを関連付けて、前記領域特徴の分類毎の画質劣化を学習し、
   前記第２領域抽出部は、前記領域特徴毎に、前記検査用画像から複数の局所領域を分類して抽出し、
   前記推定部は、前記学習部による学習結果に基づいて、前記第２領域抽出部により抽出された局所領域の画質劣化を前記領域特徴ごとに推定する請求項１に記載の画質推定装置。
3. 複数の局所領域のそれぞれの画質劣化の推定結果を統合して、前記検査用画像全体の画質劣化を算出する統合部をさらに有する請求項２に記載の画質推定装置。
4. 前記領域特徴は、前記学習用画像および前記検査用画像の画素の輝度分散値の所定範囲として領域を識別するための基準である請求項１〜３のいずれか一項に記載の画質推定装置。
5. 前記領域特徴は、前記画像に含まれる主要オブジェクトとして領域を識別するための基準である請求項１〜３のいずれか一項に記載の画質推定装置。
6. 前記画質評価値は、劣化前後の学習用画像に基づき、差分を算出することによって客観値として得られる請求項１〜５のいずれか一項に記載の画質推定装置。
7. 画像内の領域を識別するための領域特徴に基づいて、学習用に予め劣化させた学習用画像から局所領域を少なくとも一つ抽出する第１領域抽出ステップと、
   前記第１領域抽出ステップにより抽出された前記局所領域と、劣化前後の学習用画像の比較により前記局所領域に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する学習ステップと、
   前記領域特徴に基づいて、検査画像から局所領域を抽出する第２領域抽出ステップと、
   前記学習ステップによる学習結果に基づいて、前記第２領域抽出ステップにより抽出された局所領域の画質劣化を推定する推定ステップと、
   を有する画質推定方法。
8. 前記領域特徴は複数に分類可能であり、
   前記第１領域抽出ステップは、前記領域特徴毎に、前記学習用画像から複数の局所領域を分類して抽出し、
   前記学習ステップは、前記領域特徴の分類別に、前記局所領域と前記画質評価値とを関連付けて、前記領域特徴の分類毎の画質劣化を学習し、
   前記第２領域抽出ステップは、前記領域特徴毎に、前記検査用画像から複数の局所領域を分類して抽出し、
   前記推定ステップは、前記学習部による学習結果に基づいて、前記第２領域抽出ステップにより抽出された局所領域の画質劣化を前記領域特徴ごとに推定する請求項７に記載の画質推定方法。
9. 複数の局所領域のそれぞれの画質劣化の推定結果を統合して、前記検査用画像全体の画質劣化を算出する統合ステップをさらに有する請求項８に記載の画質推定装置。
10. 前記領域特徴は、前記学習用画像および前記検査用画像の画素の輝度分散値の所定範囲として領域を識別するための基準である請求項７〜９のいずれか一項に記載の画質推定方法。
11. 前記領域特徴は、前記画像に含まれる主要オブジェクトとして領域を識別するための基準である請求項７〜９のいずれか一項に記載の画質推定方法。
12. 前記画質評価値は、劣化前後の学習用画像に基づき、差分を算出することによって客観値として得られる請求項７〜１１のいずれか一項に記載の画質推定方法。
13. 請求項７〜１２のいずれか一項に記載の画質推定方法を、コンピュータに実行させるためのプログラム。