JP2019087778A - 画像復元フィルタ及び学習装置 - Google Patents

Abstract

【課題】画像圧縮に伴う画質劣化を改善する。【解決手段】画像復元フィルタ１は、補正係数生成部２、逆直交変換部３及び加算部４を備え、補正係数生成部２は、劣化ブロック列ｘ~及び量子化ステップ列ｓに基づき、パラメータｗが設定された回帰モデルを用いて、直交変換係数に対する補正係数列ｅを生成する。逆直交変換部３は、補正係数列ｅを逆直交変換し、画素値補正ベクトルｒを生成する。加算部４は、劣化ブロック列ｘ~に画素値補正ベクトルｒの補正値を加算し、画質劣化を軽減した復元画像を生成する。【選択図】図２

Description

本発明は、画質を改善する画像復元フィルタ及び学習装置に関する。

従来、非可逆映像符号化において、復号画像の劣化を軽減する技術として、デブロッキングフィルタ、サンプルアダプティブオフセット（ＳＡＯ：Sample Adaptive Offset）と称する技術が国際標準化され普及している。

例えば、動画圧縮規格の一つであるＨＥＶＣ／Ｈ．２６５におけるデブロッキングフィルタは、予測ブロックまたは変換ブロックの境界部分を対象として、境界線方向と直交する方向に一種の平滑化フィルタを適用するものである。デブロッキングフィルタを用いることにより、ブロック境界部の不連続性であるブロック歪を軽減することができる。

一方、ＳＡＯは、直流成分の誤差及びリンギング（モスキート雑音）を抑制するための技術であり、ＨＥＶＣ／Ｈ．２６５においては、エッジオフセット及びバンドオフセットの二種類が実装される。

エッジオフセットは、画像エッジの方向性に応じて画素値オフセットを適用することにより、細かな画素値の凹凸を均すように動作し、リンギングを抑制することができる。バンドオフセットは、画素値のダイナミックレンジを複数のバンドに分割し、指定する４つの連続するバンドに対して、各バンドに指定する一定のオフセットを与えることにより、直流成分及び低周波成分の誤差に起因する劣化を軽減することができる。

また、アナログテレビジョンの映像信号において、妨害波に起因する画質劣化を除去する手法が知られている（例えば、特許文献１を参照）。この手法は、映像信号をフーリエ変換して周波数領域に変換し、周波数領域内において妨害波の検出及び除去を行い、さらに、除去結果を逆フーリエ変換することで、映像信号に再構成するものである。

特許第２８３５０３１号公報

前述のデブロッキングフィルタは、予め設定されたフィルタ係数による平滑化処理を行うものであり、条件分岐により、画像の適応化を図っている。しかし、デブロッキングフィルタは、条件分岐によりフィルタの強弱を切り替えているに過ぎず、また、単純な平滑化処理を行っているに過ぎない、

このように、デブロッキングフィルタは、ブロック歪の要因となる直交変換係数の量子化誤差の特性を考慮したものではないから、ブロック歪の軽減効果に限界があり、絵柄によっては却って劣化を招くおそれがある。

また、前述のＳＡＯは、例えばバンドオフセットのように、画像に応じてオフセット値をシグナリングすることにより、画像に適応した画質改善が可能である。しかし、その処理自体は、画素値の所定範囲区分毎に同一のオフセット値を加えているに過ぎず、周波数領域におけるロスが画像領域におけるロスとして如何様に現れるかを反映していない。このため、ＳＡＯは、画像に対して不自然な補正を課してしまうおそれがある。

また、前述の特許文献１の手法は、周波数領域において妨害波の検出及び除去を行うものである。しかし、この手法は、アナログテレビジョンの映像信号の画質改善を目的としており、例えば、デジタル画像圧縮技術において、離散コサイン変換係数の量子化等の処理に起因するブロック歪を軽減するための技術を備えていない。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、画像圧縮に伴う画質劣化を改善可能な画像復元フィルタ及び学習装置を提供することにある。

前記課題を解決するために、請求項１の画像復元フィルタは、画質劣化した入力画像を復元する画像復元フィルタにおいて、前記入力画像のブロック境界の不連続性をブロック歪として観測し歪データを求め、予め設定されたパラメータを用いて、前記歪データから空間周波数成分毎の補正データを生成し、当該補正データを、前記入力画像の直交変換係数を補正するための空間周波数成分毎の補正係数列として出力する補正係数生成部と、前記補正係数生成部により出力された前記補正係数列に対して逆直交変換を行い、画素値補正データを生成する逆直交変換部と、前記入力画像に、前記逆直交変換部により生成された前記画素値補正データを加算する加算部と、を備えたことを特徴とする。

請求項１の画像復元フィルタによれば、入力画像の画質劣化が空間周波数領域の処理に起因することを前提とした補正処理が行われ、入力画像を空間周波数領域で補正するようにしたから、精度の高い画像復元を実現することができる。

また、請求項２の画像復元フィルタは、請求項１に記載の画像復元フィルタにおいて、前記補正係数生成部が、前記入力画像のブロック境界の不連続性をブロック歪として観測し歪データを求め、予め設定されたパラメータを用いて、前記歪データから空間周波数成分毎の補正データを生成し、当該補正データ、及び前記画質劣化の要因となる処理に用いた要因情報に基づいて、前記直交変換係数を補正するための空間周波数成分毎の補正係数列を生成し、当該補正係数列を出力する、ことを特徴とする。

請求項２の画像復元フィルタによれば、入力画像の画質劣化が空間周波数領域の処理に起因することを前提とした補正処理が行われ、画質劣化の機序に則した画像が復元され、画質劣化を効率的に除去することが可能となる。

また、請求項３の画像復元フィルタは、請求項２に記載の画像復元フィルタにおいて、前記要因情報を、前記直交変換係数に対する量子化処理に用いた量子化ステップに関する情報とする、ことを特徴とする。

請求項３の画像復元フィルタによれば、入力画像の画質劣化が空間周波数領域の量子化処理に起因することを前提とした補正処理が行われ、画質劣化の機序に則した画像が復元され、画質劣化を効率的に除去することが可能となる。

また、請求項４の画像復元フィルタは、請求項１から３までのいずれか一項に記載の画像復元フィルタにおいて、前記補正係数生成部が、前記パラメータを用いて前記歪データから前記補正データを生成する際に、入力データを前記歪データとし、出力データを前記補正データとし、重み係数を前記パラメータとするニューラルネットワークを用いる、ことを特徴とする。

請求項４の画像復元フィルタによれば、ニューラルネットワークを用いることで、実際の画像に対して生じる劣化の非線形かつ複雑な過程を補正係数生成部に反映することができ、高品質な画像復元が可能となる。

また、請求項５の学習装置は、学習用画像に基づいて、画質劣化した画像を復元するためのパラメータを生成する学習装置において、前記学習用画像に対して直交変換を行い、直交変換係数列を生成する直交変換部と、前記直交変換部により生成された前記直交変換係数列に対し、量子化ステップに関する情報に基づいて量子化を行い、量子化変換係数列を生成する量子化部と、前記量子化部により生成された前記量子化変換係数列に対し、前記量子化ステップに関する情報に基づいて逆量子化を行い、逆量子化変換係数を生成する逆量子化部と、前記逆量子化部により生成された前記逆量子化変換係数に対して逆直交変換を行い、学習用劣化画像を生成する逆直交変換部と、前記逆直交変換部により生成された前記学習用劣化画像のブロック境界の不連続性をブロック歪として観測し、歪データを出力するブロック歪観測部と、前記直交変換部により生成された前記直交変換係数列と、前記逆量子化部により生成された前記逆量子化変換係数との間の差分を算出し、当該差分を補正データとして出力する減算部と、前記ブロック歪観測部により出力された前記歪データ、及び前記減算部により出力された前記補正データに基づいて、前記歪データから前記補正データへの回帰を行い、前記歪データから前記補正データを予測するための前記パラメータを生成する回帰部と、を備えたことを特徴とする。

請求項５の学習装置によれば、実際の画像に基づく事例ベースでのパラメータ最適化が行われ、画像の性質を反映したパラメータを生成することができる。

また、請求項６の画像復元フィルタは、請求項３に記載の画像復元フィルタにおいて、前記パラメータを、請求項５の学習装置により生成されたパラメータとする、ことを特徴とする。

請求項６の画像復元フィルタによれば、実際の画像の性質を反映した高品質な画像復元が可能となる。

以上のように、本発明によれば、画像圧縮に伴う画質劣化を改善することが可能となる。

劣化ブロック列ｘ~及び復元ブロックｘ^の形状及び位置関係の一例を示す図である。 本発明の実施形態による画像復元フィルタの構成例を示すブロック図である。 補正係数生成部の構成例を示すブロック図である。 ブロック歪観測領域の一例を示す図である。 ブロック歪観測部により生成される歪ベクトルｂの各成分を説明する図である。 本発明の実施形態による学習装置の構成例を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔画像復元フィルタ〕
まず、本発明の実施形態による画像復元フィルタについて説明する。画像復元フィルタの入力画像は、画質劣化した画像（劣化画像）またはその部分領域（２以上のブロック）の画像であり、出力画像は、復元画像またはその部分領域（１以上のブロック）の画像である。

以下、画像復元フィルタへの入力画像を劣化ブロック列といい、これを構成する画素値列を成分とするベクトルをｘ~とする。各画素値をベクトルｘ~のいずれの成分に対応付けるかは任意であるが、例えば、劣化ブロック列を構成するブロックを左から右への主走査及び上から下への副走査によるラスタ走査の順序で番号付けし（例えば、後述する図１では０〜８）、第ｉ番目（後述する図１の例では、ｉ∈｛０，１，・・・，８｝）のブロックに関する画素値列からなる部分ベクトルをｘ~_iとする。

劣化ブロック列のベクトルｘ~は、以下の式にて表される。

さらに、例えば、ベクトルｘ~_iは、第ｉ番目のブロック内の画素を左から右への主走査及び上から下への副走査によるラスタ走査の順序で走査した順序で画素値を列ベクトルとして並べることで構成される。

一方、画像復元フィルタの出力画像を復元ブロックといい、これを構成する画素値列を成分とするベクトルをｘ^とする。各画素値をベクトルｘ^のいずれの成分に対応付けるかは任意であるが、例えば、復元ブロック内において、左から右への主走査及び上から下への副走査によるラスタ走査の順序で１次元化して対応付ける。

以下、劣化ブロック列のベクトルｘ~を劣化ブロック列ｘ~とし、復元ブロックのベクトルｘ^を復元ブロックｘ^とする。

図１は、劣化ブロック列ｘ~及び復元ブロックｘ^の形状及び位置関係の一例を示す図である。図１の左側は入力画像であり、太い破線で囲まれた領域は劣化ブロック列ｘ~を示し、太い実線で囲まれた領域は復元対象ブロックを示す。図１の右側は出力画像であり、太い破線で囲まれた領域は入力画像の劣化ブロック列ｘ~に対応しており、太い実線で囲まれた網掛け領域は復元ブロックｘ^を示す。１ブロックの大きさを４×４画素とする。

劣化ブロック列ｘ~は、中央に位置する復元対象ブロックと、その周辺に位置する複数のブロックとにより、合計９ブロックで構成され、その画素値列は、４×４×９=１４４画素で構成される。また、復元ブロックｘ^は、画像全体において復元対象ブロックと同じ箇所に位置する１ブロックで構成され、その画素値列は、４×４×１=１６画素で構成される。

画像復元フィルタは、劣化ブロック列ｘ~内の所定の１以上のブロック（例えば、劣化ブロック列ｘ~のうち画像内の配置として中央に存在する１ブロックの復元対象ブロック）に対して復元処理を実行し、その結果を復元ブロックｘ^として生成する。つまり、画像復元フィルタは、復元対象ブロックを復元して復元ブロックｘ^を生成する際に、復元対象ブロック及びその周辺の複数のブロックにより構成される劣化ブロック列ｘ~から、復元ブロックｘ^を生成する。

一般に、画質劣化の要因には、画像の直交変換係数を量子化する量子化処理、ブロックの画素数を減らす標本化処理等、様々な処理がある。以下、画質劣化の要因となる様々な処理のうち量子化処理に着目し、量子化処理を起因とする画質劣化を改善する手法について具体的に説明する。

図２は、本発明の実施形態による画像復元フィルタの構成例を示すブロック図である。この画像復元フィルタ１は、非可逆画像圧縮における直交変換係数の量子化処理に起因して生じた画像劣化を軽減するための後処理を行う装置である。つまり、画像復元フィルタ１は、画像圧縮に伴う画質劣化の要因が直交変換係数の量子化処理にあるとして、量子化ステップに関する情報（量子化ステップのサイズ、以下、量子化ステップという。）を用いて復元処理を行う。画像復元フィルタ１は、補正係数生成部２、逆直交変換部３及び加算部４を備えている。

補正係数生成部２は、劣化ブロック列ｘ~を入力すると共に、劣化ブロック列ｘ~の各ブロック（または各ブロックの各空間周波数成分の直交変換係数）に対して適用する空間周波数成分毎の量子化ステップ列（各量子化ステップを成分にもつベクトルを量子化ステップ列ｓとする。）を入力する。そして、補正係数生成部２は、劣化ブロック列ｘ~の画素値列、復元対象ブロックの量子化ステップ列ｓの各成分、及び予め設定されたパラメータｗから、劣化ブロック列ｘ~内の復元対象ブロックの画素値を補正するための、空間周波数成分毎の補正係数列（各補正係数を成分にもつベクトルを補正係数列ｅとする。）を生成する。補正係数生成部２は、復元対象ブロックの画素値を補正するための空間周波数成分毎の補正係数列ｅを逆直交変換部３に出力する。

具体的には、補正係数生成部２は、劣化ブロック列ｘ~内の復元対象ブロックに対応する直交変換係数列を補正するための係数列を、補正係数列ｅとして生成する。図１の例では、補正係数列ｅは、４×４画素の復元対象ブロックに対応する空間周波数毎の係数列（１６成分からなるベクトル）である。

一般に、画像圧縮時の画質劣化は、直交変換係数の量子化処理の影響が大きいことから、量子化処理に用いた量子化ステップを用いて、復元処理が行われることが望ましい。補正係数生成部２には、復元対象ブロックについて画像圧縮時に適用された量子化ステップ列ｓが入力される。また、補正係数生成部２には、様々な画像を用いて画像復元方法が学習されたデータ（パラメータｗ）が予め設定される。この画像復元方法は、パラメータｗによりその挙動が決定される。

図３は、図２に示した補正係数生成部２の構成例を示すブロック図である。この補正係数生成部２は、ブロック歪観測部５、回帰部６及び乗算部７を備えている。

ブロック歪観測部５は、劣化ブロック列ｘ~を入力し、劣化ブロック列ｘ~の復元対象ブロックについて、画像劣化の目立ち易いブロック境界付近の不連続性をブロック歪として観測する。そして、ブロック歪観測部５は、その不連続性を数値化（特にベクトル化）して歪ベクトルｂ（歪データ）を生成し、歪ベクトルｂを回帰部６に出力する。例えば、ブロック歪観測部５は、劣化ブロック列ｘ~において、復元対象ブロックの輪郭付近の画素値列に基づいて、歪ベクトルｂを算出する。

図４は、ブロック歪観測領域の一例を示す図である。復元対象ブロック（太い実線で囲まれた領域）の輪郭付近の画素値列の領域をブロック歪観測領域とする。ブロック歪観測領域は、図４に示す網掛け領域であり、中央の４×４画素からなる復元対象ブロック内外の境界を挟んで接する画素値列（この例では３２画素）とする。

図５は、ブロック歪観測部５により生成される歪ベクトルｂの各成分を説明する図である。歪ベクトルｂの各成分は、復元対象ブロック内外の境界を挟んで接する複数の画素値間の演算により求められる。例えば、歪ベクトルｂの各成分は、前記境界を挟んで接する画素対において外側の画素値から内側の画素値を減じた値とする。

ブロック歪観測部５は、図５に示すように、復元対象ブロック内外の境界において、外側の画素値から内側の画素値をそれぞれ減算し、減算結果の各成分ｂ₀〜ｂ₁₉を求め、以下の式のように歪ベクトルｂを生成する。

図５に示すように、復元対象ブロックが４×４画素から構成される場合、歪ベクトルｂを構成する成分の数は２０であり、各成分の値は、矢印の終点が指す画素の画素値から同矢印の始点が指す画素の画素値を減じた値とする。

図３に戻って、回帰部６は、ブロック歪観測部５から歪ベクトルｂを入力する。回帰部６には、後述する学習装置８により予め学習されたパラメータｗが設定されている。パラメータｗは、入力値である歪ベクトルｂから、出力値である正規化補正ベクトルｄへの写像を決定付けるパラメータである。

すなわち、パラメータｗは、空間周波数領域の量子化処理によりブロック歪が生じるとして、ブロック歪が生じた画像領域の歪情報から、ブロック歪を軽減するための空間周波数領域の補正情報を生成するための情報である。

回帰部６は、以下の式にて、パラメータｗを用いて、歪ベクトルｂから、空間周波数成分毎に量子化ステップで正規化された補正ベクトルである正規化補正ベクトルｄへの回帰を行うための演算を行う。正規化補正ベクトルｄの各成分は、直交変換係数列の空間周波数成分に対応付けられたものである。

ここで、Φ_ｗは回帰関数であり、ｗはそのパラメータである。回帰部６は、空間周波数成分毎の正規化補正ベクトルｄを乗算部７に出力する。

回帰部６は、任意の回帰モデルによるものとし、好ましくは非線形回帰モデルによるものとする。回帰部６としては、例えばニューラルネットワークを用いることができる。回帰部６としてニューラルネットワークが用いられる場合、入力データが歪ベクトルｂ、出力データが正規化補正ベクトルｄであり、シナプス結合の重み係数列がパラメータｗである。ニューラルネットワークとしては、例えば、全結合型のネットワーク（例えば、多層パーセプトロン）を用いることができる。

乗算部７は、回帰部６から空間周波数成分毎の正規化補正ベクトルｄを入力すると共に、量子化ステップ列ｓを入力し、正規化補正ベクトルｄの各空間周波数成分に対し、量子化ステップ列ｓをそれぞれ乗算する。そして、乗算部７は、その結果を、空間周波数成分毎の補正係数列ｅとして出力する。

画像圧縮時に直交変換係数の量子化をその空間周波数に関係なく同一の量子化ステップで実行していた場合には、乗算部７は、正規化補正ベクトルｄの各空間周波数成分に対し、同一の量子化ステップを乗算する。一方、画像圧縮時に直交変換係数の量子化をその空間周波数に応じて異なる量子化ステップで実行していた場合には、乗算部７は、正規化補正ベクトルｄの各空間周波数成分に対し、量子化ステップ列ｓの各空間周波数成分、すなわち対応する空間周波数の直交変換係数の量子化に用いた量子化ステップを乗算する。

空間周波数成分毎の量子化ステップをｓ⁽⁰⁾，ｓ⁽¹⁾，・・・，ｓ^(N-1)とすると、これらを列ベクトル化した空間周波数毎の量子化ステップ列ｓは、以下の式で表される。

ただし、Ｎは空間周波数成分の数、すなわち１ブロック内の画素数を示す。図１の例ではＮ＝１６である。

また、正規化補正ベクトルｄを、以下の式で表すものとする。

乗算部７は、以下の式にて、前記式（４）の量子化ステップ列ｓと前記式（５）の正規化補正ベクトルｄとのアダマール積（成分毎の積）を求め、その結果を補正係数列ｅとして出力する。

ここで、第二項の演算子〇はアダマール積を表す。

図２に戻って、逆直交変換部３は、補正係数生成部２から空間周波数成分毎の補正係数列ｅを入力し、空間周波数成分毎の補正係数列ｅに対して逆直交変換を行い、画素値補正ベクトルｒを生成する。そして、逆直交変換部３は、画素値補正ベクトルｒを加算部４に出力する。

ここで、逆直交変換部３は、逆直交変換を行う際に、画像復元フィルタ１が復元しようとする画像劣化を生じさせた画像符号化方式における直交変換と同一または類似する基底を用いる。類似する基底とは、画像符号化方式において適用された基底関数との関数形状の誤差が所定の誤差範囲内に収まることを意味する。逆直交変換部３による逆直交変換には、逆離散コサイン変換、逆離散サイン変換、整数精度逆離散コサイン変換、整数精度逆離散サイン変換、逆アダマール変換等が含まれる。

具体的には、逆直交変換部３は、補正係数列ｅに対し、後述する直交変換部９における変換のうち復元対象ブロック（図１の例では第４番目のブロック）に対する変換の逆直交変換を行い、以下の式にて、その結果を画素値補正ベクトルｒとして生成する。

加算部４は、劣化ブロック列ｘ~を入力すると共に、逆直交変換部３から画素値補正ベクトルｒを入力する。そして、加算部４は、劣化ブロック列ｘ~のうち復元対象ブロック（図１の例では第４番目のブロック）に属する画素値ベクトルに、画素値補正ベクトルｒを加算し、その結果を復元ブロックｘ^として出力する。加算部４は、以下の式にて復元ブロックｘ^を生成する。

以上のように、本発明の実施形態による画像復元フィルタ１によれば、補正係数生成部２のブロック歪観測部５は、劣化ブロック列ｘ~の復元対象ブロックについて、ブロック境界付近の不連続性を数値化した歪ベクトルｂを生成する。回帰部６には、学習装置８により予め学習されたパラメータｗが設定されている。回帰部６は、パラメータｗを用いて、歪ベクトルｂから空間周波数成分毎の正規化補正ベクトルｄを生成する。乗算部７は、正規化補正ベクトルｄに量子化ステップ列ｓを乗算し、空間周波数成分毎の補正係数列ｅを生成する。

逆直交変換部３は、空間周波数成分毎の補正係数列ｅに対し逆直交変換を行い、画素値補正ベクトルｒを求める。加算部４は、劣化ブロック列ｘ~に画素値補正ベクトルｒを加算し、復元ブロックｘ^を生成する。

これにより、画像圧縮に伴う画質劣化の要因が空間周波数領域の量子化処理にあるとして、量子化処理に用いた量子化ステップを用いて復元処理を行うようにしたから、画像圧縮に伴う画質劣化を改善することが可能となる。

学習装置８により予め学習されたパラメータｗは、後述のとおり、画像復元フィルタ１が復元する画像に近い性質を有する学習用ブロック列ｘから導出されたデータである。また、量子化処理に用いる量子化ステップは、信号劣化の過程で用いられるデータである。したがって、ブロック歪を、画像の性質及び信号劣化過程を考慮して除去することができる。

〔学習装置〕
次に、画像復元フィルタ１により使用されるパラメータｗを学習する学習装置について説明する。図６は、本発明の実施形態による学習装置の構成例を示すブロック図である。

この学習装置８は、学習用ブロック列（これを構成する画素値列をベクトルｘとする。）、及び、学習用ブロック列の各ブロック（または各ブロックの各空間周波数成分の直交変換係数）に対して適用する量子化ステップ列ｓに基づいて、図３に示した回帰部６と同一のモデルにおいて回帰を実行し、その実行結果として得られるパラメータｗを生成し、これを出力する。

以下、学習用ブロック列のベクトルｘを学習用ブロック列ｘとする。学習用ブロック列ｘとしては、画像復元フィルタ１が復元する画像に近い性質を有する画像が用いられる。

学習装置８は、直交変換部９、量子化部１０、逆量子化部１１、逆直交変換部１２、減算部１３、除算部１４、ブロック歪観測部１５及び回帰部１６を備えている。

直交変換部９は、学習用ブロック列ｘを入力し、学習用ブロック列ｘに対して、ブロック毎に直交変換を行い、空間周波数成分毎の直交変換係数列（全ブロックをまとめてベクトルｃとする。）を生成する。そして、直交変換部９は、直交変換係数列ｃを量子化部１０及び減算部１３に出力する。

ここで、直交変換部９は、直交変換を行う際に、図２に示した画像復元フィルタ１が復元しようとする画像劣化を生じさせた画像符号化方式における直交変換と同一または類似する基底を用いる。類似する基底とは、画像符号化方式において適用された基底関数との関数形状の誤差が所定の誤差範囲内に収まることを意味する。直交変換部９による直交変換には、離散コサイン変換、離散サイン変換、整数精度離散コサイン変換、整数精度離散サイン変換、アダマール変換等が含まれる。

例えば、学習用ブロック列ｘを構成する各ブロック内の画素値からなるベクトルをｘ_i（ｉ∈｛０，１，・・・，８｝）とし、第０〜８番目の各ブロック位置は、例えば図１に示した劣化ブロック列ｘ~の対応する数字の各ブロック位置とする。また、その直交変換係数からなるベクトルをｃ_iとする。

直交変換部９は、以下の式にて、ベクトルｘ_iからベクトルｃ_iへの直交変換を行う。

ここで、行列Ｆ_iは、学習用ブロック列ｘのうちｉ番めのブロックに適用する直交変換の変換行列であって、その第ｊ行（この例ではｊ∈｛０，１，・・・，１５｝）は、第ｊ番目の空間周波数成分を得るための基底ベクトルｆ_i ^(j)である。尚、上付きのＴは、行列またはベクトルの転置を表す。

量子化部１０は、直交変換部９から直交変換係数列ｃを入力し、直交変換係数列ｃに対し、与えられた量子化ステップ列ｓ（各ブロック、各空間周波数成分に対する量子化ステップを成分とするベクトルとしてまとめたもの）に基づく量子化を行い、量子化変換係数列ｑを生成する。そして、量子化部１０は、量子化変換係数列ｑを逆量子化部１１に出力する。

例えば、量子化部１０は、以下の式にて、量子化変換係数列ｑを算出する。

前記式（１０）において、

は、ｚより大きくない最大の整数を表す（床関数）。また、ｃ_i ^(j)は、ブロックｉの第ｊ番目の直交変換係数であり、ｓ_i ^(j)は、ブロックｉの第ｊ番目の直交変換係数に対する量子化ステップである。

逆量子化部１１は、量子化部１０から量子化変換係数列ｑを入力すると共に、量子化ステップ列ｓを入力する。そして、逆量子化部１１は、以下の式にて、量子化変換係数列ｑと量子化ステップ列ｓとのダマール積（成分毎の積）を求め、その結果を逆量子化変換係数列ｃ~として逆直交変換部１２及び減算部１３に出力する。

尚、量子化部１０及び逆量子化部１１は、１つの構成部としてこれらの処理をまとめ、以下の式の演算により、逆量子化変換係数列ｃ~を求めるようにしてもよい。

逆直交変換部１２は、逆量子化部１１から逆量子化変換係数列ｃ~を入力し、逆量子化変換係数列ｃ~に対して、直交変換部９に対応して逆直交変換を行い、学習用劣化ブロック列（全ブロックの画素値をベクトル化したものをｘ~とする。（学習用劣化画像））を生成する。そして、逆直交変換部１２は、学習用劣化ブロック列ｘ~をブロック歪観測部１５に出力する。

逆直交変換部１２は、以下の式にて、学習用劣化ブロック列ｘ~を算出する。

減算部１３は、直交変換部９から直交変換係数列ｃを入力すると共に、逆量子化部１１から逆量子化変換係数列ｃ~を入力する。そして、減算部１３は、以下の式にて、直交変換係数列ｃのうち復元対象ブロックの直交変換係数列（図１に示した復元対象ブロックの配置においては、第４番目のブロックの直交変換係数列ｃ₄）と、逆量子化変換係数列ｃ~のうち復元対象ブロックの逆量子化変換係数列（図１に示した復元対象ブロックの配置においては、第４番目のブロックの逆量子化変換係数列ｃ~₄）との間の差分を算出する。そして、減算部１３は、その結果を補正係数列ｅとして除算部１４に出力する。

除算部１４は、減算部１３から補正係数列ｅを入力すると共に、量子化ステップ列ｓを入力する。そして、除算部１４は、以下の式にて、量子化ステップ列ｓのうち復元対象ブロックを対象とする量子化ステップ列（図１に示した復元対象ブロックの配置においては、量子化ステップ列ｓ₄）により補正係数列ｅを空間周波数成分毎に除算する。除算部１４は、その結果を空間周波数成分毎の正規化補正ベクトルｄとして回帰部１６に出力する。

第二項の演算子

はアダマール商（成分毎の除算）を表す。

ブロック歪観測部１５は、逆直交変換部１２から学習用劣化ブロック列ｘ~を入力し、図３に示したブロック歪観測部５と同様の処理を行う。すなわち、ブロック歪観測部１５は、学習用劣化ブロック列ｘ~の復元対象ブロックについて、画像劣化の目立ち易いブロック境界付近の不連続性を数値化して歪ベクトルｂを生成し、これを回帰部１６に出力する。

回帰部１６は、図３に示した回帰部６と同一の回帰モデルによるものとする。回帰部１６は、ブロック歪観測部１５から歪ベクトルｂを入力すると共に、除算部１４から空間周波数成分毎の正規化補正ベクトルｄを入力する。回帰部１６は、歪ベクトルｂ及び正規化補正ベクトルｄの対に基づいて、歪ベクトルｂから正規化補正ベクトルｄを予測するための最適なパラメータｗを導出する。対の個数は１以上とする。

例えば、対の個数をＫ（Ｋは自然数）とし、第ｋ番目（ｋ∈｛１，２，・・・，Ｋ｝）の対を（ｂ_k，ｄ_k）とする。回帰部１６は、図３に示した回帰部６と同一の回帰モデルにより、以下の式にて、歪ベクトルｂから正規化補正ベクトルｄを予測した結果が、除算部１４から入力した正規化補正ベクトルｄ の値に近づくように、最小二乗法を用いて、パラメータｗを導出する。

前記式（１６）において、

はＬ２ノルム（ユークリッドノルム）である。

尚、回帰部６，１６が非線形回帰モデルによる場合、回帰部６，１６は非線形最小二乗法を用いる。回帰部１６は、最小二乗法を用いる際に、以下の式のように、必要に応じてパラメータｗに対する正則化項Ｒ（ｗ）を追加してもよい。

λは０以上の実数である。

回帰部６，１６がＬａｓｓｏ（ラッソ）回帰モデルによる場合、回帰部１６は、以下の式に示す正則化項Ｒ（ｗ）を用いる。

前記式（１８）において、

はＬ１ノルムである。

回帰部６，１６がＲｉｄｇｅ（リッジ）回帰モデルによる場合、回帰部１６は、以下の式に示す正則化項Ｒ（ｗ）を用いる。

回帰部６，１６がニューラルネットワークによる場合、回帰部１６は、例えば誤差逆伝播法（バックプロパゲーション法）により、パラメータｗである結合重み係数を導出することができる。

学習装置８により学習（導出）されたパラメータｗは、図２に示した画像復元フィルタ１において、図３に示した回帰部６に設定され、歪ベクトルｂから正規化補正ベクトルｄを生成するために用いられ、結果として、劣化ブロック列ｘ~から復元ブロックｘ^が生成される。つまり、ユーザは、学習装置８を用いてパラメータｗを事前に取得しておき、パラメータｗを画像復元フィルタ１に固定的に設定するように運用する。

以上のように、本発明の実施形態の学習装置８によれば、減算部１３は、学習用ブロック列ｘから生成された直交変換係数列ｃと、直交変換係数列ｃを量子化及び逆量子化して生成された逆量子化変換係数列ｃ~との間の差分を、空間周波数成分毎の補正係数列ｅとして求める。除算部１４は、空間周波数成分毎の補正係数列ｅを量子化ステップ列ｓで除算し、空間周波数成分毎の正規化補正ベクトルｄを求める。

また、逆直交変換部１２は、逆量子化変換係数列ｃ~を逆直交変換して学習用劣化ブロック列ｘ~を求め、ブロック歪観測部１５は、学習用劣化ブロック列ｘ~の復元対象ブロックについて、ブロック境界付近の不連続性を数値化した歪ベクトルｂを生成する。

回帰部１６は、歪ベクトルｂ及び正規化補正ベクトルｄの対に基づいて、歪ベクトルｂから正規化補正ベクトルｄを予測するための最適なパラメータｗを導出する。

これにより、画質劣化が空間周波数領域の量子化処理により生じる場合に、歪ベクトルｂから、画質劣化を改善するための正規化補正ベクトルｄを生成するためのパラメータｗが得られる。そして、パラメータｗが図２に示した画像復元フィルタ１に設定され、画像復元フィルタ１が、パラメータｗ及び量子化処理に用いた量子化ステップを用いて復元処理を行うことで、画像圧縮に伴う画質劣化を改善することが可能となる。

パラメータｗは、画像復元フィルタ１が復元する画像に近い性質を有する学習用ブロック列ｘから導出されたデータであり、量子化処理に用いる量子化ステップは、信号劣化の過程で用いられるデータである。したがって、ブロック歪を、画像の性質及び信号劣化過程を考慮して除去することができる。

尚、本発明の実施形態による画像復元フィルタ１及び学習装置８のハードウェア構成としては、通常のコンピュータを使用することができる。画像復元フィルタ１及び学習装置８は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

画像復元フィルタ１に備えた補正係数生成部２、逆直交変換部３及び加算部４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、学習装置８に備えた直交変換部９、量子化部１０、逆量子化部１１、逆直交変換部１２、減算部１３、除算部１４、ブロック歪観測部１５及び回帰部１６の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、画像データの符号化を行う送信側（符号化側）装置、及び画像データの復号を行う受信側（復号側）装置からなるシステムにおいて、送信側装置が学習装置８を備え、受信側装置が画像復元フィルタ１を備えるようにしてもよい。この場合、送信側装置は、学習装置８にパラメータｗを適宜導出させ、パラメータｗを受信側装置へ送信する。受信側装置は、パラメータｗを受信し、画像復元フィルタ１にパラメータｗを設定する。このように、画像復元フィルタ１に設定するパラメータｗを動的に変化させることができる。

また、前記実施形態では、図２に示した画像復元フィルタ１及び図６に示した学習装置８は、画質劣化の要因が量子化処理にあるとして、量子化ステップ列ｓを用いて、劣化ブロック列ｘ~から復元ブロックｘ^を生成する。これに対し、画像復元フィルタ１は、量子化ステップ列ｓを用いることなく、劣化ブロック列ｘ~から復元ブロックｘ^を生成するようにしてもよい。また、学習装置８は、量子化ステップ列ｓを用いることなく、学習用ブロック列ｘに基づいて、パラメータｗを生成するようにしてもよい。

具体的には、画像復元フィルタ１の補正係数生成部２は、例えばブロック歪観測部５及び回帰部６を備え、パラメータｗが設定された回帰部６の回帰モデルを用いて、劣化ブロック列ｘ~から補正係数列ｅを生成する。回帰部６は、ブロック歪観測部５により生成された歪ベクトルｂから、パラメータｗを用いて、正規化補正ベクトルｄを補正係数列ｅとして生成し、補正係数列ｅを逆直交変換部３に出力する。パラメータｗは、ブロック歪が生じた画像領域の歪情報から、当該ブロック歪を軽減するための空間周波数領域の補正情報を生成するための情報であり、学習装置８により予め学習される。

図６を参照して、学習装置８の減算部１３は、補正係数列ｅを回帰部１６に出力する。回帰部１６は、歪ベクトルｂ及び補正係数列ｅの対に基づいて、歪ベクトルｂから補正係数列ｅを予測するための最適なパラメータｗを導出する。つまり、学習装置８は、学習用ブロック列ｘを入力し、学習用ブロック列ｘに基づいて、画像復元フィルタ１の補正係数生成部２の回帰部６と同一のモデルにおいて回帰を実行し、その実行結果として得られるパラメータｗを生成する。

尚、図２、図３及び図６において、量子化ステップ列ｓが固定値である場合には、画像復元フィルタ１の補正係数生成部２の乗算部７、並びに学習装置８の量子化部１０、逆量子化部１１及び除算部１４は、量子化ステップ列ｓを入力しないで、量子化ステップ列ｓの代わりに予め設定された値を用いて処理を行う。

また、画像復元フィルタ１は、画質劣化の要因がブロックの画素数を減らすための標本化処理にあるとして、標本化処理により画素数が減じられた標本数を用いて、劣化ブロック列ｘ~から復元ブロックｘ^を生成するようにしてもよい。

この場合、画像復元フィルタ１は、劣化ブロック列ｘ~を入力すると共に、標本数を入力し、パラメータｗが設定された回帰モデルを用いて、劣化ブロック列ｘ~から復元ブロックｘ^を生成する。パラメータｗは、ブロック毎の標本化処理によりブロック歪が生じるとして、ブロック歪が生じた画像領域の歪情報から、当該ブロック歪を軽減するための空間周波数領域の補正情報を生成する情報であり、学習装置８により予め学習される。

学習装置８は、学習用ブロック列ｘを入力すると共に、標本数を入力し、学習用ブロック列ｘ及び標本数に基づいて、画像復元フィルタ１の補正係数生成部２の回帰部６と同一のモデルにおいて回帰を実行し、その実行結果として得られるパラメータｗを生成する。

また、画像復元フィルタ１は、画質劣化の要因がブロック内の波形を２次曲面、３次曲面等の関数で近似する処理にあるとして、その関数の次数を用いて、劣化ブロック列ｘ~から復元ブロックｘ^を生成するようにしてもよい。

この場合、画像復元フィルタ１は、劣化ブロック列ｘ~を入力すると共に、近似処理に用いた関数の次数を入力し、パラメータｗが設定された回帰モデルを用いて、劣化ブロック列ｘ~から復元ブロックｘ^を生成する。パラメータｗは、近似処理によりブロック歪が生じるとして、ブロック歪が生じた画像領域の歪情報から、当該ブロック歪を軽減するための空間周波数領域の補正情報を生成する情報であり、学習装置８により予め学習される。

学習装置８は、学習用ブロック列ｘを入力すると共に、近似処理に用いた関数の次数を入力し、学習用ブロック列ｘ及び関数の次数に基づいて、画像復元フィルタ１の補正係数生成部２の回帰部６と同一のモデルにおいて回帰を実行し、その実行結果として得られるパラメータｗを生成する。

１ 画像復元フィルタ
２ 補正係数生成部
３，１２ 逆直交変換部
４ 加算部
５，１５ ブロック歪観測部
６，１６ 回帰部
７ 乗算部
８ 学習装置
９ 直交変換部
１０ 量子化部
１１ 逆量子化部
１３ 減算部
１４ 除算部
ｘ~ 劣化ブロック列
ｘ^ 復元ブロック
ｓ 量子化ステップ列
ｗ パラメータ
ｅ 補正係数列
ｒ 画素値補正ベクトル
ｂ 歪ベクトル
ｄ 正規化補正ベクトル
ｘ 学習用ブロック列
ｃ 直交変換係数列
ｑ 量子化変換係数列
ｃ~ 逆量子化変換係数列
ｘ~ 学習用劣化ブロック列

Claims (6)

1. 画質劣化した入力画像を復元する画像復元フィルタにおいて、
   前記入力画像のブロック境界の不連続性をブロック歪として観測し歪データを求め、予め設定されたパラメータを用いて、前記歪データから空間周波数成分毎の補正データを生成し、当該補正データを、前記入力画像の直交変換係数を補正するための空間周波数成分毎の補正係数列として出力する補正係数生成部と、
   前記補正係数生成部により出力された前記補正係数列に対して逆直交変換を行い、画素値補正データを生成する逆直交変換部と、
   前記入力画像に、前記逆直交変換部により生成された前記画素値補正データを加算する加算部と、
   を備えたことを特徴とする画像復元フィルタ。
2. 請求項１に記載の画像復元フィルタにおいて、
   前記補正係数生成部は、
   前記入力画像のブロック境界の不連続性をブロック歪として観測し歪データを求め、予め設定されたパラメータを用いて、前記歪データから空間周波数成分毎の補正データを生成し、当該補正データ、及び前記画質劣化の要因となる処理に用いた要因情報に基づいて、前記直交変換係数を補正するための空間周波数成分毎の補正係数列を生成し、当該補正係数列を出力する、ことを特徴とする画像復元フィルタ。
3. 請求項２に記載の画像復元フィルタにおいて、
   前記要因情報を、前記直交変換係数に対する量子化処理に用いた量子化ステップに関する情報とする、ことを特徴とする画像復元フィルタ。
4. 請求項１から３までのいずれか一項に記載の画像復元フィルタにおいて、
   前記補正係数生成部は、
   前記パラメータを用いて前記歪データから前記補正データを生成する際に、入力データを前記歪データとし、出力データを前記補正データとし、重み係数を前記パラメータとするニューラルネットワークを用いる、ことを特徴とする画像復元フィルタ。
5. 学習用画像に基づいて、画質劣化した画像を復元するためのパラメータを生成する学習装置において、
   前記学習用画像に対して直交変換を行い、直交変換係数列を生成する直交変換部と、
   前記直交変換部により生成された前記直交変換係数列に対し、量子化ステップに関する情報に基づいて量子化を行い、量子化変換係数列を生成する量子化部と、
   前記量子化部により生成された前記量子化変換係数列に対し、前記量子化ステップに関する情報に基づいて逆量子化を行い、逆量子化変換係数を生成する逆量子化部と、
   前記逆量子化部により生成された前記逆量子化変換係数に対して逆直交変換を行い、学習用劣化画像を生成する逆直交変換部と、
   前記逆直交変換部により生成された前記学習用劣化画像のブロック境界の不連続性をブロック歪として観測し、歪データを出力するブロック歪観測部と、
   前記直交変換部により生成された前記直交変換係数列と、前記逆量子化部により生成された前記逆量子化変換係数との間の差分を算出し、当該差分を補正データとして出力する減算部と、
   前記ブロック歪観測部により出力された前記歪データ、及び前記減算部により出力された前記補正データに基づいて、前記歪データから前記補正データへの回帰を行い、前記歪データから前記補正データを予測するための前記パラメータを生成する回帰部と、
   を備えたことを特徴とする学習装置。
6. 請求項３に記載の画像復元フィルタにおいて、
   前記パラメータを、請求項５の学習装置により生成されたパラメータとする、ことを特徴とする画像復元フィルタ。

Images