JP2015104061A - 動画像符号化装置及び動画像復号装置 - Google Patents

Abstract

【課題】復号画像の鮮鋭感が失われることを防止することのできる動画像符号化装置を得る。【解決手段】エッジ抽出部１０６は、符号化ブロック３の各画素がエッジ画像であるか否かを判定し、エッジ抽出結果１０７を出力する。重み付け部１１０は、エッジ抽出結果１０７に基づき、原画像に含まれるエッジ画素近傍の差分値が大きくなるように重み付けを行う。最適パラメータ決定部１１２は、最も小さなコストを示すものを選択する。適応オフセットフィルタの適用によってエッジの画素値が大きく変わる場合はコストが大きくなため、最適パラメータ決定部１１２において最適パラメータとして選択されにくくなる。【選択図】図２

Description

本発明は、動画像を符号化または復号する動画像符号化装置及び動画像復号装置に関し、特に、適応オフセットフィルタを適用する際のパラメータの制御に関するものである。

動画像を伝送・蓄積する際には、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐｓ）や、ＩＴＵ−Ｔ Ｈ．２６ｘなどの国際標準動画像符号化方式を用いて情報量を圧縮することが一般的に行われる。特に、２０１３年１月に標準化を完了したＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は、４ＫやＳＨＶ（Ｓｕｐｅｒ Ｈｉ−Ｖｉｓｉｏｎ）といったＵＨＤＴＶ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）による放送・通信サービスや、モバイル回線でのＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像伝送の実現に向けて必要不可欠な技術である。

動画像符号化では、圧縮したデータを復号することで得られる復号画像において、原画像には存在しないノイズ（符号化歪み）が発生することが多い。これは復号画像の画質を低下させるだけでなく、符号化装置において符号化を実施する際に必要となる参照画像の画質も低下させる。これは符号化効率の低下を招くため、符号化歪みは可能な限り取り除く必要がある。

符号化歪みを低減するための手法として、復号画像にフィルタを適用するループフィルタがある。ＨＥＶＣでは、ループフィルタの一つとして、適応オフセットフィルタが採用されている（例えば、特許文献１参照）。これは、予め定められたルールに従って復号画像の各画素を複数のクラスに分類し、同じクラスに属する画素ごとに一定のオフセットを画素値に対して加算するという手法である。オフセットの値は、符号化装置で決定されて復号装置に伝送される。ここで、例えば原画像と復号画像の画素値の差分平均値をオフセットとすれば、適応オフセットフィルタの適用により復号画像が原画像に近付き、符号化歪みを低減することができる。

適応オフセットフィルタにおける画素の分類方法には、大きく分けてバンドオフセットとエッジオフセットの２種類がある（例えば、非特許文献１参照）。バンドオフセットは、画素値の最小値から最大値までを等間隔に分割し、対象画素の画素値がどの領域に属するかで画素を分類する。一方、エッジオフセットは、対象画素とその近傍画素の画素値を比較し、対象画素がエッジであるか否か、さらにエッジである場合はその方向に応じて画素の分類を行う。バンドオフセットとエッジオフセットのどちらを用いるかは符号化装置で決定する。

特開２０１２−５１１３号公報

ＩＴＵ−Ｔ Ｈ．２６５勧告書（０４／２０１３）、ｐ．１５８−１６０

しかしながら、ＨＥＶＣにおける適応オフセットフィルタは、エッジオフセットを用いる場合に、必ずエッジを平滑化するフィルタとなるようにオフセットの正負が制限される。
これは、符号化歪みの一つである疑似エッジを低減するためであるが、疑似エッジと原画像に元から含まれているエッジとを区別することなく適用されてしまうため、原画像のエッジも平滑化されて復号画像の鮮鋭感が失われてしまうという問題点があった。

この発明は上記のような課題を解決するためになされたもので、適応オフセットフィルタによる復号画像の画質向上効果を高めることができる動画像符号化装置及び動画像復号装置を得ることを目的とする。

この発明に係る動画像符号化装置は、入力画像を符号化し復号することによって得た復号画像に適応オフセットフィルタを適用する動画像符号化装置であって、入力画像の特徴を求める特徴量抽出手段と、入力画像の特徴に応じて適応オフセットフィルタのパラメータを決定するパラメータ決定手段とを備えたものである。

この発明の動画像符号化装置は、入力画像の特徴に応じて適応オフセットフィルタのパラメータを決定するようにしたので、適応オフセットフィルタによる復号画像の画質向上効果を高めることができる。

この発明の実施の形態１による動画像符号化装置の構成を示すブロック図である。 この発明の実施の形態１による動画像符号化装置のループフィルタパラメータ決定部の詳細を示すブロック図である。 この発明の実施の形態１の動画像符号化装置における隣接画素の定義方法を示す説明図である。 この発明の実施の形態１の動画像符号化装置における各クラスの分類条件を示す説明図である。 この発明の実施の形態１の動画像符号化装置における注目画素と隣接画素の画素値の大小関係をクラスごとに示す説明図である。 この発明の実施の形態１の動画像符号化装置におけるエッジ抽出を示す説明図である。 この発明の実施の形態１の動画像符号化装置におけるエッジ画素とエッジ以外の画素に対する重みを示す説明図である。 この発明の実施の形態３による動画像符号化装置のループフィルタパラメータ決定部の詳細を示すブロック図である。 この発明の実施の形態４による動画像符号化装置のループフィルタパラメータ決定部の詳細を示すブロック図である。 この発明の実施の形態４による動画像符号化装置のビットストリームのデータ構造を示す説明図である。 この発明の実施の形態５による動画像復号装置の構成を示すブロック図である。 この発明の実施の形態５による動画像復号装置のループフィルタ適用部の詳細を示すブロック図である。

実施の形態１．
図１は、この発明の実施の形態１による動画像符号化装置の構成を示すブロック図である。図１に示す動画像符号化装置は、ブロック分割部２、加算部４、符号化制御部６、変換・量子化部８、イントラ予測モード決定部１０、イントラ予測部１２、動き探索部１４、動き補償部１６、逆量子化・逆変換部１９、加算部２１、ループフィルタパラメータ決定部２３、ループフィルタ適用部２５、ピクチャバッファ２７、ヘッダ生成・符号化部２９から構成される。

ブロック分割部２は、入力画像１を、例えば６４×６４画素や３２×３２画素といった大きさの符号化ブロック３に分割する処理部である。イントラ予測モード決定部１０は、ブロック分割部２から出力された符号化ブロック３と、符号化制御部６から出力された制御情報７と、加算部２１から出力された局所復号画像２２とを受け取り、最適なイントラ予測モード１１を決定する処理部である。イントラ予測部１２は、イントラ予測モード決定部１０で決定されたイントラ予測モード１１と局所復号画像２２とを受け取り、イントラ予測画像１３を生成する処理部である。動き探索部１４は、参照画像２８をピクチャバッファ２７から読み出し、その中から符号化ブロック３と類似した領域を探索して動きベクトルなどの動き情報１５を求める処理部である。動き補償部１６は、動き情報１５と参照画像２８を使ってインター予測画像１７を生成する処理部である。生成されたイントラ予測画像１３とインター予測画像１７のうち、より効率の良い符号化が可能な方が予測画像１８として加算部４に入力される。

加算部４は、符号化ブロック３と予測画像１８の差分をとり、予測残差５を求める加算器である。変換・量子化部８は、制御情報７と予測残差５を受け取り、予測残差５を変換して得られる係数を量子化して係数９を出力する処理部である。逆量子化・逆変換部１９は、係数９を逆量子化した後に逆変換し、予測残差２０を生成する処理部である。加算部２１は、予測画像１８と予測残差２０を足し合わせることで局所復号画像２２を生成するための加算器である。ループフィルタパラメータ決定部２３は、符号化ブロック３と局所復号画像２２を受け取って最適なループフィルタのパラメータを求め、フィルタパラメータ２４を出力する処理部である。ループフィルタ適用部２５は、フィルタパラメータ２４に従って局所復号画像２２にフィルタを適用し、フィルタ済み局所復号画像２６を生成する処理部である。ピクチャバッファ２７は、フィルタ済み局所復号画像２６を保持するバッファである。ヘッダ生成・符号化部２９は、制御情報７、係数９、イントラ予測モード１１、動き情報１５、フィルタパラメータ２４を受け取ってそれらを符号化し、最終的な出力としてビットストリーム３０を生成する処理部である。

この発明の実施の形態１は、図１に示す動画像符号化装置のうち、ループフィルタパラメータ決定部２３に関するものである。図２に、図１におけるループフィルタパラメータ決定部２３の内部構成を示す。ループフィルタパラメータ決定部２３は、クラス分類部１０１、オフセット適用部１０３、エッジ抽出部１０６、差分計算部１０８、重み付け部１１０、最適パラメータ決定部１１２から構成される。これらのうち、特に、エッジ抽出部１０６と重み付け部１１０とに特徴を有するものである。また、エッジ抽出部１０６によって特徴量抽出手段が構成され、クラス分類部１０１、オフセット適用部１０３、差分計算部１０８、重み付け部１１０、最適パラメータ決定部１１２によってパラメータ決定手段が構成されている。

図２に示すループフィルタパラメータ決定部の動作について説明する。まず、クラス分類部１０１は、局所復号画像２２の各画素を所定の規則に従って複数のクラスに分類する。
ＨＥＶＣの場合、分類規則はバンドオフセットとエッジオフセットの２種類に大きく分けられ、さらにエッジオフセットはエッジの方向に応じて４種類に分けられる。この発明は、エッジオフセットにおける課題を解決するための技術であるため、ここではエッジオフセットの場合の動作について説明する。

エッジオフセットにおける画素の分類は、注目画素の画素値を隣接画素の画素値と比較することで行う。このとき、隣接画素の定義方法によって、エッジオフセットは図３に示すように水平、垂直、１３５°、４５°の４種類に分けられる。図３では、分類しようとしている注目画素をｃ、その隣接画素をａ、ｂと表記している。

クラス分類部１０１は、隣接画素の定義方法として図３に示す水平、垂直、１３５°、４５°の中から一つを選択し、図４に示す条件に従って局所復号画像２２の全画素をクラス０から４のいずれかに分類する。ただし、図４では、画素ａ、ｂ、ｃの画素値をそれぞれＲ（ａ）、Ｒ（ｂ）、Ｒ（ｃ）としている。

クラス分類部１０１は、各画素がどのクラスに属するかを表すクラス分類結果１０２を出力する。クラス分類結果１０２は、例えば局所復号画像２２と同じ大きさを持つ２次元配列であり、配列の各要素が対応する画素のクラス番号を格納する。

オフセット適用部１０３は、まずクラス分類結果１０２に基づいて、クラスごとにオフセットを決定する。オフセットの値は、例えば符号化ブロック３と局所復号画像２２の画素値差分をクラスごとに平均したものなどが考えられる。いま、同一のクラスに属する画素の集合をＣと表し、Ｃに属する座標（ｘ，ｙ）における符号化ブロック３の画素値をＯ（ｘ，ｙ）、局所復号画像２２の画素値をＲ（ｘ，ｙ）とすると、オフセットＥは次式で計算できる。
Ｅ＝（１／Ｎ）×Σ_(x,y)∈C｛Ｏ（ｘ，ｙ）−Ｒ（ｘ，ｙ）｝
ただし、ＮはＣに属する画素の総数である。

ここで、注目画素と隣接画素の画素値の大小関係をクラスごとに図５に示す。画素ｃは、クラス１と４においてそれぞれ局所的な谷と山にあたり、クラス２と３においてそれぞれ凹型と凸型のパターンの角にあたる。クラス１と２において、画素ｃに正のオフセットを加えると平滑化、負のオフセットを加えると鮮鋭化の効果が得られる。一方、クラス３と４ではその逆である。ＨＥＶＣでは、エッジオフセットの効果を平滑化のみに限定しており、クラス１と２では正のオフセットのみ、クラス３と４では負のオフセットのみが許される（図５における矢印の方向）。求めたオフセットの符号がこの条件を満たさない場合、オフセットは例えば０に置き換えられる。また、クラス０はエッジ画素ではないため、オフセットは適用されない（オフセットが常に０）。

オフセット適用部１０３は、局所復号画像２２において、同じクラスに属する画素の画素値に対して対応するオフセットを加算し、オフセット付き局所復号画像１０４を生成して出力する。また、各クラスのオフセット１０５も出力する。

差分計算部１０８は、符号化ブロック３とオフセット付き局所復号画像１０４との間で画素値の差分を計算し、画素ごとの差分値１０９を出力する。ここで、座標（ｘ，ｙ）における符号化ブロック３の画素値をＯ（ｘ，ｙ）、同じ座標におけるオフセット付き局所復号画像２２の画素値をＲ’（ｘ，ｙ）とすると、差分値Ｄ（ｘ，ｙ）は次式で表される。
Ｄ（ｘ，ｙ）＝Ｏ（ｘ，ｙ）−Ｒ’（ｘ，ｙ）

エッジ抽出部１０６は、符号化ブロック３に対してエッジ抽出を行う。ここで、エッジ抽出とは、画像に対してフィルタを適用することなどにより画像中のエッジ（隣接する画素からの画素値変化が急峻な画素）の強度を定量化したり、エッジに相当する画素だけを取り出したりすることである。エッジ抽出のためのフィルタとしては、注目画素とその隣接画素との差分を計算する微分フィルタがよく知られている。横方向の微分フィルタと縦方向の微分フィルタの結果から、注目画素の勾配強度（エッジ強度）を求めることができる。この勾配強度に対して閾値処理を施すことで、画像をエッジ画素とそうでない画素に分けることが可能である。

図６は、微分フィルタを用いて画像からエッジ抽出を行う様子を示している。まず、入力画像に対して横方向の微分フィルタと縦方向の微分フィルタをそれぞれ適用する。図６では、例として３×３の微分フィルタを用いている。続いて、２つのフィルタ出力から勾配強度を求める。座標（ｘ，ｙ）における横方向微分フィルタの出力をΔｈ（ｘ，ｙ）、縦方向微分フィルタの出力をΔｖ（ｘ，ｙ）とすると、同座標における勾配強度は、次式で計算できる。
ｓｑｒｔ（Δｈ（ｘ，ｙ）²＋Δｖ（ｘ，ｙ）²）
ただし、上式においてｓｑｒｔ（Ｘ）はＸの平方根を返す関数である。

求めた勾配強度に対して閾値処理を施すことで、図６に示すように画像中のエッジだけを取り出したエッジ画像を生成することができる。図６におけるエッジ画像では、勾配強度が閾値よりも大きい画素を白で、それ以外の画素を黒で表している。つまり、画像中のエッジに相当する画素が白画素となる。図６における閾値処理で使用した閾値の値は１０であるが、閾値は、エッジ抽出部１０６の内部に保持しておいてもよいし、外部から入力できるようにしてもよい。エッジ抽出部１０６は、このエッジ画像、つまり各画素がエッジであるか否かを表すマップ（例えば注目画素がエッジの場合１、そうでない場合０となる２次元配列）をエッジ抽出結果１０７として出力する。

重み付け部１１０は、エッジ抽出結果１０７に基づいて画素ごとの差分値１０９に対して重み付けを行う。座標（ｘ，ｙ）における差分値をＤ（ｘ，ｙ）、重みをｓ（ｘ，ｙ）とすると、重み付け後の差分値Ｄ’（ｘ，ｙ）は次式で表される。
Ｄ’（ｘ，ｙ）＝ｓ（ｘ，ｙ）×Ｄ（ｘ，ｙ）

ここで、重みｓの決定方法を説明する。図７は、エッジ抽出結果１０７の一部を拡大したものであり、白画素がエッジ画素、それ以外がエッジでない画素を表している。重みｓは、エッジ画素における差分値が大きくなるように決定する。図７では、以下に示すルールに従って重みを決定している。
ルール１：注目画素がエッジ画素ならば重みを２．０とする
ルール２：注目画素がエッジ画素の４近傍ならば重みを１．８とする
ルール３：注目画素がルール２に当てはまる画素の４近傍ならば重みを１．５とする
ルール４：注目画素がルール１〜３のいずれにも当てはまらないならば重みを１．０とする
ただし、４近傍とは、注目画素の隣接画素のうち上下左右の４画素を指す。図７に示した重みの決定方法はあくまでも一例であるが、このようにすることでエッジ画素およびその近傍は差分値が大きくなり、それ以外の画素では差分値が変化しないような重みを決定することができる。

重み付け部１１０は、差分値１０９に対して重み付けを施した重み付き差分値１１１を画素ごとに出力する。

最適パラメータ決定部１１２は、オフセット１０５を適用した場合のコストを計算する。
コストは例えば次式で決定される。
（コスト）＝（重み付き差分値１１１の絶対値和）＋（オフセット１０５の符号化コスト）
適応オフセットフィルタによる符号化歪みの低減効果が顕著であるほど、重み付き差分値１１１の絶対値和は小さくなり、上式で計算されるコストは小さな値となる。そこで、最適パラメータ決定部１１２では、図３に示した水平、垂直、１３５°、４５°の４種類のそれぞれについてコストを求め、最も小さなコストを示すものを選択する。そして、最小コストを示す分類方法と各クラスのオフセットをフィルタパラメータ２４として出力する。なお、適応オフセットフィルタを用いることで逆にコストが増加してしまう場合は、適応オフセットフィルタを使用しないことも可能である。

重み付き差分値１１１は、原画像に含まれるエッジ画素近傍の差分値が大きくなるように重みが付けられているため、適応オフセットフィルタの適用によってエッジの画素値が大きく変わる場合はコストが大きくなる。従って、そのようなフィルタパラメータは、最適パラメータ決定部１１２において最適パラメータとして選択されにくくなる。

このように、実施の形態１では、動画像符号化装置において原画像のエッジを抽出し、適応オフセットフィルタによってエッジ近傍の画素値が原画像から大きく変動する場合はそのフィルタパラメータが選択されにくくなるようにしている。このようにすることで、符号化歪みだけでなく原画像に元から含まれているエッジも平滑化されて復号画像の鮮鋭感が失われるという適応オフセットフィルタの課題を解決することができる。

以上説明したように、実施の形態１の動画像符号化装置によれば、入力画像を符号化し復号することによって得た復号画像に適応オフセットフィルタを適用する動画像符号化装置であって、入力画像の特徴を求める特徴量抽出手段と、入力画像の特徴に応じて適応オフセットフィルタのパラメータを決定するパラメータ決定手段とを備えたので、適応オフセットフィルタによる復号画像の画質向上効果を高めることができる。

また、実施の形態１の動画像符号化装置によれば、特徴量抽出手段は、入力画像の各画素がエッジ画素であるか否かを判定するエッジ抽出部を備え、パラメータ決定手段は、エッジ抽出部で判定した入力画像のエッジに応じて適応オフセットフィルタのパラメータを決定するようにしたので、原画像に存在するエッジが平滑化されることで復号画像の鮮鋭感が失われることを防止することができる。

また、実施の形態１の動画像符号化装置によれば、パラメータ決定手段は、適応オフセットフィルタのパラメータを決定するためのコストを計算すると共に、各画素がエッジ画素であるか否かの判定結果に基づいて、コストを調整するようにしたので、適応オフセットフィルタによる符号化歪みの低減効果を高めることができる。

実施の形態２．
この発明の実施の形態２に係る動画像符号化装置の基本的な構成は図１に示す実施の形態１と同様である。また、図１におけるループフィルタパラメータ決定部２３における図面上の構成も実施の形態１の図２と同様である。ただし、実施の形態２では、図２におけるエッジ抽出部１０６および重み付け部１１０の構成および動作が実施の形態１とは異なる。

実施の形態２におけるエッジ抽出部１０６は、実施の形態１のように図６に示す勾配強度画像に対して閾値処理を施してエッジ画像を生成するのではなく、勾配強度画像をエッジ抽出結果１０７としてそのまま出力する。つまり、実施の形態２におけるエッジ抽出結果１０７は、各画素がエッジであるかどうかを表す２値データではなく、例えば８ビットなどの離散値で各画素のエッジ強度を表したデータである。

重み付け部１１０は、まずエッジ抽出結果１０７に基づいて差分値１０９に対する重みを決定する。エッジ抽出結果１０７（勾配強度）の最大値をＧｍａｘ、最小値をＧｍｉｎとし、重みの最大値をＳｍａｘ、最小値をＳｍｉｎとするならば、座標（ｘ，ｙ）に対する重みｓ（ｘ，ｙ）は同座標の勾配強度Ｇ（ｘ，ｙ）から次のように計算できる。
ｓ（ｘ，ｙ）＝（（Ｓｍａｘ−Ｓｍｉｎ）／（Ｇｍａｘ−Ｇｍｉｎ））×Ｇ（ｘ，ｙ）＋（Ｓｍｉｎ×Ｇｍａｘ−Ｓｍａｘ×Ｇｍｉｎ）／（Ｇｍａｘ−Ｇｍｉｎ）
上記の計算式は、Ｇｍａｘ〜Ｇｍｉｎの範囲にある勾配強度をＳｍａｘ〜Ｓｍｉｎの範囲に変換している。この重みの計算方法はあくまでも一例であるが、このようにすることで勾配強度の大きい画素ほど重みを大きくすることができる。

重み付け部１１０は、求めた重みを用いて差分値１０９に対して重み付けを行う。座標（ｘ，ｙ）における差分値をＤ（ｘ，ｙ）、重みをｓ（ｘ，ｙ）とすると、重み付け後の差分値Ｄ’（ｘ，ｙ）は次式で表される。
Ｄ’（ｘ，ｙ）＝ｓ（ｘ，ｙ）×Ｄ（ｘ，ｙ）

このように、実施の形態２は、実施の形態１と同様に、エッジ近傍の画素値を大きく変更するフィルタパラメータが選択されにくくなるようにすることで、原画像に存在するエッジが復号画像において平滑化されることを防いでいる。ただし、実施の形態１とは異なり勾配強度画像をそのまま用いているため、勾配強度画像に対して閾値処理を施すことでエッジ画像を生成する処理を省略することができる。

以上説明したように、実施の形態２の動画像符号化装置によれば、特徴量抽出手段は、入力画像の各画素のエッジ強度を求めるエッジ抽出部を備え、パラメータ決定手段は、適応オフセットフィルタのパラメータを決定するためのコストを計算すると共に、各画素のエッジ強度に基づいて、コストを調整するようにしたので、復号画像の鮮鋭感が失われることを防止することができると共に、エッジ画像を生成する処理を省略することができる。

実施の形態３．
図８は、実施の形態３の動画像符号化装置におけるループフィルタパラメータ決定部２３の構成を示すブロック図である。実施の形態３における動画像符号化装置の図面上の構成は図１に示した実施の形態１と同様であるため、ここでの説明は省略する。
図８において、ループフィルタパラメータ決定部２３は、クラス分類部１０１、オフセット適用部１０３ａ、エッジ抽出部１０６ａ、差分計算部１０８、最適パラメータ決定部１１２を備えている。クラス分類部１０１、差分計算部１０８および最適パラメータ決定部１１２の構成については実施の形態１と同様であるため、その説明は省略する。また、エッジ抽出部１０６ａによって特徴量抽出手段が構成され、クラス分類部１０１、オフセット適用部１０３ａ、差分計算部１０８、最適パラメータ決定部１１２によってパラメータ決定手段が構成されている。

オフセット適用部１０３ａは、基本的な構成は実施の形態１におけるオフセット適用部１０３と同様であるが、クラスごとに求めた平均エッジ強度を閾値と比較し、平均エッジ強度が閾値を上回る場合はそのクラスのオフセットの値を０に変更するよう構成されている。また、エッジ抽出部１０６ａは、実施の形態１のエッジ抽出部１０６と同様にエッジ抽出を行う処理部であるが、エッジ抽出結果１０７ａとして、勾配強度画像かエッジ画像のいずれかを出力するよう構成されている。

次に、実施の形態３におけるループフィルタパラメータ決定部の動作について説明する。
まず、クラス分類部１０１は、実施の形態１と同様に、局所復号画像２２の各画素を所定の規則に従って複数のクラスに分類する。すなわち、図３に示す水平、垂直、１３５°、４５°の中から一つを選択し、図４に示す条件に従って局所復号画像２２の全画素をクラス０から４のいずれかに分類し、クラス分類結果１０２を出力する。

エッジ抽出部１０６ａは、符号化ブロック３に対してエッジ抽出を行う。ここでのエッジ抽出処理は、実施の形態１のエッジ抽出部１０６と同様であるため、その説明は省略する。ただし、エッジ抽出部１０６ａは、エッジ抽出結果１０７ａとして、勾配強度画像を出力してもよいし、エッジ画像を出力してもよいとする。

オフセット適用部１０３ａは、クラス分類結果１０２に基づいてクラスごとにオフセットを決定する。オフセットの値については実施の形態１で説明した通りである。また、オフセット適用部１０３ａは、エッジ抽出結果１０７ａから、クラスごとの平均エッジ強度を計算する。エッジ抽出結果１０７ａが勾配強度画像である場合、平均エッジ強度は、同じクラスに属する画素が持つエッジ強度の平均値として計算される。また、エッジ抽出結果１０７ａがエッジ画像である場合、同じクラスに属する画素のうちエッジであると判定された画素の割合を平均エッジ強度とすることが考えられる。

オフセット適用部１０３ａは、クラスごとに求めた平均エッジ強度を閾値と比較し、平均エッジ強度が閾値を上回る場合はそのクラスのオフセットの値を０に変更する。閾値は、オフセット適用部１０３ａの内部に保持しておいてもよいし、外部から入力できるようにしてもよい。

オフセット適用部１０３ａは、局所復号画像２２において、同じクラスに属する画素の画素値に対して対応するオフセットを加算し、オフセット付き局所復号画像１０４を生成して出力する。また、各クラスのオフセット１０５も出力する。

差分計算部１０８は、符号化ブロック３とオフセット付き局所復号画像１０４との間で画素値の差分を計算し、画素ごとの差分値１０９を出力する。差分値Ｄの求め方は実施の形態１で説明した通りである。

最適パラメータ決定部１１２は、オフセット１０５を適用した場合のコストを計算する。
コストの計算方法については実施の形態１と同様である。

このように、実施の形態３では、動画像符号化装置において原画像のエッジを抽出し、適応オフセットフィルタを適用する際のクラス分類において、クラス内の平均エッジ強度が閾値を上回る場合はオフセットを０としている。このようにすることで、原画像におけるエッジを多く含むクラスにはオフセットが適用されなくなり、符号化歪みだけでなく原画像に元から含まれているエッジも平滑化されて復号画像の鮮鋭感が失われるという適応オフセットフィルタの課題を解決することができる。

以上説明したように、実施の形態３の動画像符号化装置によれば、特徴量抽出手段は、入力画像の各画素のエッジ強度または各画素がエッジ画素であるか否かの判定結果をエッジ抽出結果として求めるエッジ抽出部を備え、パラメータ決定手段は、注目画素の画素値と隣接画素との画素値との関係によって分類されたクラスごとにエッジ抽出結果に基づいて評価値を計算し、評価値と閾値とを比較することにより、クラスごとの適応オフセットフィルタにおけるオフセットの値を０とするか否かを決定するようにしたので、復号画像の鮮鋭感が失われることを防止することができる。

実施の形態４．
図９は、実施の形態４の動画像符号化装置におけるループフィルタパラメータ決定部の構成を示すブロック図である。実施の形態４における動画像符号化装置の図面上の構成は図１に示した実施の形態１と同様であるため、ここでの説明は省略する。
図９において、ループフィルタパラメータ決定部は、クラス分類部１０１ａ、オフセット適用部１０３、エッジ抽出部１０６、差分計算部１０８、最適パラメータ決定部１１２ａを備えている。オフセット適用部１０３、エッジ抽出部１０６および差分計算部１０８の構成については実施の形態１と同様であるため、ここでの説明は省略する。また、エッジ抽出部１０６によって特徴量抽出手段が構成され、クラス分類部１０１ａ、オフセット適用部１０３、差分計算部１０８、最適パラメータ決定部１１２によってパラメータ決定手段が構成されている。さらに、図１で示すヘッダ生成・符号化部２９によって送信手段が構成されている。

クラス分類部１０１ａは、クラスを分類する際に、エッジ画素のクラス番号を０とするよう構成されている。また、クラス分類部１０１ａは、注目画素の画素値が隣接画素の画素値からどれだけ急峻に変化しているかを示す指標である評価値Ｖの平均値を閾値１１３として出力するよう構成されている。最適パラメータ決定部１１２ａは、差分計算部１０８から出力された差分値１０９とオフセット適用部１０３から出力されたオフセット１０５に基づいてパラメータを決定すると共に、クラス分類部１０１ａから出力された閾値１１３を含んでフィルタパラメータ２４として出力するよう構成されている。

次に、実施の形態４におけるループフィルタパラメータ決定部の動作について説明する。
先ず、エッジ抽出部１０６は、符号化ブロック３に対してエッジ抽出を行う。ここでのエッジ抽出処理は、実施の形態１のエッジ抽出部１０６の処理と同様である。

また、クラス分類部１０１ａは、局所復号画像２２の各画素を所定の規則に従って複数のクラスに分類する。ここでの分類は、隣接画素の定義方法として、図３に示すように水平、垂直、１３５°、４５°の４種類に分けられ、また、図４に示す条件に従って局所復号画像２２の全画素をクラス０から４のいずれかに分類する。図４に示すように、クラス分類の際には注目画素の画素値とその隣接画素の画素値の大小関係を求める。従って、Ｒ（ｃ）−Ｒ（ａ）およびＲ（ｃ）−Ｒ（ｂ）を計算する必要がある。この計算結果を利用し、クラス分類部１０１ａでは、注目画素ｃに対して以下の評価値Ｖ（ｃ）を計算しておく。
Ｖ（ｃ）＝ｍａｘ（ａｂｓ（Ｒ（ｃ）−Ｒ（ａ）），ａｂｓ（Ｒ（ｃ）−Ｒ（ｂ）））
ただし、ｍａｘ（Ａ，Ｂ）はＡとＢのうち大きい方の値を返す関数であり、ａｂｓ（Ｘ）はＸの絶対値を返す関数である。

評価値Ｖは、注目画素の画素値が隣接画素の画素値からどれだけ急峻に変化しているかを表す指標であり、注目画素がエッジであればその値は大きくなる。従って、この値を閾値と比較することで局所復号画像２２からエッジ画素を抽出することができる。しかし、その閾値は復号画像の品質によって変動するため、固定値では高精度にエッジ抽出を行うことができない。

そこで、本実施の形態では、原画像におけるエッジ抽出結果１０７を用いて実際のエッジ画素の位置を求め、その画素における評価値Ｖの平均値を求める。そしてこの平均値を閾値とし、評価値Ｖが閾値を上回る画素はエッジ画素であると判断する。このようにすることで、原画像のエッジに基づいて適応的に閾値を決めることができ、評価値Ｖから高精度にエッジ画素を判定することができる。
なお、原画像を持たない復号装置では、このような閾値計算を行うことができないため、符号化装置で計算した閾値は復号装置にも伝送する。

クラス分類部１０１ａは、エッジであると判断した画素のクラスを常に０に変更する。
ＨＥＶＣでは、クラス０にはオフセットが適用されないため、このようにすることでエッジ画素にオフセットが適用されて平滑化されることを防ぐことができる。

クラス分類部１０１ａは、各画素がどのクラスに属するかを表すクラス分類結果１０２と評価値Ｖに対する閾値１１３を出力する。クラス分類結果１０２は、例えば局所復号画像２２と同じ大きさを持つ２次元配列であり、配列の各要素が対応する画素のクラス番号を格納する。

オフセット適用部１０３は、クラス分類結果１０２に基づいて、クラスごとにオフセットを決定し、オフセット付き局所復号画像１０４とオフセット１０５とを出力するが、この動作については実施の形態１と同様であるため、ここでの説明は省略する。

差分計算部１０８は、符号化ブロック３とオフセット付き局所復号画像１０４との間で画素値の差分を計算し、画素ごとの差分値１０９を出力する。差分値１０９の求め方は実施の形態１と同様である。

最適パラメータ決定部１１２ａは、オフセット１０５を適用した場合のコストを計算する。コストの計算については実施の形態１と同様である。そして、最適パラメータ決定部１１２ａは、最小コストを示す分類方法と各クラスのオフセットおよび評価値Ｖに対する閾値１１３をフィルタパラメータ２４として出力する。なお、適応オフセットフィルタを用いることで逆にコストが増加してしまう場合は、適応オフセットフィルタを使用しないことも可能である。

ＨＥＶＣにおける適応オフセットフィルタのパラメータは、分類方法とオフセットのみであるが、実施の形態４では、これにさらにエッジ画素を判別するための閾値１１３が追加されている。フィルタパラメータは、図１におけるヘッダ生成・符号化部２９で符号化されてビットストリーム３０に加えられる。

ビットストリーム３０のデータ構造の例を図１０に示す。図１０において、上段がビットストリーム全体を表し、ピクチャヘッダ（ＰＨ）に続く各スライスのデータ（Ｓ₁，Ｓ₂，…，Ｓ_N）で構成されている。中段はスライスデータを表し、スライスヘッダ（ＳＨ）に続く各符号化ブロックのデータ（ＣＴＵ₁，ＣＴＵ₂，…，ＣＴＵ_N）とフィルタパラメータ（ＦＰ₁，ＦＰ₂，…，ＦＰ_N）で構成されている。さらに、下段はフィルタパラメータを表し、クラス分類方法、クラス１、２、３、４のオフセット（クラス０のオフセットは常に０であるため伝送の必要がない）、閾値で構成されている。なお、図１０はあくまでも一例であるため、必ずしも図１０に従って閾値を伝送する必要はない。

このように、実施の形態４では、適応オフセットフィルタにおける画素分類の際に計算される画素値差分からエッジ画素を判定し、エッジ画素のクラス番号を０とすることでオフセットが適用されないようにしている。エッジ画素判定のための閾値は、原画像のエッジを抽出した結果から適応的に求めているため、高精度な判定が可能である。また、この閾値はビットストリームに加えられて復号装置にも伝送されるため、原画像を利用できない復号装置においても符号化装置と同じようにエッジ画素を分類してオフセットを適用しないようにすることができる。

以上説明したように、実施の形態４の動画像符号化装置によれば、特徴量抽出手段は、入力画像の各画素のエッジ強度または各画素がエッジ画素であるか否かの判定結果をエッジ抽出結果として求めるエッジ抽出部を備え、パラメータ決定手段は、注目画素の画素値と隣接画素との画素値差分を計算すると共に、エッジ抽出結果に基づいて閾値を求め、画素値差分と閾値とを比較することにより、注目画素における適応オフセットフィルタのオフセットの値を０とするか否かを決定し、かつ、閾値をビットストリームとして送信する送信手段を備えたので、原画像の鮮鋭感が失われることを防止することができ、また、原画像を利用できない復号装置においても符号化装置と同じようにエッジ画素を分類してオフセットを適用しないようにすることができる。

実施の形態５．
図１１は、この発明の実施の形態５に係る動画像復号装置の構成を示すブロック図である。なお、実施の形態５の動画像復号装置は、実施の形態４に示す動画像符号化装置が生成するビットストリームを入力として受け取って復号する動画像復号装置である。図１１に示す動画像復号装置は、逆量子化・逆変換部２０１、イントラ予測部２０３、動き補償部２０５、加算部２０８、ループフィルタ適用部２１０、ピクチャバッファ２１２を備えている。

逆量子化・逆変換部２０１は、ビットストリーム３０から量子化された係数を復号し、逆変換と逆量子化を施すことで予測残差２０２を生成する処理部である。なお、動画像復号装置への入力は、実施の形態４の動画像符号化装置が出力するビットストリーム３０である。イントラ予測部２０３は、ビットストリーム３０からイントラ予測モードを復号してイントラ予測画像２０４を生成する処理部である。動き補償部２０５は、ビットストリーム３０から動き情報を復号し、ピクチャバッファ２１２から参照画像２１３を読み出してインター予測画像２０６を生成する処理部である。加算部２０８は、現在の予測モードに対応する予測画像２０７と予測残差２０２を足し合わせ、フィルタ前復号画像２０９を生成するための加算器である。ループフィルタ適用部２１０は、フィルタ前復号画像２０９に対してフィルタを適用し、フィルタ後復号画像２１１を生成する処理部である。ピクチャバッファ２１２は、ループフィルタ適用部２１０からのフィルタ後復号画像２１１に基づいて最終的に復号画像２１４を出力すると共に、これを参照画像２１３として動き補償部２０５に出力するよう構成されている。

本実施の形態は、図１１に示す動画像復号装置のうち、特に、ループフィルタ適用部２１０に関するものである。図１２に、図１１におけるループフィルタ適用部２１０の内部構成を示す。図示のように、ループフィルタ適用部２１０は、クラス分類部３０１、オフセット適用部３０３から構成されており、クラス分類部３０１は、計算手段と閾値復号手段を構成している。

図１２に示すループフィルタ適用部の動作について説明する。まず、クラス分類部３０１は、ビットストリーム３０からクラス分類方法を復号し、それに従ってフィルタ前復号画像２０９の各画素を複数のクラスに分類する。ここで、クラス分類方法とは、バンドオフセットかエッジオフセットのいずれか、さらにエッジオフセットであれば図３に示すように隣接画素の定義として水平、垂直、１３５°、４５°のどれを利用するのかを表す情報である。この発明は、エッジオフセットにおける課題を解決するための技術であるため、ここではエッジオフセットの場合の動作について説明する。

クラス分類部３０１は、図４に示した条件に従ってフィルタ前復号画像２０９の全画素をクラス０から４のいずれかに分類する。
上記の表に示すように、クラス分類の際には注目画素の画素値とその隣接画素の画素値の大小関係を求める。したがって、Ｒ（ｃ）−Ｒ（ａ）およびＲ（ｃ）−Ｒ（ｂ）を計算する必要がある。この計算結果を利用し、クラス分類部３０１では、注目画素ｃに対して以下の評価値Ｖ（ｃ）を計算しておく。
Ｖ（ｃ）＝ｍａｘ（ａｂｓ（Ｒ（ｃ）−Ｒ（ａ）），ａｂｓ（Ｒ（ｃ）−Ｒ（ｂ）））
ただし、ｍａｘ（Ａ，Ｂ）はＡとＢのうち大きい方の値を返す関数であり、ａｂｓ（Ｘ）はＸの絶対値を返す関数である。

続いて、クラス分類部３０１は、ビットストリーム３０から閾値を復号し、評価値Ｖが閾値を上回る画素のクラスを０に変更する。評価値Ｖは、画素値が隣接画素から急峻に変化する画素ほど大きな値となるため、評価値Ｖが大きな画素はエッジであると判断することができる。判断に用いる閾値は符号化装置で適応的に決定されており、復号装置でも同じ閾値を用いることで符号化装置と同様の判断をすることができる。評価値Ｖが閾値を上回る画素のクラスを０にすることでオフセットが適用されなくなるため、エッジ画素が平滑化されることを防ぐことができる。

クラス分類部３０１は、各画素がどのクラスに属するかを表すクラス分類結果３０２を出力する。クラス分類結果３０２は、例えばフィルタ前復号画像２０９と同じ大きさを持つ２次元配列であり、配列の各要素が対応する画素のクラス番号を格納する。

オフセット適用部３０３は、ビットストリーム３０から各クラスのオフセットを復号する。そして、フィルタ前復号画像２０９において、同じクラスに属する画素の画素値に対して対応するオフセットを加算し、フィルタ後復号画像２１１を生成して出力する。

このように、実施の形態５では、適応オフセットフィルタにおける画素分類の際に計算される画素値差分からエッジ画素を判定し、エッジ画素のクラス番号を０とすることでオフセットが適用されないようにしている。エッジ画素判定のための閾値は、符号化装置において適応的に決定されたものを用いているため、高精度な判定が可能である。このようにすることで、符号化歪みだけでなく原画像に元から含まれているエッジも平滑化されて復号画像の鮮鋭感が失われるという適応オフセットフィルタの課題を解決することができる。

以上説明したように実施の形態５の動画像復号装置によれば、実施の形態４の動画像符号化装置から送信されたビットストリームの復号を行う動画像復号装置であって、ビットストリームから復号した復号画像に対して適応オフセットフィルタを適用する際、注目画素の画素値と隣接画素との画素値差分を計算する計算手段と、ビットストリームから閾値を復号する閾値復号手段とを備え、画素値差分が閾値を上回る場合、注目画素に対する適応オフセットフィルタのオフセットを０とするようにしたので、復号画像の鮮鋭感が失われるという適応オフセットフィルタの課題を解決することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 入力画像、２ ブロック分割部、３ 符号化ブロック、４ 加算部、５ 予測残差、６ 符号化制御部、７ 制御情報、８ 変換・量子化部、９ 係数、１０ イントラ予測モード決定部、１１ イントラ予測モード、１２ イントラ予測部、１３ イントラ予測画像、１４ 動き探索部、１５ 動き情報、１６ 動き補償部、１７ インター予測画像、１８ 予測画像、１９ 逆量子化・逆変換部、２０ 予測残差、２１ 加算部、２２ 局所復号画像、２３ ループフィルタパラメータ決定部、２４ フィルタパラメータ、２５ ループフィルタ適用部、２６ フィルタ済み局所復号画像、２７ ピクチャバッファ、２８ 参照画像、２９ ヘッダ生成・符号化部、３０ ビットストリーム、１０１，１０１ａ クラス分類部、１０２ クラス分類結果、１０３，１０３ａ オフセット適用部、１０４ オフセット付き局所復号画像、１０５ オフセット、１０６，１０６ａ エッジ抽出部、１０７，１０７ａ エッジ抽出結果、１０８ 差分計算部、１０９ 差分値、１１０ 重み付け部、１１１ 重み付き差分値、１１２，１１２ａ 最適パラメータ決定部、１１３ 閾値、２０１ 逆量子化・逆変換部、２０２ 予測残差、２０３ イントラ予測部、２０４ イントラ予測画像、２０５ 動き補償部、２０６ インター予測画像、２０７ 予測画像、２０８ 加算部、２０９ フィルタ前復号画像、２１０ ループフィルタ適用部、２１１ フィルタ後復号画像、２１２ ピクチャバッファ、２１３ 参照画像、２１４ 復号画像、３０１ クラス分類部、３０２ クラス分類結果、３０３ オフセット適用部。

Claims (7)

1. 入力画像を符号化し復号することによって得た復号画像に適応オフセットフィルタを適用する動画像符号化装置であって、
   前記入力画像の特徴を求める特徴量抽出手段と、
   前記入力画像の特徴に応じて前記適応オフセットフィルタのパラメータを決定するパラメータ決定手段とを備えた動画像符号化装置。
2. 前記特徴量抽出手段は、前記入力画像の各画素がエッジ画素であるか否かを判定するエッジ抽出部を備え、
   前記パラメータ決定手段は、前記エッジ抽出部で判定した前記入力画像のエッジに応じて適応オフセットフィルタのパラメータを決定することを特徴とする請求項１記載の動画像符号化装置。
3. 前記パラメータ決定手段は、前記適応オフセットフィルタのパラメータを決定するためのコストを計算すると共に、前記各画素がエッジ画素であるか否かの判定結果に基づいて、前記コストを調整することを特徴とする請求項２記載の動画像符号化装置。
4. 前記特徴量抽出手段は、前記入力画像の各画素のエッジ強度を求めるエッジ抽出部を備え、
   前記パラメータ決定手段は、前記適応オフセットフィルタのパラメータを決定するためのコストを計算すると共に、前記各画素のエッジ強度に基づいて、前記コストを調整することを特徴とする請求項１記載の動画像符号化装置。
5. 前記特徴量抽出手段は、前記入力画像の各画素のエッジ強度または当該各画素がエッジ画素であるか否かの判定結果をエッジ抽出結果として求めるエッジ抽出部を備え、
   前記パラメータ決定手段は、注目画素の画素値と隣接画素との画素値との関係によって分類されたクラスごとに前記エッジ抽出結果に基づいて評価値を計算し、当該評価値と閾値とを比較することにより、前記クラスごとの前記適応オフセットフィルタにおけるオフセットの値を０とするか否かを決定することを特徴とする請求項１記載の動画像符号化装置。
6. 前記特徴量抽出手段は、入力画像の各画素のエッジ強度または当該各画素がエッジ画素であるか否かの判定結果をエッジ抽出結果として求めるエッジ抽出部を備え、
   前記パラメータ決定手段は、
   注目画素の画素値と隣接画素との画素値差分を計算すると共に、前記エッジ抽出結果に基づいて閾値を求め、前記画素値差分と前記閾値とを比較することにより、前記注目画素における前記適応オフセットフィルタのオフセットの値を０とするか否かを決定し、
   かつ、
   前記閾値をビットストリームとして送信する送信手段を備えたことを特徴とする請求項１記載の動画像符号化装置。
7. 請求項６に記載の動画像符号化装置から送信されたビットストリームの復号を行う動画像復号装置であって、
   前記ビットストリームから復号した復号画像に対して適応オフセットフィルタを適用する際、注目画素の画素値と隣接画素との画素値差分を計算する計算手段と、
   前記ビットストリームから閾値を復号する閾値復号手段とを備え、
   前記画素値差分が前記閾値を上回る場合、当該注目画素に対する前記適応オフセットフィルタのオフセットを０とすることを特徴とする動画像復号装置。

Images