JP2014236348A - 動画像符号化装置、動画像符号化方法、および動画像符号化プログラム - Google Patents

Abstract

【課題】ＳＡＯ処理によって発生するボケを抑制する動画像符号化装置、動画像符号化方法、および動画像符号化プログラムを提供する。【解決手段】原画を符号化し、さらに復号して得られる復号画像に対して、前記復号画像の画素値の分布に基づき各画素を複数のタイプに分類し、前記タイプごとに画素の補正値を算出し、補正値に基づいて復号画像の画素値を補正する処理を行うフィルタを用いる動画像符号化装置において、各タイプをさらに、原画像のエッジ方向と復号画像のエッジ方向が同じエッジグループと、原画像のエッジ方向と復号画像のエッジ方向が異なるノイズグループに分類し、ノイズグループに対する補正量が大きくなるよう優先度を上げ、原画のエッジを保存するように補正値を算出する。【選択図】図１１

Description

本発明は、符号化装置、符号化方法、および符号化プログラムに関する。

国際電気通信連合（ＩＴＵ）によって勧告された動画データの圧縮符号化方法の標準の一つであり、国際標準化機構（ＩＳＯ）によって動画圧縮標準ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）の一部（ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）として勧告されているＩＴＵ−Ｔ Ｒｅｃ. Ｈ.２６４｜ＩＳＯ/ＩＥＣ １４４９６−１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、以下Ｈ．２６４とも呼ぶ）に代表される近年の動画像符号化では、復号画像に対してループ内フィルタというフィルタ処理を施すことで、画質を向上させる技術が適用されている。Ｈ．２６４では、デブロッキングフィルタというブロックひずみを低減するフィルタ処理が採用されている。

Ｈ．２６４の圧縮率を超える最新の動画像符号化方式の一つである高効率動画像圧縮符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）では、ブロック間の境界を目立たなくするために、デブロッキングフィルタによるフィルタ処理に続いてサンプルアダプティブオフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ、ＳＡＯ）処理が行われる。ＳＡＯ処理では、デブロッキングフィルタ処理後の復号画像に対して原画に近づけるような補正を行い、信号対雑音比（ＳＮ比）の改善を図っている。

ＳＡＯ処理では、デブロッキングフィルタによるフィルタ処理で得られた復号画像において、エッジの形状に応じた補正処理をしている。ＳＡＯ処理としては、復号画像におけるエッジ形状に応じたグループに分類し、復号画素の二乗誤差が最小になるように補正値を求め、グループごとに補正値を加算する処理を行う。このとき、補正値は補正方向が固定されており、エッジを丸める方向にのみ補正を行う規定となっている。

ＩＳＯ/ＩＥＣ １４４９６−１０ (ＭＰＥＧ−４ Ｐａｒｔ １０) ／ ＩＴＵ−Ｔ Ｒｅｃ.Ｈ.２６４ Thomas Wiegand、Woo-Jin Han、Benjamin Bross、Jens-Rainer Ohm、Gary J. Sullivan、"Working Draft 8 of High-Efficiency Video Coding" JCTVC-J1003, 2012-07 Stockholm

エンコーダにおけるＳＡＯ処理ではエッジを丸める方向にのみ補正を行う規定になっているので、ＳＡＯ処理における補正値の算出方法に基づくと、原画と復号画像の間の２乗誤差は低減できるが、エッジの周囲の符号化誤差の分布によっては、エッジが平滑化され、ボケが発生してしまう場合があるという問題がある。

よって、一つの側面として、本発明は、ＳＡＯ処理によって発生するボケを抑制する動画像符号化装置、動画像符号化方法、および動画像符号化プログラムを提供することを目的とする。

原画を符号化した後に復号して得られる復号画像と前記原画の比較から予測画素信号を生成し、前記予測画素信号を符号化する動画像符号化装置が提供される。動画像符号化装置は、前記復号画像に対応する原画のエッジ形状を表す原画エッジ指標を算出する原画エッジ指標算出部と、前記復号画エッジ指標と前記原画エッジ指標を比較し、前記復号画像の前記エッジ形状を前記原画像のエッジ方向と前記復号画像のエッジ方向が同じエッジグループ、または前記原画像のエッジ方向と前記復号画像のエッジ方向が異なるノイズグループに分類する形状比較部と、前記エッジグループおよび前記ノイズグループのそれぞれに対して、前記原画のエッジ形状と前記復号画像のエッジ形状に関する統計量を算出する統計量算出部と、前記エッジグループに対応する前記統計量の寄与が、前記ノイズグループに対応する前記統計量より小さくなるように、前記エッジグループおよび前記ノイズグループに対する前記統計量の重み付き和を求め、前記重み付き和に基づき補正値を決定する補正値決定部と、前記補正値を前記復号画像の前記画素値に加算して補正された復号画像を生成する補正部と、前記原画の動きベクトルの検出を行う動き検出部と、前記動き検出部で検出された前記動きベクトルと前記補正部で生成された前記補正された復号画像から、予測画素信号の生成を行う予測信号生成部と、予測信号生成部で生成された前記予測画素信号を符号化する符号化部と、を含むことを特徴とする。

エンコーダにおけるＳＡＯ処理によって発生するボケを抑制する動画像符号化装置、動画像符号化方法、および動画像符号化プログラムを提供する。

処理画素と周囲の２つの画素の間の位置関係を示す図である。 ＥｄｇｅＩｄｘ＝０、１、２、３、４の場合の処理画素と周囲画素の間の画素値の大小関係の例を示す図である。 ＥｄｇｅＩｄｘ＝１、２、３、４の場合の処理画素における画素値の補正の様子の例を示す図である。 ＳＡＯの効果の例を説明する図である。 比較例におけるＳＡＯ処理部の機能ブロック図の例である。 比較例におけるエッジオフセットモード判定部の機能ブロック図の例である。 比較例における補正値算出部の機能ブロック図の例である。 原画のエッジ形状と復号画素のエッジ形状の分類の例を示す図である。 ＳＡＯ処理によってエッジがボケてしまう例を説明する図である。 動画像符号化装置の機能ブロック図の例である。 エッジオフセットモード判定部の機能ブロック図の例である。 補正値算出部の機能ブロック図の例である。 動画像符号化装置の構成の例を示す図である。 動画像符号化処理における処理の流れの例を示す図である。 ＳＡＯ処理における処理の流れの例を示す図である。

以下では、図面を参照しながら、ＳＡＯ処理によって発生するボケを抑制する動画像符号化装置について説明する。

＜動画像符号化について＞
まず、高効率動画像圧縮符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、以下では単に「ＨＥＶＣ」と表すこともある。）における動画像符号化について説明する。ＨＥＶＣにおける動画像符号化では、画像をブロックに分割し、ブロックに含まれる画素を予測して予測差分を符号化することで高い圧縮率を達成している。符号化対象のピクチャ内の画素から予測画素を構成する予測モードをイントラ予測といい、過去に符号化した画像を参照画像とし、参照画像から予測画素を構成する予測モードをインター予測という。インター予測は動き補償とも呼ばれる。予測差分画像は、さらに離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ）のような直交変換によって周波数変換され、直交変換の出力係数を量子化して情報量を削減する。量子化は非可逆な処理であり、量子化によって発生する誤差が符号化歪みである。直交変換は一般にブロック単位に処理されるため、量子化歪みもブロック状に現れる場合がある。このブロック状のノイズはブロックノイズと呼ばれる。このノイズを除去するために、デブロッキングフィルタという復号画像のブロック境界に施す平滑化フィルタ処理が行われる。さらに最新の動画像符号化方式ＨＥＶＣでは、デブロッキングフィルタ後の画像に対してＳＡＯというフィルタ処理を施して量子化歪みを補正する。

ＨＥＶＣにおける動画像符号化では、符号化効率をさらに高めるため、画面内の予測符号化については、対象ブロックと同じ画面内にある隣接する既再生の画素信号（圧縮された画像データを復元されたもの）を用いて予測信号を生成した上で、それを対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化については、対象ブロックと異なる画面にある別の既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、生成された予測信号を対象ブロックの信号から引き算した差分信号を符号化する。具体的には、ＩＴＵ−Ｔ Ｒｅｃ. Ｈ.２６４｜ＩＳＯ/ＩＥＣ １４４９６−１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、以下Ｈ．２６４とも呼ぶ）の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。

以下では、エンコーダにおける１ブロックの一部の画素に対する処理を説明するが、実際の処理は、ブロック全体での平均値を用いても良い。

ＳＡＯの概要を説明する。
まず、デコーダの動作について説明する。デコーダでのＳＡＯ処理では、デブロッキングフィルタ後の画像の各画素に対して、グルーピング処理を行う。グルーピング処理の方法は、複数の方法が定義されており、ＣＴＢと呼ばれるブロック単位にエンコーダから通知される。グルーピング方法は、大きく分けてバンドオフセット（ＢａｎｄＯｆｆｓｅｔ）を用いる方法とエッジオフセット（ＥｄｇｅＯｆｆｓｅｔ）を用いる方法に分けられる。

バンドオフセットを用いる方法は、画素の絶対値に基づいて分類する方法である。バンドオフセットにおけるクラス分類では、画素値のレンジに基づき、レンジを等間隔に３２分割する。この各区間をバンドオフセットにおけるクラスとし、クラスごとに補正値を算出する。

一方、エッジオフセットを用いる方法は、処理画素の周囲８画素の中から２画素を使い、処理画素と隣接する２つの画素の間の画素値の大小関係をＥｄｇｅの形状とみなして、エッジ（Ｅｄｇｅ）の形状（エッジ形状）に基づいてグルーピングを行う方法である。エッジオフセットを用いる方法は２画素に限定するものではなく、他に、４近傍画素との大小関係に基づく方法も存在する。しかし、以下の記載を４近傍画素との大小関係に基づく方法に拡張することは当業者であれば容易であるので、４近傍画素との大小関係に基づく方法に関する記載は省略する。ここで、画素値とは、光の強さや色彩を数値化したものである。以下では、エッジオフセットのみを扱う。エッジオフセットは、計算するエッジの角度により、４種類のタイプが存在する。

図１は、処理画素と周囲の２つの画素の間の位置関係を示す図である。図１には、エッジオフセットの４種類のタイプが示されている。図１に示されているように、デブロック後の復号画像において、たとえば、一つのブロックは６４×６４画素を含む。高効率動画像圧縮符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）では、ブロックの画素数は６４×６４画素、３２ｘ３２画素、１６ｘ１６画素から選択可能なように定義されている。

４つの種類は、エッジ形状を計算するための２近傍画素の位置が異なる。図１に示されているように、処理画素の周囲８画素の中から２画素を並べたときの角度が、それぞれ０度、９０度、４５度、１３５度に対応している。Ｅｄｇｅ形状を計算する３画素の画素値をそれぞれ、Ｐ［−１］、Ｐ［０］、Ｐ［１］として、Ｐ［０］を処理対象画素とする。Ｅｄｇｅの形状ＥｄｇｅＩｄｘは、正負の値を取り得る値ｘに対して、ｘ＞０であればＳｉｇｎ（ｘ）＝１、ｘ＜０であればＳｉｇｎ（ｘ）＝−１となる関数Ｓｉｇｎを用いて次のように定義される。すなわち、

を用いて、ｅｉｄｘ０＝２の場合は、

のように、ｅｄｉｘ＜２の場合、

のように、さらにｅｄｉｘ＞２の場合、

である。各画素は、エンコーダで指定されたグルーピング方法で複数のタイプにグルーピングを行う。エッジオフセットの場合、ＥｄｇｅＩｄｘに従って、各画素は５つのタイプに分類される。

図２は、処理画素と周囲画素の間の画素値の大小関係を示す図である。
図２の（Ａ）は、ＥｄｇｅＩｄｘ＝０の場合の処理画素と周囲画素の間の画素値の大小関係の例を示す図である。図２の（Ａ）〜（Ｅ）では、３つの点はそれぞれ、Ｐ［−１］、Ｐ［０］、Ｐ［１］を与える画素を示している。ＥｄｇｅＩｄｘ＝０の場合は、３つの点の画素値を結ぶと、一つの直線上に乗っている。

図２の（Ｂ）は、ＥｄｇｅＩｄｘ＝１の場合の処理画素と周囲画素の間の画素値の大小関係の例を示す図である。この場合、３つの点の画素値を結ぶと「Ｖ」の字型になる。

図２の（Ｃ）は、ＥｄｇｅＩｄｘ＝２の場合の処理画素と周囲画素の間の画素値の大小関係の例を示す図である。この場合は、３つの点の真ん中の点の画素値と、右側または左側の点の画素値が等しく、残りの１点の画素値は他の２つの点の画素値より大きい。

図２の（Ｄ）は、ＥｄｇｅＩｄｘ＝３の場合の処理画素と周囲画素の間の画素値の大小関係の例を示す図である。この場合は、３つの点の真ん中の点の画素値と、右側または左側の点の画素値が等しく、残りの１点の画素値は他の２つの点の画素値より小さい。

図２の（Ｅ）は、ＥｄｇｅＩｄｘ＝４の場合の処理画素と周囲画素の間の画素値の大小関係の例を示す図である。この場合、３つの点の画素値を結ぶと「Ｖ」の字の上下を反転した形になる。

各画素は、エンコーダで指定されたグルーピング方法でグルーピングを行う。エッジオフセットの場合、ＥｄｇｅＩｄｘに従って、各画素は５つのタイプに分類される。

エンコーダはＣＴＢ単位に各タイプに対応する補正値をデコーダに通知する。デコーダは、分類したグループに対応する補正値を処理画素に加算する。なお、補正値については、補正値の正負の符号は予め定められている。

図３は、処理画素における画素値の補正の様子の例を示す図である。
図３の（Ａ）は、ＥｄｇｅＩｄｘ＝１の場合の処理画素における画素値の補正の様子の例を示す図である。この場合、処理画素では、画素値Ｐ［０］を大きくする補正が行われる。

図３の（Ｂ）は、ＥｄｇｅＩｄｘ＝２の場合の処理画素における画素値の補正の様子の例を示す図である。この場合、処理画素では、画素値Ｐ［０］を大きくする補正が行われる。

図３の（Ｃ）および（Ｄ）はそれぞれ、ＥｄｇｅＩｄｘ＝３および４の場合の処理画素における画素値の補正の様子の例を示す図である。この場合、処理画素では、画素値Ｐ［０］を小さくする補正が行われる。

つまり、図３の（Ａ）〜（Ｄ）に示されているように、高効率動画像圧縮符号化（ＨＥＶＣ）のＳＡＯ処理では補正方向がエッジを丸める方向に固定されている。

また、ＥｄｇｅＩｄｘ＝０の補正値については、０であることが規定されている。以上がＳＡＯ処理の概要である。

エンコーダは、原画とＳＡＯ処理後の画素値が近くなるように、補正値やグルーピング方法を決定する。補正値によって、量子化ノイズを補正することができれば、ＳＡＯ処理後の画質が向上する。

図４は、ＳＡＯの効果の例を説明する図である。
図４に示されているように、エッジオフセットは特にエッジ周辺に発生するモスキートノイズを補正するのに有効であり得る。

エンコーダの補正値算出方法について説明する。ＳＡＯ処理では、ＳＡＯ処理後の復号画像と原画像の誤差と符号量のトレードオフの関係を最適化するように、レート歪み最適化の基準で補正値を算出する。より詳細には、復号画像と原画像の間の誤差をＤｉｓｔｏｒｔｉｏｎ、処理対象ＣＴＢの符号量をＢｉｔとすると、

で定義される量Ｃｏｓｔを最小化するように補正値やグルーピング方法を選択する。ここで、符号量はビット数であっても良い。

以下、Ｄｉｓｔｏｒｔｉｏｎを符号化誤差と呼ぶこととする。また、簡単のために、符号化誤差Ｄｉｓｔｏｒｔｉｏｎを最小化するとみなしてもよい。計算の容易性からＤｉｓｔｏｒｔｉｏｎは一般的に２乗誤差が用いられるが、差分絶対値和であってもよい。また、ピーク信号対雑音比（ＰＳＮＲ）を用いても良いし、構造的類似性指標（ＳｔｒｕｃｔｕｒａｌＳＩＭｉｌａｒｉｔｙ、ＳＳＩＭ）のような基準を用いてよい。

エンコーダにおけるＳＡＯ処理について図５を用いて説明する。
図５は、比較例におけるＳＡＯ処理部１００の機能ブロック図の例である。

比較例におけるＳＡＯ処理部１００は、ＳＡＯモード判定部１０２と補正部１０４を含む。

ＳＡＯモード判定部１０２はさらに、０度エッジオフセットモード判定部１０２２、４５度エッジオフセットモード判定部１０２４、９０度エッジオフセットモード判定部１０２６、１３５度エッジオフセットモード判定部１０２８、およびエッジオフセットモード選択部１０３０を含む。０度エッジオフセットモード判定部１０２２、４５度エッジオフセットモード判定部１０２４、９０度エッジオフセットモード判定部１０２６、１３５度エッジオフセットモード判定部１０２８のぞれぞれは、上記［数５］で定義されるコスト（符号化コスト）Ｃｏｓｔと、最小のコストＣｏｓｔを与える補正値ｅｖを算出する。

図６は、比較例におけるエッジオフセットモード判定部１０６の機能ブロック図の例である。

図６に示されているエッジオフセットモード判定部１０６は、０度エッジオフセットモード判定部１０２２、４５度エッジオフセットモード判定部１０２４、９０度エッジオフセットモード判定部１０２６、１３５度エッジオフセットモード判定部１０２８のいずれかであり得る。

エッジオフセットモード判定部１０６は、復号画ＥｄｇｅＩｄｘ算出部１０６２、グループ分類部１０６４、ＥｄｇｅＩｄｘ＝０、１、２、３、４に対応する補正値算出部１０６６、１０６８、１０７０、１０７２、１０７４、補正値とＥｄｇｅＩｄｘに対応する［数２］の符号化コストを算出するエッジオフセットコスト計算部１０７６を含む。

復号画ＥｄｇｅＩｄｘ算出部１０６２は、上記［数１］〜［数４］を用いて、復号画のＥｄｇｅＩｄｘを算出する。

グループ分類部１０６４では、復号画ＥｄｇｅＩｄｘ算出部１０６２で算出されたＥｄｇｅＩｄｘを参照して、補正値算出部１０６６、１０６８、１０７０、１０７２、１０７４の一つに復号画とＥｄｇｅＩｄｘを含む情報を送る。

図７は、補正値算出部１０８の機能ブロック図の例である。
補正値算出部１０８は、ＥｄｇｅＩｄｘ＝０補正値算出部１０６６、ＥｄｇｅＩｄｘ＝１補正値算出部１０６８、ＥｄｇｅＩｄｘ＝２補正値算出部１０７０、ＥｄｇｅＩｄｘ＝３補正値算出部１０７２、ＥｄｇｅＩｄｘ＝４補正値算出部１０７４のいずれかであり得る。

補正値算出部１０８は、統計値算出部１０８２および補正値決定部１０８４を含む。補正値決定部１０８４はさらに、誤差計算部１０８６、補正値候補生成部１０８８、符号量計算部１０９０、および補正値選択部１０９２を含む。

統計値算出部１０８２には、互いに関連する原画および復号画の１ブロック、すなわち６４×６４画素の少なくとも一部が入力される。統計値算出部１０８２では、原画および復号画の差の累積値Ｎおよび画素数Ｄを算出する。

さらに、統計値算出部１０８２では、統計値算出部１０８２で算出された誤差の累積値Ｄおよび画素数Ｎから、原画および復号画の差の平均Ｄ／Ｎを求める。

補正値候補生成部１０８８では、たとえば、統計値算出部１０８２で算出された原画および復号画の差の平均Ｄ／Ｎ以下の整数Ｄ／Ｎ、Ｄ／Ｎ−１、Ｄ／Ｎ−２、．．．、０を補正値の候補として生成する。補正値の候補は、原画および復号画の差の平均Ｄ／Ｎ以下の整数の全てではなく、一部であってもよい。

誤差計算部１０８６では、補正値候補生成部１０８８で得られた複数の補正値の候補について、２乗誤差を算出する。ここでは、誤差として２乗誤差を用いるが、他のものであっても良い。

符号量計算部１０９０は、補正値候補生成部１０８８で得られた補正値の候補の符号量を計算する。符号量の計算に際しては、実際に補正値の候補の値を符号化した場合のビット数をカウントしてもよいし、近似値であってもよい。

補正値選択部１０９２では、誤差計算部１０８６で計算された２乗誤差と、符号量計算部１０９０で計算された補正値の候補の符号量を用いて、補正値（オフセット値）を選択する。具体的には、たとえば、上記［数５］のＤｉｓｔｏｒｔｉｏｎに２乗誤差、Ｂｉｔに補正値の候補の符号量を代入して、左辺のＣｏｓｔについて最小のＣｏｓｔを与える補正値の候補を、補正値として決定しても良い。

このように、ＥｄｇｅＩｄｘ＝０、１、２、３、４に対応する補正値算出部１０６６、１０６８、１０７０、１０７２、１０７４は、各ＥｄｇｅＩｄｘに対応する補正値を出力する。

エッジオフセットコスト計算部１０７６は、ＥｄｇｅＩｄｘ＝０、１、２、３、４に対応する補正値算出部１０６６、１０６８、１０７０、１０７２、１０７４で算出した符号化コストの合計を計算し、必要があればさらにさらにコストを調整して、エッジオフセットコストとする。

エッジオフセットモード選択部１０３０は、０度エッジオフセットモード判定部１０２２、４５度エッジオフセットモード判定部１０２４、９０度エッジオフセットモード判定部１０２６、１３５度エッジオフセットモード判定部１０２８から出力されたエッジオフセットコストに基づいて、０度エッジオフセットモード、４５度エッジオフセットモード、９０度エッジオフセットモード、１３５度エッジオフセットモードのうち最小のコストを与えるモードを選択し、ＳＡＯのモードに設定する。

ＳＡＯモード判定部１０２で選択されたエッジオフセットのモードと補正値は、補正部１０４に入力され、デコーダと同様に補正値を加算して最終的な復号画素を生成する。

図８は、原画のエッジ形状と復号画素のエッジ形状の分類の例を示す図である。
復号画素にエッジが生じる場合には２つの場合があることが分かる。すなわち、原画にエッジ形状がある場合と、原画にはエッジ形状がない場合である。ここでは、符号化誤差によって、エッジが発生したのか、もともと原画に存在していたエッジを反映したものなのか区別できない。

図９は、ＳＡＯ処理によってエッジがボケてしまう例を説明する図である。
符号化誤差によって発生したエッジは、ノイズであるため平滑化してもノイズが削減されて問題ないが、原画に存在するエッジを反映したエッジは、平滑化されると、ボケてしまう。ＳＡＯ処理ではグループ毎に復号画素のエッジを基準に補正量が決まるためノイズが多いと同種のエッジに強い補正がかかり、原画のエッジが丸まりエッジがボケる原因となる。

＜動画像符号化装置＞
以下で開示の動画像符号化装置では、原画に存在して、かつ復号画素にも存在するエッジの符号化誤差の低減の優先度を高くすることで、復号画素に存在するエッジがボケてしまうことを抑制する。そのために、動画像符号化装置は、復号画素のエッジ形状に基づいてグループ分けした後に、さらに原画のエッジ形状と復号画素のエッジ形状を比較して、同じ方向のエッジか否かにより、図８に示されているように、少なくともさらに２つのグループに分ける。同じエッジ方向のグループを第１のグループＥ０（エッジグループとも呼ぶ）、異なるエッジ方向のグループを第２のグループＥ１（ノイズグループとも呼ぶ）と分類する。以下で開示の動画像符号化装置では、第１のグループＥ０の符号化誤差がより向上するように補正値を算出する。

たとえば、以下で開示の動画像符号化装置では、第１のグループＥ０と第２のグループＥ１でそれぞれ独立に統計値算出を行って、ある補正値を選択した場合の第１のグループＥ０の符号化誤差と第２のグループＥ１の符号化誤差を算出する。それぞれの符号化誤差をもとに、重みつき符号化誤差を算出する。次に、重みつき符号化誤差と符号量を用いて、［数２］であらわされるコスト（符号化コスト）を算出し、コストＣｏｓｔが最小となる補正値を選択する。たとえば、［数２］で表されるコストＣｏｓｔを最小にするように補正値を決定する場合には、第１のグループＥ０の符号化誤差の重みを第２のグループＥ１の符号化誤差の重みより大きくすることで、第１のグループＥ０の符号化誤差をより低減させることができる。

コストＣｏｓｔの算出に際しては、複数の補正値の候補の値に対するコストを算出する。補正値の候補の値のうち少なくとも１つは、第１のグループＥ０の統計値と第２のグループＥ１の統計値をもとに算出する。

エッジの形状を比較する手段としては、上記のＥｄｇｅＩｄｘの算出方法と同じであってもよいし、異なっていても良い。

以下、図を参照しつつ、一つの実施形態による動画像符号化装置２００について説明する。

図９は、動画像符号化装置２００の機能ブロック図の例である。
動画像符号化装置２００は、予測誤差信号生成部２０２、直交変換部２０４、量子化部２０６、逆量子化部２０８、逆直交変換部２１０、復号画素生成部２１２、デブロッキング部２１４、ＳＡＯ処理部２１６、復号画素記憶部２１８、予測信号生成部２２０、動き検出部２２２、およびエントロピー符号化部２２４を含む。

復号画素記憶部２１８は、動き補償の参照ピクチャとして利用する目的で、過去に符号化処理し動画像符号化装置内で局所復号処理した画像を記憶する。

動き検出部２２２は、原画および復号画の動きベクトルの検出を行う。
予測信号生成部２２０は、動き検出部２２２で検出された動きベクトルと復号画素生成部２１２で生成された局所復号画像に関する信号から、予測画素信号の生成を行う。

予測誤差信号生成部２０２は、原画と動き補償を行うため、原画に関する画素信号と予測信号生成部２２０で生成された予測画素信号の差分から予測誤差信号を生成する。

直交変換部２０４は、予測誤差信号生成部２０２で得られた予測誤差信号を直交変換し、直交変換係数を算出する。

量子化部２０６は、直交変換部２０４で得られた直交変換係数を量子化する。
逆量子化部２０８は、量子化部２０６で量子化された直交変換係数を逆量子化する。

逆直交変換部２１０は、逆量子化部２０８で逆量子化された直交変換係数の逆直交変換処理を行い、復号画素信号を生成する。

復号画素生成部２１２は、逆直交変換部２１０で生成された復号画素信号から、局所復号画像を生成する。復号画素生成部２１２で生成された局所復号画像に関する信号は、予測信号生成部２２０に送られる。

デブロッキング部２１４では、復号画素生成部２１２で生成された局所復号画像に関する信号からブロックノイズを軽減するフィルタ処理を行う。

ＳＡＯ処理部２１６は、前述のＳＡＯ処理部１００と同様、ＳＡＯモード判定部２１６４および補正部２１６２を含む。

ＳＡＯモード判定部２１６４は、図５に示されているＳＡＯモード判定部１００と類似または同一の構成を有している。すなわち、ＳＡＯモード判定部１０２はさらに、０度エッジオフセットモード判定部１０２２、４５度エッジオフセットモード判定部１０２４、９０度エッジオフセットモード判定部１０２６、１３５度エッジオフセットモード判定部１０２８、およびエッジオフセットモード選択部１０３０を含む。０度エッジオフセットモード判定部１０２２、４５度エッジオフセットモード判定部１０２４、９０度エッジオフセットモード判定部１０２６、１３５度エッジオフセットモード判定部１０２８のぞれぞれは、上記［数５］で定義される符号化コストと各モードに対応するグループごとの補正値を算出する。

図１１は、エッジオフセットモード判定部３００の機能ブロック図の例である。図１１に示されているエッジオフセットモード判定部３００は、０度エッジオフセットモード判定部１０２２、４５度エッジオフセットモード判定部１０２４、９０度エッジオフセットモード判定部１０２６、１３５度エッジオフセットモード判定部１０２８のいずれかであり得る。

エッジオフセットモード判定部３００は、復号画ＥｄｇｅＩｄｘ算出部３０２、原画ＥｄｇｅＩｄｘ算出部３０４、グループ分類部３０６、ＥｄｇｅＩｄｘ＝０、１、２、３、４に対応する補正値算出部３０８、３１０、３１２、３１４、３１６、エッジオフセットコスト計算部３１８を含む。

復号画エッジ指標（ＥｄｇｅＩｄｘ）算出部３０２は、上記［数１］〜［数４］を用いて、復号画エッジ指標算出部３０２は、復号画像のエッジ形状を表す復号画のＥｄｇｅＩｄｘである、復号画エッジ指標を算出する。

原画ＥｄｇｅＩｄｘ算出部３０４も、復号画素のＥｄｇｅＩｄｘ算出と同様、上記［数１］〜［数４］を用いて、復号画像に対応する原画のエッジ形状を表す原画エッジ指標、原画のＥｄｇｅＩｘを算出する。もちろん、別の方法であってもよいが、 ここでは、原画のエッジ形状は、［数１］のように、復号画素のＥｄｇｅＩｄｘの算出と同様に、原画のＥｄｇｅＩｄｘの算出を行うものとする。

グループ分類部３０６では、復号画ＥｄｇｅＩｄｘ算出部３０２および原画ＥｄｇｅＩｄｘ算出部３０４で算出された復号画および原画のＥｄｇｅＩｄｘを参照して、ＥｄｇｅＩｄｘ＝０、１、２、３、４に対応する補正値算出部３０８、３１０、３１２、３１４、３１６の一つに復号画と復号画のＥｄｇｅＩｄｘ、または原画と原画のＥｄｇｅＩｄｘを含む情報を送る。

図１２は、補正値算出部４００の機能ブロック図の例である。
補正値算出部４００は、ＥｄｇｅＩｄｘ＝０補正値算出部３０８、ＥｄｇｅＩｄｘ＝１補正値算出部３１０、ＥｄｇｅＩｄｘ＝２補正値算出部３１２、ＥｄｇｅＩｄｘ＝３補正値算出部３１４、ＥｄｇｅＩｄｘ＝４補正値算出部３１６のいずれかであり得る。

補正値算出部４００は、形状比較部４０２、Ｅ０統計値算出部４０４、Ｅ１統計値算出部４０６、誤差計算部４１０、補正値候補生成部４１２、符号量計算部４１４、および補正値選択部４１６を含む。誤差計算部４１０、補正値候補生成部４１２、符号量計算部４１４、および補正値選択部４１６は組み合わされて補正値決定部４０８を形成する。

形状比較部４０２では、原画のエッジ形状と復号画素のエッジ形状を比較して、同じ方向のエッジか否かにより、図８に示されているように、少なくともさらに２つのグループに分ける。同じエッジ方向のグループを第１のグループＥ０（エッジグループとも呼ぶ）、異なるエッジ方向のグループを第２のグループＥ１（ノイズグループとも呼ぶ）と分類する。すなわち、形状比較部４０２では、複数のタイプに分類するために、復号画エッジ指標と原画エッジ指標を比較し、復号画像のエッジ形状を原画像のエッジ方向と復号画像のエッジ方向が同じエッジグループ、または原画像のエッジ方向と復号画像のエッジ方向が異なるノイズグループに分類する。

たとえば形状比較部４０２では、復号画素のＥｄｇｅＩｄｘが１または２の場合、原画の形状比較部４０２では、同様に１または２の場合は形状が一致しているとみなす。原画のＥｄｇｅＩｄｘが０、３、４のいずれかである場合は不一致とみなす。復号画素のＥｄｇｅＩｄｘが３または４の場合、原画のＥｄｇｅＩｄｘも同様に３または４の場合は形状が一致しているとみなし、原画のＥｄｇｅＩｄｘが０、１、２のいずれかである場合は不一致とみなす。あるいは、復号画のＥｄｇｅＩｄｘと原画のＥｄｇｅＩｄｘが完全に一致する場合のみを形状一致と判定して、それ以外の場合は不一致と判定してもよい。

Ｅ０統計値算出部４０４、Ｅ０統計値算出部４０６には、対応するグループの互いに関連する原画および復号画の１ブロック、すなわち６４×６４画素の少なくとも一部が入力される。Ｅ０統計値算出部４０４およびＥ０統計値算出部４０６では、対応するグループの原画および復号画の差の累積値Ｄｓｕｍおよび画素数Ｎｄを算出する。第１のグループＥ０（エッジグループ）および第２のグループＥ１（ノイズグループ）それぞれに対応する差分値の累積値をＤＳｕｍ（Ｅ０）およびＤＳｕｍ（Ｅ１）、画素数をそれぞれＮｄ（Ｅ０）およびＮｄ（Ｅ１）とする。累積値ＤＳｕｍ（Ｅ０）およびＤＳｕｍ（Ｅ１）、画素数Ｎｄ（Ｅ０）およびＮｄ（Ｅ１）に関する情報をまとめて統計情報と呼ぶ。Ｅ０統計値算出部４０４とＥ０統計値算出部４０６は、まとめて統計量算出部と呼ぶことがある。統計算出部は、エッジグループおよびノイズグループのそれぞれに対して、原画のエッジ形状と復号画のエッジ形状に関する統計量、たとえばＤｓｕｍ（Ｅ０）、Ｄｓｕｍ（Ｅ１）、Ｎｄ（Ｅ０）、Ｎｄ（Ｅ１）を算出する。

補正値決定部４０８は、複数のグループに対する前記統計量、Ｄｓｕｍ（Ｅ０）、Ｄｓｕｍ（Ｅ１）、Ｎｄ（Ｅ０）、Ｎｄ（Ｅ１））に基づき、エッジグループおよびノイズグループのそれぞれに対応する前記復号画像に対する補正値ｅｖを決定する。

補正値生成部４１２は、第１のグループＥ０（エッジグループ）および第２のグループＥ１（ノイズグループ）それぞれの統計情報に従い、補正値の候補を生成する。たとえば補正値生成部４１２は、重みパラメータをｗ０、ｗ１として、

とし、Ａを基準にＡ、Ａ−１、Ａ−２、・・・、０を補正値の候補としても良い。これらの中から、候補値の中から適度に候補をしぼってもよい。たとえば、Ａだけを候補としてもよい。ｗ０とｗ１はたとえば、ｗ０＝２−ｗ１として、ｗ１を０〜１の任意の値としてもよい。特にｗ１を０．５〜１程度とするのが望ましい。

誤差計算部４１０では、補正値候補生成部４１２で得られた複数の補正値の候補について、２乗誤差を算出する。ここでは、誤差として２乗誤差を用いるが、他のものであっても良い。

たとえば、補正値候補の値をｅとすると、誤差計算部４１０は、

に基づいて、重みつき２乗誤差を算出しても良い。ここで、α０やα１は、α０＝（２−α１）として、α１は０〜１の任意の値としてもよい。特にα１を０．５〜１程度とするのが望ましい。ｗ１やα１の値は、ブロック単位やピクチャ単位に変更してもよい。たとえば、ブロックの平坦度合を評価して平坦度合に応じて値を変更する方法や、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのようなピクチャの符号化タイプに応じて値を変更する方法を用いてもよい。

符号量計算部４１４は、補正値候補生成部４１２で得られた補正値の候補の値ｅの符号量を計算する。符号量の計算に際しては、実際に補正値の候補の値ｅを符号化した場合のビット数をカウントしてもよいし、近似値であってもよい。補正値の候補の値ｅの符号量をＢｉｔ（ｅ）と書くことがある。

符号量計算部４１４は、ＣＡＢＡＣと呼ばれる算術符号を利用した符号化方法を用いても良い。この場合、まず補正値の値をバイナリ列に変換する。バイナリ列に変換する方法は、たとえば、トランケーテッドユーナリ符号である。すなわち、たとえば、補正値の絶対値が０であれば０と変換し、補正値の絶対値が１ならば１０、補正値の絶対値が２ならば１１０と変換する。なお、補正値の正負符号は、ＥｄｇｅＩｄｘによって、自動的に定まるため、符号化する必要はない。また、補正値の絶対値は、画素値が８ビットであれば、０〜７までの整数にＨＥＶＣでは限定される。その後、このバイナリ列を、算術符号化することで、高い圧縮効率を達成することができる。推定する符号量は、算術符号化処理する前のバイナリ列のビット長であってもよいし、算術符号化処理した後のビット長であってもよい。

補正値選択部４１６では、誤差計算部４１０で計算された２乗誤差Ｅｒｒ（ｅ）と、符号量計算部４１４で計算された補正値の候補の符号量Ｂｉｔ（ｅ）を［数５］に用いて、コストを算出し、最もコスト（符号化コスト）が小さくなる補正値候補を補正値（オフセット値）ｅｖとして選択する。補正値選択部４１６は、補正値ｅｖとコストＣｏｓｔを出力する。なお、出力するコストに関しては、出力する補正値ｅｖを使って［数７］のα０＝１、α１＝１として重みなしの２乗誤差を算出し、得られたＥｒｒを用いて、コストを算出し直して、そのコストを出力してもよい。

このように、ＥｄｇｅＩｄｘ＝０、１、２、３、４に対応する補正値算出部３０８、３１０、３１２、３１４、３１６は、各ＥｄｇｅＩｄｘに対応する補正値ｅｖとコストＣｏｓｔを出力する。

エッジオフセットコスト計算部３１８は、ＥｄｇｅＩｄｘ＝０、１、２、３、４に対応する補正値算出部３０８、３１０、３１２、３１４、３１６で算出した符号化コストの合計として定義されるトータルの符号化コストを計算し、必要があればさらにさらにコストを調整して、対応するＥｄｇｅＩｄｘのエッジオフセットコストとする。そして、トータルの符号化コストと、各ＥｄｇｅＩｄｘの補正値をエッジオフセットモード選択部１０３０に出力する。

エッジオフセットモード選択部１０３０では、各エッジオフセットモード判定部１０２２、１０２４、１０２６、１０２８から受信したトータルの符号化コストと、各ＥｄｇｅＩｄｘの補正値から、コストを最小にするモードを選択し、補正部２１６２に選択したモードと、各補正値ｅｖを出力する。

ＳＡＯ処理部２１６では、復号画素に補正値を加算する処理を行って、復号画素記憶部２１８およびエントロピー符号化部２２４に出力する。

エントロピー符号化部２２４では、入力情報に対するエントロピー符号化を行い、符号化ストリームを出力する。

このように構成される動画像符号化装置を用いることによって、高効率動画像圧縮符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）でのサンプルアダプティブオフセット（ＳＡＯ）処理において原画のエッジを保存できるため、ＳＡＯ処理によるボケの発生を抑制することができる。すなわち上述の動画像符号化装置では、ＨＥＶＣで採用されたＳＡＯの分類を原画像のエッジ方向と復号画像のエッジ方向が同じエッジグループと、原画像のエッジ方向と復号画像のエッジ方向が異なるノイズグループに分類し、ノイズグループに対する補正量（オフセット値）が大きくなるよう優先度を上げた処理とすることで、ＨＥＶＣでＳＡＯ処理を行なった際に原画のエッジを保存するようにオフセット値を算出する。この処理により原画のエッジを保存できるためボケの発生を抑制することができる。

図１３は実施形態の動画像符号化装置２００の構成の例を示す図である。動画像符号化装置１００は、汎用コンピュータ５００として実現され得る。

このコンピュータ５００は、Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＭＰＵ）５０２、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）５０４、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）５０６、ハードディスク装置５０８、入力装置５１０、表示装置５１２、インタフェース装置５１４、及び記録媒体駆動装置５１６を備えている。なお、これらの構成要素はバスライン５２０を介して接続されており、ＭＰＵ５０２の管理の下で各種のデータを相互に授受することができる。

ＭＰＵ５０２は、このコンピュータ３００全体の動作を制御する演算処理装置であり、コンピュータ５００の制御処理部として機能する。

ＲＯＭ５０４は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ５０２は、この基本制御プログラムをコンピュータ３００の起動時に読み出して実行することにより、このコンピュータ３００の各構成要素の動作制御が可能になる。

ＲＡＭ５０６は、ＭＰＵ５０２が各種の動画像符号化プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。

ハードディスク装置５０８は、ＭＰＵ５０２によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。ＭＰＵ５０２は、ハードディスク装置５０８に記憶されている所定の制御プログラムを読み出して実行することにより、後述する各種の制御処理を行えるようになる。

入力装置５１０は、例えばマウス装置やキーボード装置であり、動画像符号化装置２００のユーザにより操作されると、その操作内容に対応付けられている各種情報の入力を取得し、取得した入力情報をＭＰＵ５０２に送付する。

表示装置５２は例えば液晶ディスプレイであり、ＭＰＵ５０２から送付される表示データに応じて各種のテキストや画像を表示する。

インタフェース装置５１４は、このコンピュータ５００に接続される各種機器との間での各種情報の授受の管理を行う。

記録媒体駆動装置５１６は、可搬型記録媒体５１８に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ５０２は、可搬型記録媒体５１８に記録されている所定の制御プログラムを、記録媒体駆動装置５１６を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体５１８としては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格のコネクタが備えられているフラッシュメモリ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などがある。

このようなコンピュータ５００を用いて動画像符号化装置２００を構成するには、例えば、上述の各処理部における処理をＭＰＵ５０２に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置５０８若しくは可搬型記録媒体５１８に予め格納しておく。そして、ＭＰＵ５０２に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、動画像符号化装置２００が備えている機能がＭＰＵ５０２により提供される。

＜動画像符号化の処理＞
図１４〜１５を参照して、動画像符号化の処理の例について説明する。

また、動画像符号化装置２００が図１３に示されているような汎用コンピュータ５００によって構成される場合には、下記の説明は、そのような処理を行う制御プログラムを定義する。すなわち、以下では、下記に説明する処理を汎用コンピュータに行わせる制御プログラムの説明でもある。

処理が開始されると、Ｓ１００で動画像符号化装置２００の動き検出部２２２は、動画像符号化装置２００に入力された原画像を受ける。そして、復号画像記憶部２１８から参照ピクチャの画素データを取得し、原画の各ブロックに対応する参照画像上の領域を検出し、その位置を動きベクトルを得る。動き検出部２２２は、動きベクトルおよび動きベクトルが参照する参照画像の領域位置情報を予測信号生成部２２０とエントロピー符号化部２２４に出力する。本ステップの処理が終了すると、処理はＳ１０２に進む。

Ｓ１０２で動画像符号化装置２００の予測信号生成部２２０は、入力された参照画像の領域位置情報に基づいて、復号画像記憶部２１８から参照ピクチャの画素データを取得し、予測信号を生成する。本ステップの処理が終了すると、処理はＳ１０４に進む。

Ｓ１０４で動画像符号化装置２００の予測誤差信号生成部２０２は、原画像と予測画素信号を受信し、原画像と予測信号の差分を算出することで予測誤差信号を生成する。本ステップの処理が終了すると、処理はＳ１０６に進む。

Ｓ１０６では、まず動画像符号化装置２００の直交変換部２０４は、Ｓ１０４で生成された予測誤差信号を、離散コサイン変換や離散サイン変換などの直交変換処理を施し、直交変換係数を得る。次に、動画像符号化装置２００の量子化部２０６は、直交変換係数は、量子化部に入力され、量子化される。量子化された直交変換係数は、エントロピー符号化部２２４に出力する。本ステップの処理が終了すると、処理はＳ１０８、Ｓ１１８に進む。

Ｓ１０８では、まず動画像符号化装置２００の逆量子化部２０８は、Ｓ１０６で得られた量子化された直交変換係数は、逆量子化する。さらに、動画像符号化装置２００の逆直交変換部２１０は、逆量子化された直交変換係数に逆直交変換を施し、得られた画像に関する情報を復号画像生成部２１２に出力する。本ステップの処理が終了すると、処理はＳ１１０に進む。

Ｓ１１０で動画像符号化装置２００の復号画素生成部２１０は、Ｓ１０８で生成された信号に予測誤差信号を加算することで、復号画素を生成する。本ステップの処理が終了すると、処理はＳ１１２に進む。

Ｓ１１２で動画像符号化装置２００のデブロッキング部２１４は、Ｓ１１０で生成された復号画素にデブロックフィルタ処理を施し、ブロック境界での平滑化処理を行う。本ステップの処理が終了すると、処理はＳ１１４に進む。

Ｓ１１４で動画像符号化装置２００のＳＡＯ処理部２１６は、Ｓ１１２で平滑化処理が行われた復号画素のＳＡＯ処理を行う。

ＳＡＯ処理部２１６でのＳＡＯ処理について、図１５を参照して説明する。
図１５は、ＳＡＯ処理における処理の流れの例を示す図である。

Ｓ２０２でエッジオフセットモード判定部３００の復号画ＥｄｇｅＩｄｘ算出部３０２は、上記［数１］〜［数４］を用いて、復号画のＥｄｇｅＩｄｘを算出する。本ステップの処理が終了すると、処理はＳ２０４に進む。

エッジオフセットモード判定部３００は、０度エッジオフセットモード判定部１０２２、４５度エッジオフセットモード判定部１０２４、９０度エッジオフセットモード判定部１０２６、１３５度エッジオフセットモード判定部１０２８のいずれかであり得る。

Ｓ２０４でエッジオフセットモード判定部３００の原画ＥｄｇｅＩｄｘ算出部３０４は、復号画素のＥｄｇｅＩｄｘ算出と同様、上記［数１］〜［数４］を用いて、原画のＥｄｇｅＩｄｘを算出する。本ステップの処理が終了すると、処理はＳ２０６に進む。

Ｓ２０６でエッジオフセットモード判定部３００のグループ分類部３０６は、復号画ＥｄｇｅＩｄｘ算出部３０２および原画ＥｄｇｅＩｄｘ算出部３０４で算出された復号画および原画のＥｄｇｅＩｄｘを参照して、ＥｄｇｅＩｄｘ＝０、１、２、３、４に対応する補正値算出部３０８、３１０、３１２、３１４、３１６の一つに復号画と復号画のＥｄｇｅＩｄｘ、または原画と原画のＥｄｇｅＩｄｘを含む情報を送る。本ステップの処理が終了すると、処理はＳ２０８に進む。

Ｓ２０８で補正値算出部４００の形状比較部４０２は、原画のエッジ形状と復号画素のエッジ形状を比較して、同じ方向のエッジか否かにより、図８に示されているように、少なくともさらに２つのグループに分ける。同じエッジ方向のグループを第１のグループＥ０（エッジグループとも呼ぶ）、異なるエッジ方向のグループを第２のグループＥ１（ノイズグループとも呼ぶ）と呼ぶ。本ステップの処理が終了すると、処理はＳ２１０に進む。

補正値算出部４００は、ＥｄｇｅＩｄｘ＝０補正値算出部３０８、ＥｄｇｅＩｄｘ＝１補正値算出部３１０、ＥｄｇｅＩｄｘ＝２補正値算出部３１２、ＥｄｇｅＩｄｘ＝３補正値算出部３１４、ＥｄｇｅＩｄｘ＝４補正値算出部３１６のいずれかであり得る。

Ｓ２１０で補正値算出部４００のＥ０統計値算出部４０４またはＥ０統計値算出部４０６は、対応するグループの互いに関連する原画および復号画の１ブロック、すなわち６４×６４画素の少なくとも一部に対する、原画および復号画の差の累積値Ｄｓｕｍおよび画素数Ｎｄを算出する。第１のグループＥ０（エッジグループ）および第２のグループＥ１（ノイズグループ）それぞれに対応する差分値の累積値をＤＳｕｍ（Ｅ０）およびＤＳｕｍ（Ｅ１）、画素数をそれぞれＮｄ（Ｅ０）およびＮｄ（Ｅ１）とする。累積値ＤＳｕｍ（Ｅ０）およびＤＳｕｍ（Ｅ１）、画素数Ｎｄ（Ｅ０）およびＮｄ（Ｅ１）に関する情報をまとめて統計情報と呼ぶ。本ステップの処理が終了すると、処理はＳ２１２に進む。

Ｓ２１２で補正値算出部４００の補正値生成部４１２は、第１のグループＥ０（エッジグループ）および第２のグループＥ１（ノイズグループ）それぞれの統計情報に従い、補正値の候補を生成する。たとえば補正値生成部４１２は、重みパラメータをｗ０、ｗ１として、

とし、Ａを基準にＡ、Ａ−１、Ａ−２、・・・、０を補正値の候補としても良い。本ステップの処理が終了すると、処理はＳ２１４に進む。

Ｓ２１４では、まず、補正値算出部４００の誤差計算部４１０は、補正値候補生成部４１２で得られた複数の補正値の候補について、２乗誤差を算出する。ここでは、誤差として２乗誤差を用いるが、他のものであっても良い。

たとえば、補正値候補の値をｅとすると、誤差計算部４１０は、

に基づいて、重みつき２乗誤差を算出しても良い。ここで、α０やα１は、α０＝（２−α１）として、α１は０〜１の任意の値としてもよい。

Ｓ２１４ではさらに、補正値算出部４００の符号量計算部４１４は、Ｓ２１２で得られた補正値の候補の値ｅの符号量を計算する。符号量の計算に際しては、実際に補正値の候補の値ｅを符号化した場合のビット数をカウントしてもよいし、近似値であってもよい。補正値の候補の値ｅの符号量をＢｉｔ（ｅ）と書くことがある。本ステップの処理が終了すると、処理はＳ２１６に進む。

Ｓ２１６で補正値算出部４００の補正値選択部４１６は、Ｓ２１４で計算された２乗誤差Ｅｒｒ（ｅ）と、補正値の候補の符号量Ｂｉｔ（ｅ）を［数５］に用いて、コストを算出し、最もコスト（符号化コスト）が小さくなる補正値候補を補正値（オフセット値）ｅｖとして選択する。本ステップでは、このように選択された、各ＥｄｇｅＩｄｘに対応する補正値ｅｖとコストＣｏｓｔが出力される。本ステップの処理が終了すると、処理はＳ２１８に進む。

Ｓ２１８でエッジオフセットモード判定部３００のエッジオフセットコスト計算部３１８は、ＥｄｇｅＩｄｘ＝０、１、２、３、４に対応する補正値算出部３０８、３１０、３１２、３１４、３１６で算出した符号化コストの合計として定義されるトータルの符号化コストを計算する。必要があればさらにさらにコストを調整して、対応するＥｄｇｅＩｄｘのエッジオフセットコストとし、トータルの符号化コストと、各ＥｄｇｅＩｄｘの補正値を出力しても良い。本ステップの処理が終了すると、処理はＳ２２０に進む。

Ｓ２２０でエッジオフセットモード選択部１０３０は、各エッジオフセットモード判定部１０２２、１０２４、１０２６、１０２８から受信したトータルの符号化コストと、各ＥｄｇｅＩｄｘの補正値から、コストを最小にするモードを選択し、補正部２１６２に選択したモードと、各補正値ｅｖを出力する。本ステップの処理が終了すると、処理はＳ２２２に進む。

Ｓ２２２でＳＡＯ処理部２１６のＳＡＯモード判定部２１６４は、Ｓ２２０で選択されたコストを最小にするモードに対応する復号画の画素を選択する。

Ｓ２２４でＳＡＯ処理部２１６の補正部２１６４は、復号画素の画素値に補正値を加算する処理を行う。本ステップの処理が終了すると、処理は図１４のＳ１１６に進む。

図１４のＳ１１６で復号画素記憶部２１８は、得られた復号画素を復号画素記憶部２１８に記憶する。

また、Ｓ１１８でエントロピー符号化部２２４は、動きベクトル情報や、量子化された直交変換係数情報をエントロピー符号化してストリームデータとして出力する。本ステップでは、エントロピー符号化を行うが、別の符号化でも良い。エントロピー符号化部２２４は、単に符号化部２２４として参照され得る。

上記Ｓ１１６とＳ１１８の処理の順序は、逆でも良い。
このような動画像符号化方法を用いることによって、高効率動画像圧縮符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）でサンプルアダプティブオフセット（ＳＡＯ）処理において原画のエッジを保存できるため、ＳＡＯ処理によるボケの発生を抑制することができる。

動画符号化方法ＨＥＶＣ中の、デブロッキングフィルタ処理後の復号画像に適用されるフィルタ処理ＡＳＯにおいて、グループ化を従来の復号画像のエッジ形状に基づくグループ化に加え、原画のエッジの方向と復号画像のエッジの方向が同じか否かに応じたグループ化を行い、原画のエッジの方向と復号画像のエッジの方向が同じグループの符号化誤差の低減の優先度を高くすることによって、ＳＡＯ処理によってエッジが平滑化されて復号画像にボケが発生することを抑制することができる。ここで、「原画のエッジの方向と復号画像のエッジの方向が同じグループの符号化誤差の低減の優先度を高くする」という部分の表現の問題があると思いますが、恐らく、補正値（オフセット値）の候補を未定係数法を用いて算出する際に、原画のエッジの方向と復号画像のエッジの方向が同じグループ（Ｅ０グループ、エッジグループ）と原画のエッジの方向と復号画像のエッジの方向が異なるグループ（Ｅ１グループ、ノイズグループ）に対する統計量の重み付けに差異を付け、Ｅ１グループに対する補正値が、Ｅ０グループに対する補正値よりブロック全体としては小さくなっても良い。

以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
原画を符号化した後に復号して得られる復号画像と前記原画の比較から予測画素信号を生成し、前記予測画素信号を符号化する動画像符号化装置において、
前記復号画像のエッジ形状を表す復号画エッジ指標を算出する復号画エッジ指標算出部と、
前記復号画像に対応する原画のエッジ形状を表す原画エッジ指標を算出する原画エッジ指標算出部と、
前記復号画エッジ指標と前記原画エッジ指標を比較し、前記復号画像の前記エッジ形状を前記原画像のエッジ方向と前記復号画像のエッジ方向が同じエッジグループ、または前記原画像のエッジ方向と前記復号画像のエッジ方向が異なるノイズグループに分類する形状比較部と、
前記エッジグループおよび前記ノイズグループのそれぞれに対して、前記原画のエッジ形状と前記復号画像のエッジ形状に関する統計量を算出する統計量算出部と、
前記エッジグループに対応する前記統計量の寄与が、前記ノイズグループに対応する前記統計量より小さくなるように、前記エッジグループおよび前記ノイズグループに対する前記統計量の重み付き和を求め、前記重み付き和に基づき補正値を決定する補正値決定部と、
前記補正値を前記復号画像の前記画素値に加算して補正された復号画像を生成する補正部と、
前記原画の動きベクトルの検出を行う動き検出部と、
前記動き検出部で検出された前記動きベクトルと前記補正部で生成された前記補正された復号画像から、前記予測画素信号の生成を行う予測信号生成部と、
前記予測画素信号を符号化する符号化部と、
を含む動画像符号化装置。
（付記２）
前記補正値決定部はさらに、
前記統計量算出部で得られた前記統計量に基づいて、前記エッジグループおよび前記ノイズグループのそれぞれに対応する前記補正値の候補の値を生成する補正値候補生成部と、
前記補正値候補生成部で生成された前記補正値の前記候補の値に対して、前記エッジグループおよび前記ノイズグループのそれぞれに対応する前記復号画像と前記原画の２乗誤差を計算する誤差計算部と、
前記エッジグループに対応する前記２乗誤差と、前記ノイズグループに対応する前記２乗誤差の重み付け和を用いて、前記エッジグループに対する前記補正値として、前記ノイズグループに対する前記補正値より小さい補正値を得る補正値選択部と、
を含む、付記１に記載の動画像処理装置。
（付記３）
前記補正部はさらに、前記補正値候補生成部で生成された前記補正値の前記候補の値の符号量を計算する符号量計算部
を含み、
前記補正値選択部は、前記エッジグループおよび前記ノイズグループのそれぞれに対応する前記２乗誤差の重み付け和と、前記符号量の重み付け和を用いて、補正値を選択する、付記１または２に記載の動画像処理装置。
（付記４）
前記統計量算出部は、前記エッジグループおよび前記ノイズグループのそれぞれに対して、前記原画と前記復号画の符号化誤差の累積値を算出し、
前記補正値候補生成部は、前記エッジグループおよび前記ノイズグループのそれぞれに対する前記原画と前記復号画の前記符号化誤差の累積値の重み付け和を用いて、前記補正値の候補の値を生成する、付記１乃至３のいずれか一項に記載の動画像処理装置。
（付記５）
原画を符号化した後に復号して得られる復号画像と前記原画の比較から予測画素信号を生成し、前記予測画素信号を符号化する、コンピュータによって処理される動画像符号化方法において、
前記復号画像に対応する原画のエッジ形状を表す原画エッジ指標を算出することと、
前記復号画エッジ指標と前記原画エッジ指標を比較し、前記復号画の前記エッジ形状を前記原画像のエッジ方向と前記復号画像のエッジ方向が同じエッジグループ、または前記原画像のエッジ方向と前記復号画像のエッジ方向が異なるノイズグループに分類することと、
前記エッジグループおよび前記ノイズグループのそれぞれに対して、前記原画のエッジ形状と前記復号画像のエッジ形状に関する統計量を算出すると、
前記エッジグループに対応する前記統計量の寄与が、前記ノイズグループに対応する前記統計量より小さくなるように、前記エッジグループおよび前記ノイズグループに対する前記統計量の重み付き和を求め、前記重み付き和に基づき補正値を決定することと、
前記補正値を前記復号画像の前記画素値に加算して補正された復号画像を生成することと、
前記原画の動きベクトルの検出を行うことと、
前記動きベクトルと前記補正された復号画から、予測画素信号の生成を行うことと、
前記予測画素信号を符号化することと、
を含む動画像符号化方法。
（付記６）
前記補正値を決定することはさらに、
前記統計量に基づいて、前記エッジグループおよび前記ノイズグループのそれぞれに対応する前記補正値の候補の値を生成することと、
前記補正値の前記候補の値に対して、前記エッジグループおよび前記ノイズグループのそれぞれに対応する前記復号画像と前記原画の２乗誤差を計算することと、
前記復号画エッジ指標と前記原画エッジ指標が等しい前記エッジグループおよび前記ノイズグループの一つに対応する前記２乗誤差と、それ以外のグループに対応する前記２乗誤差の重み付け和を用いて、前記復号画エッジ指標と前記原画エッジ指標が等しい前記複数のグループの一つ対する前記補正値として、前記それ以外のグループに対する前記補正値より小さい補正値を得ること、
を含む、付記５に記載の動画像処理方法。
（付記７）
前記補正値を決定することはさらに、
前記補正値の前記候補の値の符号量を計算すること
を含み、
前記補正値を決定することは、前記エッジグループおよび前記ノイズグループのそれぞれに対応する前記２乗誤差の重み付け和と、前記符号量の重み付け和を用いて、補正値を選択する、付記５または６に記載の動画像処理方法。
（付記８）
前記統計量を算出することは、前記エッジグループおよび前記ノイズグループのそれぞれに対して、前記原画と前記復号画の符号化誤差の累積値を算出し、
前記補正値候補生成部は、前記エッジグループおよび前記ノイズグループのそれぞれに対する前記原画と前記復号画の前記符号化誤差の累積値の重み付け和を用いて、前記補正値の候補の値を生成する、付記５乃至８のいずれか一項に記載の動画像処理方法。
（付記９）
原画を符号化した後に復号して得られる復号画像と前記原画の比較から予測画素信号を生成し、前記予測画素信号を符号化する、コンピュータによって処理される動画像符号化プログラムにおいて、
前記復号画像に対応する原画のエッジ形状を表す原画エッジ指標を算出させ、
前記復号画エッジ指標と前記原画エッジ指標を比較し、前記復号画の前記エッジ形状を前記原画像のエッジ方向と前記復号画像のエッジ方向が同じエッジグループ、または前記原画像のエッジ方向と前記復号画像のエッジ方向が異なるノイズグループに分類させ、
前記エッジグループおよび前記ノイズグループのそれぞれに対して、前記原画のエッジ形状と前記復号画像のエッジ形状に関する統計量を算出させ、
前記エッジグループに対応する前記統計量の寄与が、前記ノイズグループに対応する前記統計量より小さくなるように、前記エッジグループおよび前記ノイズグループに対する前記統計量の重み付き和を求め、前記重み付き和に基づき補正値を決定させ、
前記補正値を前記復号画像の前記画素値に加算して補正された復号画像を生成させ、
前記原画の動きベクトルの検出させと、
前記動きベクトルと前記補正された復号画から、予測画素信号の生成させと、
前記予測画素信号を符号化させると、
処理をコンピュータに実行させる動画像符号化プログラム。
（付記１０）
前記補正値を決定することはさらに、
前記統計量に基づいて、前記エッジグループおよび前記ノイズグループのそれぞれに対応する前記補正値の候補の値を生成することと、
前記補正値の前記候補の値に対して、前記エッジグループおよび前記ノイズグループのそれぞれに対応する前記復号画像と前記原画の２乗誤差を計算することと、
前記復号画エッジ指標と前記原画エッジ指標が等しい前記エッジグループおよび前記ノイズグループの一つに対応する前記２乗誤差と、それ以外のグループに対応する前記２乗誤差の重み付け和を用いて、前記復号画エッジ指標と前記原画エッジ指標が等しい前記複数のグループの一つ対する前記補正値として、前記それ以外のグループに対する前記補正値より小さい補正値を得ること、
処理をコンピュータに実行させる、付記９に記載のプログラム。
（付記１１）
前記補正値を決定させることはさらに、
前記補正値の前記候補の値の符号量を計算させること
を含み、
前記補正値を決定させることは、前記エッジグループおよび前記ノイズグループのそれぞれに対応する前記２乗誤差の重み付け和と、前記符号量の重み付け和を用いて、補正値を選択させる処理をコンピュータに実行させる、付記９または１０に記載のプログラム。
（付記１２）
前記統計量を算出させることは、前記エッジグループおよび前記ノイズグループのそれぞれに対して、前記原画と前記復号画の符号化誤差の累積値を算出させ、
前記補正値候補生成部は、前記エッジグループおよび前記ノイズグループのそれぞれに対する前記原画と前記復号画の前記符号化誤差の累積値の重み付け和を用いて、前記補正値の候補の値を生成させる処理をコンピュータに実行させる、付記９乃至１１のいずれか一項に記載のプログラム。

１００ ＳＡＯモード判定部
１０２ ＳＡＯモード判定部
１０４ 補正部
１０２２ ０度エッジオフセットモード判定部
１０２４ ４５度エッジオフセットモード判定部
１０２６ ９０度エッジオフセットモード判定部
１０２８ １３５度エッジオフセットモード判定部
１０３０ エッジオフセットモード選択部
１０４ 補正部
１０６ エッジオフセットモード判定部
１０６２ 復号画ＥｄｇｅＩｄｘ算出部
１０６４ グループ分類部
１０６６ ＥｄｇｅＩｄｘ＝０補正値算出部
１０６８ ＥｄｇｅＩｄｘ＝１補正値算出部
１０６８ ＥｄｇｅＩｄｘ＝２補正値算出部
１０７０ ＥｄｇｅＩｄｘ＝３補正値算出部
１０７２ ＥｄｇｅＩｄｘ＝４補正値算出部
１０７４ ＥｄｇｅＩｄｘ＝５補正値算出部
１０７６ エッジオフセットコスト計算部
１０８ 補正値算出部
１０８２ 統計値算出部１０８２
１０８４ 補正値決定部１０８４
１０８６ 誤差計算部１０８６
１０８８ 補正値候補生成部
１０９０ 符号量計算部
１０９２ 補正値選択部
２００ 動画像符号化装置
２０２ 予測誤差信号生成部
２０４ 直交変換部２０４
２０６ 量子化部２０６
２０８ 逆量子化部
２１０ 逆直交変換部
２１２ 復号画素生成部
２１４ デブロッキング部
２１６ ＳＡＯ処理部
２１８ 復号画素記憶部２１８
２２０ 予測信号生成部
２２２ 動き検出部
２２４ エントロピー符号化部
３００ エッジオフセットモード判定部
３０２ 復号画ＥｄｇｅＩｄｘ算出部
３０４ 原画ＥｄｇｅＩｄｘ算出部
３０６ グループ分類部
３０８ ＥｄｇｅＩｄｘ＝０補正値算出部
３１０ ＥｄｇｅＩｄｘ＝１補正値算出部
３１２ ＥｄｇｅＩｄｘ＝２補正値算出部
３１４ ＥｄｇｅＩｄｘ＝３補正値算出部
３１６ ＥｄｇｅＩｄｘ＝４補正値算出部
３１８ エッジオフセットコスト計算部
４００ 補正値算出部
４０２ 形状比較部
４０４ Ｅ０統計値算出部
４０６ Ｅ１統計値算出部
４０８ 補正値決定部
４１０ 誤差計算部
４１２ 補正値候補生成部
４１４ 符号量計算部
４１６ 補正値選択部

Claims (6)

1. 原画を符号化した後に復号して得られる復号画像と前記原画の比較から予測画素信号を生成し、前記予測画素信号を符号化する、動画像符号化装置において、
   前記復号画像に対応する原画のエッジ形状を表す原画エッジ指標を算出する原画エッジ指標算出部と、
   前記復号画エッジ指標と前記原画エッジ指標を比較し、前記復号画像の前記エッジ形状を前記原画像のエッジ方向と前記復号画像のエッジ方向が同じエッジグループ、または前記原画像のエッジ方向と前記復号画像のエッジ方向が異なるノイズグループに分類する形状比較部と、
   前記エッジグループおよび前記ノイズグループのそれぞれに対して、前記原画のエッジ形状と前記復号画像のエッジ形状に関する統計量を算出する統計量算出部と、
   前記エッジグループに対応する前記統計量の寄与が、前記ノイズグループに対応する前記統計量より小さくなるように、前記エッジグループおよび前記ノイズグループに対する前記統計量の重み付き和を求め、前記重み付き和に基づき補正値を決定する補正値決定部と、
   前記補正値を前記復号画像の前記画素値に加算して補正された復号画像を生成する補正部と、
   前記原画の動きベクトルの検出を行う動き検出部と、
   前記動き検出部で検出された前記動きベクトルと前記補正部で生成された前記補正された復号画から、予測画素信号の生成を行う予測信号生成部と、
   予測信号生成部で生成された前記予測画素信号を符号化する符号化部と、
   を含む動画像符号化装置。
2. 前記補正値決定部はさらに、
   前記統計量算出部で得られた前記統計量に基づいて、前記エッジグループおよび前記ノイズグループのそれぞれに対応する前記補正値の候補の値を生成する補正値候補生成部と、
   前記補正値候補生成部で生成された前記補正値の前記候補の値に対して、前記エッジグループおよび前記ノイズグループのそれぞれに対応する前記復号画像と前記原画の２乗誤差を計算する誤差計算部と、
   前記エッジグループに対応する前記２乗誤差と、前記ノイズグループに対応する前記２乗誤差の重み付け和を用いて、前記エッジグループに対する前記補正値として、前記ノイズグループに対する前記補正値より小さい補正値を得る補正値選択部と、
   を含む、付記１に記載の動画像処理装置。
3. 前記補正部はさらに、前記補正値候補生成部で生成された前記補正値の前記候補の値の符号量を計算する符号量計算部
   を含み、
   前記補正値選択部は、前記エッジグループおよび前記ノイズグループのそれぞれに対応する前記２乗誤差の重み付け和と、前記符号量の重み付け和を用いて、補正値を選択する、付記１または２に記載の動画像処理装置。
4. 前記統計量算出部は、前記エッジグループおよび前記ノイズグループのそれぞれに対して、前記原画と前記復号画の符号化誤差の累積値を算出し、
   前記補正値候補生成部は、前記エッジグループおよび前記ノイズグループのそれぞれに対する前記原画と前記復号画の前記符号化誤差の累積値の重み付け和を用いて、前記補正値の候補の値を生成する、付記１乃至３のいずれか一項に記載の動画像処理装置。
5. 原画を符号化した後に復号して得られる復号画像と前記原画の比較から予測画素信号を生成し、前記予測画素信号を符号化する、コンピュータによって処理される動画像符号化方法において、
   前記復号画像に対応する原画のエッジ形状を表す原画エッジ指標を算出することと、
   前記復号画エッジ指標と前記原画エッジ指標を比較し、前記復号画の前記エッジ形状を前記原画像のエッジ方向と前記復号画像のエッジ方向が同じエッジグループ、または前記原画像のエッジ方向と前記復号画像のエッジ方向が異なるノイズグループに分類することと、
   前記エッジグループおよび前記ノイズグループのそれぞれに対して、前記原画のエッジ形状と前記復号画像のエッジ形状に関する統計量を算出すると、
   前記エッジグループに対応する前記統計量の寄与が、前記ノイズグループに対応する前記統計量より小さくなるように、前記エッジグループおよび前記ノイズグループに対する前記統計量の重み付き和を求め、前記重み付き和に基づき補正値を決定することと、
   前記補正値を前記復号画像の前記画素値に加算して補正された復号画像を生成することと、
   前記原画の動きベクトルの検出を行うことと、
   前記動きベクトルと前記補正された復号画から、予測画素信号の生成を行うことと、
   前記予測画素信号を符号化することと、
   を含む動画像符号化方法。
6. 原画を符号化した後に復号して得られる復号画像と前記原画の比較から予測画素信号を生成し、前記予測画素信号を符号化する、コンピュータによって処理される動画像符号化プログラムにおいて、
   前記復号画像に対応する原画のエッジ形状を表す原画エッジ指標を算出させ、
   前記復号画エッジ指標と前記原画エッジ指標を比較し、前記復号画の前記エッジ形状を前記原画像のエッジ方向と前記復号画像のエッジ方向が同じエッジグループ、または前記原画像のエッジ方向と前記復号画像のエッジ方向が異なるノイズグループに分類させ、
   前記エッジグループおよび前記ノイズグループのそれぞれに対して、前記原画のエッジ形状と前記復号画像のエッジ形状に関する統計量を算出させ、
   前記エッジグループに対応する前記統計量の寄与が、前記ノイズグループに対応する前記統計量より小さくなるように、前記エッジグループおよび前記ノイズグループに対する前記統計量の重み付き和を求め、前記重み付き和に基づき補正値を決定させ、
   前記補正値を前記復号画像の前記画素値に加算して補正された復号画像を生成させ、
   前記原画の動きベクトルの検出させと、
   前記動きベクトルと前記補正された復号画から、予測画素信号の生成させと、
   前記予測画素信号を符号化させると、
   処理をコンピュータに実行させる動画像符号化プログラム。

Images