JP2012175155A

JP2012175155A - 動画像符号化装置

Info

Publication number: JP2012175155A
Application number: JP2011032057A
Authority: JP
Inventors: Tadakazu Kakudo; 忠和角戸; Masashi Takahashi; 昌史高橋; Nobuhiro Chihara; 信博知原
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2011-02-17
Filing date: 2011-02-17
Publication date: 2012-09-10
Anticipated expiration: 2031-02-17
Also published as: JP5713719B2; US9438907B2; US20130308702A1; WO2012111208A1

Abstract

【課題】画面内予測における予測誤差の蓄積を抑える。
【解決手段】動画像符号化方式を用いて、画素ブロック毎に符号化処理を行う動画像符号化装置において、周辺画素の相関を利用して予測画像を生成する画面内予測処理を持ち、さらに画面内予測処理において、入力画像から疑似的に予測画像を生成する処理がある装置において、予測モードの決定の際に画面内予測処理の参照画素となる画素に対して重み付けを行い、予測モード決定する。重みを1以上に設定することで、次のブロックで参照画素となりうる画素の誤差が強調されるため、誤差が次ブロックに伝搬しやすい予測モードが選ばれにくくなる。
【選択図】図１１

Description

本発明は、動画像符号化装置に関し、特に符号化側で画面内予測と画面間予測との選択を行う動画像符号化装置に関する。

高効率な動画像圧縮技術の最新規格としてH.264/AVC(以下、H.264)が知られる。H.264は，ITU-Tのビデオ符号化専門家グループ（VCEG）とISO/IECの動画像符号化専門家グループ（MPEG）が2001年12月に共同で設立したJVTによって開発された動画像符号化の国際標準規格である。ITU-Tでは勧告として、2003年5月に承認されている。ISO
/IEC JTCでは2003年にMPEG-4 Part 10
Advanced Video Coding (AVC) として標準化されている。また、色空間や画素階調に関する拡張作業も行われ、Fidelity Range Extension（FREｘｔ）として2004年7月に最終標準案が作成されている。

H.264の主な特徴は以下の通りである。
・従来方式のMPEG-2やMPEG-4に比べて約2倍の符号化効率で同程度の画質を実現
・圧縮アルゴリズム：ピクチャ間予測、量子化、エントロピー符号を採用
・携帯電話等の低ビットレートからハイビジョンTV等の高ビットレートまで幅広く利用可能
このように、動画像符号化技術は様々な議論がなされており、現在次期規格としてH.265の標準化作業も進められている。

ここでH.264の技術的内容について説明する。
図1は、H.264を使用して符号化を行うエンコーダ１の一般的な構成図である。H.264では1つの画面内で予測画像を生成する画面内予測１０４と、複数の画面から予測画像を生成する画面間予測１０５が規定されている。所定の基準により画面内予測と画面間予測のどちらかを選択し、選択した予測画像と入力画像１０１との差分をとり、この差分データに対して、以降の直交変換１０２、量子化処理１０３を行い、量子化後のデータに対して符号化処理１１０を行う。
なお、画面間予測処理１０５において参照画像として用いられる再構成画像１０６は、量子化１０３の後のデータに対して、直交変換および量子化と逆の処理である逆量子化（109）および逆直交変換１０８の処理後、予測画像と加算したデータに、ブロックノイズを軽減させるデブロッキングのフィルタ処理１０７を行うことで生成する。デブロッキングフィルタについては、使用しない場合もある。H.264では差分画像のみを符号化し、伝送することにとって高い符号化効率を実現している。

エンコーダ１が行う予測処理として、画面間予測処理と画面内予測処理を以下に説明する。
図２は、画面間予測を説明する図である。複数の画面から予測画像を生成する画面間予測は、図２に示すように、予測対象の入力画像の予測対象ブロック２０１に対して、前後（t=-1、t=1時間）のピクチャの参照ブロック（200/202）から予測対象ブロックの動きベクトルを計算し、予測画像を生成する処理である。

図３は、画面内予測を説明する図である。画面内予測は、近接画素間の相関を利用して予測画像の生成する手法である。H.264の画面内予測処理では画面をm×n画素のスライス３００と呼ばれる処理ブロックに分割し、さらにスライス内は16×16画素のマクロブロック３０１に分割する。画面内予測処理では、このマクロブロック３０１を基本処理単位とし、さらにそのマクロブロック３０１を4×4、8×8、16×16画素ブロック毎に予測画像を生成する。
図４に、4×4、8×8、16×16それぞれの場合における、画素ブロックの処理順序を示す。つまり、各画素ブロック内に示した数の昇順で処理される。

画面内予測処理では、予測対象ブロックの左、左上、上または右上にある画素を参照して予測画像を生成する。なぜならば、復号側においても同様に予測画像を生成するためには符号化済みの（復号側にとっては復号及び画像再構成済みの）画素を参照画素とする必要があるからである。例として4ｘ4画素単位の画面内予測の予測画像生成に利用する参照画素を図５に示す。
図５中の予測対象ブロックに含まれるa〜pの16個の予測対象画素４０１に対して、A〜Mが予測に用いる参照画素４００となる。H.264/AVCでは4×4画素のブロック単位(以下：4×4ブロック)、8×8画素のブロック単位(以下：8×8ブロック)、16×16画素のブロック単位(以下：16×16ブロック)で予測画像の生成を行うことが可能である。この時、参照画素から予測対象ブロックを生成する処理を規定した処理手法をモードと呼び、使用可能なモードとして、4ｘ4ブロックと8ｘ8ブロックで各9モード、16ｘ16ブロックで4モードの計22モードが使用可能となっている。
図６に、一例として、4ｘ4ブロックにて使用可能な9モードを示す。
このように、最新の動画像符号化規格であるH.264では、高効率の圧縮技術を実現するために様々な手法が用いられている。

図７はエンコーダ１が行う符号化処理のフローチャートである。ここでは予測処理として、画面内予測処理を用いる場合について述べる。符号化処理では、入力画像が入力されると、全ての予測モードについて再構成画像から予測対象ブロックの予測画像を生成し、入力画像との差分を計算し、差分絶対値和（以降、SAD：Sum of absolute differences）が最も小さくなるモードを、画面内予測としては最適な予測モードとして決定する（６０１）。SADは、例えば下記の式で定義される。なおΣｉは、予測対象ブロック内の全ての画素を対象とする意味である。

SADは評価尺度として一般的であるが、上式以外の評価値を用いてもよい。予測モードの決定手法については、規格に明記されておらず、設計に依存する箇所となっている。
次に、再構成画像６０８から決定した予測モードにて予測画像を生成し（６０５）、入力画像との差分画像を得る。その後、直交変換６０３、量子化６０４、逆量子化６０５、逆直交変換６０６を経て、再構成画像６０８を得る。その後、可変長符号化（CAVLC）/算術符号化（CABAC）などの手法によって、エントロピー符号化６０７を行い、ストリームが生成される。この時、再構成画像６０８を得るまでには、様々な処理が必要であり、処理時間が必要となる。

符号化処理を単純に高速化するためは、予測モードの決定６０１から符号化処理６０７までの処理をMB単位、2並列以上のパイプライン構成として並列処理する手法が一般的である。しかし、並列化処理を実施する場合、画面内予測処理の予測モードの決定６０１において、前述の通り再構成画像から予測画像を生成し、最も予測誤差（評価値）の小さくなるモードを決定しようとすると、再構成画像を得るまでに処理時間が必要となるため、高速化出来ない。

再構成画像（参照画像）を得るまでの時間を短縮する手段として、予測モードの決定６０１を行う際に、再構成画像を用いて予測画像を生成するのではなく、入力画像を用いて、疑似的に予測画像を生成し、予測モードを決定する手法が提案されている。（例えば、特許文献１参照。）
通常、入力画像から生成する予測画像と、再構成画像から生成する予測画像は、量子化誤差の影響により少なからず差異が生じるため、予測モードの決定が必ずしも最適に行われるとは限らない。そのため、特に低ビットレートではモード決定の失敗による予測誤差が蓄積し、画質が著しく低下する。
特許文献１の画像符号化装置では、原画像を使って擬似的にイントラ予測を行った後で予測誤差に対してアダマール変換、量子化及びそれらの逆演算を施し、量子化による劣化具合を調べて誤差伝播を軽減するモード選択方式を用いている。

特開２００９−２９０４９８号公報特開２００６−２７０４３７号公報特開２００８−０４８０６５号公報特開２００９−０８１８３０号公報

特許文献１の画像符号化装置では、予測誤差に対するアダマール変換等の処理量が高いという問題がある。
本発明は、誤差伝播を軽減するモード選択を低処理量且つパイプライン化可能な処理で行うことで、高速処理が求められる用途においても、画質の著しい低下を防止できる動画像符号化装置を提供することを目的とする。

本発明に係る動画像符号化装置は、複数の画面内予測モードから１つを選んで画素ブロックを符号化する動画像符号化装置において、前記複数の画面内予測モードによる予測画像を、入力画像から疑似的に生成する擬似予測画像生成部と、擬似予測画像生成部が生成した複数の前記予測画像の予測誤差を、他の画素ブロックの画面内予測で参照画素となりうる画素の重み付けして計算し、該計算された複数の予測誤差に基づいて予測モードを決定する予測モード決定部と、を備えた。
上記の動画像符号化装置では、前記擬似予測画像生成部は、入力画像から量子化誤差を受けずに取得された画素を参照画素として、前記予測画像を生成するものであり、前記予測モード決定部は、前記参照画素となりうる画素に対し、前記参照画素となりうる画素以外の画素よりも大きな重みを与えて前記予測誤差を計算し、該計算された複数の予測誤差の内、最小の予測誤差に対応する予測モードを、画面内予測の中で最適な予測モードであると決定することを特徴とする。
上記の動画像符号化装置では、前記画素ブロックは入力画像を所定の順序で分割したものであり、前記量子化誤差を受けずに取得された画素は、入力画像から直接得られる画素或いは擬似予測画像生成部が生成した前記予測画像から直接得られる画素であり、前記参照画素となりうる画素は、前記順序において後ろの画素ブロックにおける画面内予測で参照されうる画素であって符号化する画素ブロックにおける最下辺または最右辺の画素であり、前記予測モード決定部は、符号化する画素ブロックのサイズまたは量子化パラメータに応じて、前記重みを変化させることを特徴とする。

本発明に係る動画像符号化方法は、複数の画面内予測モードから１つを選んで画素ブロックを符号化する動画像符号化方法であって、前記複数の画面内予測モードによる予測画像を、入力画像から疑似的に生成するステップと、擬似予測画像生成部が生成した複数の前記予測画像の予測誤差を、他の画素ブロックの画面内予測で参照画素となりうる画素の重み付けして計算し、該計算された複数の予測誤差に基づいて予測モードを決定するステップと、前記決定された予測モードにより、再構成画像から予測画像を生成するステップと、前記入力画像から、前記再構成画像から生成された予測画像を減算して差分画像を得るステップと、前記差分画像を直交変換して係数を得、該係数を量子化するステップと、前記量子化された係数を逆量子化し、逆直交変換し、前記再構成画像から生成された予測画像と加算して得られる画像に基づき、前記再構成画像を更新するステップと、を有する動画像符号化方法。

本発明によれば、画面内予測の誤差伝播を軽減することができる。

H.264を使用して符号化を行うエンコーダ１の一般的な構成図（従来）画面間予測を説明する図（従来）画面内予測を説明する図（従来）画面内予測における画素ブロックの処理順序（従来） 4ｘ4画素ブロックの画面内予測における、参照画素と予測対象画素の関係を示す図（従来） 4ｘ4ブロックの画面内予測に使用可能な予測モード（９種類）を示す図（従来）エンコーダ１が行う符号化処理のフローチャート（従来）画面内予測での予測誤差の伝播を説明する図重み付けを行う画素（重み付け対象画素）の配置の一例を示す図 SADとSSAD（Step SAD）の概念図実施例１に係るエンコーダのブロック図再構成画像からの予測誤差（本予測誤差）で正規化した擬似予測誤差の分布を概念的に示す図

まず、本発明が対象とする予測誤差の伝播について説明する。
図8は、画面内予測での予測誤差の伝播を説明する図である。予測対象ブロック８０１または８０２では、それに隣接する参照画素８００から予測画像を生成する。もし、参照画素800の誤差（予測誤差）が大きいと、それらから予測される予測対象ブロック８０１、８０２の予測誤差も大きくなる。つまり、参照画素の予測誤差が隣のブロックに伝搬する。さらにその値を次に隣接するブロックが参照すると、予測誤差の分布はさらに拡大する。
H.264の画面内予測には元々、最善の予測モード選択をし続けたとしても、符号化の進行に従って予測誤差が次第に大きくなる性質がある。更に擬似予測画像を使用した場合、誤った予測モード選択が予測誤差増加を加速させるので、結果的に画質の低下を招いていた。

本発明の実施形態では、予測誤差を評価する際に、次のブロックで参照画素となりうる画素に対し大きな重みを与えることで、予測誤差の伝搬を抑制し、予測モードの決定における評価の精度を向上させた。つまり、一度増大した予測誤差を小さくする（誤りのある参照画素から正しい予測をする）ことは困難なので、単に現在のブロックで予測誤差が最小なモードを選ぶのではなく、後続ブロックの予測誤差も考慮するようにして、予測誤差の増大する速度を抑えることを主眼としている。
図９は、重み付けを行う画素の一例を示す図であり、塗りつぶされた部分（ブロック中で、最下辺と最右辺の画素）が、重み付け対象画素である。4×4ブロックの場合、112個の重み付け対象画素９０３、8×8ブロックの場合で60個の重み付け対象画素９０４、16×16画素の場合で31個の重み付け対象画素９０５を定める。そして、前述の予測モード決定の評価値であるSADの計算時には、重み付け対象画素の誤差に一定の重み付けを行う。

SADに対して本例の重み付けを適用した場合の計算式を、SAD’として以下に示す。ここでδは重み係数（通常は１以上）であり、予測モード毎に任意に設定可能な値とする。

なお、SADに代えて、量子化誤差の性質を考慮した段階状差分絶対値和（以降、SSAD ： Step SAD）などを用いる場合があり、本例においても利用できる。
図１０は、SADとSSADの概念図である。縦軸は、ＳＡＤ，ＳＳＡＤそれぞれの値であり、SADは予測誤差が大きくなればSADも比例して大きくなる。一方SSADは予測誤差に応じて段階的に評価値が変化する評価値である。

図１１は、本発明の実施例１に係るエンコーダのブロック図である。図１１のエンコーダは、図１と同様にH.264に則り符号化を行うものであるが、画面内予測処理部１０４０の構成が異なる。
本例の画面内予測処理部１０４０は、擬似予測画像生成部１０４１と、予測モード決定部１０４２と、を備える。
擬似予測画像生成部１０４１は、H.264にて規定されているすべての画面内予測モードに対して、擬似的な予測画像を生成する。つまり、再構成画像ではなく入力画像１０１に基づいて予測する。ただし、各モードでの予測処理の計算方法は、H.264の規格に準拠した方法を用いるものとする。入力画像１０１に基づく予測とは、参照画素を常に入力画像１０１から取得する方法（再構成画像を単に入力画像で代替する方法）や、最初だけ入力画像１０１から取得し、それ以降は予測モード決定部１０４２で選択された予測モードによる擬似予測画像を保持しておき、そこから取得する方法等がある。
予測モード決定部１０４２は、本例の特徴部分であり、参照画素に重み付けして得られる評価値ＳＡＤ’によって予測モードを決定する。つまり最小のＳＡＤ’を示す予測モードを選択する。ＳＡＤ’の算出は数式2に示した通りであるが、重みδを固定値として設定するだけでなく、量子化パラメータや予測ブロックのサイズに応じて変更するとさらに効果的である。一般的に、量子化パラメータが大きいほど、或いは予測ブロックサイズが小さいほど重みδの値を大きく設定すると高い効果が得られる。例えば、予測モード決定部１０４２が、選択した予測モードについての本予測誤差を計算或いは逆直交変換部１０８から取得して、類似予測画像生成部１０４１から得ていたその予測モードの擬似予測誤差との比を計算し、その平均値を予測モード毎に保持しておき、重みδを適応更新してもよい。
予測画像生成部１０４３は、再構成画像１０６を用いて、決定した予測モードの予測画像を生成する。

以降の処理は一般的なエンコーダ処理と同様である。すなわち、入力画像と予測画像の差分を計算し、直交変換部１０２で直交変換して係数を得、量子化部１０３で該係数を量子化する。量子化された係数は符号化されるとともに、逆量子化部１０９で逆量子化され、逆直交変換部１０８で逆直交変換され、入力画像と差分を取るときに用いた予測画像と加算され、そうして得られた画像（画素ブロック）を適宜デブロックフィルタを施してつなぎ合わせることで、入力画像に近い画像（復号画像）を再構成する（再構成画像を更新する）。
このため、本例のエンコーダが生成したストリームは、一般的なH.264デコーダにて復号することができる。また、予測モード決定時には再構成画像を必要としないので、再構成画像が得られるのを待たずにモード決定を進めることができ、処理の並列化やパイプライン化が可能である。

ここで、擬似予測画像を用いた時の予測誤差の蓄積について再考する。これ以降、再構成画像からの予測による予測誤差を本予測誤差と呼び、入力画像に基づく擬似予測による予測誤差を擬似予測誤差と呼ぶ。
図１２は、本予測誤差で正規化した擬似予測誤差の分布を概念的に示す図である。横軸は予測誤差（ＳＡＤ値）、縦軸は発生確率であり、任意の画素ブロックにおける本予測誤差を５０に正規化したときの、同画素ブロックの擬似予測誤差の分布が、同画素ブロックの何ブロック前から画面内予測（擬似予測）が続いてきたか（１回〜３回）に場合分けして示されている。本予測では量子化等で情報が失われた再構成画像から予測するのに対し、擬似予測では入力画像から予測し局所的相関性を高精度で利用できるので、相対的に予測誤差が小さく、予測誤差の蓄積も遅い。そのため、予測誤差の期待値は連続回数が多くなるほど小さくなるが、分布の幅は広がっていく。

そこで、擬似予測誤差に、予測モードに応じた適当な係数を乗じて、擬似予測誤差を本予測誤差に近づければ、本予測と異なるモードを選択する確率を減らせることが期待できる。異選択確率が小さくなれば、２回目以降の分布の幅も狭まる。一般に、画面内予測の誤差は参照画素から遠くなる、予測対象ブロック内で右下の方の画素ほど大きくなる傾向があり、参照画素が入力画像から劣化している本予測において更にその傾向が強いのであれば、擬似予測誤差を求めるブロック内で右下方ほど大きくなる重みを与えて、本予測誤差の特性に近づけることも考えられる。
常に本予測誤差に基づいて予測モード決定して得られる系列（以後、最善予測モード選択系列と呼ぶ）は、少なくともその予測対象ブロックにおいて予測誤差が最小になるものを都度選択しているので、最善に近い選択になっていると考えられる。擬似予測によるモード選択が、最善予測モード選択系列からできるだけ外れないようにするという方針は、１つの解決手段になりうる。

以上を踏まえて、本例のエンコーダの作用を説明する。重みδを1以上に設定することで、次のブロックで参照画素となりうる画素（次ブロック参照画素）の誤差が強調される。誤差強調によりＳＡＤ’が大きくなった予測モードは、再構成画像から予測しても次ブロック参照画素の予測誤差が大きくなると考えられる。ＳＡＤ’が最小なモードを選ぶことで、そのブロックにおいて、誤差が次ブロックに伝搬しやすい予測モードが選ばれにくくなる。
次のブロックの画面内予測では、その前のブロックにおいて、誤差伝搬しにくいモードで選ばれているために、従来のモード選択に比べ予測誤差が小さくなることが期待できる。特に、画面間予測を用いずに画面内予測のみで符号化するスライスにおいて効果が大きい。

このように、本例の重みδには、擬似予測誤差を本予測誤差に近づける作用と、誤差が次ブロックに伝搬しやすい予測モードを選ばれにくくして、予測誤差の蓄積を小さくする作用の、２つの作用が考えられるが、本例の画質改善に寄与しているのは後者と考えられる。そのため場合によっては、重みδを用いない本予測よりも更に最善のモード選択系列が得られる可能性がある。この作用は、参照画素となりうる画素に大きな重みを与えたことによりもたらされるものであり、ＳＡＤの他、ＳＳＤ（Sum of Squared Difference）や、特許文献４に記載されたアクティビティ値（画面内予測コストを反映している）などの評価値を計算する際に用いることもできる。

また後者の作用は、本予測のモード選択、或いは画面内／画面間予測選択（特にマクロブロック毎に判断する場合）でも発揮される。画面内／画面間予測選択に適用する場合、例えば、画面間予測の予測誤差（動きベクトルの評価値ＭＣＯＳＴ）の計算においてもＳＡＤに代えてＳＡＤ‘を使用し、画面内／画面間予測の誤差を比較し、小さいほうの予測を選択する。重みδを大きくするほど画面内予測が選ばれにくくなるので、所望の画面内／画面間予測の比になるよう重みδを制御する。

本発明は、H.264規格に限らず、画面内予測を行う画像符号化方式全般に対して適用可能である。

１０１…入力画像、１０２…直交変換部、１０３…量子化部、１０４…画面内予測処理部、１０５…画面間予測処理部、１０６…再構成画像（メモリ）、１０７…フィルタ、１０８…逆直交変換部、１０９…逆量子化部、１１１…エントロピー符号化部、１０４１…擬似予測画像生成部、１０４２…予測モード決定部、１０４３…（本）予測画像生成部。

Claims

複数の画面内予測モードから１つを選んで画素ブロックを符号化する動画像符号化装置において、
前記複数の画面内予測モードによる予測画像を、入力画像から疑似的に生成する擬似予測画像生成部と、
擬似予測画像生成部が生成した複数の前記予測画像の予測誤差を、他の画素ブロックの画面内予測で参照画素となりうる画素の重み付けして計算し、該計算された複数の予測誤差に基づいて予測モードを決定する予測モード決定部と、を備えたことを特徴とする動画像符号化装置。
前記擬似予測画像生成部は、入力画像から量子化誤差を受けずに取得された画素を参照画素として、前記予測画像を生成するものであり、
前記予測モード決定部は、前記参照画素となりうる画素に対し、前記参照画素となりうる画素以外の画素よりも大きな重みを与えて前記予測誤差を計算し、該計算された複数の予測誤差の内、最小の予測誤差に対応する予測モードを、画面内予測の中で最適な予測モードであると決定することを特徴とする請求項１記載の動画像符号化装置。
前記画素ブロックは入力画像を所定の順序で分割したものであり、
前記量子化誤差を受けずに取得された画素は、入力画像から直接得られる画素或いは擬似予測画像生成部が生成した前記予測画像から直接得られる画素であり、
前記参照画素となりうる画素は、前記順序において後ろの画素ブロックにおける画面内予測で参照されうる画素であって符号化する画素ブロックにおける最下辺または最右辺の画素であり、
前記予測モード決定部は、符号化する画素ブロックのサイズまたは量子化パラメータに応じて、前記重みを変化させることを特徴とする請求項２記載の動画像符号化装置。
複数の画面内予測モードから１つを選んで画素ブロックを符号化する動画像符号化方法であって、
前記複数の画面内予測モードによる予測画像を、入力画像から疑似的に生成するステップと、
擬似予測画像生成部が生成した複数の前記予測画像の予測誤差を、他の画素ブロックの画面内予測で参照画素となりうる画素の重み付けして計算し、該計算された複数の予測誤差に基づいて予測モードを決定するステップと、
前記決定された予測モードにより、再構成画像から予測画像を生成するステップと、
前記入力画像から、前記再構成画像から生成された予測画像を減算して差分画像を得るステップと、
前記差分画像を直交変換して係数を得、該係数を量子化するステップと、
前記量子化された係数を逆量子化し、逆直交変換し、前記再構成画像から生成された予測画像と加算して得られる画像に基づき、前記再構成画像を更新するステップと、を有する動画像符号化方法。