JP2013009195A

JP2013009195A - 動画像符号化装置

Info

Publication number: JP2013009195A
Application number: JP2011141008A
Authority: JP
Inventors: Tadashi Kaneko; 金子　　唯史
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-06-24
Filing date: 2011-06-24
Publication date: 2013-01-10

Abstract

【課題】
二値算術符号化を使用するＨ．２６４の動画符号化方式で二値算術符号化での符号化効率を反映した符号化モードを選択する。
【解決手段】
ＣＡＢＡＣ符号化部（１１０）は、量子化部（１０９）の出力を含むシンタックスエレメントを二値シンボルに符号化する。符号化部（１１０）は、二値シンボルごとのシンボル値とその発生頻度を記憶し、符号化モード選択部（１１３）からの要求信号に従いモード選択部（１１３）に供給する。選択部（１１３）は、符号化部（１１０）からの情報を参照して、インター予測部（１０６）及びイントラ予測部（１０７）による予測信号の一方を選択し、加算器（１０３）に供給する。加算器（１０３）は符号化対象マクロブロックの画像信号の予測誤差信号を算出する。直交変換部（１０８）は加算器（１０３）の出力を直交変換し、量子化部（１０９）は直交変換部（１０８）の出力を量子化する。
【選択図】図１

Description

本発明は、動画像符号化装置に関する。

動画圧縮技術として、デジタル放送やＤＶＤ（Digital Versatile Disk）でのＭＰＥＧ−２や、第３世代携帯電話のインターネット・ストリーミングや移動体通信などの分野でのＭＰＥＧ−４が知られている。これらの背景には，蓄積メディアの大容量化、ネットワークの高速化、プロセッサの高性能化及びシステムＬＳＩの大規模・低価格化などがある。このように、デジタル圧縮を必要とする映像応用システムを支える環境が着々と整ってきている。

これと並行して、さらなる高解像度・高画質化、多チャネル化、録画時間の延長などを目的として、より高圧縮率を目指す方式開発が国際標準化団体を中心に行われてきた。例えば、符号化方式Ｈ．２６４／ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）が標準化され、この符号化方式はＭＰＥＧ−４ｐａｒｔ１０（ＡＶＣ）としても知られている。

ＭＰＥＧ−２やＨ．２６４等の符号化方式では、様々な符号化モードが用意され、マクロブロック単位で適用すべき符号化モードを選択可能となっている。例えば、イントラ予測モード／インター予測モード、参照画像の選択、動き探索時のブロックサイズ、及び予測信号の生成方法などである。符号化効率が高い符号化、すなわち符号化歪みが少なく、かつ発生符号量の少ない符号化を行うには、最適な符号モードを選択することが重要となる。特許文献１には、各符号化モードでの予測誤差が小さい符号化モードを選択する方法、および、各符号化モードで仮符号化を行って符号量の少ない符号化モードを選択する方法が記載されている。

特開２００３−１５３２８０号公報

Ｈ．２６４方式では、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ＡｄａｐｔｉｖｅＢｉｎａｒｙＡｒｉｔｈｍｅｔｉｃＣｏｄｉｎｇ）と呼ばれるエントロピー符号化方式が採用されている。

ＣＡＢＡＣは、符号化対象である変換係数、動きベクトル情報、符号化モード情報などの構文要素（ＳｙｎｔａｘＥｌｅｍｅｎｔ）を、それぞれ所定の方法で二値シンボルに符号化し、二値算術符号化を行う。二値算術符号化は、所定の方法で分類された二値シンボルごとの発生頻度を符号化の過程で更新し、冗長性を最大限に圧縮する符号化方式である。また、二値算術符号化は、二値シンボルごとの１シンボルずつ更新しながら算術符号化を行う必要があるので、並列処理が困難であり、膨大な処理量を必要とする。

ところが、Ｈ．２６４において特許文献１に記載の方法で予測誤差の小さい符号化モードを選択しようとしても、ＣＡＢＡＣでの符号化効率が反映されないので、最適な符号化モードを選択できない。

また、各符号化モードで仮符号化を行って符号量の少ない符号モードを選択する特許文献１に記載の方法では、適切な符号化モードを選択できるものの、処理量の多い二値算術符号化を複数回実行する必要がある。この結果、処理時間が増大し、符号化のためのハードウェア規模の増大を招く。

本発明は、このような状況に鑑みてなされたものであり、エントロピー符号化に二値算術符号化を用いた符号化方式において、処理時間や符号化装置のハードウェア規模の増大を防止できる動画像符号化装置を提示することを目的とする。

本発明に係る動画像符号化装置は、直交変換及び量子化により動画像を符号化する符号化手段と、前記符号化手段の出力を含むシンタックスエレメントを二値シンボルに符号化する二値算術符号化手段であって、前記二値シンボルごとのシンボル値とその発生頻度を格納するメモリ手段、前記メモリ手段に格納された前記シンボル値とその発生頻度の値を用いて算術符号化を行う算術符号化手段、及び前記メモリ手段に格納された前記シンボル値とその発生頻度を読み出すメモリ読み出し手段を具備する二値算術符号化手段と、複数のモードから前記符号化手段で適用すべき符号化モードを選択する符号化モード選択手段であって、前記メモリ手段から読み出された前記シンボル値とその発生頻度の値から前記シンタックスエレメントごとの符号化コストを算出するコスト算出手段を具備し、前記符号化コストを参照して、前記適用すべき符号化モードを選択する符号化モード選択手段とを有することを特徴とする。

本発明によれば、エントロピー符号化に二値算術符号化を用いた動画像符号化において、大幅な処理時間の増大と符号化装置のハードウェア規模の増大を招く事なく、適切な符号化モードを選択でき、高い符号化効率を実現できる。

本発明の一実施例の概略構成ブロック図である。ＣＡＢＡＣ符号化部の概略構成ブロック図である。Ｈ．２６４規格のＣＡＢＡＣにおけるｃｔｘＩｄｘを示す表である。Ｈ．２６４規格のＣＡＢＡＣにおけるＩピクチャのｍｂ＿ｔｙｐｅの二値シンボルを示す表である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る動画像符号化装置の一実施例の概略構成ブロック図を示す。本実施例は、Ｈ．２６４と同様に、様々な符号化モードが存在しマクロブロック単位で選択が可能な符号化方式で動画像を符号化する。選択可能な符号化モードは例えば、イントラ予測モード／インター予測モード、参照画像の選択、動き探索時のブロックサイズ及び予測信号の生成方法などである。

外部から入力される動画像の各画像信号（原画像信号）は、符号化ピクチャタイプに依存した符号化フレーム順の入れ替えのためにフレームバッファ１０１に一旦保持される。フレームバッファ１０１に保持される原画像信号は、後段の処理のためにマクロブロック単位（水平１６画素×垂直１６ライン）で読み出され、加算器１０３、インター予測部１０６及びイントラ予測部１０７に供給される。

インター予測部１０６は、フレーム間動き補償予測を行なって予測信号を生成し、符号化モード選択部１１３に出力する。イントラ予測部１０７は、同フレーム上の符号化済みである近傍のブロックの画素値を用いて予測信号を生成し、符号化モード選択部１１３に出力する。符号化モード選択部１１３は、インター予測部１０６からの予測データとイントラ予測部１０７からの予測信号の一方を選択し、選択した予測信号を加算器１０３，１０４に供給する。インター予測部１０６、イントラ予測部１０７及び符号化モード選択部１１３の詳細な動作は、後述する。

加算器１０３は、フレームバッファ１０１からの符号化対象マクロブロックの画像信号から符号化モード選択部１１３からの予測信号を減算し、得られた差分値、即ち予測誤差信号を直交変換部１０８に出力する。

直交変換部１０８は、加算器１０３からの予測誤差信号を直交変換し、得られた直交変換係数を量子化部１０９に出力する。量子化部１０９は、直交変換部１０８からの直交変換係数を所定の量子化ステップに従って量子化し、得られた量子化直交変換係数をＣＡＢＡＣ符号化部１１０及び逆量子化部１１１に出力する。

逆量子化部１１１は、量子化部１０９から出力される量子化直交変換係数を逆量子化して直交変換係数に戻し、逆直交変換部１１２に出力する。逆直交変換部１１２は、逆量子化部１１１からの復元された直交変換係数を逆直交変換して予測誤差信号を復元し、加算器１０４に出力する。加算器１０４は、逆直交変換部１１２からの予測誤差信号と符号化モード選択部から１１３かの予測画像信号とを加算して復号化画像信号を生成する。生成された復号化画像信号は、イントラ予測部１０７と、参照フレームバッファ１１４に供給される。

参照フレームバッファ１１４は、加算器１０４からの復号化画像信号を必要期間、保持する。参照フレームバッファ１１４に保持される復号化画像信号は、以降の符号化処理で参照フレーム画像信号として用いられる。

ＣＡＢＡＣ符号化部１１０は、量子化部１０９から出力される量子化直交変換係数と符号化情報からなる構文要素、いわゆるシンタックスエレメント（ＳＥ：Syntax Element）を、ＣＡＢＡＣによる二値算術符号化で符号化する。ＣＡＢＡＣ符号化部１１０は、シンタックスエレメントを、それぞれ所定の方法で二値シンボルに符号化し、二値算術符号化を行う。二値算術符号化は、所定の方法で分類された二値シンボルごとの発生頻度を符号化の過程で更新し、冗長性を最大限に圧縮する符号化方法である。符号化情報は、具体的には、イントラ予測モード情報、インター予測モード情報、動きベクトル情報、及びマクロブロックモード情報などからなる。ＣＡＢＡＣ符号化部１１０は、シンタックスエレメントを二値算術符号化する二値算術符号化手段の一例である。

図２は、ＣＡＢＡＣ符号化部１１０の概略構成ブロック図を示す。図２を参照して、ＣＡＢＡＣ符号化部１１０の構成と動作を説明する。

ＣＡＢＡＣ符号化部１１０は、二値化部２０１、コンテキスト計算部２０２、コンテキストメモリ２０３、二値算術符号化部２０４、及びコンテキストメモリ読み出し部２０５からなる。

二値化部２０１には、ＳＥ２０が入力される。二値化部２０１は、ＳＥ２０に応じた二値化方法でＳＥ２０を二値化して二値化データ列２１を生成し、二値算術符号化部２０４に出力する。二値化データ列２１を構成する１ビットずつが二値算術符号化の符号化対象である。ここでは、二値算術符号化の符号化対象１ビット分をシンボルと呼ぶことにする。

また、二値化部２０１は、二値化データ列２１とともにコンテキスト計算処理を行うのに必要な信号２２を生成し、コンテキスト計算部２０２に出力する。この信号２２は、Ｈ．２６４方式の規格書では、ｂｉｎＩｄｘ、ｍａｘＢｉｎＩｄｘＣｔｘ又はｃｔｘＩｄｘＯｆｆｓｅｔと呼ばれている信号であり、その内容については規格書に記載されている。図３は、Ｈ．２６４規格のＣＡＢＡＣにおけるｃｔｘＩｄｘを示す表である。

コンテキスト計算部２０２には、ＳＥ２０と、二値化部２０１からの信号２２が入力される。コンテキスト計算部２０２は、ＳＥ２０及び信号２２に基づいて各シンボルの出現確率を決定するコンテキストインデックス（以下、ｃｔｘＩｄｘと呼ぶ）２３を生成し、コンテキストメモリ２０３に出力する。

コンテキストメモリ２０３には、コンテキスト計算部２０２からのｃｔｘＩｄｘ２３と、二値算術符号化部２０４からの更新データ２５が入力される。コンテキストメモリ２０３には、値ｐＳｔａｔｅＩｄｘとシンボル値ｖａｌＭｐｓが格納されている。値ｐＳｔａｔｅＩｄｘは、ｃｔｘＩｄｘで分類される二値シンボル値の発生頻度を示す。シンボル値ｖａｌＭｐｓは、その遷移状態番号に対応した次に入力される二値算術符号化の符号化対象であるシンボルを予測した値である。コンテキストメモリ２０３に格納されているこれらの値は、二値算術符号化部２０４にデータ２４として出力される。なお、二値算術符号化部２０４からコンテキストメモリ２０３に供給される更新データ２５は、ｐＳｔａｔｅＩｄｘとｖａｌＭｐｓからなる。値ｐＳｔａｔｅＩｄｘと値ｖａｌＭＰＳの内容自体は、Ｈ．２６４方式の規格書に記載されている。

二値算術符号化部２０４は、二値化部２０１からの二値化データ列２１と、コンテキストメモリ２０３からのデータ２４（ＳｔａｔｅＩｄｘとｖａｌＭｐｓ）とを受け取り、二値算術符号化を行う。そして、二値算術符号化部２０４は、二値算術符号化して得られたストリームデータ２６を出力する。

コンテキストメモリ読み出し部２０５には、図示しない外部からの読み出し要求２７が入力する。この読み出し要求２７は、任意のｃｔｘＩｄｘに対してコンテキストメモリ２０３に格納されたｐＳｔａｔｅＩｄｘとｖａｌＭｐｓを読み出すための要求信号である。コンテキストメモリ読み出し部２０５は、読み出し要求２７を受けると、要求されたｃｔｘＩｄｘ対するｐＳｔａｔｅＩｄｘとｖａｌＭｐｓをコンテキストメモリ２０３から読み出し、外部に出力する。

本実施例の符号化モード選択動作を説明する。符号化モード選択部１１３は、符号化モードを選択するために、マクロブロックごとに以下のように動作する。

第１に、発生頻度情報を取得する。まず、符号化モード選択部１１３は、これからＣＡＢＡＣ符号化部１１０で符号化されるＳＥのコストを算出するために、ＳＥを構成するｃｔｘＩｄｘごとの発生頻度をコンテキストメモリ２０３から取得する。ＳＥを構成するｃｔｘＩｄｘとは、二値化した二値シンボルに対応するｃｔｘＩｄｘである。例えば、マクロブロックタイプがＩ＿１６ｘ１６＿０＿０＿０の場合、マクロブロックタイプを表すｍｂ＿ｔｙｐｅというＳＥのＩピクチャにおける二値シンボル値は、Ｈ．２６４方式の規格により「１０００００」の６ビットとなる。これに対応するｃｔｘＩｄｘは、Ｈ．２６４方式の規格により、３、４、５、６、７及び８の６つとなる。図４は、Ｈ．２６４規格のＣＡＢＡＣにおけるＩピクチャのｍｂ＿ｔｙｐｅの二値シンボルを示す表である。

ｃｔｘＩｄｘの３、４、５、６、７及び８の発生頻度を取得する場合、前述したように、ｃｔｘＩｄｘの３、４、５、６、７及び８の番号とともに読み出し要求をコンテキストメモリ読み出し部２０５に送る。こうすると、コンテキストメモリ読み出し部２０５は、それぞれに対応する発生頻度情報、すなわちｐＳｔａｔｅＩｄｘとＶａｌＭＰＳを符号化モード選択部１１３に供給する。ここでは、ｍｂ＿ｔｙｐｅでの例を説明したが、他のＳＥでも同様に行う。

第２に、符号化コストを算出する。すなわち、符号化モード選択部１１３は、上記のように取得したｐＳｔａｔｅＩｄｘとＶａｌＭＰＳを使って、算出を必要とするＳＥに対して符号化コストを算出する。符号化コストＣは、

で算出できる。ここで、二値シンボル長をＬ、二値シンボルをｂｉｎｖａｌ（ｉ）、それに対応するｐＳｔａｔｅＩｄｘとＶａｌＭＰＳを、それぞれｐＳｔａｔｅＩｄｘ（ｉ）、ＶａｌＭＰＳ（ｉ）とした。ｉは０〜Ｌ−１である。これにより、ＣＡＢＡＣ符号化部１１０においての各ＳＥの発生頻度に基づく符号化コストが算出される。すなわち、符号化モード選択部１１３は、符号化コストを算出するコスト算出手段として機能する。

３番目に、符号化モード選択部１１３は、インター予測部１０６及びイントラ予測部１０７から予測モード情報を取得する。即ち、インター予測部１０６は、インター予測の複数の予測モードでの予測データを生成し、インター予測で符号化効率の高い予測モードの候補を選択する。例えば予測誤差の二乗和を使って、符号化効率を算出する。選択する予測モードは１つでもよいし、複数でも構わない。インター予測部１０６は、選択した予測モードを示す情報を符号化モード選択部１１３に出力する。

イントラ予測部１０７は、イントラ予測の複数の予測モードでの予測データを生成し、イントラ予測で符号化効率の高い予測モードの候補を選択する。例えば予測誤差の二乗和を使って、符号化効率を算出する。選択する予測モードは１つでもよいし、複数でも構わない。イントラ予測部１０７は、選択した予測モードを示す情報を符号化モード選択部１１３に出力する。

最終的に、符号化モード選択部１１３は、上記のように取得されたインター予測部１０６及びイントラ予測部１０７からの予測モード情報に対して符号化コストＣを加味した判定を行い、最終的な適用すべき符号化モードを選択する。

本実施例では、このような処理により、二値算術符号化での符号化効率を加味した符号化モードの選択を実現でき、従って、最適な符号化モードを選択できる。

Claims

直交変換及び量子化により動画像を符号化する符号化手段と、
前記符号化手段の出力を含むシンタックスエレメントを二値シンボルに符号化する二値算術符号化手段であって、前記二値シンボルごとのシンボル値とその発生頻度を格納するメモリ手段、前記メモリ手段に格納された前記シンボル値とその発生頻度の値を用いて算術符号化を行う算術符号化手段、及び前記メモリ手段に格納された前記シンボル値とその発生頻度を読み出すメモリ読み出し手段を具備する二値算術符号化手段と、
複数のモードから前記符号化手段で適用すべき符号化モードを選択する符号化モード選択手段であって、前記メモリ手段から読み出された前記シンボル値とその発生頻度の値から前記シンタックスエレメントごとの符号化コストを算出するコスト算出手段を具備し、前記符号化コストを参照して、前記適用すべき符号化モードを選択する符号化モード選択手段
とを有することを特徴とする動画像符号化装置。
前記二値算術符号化手段は、ＣＡＢＡＣ符号化手段であることを特徴とする請求項１に記載の動画像符号化装置。