JP2019161411A - 画像符号化装置、画像復号装置、及び、それらの制御方法並びにプログラム - Google Patents

Abstract

【課題】 動画像の符号化において、色差についての符号化効率をこれまで以上に向上させる。【解決手段】 動画像を符号化する画像符号化装置であって、シンタックス要素を発生確率に基づきエントロピー符号化する符号化部を有する。ここで、符号化部は、色差に関連するシンタックス要素の発生確率については、色差のスライス量子化初期値に基づき初期化する初期化部を含む。【選択図】 図１

Description

本発明は画像の符号化技術に関するものである。

動画符号化技術として、ＨＥＶＣ（High Efficiency Video Coding）符号化方式が知られている（非特許文献１）。ＨＥＶＣでは、ＣＡＢＡＣ（Context Adaptive Binary Arithmetic Coding）と呼ばれるエントロピー符号化方式が採用されている。ＣＡＢＡＣではエントロピー符号化対象の各シンタックス要素が２値化され、２値データが生成される。

各シンタックス要素には、あらかじめ発生確率がテーブル（以下、発生確率テーブル）として与えられ、前述した２値データは発生確率に基づいてエントロピー符号化される。そして符号化が行われる毎に符号化された２値データが発生確率の高い方のシンボルであったか否か、という統計情報に基づいて発生確率が更新される。

発生確率は、各シンタックス要素に対して定められる発生確率の初期値に対して、輝度のスライス量子化値の初期値（以下、輝度のスライス量子化初期値とする）を加味して算出される。ＨＥＶＣでは、画素ブロック毎に量子化値を変更することが可能となっており、輝度のスライス量子化初期値は、スライスの最初の輝度画素ブロックの量子化値の初期値として用いられる。スライス量子化初期値は、HEVCではSliceQpYと呼ばれている。このSliceQpYと最初のブロックの量子化値（量子化パラメータの値）との差分値が符号化される。そして、復号する際は、SliceQpYにこの差分値を加算することで最初のブロックの量子化値を導出することができる。一方、色差に関しては色差のスライス量子化値の初期値というものはない。各画素ブロックの色差の量子化値は、各画素ブロックの輝度の量子化値に対するオフセットを加算することで算出される。オフセットは、色差Ｃｂ向けと色差Ｃｒ向けのそれぞれに対して存在しており、色差の量子化値は色差Ｃｂと色差Ｃｒのそれぞれに対して算出される。色差Ｃｂ向けのオフセットとして、シンタックス要素であるｐｐｓ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔやｓｌｉｃｅ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ等が使用され、色差Ｃｂの量子化値が算出される。同様に色差Ｃｒ向けのオフセットとして、シンタックス要素であるｐｐｓ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔやｓｌｉｃｅ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ等が使用され、色差Ｃｒの量子化値が算出される。前述したとおり、ＨＥＶＣには色差のスライス量子化値の初期値というものはない。

発生確率の初期化に関する先行技術として、特許文献１が開示されている。特許文献１では、スライスタイプに応じて、発生確率の初期値を切り替えることで、各シンタックス要素を効率よく符号化し、符号量を削減する手法が開示されている。

特表２０１４−５２３１５０号公報

ＩＴＵ−Ｔ Ｈ．２６５ （１２／２０１６） Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ

図９はＨＥＶＣにおける発生確率の初期化対象となるシンタックス要素の一覧を示す。同図に示す通り、発生確率の初期化対象となるシンタックスの中には、色差に関連するシンタックス要素が含まれている。さらにその中でも、色差Ｃｂに関連するものと色差Ｃｒに関連するものが存在する。しかしながら、特許文献１の手法は、スライスタイプに基づいて発生確率の初期化方法を切り替えるものである。発生確率の初期化において、輝度に関連するシンタックス要素か、それとも色差にするシンタックス要素かという点については考慮されていない。そのため、色差に関連するシンタックス要素の符号量が大きくなってしまうという問題がある。

本発明は、上記課題を鑑みてなされたものであり、色差に関連するシンタックス要素の符号化効率を向上させる技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
動画像を符号化する画像符号化装置であって、
シンタックス要素を発生確率に基づきエントロピー符号化する符号化手段を有し、
前記符号化手段は、
色差に関連するシンタックス要素の発生確率については、色差のスライス量子化初期値基づき初期化する初期化手段を含むことを特徴とする。

本発明によれば、色差についての符号化効率をこれまで以上に向上させることができるようになる。

第１の実施形態の画像符号化装置の構成を表すブロック図。 第１の実施形態のエントロピー符号化部の構成を表すブロック図。 第１、第２の実施形態の発生確率初期化部の処理フローチャート。 第２の実施形態の画像復号装置の構成を表すブロック図。 第２の実施形態のエントロピー復号部の構成を表すブロック図。 第１の実施形態の発生確率初期化部における各シンタックス要素の初期化方法の分類の一例を示す図。 第１の実施形態の発生確率初期化部における各シンタックス要素の初期化方法の分類の他の例を示す図。 第１の実施形態の発生確率初期化部における各シンタックス要素の初期化方法の分類の他の例を示す図。 ＨＥＶＣにおける発生確率の初期化対象となるシンタックス要素の一覧を示す図。 第３の実施形態における装置のブロック構成図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。各実施形態において、色差成分についてもスライス量子化初期値に相当するものがあると想定し、この値を色差のスライス量子化初期値とする。この色差のスライス量子化初期値の算出方法については後述する。
なお、色差のスライス量子化初期値とは色差成分のための量子化値（量子化パラメータの値）の初期値であり、例えば、この色差のスライス量子化初期値と、スライスにおける最初のブロックの色差成分を量子化するための量子化値（量子化パラメータの値）との差分値が符号化される。そして、復号する際は、色差の量子化初期値にこの差分値を加算することで最初のブロックの色差成分を量子化又は逆量子化する際の量子化値を導出することができる。なお、スライスとは複数のブロックから構成される単位である。各実施形態は、スライスだけではなく、複数のブロックから構成される所定の符号化単位に対して適用可能である。

［第１の実施形態］
図１は、第１の実施形態における画像符号化装置のブロック構成図である。本装置は、入力端子１０１、ブロック分割部１０２、イントラ予測部１０３、インター予測部１０４、イントラ／インター判定部１０５、予測補償部１０６、変換・量子化部１０７、逆量子化・逆変換部１０８、画像再生部１０９、フィルタ処理部１１０、フレームメモリ１１１、エントロピー符号化部１１２、及び、出力端子１１３を有する。

入力端子１０１は、符号化対象の映像データ（動画像データ）を外部からフレーム単位に受信する。符号化対象の映像データ発生源は撮像装置、記憶媒体、或いは、ネットワーク上のファイルサーバであって良く、その種類は問わない。ブロック分割部１０２は、入力された１フレームの映像データを複数のブロックに分割し、各ブロックを所定順に後段に出力する。なお、１つのブロックは、Ｎ×Ｎ画素（Ｎは２以上の正の整数）で構成されるものである。

イントラ予測部１０３は、対象符号化の着目ブロック内の予測ブロックサイズを決定する。決定された予測ブロックサイズで複数のイントラ予測モードの符号化コストを計算し、最適なイントラ予測モードを決定する。インター予測部１０４は、対象符号化ブロック内の予測ブロックサイズ及び動きベクトルを求め、符号化コストを計算し、最適なインター予測モードを決定する。イントラ／インター判定部１０５は、イントラ予測部１０３、及び、インター予測部１０４から出力される予測モードの符号化コストを比較し、各ブロックに対して、イントラ符号化を行うかインター符号化を行うかの判定を行う。

予測補償部１０６は、ブロック分割部１０２から入力されたブロック単位の画像データに対し、イントラ／インター判定部１０５から出力された予測情報に基づいてイントラ予測やインター予測などを行い、予測画像データを生成する。さらに、入力された画像データと前記予測画像データから予測誤差（差分ブロック）を算出し、出力する。変換・量子化部１０７は、予測補償部１０６より入力された前記予測誤差を、ブロック単位で直交変換（周波数変換）して変換係数を得、さらにその変換係数の量子化を行い、量子化係数を得る。

逆量子化・逆変換部１０８は、変換・量子化部１０７から入力された量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換（逆周波数変換）して予測誤差を再生する。画像再生部１０９は、インター予測部１０４から出力された予測情報に基づいて、フレームメモリ１１１を適宜参照して予測画像データを生成し、これと逆量子化・逆変換部１０８から入力された予測誤差から再生画像データを生成し、出力する。フィルタ処理部１１０は、画像再生部１０９から出力された画像データに対して、フィルタ処理を行い、フレームメモリにフィルタ後の画像をフレームメモリ１１１に格納する。この結果、フレームメモリ１１１には、ローカルデコードした画像データとして保持される。

エントロピー符号化部１１２は、変換・量子化部１０７から出力された量子化後の係数及び予測情報を符号化して符号化データを生成し、出力端子１３３を介して外部出力する。出力端子１３３の出力先は、記憶装置、ネットワーク上のファイルサーバ等でよく、その種類は問わない。

次に、実施形態におけるエントロピー符号化部１１２の構成と動作を、図２を参照して説明する。図示の如く、エントロピー符号化部１１２は、制御部２０１、発生確率初期化部２０２、２値変換部２０３、発生確率保持部２０５、算術符号化２０４を有する。

制御部２０１は、２値変換部２０３、算術符号化部２０４に符号化対象のシンタックス要素の種類を与える。また、制御部２０１は、発生確率初期化部２０２に対して、スライスの符号化の開始時に各シンタックス要素の発生確率の初期化を指示する。

発生確率初期化部２０２は、制御部２０１からの指示に基づいて、各シンタックス要素の発生確率の初期化を行う。各シンタックス要素の発生確率の初期化方法については後述する。

２値変換部２０３は、符号化対象のシンタックス要素の値を受け取り、シンタックス要素毎に定められた方法で、シンタックス要素を２値データに変換する。２値データへの変換方法はシンタックス要素毎に異なるが、非特許文献１により公知なので、説明を省略する。さらに２値変換部２０３は、シンタックス要素の２値データを算術符号化部２０４に出力する。

算術符号化部２０４は２値変換部２０３から出力される２値データを受け取る。また、２値データの発生確率を後述する発生確率保持部２０５から受け取り、２値データの算術符号化を行う。さらに、算術符号化部２０４は、符号化した２値データが発生確率の高い方のシンボルであったか否か、という統計情報に基づいて発生確率を更新し、発生確率保持部２０５に出力する。

発生確率保持部２０５は、発生確率初期化部２０２によって初期化された発生確率をテーブルとして保持する。また、算術符号化部２０４から出力される更新後の発生確率を受け取り、発生確率テーブルを更新する。

次に、発生確率初期化部２０２における発生確率の初期化方法について、図３を参照して説明する。

ステップＳ３０１にて、発生確率初期化部２０２は、発生確率の初期化対象となるシンタックス要素が色差成分に関連するものか否かを判定する。発生確率初期化部２０２は、この判定がＹｅｓの場合にはステップＳ３０３に、Ｎｏの場合はステップＳ３０２に処理を進める。

ステップＳ３０２にて、発生確率初期化部２０２は、輝度のスライス量子化初期値(
SliceQpY)を用いて、発生確率の初期化を行う。次式（１）はステップＳ３０２における発生確率の初期化における計算式を示す。

ここで、Ｃｌｉｐ３（ａ，ｂ，ｃ）は、値ｃを値ａ以上かつ値ｂ以下（ａ＜ｂの関係になっているものとする）の数値となるようにクリップする関数を示している。ｃ＜ａが真の場合は、Ｃｌｉｐ３（ａ，ｂ，ｃ）は値ａを返す。ｃ＞ｂが真の場合は、Ｃｌｉｐ３（ａ，ｂ，ｃ）は値ｂを返す。そして、ｃ＜ａとｃ＞ｂのいずれも偽の場合（ａ≦ｃ≦ｂの場合）は、Ｃｌｉｐ３（ａ，ｂ，ｃ）は値ｃを返す。また、“＞＞”はビットシフト演算子であり、ｘ＞＞ｙは、値ｘをｙビット分だけ右（下位方向）へシフトすることを意味する。例えばｘ＞＞４は、値ｘを４ビット右シフトした値を返す（整数ｘを整数「１６」で除算した際の「商」と等価）。ｍ、ｎは各シンタックス要素に対して定められる初期値から算出される値である。ＳｌｉｃｅＱｐＹは輝度のスライス量子化初期値を示す。ｐｒｅＣｔｘＳｔａｔｅは、発生確率を算出する際の中間結果であり、ｐｒｅＣｔｘＳｔａｔｅに基づいて発生確率の初期値は算出される。ｍ、ｎ、ＳｌｉｃｅＱｐＹの算出方法やｐｒｅＣｔｘＳｔａｔｅから発生確率を算出する方法については、非特許文献１にて公知であるため説明は省略する。

式（１）に示す通り、ステップＳ３０２にて、発生確率初期化部２０２は、輝度のスライス量子化初期値を用いて、発生確率の初期化を行う。

ステップＳ３０３にて、発生確率初期化部２０２は、色差成分Ｃｂ，Ｃｒのスライス量子化初期値を用いて発生確率の初期化を行う。式（２）及び（３）はステップＳ３０３における発生確率の初期化における計算の一例である。

式（２）は、色差のＣｂ成分に関連するシンタックス要素の初期化の式である。ここで、ｐｐｓ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔとｓｌｉｃｅ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔは、輝度の量子化値に対するオフセットを示すシンタックス要素であり、色差Ｃｂの量子化値を求める際に用いる。

式（３）は、色差のＣｒ成分に関連するシンタックス要素の初期化の式である。ここで、ｐｐｓ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔとｓｌｉｃｅ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔは、輝度の量子化値に対するオフセットを示すシンタックス要素であり、色差Ｃｒの量子化値を求める際に用いる。

式（２）、（３）に示す通り、ステップＳ３０３にて、発生確率初期化部２０２は、色差のスライス量子化初期値として、輝度のスライス量子化初期値にオフセットを加算した値を用いて、色差に関連するシンタックス要素の発生確率の初期化を行う。なお、色差のスライス量子化初期値を示す情報を符号化するようにしてもよい。その場合、画像復号装置によって、その情報を復号することで色差のスライス量子化初期値を取得することができる。

なお、式（２）では、ｐｐｓ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔとｓｌｉｃｅ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔの両方をオフセットとして用いたが、本実施形態はこれに限定されない。２つのオフセットの内のいずれかのみを用いて発生確率の初期化を行ってもよい。式（３）に関しても同様で、ｐｐｓ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔとｓｌｉｃｅ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔのいずれかのみを用いて発生確率の初期化を行ってもよい。

図６に、発生確率初期化部２０２における各シンタックス要素の初期化方法の分類の一例を示す。図６に示す通り、Ｃｂ成分に関連するシンタックス要素は、式（２）に記載通りＣｂ成分の量子化値のオフセットを用いて色差Ｃｂのスライス量子化初期値を算出し、発生確率の初期化を行う。Ｃｒ成分に関連するシンタックス要素は、式（３）に記載の通りＣｒ成分の量子化値のオフセットを用いて色差Ｃｒのスライス量子化初期値を算出し、発生確率の初期化する。また、Ｃｂ成分とＣｒ成分の区別のないシンタックス要素に関しては、式（２）に記載通りＣｂ成分の量子化値のオフセットを用いて発生確率の初期化をする。なお、本実施形態においては、図６に記載の初期化方法の分類に限定されるものではない。

以下、別の初期化方法の分類について図７を参照して説明する。図７において、Ｃｂ成分に関連するシンタックス要素、及び、Ｃｒ成分に関連するシンタックス要素については、図６の場合と同様である。Ｃｂ成分とＣｒ成分の区別のないシンタックス要素に関しては、Ｃｂ成分の色差の量子化値のオフセットとＣｒ成分の色差の量子化値のオフセットを用いて、色差のスライス量子化初期値を算出し、発生確率の初期化を行う。

式（４）、（５）に、Ｃｂ成分とＣｒ成分の区別のないシンタックス要素に対する発生確率初期化の方法の一例を示す。

式（４）は、Ｃｂ成分とＣｒ成分の色差の量子化値のオフセットの平均を算出する式である。式（５）は、色差の量子化値のオフセットの平均と輝度のスライス量子化初期値を加算して色差のスライス量子化初期値を算出し、発生確率を初期化する式である。なお、本実施形態は色差の量子化値のオフセットの平均値を用いてＣｂ成分とＣｒ成分の発生確率を初期化したが、これに限定されない。例えば、ｐｐｓ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔやｐｐｓ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ等の色差の量子化値のオフセットの中で値が最大となるものを用いてもよいし、値が最小となるものを用いてもよい。また、色差の量子化値のオフセットは正の値と負の値の両方をとりうるが、色差の量子化値のオフセットの絶対値が最大となるものを用いてもよいし、絶対値が最小となるものを用いてもよい。

さらに、本実施形態は図６、図７に記載の初期化の分類に限定されるものではない。例えば、図８に示す通り、色差に関連するシンタックス要素の全てに対して式（４）、（５）のように色差の量子化値のオフセットの平均値を使用してもよい。また、色差の量子化値のオフセットの最大値や最小値を使用してもよいし、さらに絶対値が最大なるものや絶対値が最小となるものを使用してよい。逆にＣｂ成分とＣｒ成分の区別のないシンタックス要素に対して、Ｃｂ成分の量子化値のオフセットを用いてもよいし、Ｃｒ成分の量子化値のオフセットを用いてもよい。さらに、図６、図７、図８に記載されているシンタックス要素にのみ適用が限定されるわけではない。例えば、ＨＥＶＣの次世代の符号化方式において新たに追加されうるシンタックス要素等に適用してもよい。

ステップＳ３０４にて、発生確率初期化部２０２は、算術符号化対象となる全てのシンタックス要素に対して発生確率を初期化したかを判定する。Ｎｏの場合はステップＳ３０１に戻り、Ｙｅｓの場合は発生確率の初期化を終了する。

以上、ステップＳ３０１〜Ｓ３０４の処理を行うことで、色差のシンタックス要素の符号量の増加を防ぐことが可能である。

なお、色差に関連するシンタックス要素の初期化に際し、色差のスライス量子化初期値として輝度のスライス量子化初期値にオフセットを加算した値を用いたが、本実施形態はこれに限定されない。例えば、オフセットを用いずに色差のスライス量子化初期値を算出してもよい。式（６）は、色差のスライス量子化初期値の算出方法の一例を示す。

式（６）において、ｓｌｉｃｅ＿ｑｐｃ＿ｄｅｌｔａは、ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａの色差版となるシンタックス要素である。ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６は輝度のスライス量子化初期値であるＳｌｉｃｅＱｐＹを算出する際に用いるシンタックス要素である。本実施形態では、ｓｌｉｃｅ＿ｑｐｃ＿ｄｅｌｔａをスライスヘッダ等のヘッダ部として符号化し、色差のスライス量子化初期値としてＳｌｉｃｅＱｐＣを算出する。

次式（７）は、ＳｌｉｃｅＱｐＣを用いた発生確率の算出方法の一例の式である。

式（７）において、Ｃｌｉｐ３、”＞＞”、ｍ、及びｎの意味は、式（１）にて既に説明している通りである。式（７）に示す通り、ステップＳ３０２では、色差のスライス量子化初期値であるＳｌｉｃｅＱｐＣを用いて、発生確率の初期化を行う。

また、本実施形態は色差に関連するシンタックス要素に対して、色差のスライス量子化初期値を用いて発生確率を初期化したが、これに限定されない。本実施形態の初期化方法を適用するか否かを示すフラグ（以下、初期化方法切り替えフラグとする）をシーケンスヘッダ、ピクチャヘッダ、スライスヘッダ等のヘッダ部のシンタックス要素として符号化し、初期化方法切り替えフラグに応じて本実施形態の発生確率初期化方法を適用するか否かを切り替えてもよい。以下、初期化方法切り替えフラグに基づいて発生確率初期化方法を切り替える処理について、図２を用いて説明する。

制御部２０１は、不図示の方法により、外部から設定される初期化方法切り替えフラグを受け取り、初期化方法を発生確率初期化部２０２に指示する。発生確率初期化部２０２は、制御部２０１から出力される指示に基づいて、本実施形態に記載の方法で発生確率を初期化するか否かを判定する。初期化方法切り替えフラグの値が本実施形態の発生確率初期化方法を適用しないことを示す場合は、発生確率初期化部２０２は色差に関連するシンタックス要素であるか否かにかかわらず、式（１）に示す方法で全てのシンタックス要素を初期化する。初期化方法切り替えフラグが、本実施形態の発生確率初期化方法を適用することを示す場合は、本実施形態で説明した通り、発生確率初期化部２０２は色差に関連するシンタックス要素に対して、色差のスライス量子化初期値を用いて発生確率の初期化を行う。

また、本実施形態は初期化方法を適用するか否かの判定に初期化方法切り替えフラグを用いたが、これに限定されない。シンタックス要素ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃやｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇを用いてもよい。例えば、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＞１が真の場合、すなわち４：２：２や４：４：４のクロマフォーマットの映像が入力された場合に本実施形態の発生確率初期化方法を適用してもよい。また、ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐａｌａｎｅ＿ｆｌａｇが０の場合、すなわち色コンポーネントが別々に符号化されていない場合に、本実施形態の発生確率初期化方法を適用する等してもよい。

また、本発明は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを、システムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が実行することによっても、達成される。この場合、プログラムコードを格納した記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

［第２の実施形態］
次に、上記第１の実施形態で生成された符号化動画像データを復号する画像復号装置を第２の実施形態として説明する。図４は、画像復号装置のブロック構成図である。

本装置は、入力端子４０１、分離復号部４０２、エントロピー復号部４０３、逆量子化・逆変換部４０４、イントラ予測部４０５、予測画像生成部４０６、動き補償部４０７、フィルタ処理部４０８、フレームメモリ４０９、及び出力端子４１０を有する。

入力端子４０１を介して符号化画像データが本装置に入力される。分離復号部４０２は、入力端子４０１から入力される符号化画像データからヘッダ部の符号化データと、変換係数や動きベクトルデータや予測モード等の符号化データに分離し、ヘッダ部の符号化データを復号する。分離復号部４０２は、復号したヘッダデータと、変換係数や動きベクトルデータや予測モード等の符号化データとを後述するエントロピー復号部４０３に出力する。

エントロピー復号部４０３は分離復号部４０２から入力された変換係数や動きベクトルや予測モード等の符号化データを、ピクチャを構成する画素ブロック毎にエントロピー復号し、変換係数と、動きベクトルデータや予測モード等の符号化パラメータとを出力する。

逆量子化・逆変換部４０４は、エントロピー復号部４０３から出力された変換係数に対し逆量子化と逆直交変換を行い、復号対象ブロックの予測残差データを出力する。

イントラ予測部４０５は、復号済みの周辺画素データからイントラ予測値を生成し、逆量子化・逆変換部４０４から出力された予測残差データと該イントラ予測値とを加算して、復号画像データを出力する。

予測画像生成部４０６は、エントロピー復号部４０３から出力された動きベクトルデータを元に、フレームメモリ４０９から参照画素を読み出す。読み出された参照画素は動き補償部４０７へ出力される。

動き補償部４０７は、予測画像生成部４０６から出力された予測画像と逆量子化・逆変換部４０４から出力された予測残差データを加算して、復号画像データ生成し、イントラ予測部４０５及びフィルタ処理部４０８へ出力する。

フィルタ処理部４０８は、イントラ予測部４０５及び動き補償部４０７から出力された復号画像データに対して、ブロック歪除去などの各種フィルタ処理を行う。フィルタ処理が施された復号画像データはフレームメモリ４０９及び端子４１０に出力される。そして、フレームメモリ４０９に格納された画像データは、以降のブロックの復号時の参照画像として利用される。出力端子４１０は、フィルタ処理部４０８から出力される復号画像データを外部（例えば表示装置）に出力する。

次に、エントロピー復号部４０３の構成と動作の詳細を説明する。図５は、実施形態におけるエントロピー復号部４０３のブロック構成図である。図示の通り、エントロピー復号部４０３は、制御部５０１、発生確率初期化部５０２、算術復号部５０３、逆２値変換部５０４、発生確率保持部５０５を有する。

制御部５０１は、算術復号部５０３、逆２値変換部５０４に符号化対象のシンタックス要素の種類を与える。また、制御部５０１は、発生確率初期化部５０２に対して、スライスの復号の開始時に各シンタックス要素の発生確率の初期化を指示する。さらに、逆２値変換部５０４から逆２値変換されたシンタックス要素の値を受け取り、次に復号するシンタックス要素の種類を選択する。

発生確率初期化部５０２は、制御部５０１からの指示に基づいて、各シンタックス要素の発生確率の初期化を行う。各シンタックス要素の発生確率の初期化方法については後述する。

算術復号部５０３は、エントロピー復号部４０３に入力される符号化データを受け取り、対応する発生確率を後述する発生確率保持部５０５から受け取り、符号化データを算術復号する。算術復号されたデータは逆２値変換部５０４に出力される。さらに、復号した符号化データが発生確率の高い方のシンボルであったか否かという統計情報に基づいて発生確率を更新し、発生確率保持部５０５に出力する。

逆２値変換部５０４は算術復号部５０３で復号された２値データを受け取り、シンタックス要素毎に定められた方法で、シンタックス要素を多値データに変換する。多値データへの変換方法はシンタックス要素毎に異なるが、非特許文献１により公知なので、説明を省略する。また、逆２値変換部５０４は、シンタックス要素の多値データを制御部５０１に出力する。さらに、逆２値変換部５０４は、復号しているシンタックス要素の２値データのインデックス情報（ｂｉｎＩｄｘとする）を算術復号部５０３に出力する。

発生確率保持部５０５は、発生確率初期化部５０２によって初期化された発生確率をテーブルとして保持する。また、発生確率保持部５０５は、算術復号部５０３から出力される更新後の発生確率を受け取り、発生確率テーブルを更新する。

次に、発生確率初期化部５０２における発生確率の初期化方法について、図３を参照して説明する。

ステップＳ３０１にて、発生確率初期化部５０２は発生確率の初期化対象となるシンタックス要素が色差に関連するものか否かを判定する。Ｙｅｓの場合はステップＳ３０３に、Ｎｏの場合はステップＳ３０２に処理を進める。

ステップＳ３０２にて、発生確率初期化部５０２は、輝度のスライス量子化初期値を用いて発生確率の初期化を行う。ステップＳ３０２における発生確率の初期化における計算式は、符号化側、すなわち、第１の実施形態の画像符号化装置が用いる式（１）と同じである。

なお、式（１）におけるＣｌｉｐ３（ａ，ｂ，ｃ）、”＞＞”の演算内容の意味は既に説明していると通りである。また、ｐｒｅＣｔｘＳｔａｔｅは、発生確率を算出する際の中間結果であり、ｐｒｅＣｔｘＳｔａｔｅに基づいて発生確率の初期値は算出される。ｍ、ｎ、ＳｌｉｃｅＱｐＹの算出方法やｐｒｅＣｔｘＳｔａｔｅから発生確率を算出する方法については、非特許文献１にて公知であるため説明は省略する。

式（１）に示す通り、ステップＳ３０２では、輝度のスライス量子化初期値を用いて、発生確率の初期化を行う。

ステップＳ３０３にて、発生確率初期化部５０２は、色差のスライス量子化初期値を用いて発生確率の初期化を行う。ステップＳ３０３における発生確率の初期化における計算の一例は、第１の実施形態で示した式（２）、（３）と同じである。式（２）は、色差Ｃｂ成分に関連するシンタックス要素の初期化の式を示す。式（２）において、ｐｐｓ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔとｓｌｉｃｅ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔは、輝度のスライス量子化初期値に対するオフセットを示すシンタックス要素であり、色差Ｃｂの量子化値を求める際に用いる。ｐｐｓ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ及びｓｌｉｃｅ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔは分離復号部４０２により復号され、復号結果は不図示の方法で発生確率初期化部５０２に渡される。

式（３）は、色差Ｃｒ成分に関連するシンタックス要素の初期化の式を示す。式（３）において、ｐｐｓ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔとｓｌｉｃｅ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔは、輝度の量子化値に対するオフセット値を示すシンタックス要素であり、色差Ｃｒの量子化値を求める際に用いる。ｐｐｓ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ及びｓｌｉｃｅ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔは分離復号部４０２により復号され、復号結果は不図示の方法で発生確率初期化部５０２に渡される。

式（２）、（３）に示す通り、ステップＳ３０３では、色差のスライス量子化初期値として、輝度のスライス量子化初期値にオフセットを加算した値を用いて、色差に関連するシンタックス要素の発生確率の初期化を行う。

なお、式（２）ではｐｐｓ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔとｓｌｉｃｅ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔの両方をオフセット値として用いたが、本発明はこれに限定されない。２つのオフセットの内のいずれかのみを用いて発生確率の初期化を行ってもよい。式（３）に関しても同様で、ｐｐｓ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔとｓｌｉｃｅ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔのいずれかのみを用いて発生確率の初期化を行ってもよい。

第１の実施形態と同様に、図６に、発生確率初期化部５０２における各シンタックス要素の初期化方法の分類の一例を示す。図６に示す通り、色差Ｃｂ成分に関連するシンタックス要素は、式（２）に記載通りＣｂ成分の量子化値のオフセットを用いて色差Ｃｂのスライス量子化初期値を算出し、発生確率の初期化を行う。Ｃｒ成分に関連するシンタックス要素は、式（３）に記載の通りＣｒ成分の量子化値のオフセットを用いて色差Ｃｒのスライス量子化初期値を算出し、発生確率の初期化する。また、Ｃｂ成分とＣｒ成分の区別のないシンタックス要素に関しては、式（２）に記載通りＣｂ成分の量子化値のオフセットを用いて発生確率の初期化をする。

なお、本発明においては、図６に記載の初期化方法の分類に限定されるものではない。以下、別の初期化方法の分類について、第１の実施形態と同様に図７を参照して説明する。図７において、Ｃｂ成分に関連するシンタックス要素、及び、Ｃｒ成分に関連するシンタックス要素については、表１の場合と同様である。Ｃｂ成分とＣｒ成分の区別のないシンタックス要素に関しては、Ｃｂ成分の色差の量子化値のオフセットとＣｒ成分の色差の量子化値のオフセットを用いて、色差のスライス量子化初期値を算出し、発生確率の初期化を行う。

Ｃｂ成分とＣｒ成分の区別のないシンタックス要素に対する発生確率初期化の方法の一例は、第１の実施形態の式（４）及び式（５）と同様である。

式（４）は、Ｃｂ成分とＣｒ成分の色差の量子化値のオフセットの平均を算出する式を示す。式（５）は、色差の量子化値のオフセットの平均と輝度のスライス量子化初期値を加算して色差のスライス量子化初期値を算出し、発生確率を初期化する式を示す。なお、本発明は色差の量子化値のオフセットの平均値を用いてＣｂ成分とＣｒ成分の発生確率を初期化したが、これに限定されない。例えば、ｐｐｓ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔやｐｐｓ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ等の色差の量子化値のオフセットの中で値が最大となるものを用いてもよいし、値が最小となるものを用いてもよい。また、色差の量子化値のオフセットは正の値と負の値の両方をとりうるが、色差の量子化値のオフセットの絶対値が最大となるものを用いてもよいし、絶対値が最小となるものを用いてもよい。

さらに、本発明は図６や図７に記載の初期化の分類に限定されるものではない。例えば、図８に示す通り、色差に関連するシンタックス要素の全てに対して式（４）及び式（５）のように色差の量子化値のオフセットの平均値を使用してもよい。また、色差の量子化値のオフセットの最大値や最小値を使用してもよいし、さらに絶対値が最大なるものや絶対値が最小となるものを使用してよい。逆にＣｂ成分とＣｒ成分の区別のないシンタックス要素に対して、Ｃｂ成分の量子化値のオフセットを用いてもよいし、Ｃｒ成分の量子化値のオフセットを用いてもよい。さらに、図６、図７、及び図８に記載されているシンタックス要素にのみ適用が限定されるわけではない。例えば、ＨＥＶＣの次世代の符号化方式において新たに追加されうるシンタックス要素等に適用してもよい。

ステップＳ３０４にて、発生確率初期化部５０２は、算術復号対象となる全てのシンタックス要素に対して発生確率を初期化したかを判定する。Ｎｏの場合はステップＳ３０１に戻り、Ｙｅｓの場合は発生確率の初期化を終了する。

以上、ステップＳ３０１〜Ｓ３０４の処理を行うことで、色差のシンタックス要素の符号量の増加を防いだ符号化データを復号すること可能である。

なお、色差に関連するシンタックス要素の初期化に際し、色差のスライス量子化初期値として輝度のスライス量子化初期値にオフセットを加算した値を用いたが、本発明はこれに限定されない。例えば、オフセットを用いずに色差のスライス量子化初期値を算出してもよい。色差のスライス量子化初期値の算出方法の一例は、第１の実施形態における式（６）と同様である。

式（６）において、ｓｌｉｃｅ＿ｑｐｃ＿ｄｅｌｔａは、ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａの色差版となるシンタックス要素である。ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６は輝度のスライス量子化初期値であるＳｌｉｃｅＱｐＹを算出する際に用いるシンタックス要素である。本発明では、ｓｌｉｃｅ＿ｑｐｃ＿ｄｅｌｔａをスライスヘッダ等のヘッダ部から分離復号部４０２が復号し、色差のスライス量子化初期値としてＳｌｉｃｅＱｐＣ算出する。

ＳｌｉｃｅＱｐＣを用いた発生確率の算出方法の一例は、第１の実施形態の式（７）と同様である。式（７）において、Ｃｌｉｐ３、”＞＞”、ｍ、及びｎは式（１）で説明したものと同様であるため説明は省略する。式（７）に示す通り、ステップＳ３０２では、色差のスライス量子化初期値であるＳｌｉｃｅＱｐＣを用いて、発生確率の初期化を行う。

また、本実施形態は色差に関連するシンタックス要素に対して、色差のスライス量子化初期値を用いて発生確率を初期化したが、これに限定されない。本実施形態の初期化方法を適用するか否かを示すフラグ（以下、初期化方法切り替えフラグとする）をシーケンスヘッダ、ピクチャヘッダ、スライスヘッダ等のヘッダ部のシンタックス要素として復号し、初期化方法切り替えフラグに応じて本実施形態の発生確率初期化方法を適用するか否かを切り替えてもよい。以下、初期化方法切り替えフラグに基づいて発生確率初期化方法を切り替える処理について、図５を用いて説明する。

制御部５０１は、不図示の方法により、符号化データのヘッダ部を復号して得られる初期化方法切り替えフラグを受け取り、初期化方法を発生確率初期化部５０２に指示する。発生確率初期化部５０２は、制御部５０１から出力される指示に基づいて、本実施形態に記載の方法で発生確率を初期化するか否かを判定する。初期化方法切り替えフラグの値が本実施形態の発生確率初期化方法を適用しないことを示す場合は、発生確率初期化部５０２は色差に関連するシンタックス要素であるか否かにかかわらず、式（１）に示す方法で全てのシンタックス要素を初期化する。初期化方法切り替えフラグが、本実施形態の発生確率初期化方法を適用することを示す場合は、本実施形態で説明した通り、発生確率初期化部５０２は色差に関連するシンタックス要素に対して、色差のスライス量子化初期値を用いて発生確率の初期化を行う。

また、本発明は本実施形態の初期化方法を適用するか否かの判定に、初期化方法切り替えフラグを用いたが、これに限定されない。シンタックス要素ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃやｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇを用いてもよい。例えば、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＞１が真の場合、すなわち符号化データのクロマフォーマットが４：２：２や４：４：４である場合に本実施形態の発生確率初期化方法を適用してもよい。また、ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐａｌａｎｅ＿ｆｌａｇが０の場合、すなわち色コンポーネントが別々に符号化されていない場合に、本実施形態の発生確率初期化方法を適用する等してもよい。

［第３の実施形態］
図１、図２に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。

図１０は、上記各実施形態に係る画像符号化装置、又は、復号装置をコンピュータプログラムにより実現する場合の、パーソナルコンピュータ等の情報処理装置のブロック構成図である。本装置は、ＣＰＵ１０００、ＲＯＭ１００１、ＲＡＭ１００２、ＨＤＤ１００３、操作部１００４、表示部１００５、Ｉ／Ｆ部１００６を有する。

ＣＰＵ１０００は、装置全体の制御を司るプロセッサであり、ＲＯＭ１００１は、ＢＩＯＳやボートプログラムが格納している。本装置の電源がＯＮになると、ＣＰＵ１０００はＲＯＭ１００１に格納されたブートプログラムに従って、ＨＤＤ１００３に格納されたＯＳ（オペレーティングシステム）をＲＡＭ１００２にロードし実行する。これにより、操作部１００４を介して操作入力、表示部１００５への表示、Ｉ／Ｆ部１００６を用いた通信又は入出力が行え、本装置が情報処理装置として機能する。更に、ＣＰＵ１０００は、ＨＤＤ１００３から画像符号化もしくは復号のためのアプリケーションプログラムをＲＡＭ１００２にロードし、ＯＳの下で実行することで、本装置が画像符号化装置或いは画像復号装置として機能することになる。この場合、図１或いは図４に示す各処理部に相当する部分がＣＰＵ１０００による処理で実現される。なお、画像符号化装置として機能する場合の符号化対象の画像データは、ＨＤＤ１００３に格納されていても良いし、Ｉ/Ｆ部１００６を介して外部の画像供給源から受信しても構わない。また、符号化データはＨＤＤ１００３に格納されても、Ｉ/Ｆ部１００６を介して外部に出力しても構わない。そして、画像復号装置として機能する場合には、符号化データはＨＤＤ１００３に格納されても良いし、Ｉ／Ｆ部１００６から入力しても良い。そして、復号して得た画像データは表示部１００５に出力され、動画像として再生される。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１、４０１…入力端子、１０２…ブロック分割部、１０３、４０５…イントラ予測部、１０４…インター予測部、１０５…イントラ／インター判定部、１０６…予測補償部、１０７…変換・量子化部、１０８、４０４…逆量子化・逆変換部、１０９…画像再生部、１１０、４０８…フィルタ処理部、１１１、４０９…フレームメモリ、１１２…エントロピー符号化部、１１３、４１０…出力端子、２０１、５０１…制御部、２０２、５０２…発生確率初期化部、２０３…２値変換部、２０４…算術符号化部、２０５、５０５…発生確率保持部、４０２…分離復号部、４０３…エントロピー復号部、４０６…予測画像生成部、４０７…動き補償部、５０３…算術復号部、５０４…逆２値変換部

Claims (16)

1. 動画像を符号化する画像符号化装置であって、
   シンタックス要素を発生確率に基づきエントロピー符号化する符号化手段を有し、
   前記符号化手段は、
   色差に関連するシンタックス要素の発生確率については、色差のスライス量子化初期値に基づき初期化する初期化手段を含む
   ことを特徴とする画像符号化装置。
2. 前記色差のスライス量子化初期値は、輝度のスライス量子化初期値と少なくとも一つの色差の量子化に関するオフセット値を加算して算出されることを特徴とする請求項１に記載の画像符号化装置。
3. 前記色差の量子化に関するオフセット値は、色差Ｃｂについての、ｐｐｓ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔであることを特徴とする請求項１乃至２に記載の画像符号化装置。
4. 前記色差の量子化に関するオフセット値は、色差Ｃｂについての、ｓｌｉｃｅ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔであることを特徴とする請求項１乃至２に記載の画像符号化装置。
5. 前記色差の量子化に関するオフセット値は、色差Ｃｒについての、ｐｐｓ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔであることを特徴とする請求項１に記載の画像符号化装置。
6. 前記色差の量子化に関するオフセット値は、色差Ｃｒについての、ｓｌｉｃｅ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔであることを特徴とする請求項１乃至２に記載の画像符号化装置。
7. 前記色差の量子化に関するオフセット値は、スライスにおける輝度の量子化初期値と、少なくとも二つの色差の量子化値のオフセットの平均値を加算して算出されることを特徴とする請求項１乃至２に記載の画像符号化装置。
8. 前記色差の量子化に関するオフセット値は、スライスにおける輝度の量子化初期値と、少なくとも二つの色差の量子化値のオフセットのうち、値が最大又は最小となるものを加算して算出されることを特徴とする請求項１乃至２に記載の画像符号化装置。
9. 前記色差の量子化に関するオフセット値は、スライスにおける輝度の量子化初期値と少なくとも二つの色差の量子化値のオフセットのうち、絶対値が最大又は最小となるものを加算して算出されることを特徴とする請求項１乃至２に記載の画像符号化装置。
10. 前記色差のスライス量子化初期値は、
    前記輝度成分の量子化初期値を算出するためのシンタックス要素、及び、色差の量子化に関するシンタックス要素に基づき算出されることを特徴とする請求項１に記載の画像符号化装置。
11. 前記輝度成分の量子化初期値を算出するためのシンタックス要素は、ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６であり、前記色差の量子化に関するシンタックス要素はｓｌｉｃｅ＿ｑｐｃ＿ｄｅｌｔａであることを特徴とする請求項１０に記載の画像符号化装置。
12. 前記符号化手段は、
    前記シンタックス要素を２値化する２値化手段と、
    ２値化して得た２値データを、発生確率に基づき算術符号化する算術符号化手段と、
    前記算術符号化手段にて２値データを符号化するたびに前記発生確率を更新する更新手段と
    を含むことを特徴とする請求項１又は１０に記載の画像符号化装置。
13. 符号化動画像データを復号する画像復号装置であって、
    シンタックス要素を発生確率に基づきエントロピー復号する復号手段と、
    前記復号手段は、
    色差に関連するシンタックス要素の発生確率については、色差のスライス量子化初期値に基づき初期化する初期化手段を含む
    ことを特徴とする画像復号装置。
14. 動画像を符号化する画像符号化装置の制御方法であって、
    シンタックス要素を発生確率に基づきエントロピー符号化する符号化工程を有し、
    前記符号化工程は、
    色差のシンタックス要素に関連する発生確率については、色差のスライス量子化初期値に基づき初期化する初期化工程を含む
    ことを特徴とする画像符号化装置の制御方法。
15. 符号化動画像データを復号する画像復号装置の制御方法であって、
    シンタックス要素を発生確率に基づきエントロピー復号する復号工程と、
    前記復号工程は、
    色差に関連するシンタックス要素の発生確率については、色差のスライス量子化初期値に基づき初期化する初期化工程を含む
    ことを特徴とする画像復号装置の制御方法。
16. コンピュータが読み込み実行することで、前記コンピュータに、請求項１４又は１５に記載の方法の各工程を実行させるためのプログラム。

Images