JP2014103429A - 動画像符号化装置および動画像符号化方法 - Google Patents

Abstract

【課題】パイプライン構造を持つ動画像符号化装置において、発生符号量を制限値以下に納めるためにパイプラインを遡る処理を単純化することを可能し、また対応する動画像復号化装置において、パイプラインの処理遅延の発生を回避することを可能とする。
【解決手段】本発明に係る動画像符号化装置１００は、２値化符号化部１０７において生成される中間符号列の符号量が特定の符号量以下になるように、通常符号化によって生成された残差係数情報を可変長符号化する機能と、入力画像を可変長符号化せずにそのまま符号列に記述する機能とを切替えて処理することを可能とする。
【選択図】図１

Description

本発明は、入力された動画像をブロックに分割して符号化する画像符号化装置、および前記符号化された符号列を復号化する画像復号化装置に関するものである。

近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積及び伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−３、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。また、現在は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣと呼ばれる次世代画面符号化方式の標準化活動が進んでいる。

このような動画像の符号化では、符号化対象の各ピクチャを符号化単位ブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。また空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報をから予測画像の生成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。さらに得られた差分画像に対して離散コサイン変換等の直交変換および量子化を行い、可変長符号化を用いて符号列を生成することで情報量が圧縮される。このとき、可変長符号化のみで符号列を生成するＣＡＶＬＣと呼ばれるモードと、まず可変長符号化によって中間符号列を生成し（２値化）、さらに前記中間符号列に対して算術符号化を行うことで符号列を生成するＣＡＢＡＣと呼ばれるモードとがある。

また復号化では、前記符号化処理によって生成された符号列を解析して予測情報および残差係数情報を取得し、予測情報を用いて画面間予測復号化および画面内予測復号化を行って予測画像を生成し、残差係数情報に対して逆量子化および逆直交変換を行って差分画像を生成し、得られた予測画像と差分画像を加算することで最終的な出力画像を復元する。

Ｈ．２６４（非特許文献１）では、ブロック単位の処理量の上限を制約するために、ブロック単位の発生符号量の最大値が定義されている（具体的には３２００ビット）。前述の通常の符号化処理を行うと、入力画像の性質や量子化処理の条件によって前記発生符号量の最大値を超過した符号列を生成してしまう可能性があるため、ＩＰＣＭと呼ばれる特別な符号化モードを使用することによって常に最大値内に納めることを可能としている。

ＩＰＣＭは通常の符号化モードとは異なり、画面内・画面間予測による差分画像の生成や直交変換・量子化を行うことなく、入力画像の画素値をそのままのビット列として符号列に記述するモードである。このモードを使用すると、例えば入力画像のフォーマットが各画素８ビットのＹＵＶ４：２：０であった場合、輝度成分のブロックが１６×１６画素、２つの色差成分のブロックがそれぞれ８×８画素であるため、合計で３８４バイトとなり、ヘッダに必要な情報を含めても前記最大値の３２００ビット以下に必ず納めることが可能となる。

ITU-T H.264 : Advanced video coding for generic audiovisual services (03/2010)

多くの動画像符号化・復号化装置はＬＳＩと呼ばれる集積回路によって符号化・復号化処理を実現している。このような符号化・復号化装置では処理高速化のためにパイプラインと呼ばれる並列動作を可能とする構成を取っている。具体的には１つのブロックの処理が完了する前に次のブロックの処理を開始することで同時に処理が進行する。

図３（ａ）にＣＡＢＡＣを用いた符号化におけるパイプラインの例を示す。ブロック１に対して、画素読込み、モード判定、画面間／内予測、変換／量子化、２値化符号化、の各処理が順に適用され、ブロック２に対しても同様の処理が適用されている。このとき、ブロック２はブロック１の画素読込みが完了した時点で直ぐに処理を開始することで、処理タイミングを１ステップずつ遅らせながら並行して処理を行う。また、算術符号化は前記パイプラインとは別の独立したタイミングで処理が行われる。Ｈ．２６４やＨＥＶＣの符号化・復号化処理では過去に符号化・復号化したブロックの情報を参照しながら処理が行われるため、図にあるようにブロック1で確定した予測情報、画素情報、符号化情報等をブロック２が参照しながら処理を行う必要がある。

しかし、前述のブロック単位の発生符号量が最大値以下に納められているかどうかは、算術符号化が完了した時点での符号量を調べないと判断できないため、もし最大値を超過すると判定された場合はその時点でＩＰＣＭに切替えて符号列を生成し直さなくてはならない。

図３（ｂ）にＩＰＣＭへの切替えが発生した場合のパイプラインの例を示す。ブロック１の算術符号化処理においてＩＰＣＭへ切替えることが確定しているが、既にブロック２はブロック1が通常の符号化を行った場合の予測情報、画素情報等を参照しながら符号化処理が進行してしまっているため、ブロック1のモード判定まで戻って、ブロック1がＩＰＣＭで符号化した前提に置き直して参照する情報を更新してブロック２の処理をやり直さなくてはならない。しかも、算術符号化処理は、他の処理が行われているパイプラインとは別の独立したタイミングで処理が行われるため、ブロック１の算術符号化を行う時点で既に後続する多数のブロックの符号化処理が進行してしまい、膨大な量の処理を遡らなくてはならない場合がある。

また、参考として、図４（ａ）および図４（ｂ）にＣＡＶＬＣを用いた符号化におけるパイプラインの例を示す。ＣＡＶＬＣでは算術符号化処理がないため、たとえＩＰＣＭへの切替えが発生した場合でも、パイプラインを遡る処理の量は一定であり、ＣＡＢＡＣと比較すると制御が単純になっている。

このようにＣＡＢＡＣを用いた符号化においてＩＰＣＭが発生したときのパイプラインを遡る制御は非常に複雑な処理制御が必要となり、また対象ピクチャ内でＩＰＣＭが多数発生して遡る回数が増加するとそれだけ処理速度遅延の原因となり、要求時間内に対象ピクチャの符号化処理を完了できなくなってしまう。

一方、図５（ａ）にＣＡＢＡＣを用いた復号化におけるパイプラインの例を示す。ブロック１に対して、符号列解析、逆変換／量子化、画面間／内予測、出力画像生成、の各処理が順に適用され、ブロック２に対しても同様の処理が適用されている。このとき、ブロック２はブロック１の符号列解析が完了した時点で直ぐに処理を開始することで、処理タイミングを１ステップずつ遅らせながら並行して処理を行う。また、算術復号化は前記パイプラインとは別の独立したタイミングで処理が行われる。

Ｈ．２６４では、前述の通りブロック単位の符号列の最大符号量が定義されている。しかし、制限されているのは算術復号化前の符号列の符号量のみであり、算術復号化の結果生成される中間符号列の符号量に関しては定義されていない。そのため、条件によっては中間符号列の符号量が極端に大きくなってしまう可能性がある。

図５（ｂ）にブロック２において中間符号列の符号量が極端に大きくなった場合のパイプラインの例を示す。ブロック２の符号列解析処理において、多くの中間符号列を読み込んで処理を行わなくてはならないため、他の処理よりも処理に必要な時間が増加してしまっている。このとき並列に動作している他のブロックの処理も、ブロック２の符号列解析の処理が完了するまで次の処理に進めなくなる。

このようにＣＡＢＡＣを用いた復号化において中間符号列の符号量が大きくなってしまうと、符号列解析処理の処理時間が増加してしまい、復号化処理全体の処理速度遅延の原因となり、要求時間内に対象ピクチャの復号化処理を完了できなくなってしまう。

本発明は上記課題を解決するものであり、パイプライン構造を持つ算術符号化に対応した符号化装置において、発生符号量を制限値以下に納めるためにパイプラインを遡る処理を単純化することを可能とし、同時にパイプライン構造を持つ算術復号化に対応した復号化装置において、パイプラインの処理遅延の発生を回避することを可能とする、従来の方法に代わる新しい制御方法を提供することを目的とする。

本発明における動画像符号化装置は、入力される符号化対象画像をブロック単位で符号化する動画像符号化装置であって、前記符号化対象画像に対応する予測画像を生成する予測画像生成部と、前記符号化対象画像と前記生成された予測画像との差分画像を生成する減算器と、前記減算器の出力に対して直交変換処理および量子化処理を行い、残差係数を生成する予測残差符号化部と、前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成する予測残差復号化部と、前記予測画像生成部で生成された予測画像と前記予測残差復号化部で生成された残差復号化画像とを加算することで再構成画像を生成する加算器と、第１モードにおいて、前記予測残差符号化部で生成された残差係数を可変長符号化して係数符号列を生成し、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ符号列を生成し、前記係数符号列および、前記ヘッダ符号列から構成される中間符号列を出力する一方、第２モードにおいて、前期残差係数の代わりに前記符号化対象画像の信号処理過程において得られる中間画像信号を可変長符号化せずにそのまま係数符号列とし、当該係数符号列および当該係数符号列が中間画像信号であることを示す識別子を少なくとも含むヘッダ符号列から構成される中間符号列を出力する２値化符号化部と、前記第１モードにおいて出力された中間符号列に対して算術符号化し、出力符号列を生成する一方、前記第２モードにおいて出力された中間符号列のうち前記ヘッダ符号列に対してのみ算術符号化し、算術符号化後のヘッダ符号列と前記係数符号列から構成される出力符号列を生成する算術符号化部と、を備え、前記２値化符号化部は、予め定義された特定の符号量以下である中間符号列を出力する。

また本発明における動画像符号化装置は、入力される符号化対象画像をブロック単位で符号化する動画像符号化装置であって、前記符号化対象画像に対応する予測画像を生成する予測画像生成部と、前記符号化対象画像と前記生成された予測画像との差分画像を生成する減算器と、前記減算器の出力に対して直交変換処理および量子化処理を行い、残差係数を生成する予測残差符号化部と、前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成する予測残差復号化部と、前記予測画像生成部で生成された予測画像と前記予測残差復号化部で生成された残差復号化画像とを加算することで再構成画像を生成する加算器と、第１モードにおいて、前記予測残差符号化部で生成された残差係数を可変長符号化して係数符号列を生成し、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ符号列を生成し、前記係数符号列および、前記ヘッダ符号列から構成される中間符号列を出力する一方、第２モードにおいて、前期残差係数の代わりに前記符号化対象画像の信号処理過程において得られる中間画像信号を可変長符号化せずにそのまま係数符号列とし、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ符号列を生成し、前記係数符号列および前記ヘッダ符号列から構成される中間符号列を出力する２値化符号化部と、前記第１モードにおいて出力された中間符号列に対して算術符号化し、出力符号列を生成する一方、前記第２モードにおいて出力された中間符号列のうち前記ヘッダ符号列に対してのみ算術符号化し、算術符号化後のヘッダ符号列と前記係数符号列から構成される出力符号列を生成する算術符号化部と、を備え、前記２値化符号化部は、予め定義された特定の符号量以下である中間符号列を出力する。

また好ましくは、前記予め定義された特定の符号量は、前記中間画像信号の画素値をそのまま符号列として記述する際に必要となる符号量と、前記ヘッダ符号列に記述される可能性のある全ての情報を符号化する際に必要となる最大の符号量と、余裕量とを合わせた符号量である。

また好ましくは、前記２値化符号化部は、出力する中間符号列の符号量が、前記予め定義された特定の符号量を超過する可能性がある場合、前記第２モードを用いて中間符号列を出力する。

また好ましくは、前記２値化符号化部は、前記第１モードで中間符号列を出力した結果、当該中間符号列の符号量が前記予め定義された特定の符号量を超過した場合、当該第１モードで生成した中間符号列に代えて、前記第２モードを用いて生成した中間符号列を出力する。

なお、本発明は、このような動画像符号化・復号化装置として実現することができるだけでなく、このような動画像符号化・復号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。

以上より、本発明における動画像符号化装置は、パイプライン構造を用いて算術符号化を含む符号化方法を実現した場合でも、中間符号列を生成する時点で予め定義された特定の符号量以下になるように制御することができる。そのため、発生符号量を制限値以下に納めるためにパイプラインを遡る処理を単純化することが可能となり、また対応する動画像復号化装置において、パイプラインの処理遅延の発生を回避することが可能となる。

本発明の実施の形態１に係る動画像符号化装置を示すブロック図である。 本発明の実施の形態３に係る動画像復号化装置を示すブロック図である。 従来の動画像符号化装置のパイプライン制御を説明するための概念図である。 従来の動画像符号化装置の別のパイプライン制御を説明するための概念図である。 従来の動画像復号化装置のパイプライン制御を説明するための概念図である。 本発明の実施の形態１に係る符号列生成処理のフローチャートである。 本発明の実施の形態１によって生成される符号列のシンタックスの一例を説明するための概念図である。 本発明の実施の形態１に係る動画像符号化装置のパイプライン制御を説明するための概念図である。 本発明の実施の形態２に係る動画像符号化装置を示すブロック図である。 本発明の実施の形態２に係る符号列生成処理のフローチャートである。 本発明の実施の形態２によって生成される符号列のシンタックスの一例を説明するための概念図である。 本発明の実施の形態２に係る動画像符号化装置のパイプライン制御を説明するための概念図である。 本発明の実施の形態３に係る符号列解析処理のフローチャートである。 本発明の実施の形態３に係る符号列解析処理の別フローチャートである。

（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。

図１は、本発明の実施の形態に係る動画像符号化装置１００のブロック図である。動画像符号化装置１００は、ピクチャ単位で入力された動画像をブロックに分割し、ブロック単位で符号化処理を行い符号列を生成する。

この動画像符号化装置１００は、ピクチャメモリ１０１と、予測残差符号化部１０２と、予測残差復号化部１０３と、ローカルバッファ１０４と、予測符号化部１０５と、量子化値決定部１０６と、２値化符号化部１０７と、ヘッダ符号列生成部１０８と、係数符号列生成部１０９と、算術符号化部１１０とを備えている。

ピクチャメモリ１０１は、表示を行う順にピクチャ単位で入力される入力画像信号１５１を、符号化を行う順にピクチャの並び替えを行って蓄積する。次に、ピクチャメモリ１０１は、差分演算部１１１または予測符号化部１０５からの読出し命令を受け付けると当該読出し命令に係る入力画像信号をそれぞれ出力する。このとき、各々のピクチャはコーディングユニット（以下、ＣＵと称す）と呼ばれる複数の画素から構成される符号化単位に分割される。このＣＵは、例えば水平６４×垂直６４画素のブロック、水平３２×垂直３２画素のブロック、水平１６×垂直１６画素のブロック等から成る。なお、本実施形態における動画像符号化装置１００では、ＣＵ単位で以降の処理が行われる。

予測残差符号化部１０２は、差分演算部１１１から出力される差分画像信号１５２に対して直交変換を行う。さらに得られた各周波数成分の直交変換係数に対し量子化を行うことで画像情報の圧縮を行い、残差符号化信号１５３を生成する。そして、生成した残差符号化信号１５３を予測残差復号化部１０３および係数符号列生成部１０９に出力する。このとき予測残差符号化部１０２は、量子化値決定部１０６において決定された量子化値信号１５８を用いて、直交変換係数を量子化する。

予測残差復号化部１０３は、予測残差符号化部１０２から出力される残差符号化信号１５３に対して、逆量子化および逆直交変換することで残差復号化信号１５４を生成する。そして、生成した残差復号化信号１５４を加算演算部１１２に出力する。

ローカルバッファ１０４は、加算演算部１１２から出力される再構成画像信号１５５を格納する。この再構成画像信号１５５は、現在符号化対象となっているピクチャ以降のピクチャの符号化における予測符号化処理に用いられる。つまり、再構成画像信号１５５は、現状符号化対象となっているピクチャ以降のピクチャを符号化する際、画素データとして参照される。ローカルバッファ１０４は、予測符号化部１０５からの読出し命令に応じて、格納する再構成画像信号１５５を画素データとして予測符号化部１０５出力する。

予測符号化部１０５は、ピクチャメモリ１０１から出力される入力画像信号を基に、画面内予測、または画面間予測を用いて予測画像信号１５６を生成する。そして、生成した予測画像信号１５６を差分演算部１１１および加算演算部１１２に出力する。なお、予測符号化部１０５は、画面間予測を用いる際は、ローカルバッファ１０４に蓄積される既に符号化済みの過去のピクチャの再構成画像信号１５５を用いる。また、画面内予測を用いる際は、符号化対象ＣＵに隣接する既に符号化済みのＣＵの現在のピクチャの再構成画像信号１５５を用いる。画面内予測を用いるか画面間予測を用いるかのモード判定方法については、どちらの予測方法がより残差信号の情報量を少なくすることができるかを予測して行われる。

量子化値決定部１０６は、ピクチャメモリ１０１に格納されるピクチャに基づいて、予測残差符号化部１０２において差分画像信号１５２を量子化する際の量子化値を設定する。そして、設定した量子化値を予測残差符号化部１０２およびヘッダ符号列生成部１０７に出力する。なお、量子化値決定部１０６における量子化値の設定方法は、符号列信号１６０のビットレートが目標とするするビットレートに近づくように量子化値を設定する、いわゆるレート制御に基づく量子化値の設定方法等を利用しても構わない。

２値化符号化部１０７は、ヘッダ符号列生成部１０８と係数符号列生成部１０９とを含み、各々の処理を適用して生成された２値化情報を中間符号列１５９として算術符号化部１１０に出力する。

ヘッダ符号列生成部１０８は、予測符号化部１０５が出力する予測情報信号１５７と、量子化値決定部１０６が出力する量子化値信号１５８と、その他の符号化制御に関する制御情報を可変長符号化することでヘッダ中間符号列を生成する。なお、予測情報には、例えば画面内予測モード、画面間予測モード、動きベクトル、参照ピクチャを示す情報等が含まれる。また、制御情報は係数符号列生成部１０９における処理前までに取得可能な情報であって、ＣＵの符号化時に適用した符号化条件を示す情報であり、例えばブロック符号化タイプ、ブロック分割情報等が含まれる。

係数符号列生成部１０９は、予測残差符号化部１０２が出力する残差符号化信号１５３を可変長符号化して係数中間符号列を生成する。そして、係数符号列生成部１０９は、生成した係数中間符号列をヘッダ符号列生成部１０８が生成したヘッダ中間符号列に続けて追記することで中間符号列信号１５９を生成する(以下、第１モードと称す)。

一方、係数符号列生成部１０９は、ピクチャメモリ１０１から出力される入力画像信号を可変長符号化せずに得られる係数中間符号列を、ヘッダ符号列生成部１０８が生成したヘッダ中間符号列に続けて追記することで中間符号列信号１５９を生成する（以下、第２モードと称す）。

算術符号化部１１０は、２値化符号化部１０７から出力される中間符号列１５９のうち一部の符号列に対して算術符号化を行い、当該動画像符号化装置１００の出力となる符号列信号１６０を生成する。

差分演算部１１１は、ピクチャメモリ１０１から読み出された入力画像信号と、予測符号化部１０５の出力である予測画像信号１５６との差分値である差分画像信号１５２を生成し、予測残差符号化部１０２に出力する。

加算演算部１１２は、予測残差復号化部１０３から出力される残差復号化信号１５４と、予測符号化部１０５から出力される予測画像信号１５６とを加算することにより再構成画像信号１５５を生成し、ローカルバッファ１０４に出力する。

ここで、２値化符号化部１０７および算術符号化部１１０において符号列信号１６０を生成する方法について、図６のフローチャートを用いて具体的に説明する。

まず、２値化符号化部１０７は、ステップＳ６０１において、入力された残差符号化信号１５３を用いて、符号化対象ＣＵの２値化後の中間符号量が規定値を超過する可能性があるかどうかを判定する。

ステップＳ６０１において、超過する可能性がないと判断された場合は、前述の通常の符号化処理を行った結果生成された予測情報信号１５７、量子化値信号１５８、その他の符号化制御情報を入力として可変長符号化を行うことによってヘッダ中間符号列を生成する（Ｓ６０２）。さらに、従来の符号化と同様に入力された残差符号化信号１５３を可変長符号化する（Ｒｅｓｉｄｕａｌモード）ことで係数中間符号列を生成する（Ｓ６０３）。

一方、ステップＳ６０１において、超過する可能性があると判断された場合は、ＰＣＭモードとして符号化したことを示すＰＣＭモード情報のみを可変長符号化することによってヘッダ中間符号列を生成する（Ｓ６０５）。さらに、入力された入力画像信号を可変長符号化せずに画素のビットをそのまま符号列に記述する（ＰＣＭモード）ことで係数中間符号列を生成する（Ｓ６０６）。

つづいて、算術符号化部１１０は、入力された中間符号列がＲｅｓｉｄｕａｌモードによって生成されている場合は、前記ヘッダ中間符号列および前記係数中間符号列に対して算術符号化を行うことによって最終的な符号列を生成する（Ｓ６０４）。また、入力された中間符号列がＰＣＭモードによって生成されている場合は、前記ＰＣＭモード情報のみのヘッダ中間符号列に対して算術符号化を行い、前記係数中間符号列に対しては算術符号化を行うことなくそのまま符号列に追記することで最終的な符号列を生成する（Ｓ６０７）。

なお、ここではステップＳ６０１において、入力された残差符号化信号１５３を用いて符号化対象ＣＵの中間符号量が規定値を超過する可能性があるかどうかを判定しているが、それ以外の方法を用いて中間符号量が規定値を超過する可能性があるかどうかを判定してもよい。例えば、生成した中間符号列信号１５９に基づいて符号量が既定値を超過しているか判定する方法がある。この場合、ステップＳ６０２およびステップＳ６０３の処理が完了した時点で判定を行うことになり、既にＲｅｓｉｄｕａｌモードで中間符号列が生成されてしまっている。そのため、もし超過していると判定された場合は、生成済みの当該中間符号列に代えて、ステップＳ６０５およびステップＳ６０６の処理を行ってＰＣＭモードで再生成された中間符号列に置き換えることで処理がなされる。

なお、ここではステップＳ６０６において入力画像信号を入力としてＰＣＭモードで係数中間符号列を生成しているが、入力画像信号の代わりに、再構成画像信号１５５を入力としてＰＣＭモードで係数中間符号列を生成してもよい。もしくは、差分画像信号１５２または残差復号化信号１５４を入力としてＰＣＭモードで係数中間符号列を生成してもよい。

なお、ここではステップＳ６０１においてＣＵ単位で判定を行っているが、複数のＣＵ単位、ＣＵよりも小さなブロック単位、もしくはその他のブロック単位で判定を行ってもよい。

図７は本実施の形態によって生成される中間符号列および符号列のＣＵ単位のシンタックス：ｃｏｄｉｎｇ＿ｕｎｉｔ（）の一例を示した図である。

図７（ａ）は図６で説明したＲｅｓｉｄｕａｌモードで中間符号列を生成した場合のシンタックスである。シンタックスの先頭には、ヘッダ符号列生成部１０８によって生成された、予測モード：ｐｒｅｄ＿ｍｏｄｅ、予測情報：ｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔ（）、量子化値：ｑｐ＿ｖａｌｕｅ等の情報を可変長符号化した符号列が記述されている。つづいて、ｒｅｓｉｄｕａｌ＿ｄａｔａ（）として残差符号化信号１５３を可変長符号化した符号列が記述されている。

図７（ｂ）は図６で説明したＰＣＭモードで中間符号列を生成した場合のシンタックスである。シンタックスの先頭には、ＰＣＭモードとして符号化したことを示すＰＣＭモード情報であるｐｒｅｄ＿ｍｏｄｅを可変長符号化した符号列が記述されている。つづいて、ｐｃｍ＿ｄａｔａ（）として、入力画像信号もしくは再構成画像信号１５５を可変長符号化ぜず、画素のビット列そのままである符号列が記述されている。

このとき、発生する中間符号列の符号量は、Ｒｅｓｉｄｕａｌモードについては可変長符号化の条件によって符号長が変わるため一意に特定できない。しかし、ＰＣＭモードについてはｐｒｅｄ＿ｍｏｄｅ以外はＣＵのサイズによって一意に特定できる。例えば、画像のフォーマットが各画素８ビットのＹＵＶ４：２：０であり、符号化対象ＣＵのサイズが３２×３２画素であった場合、入力画像信号もしくは再構成画像信号１５５の画素値をそのまま符号列として記述する際に必要となる符号量は１５３６バイトとなる。よって、ｐｒｅｄ＿ｍｏｄｅを可変長符号化したときに発生しうる最大の符号量および余裕量を加えても、ＣＵ全体で１２５００ビットを超過することはない。

つまり、図６のステップＳ６０１で説明した規定値として、符号化対象ＣＵの入力画像信号もしくは成画像信号１５５の画素値をそのまま符号列として記述する際に必要となる符号量と、ＰＣＭモードとして符号化したことを示す情報を可変長符号化したときに発生しうる最大の符号量と、余裕量とを加算した値（前述の例では１２５００ビット）とすることで、生成される中間符号量が常に前記規定値を超過しないことが保証される。

なお、図７で説明したシンタックス、および前記規定値の説明に使用した数値は、本実施の形態を説明するための一例であり、ここに記載されているものと異なるシンタックス、および数値を用いて同様の機能を実現してもよい。

ここで、図８を用いて本実施の形態に係る動画像符号化装置１００のパイプラインの例を示す。

図８（ａ）は図６のステップＳ６０１の判定の結果、Ｒｅｓｉｄｕａｌモードで中間符号列を生成した場合のパイプラインの制御である。図３（ａ）で説明した従来の制御と全く同様の流れで処理が行われている。

一方、図８（ｂ）は図６のステップＳ６０１の判定の結果、ＰＣＭモードで中間符号列を生成した場合のパイプラインの制御である。図３（ｂ）で説明した従来の制御と異なり、２値化符号化処理の時点でＰＣＭモードが確定できる。そのため、パイプライン処理と算術符号化処理のタイミングのずれを考慮する必要がない。よって、常にパイプラインを遡る処理の量は一定にすることが可能となり、ＰＣＭモード発生時の処理制御を単純化することができる。

また、図８（ａ）および図８（ｂ）のパイプライン処理の制御は、図４（ａ）および図４（ｂ）で説明したＣＡＶＬＣを用いて符号化した場合のパイプライン処理の制御と全く同様である。つまり、本実施の形態に係る動画像符号化装置１００は、ＣＡＢＡＣを用いて符号化を行った場合も、ＣＡＶＬＣを用いて符号化を行った場合も、全く同様のパイプラインの制御方法で処理することが可能となる。

このように、本実施の形態に係る動画像符号化装置１００は、パイプライン構造を用いて算術符号化による符号化方法を実現した場合でも、中間符号列を生成する時点で予め定義された特定の符号量以下になるように制御することができる。そのため、発生符号量を制限値以下に納めるためにパイプラインを遡る処理を単純化することが可能となる。

（まとめ）
本実施形態における動画像符号化装置は、入力される符号化対象画像をブロック単位で符号化する動画像符号化装置であって、前記符号化対象画像に対応する予測画像を生成する予測符号化部１０５と、前記符号化対象画像と前記生成された予測画像との差分画像を生成する減算器と、前記減算器の出力に対して直交変換処理および量子化処理を行い、残差係数を生成する予測残差符号化部１０２と、前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成する予測残差復号化部１０３と、前記予測符号化部１０５で生成された予測画像と前記予測残差復号化部１０３で生成された残差復号化画像とを加算することで再構成画像を生成する加算演算部１１２と、第１モードにおいて、前記予測残差符号化部１０２で生成された残差係数を可変長符号化して係数符号列を生成し、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ符号列を生成し、前記係数符号列および、前記ヘッダ符号列から構成される中間符号列を出力する一方、第２モードにおいて、前期残差係数の代わりに前記符号化対象画像の信号処理過程において得られる中間画像信号を可変長符号化せずにそのまま係数符号列とし、当該係数符号列および当該係数符号列が中間画像信号であることを示す識別子を少なくとも含むヘッダ符号列から構成される中間符号列を出力する２値化符号化部１０７と、前記第１モードにおいて出力された中間符号列に対して算術符号化し、出力符号列を生成する一方、前記第２モードにおいて出力された中間符号列のうち前記ヘッダ符号列に対してのみ算術符号化し、算術符号化後のヘッダ符号列と前記係数符号列から構成される出力符号列を生成する算術符号化部１１０と、を備え、前記２値化符号化部１０７は、予め定義された特定の符号量以下である中間符号列を出力する。

また好ましくは、前記予め定義された特定の符号量は、前記中間画像信号の画素値をそのまま符号列として記述する際に必要となる符号量と、前記ヘッダ符号列に記述される可能性のある全ての情報を符号化する際に必要となる最大の符号量と、余裕量とを合わせた符号量である。

また好ましくは、前記２値化符号化部１０７は、出力する中間符号列の符号量が、前記予め定義された特定の符号量を超過する可能性がある場合、前記第２モードを用いて中間符号列を出力する。

また好ましくは、前記２値化符号化部１０７は、前記第１モードで中間符号列を出力した結果、当該中間符号列の符号量が前記予め定義された特定の符号量を超過した場合、当該第１モードで生成した中間符号列に代えて、前記第２モードを用いて生成した中間符号列を出力する。

（実施の形態２）
次に、本発明の実施の形態２について、図面を参照しながら説明する。

図９は、本発明の実施の形態に係る動画像符号化装置１００−１のブロック図である。動画像符号化装置１００−１は、ピクチャ単位で入力された動画像をブロックに分割し、ブロック単位で符号化処理を行い符号列を生成する。

この動画像符号化装置１００−１は、実施の形態１で図１を用いて説明した動画像符号化装置１００とほぼ同様であるが、２値化符号化部１０７、ヘッダ符号列生成部１０８、係数符号列生成部１０９、算術符号化部１１０の代わりに、２値化符号化部１０７−１、ヘッダ符号列生成部１０８−１、係数符号列生成部１０９−１、算術符号化部１１０−１を備えている点のみが異なっている。

以下、説明の便宜上、本実施形態１と同様の構成についてはその詳細な説明を省略する。さらに、図９では、図１と同様の機能を有するブロックについては同じ番号を付す。

２値化符号化部１０７−１は、ヘッダ符号列生成部１０８−１と係数符号列生成部１０９−１とを含み、各々の処理を適用して生成された２値化情報を中間符号列１５９−１として算術符号化部１１０−１に出力する。

ヘッダ符号列生成部１０８−１は、予測符号化部１０５が出力する予測情報信号１５７と、量子化値決定部１０６が出力する量子化値信号１５８と、その他の符号化制御に関する制御情報を可変長符号化することでヘッダ中間符号列を生成する。なお、予測情報には、例えば画面内予測モード、画面間予測モード、動きベクトル、参照ピクチャを示す情報等が含まれる。また、制御情報は係数符号列生成部１０９−１における処理前までに取得可能な情報であって、ＣＵの符号化時に適用した符号化条件を示す情報であり、例えばブロック符号化タイプ、ブロック分割情報等が含まれる。

係数符号列生成部１０９−１は、予測残差符号化部１０２が出力する残差符号化信号１５３を可変長符号化して係数中間符号列を生成する。そして、係数符号列生成部１０９−１は、生成した係数中間符号列をヘッダ符号列生成部１０８−１が生成したヘッダ中間符号列に続けて追記することで中間符号列信号１５９−１を生成する(以下、第１モードと称す)。

一方、係数符号列生成部１０９は、加算演算部１１２から出力される再構成画像信号１５５を可変長符号化せずに得られる係数中間符号列を可変長符号化せずに得られる係数中間符号列を、ヘッダ符号列生成部１０８が生成したヘッダ中間符号列に続けて追記し、中間符号列信号１５９を生成する（以下、第２モードと称す）。

算術符号化部１１０−１は、２値化符号化部１０７−１から出力される中間符号列１５９−１に対して算術符号化を行い、当該動画像符号化装置１００−１の出力となる符号列信号１６０−１を生成する。

ここで、２値化符号化部１０７−１および算術符号化部１１０−１において符号列信号１６０−１を生成する方法について、図１０のフローチャートを用いて具体的に説明する。

まず、２値化符号化部１０７−１は、前述の通常の符号化処理を行った結果生成された予測情報信号１５７、量子化値信号１５８、その他の符号化制御情報を入力として可変長符号化を行うことによってヘッダ中間符号列を生成する（Ｓ１００１）。

次に、ステップＳ１００２において、入力された残差符号化信号１５３を用いて、符号化対象ＣＵの中間符号量が規定値を超過する可能性があるかどうかを判定する。

ステップＳ１００２において、超過する可能性がないと判断された場合は、従来の符号化と同様に入力された残差符号化信号１５３を可変長符号化する（Ｒｅｓｉｄｕａｌモード）ことで係数中間符号列を生成する（Ｓ１００３）。

一方、ステップＳ１００２において、超過する可能性があると判断された場合は、入力された再構成画像信号１５５を可変長符号化せずに画素のビットをそのまま符号列に記述する（ＰＣＭモード）ことで係数中間符号列を生成する（Ｓ１００５）。

つづいて、算術符号化部１１０−１は、入力された中間符号列がＲｅｓｉｄｕａｌモードによって生成されている場合は、前記ヘッダ中間符号列および前記係数中間符号列に対して算術符号化を行うことによって最終的な符号列を生成する（Ｓ１００４）。また、入力された中間符号列がＰＣＭモードによって生成されている場合は、前記ヘッダ中間符号列のみに対して算術符号化を行い、前記係数中間符号列に対しては算術符号化を行うことなくそのまま符号列に追記することで最終的な符号列を生成する（Ｓ１００６）。

なお、ここではステップＳ１００２において、入力された残差符号化信号１５３を用いて符号化対象ＣＵの中間符号量が規定値を超過する可能性があるかどうかを判定しているが、それ以外の方法を用いて中間符号量が規定値を超過する可能性があるかどうかを判定してもよい。例えば、生成した中間符号列信号１５９−１に基づいて符号量が既定値を超過しているか判定する方法がある。この場合、ステップＳ１００３の処理が完了した時点で判定を行うことになり、既にＲｅｓｉｄｕａｌモードで係数中間符号列が生成されてしまっている。そのため、もし超過していると判定された場合は、生成済みの当該係数中間符号列に代えて、ステップＳ１００５の処理を行ってＰＣＭモードで再生成された係数中間符号列に置き換えることで処理がなされる。

なお、ここではステップＳ１００５において再構成画像信号１５５を入力としてＰＣＭモードで係数中間符号列を生成しているが、再構成画像信号１５５の代わりに、入力画像信号を入力としてＰＣＭモードで係数中間符号列を生成してもよい。もしくは、差分画像信号１５２または残差復号化信号１５４を入力としてＰＣＭモードで係数中間符号列を生成してもよい。

なお、ここではステップＳ１００２においてＣＵ単位で判定を行っているが、複数のＣＵ単位、ＣＵよりも小さなブロック単位、もしくはその他のブロック単位で判定を行ってもよい。

図１１は本実施の形態によって生成される中間符号列および符号列のＣＵ単位のシンタックス：ｃｏｄｉｎｇ＿ｕｎｉｔ（）の一例を示した図である。

図１１（ａ）は図１０で説明したＲｅｓｉｄｕａｌモードで中間符号列を生成した場合のシンタックスである。シンタックスの先頭には、ヘッダ符号列生成部１０８−１によって生成された、予測モード：ｐｒｅｄ＿ｍｏｄｅ、予測情報：ｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔ（）、量子化値：ｑｐ＿ｖａｌｕｅ等の情報を可変長符号化した符号列が記述されている。つづいて、係数情報をＲｅｓｉｄｕａｌモードで符号化したかＰＣＭモードで符号化したかを示すｐｃｍ＿ｆｌａｇが記述され、さらに、ｒｅｓｉｄｕａｌ＿ｄａｔａ（）として残差符号化信号１５３を可変長符号化した符号列が記述されている。

図１１（ｂ）は図１０で説明したＰＣＭモードで中間符号列を生成した場合のシンタックスである。図１１（ａ）と同様に、シンタックスの先頭には、ヘッダ符号列生成部１０８−１によって生成された、予測モード：ｐｒｅｄ＿ｍｏｄｅ、予測情報：ｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔ（）、量子化値：ｑｐ＿ｖａｌｕｅ等の情報を可変長符号化した符号列が記述されている。つづいて、Ｒｅｓｉｄｕａｌモードで符号化したかＰＣＭモードで符号化したかを示すｐｃｍ＿ｆｌａｇが記述され、さらに、ｐｃｍ＿ｄａｔａ（）として、再構成画像信号１５５もしくは入力画像信号を可変長符号化ぜず画素のビット列そのままである符号列が記述されている。

このとき、発生する中間符号列の符号量は、Ｒｅｓｉｄｕａｌモードについては全ての情報が可変長符号化される。そのため、可変長符号化の条件によって符号長が変わるため一意に特定できない。しかし、ＰＣＭモードについてはｐｃｍ＿ｄａｔａ（）は可変長符号化されないためＣＵのサイズによって一意に特定できる。例えば、画像のフォーマットが各画素８ビットのＹＵＶ４：２：０であり、符号化対象ＣＵのサイズが３２×３２画素であった場合、入力画像信号もしくは再構成画像信号の画素値をそのまま符号列として記述する際に必要となる符号量は１５３６バイトとなる。ｐｃｍ＿ｄａｔａ（）以外は可変長符号化されるため符号長を一意に特定することはできないが、可変長符号化を用いて符号化する情報の個数は限られており、発生しうる最大の符号量はそれほど大きくはない。つまり、ｐｃｍ＿ｄａｔａ（）の符号量に、ｐｃｍ＿ｄａｔａ（）以外を可変長符号化したときに発生しうる最大の符号量および余裕量を加えても、ＣＵ全体で１３０００ビットを超過することはない。

つまり、図１０のステップＳ１００２で説明した規定値として、符号化対象ＣＵの再構成画像信号１５５もしくは入力画像信号の画素値をそのまま符号列として記述する際に必要となる符号量と、ヘッダ情報を可変長符号化したときに発生しうる最大の符号量と、余裕量とを加算した値（前述の例では１３０００ビット）とすることで、生成される中間符号量が常に前記規定値を超過しないことが保証される。

なお、図１１で説明したシンタックス、および前記規定値の説明に使用した数値は、本実施の形態を説明するための一例であり、ここに記載されているものと異なるシンタックス、および数値を用いて同様の機能を実現してもよい。

ここで、図１２を用いて本実施の形態に係る動画像符号化装置１００−１のパイプラインの例を示す。

図１２（ａ）は図１０のステップＳ１００２の判定の結果、Ｒｅｓｉｄｕａｌモードで中間符号列を生成した場合のパイプラインの制御である。図３（ａ）で説明した従来の制御と全く同様の流れで処理が行われている。

一方、図１２（ｂ）は図１０のステップＳ１００２の判定の結果、ＰＣＭモードで再構成画像信号１５５を用いて中間符号列を生成した場合のパイプラインの制御である。図３（ｂ）で説明した従来の制御と異なり、２値化符号化処理の時点でＰＣＭモードが確定できる。そのため、パイプライン処理と算術符号化処理のタイミングのずれを考慮する必要がない。さらに、ブロック１がＰＣＭモードに切り替わっても、ヘッダ符号列に記述されている予測情報や最終的に生成される再構成画像の画素情報は変更されない。そのため、それらを参照しながら符号化処理が進行しているブロック２の処理には全く影響を与えない。よって、パイプラインを遡ることなくそのままＰＣＭモードで中間符号列を生成することが可能となる。

なお、図１０のステップＳ１００５において、再構成画像信号１５５の代わりに入力画像信号を用いて処理した場合、ブロック１がＰＣＭモードに切り替わったときに、ヘッダ符号列に記述されている予測情報は変更されない。しかし、最終的に生成される画素情報が再構成画像ではなく入力画像に変更される。そのため、ブロック１の画素情報を参照しながら既に進行しているブロック２の符号化処理について、画素情報を置き換えて処理をやり直さなくてはならない。結果、ブロック１の画面間／内予測の処理まで遡る必要がある。しかし、実施の形態１において図８（ｂ）を用いて説明したパイプラインよりも遡る処理の量が少なくなり、さらに処理速度の遅延を抑制することが可能となる。

このように、本実施の形態に係る動画像符号化装置１００−１は、パイプライン構造を用いて算術符号化による符号化方法を実現した場合でも、パイプラインを遡ることなくＰＣＭモードに切替えて符号化を行うことができる。そのため、処理速度の遅延もしくは処理量を増加させることなく、発生符号量を制限値以下に納めることが可能となる。

（まとめ）
また本発明における動画像符号化装置は、入力される符号化対象画像をブロック単位で符号化する動画像符号化装置であって、前記符号化対象画像に対応する予測画像を生成する予測符号化部１０５と、前記符号化対象画像と前記生成された予測画像との差分画像を生成する減算器と、前記減算器の出力に対して直交変換処理および量子化処理を行い、残差係数を生成する予測残差符号化部１０２と、前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成する予測残差復号化部１０３と、前記予測符号化部１０５で生成された予測画像と前記予測残差復号化部１０３で生成された残差復号化画像とを加算することで再構成画像を生成する加算演算部１１２と、第１モードにおいて、前記予測残差符号化部１０２で生成された残差係数を可変長符号化して係数符号列を生成し、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ符号列を生成し、前記係数符号列および、前記ヘッダ符号列から構成される中間符号列を出力する一方、第２モードにおいて、前期残差係数の代わりに前記符号化対象画像の信号処理過程において得られる中間画像信号を可変長符号化せずにそのまま係数符号列とし、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ符号列を生成し、前記係数符号列および前記ヘッダ符号列から構成される中間符号列を出力する２値化符号化部１０７−１と、前記第１モードにおいて出力された中間符号列に対して算術符号化し、出力符号列を生成する一方、前記第２モードにおいて出力された中間符号列のうち前記ヘッダ符号列に対してのみ算術符号化し、算術符号化後のヘッダ符号列と前記係数符号列から構成される出力符号列を生成する算術符号化部１１０−１と、を備え、前記２値化符号化部１０７−１は、予め定義された特定の符号量以下である中間符号列を出力する。

また好ましくは、前記予め定義された特定の符号量は、前記中間画像信号の画素値をそのまま符号列として記述する際に必要となる符号量と、前記ヘッダ符号列に記述される可能性のある全ての情報を符号化する際に必要となる最大の符号量と、余裕量とを合わせた符号量である。

また好ましくは、前記２値化符号化部１０７−１は、出力する中間符号列の符号量が、前記予め定義された特定の符号量を超過する可能性がある場合、前記第２モードを用いて中間符号列を出力する。

また好ましくは、前記２値化符号化部１０７−１は、前記第１モードで中間符号列を出力した結果、当該中間符号列の符号量が前記予め定義された特定の符号量を超過した場合、当該第１モードで生成した中間符号列に代えて、前記第２モードを用いて生成した中間符号列を出力する。

（実施の形態３）
以下、本発明の実施の形態３について、図面を参照しながら説明する。

図２は、本発明の実施の形態に係る動画像復号化装置２００のブロック図である。動画像復号化装置２００は、実施の形態１または実施の形態２で説明した動画像符号化装置によって生成された符号列に対し、コーディングユニット（ＣＵ）と呼ばれるブロック単位で復号化処理し、出力画像を生成する。

この動画像復号化装置２００は、算術復号化部２０１と、２値化復号化部２０２と、ヘッダ符号列解析部２０３と、係数符号列解析部２０４と、予測残差復化部２０５と、ピクチャメモリ２０６と、予測復号化部２０７と、量子化値決定部２０８とを備えている。

算術復号化部２０１は、入力されたブロック単位の符号列信号２５１に対して算術復号化を行い、生成された中間符号列２５２を２値化復号化部２０２へ出力する。

２値化復号化部２０２は、ヘッダ符号列解析部２０３と係数符号列解析部２０４とを含み、入力された中間符号列２５２に対して各々の処理を適用することで符号列の解析を行う。

ヘッダ符号列解析部２０３は、入力された中間符号列信号２５２のヘッダ中間符号列に対して可変長復号化を施すことによりヘッダ情報の解析を行う。そして、ヘッダ符号列解析部２０３は、解析して得られる予測情報信号２５７を予測復号化部２０７へ出力する。さらに、ヘッダ符号列解析部２０３は、解析して得られる量子化値情報を量子化値決定部２０８へ出力する。

係数符号列解析部２０４は、ヘッダ符号列解析部２０３によって解析されたヘッダ中間符号列に続いて符号化されている係数中間符号列に対して可変長復号化を施すことにより残差符号化信号２５３を取得する。そして、係数符号列解析部２０４は、当該残差符号化信号２５３を予測残差復号化部２０５へ出力する第１モードを有する。さらに、係数符号列解析部２０４は、ヘッダ符号列解析部２０３によって解析されたヘッダ中間符号列に続いて符号化されている係数中間符号列に対して可変長復号化せずに再構成画像信号を取得し、当該再構成画像信号を加算演算部２０９の出力である再構成画像信号２５５に置き換える第２モードを有する。このとき第２モードを用いて処理した場合は、以降で説明する予測残差復号化部２０５による残差復号化信号２５４の生成処理、および予測復号化部２０７による予測画像信号２５５の生成処理は行なわなくても構わない。

予測残差復号化部２０５は、係数符号列解析部２０４から入力された残差符号化信号２５３に対して、逆量子化および逆直交変換することで残差復号化信号２５４を生成する。そして、生成した残差復号化信号２５４を加算演算部２０９に出力する。このとき予測残差復号化部２０５は、量子化値決定部２０８において決定された量子化値信号２５８を用いて残差符号化信号２５３を逆量子化する。

予測復号化部２０７は、ヘッダ符号列解析部２０３から出力された予測情報信号２５７を基に、画面内予測、または画面間予測を用いて予測画像信号２５５を生成し加算演算部２０９に出力する。なお、予測復号化部２０７は、画面間予測を用いる際は、ピクチャメモリ２０６に蓄積される既に復号化済みの過去のピクチャの再構成画像信号２５６を用いる。また、画面内予測を用いる際は、復号化対象ＣＵに隣接する既に復号化済みのＣＵの現在のピクチャの再構成画像信号２５６を用いる。画面内予測を用いるか画面間予測を用いるかの判定については、入力される予測情報信号２５７に従って行われる。

ピクチャメモリ２０６は、加算演算部２０９または係数符号列解析部２０４から順に入力される再構成画像信号２５６をピクチャ単位で蓄積し、ピクチャ単位で出力する順番に並び替えて出力画像信号２５９として表示装置に出力する。

加算演算部２０９では、予測残差復号化部２０５から出力される残差復号化信号２５４と、予測復号化部２０７から出力される予測画像信号２５５とを加算することによって再構成画像信号２５６を生成し、ピクチャメモリ２０６に出力する。

ここで、算術復号化部２０１および２値化復号化部２０２において符号列信号２５１の解析を行う方法について、図１３および図１４のフローチャートを用いて具体的に説明する。

図１３は本発明の実施の形態１に係わる動画像符号化装置１００によって生成された符号列信号に対して解析を行うときのフローチャートである。

まず、算術復号化部２０１は、入力された符号列の先頭に記述されているＰＣＭモード情報の解析を行う（Ｓ１３０１）。つづいて、得られたＰＣＭモード情報に従って、対象のＣＵがＲｅｓｉｄｕａｌモードで符号化されているか、もしくはＰＣＭモードで符号化されているかの判定を行う（Ｓ１３０２）。

ステップＳ１３０２において、Ｒｅｓｉｄｕａｌモードで符号化されていると判断された場合は、入力された符号列に属するヘッダ符号列および係数符号列に対して算術復号化を行い中間符号列を生成する（Ｓ１３０３）。

一方、ステップＳ１３０２において、ＰＣＭモードで符号化されていると判断された場合は、入力された符号列に属する係数符号列に対して算術復号化を行わずに取得したビット列をそのままの符号列として、先に解析されたＰＣＭモード情報の符号列に続けて記述することで中間符号列を生成する（Ｓ１３０６）。

次に、２値化復号化部２０２は、入力された中間符号列がＲｅｓｉｄｕａｌモードによって生成されている場合は、ヘッダ中間符号列に対して可変長復号化を施すことによりヘッダ情報の解析を行い、生成された予測情報信号２５７、量子化値情報、その他の復号化制御情報を図２を用いて説明した各処理ブロックへ出力する（Ｓ１３０４）。

つづいて、係数中間符号列に対して可変長復号化を施すことによって取得した残差符号化信号２５３を予測残差復号化部２０５に出力する（Ｓ１３０５）。

一方、２値化復号化部２０２は、入力された中間符号列がＰＣＭモードによって生成されている場合は、係数中間符号列に対して可変長復号化を施すこととなく取得したビット列をそのまま再構成画像信号として出力し、加算演算部２０９から出力される再構成画像信号２５６に置き換えて以降の処理を行う（Ｓ１３０７）。このとき、当該中間符号列にはＰＣＭモード情報以外のヘッダ情報を含まないためヘッダ中間符号列の解析は必要ない。

なお、実施の形態１で説明した動画像符号化装置１００において、図６のステップＳ６０６で、入力画像信号の代わりに再構成画像信号１５５を用いて符号列を生成した場合においても、当該符号列に対する復号化処理としては全く区別する必要はなく、常にステップＳ１３０７において再構成画像信号として出力し以降の処理を行うことが可能である。

また、実施の形態１では図７を用いて、生成される符号列のＣＵ単位のシンタックスの一例および生成される中間符号列の最大符号量の一例を説明したが、本実施の形態において復号化処理を行う符号列のシンタックスおよび生成される中間符号列の最大符号量も全く同様である。

図１４は本発明の実施の形態２に係わる動画像符号化装置１００−１によって生成された符号列信号に対して解析を行うときのフローチャートである。このフローチャートは図１３を用いて説明したフローチャートとほぼ同様であるが、ステップＳ１３０１、ステップＳ１３０３の代わりに、ステップＳ１４０１、ステップＳ１４０３が用いられ、またステップＳ１４０４が新たに追加されている点のみが異なっている。

まず、算術復号化部２０１は、入力された符号列に属するヘッダ符号列に対して算術復号化を行いヘッダ中間符号列を生成する（Ｓ１４０１）。このときヘッダ符号列に記述されている情報である、対象のＣＵがＲｅｓｉｄｕａｌモードで符号化されているか、もしくはＰＣＭモードで符号化されているかの信号をステップＳ１３０２に送り判定処理に用いる。

ステップＳ１３０２において、Ｒｅｓｉｄｕａｌモードで符号化されていると判断された場合は、入力された符号列に属する係数符号列に対して算術復号化を行う。そして、先に生成されたヘッダ中間符号列に続けて記述することで中間符号列を生成する（Ｓ１４０３）。

一方、ステップＳ１３０２において、ＰＣＭモードで符号化されていると判断された場合は、入力された符号列に属する係数符号列に対して算術復号化を行わずに取得したビット列をそのままの符号列として、先に生成されたヘッダ中間符号列に続けて記述することで中間符号列を生成する（Ｓ１３０６）。

次に、２値化復号化部２０２は、入力された中間符号列がＲｅｓｉｄｕａｌモードによって生成されている場合もＰＣＭモードによって生成される場合も全く同様に、ヘッダ符号列に対して可変長復号化を施すことによりヘッダ情報の解析を行う。そして、生成された予測情報信号２５７、量子化値情報、その他の復号化制御情報を図２を用いて説明した各処理ブロックへ出力する（Ｓ１３０４およびＳ１４０４）。

つづいて、入力された中間符号列がＲｅｓｉｄｕａｌモードによって生成されている場合は、係数中間符号列に対して可変長復号化を施すことによって取得した残差符号化信号２５３を予測残差復号化部２０５に出力する（Ｓ１３０５）。

一方、入力された中間符号列がＰＣＭモードによって生成されている場合は、係数中間符号列に対して可変長復号化を施すことなく取得したビット列をそのまま再構成画像信号として出力する。そして、加算演算部２０９から出力される再構成画像信号２５６に置き換えて以降の処理を行う（Ｓ１３０７）。

なお、実施の形態２で説明した動画像符号化装置１００−１において、図１０のステップＳ１００５で、再構成画像信号１５５の代わりに入力画像信号を用いて符号列を生成した場合においても、当該符号列に対する復号化処理としては全く区別する必要はなく、常にステップＳ１３０７において再構成画像信号として出力し以降の処理を行うことが可能である。

また、実施の形態２では図１１を用いて、生成される符号列のＣＵ単位のシンタックスの一例および生成される中間符号列の最大符号量の一例を説明したが、本実施の形態において復号化処理を行う符号列のシンタックスおよび生成される中間符号列の最大符号量も全く同様である。

このように、本実施の形態による動画像復号化装置２００を用いることにより、これに対応する符号列を生成する動画像符号化装置は、実施の形態１で説明したような構成をとることが可能となり、図８（ｂ）のように、２値化符号化処理の時点でＰＣＭモードが確定できる。そのため、パイプライン処理と算術符号化処理のタイミングのずれを考慮する必要がなく、常にパイプラインを遡る処理の量を一定にすることが可能となる。よって、ＰＣＭモード発生時の処理制御を単純化することができる。さらに、生成される符号列は中間符号列の発生符号量が特定の符号量以下になることが保証されている。そのため、図５を用いて説明した復号化におけるパイプラインにおいて、常に図５（ａ）のように符号列解析処理の処理時間を規定値内に納めることが可能となり、復号化処理の遅延の発生を回避することが可能となる。

また同様に、本実施の形態による動画像復号化装置２００を用いることにより、これに対応する符号列を生成する動画像符号化装置は、実施の形態２で説明したような構成をとることが可能となり、図１２（ｂ）のように、２値化符号化処理の時点でＰＣＭモードが確定できる。そのため、パイプライン処理と算術符号化処理のタイミングのずれを考慮する必要がなく、また、ヘッダ符号列に記述されている予測情報や最終的に生成される再構成画像の画素情報は変更されない。よって、パイプラインを遡ることなくＰＣＭモード発生時の処理制御を行うことができる。さらに、生成される符号列は中間符号列の発生符号量が特定の符号量以下になることが保証されている。そのため、図５を用いて説明した復号化におけるパイプラインにおいて、常に図５（ａ）のように符号列解析処理の処理時間を規定値内に納めることが可能となり、復号化処理の遅延の発生を回避することが可能となる。

（その他の実施形態）
さらに、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

また、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

また、本発明は、上述した動画像符号化装置および動画像復号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。

また、上記実施の形態に係る、動画像符号化装置および動画像復号化装置、またはその変形例の機能のうち少なくとも一部を組み合わせてもよい。

本発明は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、及びパーソナルコンピューター等における、入力画像を構成する各ピクチャを符号化して動画像符号化データとして出力する動画像符号化装置や、前記動画像符号化データを復号化して復号化画像を生成する動画像復号化装置として有用である。

１００ 動画像符号化装置
１０１ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 予測残差復号化部
１０４ ローカルバッファ
１０５ 予測符号化部
１０６ 量子化値決定部
１０７ ２値化符号化部
１０８ ヘッダ符号列生成部
１０９ 係数符号列生成部
１１０ 算術符号化部
１１１ 差分演算部
１１２ 加算演算部
１５１ 入力画像信号
１５２ 差分画像信号
１５３ 残差符号化信号
１５４ 残差復号化信号
１５５ 再構成画像信号
１５６ 予測画像信号
１５７ 予測情報信号
１５８ 量子化値信号
１５９ 中間符号列信号
１６０ 符号列信号
２００ 動画像復号化装置
２０１ 算術復号化部
２０２ ２値化復号化部
２０３ ヘッダ符号列解析部
２０４ 係数符号列解析部
２０５ 予測残差復号化部
２０６ ピクチャメモリ
２０７ 予測復号化部
２０８ 量子化値決定部
２０９ 加算演算部
２５１ 符号列信号
２５２ 中間符号列信号
２５３ 残差符号化信号
２５４ 残差復号化信号
２５５ 予測画像信号
２５６ 再構成画像信号
２５７ 予測情報信号
２５８ 量子化値信号
２５９ 出力画像信号

Claims (7)

1. 入力される符号化対象画像をブロック単位で符号化する動画像符号化装置であって、
   前記符号化対象画像に対応する予測画像を生成する予測画像生成部と、
   前記符号化対象画像と前記生成された予測画像との差分画像を生成する減算器と、
   前記減算器の出力に対して直交変換処理および量子化処理を行い、残差係数を生成する予測残差符号化部と、
   前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成する予測残差復号化部と、
   前記予測画像生成部で生成された予測画像と前記予測残差復号化部で生成された残差復号化画像とを加算することで再構成画像を生成する加算器と、
   第１モードにおいて、前記予測残差符号化部で生成された残差係数を可変長符号化して係数符号列を生成し、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ符号列を生成し、前記係数符号列および、前記ヘッダ符号列から構成される中間符号列を出力する一方、第２モードにおいて、前期残差係数の代わりに前記符号化対象画像の信号処理過程において得られる中間画像信号を可変長符号化せずにそのまま係数符号列とし、当該係数符号列および当該係数符号列が中間画像信号であることを示す識別子を少なくとも含むヘッダ符号列から構成される中間符号列を出力する２値化符号化部と、
   前記第１モードにおいて出力された中間符号列に対して算術符号化し、出力符号列を生成する一方、前記第２モードにおいて出力された中間符号列のうち前記ヘッダ符号列に対してのみ算術符号化し、算術符号化後のヘッダ符号列と前記係数符号列から構成される出力符号列を生成する算術符号化部と、を備え、
   前記２値化符号化部は、予め定義された特定の符号量以下である中間符号列を出力する動画像符号化装置。
2. 入力される符号化対象画像をブロック単位で符号化する動画像符号化装置であって、
   前記符号化対象画像に対応する予測画像を生成する予測画像生成部と、
   前記符号化対象画像と前記生成された予測画像との差分画像を生成する減算器と、
   前記減算器の出力に対して直交変換処理および量子化処理を行い、残差係数を生成する予測残差符号化部と、
   前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成する予測残差復号化部と、
   前記予測画像生成部で生成された予測画像と前記予測残差復号化部で生成された残差復号化画像とを加算することで再構成画像を生成する加算器と、
   第１モードにおいて、前記予測残差符号化部で生成された残差係数を可変長符号化して係数符号列を生成し、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ符号列を生成し、前記係数符号列および、前記ヘッダ符号列から構成される中間符号列を出力する一方、第２モードにおいて、前期残差係数の代わりに前記符号化対象画像の信号処理過程において得られる中間画像信号を可変長符号化せずにそのまま係数符号列とし、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ符号列を生成し、前記係数符号列および前記ヘッダ符号列から構成される中間符号列を出力する２値化符号化部と、
   前記第１モードにおいて出力された中間符号列に対して算術符号化し、出力符号列を生成する一方、前記第２モードにおいて出力された中間符号列のうち前記ヘッダ符号列に対してのみ算術符号化し、算術符号化後のヘッダ符号列と前記係数符号列から構成される出力符号列を生成する算術符号化部と、を備え、
   前記２値化符号化部は、予め定義された特定の符号量以下である中間符号列を出力する動画像符号化装置。
3. 前記予め定義された特定の符号量は、前記中間画像信号の画素値をそのまま符号列として記述する際に必要となる符号量と、前記ヘッダ符号列に記述される可能性のある全ての情報を符号化する際に必要となる最大の符号量と、余裕量とを合わせた符号量である請求項１または請求項２に記載の動画像符号化装置。
4. 前記２値化符号化部は、出力する中間符号列の符号量が、前記予め定義された特定の符号量を超過する可能性がある場合、前記第２モードを用いて中間符号列を出力する請求項１または請求項２に記載の動画像符号化装置。
5. 前記２値化符号化部は、前記第１モードで中間符号列を出力した結果、当該中間符号列の符号量が前記予め定義された特定の符号量を超過した場合、当該第１モードで生成した中間符号列に代えて、前記第２モードを用いて生成した中間符号列を出力する請求項１または請求項２に記載の動画像符号化装置。
6. 入力される符号化対象画像をブロック単位で符号化する動画像符号化方法であって、
   前記符号化対象画像に対応する予測画像を生成し、
   前記符号化対象画像と前記生成された予測画像との差分画像を生成し、
   前記差分画像に対して直交変換処理および量子化処理を行い、残差係数を生成し、
   前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成し、
   前記生成された予測画像と前記生成された残差復号化画像とを加算することで再構成画像を生成し、
   第１モードにおいて、前記生成された残差係数を可変長符号化して係数符号列を生成し、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ符号列を生成し、前記係数符号列および、前記ヘッダ符号列から構成される中間符号列を出力する一方、第２モードにおいて、前期残差係数の代わりに前記符号化対象画像の信号処理過程において得られる中間画像信号を可変長符号化せずにそのまま係数符号列とし、当該係数符号列および当該係数符号列が中間画像信号であることを示す識別子を少なくとも含むヘッダ符号列から構成される中間符号列を出力し、
   前記第１モードにおいて出力された中間符号列に対して算術符号化し、出力符号列を生成する一方、前記第２モードにおいて出力された中間符号列のうち前記ヘッダ符号列に対してのみ算術符号化し、算術符号化後のヘッダ符号列と前記係数符号列から構成される出力符号列を生成し、を備え、
   前記中間符号列を出力する際、予め定義された特定の符号量以下である中間符号列を出力する動画像符号化方法。
7. 入力される符号化対象画像をブロック単位で符号化する動画像符号化装置であって、
   前記符号化対象画像に対応する予測画像を生成し、
   前記符号化対象画像と前記生成された予測画像との差分画像を生成し、
   前記差分画像に対して直交変換処理および量子化処理を行い、残差係数を生成し、
   前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成し、
   前記生成された予測画像と前記生成された残差復号化画像とを加算することで再構成画像を生成し、
   第１モードにおいて、前記生成された残差係数を可変長符号化して係数符号列を生成し、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ符号列を生成し、前記係数符号列および、前記ヘッダ符号列から構成される中間符号列を出力する一方、第２モードにおいて、前期残差係数の代わりに前記符号化対象画像の信号処理過程において得られる中間画像信号を可変長符号化せずにそのまま係数符号列とし、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ符号列を生成し、前記係数符号列および前記ヘッダ符号列から構成される中間符号列を出力し、
   前記第１モードにおいて出力された中間符号列に対して算術符号化し、出力符号列を生成する一方、前記第２モードにおいて出力された中間符号列のうち前記ヘッダ符号列に対してのみ算術符号化し、算術符号化後のヘッダ符号列と前記係数符号列から構成される出力符号列を生成し、
   前記中間符号列を出力する際、予め定義された特定の符号量以下である中間符号列を出力する動画像符号化方法。