JP2012191397A - 動画像復号化装置および動画像復号化方法 - Google Patents

Abstract

【課題】パイプライン構造を持つ動画像符号化装置において、パイプラインを遡ることなくブロック単位の発生符号量を特定の最大値以下に納めることを可能とする。
【解決手段】本発明に係る動画像復号化装置２００における前記係数符号列解析部２０２は、前記識別子に基づいて前記係数符号列は前記再構成画像の情報ではないと判断する場合、前記係数符号列を可変長復号化して得られる残差係数を前記予測残差復号化部２０３に出力する第１モードと、前記識別子に基づいて当該係数符号列は前記再構成画像の情報であると判断する場合、加算演算部２０７の出力に代えて、当該係数符号列を再構成画像として出力する第２モードとを有する。
【選択図】図１

Description

本発明は、入力された動画像をブロックに分割して符号化する画像符号化装置および画像符号化方法に関するものである。

近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積及び伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−３、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。また、現在は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣと呼ばれる次世代画面符号化方式の標準化活動が進んでいる。

このような動画像の符号化では、符号化対象の各ピクチャを符号化単位ブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。また空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報をから予測画像の生成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。さらに得られた差分画像に対して離散コサイン変換等の直交変換および量子化を行い、可変長符号化を用いて符号列を生成することで情報量が圧縮される。

また復号化では、前記符号化処理によって生成された符号列を解析して予測情報および残差係数情報を取得し、予測情報を用いて画面間予測復号化および画面内予測復号化を行って予測画像を生成し、残差係数情報に対して逆量子化および逆直交変換を行って差分画像を生成し、得られた予測画像と差分画像を加算することで最終的な出力画像を復元する。

Ｈ．２６４（非特許文献１）では、ブロック単位の処理量の上限を制約するために、ブロック単位の発生符号量の最大値が定義されている（具体的には３２００ビット）。前述の通常の符号化処理を行うと、入力画像の性質や量子化処理の条件によって前記発生符号量の最大値を超過した符号列を生成してしまう可能性があるため、ＩＰＣＭと呼ばれる特別な符号化モードを使用することによって常に最大値内に納めることを可能としている。

ＩＰＣＭは通常の符号化モードとは異なり、画面内・画面間予測による差分画像の生成や直交変換・量子化を行うことなく、入力画像の画素値をそのままのビット列として符号列に記述するモードである。このモードを使用すると、例えば入力画像のフォーマットが各画素８ビットのＹＵＶ４：２：０であった場合、輝度成分のブロックが１６×１６画素、２つの色差成分のブロックがそれぞれ８×８画素であるため、合計で３８４バイトとなり、ヘッダに必要な情報を含めても前記最大値の３２００ビット以下に必ず納めることが可能となる。

ITU-T H.264 : Advanced video coding for generic audiovisual services (03/2010)

多くの動画像符号化・復号化装置はＬＳＩと呼ばれる集積回路によって符号化・復号化処理を実現している。このような符号化・復号化装置では処理高速化のためにパイプラインと呼ばれる並列動作を可能とする構成を取っている。具体的には１つのブロックの処理が完了する前に次のブロックの処理を開始することで同時に処理が進行する。

図３（ａ）に符号化におけるパイプラインの例を示す。ブロック１に対して、画素読込み、モード判定、画面間／内予測、変換／量子化、可変長符号化、の各処理が順に適用され、ブロック２に対しても同様の処理が適用されている。このとき、ブロック２はブロック１の画素読込みが完了した時点で直ぐに処理を開始することで、処理タイミングを１ステップずつ遅らせながら並行して処理を行う。Ｈ．２６４やＨＥＶＣの符号化・復号化処理では過去に符号化・復号化したブロックの情報を参照しながら処理が行われるため、図にあるようにブロック1で確定した予測情報、画素情報、符号化情報等をブロック２が参照しながら処理を行う必要がある。

しかし、前述のブロック単位の発生符号量が最大値以下に納められているかどうかは、可変長符号化が完了した時点での符号量を調べないと判断できないため、もし最大値を超過すると判定された場合はその時点でＩＰＣＭに切替えて符号列を生成し直さなくてはならない。

図３（ｂ）にＩＰＣＭへの切替えが発生した場合のパイプラインの例を示す。ブロック１の可変長符号化処理においてＩＰＣＭへ切替えることが確定しているが、既にブロック２はブロック1が通常の符号化を行った場合の予測情報、画素情報等を参照しながら符号化処理が進行してしまっているため、ブロック1のモード判定まで戻って、ブロック1がＩＰＣＭで符号化した前提に置き直して参照する情報を更新してブロック２の処理をやり直さなくてはならない。

このようにパイプラインを遡る制御は非常に複雑な処理制御が必要となり、また対象ピクチャ内でＩＰＣＭが多数発生して遡る回数が増加するとそれだけ処理速度遅延の原因となり、要求時間内に対象ピクチャの符号化処理を完了できなくなってしまう。

本発明は上記課題を解決する符号化装置で生成された符号列を復号化するものであり、パイプライン構造を持つ復号化装置において、パイプラインを遡ることなくブロック単位の発生符号量を特定の最大値以下に納めた符号列を復号化することを可能とする、従来のＩＰＣＭに代わる復号化方法を提供することを目的とする。

本発明における動画像復号化装置は、復号化対象符号列をブロック単位で復号化する動画像復号化装置であって、符号化された残差係数に基づく情報およびそれに対応付けられたヘッダ情報を含む第１の復号化対象符号列または再構成画像信号およびそれに対応付けられたヘッダ情報を含む第２の復号化対象符号列を前記復号化対象符号列として受け付ける受付部と、前記ヘッダ情報は、前記復号化対象符号列を生成した際に利用された予測画像に関する情報である予測情報を含み、前記ヘッダ情報から少なくとも前記予測情報を取得するヘッダ解析部と、前記受付部が受け付けた復号化対象符号列を可変長復号化し残差係数を出力する係数符号列解析部と、前記係数符号列解析部が出力する残差係数に対して、逆量子化および逆直交変換を行い、残差復号化画像を生成する予測残差復号化部と、前記ヘッダ解析部で取得された前記予測情報に基づいて予測画像を生成する予測画像生成部と、前記予測残差復号化部で生成された前記残差復号化画像と前記予測画像生成部で生成された前記予測画像とを加算することにより、再構成画像を生成する加算器と、前記受付部で受け付けた復号化対象符号列が前記第１の復号化対象符号列である場合、前記加算器が生成した再構成画像を出力する一方、前記受付部で受け付けた復号化対象符号列が前記第２の復号化対象符号列である場合、前記第２の復号化対象符号列に含まれる再構成画像信号を可変長復号化せずに、前記再構成画像としてそのまま出力する出力部と、を備える。

また本発明における動画像復号化装置は、復号化対象符号列をブロック単位で復号化する動画像復号化装置であって、符号化された残差係数に基づく情報およびそれに対応付けられたヘッダ情報を含む第１の復号化対象符号列または前記復号化対象符号列を符号化する前の画像信号およびそれに対応付けられたヘッダ情報を含む第２の復号化対象符号列を復号化対象符号列として受け付ける受付部と、前記ヘッダ情報は、前記復号化対象符号列を生成した際に利用された予測画像に関する情報である予測情報を含み、前記ヘッダ情報から少なくとも前記予測情報を取得するヘッダ解析部と、前記受付部が受け付けた復号化対象符号列を可変長復号化し残差係数を出力する係数符号列解析部と、前記係数符号列解析部が出力する残差係数に対して、逆量子化および逆直交変換を行い、残差復号化画像を生成する予測残差復号化部と、前記ヘッダ解析部で取得された前記予測情報に基づいて予測画像を生成する予測画像生成部と、前記予測残差復号化部で生成された前記残差復号化画像と前記予測画像生成部で生成された前記予測画像とを加算することにより、再構成画像を生成する加算器と、前記受付部で受け付けた復号化対象符号列が前記第１の復号化対象符号列である場合、前記加算器が生成した再構成画像を出力する一方、前記受付部で受け付けた復号化対象符号列が前記第２の復号化対象符号列である場合、前記第２の復号化対象符号列に含まれる前記復号化対象符号列を符号化する前の画像信号を可変長復号化せずに、前記再構成画像としてそのまま出力する出力部と、を備える。

また好ましくは、前記復号化対象符号列は、前記再構成画像信号が前記復号化対象符号列に含まれているか否かを示す識別子を含み、前記受付部は、前記識別子が前記復号化対象符号列に前記再構成画像信号が含まれないことを示す場合、前記復号化対象符号列を前記第１の復号化対象符号列として復号化処理を行い、前記識別子が前記復号化対象符号列に前記再構成画像信号が含まれることを示す場合、前記復号化対象符号列を前記第２の復号化対象符号列として復号化処理を行う。

また好ましくは、前記復号化対象符号列は、前記復号化対象符号列を符号化する前の画像信号が前記復号化対象符号列に含まれているか否かを示す識別子を含み、前記受付部は、前記識別子が前記復号化対象符号列を符号化する前の画像信号が含まれないことを示す場合、前記復号化対象符号列を前記第１の復号化対象符号列として復号化処理を行い、前記識別子が前記復号化対象符号列を符号化する前の画像信号が含まれることを示す場合、前記復号化対象符号列を前記第２の復号化対象符号列として復号化処理を行う。

また好ましくは、前記識別子が、前記復号化対象符号列に前記再構成画像信号または前記復号化対象符号列を符号化する前の画像信号が含まれないことを示す場合、前記予測残差復号化部および前記予測復号化部は、それぞれ、前記残差復号化画像および前記予測画像を生成しない。

また好ましくは、前記識別子は、前記第１の復号化対象符号列および前記第２の復号化対象符号列で共通に利用される識別子であり、当該識別子情報のうち１つは、前記再構成画像信号が前記復号化対象符号列に含まれていることを示すものであり、また別の１つは、前記残差係数に基づく情報が前記復号化対象符号列に含まれていることを示し、かつ復号化する残差係数があるかないかを示すものである。

また好ましくは、前記識別子は、前記第１の復号化対象符号列および前記第２の復号化対象符号列で共通に利用される識別子であり、当該識別子情報のうち１つは、前記復号化対象符号列を符号化する前の画像信号が前記復号化対象符号列に含まれていることを示すものであり、また別の１つは、前記残差係数に基づく情報が前記復号化対象符号列に含まれていることを示し、かつ復号化する残差係数があるかないかを示すものである。

なお、本発明は、このような動画像復号化装置として実現することができるだけでなく、このような動画像復号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。

以上より、本発明における動画像符号化装置は、パイプライン構造を用いて符号化方法を実現した場合でも、符号化対象ブロックに後続するブロックが参照する情報は常に通常符号化を行った場合の情報を使用することができるため、パイプラインを遡ることなく符号化処理を継続することが可能となり、処理速度の遅延もしくは処理量を増加させることなく、ブロック単位の発生符号量を特定の最大値以下に納めることが可能となる。

また、本発明における動画像復号化装置は、対応する符号列を生成する動画像符号化装置において、符号化対象ブロックに後続するブロックが参照する情報は常に通常符号化を行った場合の情報を使用することができるため、パイプラインを遡ることなく符号化処理を継続することが可能となり、処理速度の遅延もしくは処理量を増加させることなく、ブロック単位の発生符号量を特定の最大値以下に納めることが可能となる。

本発明の実施の形態１に係る動画像符号化装置を示すブロック図である。 本発明の実施の形態３に係る動画像復号化装置を示すブロック図である。 従来の動画像符号化装置のパイプライン制御を説明するための概念図である。 本発明の実施の形態１に係る符号列生成処理のフローチャートである。 本発明の実施の形態によって生成される符号列のシンタックスの一例を説明するための概念図である。 本発明の実施の形態によって生成される符号列のシンタックスの別の一例を説明するための概念図である。 本発明の実施の形態によって生成される符号列のシンタックスの別の一例を説明するための概念図である。 本発明の実施の形態１に係る動画像符号化装置のパイプライン制御を説明するための概念図である。 本発明の実施の形態２に係る動画像符号化装置を示すブロック図である。 本発明の実施の形態２に係る符号列生成処理のフローチャートである。 本発明の実施の形態２に係る動画像符号化装置のパイプライン制御を説明するための概念図である。 本発明の実施の形態３に係る符号列解析処理のフローチャートである。

（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。

図１は、本発明の実施の形態に係る動画像符号化装置１００のブロック図である。動画像符号化装置１００は、ピクチャ単位で入力された動画像をブロックに分割し、ブロック単位で符号化処理を行い符号列を生成する。

この動画像符号化装置１００は、ピクチャメモリ１０１と、予測残差符号化部１０２と、予測残差復号化部１０３と、ローカルバッファ１０４と、予測符号化部１０５と、量子化値決定部１０６と、ヘッダ符号列生成部１０７と、係数符号列生成部１０８とを備えている。

ピクチャメモリ１０１は、表示を行う順にピクチャ単位で入力される入力画像信号１５１を、符号化を行う順にピクチャの並び替えを行って蓄積する。次に、ピクチャメモリ１０１は、差分演算部１０９または予測符号化部１０５からの読出し命令を受け付けると当該読出し命令に係る画像信号をそれぞれ出力する。このとき、各々のピクチャはコーディングユニット（ＣＵ）と呼ばれる複数の画素から構成される符号化単位に分割される。このＣＵは、例えば水平６４×垂直６４画素のブロック、水平３２×垂直３２画素のブロック、水平１６×垂直１６画素のブロックから成る。なお、本実施形態における動画像符号化装置１００では、ＣＵ単位で以降の処理が行われる。

予測残差符号化部１０２は、差分演算部１０９から出力される差分画像信号１５２に対して直交変換を行う。さらに得られた各周波数成分の直交変換係数に対し量子化を行うことで画像情報の圧縮を行い、残差符号化信号１５３を生成する。予測残差符号化部１０２は、生成した残差符号化信号１５３を予測残差復号化部１０３および係数符号列生成部１０８に出力する。なお、予測残差符号化部１０２は、量子化値決定部１０６において決定された量子化値信号１５８を用いて、直交変換係数を量子化する。

予測残差復号化部１０３は、予測残差符号化部１０２から出力される残差符号化信号１５３に対して、逆量子化および逆直交変換することで差分画像情報の復元を行う。そして、生成した残差復号化信号１５４を加算演算部１１０に出力する。

ローカルバッファ１０４は、加算演算部１１０から出力される再構成画像信号１５５を格納する。この再構成画像信号１５５は、現在符号化対象となっているピクチャ以降のピクチャの符号化における予測符号化処理に用いられる。つまり、再構成画像信号１５５は、現状符号化対象となっているピクチャ以降のピクチャを符号化する際、画素データとして参照される。ローカルバッファ１０４は、予測符号化部１０５からの読出し命令に応じて、格納する再構成画像信号１５５を画素データとして予測符号化部１０５出力する。

予測符号化部１０５は、ピクチャメモリ１０１から出力される画像信号を基に、画面内予測、または画面間予測を用いて予測画像信号１５６を生成する。そして、予測符号化部１０５は、生成した予測画像信号１５６を差分演算部１０９および加算演算部１１０に出力する。なお、予測符号化部１０５は、画面間予測を用いる際は、ローカルバッファ１０４に蓄積される既に符号化済みの過去のピクチャの再構成画像信号１５５を用いる。また予測符号化部１０５は、画面内予測を用いる際は、符号化対象ＣＵに隣接する既に符号化済みのＣＵの現在のピクチャの再構成画像信号１５５を用いる。画面内予測を用いるか画面間予測を用いるかのモード判定方法については、どちらの予測方法がより残差信号の情報量を少なくすることができるかを予測して行われる。

量子化値決定部１０６は、ピクチャメモリ１０１に格納されるピクチャに基づいて、予測残差符号化部１０２において差分画像信号１５２を量子化する際の量子化値を設定する。量子化値決定部１０６は、設定した量子化値を予測残差符号化部１０２およびヘッダ符号列生成部１０７に出力する。なお、量子化値決定１０６における量子化値の設定方法は、符号列信号１５９のビットレートが目標とするするビットレートに近づくように量子化値を設定する、いわゆるレート制御に基づく量子化値の設定方法を利用しても構わない。

ヘッダ符号列生成部１０７は、予測符号化部１０５が出力する予測情報信号１５７と、量子化値決定部１０６が出力する量子化値信号１５８と、その他の符号化制御に関する制御情報を可変長符号化することで符号列を生成する。なお、予測情報には、例えば画面内予測モード、画面間予測モード、動きベクトル、参照ピクチャを示す情報等が含まれる。また、制御情報は係数符号列生成部１０８における処理前までに取得可能な情報であって、ＣＵの符号化時に適用した符号化条件を示す情報である。例えばブロック符号化タイプ、ブロック分割情報等が含まれる。

係数符号列生成部１０８は、予測残差符号化部１０２が出力する残差符号化信号１５３を可変長符号化して得られる符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９を生成する第１モードを有する。さらに、係数符号列生成部１０８は、加算演算部１１０から出力される再構成画像信号１５５を可変長符号化せずに得られる符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９を生成する第２モードを有する。

差分演算部１０９は、ピクチャメモリ１０１から読み出された画像信号と、予測符号化部１０５の出力である予測画像信号１５６との差分値である差分画像信号１５２を生成し、予測残差符号化部１０２に出力する。

加算演算部１１０は、予測残差復号化部１０３から出力される残差復号化信号１５４と、予測符号化部１０５から出力される予測画像信号１５６とを加算することにより再構成画像信号１５５を生成し、ローカルバッファ１０４に出力する。

ここで、ヘッダ符号列生成部１０７および係数符号列生成部１０８において符号列信号を生成する方法について、図４のフローチャートを用いて具体的に説明する。

まず、ヘッダ符号列生成部１０７は、前述の通常の符号化処理を行った結果生成された予測情報信号１５７、量子化値信号１５８、その他の符号化制御情報を入力として可変長符号化を行うことによってヘッダ情報の符号列を生成する（Ｓ４０１）。

次に、係数符号列生成部１０８は、ステップＳ４０２において、入力された残差符号化信号１５３を用いて、符号化対象ＣＵの発生符号量が規定値を超過する可能性があるかどうかを判定する。

ステップＳ４０２において、超過する可能性がないと判断された場合は、Ｒｅｓｉｄｕａｌモードとして係数が符号化されていることを示す識別子を符号化する（Ｓ４０３）。つづいて、従来の符号化と同様に入力された残差符号化信号１５３を可変長符号化する（Ｒｅｓｉｄｕａｌモード）ことで符号列を生成する（Ｓ４０４）。

一方、ステップＳ４０２において、超過する可能性があると判断された場合は、ＰＣＭモードとして係数が符号化されていることを示す識別子を符号化する（Ｓ４０５）。つづいて、入力された再構成画像信号１５５を可変長符号化せずに画素のビットをそのまま符号列に追加する（ＰＣＭモード）ことで符号列を生成する（Ｓ４０６）。

なお、ここではステップＳ４０２において、入力された残差符号化信号１５３を用いて符号化対象ＣＵの発生符号量が規定値を超過する可能性があるかどうかを判定しているが、それ以外の方法を用いて発生符号量が規定値を超過する可能性があるかどうかを判定してもよい。例えば、符号列信号１５９に基づいて符号量が既定値を超過しているか判定する方法がある。この場合、判定を行った時点で既に係数符号列生成部１０８から符号列が出力されているので、当該符号列において、残差符号化信号１５３を可変長符号化して得られ符号列に代えて、入力された再構成画像信号１５５が示す画素ビットの情報にそのまま置き換えることで処理がなされる。

また、ＣＵ単位で判定を行う代わりに、複数のＣＵ単位、もしくは別のブロック単位で判定を行ってもよい。

図５は本実施の形態によって生成される符号列のＣＵ単位のシンタックス：ｃｏｄｉｎｇ＿ｕｎｉｔ（）の一例を示した図である。

シンタックスの先頭には、ヘッダ符号列生成部１０７によって生成された、予測モード：ｐｒｅｄ＿ｍｏｄｅ、予測情報：ｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔ（）、量子化値：ｑｐ＿ｖａｌｕｅ等の情報が符号化されている。

つづいて、図４で説明した識別子であるｐｃｍ＿ｆｌａｇが符号化されている。この識別子が０のときはＲｅｓｉｄｕａｌモードによって係数符号列がＲｅｓｉｄｕａｌ＿ｄａｔａ（）で記述されていることを示す。また、識別子が１のときはＰＣＭモードによって係数符号列がｐｃｍ＿ｄａｔａ（）で記述されていることを示す。

図６は本実施の形態によって生成される符号列のＣＵ単位のシンタックス：ｃｏｄｉｎｇ＿ｕｎｉｔ（）の別の一例を示した図である。図５で説明したシンタックスと異なるのは識別子としてｐｃｍ＿ｆｌａｇの代わりにｃｂｐ＿ｙｕｖ＿ｒｏｏｔを用いている点のみである。

この識別子は、従来の符号化において輝度成分および色差成分毎に残差符号化信号があるかないかを示すために用いられていたものであり、０から７までに関しては従来通りの情報を持ち、Ｒｅｓｉｄｕａｌモードによって係数符号列がＲｅｓｉｄｕａｌ＿ｄａｔａ（）で記述されていることを示し、８のときはＰＣＭモードによって係数符号列がｐｃｍ＿ｄａｔａ（）で記述されていることを示す。つまり、従来利用されてきた０から７までの情報に８番目の情報を拡張する。

これによって、識別子として従来から存在する信号を共有して使用することが可能となり、新たな識別子の追加による符号量の増加を抑制することが可能となる。

図７は本実施の形態によって生成される符号列のＣＵ単位のシンタックス：ｃｏｄｉｎｇ＿ｕｎｉｔ（）のさらに別の一例を示した図である。図５で説明したシンタックスと異なるのは識別子としてｐｃｍ＿ｆｌａｇの代わりにｒｅｓｉｄｕａｌ＿ｄａｔａ＿ｆｌａｇを用いている点のみである。

この識別子は、従来の別の符号化において対象ブロックに残差符号化信号があるかないかを示すために用いられていたものである。つまり、この識別子が０のときは従来通り係数情報がないことを示す。また、識別子が１のときは従来通り係数情報があるためＲｅｓｉｄｕａｌモードによって係数符号列がＲｅｓｉｄｕａｌ＿ｄａｔａ（）で記述されていることを示す。さらに、識別子が２のときはＰＣＭモードによって係数符号列がｐｃｍ＿ｄａｔａ（）で記述されていることを示す。

これによって、識別子として従来から存在する信号を共有して使用することが可能となり、新たな識別子の追加による符号量の増加を抑制することが可能となる。

なお、図５、図６、図７で説明したシンタックスおよび識別子の値については、本実施の形態を説明するための一例であり、ここに記載されている内容と異なるシンタックスや識別子の値を割り当てることによって同様の機能を実現してもよい。

なお、図４のステップＳ４０２における規定値とは、前期再構成画像の画素値をそのまま符号列として記述する際に必要となる符号量と、前記ヘッダ符号列に記述すべき全ての情報を符号化する際に必要となる最大の符号量とを合わせた符号量に余裕量を加えた符号量である。例えば、画像のフォーマットが各画素８ビットのＹＵＶ４：２：０であり、符号化対象ＣＵのサイズが３２×３２画素であった場合、前期再構成画像の画素値をそのまま符号列として記述する際に必要となる符号量は１５３６バイトとなり、これに前記ヘッダ符号列に記述すべき全ての情報を符号化する際に必要となる最大の符号量とを合わせた符号量に余裕量を加えて、前記規定値として１３０００ビット等の値が考えられる。

ここで、図８を用いて本実施の形態による動画像符号化装置のパイプラインの例を示す。

図８（ａ）は図４のステップＳ４０２の判定の結果、Ｒｅｓｉｄｕａｌモードで係数符号列を生成した場合のパイプラインの制御である。図３（ａ）で説明した従来の制御と全く同様の流れで処理が行われている。

一方、図８（ｂ）は図４のステップＳ４０２の判定の結果、ＰＣＭモードで係数符号列を生成した場合のパイプラインの制御である。ブロック１がＰＣＭモードに切り替わっても、ヘッダ符号列に記述されている予測情報や最終的に生成される再構成画像の画素情報は変更されない。そのため、それらを参照しながら符号化処理が進行しているブロック２の処理には全く影響を与えない。よって、パイプラインを遡りことなくそのまま係数符号列のみをＰＣＭモードで符号化することが可能となる。

このように、本実施の形態による動画像符号化装置は、パイプラインを遡ることなくＰＣＭモードに切替えて符号化を行うことができるため、処理速度の遅延もしくは処理量を増加させることなく、ブロック単位の発生符号量を特定の最大値以下に納めることが可能となる。

（まとめ）
本実施形態における動画像符号化装置１００は、ピクチャ単位の入力画像信号１５１をブロック毎に符号化する動画像符号化装置１００であって、符号化対象の画像における既に符号化済み領域および符号化済みの異なる画像である再構成画像信号１５５のうち少なくともいずれか一方に含まれる画素データに基づいて、当該符号化対象の画像に対する予測画像信号１５６を生成する予測符号化部１０５と、前記生成した予測画像信号１５６と前記符号化対象の画像との差分画像信号１５２に対して直交変換および量子化を行い、残差符号化信号１５３を生成する予測残差符号化部１０２と、前記残差符号化信号１５３に対して逆量子化および逆直交変換を行い、残差復号化信号１５４を生成する予測残差符号化部１０３と、前記予測画像信号１５６と前記残差復号化信号１５４とを加算することで前記再構成画像信号１５５を生成する加算演算部１１０と、前記予測画像信号１５６を生成する際に利用した予測情報および、前記符号化対象の画像を可変長符号化する前までに利用した制御情報を可変長符号化してヘッダ符号列を生成するヘッダ符号列生成部１０７と、前記生成した残差符号化信号１５３を可変長符号化して第１係数符号列を生成し、当該第１係数符号列および前記ヘッダ符号列から構成される符号列１５９を出力する第１モードと、前記再構成画像信号１５５を可変長符号化することなく、当該再構成画像信号１５５の情報をそのまま第２係数符号列とし、当該第２係数符号列および前記ヘッダ符号列から構成される符号列１５９を出力する第２モードとを有する係数符号列生成部１０８と、を備える。

ここで、第１係数符号列は、本実施形態における残差符号化信号１５３に該当する。第２係数符号列は、本実施形態における再構成画像信号１５５に該当する。

また好ましくは、前記係数符号列生成部１０８は、前記符号列に対して、前記再構成画像信号１５５をそのまま第２係数符号列としたか否かを示す識別子を対応付けて出力する。

また好ましくは、前記係数符号列生成部１０８は、前記符号列内における位置であって前記符号列を復号化する入力画像信号１５１復号化装置において前記第１係数符号列および前記第２係数符号列を復号化処理する前に処理できる位置に、前記識別子を格納する。

また好ましくは、前記識別子は、前記第１係数符号列および第２係数符号列で共通で使用される識別子であり、当該識別子情報のうち１つは、前記第２係数符号列として符号化したことを示すものであり、また別の１つは、前記第１係数符号列として符号化したことを示し、かつ符号化した残差符号化信号１５３があるかないかを示すものである。

ここで、前記識別子は、本実施形態における図６に示すｃｂｐ＿ｙｕｖ＿ｒｏｏｔ、または図７に示すｒｅｓｉｄｕａｌ＿ｄａｔａ＿ｆｌａｇに該当する。

また好ましくは、前記係数符号列生成部１０８は、出力する符号列の前記ブロック全体における符号量が、特定の大きさを超過する可能性がある場合、前記第２モードを用いて符号列を出力する。

前記係数符号列生成部１０８は、前記第１モードで符号列を出力した結果、当該符号列の前記ブロック全体における符号量が特定の大きさを超過した場合、当該第１モードで生成した符号列に代えて、前記第２モードを用いて生成した符号列を出力する。

（実施の形態２）
次に、本発明の実施の形態２について、図面を参照しながら説明する。

図９は、本発明の実施の形態に係る動画像符号化装置１００−１のブロック図である。動画像符号化装置１００−１は、ピクチャ単位で入力された動画像をブロックに分割し、ブロック単位で符号化処理を行い符号列を生成する。

この動画像符号化装置１００−１は、実施の形態１で図１を用いて説明した動画像符号化装置１００とほぼ同様であるが、係数符号列生成部１０８の代わりに係数符号列生成部１０８−１を備えている点のみが異なっている。

以下、説明の便宜上、本実施形態１と同様の構成についてはその詳細な説明を省略する。さらに、図９では、図１と同様の機能を有するブロックについては同じ番号を付す。

係数符号列生成部１０８−１は、予測残差符号化部１０２が出力する残差符号化信号１５３を可変長符号化して得られる符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９−１を生成する第１モードを有する。さらに、係数符号列生成部１０８−１は、ピクチャメモリ１０１から出力されるブロック単位の入力画像を可変長符号化せずに得られる符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９を生成する第２モードを有する。

図１０は、ヘッダ符号列生成部１０７および係数符号列生成部１０８−１において符号列信号を生成する方法を示すフローチャートである。

実施の形態１で図４を用いて説明したフローチャートとのほぼ同様の処理であるが、ステップＳ４０６の代わりにステップＳ４０６−１の処理が行われる点のみが異なっている。

ステップＳ４０２において、符号化対象ＣＵの発生符号量が規定値を超過する可能性があると判断された場合に、ＰＣＭモードとして係数が符号化されていることを示す識別子を符号化する（Ｓ４０５）。つづいて、入力された入力画像信号を可変長符号化せずに画素のビットをそのまま符号列に追加する（ＰＣＭモード）ことで符号列を生成する（Ｓ４０６−１）。

また、実施の形態１では図５から図７を用いて、生成される符号列のＣＵ単位のシンタックスおよびＳ４０５で符号化する識別子の一例を説明した。本実施の形態におけるシンタックスおよびＳ４０５で符号化する識別子も実施形態１と全く同様である。

なお、図１０のステップＳ４０２における規定値とは、前期入力画像の画素値をそのまま符号列として記述する際に必要となる符号量と、前記ヘッダ符号列に記述すべき全ての情報を符号化する際に必要となる最大の符号量とを合わせた符号量に余裕量を加えた符号量である。例えば、画像のフォーマットが各画素８ビットのＹＵＶ４：２：０であり、符号化対象ＣＵのサイズが３２×３２画素であった場合、前期入力画像の画素値をそのまま符号列として記述する際に必要となる符号量は１５３６バイトとなり、これに前記ヘッダ符号列に記述すべき全ての情報を符号化する際に必要となる最大の符号量とを合わせた符号量に余裕量を加えて、前記規定値として１３０００ビット等の値が考えられる。

ここで、図１１を用いて本実施の形態による動画像符号化装置のパイプラインの例を示す。

図１１（ａ）は図１０のステップＳ４０２の判定の結果、Ｒｅｓｉｄｕａｌモードで係数符号列を生成した場合のパイプラインの制御である。図３（ａ）で説明した従来の制御と全く同様の流れで処理が行われている。

一方、図１１（ｂ）は図１０のステップＳ４０２の判定の結果、ＰＣＭモードで係数符号列を生成した場合のパイプラインの制御である。ブロック１がＰＣＭモードに切り替わった場合、ヘッダ符号列に記述されている予測情報は変更されない。しかし、最終的に生成される画素情報が再構成画像ではなく入力画像に変更される。一方、ブロック１の画素情報を参照するブロック２の符号化処理は進行しているため、画素情報を置き換えて処理をやり直すためにブロック１の画面間／内予測の処理まで遡る必要がある。しかし、図３（ｂ）で説明した従来の制御と比較すると遡る処理の数が少なくなる。

このように、本実施の形態による動画像符号化装置は、パイプラインを遡る処理の量を従来よりも減らすことができるため、処理速度の遅延もしくは処理量の増加を抑制しつつ、ブロック単位の発生符号量を特定の最大値以下に納めることが可能となる
また、本実施の形態では実施の形態1と異なり、符号化処理によって画質が劣化した再構成画像ではなく、劣化前の入力画像をＰＣＭモードで係数符号列として符号化する。そのため、対応する動画像復号化装置において復号化した画像の画質を向上させることが可能となる。

（まとめ）
本実施形態におけるピクチャ単位の入力画像信号１５１をブロックに分割して符号化する動画像符号化装置１００−１であって、符号化対象の画像における既に符号化済み領域および符号化済みの異なる画像ある再構成画像信号１５５のうち少なくともいずれか一方に含まれる画素データに基づいて、当該符号化対象の画像に対する予測画像信号１５６を生成する予測符号化部１０５と、前記生成した予測画像信号１５６と前記符号化対象の画像との差分画像信号１５２に対して直交変換および量子化を行い、残差符号化信号１５３を生成する予測残差符号化部１０２と、前記残差符号化信号１５３に対して逆量子化および逆直交変換を行い、残差復号化信号１５４を生成する予測残差符号化部１０３と、前記予測画像信号１５６と前記残差復号化信号１５４とを加算することで前記再構成画像信号１５５を生成する加算演算部１１０と、前記予測画像信号１５６を生成する際に利用した予測情報および、前記符号化対象の画像を可変長符号化する前までに利用した制御情報を可変長符号化してヘッダ符号列を生成するヘッダ符号列生成部１０７と、前記生成した残差符号化信号１５３を可変長符号化して第１係数符号列を生成し、当該第１係数符号列および前記ヘッダ符号列から構成される符号列１５９を出力する第１モードと、前記符号化対象の入力画像を可変長符号化することなく、当該符号化対象の入力画像の情報をそのまま第２係数符号列とし、当該第２係数符号列および前記ヘッダ符号列から構成される符号列１５９を出力する第２モードとを有する係数符号列生成部１０８−１と、を備える。

ここで、第１係数符号列は、本実施形態における残差符号化信号１５３に該当する。第２係数符号列は、本実施形態における入力画像信号１５１に該当する。

また好ましくは、前記係数符号列生成部１０８−１は、前記符号列に対して、前記符号化対象の画像をそのまま第２係数符号列としたか否かを示す識別子を対応付けて出力する。

また好ましくは、前記係数符号列生成部１０８−１は、前記符号列内における位置であって前記符号列を復号化する入力画像信号１５１復号化装置において前記第１係数符号列および前記第２係数符号列を復号化処理する前に処理できる位置に、前記識別子を格納する。

また好ましくは、前記識別子は、前記第１係数符号列および第２係数符号列で共通で使用される識別子であり、当該識別子情報のうち１つは、前記第２係数符号列として符号化したことを示すものであり、また別の１つは、前記第１係数符号列として符号化したことを示し、かつ符号化した残差符号化信号１５３があるかないかを示すものである。

ここで、前記識別子は、本実施形態における図６に示すｃｂｐ＿ｙｕｖ＿ｒｏｏｔ、または図７に示すｒｅｓｉｄｕａｌ＿ｄａｔａ＿ｆｌａｇに該当する。

また好ましくは、前記係数符号列生成部１０８−１は、出力する符号列の前記ブロック全体における符号量が、特定の大きさを超過する可能性がある場合、前記第２モードを用いて符号列を出力する。

また好ましくは、前記係数符号列生成部１０８−１は、前記第１モードで符号列を出力した結果、当該符号列の前記ブロック全体における符号量が特定の大きさを超過した場合、当該第１モードで生成した符号列に代えて、前記第２モードを用いて生成した符号列を出力する。

（実施の形態３）
以下、本発明の実施の形態３について、図面を参照しながら説明する。

図２は、本発明の実施の形態に係る動画像復号化装置２００のブロック図である。動画像復号化装置２００は、実施の形態１または実施の形態２で説明した動画像符号化装置によって生成された符号列に対し、コーディングユニット（ＣＵ）と呼ばれるブロック単位で復号化処理し、出力画像を生成する。

この動画像復号化装置２００は、ヘッダ符号列解析部２０１と、係数符号列解析部２０２と、予測残差復化部２０３と、ピクチャメモリ２０４と、予測復号化部２０５と、量子化値決定部２０６とを備えている。

ヘッダ符号列解析部２０１は、入力されたブロック単位の符号列信号２５１のヘッダ領域に対して可変長復号化を施すことによりヘッダ情報の解析を行う。ヘッダ符号列解析部２０１は、解析して得られる予測情報信号２５６を予測復号化部２０５へ出力する。さらに、ヘッダ符号列解析部２０１は、解析して得られる量子化値情報を量子化値決定部２０６へ出力する。

係数符号列解析部２０２は、ヘッダ符号列解析部２０１によって解析されたヘッダ情報に続いて符号化されている係数符号列の解析を行う。このとき、係数符号列解析部２０２は、解析の結果、係数符号列が残差符号化信号の場合、当該残差符号化信号２５２を予測残差復号化部２０３へ出力する。一方、係数符号列解析部２０２は、解析の結果、係数符号列が再構成画像信号である場合、当該再構成画像信号を再構成画像信号２５５に置き換える。このとき再構成画像信号２５５に置き換えるモードで処理した場合は、以降で説明する予測残差復号化部２０３による残差復号化信号２５３の生成処理、および予測復号化部２０５による予測画像信号２５４の生成処理は行なわなくても構わない。

予測残差復号化部２０３は、係数符号列解析部２０２から入力された残差符号化信号２５２に対して、逆量子化および逆直交変換することで差分画像情報の復号を行う。そして、予測残差復号化部２０３は、生成した残差復号化信号２５３を加算演算部２０７に出力する。このとき予測残差復号化部２０３は、量子化値決定部２０６において決定された量子化値信号２５７を用いて残差符号化信号２５２を逆量子化する。

ピクチャメモリ２０４は、加算演算部２０７または係数符号列解析部２０２から順に入力される信号を、表示を行う順にピクチャ単位で並び替えを行って蓄積する。そして、ピクチャメモリ２０４は、蓄積している信号を出力画像信号２５８として外部に出力する。

予測復号化部２０５は、ヘッダ符号列解析部２０１から出力された予測情報信号２５６を基に、画面内予測、または画面間予測を用いて予測画像信号２５４を生成する。そして、予測復号化部２０５は、生成した予測画像信号２５４を加算演算部２０７に出力する。なお、予測復号化部２０５は、画面間予測を用いる際、ピクチャメモリ２０４に蓄積される既に復号化済みの過去のピクチャの再構成画像信号２５５を用いる。また、予測復号化部２０５は、画面内予測を用いる際、復号化対象ＣＵに隣接する既に復号化済みのＣＵの現在のピクチャの再構成画像信号２５５を用いる。画面内予測を用いるか画面間予測を用いるかの判定については、入力される予測情報信号２５６に従って行われる。

加算演算部２０７では、予測残差復号化部２０３から出力された残差復号化信号２５３と予測復号化部２０５から出力された予測画像信号２５４を加算することによって再構成画像信号２５５を生成する。生成された再構成画像信号２５５はピクチャメモリ２０４に格納され、最終的にはピクチャ単位の出力画像信号２５８として表示装置に出力される。

ここで、ヘッダ符号列解析部２０１および係数符号列解析部２０２において符号列の解析を行う方法について、図１２のフローチャートを用いて具体的に説明する。

まず、ヘッダ符号列解析部２０１は、入力された符号列のヘッダ領域に対して可変長復号化を施すことによりヘッダ情報の解析を行い、生成された予測情報信号２５６、量子化値情報、その他の復号化制御情報を図２を用いて説明した各処理ブロックへ出力する（Ｓ１２０１）。

次に、係数符号列解析部２０２は、まずステップＳ１２０２において識別子の解析を行い、つづいてステップＳ１２０３において、解析された識別子が、ＰＣＭモードとして係数が符号化されていることを示しているか、もしくはＲｅｓｉｄｕａｌモードとして係数が符号化されていることを示しているかの判定を行う。

ステップＳ１２０３において、Ｒｅｓｉｄｕａｌモードとして係数が符号化されていると判定された場合は、従来と同様に入力された係数符号列に対して可変長復号化を施すことによって取得した残差符号化信号２５２を予測残差復号化部２０３に出力する（Ｓ１２０４）。

一方、ステップＳ１２０３において、ＰＣＭモードとして係数が符号化されていると判定された場合は、入力された係数符号列に対して可変長復号化を施すこととなく取得したビット列をそのまま再構成画像信号として、加算演算部２０７から出力される再構成画像信号２５５に置き換えて以降の処理を行う（Ｓ１２０５）。

なお、ここでは実施の形態１で説明した動画像符号化装置１００で生成された符号列に対しての処理方法を説明したが、実施の形態２で説明した動画像符号化装置１００−１で生成された符号列に対しても全く同様の処理方法で復号化することが可能である。その際に、ステップＳ１２０５で取得される情報は対応する符号化装置における入力画像に置き換わるが、復号化処理としては区別することなく常に再構成画像信号２５５として処理を行うことが可能である。

また、実施の形態１では図５から図７を用いて、生成される符号列のＣＵ単位のシンタックスおよび識別子の一例を説明したが、本実施の形態において復号化処理を行う符号列のシンタックスおよびＳ１２０２で解析する識別子も全く同様である。

このように、本実施の形態による動画像復号化装置を用いることにより、これに対応する符号列を生成する動画像符号化装置は、実施の形態１で説明したような構成をとることが可能となり、図８（ｂ）のようにパイプラインを遡ることなくＰＣＭモードに切替えて符号化を行うことができるため、処理速度の遅延もしくは処理量を増加させることなく、ブロック単位の発生符号量を特定の最大値以下に納めることが可能となる。

また同様に、本実施の形態による動画像復号化装置を用いることにより、これに対応する符号列を生成する動画像符号化装置は、実施の形態２で説明したような構成をとることが可能となり、図１１（ｂ）のようにパイプラインを遡る処理の量を従来よりも減らすことができるため、処理速度の遅延もしくは処理量の増加を抑制しつつ、ブロック単位の発生符号量を特定の最大値以下に納めることができ、さらに復号化した画像の画質を向上させることが可能となる。

（まとめ）
本実施形態における動画像復号化装置２００は、復号化対象符号列をブロック単位で復号化する動画像復号化装置２００であって、符号化された残差係数に基づく情報およびそれに対応付けられたヘッダ情報を含む第１の復号化対象符号列または再構成画像信号およびそれに対応付けられたヘッダ情報を含む第２の復号化対象符号列を前記復号化対象符号列として受け付けるヘッダ符号列解析部２０１と、前記ヘッダ情報は、前記復号化対象符号列を生成した際に利用された予測画像に関する情報である予測情報を含み、前記ヘッダ情報から少なくとも前記予測情報を取得するヘッダ符号列解析部２０１と、前記ヘッダ符号列解析部２０１が受け付けた復号化対象符号列を可変長復号化し残差係数を出力する係数符号列解析部２０２と、前記係数符号列解析部２０２が出力する残差係数に対して、逆量子化および逆直交変換を行い、残差復号化画像を生成する予測残差復号化部２０３と、前記ヘッダ符号列解析部２０１で取得された前記予測情報に基づいて予測画像を生成する予測復号化部２０５と、前記予測残差復号化部２０３で生成された前記残差復号化画像と前記予測復号化部２０５で生成された前記予測画像とを加算することにより、再構成画像を生成する加算演算部２０７と、前記ヘッダ符号列解析部２０１で受け付けた復号化対象符号列が前記第１の復号化対象符号列である場合、前記加算演算部２０７が生成した再構成画像を出力する一方、前記ヘッダ符号列解析部２０１で受け付けた復号化対象符号列が前記第２の復号化対象符号列である場合、前記第２の復号化対象符号列に含まれる再構成画像信号を可変長復号化せずに、前記再構成画像としてそのまま出力するピクチャメモリ２０４と、を備える。

また本実施形態における動画像復号化装置は、復号化対象符号列をブロック単位で復号化する動画像復号化装置２００であって、符号化された残差係数に基づく情報およびそれに対応付けられたヘッダ情報を含む第１の復号化対象符号列または前記復号化対象符号列を符号化する前の画像信号およびそれに対応付けられたヘッダ情報を含む第２の復号化対象符号列を復号化対象符号列として受け付けるヘッダ符号列解析部２０１と、前記ヘッダ情報は、前記復号化対象符号列を生成した際に利用された予測画像に関する情報である予測情報を含み、前記ヘッダ情報から少なくとも前記予測情報を取得するヘッダ符号列解析部２０１と、前記ヘッダ符号列解析部２０１が受け付けた復号化対象符号列を可変長復号化し残差係数を出力する係数符号列解析部２０２と、前記係数符号列解析部２０２が出力する残差係数に対して、逆量子化および逆直交変換を行い、残差復号化画像を生成する予測残差復号化部２０３と、前記ヘッダ符号列解析部２０１で取得された前記予測情報に基づいて予測画像を生成する予測復号化部２０５と、前記予測残差復号化部２０３で生成された前記残差復号化画像と前記予測復号化部２０５で生成された前記予測画像とを加算することにより、再構成画像を生成する加算演算部２０７と、前記ヘッダ符号列解析部２０１で受け付けた復号化対象符号列が前記第１の復号化対象符号列である場合、前記加算演算部２０７が生成した再構成画像を出力する一方、前記ヘッダ符号列解析部２０１で受け付けた復号化対象符号列が前記第２の復号化対象符号列である場合、前記第２の復号化対象符号列に含まれる前記復号化対象符号列を符号化する前の画像信号を可変長復号化せずに、前記再構成画像としてそのまま出力するピクチャメモリ２０４と、を備える構成でも構わない。

また好ましくは、前記復号化対象符号列は、前記再構成画像信号が前記復号化対象符号列に含まれているか否かを示す識別子を含み、前記ヘッダ符号列解析部２０１は、前記識別子が前記復号化対象符号列に前記再構成画像信号が含まれないことを示す場合、前記復号化対象符号列を前記第１の復号化対象符号列として復号化処理を行い、前記識別子が前記復号化対象符号列に前記再構成画像信号が含まれることを示す場合、前記復号化対象符号列を前記第２の復号化対象符号列として復号化処理を行う。

また好ましくは、前記復号化対象符号列は、前記復号化対象符号列を符号化する前の画像信号が前記復号化対象符号列に含まれているか否かを示す識別子を含み、前記ヘッダ符号列解析部２０１は、前記識別子が前記復号化対象符号列を符号化する前の画像信号が含まれないことを示す場合、前記復号化対象符号列を前記第１の復号化対象符号列として復号化処理を行い、前記識別子が前記復号化対象符号列を符号化する前の画像信号が含まれることを示す場合、前記復号化対象符号列を前記第２の復号化対象符号列として復号化処理を行う構成でも構わない。

また好ましくは、前記識別子が、前記復号化対象符号列に前記再構成画像信号または前記復号化対象符号列を符号化する前の画像信号が含まれないことを示す場合、前記予測残差復号化部２０３および前記予測復号化部は、それぞれ、前記残差復号化画像および前記予測画像を生成しない。

また好ましくは、前記識別子は、前記第１の復号化対象符号列および前記第２の復号化対象符号列で共通に利用される識別子であり、当該識別子情報のうち１つは、前記再構成画像信号が前記復号化対象符号列に含まれていることを示すものであり、また別の１つは、前記残差係数に基づく情報が前記復号化対象符号列に含まれていることを示し、かつ復号化する残差係数があるかないかを示すものである。

また好ましくは、前記識別子は、前記第１の復号化対象符号列および前記第２の復号化対象符号列で共通に利用される識別子であり、当該識別子情報のうち１つは、前記復号化対象符号列を符号化する前の画像信号が前記復号化対象符号列に含まれていることを示すものであり、また別の１つは、前記残差係数に基づく情報が前記復号化対象符号列に含まれていることを示し、かつ復号化する残差係数があるかないかを示すものである。

（その他の実施形態）
さらに、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

また、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

また、本発明は、上述した動画像符号化装置および動画像復号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。

また、上記実施の形態に係る、動画像符号化装置および動画像復号化装置、またはその変形例の機能のうち少なくとも一部を組み合わせてもよい。

本発明は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、及びパーソナルコンピューター等における、入力画像を構成する各ピクチャを符号化して動画像符号化データとして出力する動画像符号化装置や、前記動画像符号化データを復号化して復号化画像を生成する動画像復号化装置として有用である。

１００ 動画像符号化装置
１０１ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 予測残差復号化部
１０４ ローカルバッファ
１０５ 予測符号化部
１０６ 量子化値決定部
１０７ ヘッダ符号列生成部
１０８ 係数符号列生成部
１０９ 差分演算部
１１０ 加算演算部
１５１ 入力画像信号
１５２ 差分画像信号
１５３ 残差符号化信号
１５４ 残差復号化信号
１５５ 再構成画像信号
１５６ 予測画像信号
１５７ 予測情報信号
１５８ 量子化値信号
１５９ 符号列信号
２００ 動画像復号化装置
２０１ ヘッダ符号列解析部
２０２ 係数符号列解析部
２０３ 予測残差復号化部
２０４ ピクチャメモリ
２０５ 予測復号化部
２０６ 量子化値決定部
２０７ 加算演算部
２５１ 符号列信号
２５２ 残差符号化信号
２５３ 残差復号化信号
２５４ 予測画像信号
２５５ 再構成画像信号
２５６ 予測情報信号
２５７ 量子化値信号
２５８ 出力画像信号

Claims (9)

1. 復号化対象符号列をブロック単位で復号化する動画像復号化装置であって、
   符号化された残差係数に基づく情報およびそれに対応付けられたヘッダ情報を含む第１の復号化対象符号列または再構成画像信号およびそれに対応付けられたヘッダ情報を含む第２の復号化対象符号列を前記復号化対象符号列として受け付ける受付部と、
   前記ヘッダ情報は、前記復号化対象符号列を生成した際に利用された予測画像に関する情報である予測情報を含み、前記ヘッダ情報から少なくとも前記予測情報を取得するヘッダ解析部と、
   前記受付部が受け付けた復号化対象符号列を可変長復号化し残差係数を出力する係数符号列解析部と、
   前記係数符号列解析部が出力する残差係数に対して、逆量子化および逆直交変換を行い、残差復号化画像を生成する予測残差復号化部と、
   前記ヘッダ解析部で取得された前記予測情報に基づいて予測画像を生成する予測画像生成部と、
   前記予測残差復号化部で生成された前記残差復号化画像と前記予測画像生成部で生成された前記予測画像とを加算することにより、再構成画像を生成する加算器と、
   前記受付部で受け付けた復号化対象符号列が前記第１の復号化対象符号列である場合、前記加算器が生成した再構成画像を出力する一方、
   前記受付部で受け付けた復号化対象符号列が前記第２の復号化対象符号列である場合、前記第２の復号化対象符号列に含まれる再構成画像信号を可変長復号化せずに、前記再構成画像としてそのまま出力する出力部と、
   を備える動画像復号化装置。
2. 復号化対象符号列をブロック単位で復号化する動画像復号化装置であって、
   符号化された残差係数に基づく情報およびそれに対応付けられたヘッダ情報を含む第１の復号化対象符号列または前記復号化対象符号列を符号化する前の画像信号およびそれに対応付けられたヘッダ情報を含む第２の復号化対象符号列を復号化対象符号列として受け付ける受付部と、
   前記ヘッダ情報は、前記復号化対象符号列を生成した際に利用された予測画像に関する情報である予測情報を含み、前記ヘッダ情報から少なくとも前記予測情報を取得するヘッダ解析部と、
   前記受付部が受け付けた復号化対象符号列を可変長復号化し残差係数を出力する係数符号列解析部と、
   前記係数符号列解析部が出力する残差係数に対して、逆量子化および逆直交変換を行い、残差復号化画像を生成する予測残差復号化部と、
   前記ヘッダ解析部で取得された前記予測情報に基づいて予測画像を生成する予測画像生成部と、
   前記予測残差復号化部で生成された前記残差復号化画像と前記予測画像生成部で生成された前記予測画像とを加算することにより、再構成画像を生成する加算器と、
   前記受付部で受け付けた復号化対象符号列が前記第１の復号化対象符号列である場合、前記加算器が生成した再構成画像を出力する一方、
   前記受付部で受け付けた復号化対象符号列が前記第２の復号化対象符号列である場合、前記第２の復号化対象符号列に含まれる前記復号化対象符号列を符号化する前の画像信号を可変長復号化せずに、前記再構成画像としてそのまま出力する出力部と、
   を備える動画像復号化装置。
3. 前記復号化対象符号列は、前記再構成画像信号が前記復号化対象符号列に含まれているか否かを示す識別子を含み、
   前記受付部は、前記識別子が前記復号化対象符号列に前記再構成画像信号が含まれないことを示す場合、前記復号化対象符号列を前記第１の復号化対象符号列として復号化処理を行い、前記識別子が前記復号化対象符号列に前記再構成画像信号が含まれることを示す場合、前記復号化対象符号列を前記第２の復号化対象符号列として復号化処理を行う請求項１に記載の動画像復号化装置。
4. 前記復号化対象符号列は、前記復号化対象符号列を符号化する前の画像信号が前記復号化対象符号列に含まれているか否かを示す識別子を含み、
   前記受付部は、前記識別子が前記復号化対象符号列を符号化する前の画像信号が含まれないことを示す場合、前記復号化対象符号列を前記第１の復号化対象符号列として復号化処理を行い、前記識別子が前記復号化対象符号列を符号化する前の画像信号が含まれることを示す場合、前記復号化対象符号列を前記第２の復号化対象符号列として復号化処理を行う請求項２に記載の動画像復号化装置。
5. 前記識別子が、前記復号化対象符号列に前記再構成画像信号または前記復号化対象符号列を符号化する前の画像信号が含まれないことを示す場合、前記予測残差復号化部および前記予測復号化部は、それぞれ、前記残差復号化画像および前記予測画像を生成しない請求項３または請求項４に記載の動画像復号化装置。
6. 前記識別子は、前記第１の復号化対象符号列および前記第２の復号化対象符号列で共通に利用される識別子であり、当該識別子情報のうち１つは、前記再構成画像信号が前記復号化対象符号列に含まれていることを示すものであり、また別の１つは、前記残差係数に基づく情報が前記復号化対象符号列に含まれていることを示し、かつ復号化する残差係数があるかないかを示すものである請求項３に記載の動画像復号化装置。
7. 前記識別子は、前記第１の復号化対象符号列および前記第２の復号化対象符号列で共通に利用される識別子であり、当該識別子情報のうち１つは、前記復号化対象符号列を符号化する前の画像信号が前記復号化対象符号列に含まれていることを示すものであり、また別の１つは、前記残差係数に基づく情報が前記復号化対象符号列に含まれていることを示し、かつ復号化する残差係数があるかないかを示すものである請求項４に記載の動画像復号化装置。
8. 復号化対象符号列をブロック単位で復号化する動画像復号化方法であって、
   符号化された残差係数に基づく情報およびそれに対応付けられたヘッダ情報を含む第１の復号化対象符号列または再構成画像信号およびそれに対応付けられたヘッダ情報を含む第２の復号化対象符号列を前記復号化対象符号列として受け付け、
   前記ヘッダ情報は、前記復号化対象符号列を生成した際に利用された予測画像に関する情報である予測情報を含み、前記ヘッダ情報から少なくとも前記予測情報を取得し、
   前記受け付けた復号化対象符号列を可変長復号化し残差係数を出力し、
   前記出力する残差係数に対して、逆量子化および逆直交変換を行い、残差復号化画像を生成し、
   前記取得された前記予測情報に基づいて予測画像を生成し、
   前記生成された前記残差復号化画像と前記生成された前記予測画像とを加算することにより、再構成画像を生成し、
   前記受け付けた復号化対象符号列が前記第１の復号化対象符号列である場合、前記生成した再構成画像を出力する一方、
   前記受け付けた復号化対象符号列が前記第２の復号化対象符号列である場合、前記第２の復号化対象符号列に含まれる再構成画像信号を可変長復号化せずに、前記再構成画像としてそのまま出力する、動画像復号化方法。
9. 復号化対象符号列をブロック単位で復号化する動画像復号化方法であって、
   符号化された残差係数に基づく情報およびそれに対応付けられたヘッダ情報を含む第１の復号化対象符号列または前記復号化対象符号列を符号化する前の画像信号およびそれに対応付けられたヘッダ情報を含む第２の復号化対象符号列を復号化対象符号列として受け付け、
   前記ヘッダ情報は、前記復号化対象符号列を生成した際に利用された予測画像に関する情報である予測情報を含み、前記ヘッダ情報から少なくとも前記予測情報を取得し、
   前記受け付けた復号化対象符号列を可変長復号化し残差係数を出力し、
   前記出力する残差係数に対して、逆量子化および逆直交変換を行い、残差復号化画像を生成し、
   前記取得された前記予測情報に基づいて予測画像を生成し、
   前記生成された前記残差復号化画像と前記生成された前記予測画像とを加算することにより、再構成画像を生成し、
   前記受け付けた復号化対象符号列が前記第１の復号化対象符号列である場合、前記生成した再構成画像を出力する一方、
   前記受け付けた復号化対象符号列が前記第２の復号化対象符号列である場合、前記第２の復号化対象符号列に含まれる前記復号化対象符号列を符号化する前の画像信号を可変長復号化せずに、前記再構成画像としてそのまま出力する、動画像復号化方法。