JP2008124926A - 画像復号装置、画像符号化装置、およびシステムｌｓｉ - Google Patents

Abstract

【課題】画像圧縮技術において、低動作周波数、低消費電力の画像符号化・復号処理を実現する画像復号装置、画像符号化装置、およびシステムＬＳＩを提供する。
【解決手段】画像復号装置において、ビットストリーム復号処理部１１００と画像復号同期処理部１６００の２個の処理部に分割し、ビットストリーム復号処理部１１００と画像復号同期処理部１６００の両方にパラメータの種類を判別する構文解析部を用意する。ビットストリーム復号処理部１１００と画像復号同期処理部１６００の間は中間コードのビットストリームを用いる。パラメータの種類ごとに中間コードの符号化方式を変更し、ビットストリーム復号処理部１１００と画像復号同期処理部１６００の両方の処理に適するような中間コードを使用する。ビットストリーム復号処理部１１００と画像復号同期処理部１６００は独立動作可能に構成し中間コードを格納するバッファの状態により独立して起動させる。
【選択図】図１

Description

本発明は、画像信号を復号または符号化する画像復号装置、画像符号化装置、およびシステムＬＳＩに関し、特に、その動作周波数の低減および低消費電力化に適用して有効な技術に関する。

従来、画像信号の復号または符号化する技術として、特開２００３−２５９３７０号公報（特許文献１）に示された方法がある。特許文献１では、可変長符号化・復号手段と画像符号化・復号手段との間に中間コードを使用し、中間コードのバッファを用意することで、可変長符号処理とそれ以外の処理を並列に実行可能にして低消費電力の画像符号化・復号処理を実現する方法が示されている。
特開２００３−２５９３７０号公報

特許文献１では画像符号化信号中の全パラメータに対し１つの可変長符号表を使用する画像符号化方法を前提にして、可変長符号処理とそれ以外の処理を並列に実行可能にしている。ところが、現在主に利用されている、ＭＰＥＧ−２，ＭＰＥＧ−４，ＶＣ−１，Ｈ．２６４といった画像圧縮技術の標準規格ではパラメータの種類などに応じて可変長符号表を選択したり、可変長符号表を必要としない符号方式を選択したりするため、特許文献１に示された方法では対応が不可能であった。

そこで、本発明の目的は、パラメータの種類などに応じて可変長符号表を選択したり、可変長符号表を用いない符号方式を選択したりする画像圧縮技術において、可変長符号処理とそれ以外の処理を並列に実行可能にして、低動作周波数、低消費電力の画像符号化・復号処理を実現する画像復号装置および画像符号化装置を提供することにある。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

本発明による画像復号装置は、符号化したデータに含まれるパラメータの種類に応じて符号表や符号化形式を選択して利用する画像符号化方法の復号に対応した画像復号装置であって、符号化したデータのビットストリームを中間形式に変換するビットストリーム処理部と、中間形式に変換されたデータを復号し、画像データに変換する画像処理部とを備え、ビットストリーム処理部および画像処理部は独立に起動するものである。

また、本発明による画像符号化装置は、符号化したデータに含まれるパラメータの種類に応じて符号表や符号化形式を選択して利用する画像符号化方法の符号化に対応した画像符号化装置であって、符号化する画像データを中間形式に変換する画像処理部と、中間形式に変換されたデータを符号化し、ビットストリームに変換するビットストリーム処理部とを備え、画像処理部とビットストリーム処理部は独立に起動するものである。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

本発明によれば、ＭＰＥＧ−２，ＭＰＥＧ−４，ＶＣ−１，Ｈ．２６４といったパラメータの種類などに応じて可変長符号表を選択したり、可変長符号表を必要としない符号方式を選択したりする画像圧縮技術において、ビットストリーム処理部と画像処理部の並列動作が可能となり、画像復号および符号化装置の動作周波数を抑制でき、この結果消費電力の低減も可能となる。

特に、ビットストリーム処理部と画像処理部を独立に動作および起動可能なため、起動タイミングを制御することでそれぞれの処理に対し適切な処理時間を割り当てることができ、ピーク処理性能を抑制できるため、同一画像の処理に必要な動作周波数を数分の１程度まで抑制可能になる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。尚、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
図１により、本発明の実施の形態１に係る画像復号装置の構成および動作について説明する。図１は本発明の実施の形態１に係る画像復号装置の構成を示す構成図である。

図１において、画像復号装置１０００の内部には、ビットストリーム処理部であるビットストリーム復号処理部１１００、画像処理部である画像復号同期処理部１６００、入出力ユニット７００、全体制御ユニット６００、メモリ制御ユニット８００が存在する。

符号化画像のビットストリームは外部より入出力ユニット７００を介してメモリ制御ユニット８００に送り、一度メモリ９００に格納する。

ピクチャ単位の処理に必要な符号化画像のビットストリームをメモリ９００に格納した段階で、外部から制御信号を入力し、入出力ユニット７００経由で全体制御ユニット６００にビットストリーム復号処理部１１００の起動を要請する。この要請に基づき、全体制御ユニット６００はビットストリーム復号処理部１１００を起動する。

ビットストリーム復号処理部１１００は起動すると、メモリ制御ユニット８００経由でメモリ９００より符号化画像のビットストリームを読み出し、中間コードのビットストリームを生成し、メモリ制御ユニット８００経由でメモリ９００へ出力する。

この際、メモリ９００内に格納されている処理前の符号化画像のビットストリームが格納された領域と異なる領域に書き込み、符号化画像のビットストリームを上書きしないようにする。

ピクチャ単位の処理に必要な符号化画像のビットストリームを全て中間コードのビットストリームに変換した段階で、外部から制御信号を入力し、入出力ユニット７００経由で全体制御ユニット６００に画像復号同期処理部１６００の起動を要請する。この要請に基づき、全体制御ユニット６００は画像復号同期処理部１６００を起動する。

画像復号同期処理部１６００は起動するとメモリ制御ユニット８００経由でメモリ９００より中間コードのビットストリームを読み出し、復号画像データに変換しメモリ制御ユニット８００経由でメモリ９００に格納する。この際、メモリ９００内に格納されている処理前の符号化画像のビットストリームや中間コードのビットストリームが格納された領域と異なる領域に書き込み、これらのビットストリームを上書きしないようにする。

あるピクチャの中間コードのビットストリーム生成処理が完了次第、ビットストリーム復号処理部１１００は次のピクチャの処理が可能になるので、次のピクチャの処理に必要な符号化画像のビットストリームを外部よりメモリ９００に格納完了次第、外部より再度ビットストリーム復号処理部１１００を起動する制御信号を入力し、ビットストリーム復号処理部１１００と画像復号同期処理部１６００が極力並列動作するようにする。符号化画像のビットストリームを外部よりメモリ９００に格納する操作は、前のピクチャの処理中に行う。

実際には並列動作のためには、それぞれの処理に必要な入力データおよび以後参照される可能性のある処理結果が上書きされないよう、メモリ９００内の格納領域を管理する必要がある。

このメモリ管理は画像復号装置１０００の外部で行い、どのメモリ領域を使用するかは、ビットストリーム復号処理部１１００および画像復号同期処理部１６００を起動する際に外部より与える。

したがって、メモリ９００の使用状況によって、符号化画像のビットストリームや中間コードのビットストリーム、復号画像を格納する領域が確保できない場合、復号画像を外部から読み出し完了したり、符号化画像のビットストリームや中間コードのビットストリームの処理を完了したりして、メモリ領域を再度確保可能になるまで、ビットストリーム復号処理部１１００や画像復号同期処理部１６００の起動を一時停止する必要がある。

したがって、画像復号装置１０００の性能を最大限引き出すためには、メモリ９００には十分な容量が必要となる。すなわち、外部からビットストリーム復号処理部１１００や画像復号同期処理部１６００の起動タイミング制御とメモリ管理を実施することで、システム構成上、メモリ９００の容量と画像復号装置１０００の処理性能のバランスを考慮することが可能である。

ビットストリーム復号処理部１１００の内部には符号方式選択式可変長符号復号ユニット１２００、構文解析部である復号装置構文解析ユニット１３００、符号方式選択式中間コード符号化ユニットＡ１４００が存在する。

ＭＰＥＧ−２，ＭＰＥＧ−４，ＶＣ−１，Ｈ．２６４などの画像圧縮技術の標準規格では、パラメータ（たとえば動きベクトルの値やＤＣＴ係数関連情報の値）の種類によって異なる可変長符号や異なる長さの固定長符号を利用するため、次に来るビット列がどのパラメータであるのか判別できないと、符号の復号ができず、ある符号と次の符号の切れ目も判別できない。

また、同じパラメータでも、値の条件などにより、値を符号化したものではなく、最初に値が特殊であることを示す符号が来て、次に異なる符号化方法で値を示す符号が来る場合があるなど、パラメータの来る順番やパラメータの省略などが発生する複雑な構文規則がある。これらの構文規則に基づき、符号化画像のビットストリームから次に来るビット列の符号化方式を判定するのが復号装置構文解析ユニット１３００である。

すなわち、復号装置構文解析ユニット１３００が現在復号しているパラメータの種類を判定し、これを元にビット列の符号化方式を判定し、この判定結果に基づき符号方式選択式可変長符号復号ユニット１２００がビット列を復号し、さらにこの結果を基に、次のパラメータの種類および符号化方式を判定する操作を繰り返す。構文規則の詳細についてはそれぞれの画像圧縮技術の標準規格として仕様書が公開されているため、説明を省略する。

また、復号装置構文解析ユニット１３００は中間コードの構文構成に合わせて符号方式選択式可変長符号復号ユニット１２００が復号した複数のパラメータを１個のパラメータにまとめたり、パラメータの順番を入れ替えたりする操作を行い、中間コードの構文構成に合わせた順序でパラメータの値と符号化方式の選択情報を符号方式選択式中間コード符号化ユニットＡ１４００に送出する。

中間コードの構成例については後述するが、中間コードのデータ量および画像復号同期処理部１６００で中間コードを読み出す処理を考慮し、中間コードでもパラメータの種類に依存して符号化方式を選択している。

符号方式選択式可変長符号復号ユニット１２００は、復号装置構文解析ユニット１３００が画像圧縮技術の規格に基づき決定したパラメータの符号化方式に基づき、表参照あるいは一定の規則に従って構文の１要素に対応するパラメータのビット列の長さを決定し、ビット列から復号した値を求める。同時に決定した長さ分だけ符号化画像のビットストリームを読み進める。表参照を行う場合には、使用する表についても復号装置構文解析ユニット１３００の決定に基づいて行う。ビット列の符号化時に参照する表や一定の規則についてはそれぞれの画像圧縮技術標準規格の仕様書に記されているため、説明を省略する。

符号方式選択式中間コード符号化ユニットＡ１４００は画像復号装置１０００用の符号方式選択式中間コード符号化ユニットで、復号装置構文解析ユニット１３００から送出されたパラメータの値と符号化方式に基づき、中間コードを出力する。

画像復号同期処理部１６００の内部には符号方式選択式中間コード復号ユニットＡ１７００、復号装置中間コード構文解析ユニット１８００、および画像復号ユニット１９００が存在する。画像復号同期処理部１６００は画像復号ユニット１９００の動作に合わせて全体の処理を行う。

符号方式選択式中間コード復号ユニットＡ１７００は画像復号装置１０００用の中間コードを復号するユニットである。中間コードのビットストリームはパラメータの種類ごとに値の符号化方式を変更するため、パラメータごとに復号装置中間コード構文解析ユニット１８００から指定された符号化方式に対応する復号処理を行う。

復号装置中間コード構文解析ユニット１８００は中間コードのビットストリームの構文解析を行い、パラメータごとに対応する符号化方式を符号方式選択式中間コード復号ユニットＡ１７００に指定する。中間コードのパラメータを復号した結果を、パラメータの種別情報と共に画像復号ユニット１９００へ送出する。

画像復号ユニット１９００は復号装置中間コード構文解析ユニット１８００から得たパラメータを画像処理用に並べ替え、画像圧縮の標準規格に基づいて逆量子化処理、逆ＤＣＴあるいはそれに相当する演算、動き補償処理などの処理により復号画像を生成し、メモリ制御ユニット８００経由でメモリ９００へ出力する。

画像復号ユニット１９００はマクロブロック単位に処理を行う。マクロブロックとは、通常、画像を１６画素×１６画素の領域ごとに分割した単位である。尚、画像復号ユニット１９００は動き補償処理に必要な参照画像などを取得するため、メモリ９００からメモリ制御ユニット８００経由でデータを読み出す機能を有している。

画像復号装置１０００が複数種類の画像圧縮標準規格に対応する場合、画像復号ユニット１９００はそれぞれの規格に合わせ演算や処理を変更する。

次に、図２〜図４により、本発明の実施の形態１に係る画像復号装置の中間コードの例について説明する。図２は本発明の実施の形態１に係る画像復号装置の中間コードのビットストリームの構成例を示す図、図３は本発明の実施の形態１に係る画像復号装置の中間コードのビットストリームのマクロブロックパラメータセットの構成例を示す図、図４は本発明の実施の形態１に係る画像復号装置の中間コードに符号化するレベル情報の構成例を示す図である。

図２に示すように、中間コードのビットストリームはピクチャ関連パラメータセット３１０の後にピクチャ内のマクロブロックパラメータセットがピクチャを構成するマクロブロック分続いている構成となっている。

ピクチャ関連パラメータセット３１０は常に一定のビット数で構成され、中にはピクチャを通して変化しないパラメータやピクチャを構成する情報（縦および横のマクロブロック個数など）を格納する。各パラメータはそれぞれピクチャ関連パラメータセット３１０内の対応するビットフィールドに格納する。

画像復号装置１０００が複数種類の画像圧縮技術標準規格に対応する場合、ピクチャ関連パラメータセット３１０は対応する規格全ての最大公約数的なパラメータ構成とする。すなわち標準規格間で同じ意味を示すものは同一のビットフィールドに格納し、規格でユニークなパラメータは規格ごとに専用のビットフィールドを割り当て、そのパラメータを使用しない規格では０で埋めるなどして無視する。

また、マクロブロックパラメータセットは、図３に示すように、基本パラメータセット３２１、スライスパラメータセット３２２、オプションパラメータセット１（３２３）〜オプションパラメータセットｑ（３２６）、動きベクトルパラメータセット３２７、係数パラメータセット３３１で構成する。但し、基本パラメータセット３２１には他のパラメータセットの有無情報が含まれており、基本パラメータセット３２１以外のパラメータセットはそれぞれ省略する場合がある。

基本パラメータセット３２１は、マクロブロック内にスライスパラメータセット３２２、オプションパラメータセット１（３２３）〜オプションパラメータセットｑ（３２６）、動きベクトルパラメータセット３２７、係数パラメータセット３３１のうち存在するパラメータセットを示す情報を持ち、構成するパラメータを固定ビット長で中間コード化する。画像圧縮技術標準規格では、あるマクロブロックについてパラメータを全て省略する場合があり、このようなマクロブロックではオプションパラメータセット１（３２３）〜オプションパラメータセットｑ（３２６）、動きベクトルパラメータセット３２７、係数パラメータセット３３１を全て省略する。

スライスパラメータセット３２２はスライスの考え方のある画像圧縮技術対応時はスライスの境界直後のマクロブロックでのみ存在し、それ以外の画像圧縮技術対応時はピクチャの先頭のマクロブロックでのみ存在する。

ここで、スライスとはマクロブロックを１個以上まとめた単位である。スライスパラメータセット３２２にはスライス全体で共通するパラメータを持つ。スライスパラメータセット３２２を構成するパラメータも固定ビット長で中間コード化するが、中間コード復号時は復号装置中間コード構文解析ユニット１８００で中間コードのパラメータ種類を常に把握しているため、基本パラメータセット３２１を構成するパラメータとは異なるビット長でもよい。

オプションパラメータセット１（３２３）〜オプションパラメータセットｑ（３２６）は複数の画像圧縮技術標準規格に対応する場合、それぞれの規格固有で必要となる情報や、マクロブロックのタイプが特定の場合のみ必要になる情報（動きベクトルパラメータセット３２７を除く）を格納する。画像圧縮技術標準規格ではマクロブロックのタイプを複数持つ場合が多く、タイプごとに必要となるパラメータが異なることがあるが、このようなパラメータもオプションパラメータセットにパラメータとして格納する。

オプションパラメータセットを構成するパラメータは固定ビット長で中間コード化するが、復号装置中間コード構文解析ユニット１８００が存在するため、パラメータの種類ごとにそれぞれのパラメータに必要なビット長を割り当て可能である。

動きベクトルパラメータセット３２７は動き補償処理に必要な動きベクトルを格納する。但し、通常、画像圧縮技術標準規格における符号化画像のビットストリーム内には動きベクトルの差分情報を符号化して格納するなどしてデータ量の圧縮を図っているため、中間コードのビットストリームでも符号化画像のビットストリームを復号して得られる値をそのまま中間コードの符号化方法に変換するだけに留め、中間コードのビットストリームのデータ量を抑制する。

また、マクロブロックに複数の動きベクトルを持つ場合があるが、その場合には符号化画像のビットストリームに存在する順序で全ての動きベクトルを格納する。動きベクトルの個数やそれに関連する情報は基本パラメータセット３２１またはオプションパラメータセットのパラメータとして別途格納する。

動きベクトルパラメータセット３２７の構成パラメータは比較的多数存在するため、中間コードのビットストリームのデータ量が符号化画像のビットストリームに対して極端に増加することがないよう、指数ゴロムと固定ビット長（ＦＬＣ）を組み合わせた符号を利用する。以降、本発明では、指数ゴロムと固定ビット長（ＦＬＣ）を組み合わせた符号を指数ゴロムＦＬＣ組み合わせ符号と呼ぶ。指数ゴロムＦＬＣ組み合わせ符号については後述する。

係数パラメータセット３３１は係数存在ブロック情報３３２、ブロック１係数セット３３３〜ブロックｍ係数セット３３９で構成する。係数存在ブロック情報３３２の値にはブロック係数セットが存在するブロックを判別する情報があり、係数値が全て０であるブロックは存在しないブロックとして取り扱い、そのブロック係数セットは省略する。

ブロックはマクロブロックを分割した単位で、ＤＣＴ演算あるいはそれに相当する演算を行う単位に相当する。また係数値はＤＣＴあるいはそれに相当する演算に使用する係数の値である。画像圧縮技術の標準規格により演算が異なり、係数の意味が異なる場合があるが、中間コードのビットストリームでは符号化画像のビットストリームから復号した係数値を中間コード用の符号化形式で符号化して格納するだけで、係数値自体の変換は行わない。

また、ブロック係数セットの構成は、図３に示すように、ブロック係数セットを構成するパラメータはＤＣＴ演算あるいはそれに相当する演算に必要な２次元の係数配列をある決まったパターンでスキャンして１次元に並べ、０の係数を省略し、省略しない係数ごとにその係数の前に連続して省略した係数の個数をＲＵＮとして求め、係数の値に関する情報（レベル情報）とＲＵＮを交互に並べ、最後にＥＯＢ（Ｅｎｄ ｏｆ Ｂｌｏｃｋ）に対応するコードを置いた構成とする。但し、ＲＵＮが０である場合はＲＵＮを省略する。

ＥＯＢに対応するコードは係数の値が０のレベル情報を用いる。２次元の係数配列をスキャンするパターンは復号対象の画像圧縮技術の標準規格と原則同じとする。

中間コードのビット列として符号化する前のレベル情報は、図４に示す構成となっており、係数値を符号付整数と見なして左に１ビットシフトし、下位１ビットにレベル情報に対応するＲＵＮが存在するか否かを示すＲＵＮフラグ１１１を入れた構成となる。ＲＵＮフラグ１１１はＲＵＮが存在する場合は１、ＲＵＮが省略される場合は０と設定する。

復号時はＲＵＮフラグ１１１を確認して直後にＲＵＮが存在するか否か判定可能である。

中間コードでは、ＲＵＮが０の場合ＲＵＮを省略するため、どのようなケースでも１個のブロック係数に含まれるレベル情報とＲＵＮをあわせたパラメータの数は、ブロックの構成に必要な係数の個数を超えない利点がある。

ブロック係数セットを構成するパラメータは非常に多く存在するため、構成要素であるレベル情報は符号付の指数ゴロムＦＬＣ組み合わせ符号、ＲＵＮには符号なし指数ゴロムＦＬＣ組み合わせ符号を用いる。

但し、指数ゴロムＦＬＣ組み合わせ符号では、符号のビット長や構成に影響する２個のパラメータをとるが、このパラメータは動きベクトルパラメータセット３２７、レベル情報、ＲＵＮでそれぞれ適切に選択する。中間コードの復号時は復号装置中間コード構文解析ユニット１８００により復号中のパラメータの種類が判別可能なため、この選択が可能である。

ここで、指数ゴロムＦＬＣ組み合わせ符号について説明する。この符号の要素である指数ゴロム符号は画像圧縮技術の標準規格Ｈ．２６４で利用されている符号であり、パラメータの値が小さいほど符号に必要なビット数が短くなる傾向のある符号である。指数ゴロム符号についてはＨ．２６４の規格書にも記載されているので詳細は省略するが、図５〜図７により、その概略を説明する。図５は本発明の実施の形態１に係る画像復号装置の指数ゴロム符号の構成を示す図、図６は本発明の実施の形態１に係る画像復号装置の指数ゴロム符号のビット列とｃｏｄｅＮｕｍの関係の一部分を示す図、図７は本発明の実施の形態１に係る画像復号装置の符号付指数ゴロム符号用のｃｏｄｅＮｕｍと値の関係を示す図である。

指数ゴロム符号は、図５に示すようにプリフィックス、セパレータ、サフィックスの部分で構成する。プリフィックス部分は複数のビットで構成され、全てのビットは０である。セパレータ部分は必ず１ビットで構成され値は１である。サフィックス部分はプリフィックス部分と同じビット数で構成され、構成する各ビットの値は０または１である。

指数ゴロム符号のビット列とｃｏｄｅＮｕｍの関係は、図６に示すような関係があり、符号なしの指数ゴロム符号ではｃｏｄｅＮｕｍが符号なしの整数の値に対応する。

符号付指数ゴロム符号は、図７に示すような関係でｃｏｄｅＮｕｍと値を対応付けて取り扱う。図７で、Ｃｅｉｌ（）関数は引数で与えられた値以上の最小の整数を返す関数である。

図７で示す、ｃｏｄｅＮｕｍと値の関係は標準規格Ｈ．２６４で用いられている符号付指数ゴロム符号と正負の関係を反転した関係になっており、絶対値の等しい正負の値で符号化した際のビット列の長さが同じになるようにしている。

指数ゴロムＦＬＣ組み合わせ符号は指数ゴロム符号でプリフィックスのビット長に上限を設定し、指数ゴロム符号のプリフィックスのビット長が上限に収まる場合は、普通の指数ゴロム符号と同様のビット列で表現し、上限を超える場合は、プリフィックスのビット長を設定した上限と同じにし、セパレータを０にしてサフィックスに固定ビット長でｃｏｄｅＮｕｍを符号化したビット列で表現する符号である。

すなわち、指数ゴロムＦＬＣ組み合わせ符号では符号のビット長や構成に影響する２個のパラメータとは、プリフィックスのビット長の上限と、サフィックスが固定ビット長になる場合の固定ビットの長さである。

指数ゴロム符号は、プリフィックス長、サフィックスの値、ｃｏｄｅＮｕｍが全て数値演算で行えるため、符号表を用いずに符号化、復号が可能である。したがって、指数ゴロム符号と固定ビット長符号を組み合わせた指数ゴロムＦＬＣ組み合わせ符号も符号表を用いずに符号化、復号が可能であり、符号化、復号の論理を小規模で実現できる。さらに、符号の先頭から連続する値０のビット数から符号全体のビット列の長さを算出可能であるので、ビットストリームからの切り出し処理も容易に行える利点がある。

また、指数ゴロム符号には０に近い値は短いビット長で済むが、値が大きくなるとプリフィックスのビット長が長くなりデータ量が多くなる欠点がある一方、指数ゴロムＦＬＣ組み合わせ符号ではプリフィックスのビット長を一定以内に抑えられる利点もある。

中間コードのビットストリームは固定ビット長符号または指数ゴロムＦＬＣ組み合わせ符号のいずれかでパラメータを符号化して生成するので、中間コードの符号化や復号に関係する論理量を抑制可能である。また、動きベクトルおよび係数に関連するパラメータを指数ゴロムＦＬＣ組み合わせ符号で符号化するため、符号化画像のビットストリームのデータ量に対し、中間コードのビットストリームのデータ量を数倍程度に抑制できる。

また、以上のような中間コードの利点や性質により、ビットストリーム復号処理部１１００と画像復号同期処理部１６００はそれぞれの処理に適した動作が可能である。

ビットストリーム復号処理部１１００は符号化画像の各ビットあるいはパラメータごとに処理を行う必要があるが、中間コードのビットストリームで多くの部分を占める動きベクトルパラメータセット３２７や係数パラメータセット３３１部分に指数ゴロムＦＬＣ組み合わせ符号を用いることで、符号化画像のビットストリームと中間コードのビットストリームのデータ量の増加比率を抑制できるため、入出力を通してビット処理動作を基準にして動作の最適化を施せる。

画像復号同期処理部１６００は画像復号ユニット１９００に同期して動作するので、必要な性能を安定的に達成するためには、復号画像を構成するマクロブロックごとに一定時間以内に処理した方が都合よい。

この際、マクロブロックごとに中間コードから読み出すパラメータの個数や各パラメータの復号に必要な処理時間がボトルネックとなりえるが、パラメータ個数が多くなる可能性のある係数パラメータセット３３１は値０のＲＵＮを省略することで最大で必要となるパラメータ個数を抑制しており、ビット列への符号化形式も固定ビット長符号または指数ゴロムＦＬＣ組み合わせ符号であり比較的簡単に処理可能であるので、ボトルネックとはなりにくい。

次に、図８により、上述の特性を生かし、本発明の実施の形態１に係る画像符号化装置におけるビットストリーム復号処理部１１００と画像復号同期処理部１６００を並列動作させる場合のタイミング例について説明する。図８は本発明の実施の形態１に係る画像復号装置におけるビットストリーム復号処理部と画像復号同期処理部の動作タイミングの関係の例を示す図である
図８ではピクチャごとの処理時間をビットストリーム復号処理部１１００と画像復号同期処理部１６００についてそれぞれ示している。

ＭＰＥＧ−２，ＭＰＥＧ−４，ＶＣ−１，Ｈ．２６４などの画像圧縮技術の標準規格ではピクチャ間の相関性を用いた予測により圧縮率を高めているが、通常数〜数十枚に一度ピクチャ間の相関性を用いないピクチャを挿入する。この結果、ピクチャ間の相関性を用いないピクチャでは圧縮率が低下するため、相関性を用いたピクチャより符号化画像のビットストリーム内でデータ量を多く必要とする。

画像にも依存するが、この比率は数倍程度になる。この結果、ビットストリーム復号処理部１１００の処理時間はピクチャにより変化している。図８の例では、Ｐｉｃ ＡとＰｉｃ Ｆをピクチャ間の相関性を用いないピクチャ、それ以外はピクチャ間の相関性を用いるピクチャと仮定して示している。

一方、画像復号同期処理部１６００は通常ピクチャを再生する速度は一定間隔であるので、全てのピクチャで同一の処理時間となっている。実際にはＭＰＥＧ−２，ＭＰＥＧ−４，ＶＣ−１，Ｈ．２６４といった画像圧縮技術の標準規格では復号順番と再生順番を一部入れ替える必要があるため、ある程度の処理時間の揺らぎは許されるが、復号画像はデータサイズが大きくなるため、バッファ容量の関係から許容できる揺らぎは少なくなる。

図８に示すように、ピクチャ間の相関性を用いないピクチャから次のピクチャ間の相関性を用いないピクチャまで（図８のＰｉｃ Ａ処理開始からＰｉｃ Ｅ処理終了まで）の処理時間はビットストリーム復号処理部１１００と画像復号同期処理部１６００でほぼ等しくなる。

実際には、この関係にも揺らぎはあるが、画像圧縮技術の標準規格により、１秒間の符号化画像のビットストリームに利用可能な最大ビット数（最大ビットレート）が規定されており、１秒間に再生するピクチャ枚数も３０枚や６０枚など通常決まっているため、これらの条件の下でビットレートが最大となる場合、ピクチャ間の相関性を用いないピクチャから次のピクチャ間の相関性を用いないピクチャまでの処理時間はビットストリーム復号処理部１１００と画像復号同期処理部１６００でほぼ等しくなる。

すなわち、仮にビットストリーム復号処理部１１００と画像復号同期処理部１６００を独立に起動できず同期して動作させる場合、１秒間に再生するピクチャ枚数の都合から全体を画像復号同期処理部１６００に合わせて動作させる必要があり、ビットストリーム復号処理部１１００は符号化画像のビットストリームデータ量のピクチャ当りのピークを１ピクチャの処理時間内に処理可能なよう設計する必要がある。

また、ビットストリーム復号処理は前から順に処理を行う必要があることから並列処理が困難であり、処理性能を高めるためには通常動作周波数を高くせざるを得ない。この結果、消費電力が多くなることになる。

しかしながら、本実施の形態で説明したようにビットストリーム復号処理部１１００と画像復号同期処理部１６００を独立に起動可能であれば、ビットストリーム復号処理部１１００のピーク性能を抑制可能になるため、動作周波数を抑制でき、結果消費電力を抑制できる。

また、中間コードのビットストリームに関してのデータ量も、符号化画像のビットストリームに対して比率的にあまり多くならないようにし、かつ符号化、復号処理に符号表を用いず比較的簡単に処理できるようにして、また画像復号同期処理部１６００が中間コードを読み込む際にマクロブロックあたりのパラメータ読み出し処理がボトルネックにならないようにすることで、論理規模、および画像復号同期処理部１６００の動作速度の観点も考慮してあるので、画像復号装置全体として動作周波数を抑制でき、結果消費電力を抑制できる。

（実施の形態２）
図９により、本発明の実施の形態２に係る画像符号化装置の構成および動作について説明する。図９は本発明の実施の形態２に係る画像符号化装置の構成を示す構成図である。

基本的には画像符号化装置２０００は、実施の形態１の図１に示す画像復号装置１０００のデータの流れる向きを逆にしたものである。

画像符号化装置２０００の内部にはビットストリーム符号化処理部であるビットストリーム符号化処理部２１００と画像処理部である画像符号化同期処理部２６００、入出力ユニット７００、全体制御ユニット６００、メモリ制御ユニット８００が存在する。

符号化する画像のデータは外部より入出力ユニット７００を介してメモリ制御ユニット８００に送り、一度メモリ９００に格納する。

１枚のピクチャデータをメモリ９００に格納した段階で、外部から制御信号を入力し、入出力ユニット７００経由で全体制御ユニット６００に画像符号化同期処理部２６００の起動を要請する。この要請に基づき、全体制御ユニット６００は画像符号化同期処理部２６００を起動する。

画像符号化同期処理部２６００は起動するとメモリ制御ユニット８００経由でメモリ９００よりピクチャデータを読み出し、中間コードのビットストリームに変換しメモリ制御ユニット８００経由でメモリ９００に格納する。

ピクチャデータを全て中間コードのビットストリームに変換した段階で、外部から制御信号を入力し、入出力ユニット７００経由で全体制御ユニット６００にビットストリーム符号化処理部２１００の起動を要請する。

ビットストリーム符号化処理部２１００は起動すると、メモリ制御ユニット８００経由でメモリ９００より中間コードのビットストリームを読み出し、符号化結果となる符号化画像のビットストリームを生成し、メモリ制御ユニット８００経由でメモリ９００へ出力する。この際、メモリ９００内に格納されている処理前の中間コードのビットストリームが格納された領域と異なる領域に書き込み、中間コードのビットストリームを上書きしないようにする。

あるピクチャの中間コードのビットストリーム生成処理が完了次第、画像符号化同期処理部２６００は次のピクチャの処理が可能になるので、次のピクチャデータを外部よりメモリ９００に格納次第、外部より再度画像符号化同期処理部２６００を起動する制御信号を入力し、ビットストリーム符号化処理部２１００と画像符号化同期処理部２６００が極力並列動作するようにする。ピクチャデータを外部より格納する操作は前のピクチャの処理中に行う。

実際には並列動作のためには、それぞれの処理に必要な入力データおよび以後参照される可能性のある処理結果が上書きされないよう、メモリ９００内の格納領域を管理する必要がある。

このメモリ管理は画像符号化装置２０００の外部で行い、どのメモリ領域を使用するかは、ビットストリーム符号化処理部２１００および画像符号化同期処理部２６００を起動する際に外部より与える。したがって、メモリ９００の使用状況によって、符号化するピクチャデータや中間コードのビットストリーム、符号化結果である符号化画像のビットストリームを格納する領域を確保できない場合、符号化結果を外部から読み出し完了したり、符号化するピクチャデータや中間コードのビットストリームの処理が完了したりして、メモリ領域を再度確保可能になるまで、ビットストリーム符号化処理部２１００や画像符号化同期処理部２６００の起動を一時停止する必要がある。

したがって、画像符号化装置２０００の性能を最大限引き出すためには、メモリ９００には十分な容量が必要となる。すなわち、外部からビットストリーム符号化処理部２１００や画像符号化同期処理部２６００の起動タイミング制御とメモリ管理を実施することで、システム構成上、メモリ９００の容量と画像符号化装置２０００の処理性能のバランスを考慮することが可能である。

画像符号化同期処理部２６００の内部には符号方式選択式中間コード符号化ユニットＢ２７００、符号化装置中間コード構文生成ユニット２８００、および画像符号化ユニット２９００が存在する。画像符号化同期処理部２６００は画像符号化ユニット２９００の動作に合わせて全体の処理を行う。

画像符号化ユニット２９００は画像圧縮技術の標準規格に基づいて符号化するピクチャデータから動きベクトルの検出、差分情報の生成、ＤＣＴあるいはそれに相当する演算、量子化処理などを行い、量子化後の係数データを中間コードのビットストリーム用に並べ替える。画像符号化ユニット２９００はマクロブロック単位に処理を行う。

尚、画像符号化ユニット２９００は動きベクトル検出に必要な参照画像の取得や他のピクチャ処理時の動きベクトル検出処理に必要となる参照画像の出力などのため、メモリ９００に対してメモリ制御ユニット８００経由でデータを読み書きする機能を有している。

符号化装置中間コード構文生成ユニット２８００は中間コードのビットストリームの構文生成を行い、パラメータごとにパラメータの値と符号化方式を符号方式選択式中間コード符号化ユニットＢ２７００に指定する。

符号方式選択式中間コード符号化ユニットＢ２７００は画像符号化装置２０００用の中間コードを符号化するユニットである。中間コードのビットストリームは画像復号装置１０００と同じ形式であり、パラメータの種類ごとに値の符号化方式を変更するため、パラメータごとに符号化装置中間コード構文生成ユニット２８００から指定された符号化方式に対応する符号化処理を行う。生成した中間コードはメモリ制御ユニット８００経由でメモリ９００に出力する。

画像符号化装置２０００が複数種類の画像圧縮標準規格に対応する場合、画像符号化ユニット２９００はそれぞれの規格に合わせ演算や処理を変更する。

ビットストリーム符号化処理部２１００の内部には符号方式選択式可変長符号符号化ユニット２２００、構文解析部である符号化装置構文生成ユニット２３００、符号方式選択式中間コード復号ユニットＢ２４００が存在する。

符号方式選択式中間コード復号ユニットＢ２４００はメモリ制御ユニット８００経由でメモリ９００より中間コードのビットストリームを読み出し、パラメータごとに復号して符号化装置構文生成ユニット２３００に送出する。

符号化装置構文生成ユニット２３００はＭＰＥＧ−２，ＭＰＥＧ−４，ＶＣ−１，Ｈ．２６４などの画像圧縮技術の標準規格に基づいた構文を生成し、その構文に基づいて符号方式選択式中間コード復号ユニットＢ２４００より得た値を必要に応じて並べ替えや分割、再構成を行い、パラメータごとに対応する符号化方式と値を符号方式選択式可変長符号符号化ユニット２２００に送出する。

また、符号化装置構文生成ユニット２３００は符号方式選択式中間コード復号ユニットＢ２４００に対し現在復号している中間コードの符号化方式を通知する機能も有する。中間コードのビットストリームはパラメータの種類によって異なる可変長符号や異なる長さの固定長符号を利用するため、次に来るビット列がどのパラメータに対応するのか判別できないと、符号を復号できず、符号の切れ目も判別できないため、構文を管理する符号化装置構文生成ユニット２３００にこの機能が必要となる。

符号方式選択式可変長符号符号化ユニット２２００は、符号化装置構文生成ユニット２３００が画像圧縮技術の標準規格に基づき決定したビット列の符号化方式に基づき、パラメータの値から表参照あるいは一定の規則に従って構文の１要素に対応するビット列を生成する。表参照を行う場合には、使用する表についても符号化装置構文生成ユニット２３００の決定に基づいて行う。

ビット列の符号化に必要な表や一定の規則についてはそれぞれの画像圧縮技術標準規格の仕様書に記されているため、省略する。生成したビット列はメモリ制御ユニット８００経由でメモリ９００に順に格納する。

次に、図１０により、本発明の実施の形態２に係る画像符号化装置２０００におけるビットストリーム符号化処理部２１００と画像符号化同期処理部２６００を並列動作させる場合のタイミング例について説明する。図１０は本発明の実施の形態２に係る画像符号化装置における画像符号化同期処理部とビットストリーム符号化処理部の動作タイミングの関係の例を示す図である。

図１０ではピクチャごとの処理時間をビットストリーム符号化処理部２１００と画像符号化同期処理部２６００についてそれぞれ示している。図１０ではＰｉｃ ＡおよびＰｉｃ Ｆでピクチャ間の相関性を利用しない符号化を行い、それ以外のピクチャではピクチャ間の相関性を利用した符号化を行うことを仮定している。

画像符号化処理でも復号処理と同様の理由により、ピクチャによって符号化画像のビットストリームのデータ量が異なる。また、リアルタイムの符号化では通常毎秒３０枚や６０枚などピクチャの入力される速度が決まっているので、画像符号化同期処理部２６００はピクチャごとに同じ処理時間で処理を行っている。

図１０に示すように、ピクチャ間の相関性を用いないピクチャから次のピクチャ間の相関性を用いないピクチャまで（図１０のＰｉｃ Ａ処理開始からＰｉｃ Ｅ処理終了まで）の処理時間はビットストリーム符号化処理部２１００と画像符号化同期処理部２６００でほぼ等しくなる。実際には、この関係にも揺らぎはあるが、画像圧縮技術の標準規格により、１秒間の符号化画像のビットストリームに利用可能な最大ビット数（最大ビットレート）が規定されており、１秒間に符号化するピクチャ枚数リアルタイム符号化では通常決まっているため、これらの条件の下で符号化画像のビットレートが最大になる場合、ピクチャ間の相関性を用いないピクチャから次のピクチャ間の相関性を用いないピクチャまでの処理時間はビットストリーム符号化処理部２１００と画像符号化同期処理部２６００でほぼ等しくなる。

すなわち、仮にビットストリーム符号化処理部２１００と画像符号化同期処理部２６００を独立に起動できず同期して動作させる場合、１秒間に符号化するピクチャ枚数の都合から全体を画像符号化同期処理部２６００に合わせて動作させる必要があり、ビットストリーム符号化処理部２１００は符号化画像のビットストリームのピクチャ当りのデータ量のピークを１ピクチャの処理時間内に処理可能なよう設計する必要がある。

また、ビットストリーム符号化処理は前から順に処理を行う部分が多く並列処理が困難であり、処理性能を高めるためには通常動作周波数を高くせざるを得ない。この結果、消費電力が多くなることになる。しかしながら、本発明に記したようにビットストリーム符号化処理部２１００と画像符号化同期処理部２６００を独立に起動可能であれば、ビットストリーム符号化処理部２１００のピーク性能を抑制可能になるため、動作周波数を抑制でき、結果消費電力を抑制できる。

また、中間コードを画像復号装置１０００と同様にしており、画像符号化装置１０００と同様に画像符号化装置全体として動作周波数を抑制でき、結果消費電力を抑制できる。

（実施の形態３）
図１１により、本発明の実施の形態３に係る画像復号装置の構成および動作について説明する。図１１は本発明の実施の形態３に係る画像復号装置の構成を示す構成図であり、画像復号装置１０００をシステムＬＳＩに集積する場合の構成を示している。

基本的な構成は実施の形態１の図１に示した画像復号装置１０００と同じであるが、メモリ制御ユニット８００をシステムバスインタフェース８７０に置き換え、システムバス９５０に接続している。また入出力ユニット７００を省略し、全体制御ユニット６００もシステムバスインタフェース８７０に接続している。

システムバス９５０にはメモリインタフェース８５０を接続し、メモリインタフェース８５０経由でメモリ９００に接続している。またシステムバス９５０にはプロセッサ３０００を接続している。

本実施の形態では画像復号装置１０００はメモリ９００を読み書きする際、システムバスインタフェース８７０、システムバス９５０、メモリインタフェース８５０を経由して行う。また全体制御ユニット６００をシステムバスインタフェース８７０に接続しているため、システムバス９５０側からアクセスしてビットストリーム復号処理部１１００、画像復号同期処理部１６００の起動を制御可能である。

プロセッサ３０００はシステムＬＳＩの様々な処理を行うが、画像復号処理においてはシステムバス９５０経由で画像復号装置１０００を制御し、ビットストリーム復号処理部１１００、画像復号同期処理部１６００の起動タイミングを制御したり、また、画像復号処理に必要なメモリ管理を実施したりする。

また、画像符号化装置２０００も同様の方法で、システムＬＳＩに集積することが可能である。

すなわち、画像符号化装置２０００でも、メモリ制御ユニット８００をシステムバスインタフェース８７０に置き換え、システムバス９５０に接続し、入出力ユニット７００を省略し、全体制御ユニット６００をシステムバスインタフェース８７０に接続すればよい。そして、プロセッサ３０００を用いビットストリーム符号化処理部２１００、画像符号化同期処理部２６００の起動タイミングを制御したり、また画像符号化処理に必要なメモリ管理を実施したりする。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明は、画像信号を復号または符号化する画像復号装置および画像符号化装置に関し、動作周波数の低減および低消費電力化が必要な、画像圧縮技術の標準規格に基づく画像符号化装置や画像復号装置を用いたデジタル放送関連機器や映像のデジタル記録再生を行う機器に幅広く適用可能である。

本発明の実施の形態１に係る画像復号装置の構成を示す構成図である。 本発明の実施の形態１に係る画像復号装置の中間コードのビットストリームの構成例を示す図である。 本発明の実施の形態１に係る画像復号装置の中間コードのビットストリームのマクロブロックパラメータセットの構成例を示す図である。 本発明の実施の形態１に係る画像復号装置の中間コードに符号化するレベル情報の構成例を示す図である。 本発明の実施の形態１に係る画像復号装置の指数ゴロム符号の構成を示す図である。 本発明の実施の形態１に係る画像復号装置の指数ゴロム符号のビット列とｃｏｄｅＮｕｍの関係の一部分を示す図である。 本発明の実施の形態１に係る画像復号装置の符号付指数ゴロム符号用のｃｏｄｅＮｕｍと値の関係を示す図である。 本発明の実施の形態１に係る画像復号装置におけるビットストリーム復号処理部と画像復号同期処理部の動作タイミングの関係の例を示す図である 本発明の実施の形態２に係る画像符号化装置の構成を示す構成図である。 本発明の実施の形態２に係る画像符号化装置における画像符号化同期処理部とビットストリーム符号化処理部の動作タイミングの関係の例を示す図である。 本発明の実施の形態３に係る画像復号装置の構成を示す構成図である。

符号の説明

１１０…係数値、１１１…ＲＵＮフラグ、３１０…ピクチャ関連パラメータセット、３２０…マクロブロックパラメータセット１、３２１…基本パラメータセット、３２２…スライスパラメータセット、３２３…オプションパラメータセット１、３２６…オプションパラメータセットｑ、３２７…動きベクトルパラメータセット、３３１…係数パラメータセット、３３２…係数存在ブロック情報、３３３…ブロック１係数セット、３３９…ブロックｍ係数セット、３４１…レベル情報０、３４２…ＲＵＮ（０）、３４７…レベル情報ｐ、３４８…ＲＵＮ（ｐ）、３４９…ＥＯＢ、３７０…マクロブロックパラメータセット２、３９０…マクロブロックパラメータセットｎ、６００…全体制御ユニット、７００…入出力ユニット、８００…メモリ制御ユニット、８５０…メモリインタフェース、８７０…システムバスインタフェース、９００…メモリ、９５０…システムバス、１０００…画像復号装置、１１００…ビットストリーム復号処理部、１２００…符号方式選択式可変長符号復号ユニット、１３００…復号装置構文解析ユニット、１４００…符号方式選択式中間コード符号化ユニットＡ、１６００…画像復号同期処理部、１７００…符号方式選択式中間コード復号ユニットＡ、１８００…復号装置中間コード構文解析ユニット、１９００…画像復号ユニット、２０００…画像符号化装置、２１００…ビットストリーム符号化処理部、２２００…符号方式選択式可変長符号符号化ユニット、２３００…符号化装置構文生成ユニット、２４００…符号方式選択式中間コード復号ユニットＢ、２６００…画像符号化同期処理部、２７００…符号方式選択式中間コード符号化ユニットＢ、２８００…符号化装置中間コード構文生成ユニット、２９００…画像符号化ユニット、３０００…プロセッサ。

Claims (10)

1. 符号化したデータに含まれるパラメータの種類に応じて符号表および符号化形式を選択して利用する画像符号化方法の復号に対応した画像復号装置であって、
   前記符号化したデータのビットストリームを中間形式に変換するビットストリーム処理部と、
   前記中間形式に変換されたデータを復号し、画像データに変換する画像処理部とを備え、
   前記ビットストリーム処理部および前記画像処理部は独立に起動することを特徴とする画像復号装置。
2. 請求項１記載の画像復号装置において、
   前記ビットストリーム処理部および前記画像処理部は、それぞれピクチャに相当する単位で起動することを特徴とする画像復号装置。
3. 請求項１または２記載の画像復号装置において、
   前記ビットストリーム処理部は、前記符号化したデータの構文構成を解析し、パラメータの種類を判別する構文解析部を有したことを特徴とする画像復号装置。
4. 請求項１〜３のいずれか１項記載の画像復号装置において、
   前記中間形式に可変長符号を使用する場合があり、前記可変長符号はプリフィックス、セパレータ、サフィックスの部分で構成し、前記プリフィックスの最大長はパラメータの種類に応じて定めており、前記プリフィックスが前記最大長を超える値を取り扱う場合にはセパレータの値を変更し、前記サフィックスの符号化方法を変更することを特徴とする画像復号装置。
5. 請求項１〜４のいずれか１項記載の画像復号装置を内蔵するシステムＬＳＩであって、
   前記画像復号装置は前記システムＬＳＩの内部バスに接続し、前記システムＬＳＩ内部にはプロセッサが存在し、前記プロセッサにより前記画像復号装置を制御することを特徴とするシステムＬＳＩ。
6. 符号化したデータに含まれるパラメータの種類に応じて符号表および符号化形式を選択して利用する画像符号化方法の符号化に対応した画像符号化装置であって、
   符号化する画像データを中間形式に変換する画像処理部と、
   前記中間形式に変換されたデータを符号化し、ビットストリームに変換するビットストリーム処理部とを備え、
   前記画像処理部と前記ビットストリーム処理部は独立に起動することを特徴とする画像符号化装置。
7. 請求項６記載の画像符号化装置において、
   前記画像処理部および前記ビットストリーム処理部は、それぞれピクチャに相当する単位で起動することを特徴とする画像符号化装置。
8. 請求項６または７記載の画像符号化装置において、
   前記ビットストリーム処理部は、前記符号化するデータの構文構成を生成し、パラメータの種類を判別する構文解析部を有したことを特徴とする画像符号化装置。
9. 請求項６〜８のいずれか１項記載の画像符号化装置において、
   前記中間形式に可変長符号を使用する場合があり、前記可変長符号はプリフィックス、セパレータ、サフィックスの部分で構成し、前記プリフィックスの最大長はパラメータの種類に応じて定めており、前記プリフィックスが前記最大長を超える値を取り扱う場合にはセパレータの値を変更し、前記サフィックスの符号化方法を変更することを特徴とする画像符号化装置。
10. 請求項６〜９のいずれか１項記載の画像符号化装置を内蔵するシステムＬＳＩであって、
    前記画像符号化装置は前記システムＬＳＩの内部バスに接続し、前記システムＬＳＩ内部にはプロセッサが存在し、前記プロセッサにより前記画像符号化装置を制御することを特徴とするシステムＬＳＩ。

Images