JP2009302896A - 画像符号化装置および画像符号化方法 - Google Patents

Abstract

【課題】画面分割の境界部分での画質劣化や符号化効率の低下を招かず、画面分割することで既存の規格よりも高解像度の画像データを、既存の規格に適応した符号化回路で符号化できる画像符号化装置を提供する。
【解決手段】本発明に係る画像符号化装置は、入力画像データをピクチャ毎にｎ個の分割ピクチャに分割する分割手段と、分割ピクチャ毎に第１の符号化を施して第１の符号化情報を記憶する第１符号化手段と、特に分割ピクチャの境界部分のマクロブロックの符号化に必要な符号化情報を決定および／または記憶するローカルデコード画像記憶手段、量子化情報決定記憶手段、イントラ予測情報記憶手段および動きベクトル情報記憶手段と、第１符号化手段から第１の符号化情報を受け取り、その順番を並べ替えて第２の符号化を施して一つの符号化系列に変換する第２符号化手段を備える。
【選択図】図１

Description

本発明は、入力される画像データを圧縮符号化してそのデータ量を削減する画像符号化装置および画像符号化方法に関し、特に、既存の圧縮符号化規格に基づいて処理される画像データよりも高ビット精度の画像データを圧縮符号化する画像符号化装置および画像符号化方法に関する。

現在、薄型で大型のテレビジョン（以下、ＴＶと略す）受像機の普及と共にＴＶの高解像度化が加速しており、近い将来には現行のＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ
ＴｅｌｅＶｉｓｉｏｎ）放送の水平、垂直共に４倍の解像度を有する４Ｋ２Ｋ動画が実現される可能性が高い。また、動画の高解像度化にともなってそのデータ量も増加するため、ＭＰＥＧ２やＭＰＥＧ４ ＡＶＣ／Ｈ．２６４（以下、Ｈ．２６４と略す）等のような高い効率の画像圧縮符号化方式を適用して記録または伝送する方法が取られている。この場合、画像の圧縮符号化処理回路は、非常に大きな回路規模となるため、一般的には大規模ＩＣ（ＬＳＩ）で実現されるが、このようなＬＳＩは、大量に利用される現在主流のＴＶ受像機用として開発されるため、現行ＴＶ放送を超える解像度の動画には基本的に対応できない構成になっている。特に、画像符号化用ＬＳＩでは、画像符号化直前のデータや動き検出で参照するローカルデコード画像データ等を、水平画素数に依存する容量のバッファを内蔵して処理するため、内蔵しているバッファ（内蔵メモリ）の容量などで処理できる水平画素数に制限があり、現行ＴＶ放送を超える解像度を有する画像データを圧縮符号化できないという課題があった。

また、現行ＴＶ放送を超える解像度に対応してより大きい水平画素数に対応させようとすると、より大きな容量の内蔵メモリが必要となり、画像符号化用ＬＳＩの回路規模をさらに増大させてしまうという課題があった。

このような状況の中で、例えば、現行のＴＶ受像機用の画像符号化回路（画像符号化ＬＳＩ）を基本的に活用して、現行のＴＶ放送よりも高い解像度を有する高解像度画像データを高画質で圧縮符号化することができる画像符号化装置や画像符号化方法が望まれていた。

このような課題を解決する従来の画像符号化装置が特許文献１に開示されている。

次に、図５を用いて、特許文献１に開示されている従来の画像符号化装置について説明する。なお、図５は、従来の画像符号化装置の構成を示すブロック図である。

図５において、画像符号化装置５００は、画像データが入力される画像入力部５０１、画像入力部５０１に入力された入力画像データを記憶する入力画像バッファ５０２、入力画像バッファ５０２に記憶された画像データを分割して読み出す画像分割読み出し部５０３、画像分割読み出し部５０３から入力される分割された画像データを圧縮符号化する符号化部５０４、符号化部５０４でそれぞれ符号化された分割画像データを統合する分割統合部５０５、および分割統合部５０５で統合されたデータを出力する出力部５０６で構成されている。

このように構成された画像符号化装置５００において、画像入力部５０１に入力された画像データは、一旦入力画像バッファ５０２に記憶された後、画像分割読み出し部５０３により入力画像バッファ５０２から分割された画像データとして読み出される。画像分割読み出し部５０３により読み出された分割された画像データは、符号化部５０４においてそれぞれ圧縮符号化された後、分割統合部５０５において一つのストリームに統合されて出力部５０６から出力される。

以上のように構成することにより、入力された高解像度の画像データを水平方向に分割し、分割後の水平方向の各画面サイズを、現行ＴＶ放送の解像度画像の水平方向の画面サイズ以下にすることにより、分割した画面毎に現行のＴＶ受像機用の画像符号化処理回路（画像符号化処理ＬＳＩ）を活用して符号化することが可能となり、その結果、現行のＴＶ受像機用の画像符号化処理回路（画像符号化処理ＬＳＩ）を基本的に活用することにより、現行のＴＶ放送よりも高い解像度を有する高解像度画像データを圧縮符号化することが可能となる。

また、特許文献１には１ピクチャ（１画面）を４分割する例が示されているが、単純に画面を分割してそれぞれ独立に符号化すると、画面の境界部分で画像の符号化歪みの差によって縦線上の歪みが発生する。特許文献１においては、このような課題に対して、画面の境界の両側のマクロブロックの量子化幅を同じ値にするなどの対応で画面の境界線上の歪みの発生を抑制する方法が開示されている。さらに、画面を分割して画像の符号化を行うと、他の分割領域のローカルデコード画像を用いた動き検出が困難になるという課題があるが、このような課題に対して、特許文献１においては、境界部分では動き検出を使わないように制限することで対応する方法が開示されている。
特開２００１−２８５８７６号公報

しかしながら、特許文献１に開示されている方法によると、すなわち、画面の境界の両側のマクロブロックの量子化幅を同一にすることによって境界線上の歪みを低減する方法によると、分割画面の境界の両側のマクロブロックでの予測（イントラ予測）が利用できないため、画質の連続性が損なわれて画質劣化が表面化するという課題があった。また、分割画面の境界付近の動き検出を用いた符号化ができないため、画像符号化の効率が大幅に低下し、結果として全体の画質が低下してしまうという課題があった。

本発明は、係る課題を解決するためになされたものであり、例えば、現行のデジタルＴＶ受像機用の画像符号化処理回路（画像符号化処理ＬＳＩ）のように一般的に用いられ多用されている画像符号化処理回路（画像符号化処理ＬＳＩ）を基本的に活用して、例えば、現行のＴＶ放送よりも高い解像度を有する高解像度画像データを高画質で圧縮符号化することが可能な画像符号化装置および画像符号化方法を提供することを目的とする。

上記目的を達成するために、本願の第１の発明の画像符号化装置は、入力画像データのピクチャを分割してマクロブロック単位に圧縮符号化する画像符号化装置であって、前記入力画像データをピクチャ毎に、一つ以上のマクロブロックからなり、マクロブロック単位で水平方向に分割して所定数の分割ピクチャを生成する分割手段と、前記分割ピクチャを順に第１の符号化方法で符号化し、その結果得られた画像圧縮結果と画像圧縮に用いた補助情報とを含む第１の符号化情報を記憶する第１符号化手段と、前記第１符号化手段に記憶されている前記分割ピクチャの第１の符号化情報を受け取り、その順番を並べ替えて第２の符号化を行い、一つの符号化系列に変換する第２符号化手段とを備え、前記第１の符号化手段は、既に第１の符号化方法で符号化した前記分割ピクチャに用いられた符号化情報を、まだ符合化されていない前記分割ピクチャを第１の符号化方法で符号化する際に用いることを特徴とするものである。

また、本願の第２の発明の画像符号化装置は、入力画像データのピクチャを分割してマクロブロック単位に圧縮符号化する画像符号化装置であって、前記入力画像データをピクチャ毎に、一つ以上のマクロブロックからなり、マクロブロック単位で水平方向に分割したｎ個（ｎは自然数）の分割ピクチャＰｉ（ｉは１〜ｎの整数であり、分割前のピクチャに対して左側から右側に順にＰ１〜Ｐｎ）を生成する分割手段と、前記分割ピクチャを、それぞれ第１の符号化方法で符号化し、その結果得られた画像圧縮結果と画像圧縮に用いた補助情報を含む第１の符号化情報を記憶する第１符号化手段と、前記第１符号化手段に記憶されている前記分割ピクチャの第１の符号化情報を受け取り、その順番を並べ替えて第２の符号化を行い、一つの符号化系列に変換する第２符号化手段とを備え、前記第１符号化手段において、分割ピクチャＰｉの符号化の過程で、分割ピクチャＰｉ（ただし、Ｐｎは除く）の各水平ラインの終点位置である右端（以下、右端と称す）のマクロブロックのローカルデコード画像情報を記憶するローカルデコード画像記憶手段と、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端のマクロブロックの量子化情報を記憶し、さらに、当該分割ピクチャの各マクロブロックの量子化情報を記憶する量子化情報決定記憶手段と、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端のマクロブロックがイントラ予測符号化された場合には、当該分割ピクチャＰｉの右端のマクロブロックのイントラ予測符号化情報を記憶するイントラ予測情報記憶手段と、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端のマクロブロックの動きベクトル情報を記憶する動きベクトル情報記憶手段とを含み、前記量子化情報決定記憶手段は、分割ピクチャＰ１を処理する際には、当該分割ピクチャＰ１の最初の水平ライン以外の各水平ラインの先頭位置である左端（以下、左端と称す）のマクロブロックに対して仮の量子化情報を設定し、前記仮の量子化情報を基に当該左端のマクロブロックの量子化情報を決定し、当該左端に続くマクロブロックの量子化情報を順次決定し、前記仮の量子化情報を、分割前のピクチャにおける当該マクロブロックの直前のマクロブロックである、分割ピクチャＰｎの右端のマクロブロックの量子化情報として記憶し、さらに、当該分割ピクチャＰ１の右端の量子化情報を記憶し、分割ピクチャＰｉ（ｎが２以上でｉ＝２〜ｎ−１）を処理する際には、当該量子化情報決定記憶手段に記憶されている分割ピクチャＰｉ−１の右端のマクロブロックの量子化情報を基に、当該分割ピクチャＰｉの左端のマクロブロックの量子化情報を決定して、当該左端に続くマクロブロックの量子化情報を順次決定し、分割ピクチャＰｉの右端のマクロブロックの量子化情報を記憶し、分割ピクチャＰｎを処理する際には、当該量子化情報決定記憶手段に記憶されている分割ピクチャＰｎ−１の右端のマクロブロックの量子化情報を基に、当該分割ピクチャＰｎの左端のマクロブロックの量子化情報を決定するとともに、当該量子化情報決定記憶手段に記憶されている前記仮に設定した当該分割ピクチャＰｎの右端のマクロブロックの量子化情報を基に、当該分割ピクチャＰｎの右端のマクロブロックの量子化情報を決定し、前記イントラ予測情報記憶手段は、分割ピクチャＰ１の符号化の際には、当該分割ピクチャＰ１の右端のマクロブロックがイントラ予測符号化された場合には、当該分割ピクチャＰ１の右端のマクロブロックのイントラ予測符号化情報を記憶し、分割ピクチャＰｉ（ｎが２以上でｉ＝２〜ｎ−１）の符号化の際には、当該イントラ予測情報記憶手段に記憶されている分割ピクチャＰｉ−１の右端のマクロブロックのイントラ予測情報、および前記ローカルデコード画像記憶手段に記憶されている分割ピクチャＰｉ−１の右端のマクロブロックのローカルデコード画像情報を基に、当該分割ピクチャＰｉの左端のマクロブロックをイントラ予測符号化して、当該分割ピクチャＰｉの右端のマクロブロックのイントラ予測情報を記憶し、分割ピクチャＰｎの符号化の際には、前記イントラ予測情報記憶手段に記憶されている分割ピクチャＰｎ−１の右端のマクロブロックのイントラ予測情報、および前記ローカルデコード画像記憶手段に記憶されている分割ピクチャＰｎ−１の右端のマクロブロックのローカルデコード画像情報を基に、当該分割ピクチャＰｎの左端のマクロブロックをイントラ予測符号化し、前記動きベクトル情報記憶手段は、分割ピクチャＰ１の符号化の際には、当該分割ピクチャＰ１の右端のマクロブロックの動きベクトル情報を記憶し、分割ピクチャＰｉ（ｎが２以上でｉ＝２〜ｎ−１）の符号化の際には、当該Ｐｉの符号化の過程で、前記動きベクトル情報記憶手段に記憶されている分割ピクチャＰｉ−１の右端のマクロブロックの動きベクトル情報を基に、分割ピクチャＰｉの左端のマクロブロックの動きベクトル情報を決定して、分割ピクチャＰｉの右端のマクロブロックの動きベクトル情報を記憶し、さらに分割ピクチャＰｎに関しては、前記第１符号化手段における分割ピクチャＰｎの符号化の過程で、前記動きベクトル情報記憶手段に記憶されている分割ピクチャＰｎ−１の右端のマクロブロックの動きベクトル情報を基に、分割ピクチャＰｎの左端のマクロブロックの動きベクトル情報を決定する動きベクトル情報記憶手段と、を備えることを特徴とするものである。

また、本願の第３の発明の画像符号化装置は、本願の第２の発明の画像符合化装置において、前記分割手段は、分割ピクチャにおいて、各水平ラインの左端のマクロブロックの位置は直前の水平ラインの左端のマクロブロックに対して少なくとも１マクロブロック左側に位置するか、または、各水平ラインの右端のマクロブロックの位置は直前の水平ラインの右端のマクロブロックに対して少なくとも１マクロブロック左側に位置することを特徴とするものである。

また、本願の第４の発明の画像符号化装置は、本願の第２の発明の画像符合化装置であって、前記第１符号化手段において、前記ローカルデコード画像記憶手段は、分割ピクチャＰｉの符号化の過程で、分割ピクチャＰｉ（ただし、Ｐｎは除く）の各水平ラインの終点位置である右端（以下、右端と称す）の所定数のマクロブロックのローカルデコード画像情報を記憶し、前記量子化情報決定記憶手段は、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端の所定数のマクロブロックの量子化情報を記憶し、さらに、当該分割ピクチャの各マクロブロックの量子化情報を記憶し、前記イントラ予測情報記憶手段は、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端の所定数のマクロブロックがイントラ予測符号化する場合には、当該所定数のマクロブロックそれぞれについて、それぞれの右上方向のマクロブロックの情報は利用せずにイントラ予測符号化するとともに、イントラ予測符号化情報を記憶し、前記動きベクトル情報記憶手段は、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端の所定数のマクロブロックの動きベクトル情報を決定する場合には、当該所定数のマクロブロックそれぞれについて、右上方向のマクロブロックの情報は利用せずに動きベクトル情報を決定するとともに、動きベクトル情報を記憶し、前記量子化情報決定記憶手段は、分割ピクチャＰ１の処理の際の量子化情報の記憶には、当該分割ピクチャＰ１の右端の所定数の量子化情報を記憶し、分割ピクチャＰｉの処理の際の当該分割ピクチャＰｉの左端のマクロブロックの量子化情報の決定には、分割ピクチャＰｉ−１の右端の所定数のマクロブロックの量子化情報を基に決定し、量子化情報の記憶には当該分割ピクチャＰｉの右端の所定数の量子化情報を記憶し、分割ピクチャＰｎの処理の際の当該分割ピクチャＰｎの左端のマクロブロックの量子化情報の決定には、分割ピクチャＰｎ−１の右端の所定数のマクロブロックの量子化情報を基に決定することを、前記イントラ予測情報記憶手段は、分割ピクチャＰｉの処理の際の当該分割ピクチャＰｉの左端のマクロブロックをイントラ予測符号化には、当該イントラ予測情報記憶手段に記憶されている分割ピクチャＰｉ−１の右端の所定数のイントラ予測情報、および前記ローカルデコード画像記憶手段に記憶されている分割ピクチャＰｉ−１の右端の所定数のマクロブロックのローカルデコード画像情報を基にイントラ予測符号化し、分割ピクチャＰｎの処理の際の当該分割ピクチャＰｎの左端のマクロブロックをイントラ予測符号化には、当該イントラ予測情報記憶手段に記憶されている分割ピクチャＰｎ−１の右端の所定数のイントラ予測情報、および前記ローカルデコード画像記憶手段に記憶されている分割ピクチャＰｎ−１の右端の所定数のマクロブロックのローカルデコード画像情報を基にイントラ予測符号化することを、前記動きベクトル情報記憶手段は、分割ピクチャＰｉの処理の際の当該分割ピクチャＰｉの左端のマクロブロックの動きベクトル情報の決定の際には、当該動きベクトル情報記憶手段に記憶されている分割ピクチャＰｉ−１の右端の所定数のマクロブロックの動きベクトル情報を基に、動きベクトル情報を決定し、分割ピクチャＰｎの処理の際の当該分割ピクチャＰｎの左端のマクロブロックの動きベクトル情報の決定の際には、当該動きベクトル情報記憶手段に記憶されている分割ピクチャＰｎ−１の右端の所定数の動きベクトル情報を基に、動きベクトル情報を決定することを特徴とするものである。

また、本願の第５の発明の画像符号化装置は、本願の第２または第４の発明の画像符合化装置において、前記第２符号化手段における前記第２の符号化は、算術符号化であることを特徴とするものである。

また、本願の第６の発明の画像符号化装置は、本願の第２または第４の発明の画像符合化装置において、前記分割手段において前記入力画像データをピクチャ毎にｎ個（ｎは自然数）の分割ピクチャになるように水平方向にマクロブロック単位でｎ分割する場合、各分割ピクチャおよび各分割ピクチャが参照するピクチャの画像データの水平方向の画素数が、一般的に用いられ、前記入力画像データの水平画素数より少ない水平画素数を有する画像の圧縮符号化規格に基づく画像符号化回路（画像符号化ＬＳＩ）により処理可能な水平画素数になるよう分割することを特徴とするものである。

また、本願の第７の発明の画像符号化方法は、入力画像データのピクチャを分割してマクロブロック単位に圧縮符号化する画像符号化方法であって、前記入力画像データをピクチャ毎に、一つ以上のマクロブロックからなり、マクロブロック単位で水平方向に分割したｎ個（ｎは自然数）の分割ピクチャＰｉ（ｉは１〜ｎの整数であり、分割前のピクチャに対して左側から右側に順にＰ１〜Ｐｎ）を生成する分割ステップと、前記分割ピクチャを、それぞれ第１の符号化方法で符号化し、その結果得られた画像圧縮結果と画像圧縮に用いた補助情報を含む第１の符号化情報を記憶する第１符号化ステップと、前記第１符号化ステップに記憶されている前記分割ピクチャの第１の符号化情報を受け取り、その順番を並べ替えて第２の符号化を行い、一つの符号化系列に変換する第２符号化ステップとを備え、前記第１符号化ステップにおいて、分割ピクチャＰｉの符号化の過程で、分割ピクチャＰｉ（ただし、Ｐｎは除く）の各水平ラインの終点位置である右端（以下、右端と称す）のマクロブロックのローカルデコード画像情報を記憶するローカルデコード画像記憶ステップと、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端のマクロブロックの量子化情報を記憶し、さらに、当該分割ピクチャの各マクロブロックの量子化情報を記憶する量子化情報決定記憶ステップと、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端のマクロブロックがイントラ予測符号化された場合には、当該分割ピクチャＰｉの右端のマクロブロックのイントラ予測符号化情報を記憶するイントラ予測情報記憶ステップと、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端のマクロブロックの動きベクトル情報を記憶する動きベクトル情報記憶ステップとを含み、前記量子化情報決定記憶ステップは、分割ピクチャＰ１を処理する際には、当該分割ピクチャＰ１の最初の水平ライン以外の各水平ラインの先頭位置である左端（以下、左端と称す）のマクロブロックに対して仮の量子化情報を設定し、前記仮の量子化情報を基に当該左端のマクロブロックの量子化情報を決定し、当該左端に続くマクロブロックの量子化情報を順次決定し、前記仮の量子化情報を、分割前のピクチャにおける当該マクロブロックの直前のマクロブロックである、分割ピクチャＰｎの右端のマクロブロックの量子化情報として記憶し、さらに、当該分割ピクチャＰ１の右端の量子化情報を記憶し、分割ピクチャＰｉ（ｎが２以上でｉ＝２〜ｎ−１）を処理する際には、当該量子化情報決定記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端のマクロブロックの量子化情報を基に、当該分割ピクチャＰｉの左端のマクロブロックの量子化情報を決定して、当該左端に続くマクロブロックの量子化情報を順次決定し、分割ピクチャＰｉの右端のマクロブロックの量子化情報を記憶し、分割ピクチャＰｎを処理する際には、当該量子化情報決定記憶ステップにおいて記憶されている分割ピクチャＰｎ−１の右端のマクロブロックの量子化情報を基に、当該分割ピクチャＰｎの左端のマクロブロックの量子化情報を決定するとともに、当該量子化情報決定記憶ステップにおいて記憶されている前記仮に設定した当該分割ピクチャＰｎの右端のマクロブロックの量子化情報を基に、当該分割ピクチャＰｎの右端のマクロブロックの量子化情報を決定し、前記イントラ予測情報記憶ステップは、分割ピクチャＰ１の符号化の際には、当該分割ピクチャＰ１の右端のマクロブロックがイントラ予測符号化された場合には、当該分割ピクチャＰ１の右端のマクロブロックのイントラ予測符号化情報を記憶し、分割ピクチャＰｉ（ｎが２以上でｉ＝２〜ｎ−１）の符号化の際には、当該イントラ予測情報記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端のマクロブロックのイントラ予測情報、および前記ローカルデコード画像記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端のマクロブロックのローカルデコード画像情報を基に、当該分割ピクチャＰｉの左端のマクロブロックをイントラ予測符号化して、当該分割ピクチャＰｉの右端のマクロブロックのイントラ予測情報を記憶し、分割ピクチャＰｎの符号化の際には、前記イントラ予測情報記憶ステップにおいて記憶されている分割ピクチャＰｎ−１の右端のマクロブロックのイントラ予測情報、および前記ローカルデコード画像記憶ステップにおいて記憶されている分割ピクチャＰｎ−１の右端のマクロブロックのローカルデコード画像情報を基に、当該分割ピクチャＰｎの左端のマクロブロックをイントラ予測符号化し、前記動きベクトル情報記憶ステップは、分割ピクチャＰ１の符号化の際には、当該分割ピクチャＰ１の右端のマクロブロックの動きベクトル情報を記憶し、分割ピクチャＰｉ（ｎが２以上でｉ＝２〜ｎ−１）の符号化の際には、当該Ｐｉの符号化の過程で、前記動きベクトル情報記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端のマクロブロックの動きベクトル情報を基に、分割ピクチャＰｉの左端のマクロブロックの動きベクトル情報を決定して、分割ピクチャＰｉの右端のマクロブロックの動きベクトル情報を記憶し、さらに分割ピクチャＰｎに関しては、前記第１符号化ステップにおける分割ピクチャＰｎの符号化の過程で、前記動きベクトル情報記憶ステップにおいて記憶されている分割ピクチャＰｎ−１の右端のマクロブロックの動きベクトル情報を基に、分割ピクチャＰｎの左端のマクロブロックの動きベクトル情報を決定する動きベクトル情報記憶ステップと、を備えることを特徴とするものである。

また、本願の第８の発明の画像符号化方法は、本願の第７の発明の画像符合化方法であって、前記第１符号化ステップにおいて、前記ローカルデコード画像記憶ステップは、分割ピクチャＰｉの符号化の過程で、分割ピクチャＰｉ（ただし、Ｐｎは除く）の各水平ラインの終点位置である右端（以下、右端と称す）の所定数のマクロブロックのローカルデコード画像情報を記憶し、前記量子化情報決定記憶ステップは、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端の所定数のマクロブロックの量子化情報を記憶し、さらに、当該分割ピクチャの各マクロブロックの量子化情報を記憶し、前記イントラ予測情報記憶ステップは、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端の所定数のマクロブロックがイントラ予測符号化する場合には、当該所定数のマクロブロックそれぞれについて、それぞれの右上方向のマクロブロックの情報は利用せずにイントラ予測符号化するとともに、イントラ予測符号化情報を記憶し、前記動きベクトル情報記憶ステップは、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端の所定数のマクロブロックの動きベクトル情報を決定する場合には、当該所定数のマクロブロックそれぞれについて、右上方向のマクロブロックの情報は利用せずに動きベクトル情報を決定するとともに、動きベクトル情報を記憶し、前記量子化情報決定記憶ステップは、分割ピクチャＰ１の処理の際の量子化情報の記憶には、当該分割ピクチャＰ１の右端の所定数の量子化情報を記憶し、分割ピクチャＰｉの処理の際の当該分割ピクチャＰｉの左端のマクロブロックの量子化情報の決定には、分割ピクチャＰｉ−１の右端の所定数のマクロブロックの量子化情報を基に決定し、量子化情報の記憶には当該分割ピクチャＰｉの右端の所定数の量子化情報を記憶し、分割ピクチャＰｎの処理の際の当該分割ピクチャＰｎの左端のマクロブロックの量子化情報の決定には、分割ピクチャＰｎ−１の右端の所定数のマクロブロックの量子化情報を基に決定することを、前記イントラ予測情報記憶ステップは、分割ピクチャＰｉの処理の際の当該分割ピクチャＰｉの左端のマクロブロックをイントラ予測符号化には、当該イントラ予測情報記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端の所定数のイントラ予測情報、および前記ローカルデコード画像記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端の所定数のマクロブロックのローカルデコード画像情報を基にイントラ予測符号化し、分割ピクチャＰｎの処理の際の当該分割ピクチャＰｎの左端のマクロブロックをイントラ予測符号化には、当該イントラ予測情報記憶ステップにおいて記憶されている分割ピクチャＰｎ−１の右端の所定数のイントラ予測情報、および前記ローカルデコード画像記憶ステップに記憶されている分割ピクチャＰｎ−１の右端の所定数のマクロブロックのローカルデコード画像情報を基にイントラ予測符号化することを、前記動きベクトル情報記憶ステップは、分割ピクチャＰｉの処理の際の当該分割ピクチャＰｉの左端のマクロブロックの動きベクトル情報の決定の際には、当該動きベクトル情報記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端の所定数のマクロブロックの動きベクトル情報を基に、動きベクトル情報を決定し、分割ピクチャＰｎの処理の際の当該分割ピクチャＰｎの左端のマクロブロックの動きベクトル情報の決定の際には、当該動きベクトル情報記憶ステップにおいて記憶されている分割ピクチャＰｎ−１の右端の所定数の動きベクトル情報を基に、動きベクトル情報を決定することを特徴とするものである。

本発明によれば、通常の放送方式の符号化規格などにおける画像データよりも高解像度の画像データを符号化処理する場合、１ピクチャを水平方向にｎ個の分割ピクチャに分割してから符号化することにより、分割ピクチャの符号化すべき水平画素数を通常の放送方式の符号化規格などの水平画素数以下に低減でき、通常の放送方式の符号化規格などに適応する符号化回路（符号化ＬＳＩ）における内蔵メモリ量等を増加させずに符号化処理を実行できるため、回路規模を大幅に低減できる。また、ピクチャを分割して符号化するにも関わらず、出力される符号化結果は、分割されていないものを符号化した場合と同等になり、符号化規格を満たすことができる。更に、動きベクトル符号化やイントラ予測符号化における分割ブロック境界の影響を殆どなくすことができるため、分割による符号化効率の劣化も殆ど発生しない。

以下に、本発明を実施するための最良の形態について、図面を参照して説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。

図１において、本発明の実施の形態１に係る画像符号化装置１００は、画像入力部１０１、入力画像バッファ１０２、画像分割読み出し部１０３、符号化周辺情報バッファ１０４、第１符号化部１０５、符号化情報バッファ１０６、第２符号化部１０７および出力部１０８で構成されている。

なお、特許請求の範囲の請求項１に記載の各手段と、図１に示す画像符号化装置１００における各構成要素（構成ブロック）との関係を以下に示す。

入力画像バッファ１０２および画像分割読み出し部１０３は入力画像データを水平方向に分割する分割手段を構成する。また、第１符号化部１０５、符号化周辺情報バッファ１０４および符号化情報バッファ１０６は第１符号化手段を構成する。符号化周辺情報バッファ１０４は、また、ローカルデコード画像記憶手段を構成する。また、符号化周辺情報バッファ１０４および第１符号化部１０５は量子化情報決定記憶手段を構成する。また、符号化周辺情報バッファ１０４、第１符号化部１０５および符号化情報バッファ１０６はイントラ予測情報記憶手段を構成する。符号化周辺情報バッファ１０４、第１符号化部１０５および符号化情報バッファ１０６は、また、動きベクトル情報記憶手段を構成する。さらに、符号化情報バッファ１０６および第２符号化部１０７は第２符号化手段を構成する。

次に、以上のように構成された画像符号化装置１００の動作について説明する。

画像入力部１０１に入力された入力画像データは、まず、入力画像バッファ１０２に記憶された後、画像分割読み出し部１０３により水平方向に分割された画像データとして読み出される。

図２は、この場合の画像データを分割する方法の一例を示す図であり、水平画素数が３８４０画素の１ピクチャ（画面）を水平方向に３つの分割ピクチャに分割する例を示している。

図２において、（Ｉ）、（II）および（III）は各分割ピクチャのデータの形状と符号化の順番を表しており、また、（Ｉ）、（II）および（III）における分割前の１ピクチャの水平画素数（図２における長方形の横方向の画素数）が３８４０画素であることを示している。以下の説明においては、画像分割読み出し部１０３が入力画像バッファ１０２に記憶されている画像データを分割された画像データとして読み出す方法は、図２に示される分割方法であるものとする。

図１において、画像分割読み出し部１０３は、入力画像バッファ１０２に記憶されている画像データを水平方向に３つの分割ピクチャに分割して読み出すが、まず、図２の（Ｉ）に示されるように、分割ピクチャの画面上で矢印に従って上部から下部に向けて水平ライン毎にマクロブロック単位で読み出し、その読み出した分割ピクチャのデータを第１符号化部１０５に出力する。第１符号化部１０５は、画像分割読み出し部１０３から入力された分割ピクチャのデータに第１の符号化処理を行い、その結果得られた画像圧縮結果や圧縮に用いた補助情報などの第１の符号化情報を符号化情報バッファ１０６に出力し、符号化情報バッファ１０６は第１符号化部１０５から入力された第１の符号化情報を記憶する。

第１の符号化処理に関しては、まず、図２の（Ｉ）の最上部左端のマクロブロックから第１の符号化処理を始め、次に、その右隣方向にマクロブロック単位で第１の符号化処理を進める。分割ピクチャの各水平ラインの右端のマクロブロック（図２の（Ｉ）における各水平ラインの右端の右下がり斜線で示される矩形部分）については、第１の符号化処理と並行して、該マクロブロックに対するローカルデコード画像データ、動きベクトル値および量子化情報等の符号化周辺情報を符号化周辺情報バッファ１０４に記憶する。また、分割ピクチャの最上部以外のラインの各左端のマクロブロック（図２の（Ｉ）における最上部以外の各ラインの左端の左下がり斜線で示される矩形部分）については、第１の符号化処理と並行して該マクロブロックに対する量子化情報を符号化周辺情報バッファ１０４に記憶する。

さて、本発明の実施の形態１においては、図２の（Ｉ）に示すように、分割ピクチャの各水平ラインの右端のマクロブロック（図２の（Ｉ）における各水平ラインの右端の右下がり斜線で示される矩形部分）の位置は、分割ピクチャの画面上の下部の水平ラインになるに従って左側に移動する。Ｈ．２６４圧縮符号化方式においては、動きベクトルおよびイントラ予測等でマクロブロックを符号化する場合、符号化対象のマクロブロックの右上方向に位置するマクロブロックの符号化情報等が必要になるが、左側から１番目の分割ピクチャのデータを図２の（Ｉ）に示すような構成にすることにより、左側から１番目の分割ピクチャ内の全てのマクロブロックの符号化が可能となる。

次に、図２の（II）を用いて、左側から２番目の分割ピクチャの符号化について説明する。

図２の（II）において、図２の（Ｉ）に示される左側から１番目の分割ピクチャにおいて符号化された各ラインの右端のマクロブロック（図２の（II）における各ラインの右端の左下がり斜線で示される矩形部分）の符号化情報や、符号化周辺情報バッファ１０４から読み出した量子化情報などの符号化周辺情報、または符号化情報バッファ１０６から読み出した第１の符号化情報などの情報を、左側から１番目の分割ピクチャにおいて符号化された各水平ラインの右端のマクロブロックの右側に隣接または下側に隣接しているマクロブロックの第１の符号化に利用する。これらの情報は、Ｈ．２６４圧縮符号化方式においては、動きベクトルおよびイントラ予測等を用いた符号化に利用される。なお、これらの情報の中で、図２の（II）に示される左側から２番目の分割ピクチャで利用できない符号化に関する情報がある場合には、その利用できない情報を用いない予測方法を用いて第１の符号化を行うことになる。

次に、図２の（III）を用いて、左側から２番目の分割ピクチャの場合と同様に左側から３番目の分割ピクチャの符号化について説明する。

図２の（III）において、左側から３番目の分割ピクチャの各水平ラインの左端のマクロブロック（図２の（II）に示す左側から２番目の分割ピクチャの各水平ラインの右端の左下がり斜線で示される矩形部分の右側にそれぞれ隣接するマクロブロック）については、図２の（II）に示す左側から２番目の分割ピクチャの符号化時に符号化周辺情報バッファ１０４、または符号化情報バッファ１０６に記録されている左側から２番目の分割ピクチャの符号化に関する情報を用いて第１の符号化を行う。また、図２の（III）に示す各水平ラインの右端のマクロブロックの符号化においては、図２の（Ｉ）に示す各水平ラインの左端のマクロブロックの量子化情報を符号化周辺情報バッファ１０４から読み出し、図２の（III）に示す各水平ラインの右端のマクロブロックの量子化情報を決定する。このように構成することにより、分割前のピクチャの右端の量子化情報と左端の量子化情報の連続性を保つことが可能となる。

このように、画像分割読み出し部１０３から出力された各分割ピクチャは第１符号化部１０５において第１の符号化処理がなされ、その結果得られた画像圧縮結果や圧縮に用いた補助情報などの第１の符号化情報が符号化情報バッファ１０６に記憶される。

第２符号化部１０７は、符号化情報バッファ１０６に記憶された第１の符号化情報を読み出し、読み出した第１の符号化情報を基にして、第１の符号化が施された分割ピクチャのデータを符号化の規格に合わせた順番に並べて算術符号化した後、出力部１０８から出力する。

以上のように構成することにより、ピクチャを分割して符号化するにも関わらず、出力される符号化データは、ピクチャを分割せずに符号化したデータと同等になり、符号化の規格を満たすことができる。また、動きベクトル符号化やイントラ予測符号化における分割ブロック境界の影響が殆ど無いため、分割による符号化効率の劣化も殆ど発生しない。

したがって、分割画面の境界の両側のマクロブロックでの予測（イントラ予測）が利用できるため、画質の連続性をほぼ保つことができ画質劣化を抑えることができる。また、分割画面の境界付近の動き検出を用いた符号化ができるため、画像符号化の効率が低下することを抑えることができ、結果として全体の画質の低下を抑制することができる。

さらに、図２の（Ｉ）、（II）および（III）に示すように、各分割ピクチャの符号化すべき水平画素数は、それぞれ通常のＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＴＶ）放送の水平画素数である１９２０画素以下に収まっているため、各分割ピクチャの符号化に際して、現行のＨＤＴＶ放送用の画像符号化回路や画像符号化ＬＳＩを若干変更することで活用することができるので、現行のＨＤＴＶ放送用の画像符号化処理回路や画像符号化処理ＬＳＩを基本的に活用して、現行のＨＤＴＶ放送よりも高い解像度を有する高解像度画像データを高画質で圧縮符号化することが可能な画像符号化装置を提供することができる。

（実施の形態２）
図３は、本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。

図３において、本発明の実施の形態２に係る画像符号化装置２００は、図１に示す本発明の実施の形態１に係る画像符号化装置１００が具備する各構成要素（ブロック）の内、入力画像バッファ１０２のみが入力画像・参照画像バッファ２０２に置き換えられた構成となっており、入力画像・参照画像バッファ２０２以外の各構成要素は、画像符号化装置１００が具備する入力画像バッファ１０２以外の各構成要素とほぼ同様の処理を行う構成要素で構成されている。なお、図１とほぼ同様の構成要素については同じ符号を付し、ここでは説明を省略する。

また、特許請求の範囲の請求項４に記載の各手段と、図３に示す画像符号化装置２００における各構成要素（構成ブロック）との関係を以下に示す。

入力画像・参照画像バッファ２０２および画像分割読み出し部１０３は入力画像データを水平方向に分割する分割手段を構成する。また、第１符号化部１０５、符号化周辺情報バッファ１０４および符号化情報バッファ１０６は第１符号化手段を構成する。符号化周辺情報バッファ１０４は、また、ローカルデコード画像記憶手段を構成する。また、符号化周辺情報バッファ１０４および第１符号化部１０５は量子化情報決定記憶手段を構成する。また、符号化周辺情報バッファ１０４、第１符号化部１０５および符号化情報バッファ１０６はイントラ予測情報記憶手段を構成する。符号化周辺情報バッファ１０４、第１符号化部１０５および符号化情報バッファ１０６は、また、動きベクトル情報記憶手段を構成する。さらに、符号化情報バッファ１０６および第２符号化部１０７は第２符号化手段を構成する。

図３において、画像入力部１０１から出力された入力画像データは、まず、入力画像・参照画像バッファ２０２に入力され記憶される。入力画像・参照画像バッファ２０２に記憶された入力画像データは、画像分割読み出し部１０３により水平方向に分割された画像データとして読み出された後、本発明の実施の形態１とほぼ同様の符号化の処理を施される。

次に、図４を用いて、画像分割読み出し部１０３が、入力画像・参照画像バッファ２０２に記憶された入力画像データを分割された画像データとして読み出す場合の分割方法について説明する。なお、図４は、本発明の実施の形態２における分割方法の一例を示す図である。

図４において、一つのピクチャは本発明の実施の形態１における図２に示す分割方法の一例と同様に３つの分割ピクチャ（Ｐ１〜Ｐ３）に分割されている（図４の上段部参照）が、それぞれの分割ピクチャは、一部のマクロブロック（図４の例では１マクロブロック）がオーバーラップした形で分割され符号化されている（図４の中断部参照）ことが、図２に示す例とは異なっている。また、分割された符号化ピクチャと一緒に、動き補償に用いるローカルデコード画像ピクチャもオーバーラップして分割されている（図４の下段部参照）。

以上のように、図４に示す分割方法においては、符号化すべき分割ピクチャの範囲を含む動き参照範囲を設定している。このように分割された符号化ピクチャに対応して動き参照ピクチャを分割し、分割した符号化ピクチャおよび動き参照ピクチャの水平画素数を、既存のＨＤＴＶ放送の水平画素数である１９２０画素以下に抑えることにより、動き検出時のメモリアクセスを低減するためのメモリ量を、ＨＤＴＶ放送用のメモリ量と同じメモリ量で実現することが可能になる。

また、図４に示す分割方法においては、各分割ピクチャの左端および右端のマクロブロックの位置が、図２に示す分割方法の場合と異なり上下方向で同じになっているが、このため、第１符号化部１０５は、各水平ラインとも右端から左方向に２番目までのマクロブロックの符号化を行い、各水平ラインの右端のマクロブロック（図４の中断部に示す分割ピクチャの右下がり斜線部分）については動きベクトルの導出のみを行う。このように処理することにより、第１符号化部１０５は、符号化対象となっているマクロブロックの右上のマクロブロックの動きベクトルが存在するため、符号化対象のマクロブロックに対して動きベクトルの符号化を施すことが可能となる。

また、イントラ予測については、右上のマクロブロックのローカルデコード画像が決定されていない可能性があるが、右上のマクロブロックのローカルデコード画像が決定されていない場合は、右上からのイントラ予測を利用しないようにする。

ここで、各水平ラインの右端から左方向に２番目のマクロブロックのローカルデコード画像データ、量子化情報およびイントラ予測情報と、各ラインの右端のマクロブロックおよび右端から左方向に２番目までのマクロブロックの動きベクトル情報を符号化周辺情報バッファ１０４に記憶する。更に、左側から１番目の分割ピクチャ（図４における分割ピクチャＰ１）においては、本発明の実施の形態１の場合と同様に、先頭水平ライン以外の各水平ラインの左端のマクロブロックの量子化情報を符号化周辺情報バッファ１０４に記憶する。

次に、左側から１番目の分割ピクチャ以外の分割ピクチャ（図４における分割ピクチャＰ２およびＰ３）については、第１符号化部１０５において、符号化周辺情報バッファ１０４に記憶された左側に隣接する分割ピクチャ（図４において、Ｐ２の場合はＰ１、Ｐ３の場合はＰ２が左側に隣接する分割ピクチャ）の右端付近の符号化情報等を読み出して符号化を行う。

また、左側から１番目の分割ピクチャ以外の分割ピクチャ（図４における分割ピクチャＰ２およびＰ３）における最初のマクロブロックについては、左側に隣接する分割ピクチャで検出された動きベクトル情報をそのまま利用する。このように処理することにより、左側に隣接する分割ピクチャとの連続性を保つことができ、符号化方式の規格に合った符号化を行うことが可能となる。

このように、第１符号化部１０５において各分割ピクチャに対して第１の符号化処理が施され、その結果得られた画像圧縮結果や画像圧縮に用いた補助情報などの第１の符号化情報は、分割ピクチャ毎に一旦符号化情報バッファ１０６に記憶され、符号化情報バッファ１０６に記憶された第１の符号化情報は、第２符号化部１０７において該第１の符号化情報を基にして、その順番を符号化方式の規格に合わせた順番に並べ替えて算術符号化された後、出力部１０８から出力される。

以上のように構成することにより、ピクチャを分割して符号化する方法を取っているにも関わらず、出力される符号化データは、ピクチャを分割せずに符号化した場合のデータと同等になり、符号化方式の規格に準拠した符号化データを得ることができる。また、分割画面の境界の両側のマクロブロックでの予測（イントラ予測）が利用できるため、画質の連続性をほぼ保つことができ画質劣化を抑えることができる。また、分割画面の境界付近の動き検出を用いた符号化ができるため、画像符号化の効率が低下するのを抑えることができ、結果として全体の画質の低下を抑圧することができる。

さらに、各分割ピクチャ（図４におけるＰ１〜Ｐ３）の符号化すべき水平画素数は、それぞれ通常のＨＤＴＶ放送の水平画素数である１９２０画素以下に収まっているため、各分割ピクチャの符号化に際して、現行のＨＤＴＶ放送用の画像符号化回路や画像符号化ＬＳＩを活用することができるので、現行のＨＤＴＶ放送用の画像符号化処理回路や画像符号化処理ＬＳＩを基本的に活用して、現行のＨＤＴＶ放送よりも高い解像度を有する高解像度画像データを高画質で圧縮符号化することが可能な画像符号化装置を提供することができる。

なお、本発明の実施の形態２においては、図４に示すように、隣接する分割ピクチャ間でのオーバーラップが１マクロブロック分の場合を例に挙げて説明したが、分割ピクチャ間でのオーバーラップは１マクロブロック分に限るものではなく、２以上のマクロブロック分であってもかまわない。また、分割ピクチャ間でのオーバーラップのさせ方や符号化情報の利用の仕方などについても、本発明の実施の形態２における実施例に限るものではなく、様々な方法が適用可能である。

また、本発明の実施の形態１および２においては、ＨＤＴＶ放送の場合を例に挙げて説明したがこれに限るものではなく、例えば、伝送方式あるいは記録方式が決定されている既存の放送規格や記録規格よりも高ビット精度の画像を、既存の放送規格や記録規格の画像圧縮符号化方式に基づいて処理を行う画像符号化ＬＳＩなどの画像符号化回路を用いて処理する場合にも適応することができる。

また、本発明は、本発明の実施の形態１または２における各部などの構成要素を備える画像符号化装置として提供することができるばかりでなく、この画像符号化装置としての機能を大規模集積回路の一部の機能として実装することも可能である。さらに、この画像符号化装置が具備する各構成要素を各ステップとする画像符号化方法、およびその画像符号化方法をコンピュータに実行させる画像符号化プログラムとして提供することも可能である。そして、その画像符号化プログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体やインターネットなどの通信ネットワークを介して流通させることができる。

本発明に係る画像符号化装置および画像符号化方法は、デジタルテレビ、デジタルカメラ、デジタルビデオカメラおよびデジタルビデオレコーダなどに実装される符号化装置および符号化方法として有用であり、特に、伝送方式または記録方式が決定されている既存の放送規格または記録規格に対して互換性を保ったまま、既存の放送規格または記録規格よりも高ビット精度の画像データを記録再生処理できるデジタルビデオカメラおよびデジタルビデオレコーダに実装される装置に適している。

本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図 本発明の実施の形態１における画像データを分割する方法の一例を示す図 本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図 本発明の実施の形態２における画像データを分割する方法の一例を示す図 従来の画像符号化装置の構成を示すブロック図

符号の説明

１００ 画像符号化装置
１０１ 画像入力部
１０２ 入力画像バッファ
１０３ 画像分割読み出し部
１０４ 符号化周辺情報バッファ
１０５ 第１符号化部
１０６ 符号化情報バッファ
１０７ 第２符号化部
１０８ 出力部
２００ 画像符号化装置
２０２ 入力画像・参照画像バッファ
５０１ 画像入力部
５０２ 入力画像バッファ
５０３ 画像分割読み出し部
５０４ 符号化部
５０５ 分割統合部
５０６ 出力部

Claims (8)

1. 入力画像データのピクチャを分割してマクロブロック単位に圧縮符号化する画像符号化装置であって、
   前記入力画像データをピクチャ毎に、一つ以上のマクロブロックからなり、マクロブロック単位で水平方向に分割して所定数の分割ピクチャを生成する分割手段と、
   前記分割ピクチャを順に第１の符号化方法で符号化し、その結果得られた画像圧縮結果と画像圧縮に用いた補助情報とを含む第１の符号化情報を記憶する第１符号化手段と、
   前記第１符号化手段に記憶されている前記分割ピクチャの第１の符号化情報を受け取り、その順番を並べ替えて第２の符号化を行い、一つの符号化系列に変換する第２符号化手段とを備え、
   前記第１の符号化手段は、既に第１の符号化方法で符号化した前記分割ピクチャに用いられた符号化情報を、まだ符合化されていない前記分割ピクチャを第１の符号化方法で符号化する際に用いることを特徴とする画像符号化装置。
2. 入力画像データのピクチャを分割してマクロブロック単位に圧縮符号化する画像符号化装置であって、
   前記入力画像データをピクチャ毎に、一つ以上のマクロブロックからなり、マクロブロック単位で水平方向に分割したｎ個（ｎは自然数）の分割ピクチャＰｉ（ｉは１〜ｎの整数であり、分割前のピクチャに対して左側から右側に順にＰ１〜Ｐｎ）を生成する分割手段と、
   前記分割ピクチャを、それぞれ第１の符号化方法で符号化し、その結果得られた画像圧縮結果と画像圧縮に用いた補助情報を含む第１の符号化情報を記憶する第１符号化手段と、
   前記第１符号化手段に記憶されている前記分割ピクチャの第１の符号化情報を受け取り、その順番を並べ替えて第２の符号化を行い、一つの符号化系列に変換する第２符号化手段とを備え、
   前記第１符号化手段において、
   分割ピクチャＰｉの符号化の過程で、分割ピクチャＰｉ（ただし、Ｐｎは除く）の各水平ラインの終点位置である右端（以下、右端と称す）のマクロブロックのローカルデコード画像情報を記憶するローカルデコード画像記憶手段と、
   分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端のマクロブロックの量子化情報を記憶し、さらに、当該分割ピクチャの各マクロブロックの量子化情報を記憶する量子化情報決定記憶手段と、
   分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端のマクロブロックがイントラ予測符号化された場合には、当該分割ピクチャＰｉの右端のマクロブロックのイントラ予測符号化情報を記憶するイントラ予測情報記憶手段と、
   分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端のマクロブロックの動きベクトル情報を記憶する動きベクトル情報記憶手段とを含み、
   前記量子化情報決定記憶手段は、
   分割ピクチャＰ１を処理する際には、
   当該分割ピクチャＰ１の最初の水平ライン以外の各水平ラインの先頭位置である左端（以下、左端と称す）のマクロブロックに対して仮の量子化情報を設定し、
   前記仮の量子化情報を基に当該左端のマクロブロックの量子化情報を決定し、当該左端に続くマクロブロックの量子化情報を順次決定し、
   前記仮の量子化情報を、分割前のピクチャにおける当該マクロブロックの直前のマクロブロックである、分割ピクチャＰｎの右端のマクロブロックの量子化情報として記憶し、さらに、当該分割ピクチャＰ１の右端の量子化情報を記憶し、
   分割ピクチャＰｉ（ｎが２以上でｉ＝２〜ｎ−１）を処理する際には、
   当該量子化情報決定記憶手段に記憶されている分割ピクチャＰｉ−１の右端のマクロブロックの量子化情報を基に、当該分割ピクチャＰｉの左端のマクロブロックの量子化情報を決定して、当該左端に続くマクロブロックの量子化情報を順次決定し、分割ピクチャＰｉの右端のマクロブロックの量子化情報を記憶し、
   分割ピクチャＰｎを処理する際には、
   当該量子化情報決定記憶手段に記憶されている分割ピクチャＰｎ−１の右端のマクロブロックの量子化情報を基に、当該分割ピクチャＰｎの左端のマクロブロックの量子化情報を決定するとともに、当該量子化情報決定記憶手段に記憶されている前記仮に設定した当該分割ピクチャＰｎの右端のマクロブロックの量子化情報を基に、当該分割ピクチャＰｎの右端のマクロブロックの量子化情報を決定し、
   前記イントラ予測情報記憶手段は、
   分割ピクチャＰ１の符号化の際には、
   当該分割ピクチャＰ１の右端のマクロブロックがイントラ予測符号化された場合には、当該分割ピクチャＰ１の右端のマクロブロックのイントラ予測符号化情報を記憶し、
   分割ピクチャＰｉ（ｎが２以上でｉ＝２〜ｎ−１）の符号化の際には、
   当該イントラ予測情報記憶手段に記憶されている分割ピクチャＰｉ−１の右端のマクロブロックのイントラ予測情報、および前記ローカルデコード画像記憶手段に記憶されている分割ピクチャＰｉ−１の右端のマクロブロックのローカルデコード画像情報を基に、当該分割ピクチャＰｉの左端のマクロブロックをイントラ予測符号化して、当該分割ピクチャＰｉの右端のマクロブロックのイントラ予測情報を記憶し、
   分割ピクチャＰｎの符号化の際には、
   前記イントラ予測情報記憶手段に記憶されている分割ピクチャＰｎ−１の右端のマクロブロックのイントラ予測情報、および前記ローカルデコード画像記憶手段に記憶されている分割ピクチャＰｎ−１の右端のマクロブロックのローカルデコード画像情報を基に、当該分割ピクチャＰｎの左端のマクロブロックをイントラ予測符号化し、
   前記動きベクトル情報記憶手段は、
   分割ピクチャＰ１の符号化の際には、
   当該分割ピクチャＰ１の右端のマクロブロックの動きベクトル情報を記憶し、
   分割ピクチャＰｉ（ｎが２以上でｉ＝２〜ｎ−１）の符号化の際には、
   当該Ｐｉの符号化の過程で、前記動きベクトル情報記憶手段に記憶されている分割ピクチャＰｉ−１の右端のマクロブロックの動きベクトル情報を基に、分割ピクチャＰｉの左端のマクロブロックの動きベクトル情報を決定して、分割ピクチャＰｉの右端のマクロブロックの動きベクトル情報を記憶し、さらに分割ピクチャＰｎに関しては、前記第１符号化手段における分割ピクチャＰｎの符号化の過程で、前記動きベクトル情報記憶手段に記憶されている分割ピクチャＰｎ−１の右端のマクロブロックの動きベクトル情報を基に、分割ピクチャＰｎの左端のマクロブロックの動きベクトル情報を決定する動きベクトル情報記憶手段と、
   を備えることを特徴とする画像符号化装置。
3. 前記分割手段は、分割ピクチャにおいて、各水平ラインの左端のマクロブロックの位置は直前の水平ラインの左端のマクロブロックに対して少なくとも１マクロブロック左側に位置するか、または、各水平ラインの右端のマクロブロックの位置は直前の水平ラインの右端のマクロブロックに対して少なくとも１マクロブロック左側に位置することを特徴とする請求項２記載の画像符号化装置。
4. 請求項２記載の画像符号化装置であって、
   前記第１符号化手段において、
   前記ローカルデコード画像記憶手段は、分割ピクチャＰｉの符号化の過程で、分割ピクチャＰｉ（ただし、Ｐｎは除く）の各水平ラインの終点位置である右端（以下、右端と称す）の所定数のマクロブロックのローカルデコード画像情報を記憶し、
   前記量子化情報決定記憶手段は、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端の所定数のマクロブロックの量子化情報を記憶し、さらに、当該分割ピクチャの各マクロブロックの量子化情報を記憶し、
   前記イントラ予測情報記憶手段は、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端の所定数のマクロブロックがイントラ予測符号化する場合には、当該所定数のマクロブロックそれぞれについて、それぞれの右上方向のマクロブロックの情報は利用せずにイントラ予測符号化するとともに、イントラ予測符号化情報を記憶し、
   前記動きベクトル情報記憶手段は、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端の所定数のマクロブロックの動きベクトル情報を決定する場合には、当該所定数のマクロブロックそれぞれについて、右上方向のマクロブロックの情報は利用せずに動きベクトル情報を決定するとともに、動きベクトル情報を記憶し、
   前記量子化情報決定記憶手段は、
   分割ピクチャＰ１の処理の際の量子化情報の記憶には、当該分割ピクチャＰ１の右端の所定数の量子化情報を記憶し、
   分割ピクチャＰｉの処理の際の当該分割ピクチャＰｉの左端のマクロブロックの量子化情報の決定には、分割ピクチャＰｉ−１の右端の所定数のマクロブロックの量子化情報を基に決定し、量子化情報の記憶には当該分割ピクチャＰｉの右端の所定数の量子化情報を記憶し、
   分割ピクチャＰｎの処理の際の当該分割ピクチャＰｎの左端のマクロブロックの量子化情報の決定には、分割ピクチャＰｎ−１の右端の所定数のマクロブロックの量子化情報を基に決定することを、
   前記イントラ予測情報記憶手段は、
   分割ピクチャＰｉの処理の際の当該分割ピクチャＰｉの左端のマクロブロックのイントラ予測符号化には、当該イントラ予測情報記憶手段に記憶されている分割ピクチャＰｉ−１の右端の所定数のイントラ予測情報、および前記ローカルデコード画像記憶手段に記憶されている分割ピクチャＰｉ−１の右端の所定数のマクロブロックのローカルデコード画像情報を基にイントラ予測符号化し、
   分割ピクチャＰｎの処理の際の当該分割ピクチャＰｎの左端のマクロブロックのイントラ予測符号化には、当該イントラ予測情報記憶手段に記憶されている分割ピクチャＰｎ−１の右端の所定数のイントラ予測情報、および前記ローカルデコード画像記憶手段に記憶されている分割ピクチャＰｎ−１の右端の所定数のマクロブロックのローカルデコード画像情報を基にイントラ予測符号化することを、
   前記動きベクトル情報記憶手段は、
   分割ピクチャＰｉの処理の際の当該分割ピクチャＰｉの左端のマクロブロックの動きベクトル情報の決定の際には、当該動きベクトル情報記憶手段に記憶されている分割ピクチャＰｉ−１の右端の所定数のマクロブロックの動きベクトル情報を基に、動きベクトル情報を決定し、
   分割ピクチャＰｎの処理の際の当該分割ピクチャＰｎの左端のマクロブロックの動きベクトル情報の決定の際には、当該動きベクトル情報記憶手段に記憶されている分割ピクチャＰｎ−１の右端の所定数の動きベクトル情報を基に、動きベクトル情報を決定することを特徴とする請求項２記載の画像符号化装置。
5. 前記第２符号化手段における前記第２の符号化は、算術符号化であることを特徴とする請求項２または４記載の画像符号化装置。
6. 前記分割手段において前記入力画像データをピクチャ毎にｎ個（ｎは自然数）の分割ピクチャになるように水平方向にマクロブロック単位でｎ分割する場合、各分割ピクチャおよび各分割ピクチャが参照するピクチャの画像データの水平方向の画素数が、一般的に用いられ、前記入力画像データの水平画素数より少ない水平画素数を有する画像の圧縮符号化規格に基づく画像符号化回路（画像符号化ＬＳＩ）により処理可能な水平画素数になるよう分割することを特徴とする請求項２または４記載の画像符号化装置。
7. 入力画像データのピクチャを分割してマクロブロック単位に圧縮符号化する画像符号化方法であって、
   前記入力画像データをピクチャ毎に、一つ以上のマクロブロックからなり、マクロブロック単位で水平方向に分割したｎ個（ｎは自然数）の分割ピクチャＰｉ（ｉは１〜ｎの整数であり、分割前のピクチャに対して左側から右側に順にＰ１〜Ｐｎ）を生成する分割ステップと、
   前記分割ピクチャを、それぞれ第１の符号化方法で符号化し、その結果得られた画像圧縮結果と画像圧縮に用いた補助情報を含む第１の符号化情報を記憶する第１符号化ステップと、
   前記第１符号化ステップに記憶されている前記分割ピクチャの第１の符号化情報を受け取り、その順番を並べ替えて第２の符号化を行い、一つの符号化系列に変換する第２符号化ステップとを備え、
   前記第１符号化ステップにおいて、
   分割ピクチャＰｉの符号化の過程で、分割ピクチャＰｉ（ただし、Ｐｎは除く）の各水平ラインの終点位置である右端（以下、右端と称す）のマクロブロックのローカルデコード画像情報を記憶するローカルデコード画像記憶ステップと、
   分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端のマクロブロックの量子化情報を記憶し、さらに、当該分割ピクチャの各マクロブロックの量子化情報を記憶する量子化情報決定記憶ステップと、
   分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端のマクロブロックがイントラ予測符号化された場合には、当該分割ピクチャＰｉの右端のマクロブロックのイントラ予測符号化情報を記憶するイントラ予測情報記憶ステップと、
   分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端のマクロブロックの動きベクトル情報を記憶する動きベクトル情報記憶ステップとを含み、
   前記量子化情報決定記憶ステップは、
   分割ピクチャＰ１を処理する際には、
   当該分割ピクチャＰ１の最初の水平ライン以外の各水平ラインの先頭位置である左端（以下、左端と称す）のマクロブロックに対して仮の量子化情報を設定し、
   前記仮の量子化情報を基に当該左端のマクロブロックの量子化情報を決定し、当該左端に続くマクロブロックの量子化情報を順次決定し、
   前記仮の量子化情報を、分割前のピクチャにおける当該マクロブロックの直前のマクロブロックである、分割ピクチャＰｎの右端のマクロブロックの量子化情報として記憶し、さらに、当該分割ピクチャＰ１の右端の量子化情報を記憶し、
   分割ピクチャＰｉ（ｎが２以上でｉ＝２〜ｎ−１）を処理する際には、
   当該量子化情報決定記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端のマクロブロックの量子化情報を基に、当該分割ピクチャＰｉの左端のマクロブロックの量子化情報を決定して、当該左端に続くマクロブロックの量子化情報を順次決定し、分割ピクチャＰｉの右端のマクロブロックの量子化情報を記憶し、
   分割ピクチャＰｎを処理する際には、
   当該量子化情報決定記憶ステップにおいて記憶されている分割ピクチャＰｎ−１の右端のマクロブロックの量子化情報を基に、当該分割ピクチャＰｎの左端のマクロブロックの量子化情報を決定するとともに、当該量子化情報決定記憶ステップにおいて記憶されている前記仮に設定した当該分割ピクチャＰｎの右端のマクロブロックの量子化情報を基に、当該分割ピクチャＰｎの右端のマクロブロックの量子化情報を決定し、
   前記イントラ予測情報記憶ステップは、
   分割ピクチャＰ１の符号化の際には、
   当該分割ピクチャＰ１の右端のマクロブロックがイントラ予測符号化された場合には、当該分割ピクチャＰ１の右端のマクロブロックのイントラ予測符号化情報を記憶し、
   分割ピクチャＰｉ（ｎが２以上でｉ＝２〜ｎ−１）の符号化の際には、
   当該イントラ予測情報記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端のマクロブロックのイントラ予測情報、および前記ローカルデコード画像記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端のマクロブロックのローカルデコード画像情報を基に、当該分割ピクチャＰｉの左端のマクロブロックをイントラ予測符号化して、当該分割ピクチャＰｉの右端のマクロブロックのイントラ予測情報を記憶し、
   分割ピクチャＰｎの符号化の際には、
   前記イントラ予測情報記憶ステップにおいて記憶されている分割ピクチャＰｎ−１の右端のマクロブロックのイントラ予測情報、および前記ローカルデコード画像記憶ステップにおいて記憶されている分割ピクチャＰｎ−１の右端のマクロブロックのローカルデコード画像情報を基に、当該分割ピクチャＰｎの左端のマクロブロックをイントラ予測符号化し、
   前記動きベクトル情報記憶ステップは、
   分割ピクチャＰ１の符号化の際には、
   当該分割ピクチャＰ１の右端のマクロブロックの動きベクトル情報を記憶し、
   分割ピクチャＰｉ（ｎが２以上でｉ＝２〜ｎ−１）の符号化の際には、
   当該Ｐｉの符号化の過程で、前記動きベクトル情報記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端のマクロブロックの動きベクトル情報を基に、分割ピクチャＰｉの左端のマクロブロックの動きベクトル情報を決定して、分割ピクチャＰｉの右端のマクロブロックの動きベクトル情報を記憶し、さらに分割ピクチャＰｎに関しては、前記第１符号化ステップにおける分割ピクチャＰｎの符号化の過程で、前記動きベクトル情報記憶ステップにおいて記憶されている分割ピクチャＰｎ−１の右端のマクロブロックの動きベクトル情報を基に、分割ピクチャＰｎの左端のマクロブロックの動きベクトル情報を決定する動きベクトル情報記憶ステップと、
   を備えることを特徴とする画像符号化方法。
8. 請求項７記載の画像符号化方法であって、
   前記第１符号化ステップにおいて、
   前記ローカルデコード画像記憶ステップは、分割ピクチャＰｉの符号化の過程で、分割ピクチャＰｉ（ただし、Ｐｎは除く）の各水平ラインの終点位置である右端（以下、右端と称す）の所定数のマクロブロックのローカルデコード画像情報を記憶し、
   前記量子化情報決定記憶ステップは、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端の所定数のマクロブロックの量子化情報を記憶し、さらに、当該分割ピクチャの各マクロブロックの量子化情報を記憶し、
   前記イントラ予測情報記憶ステップは、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端の所定数のマクロブロックがイントラ予測符号化する場合には、当該所定数のマクロブロックそれぞれについて、それぞれの右上方向のマクロブロックの情報は利用せずにイントラ予測符号化するとともに、イントラ予測符号化情報を記憶し、
   前記動きベクトル情報記憶ステップは、分割ピクチャＰｉの符号化の過程で、当該分割ピクチャＰｉの右端の所定数のマクロブロックの動きベクトル情報を決定する場合には、当該所定数のマクロブロックそれぞれについて、右上方向のマクロブロックの情報は利用せずに動きベクトル情報を決定するとともに、動きベクトル情報を記憶し、
   前記量子化情報決定記憶ステップは、
   分割ピクチャＰ１の処理の際の量子化情報の記憶には、当該分割ピクチャＰ１の右端の所定数の量子化情報を記憶し、
   分割ピクチャＰｉの処理の際の当該分割ピクチャＰｉの左端のマクロブロックの量子化情報の決定には、分割ピクチャＰｉ−１の右端の所定数のマクロブロックの量子化情報を基に決定し、量子化情報の記憶には当該分割ピクチャＰｉの右端の所定数の量子化情報を記憶し、
   分割ピクチャＰｎの処理の際の当該分割ピクチャＰｎの左端のマクロブロックの量子化情報の決定には、分割ピクチャＰｎ−１の右端の所定数のマクロブロックの量子化情報を基に決定することを、
   前記イントラ予測情報記憶ステップは、
   分割ピクチャＰｉの処理の際の当該分割ピクチャＰｉの左端のマクロブロックをイントラ予測符号化には、当該イントラ予測情報記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端の所定数のイントラ予測情報、および前記ローカルデコード画像記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端の所定数のマクロブロックのローカルデコード画像情報を基にイントラ予測符号化し、
   分割ピクチャＰｎの処理の際の当該分割ピクチャＰｎの左端のマクロブロックをイントラ予測符号化には、当該イントラ予測情報記憶ステップにおいて記憶されている分割ピクチャＰｎ−１の右端の所定数のイントラ予測情報、および前記ローカルデコード画像記憶ステップに記憶されている分割ピクチャＰｎ−１の右端の所定数のマクロブロックのローカルデコード画像情報を基にイントラ予測符号化することを、
   前記動きベクトル情報記憶ステップは、
   分割ピクチャＰｉの処理の際の当該分割ピクチャＰｉの左端のマクロブロックの動きベクトル情報の決定の際には、当該動きベクトル情報記憶ステップにおいて記憶されている分割ピクチャＰｉ−１の右端の所定数のマクロブロックの動きベクトル情報を基に、動きベクトル情報を決定し、
   分割ピクチャＰｎの処理の際の当該分割ピクチャＰｎの左端のマクロブロックの動きベクトル情報の決定の際には、当該動きベクトル情報記憶ステップにおいて記憶されている分割ピクチャＰｎ−１の右端の所定数の動きベクトル情報を基に、動きベクトル情報を決定することを特徴とする請求項７記載の画像符号化方法。