JP2007259247A - 符号化装置、復号化装置、データ処理システム - Google Patents

Abstract

【課題】決定したイントラ予測モードに基づいてなされるイントラ予測画像の生成にかかる時間を短縮することができる符号化装置を提供する。
【解決手段】画像データと、この画像データを符号化した後に復号して得られる予測画像データとの差分データを符号化する符号化装置において、予測画像データと差分データとを加算して得られる補償データを保存するイントラバッファ１０１と、対象画素ブロックの予測画像データをイントラバッファ１０１に保存される補償データのうち対象画素ブロックと隣接する隣接画素ブロックに含まれて、かつ行及び列方向に配置された画素の補償データを使用して生成する計算部１００とを備え、イントラバッファ１０１が、隣接画素ブロックの画素の補償データを、画素の行、列方向に基づいて保存するバッファｂｕｆ０ｒｄ〜バッファｂｕｆ９ｒｄを備える。
【選択図】図２

Description

本発明は、符号化装置、復号化装置、データ処理システムに係り、特に動画像の画像データを処理する符号化装置、復号化装置、データ処理システムに関する。

現在、ＭＰＥＧ１、ＭＰＥＧ２あるいはＨ．２６４といった動画像の画像データを符号化する符号化装置、符号化された動画像データを復号する復号化装置がある。このような符号化装置、復号化装置は、携帯電話や小型の携帯端末でテレビ電話機能を実現する場合に必要となる構成である。また、近年運用が開始された地上デジタル放送においてもＭＰＥＧ１、ＭＰＥＧ２、Ｈ．２６４の技術が使用されている。

携帯電話等の携帯式の端末では、特に装置の小型化、低コスト化、低消費電力化が要求されている。このため、携帯式の端末装置において動画像データを符号化、復号化する装置にも装置構成の小型、簡易化や低コスト化が要求されている。この要求は、動画像データの符号化、復号化のための演算処理の効率化と演算に使用されるメモリ容量の低減によって実現できる。特にメモリ容量の低減は、装置の低コスト化に対する影響が大きいために重要である。

このような要求に応える動画像データ処理の従来技術として、例えば、特許文献１が挙げられる。特許文献１は、回路規模を小型化しながらイントラ予測符号化にかかる処理時間を短縮することを目的にしてなされたものである。特許文献１の発明は、このため、マクロブロック内の画素のデータの垂直方向、水平方向の差分和を算出する。そして、算出された差分和からマクロブロックの相関値が大きい方向を特定し、特定された方向に適合したイントラ予測モードによってイントラ予測符号化を行っている。
特開２００４−３０４７２４号公報

しかしながら、上記した特許文献１は、イントラ予測画像の生成に先立って行われるイントラ予測モードの決定の処理にかかる時間を短縮するものであって、決定したイントラ予測モードにしたがって行われるイントラ予測画像の生成にかかる時間を短縮するものではない。
ところで、近年、マクロブロックよりもさらに小さい４×４画素でなるサブブロック単位でイントラ予測モードを決定することがなされている。このような場合、イントラ予測ばかりでなく、予測画像の生成にかかる時間も長くなり、イントラ予測モードの決定の時間を短縮するだけではイントラ予測の処理全体にかかる時間を充分短縮することが困難になる。

本発明は、上記した点に鑑みてなされたものであり、決定したイントラ予測モードに基づいてなされるイントラ予測画像の生成にかかる時間を短縮し、イントラ予測全体の処理時間をさらに短縮することができる符号化装置、復号化装置及びデータ処理システムを提供することを目的とする。

以上の課題を解決するため、本発明の符号化装置は、画像データと、該画像データを符号化した後に復号して得られる予測画像データとの差分データを符号化する符号化装置であって、予測画像データと差分データとを加算して得られる補償データを保存する補償データ保存手段と、処理対象となる対象画素ブロックの予測画像データを、前記補償データ保存手段に保存される補償データのうち対象画素ブロックと隣接する隣接画素ブロックに含まれて、かつ所定の方向に配置された画素に相当する補償データを使用して生成する予測画像データ生成手段と、を備え、前記補償データ保存手段は、隣接画素ブロックの画素の補償データを、隣接画素ブロックにおける当該画素の配置方向に基づいて保存することを特徴とする。

このような発明によれば、予測画像データと差分データとを加算して得られる補償データを保存するにあたり、隣接画素ブロックの画素の補償データを、隣接画素ブロックにおける当該画素の配置方向に基づいて保存することができる。このため、予測画像データの生成時、補償データを座標変換することなく使用することができる。また、予測画像データによって補償データ保存手段を更新する場合にも座標変換する必要がない。

このため、本実施形態は、予測画像データの生成にかかる時間を短縮し、ひいては
イントラ予測全体の処理時間をさらに短縮することができる符号化装置を提供することができる。なお、このような本発明の効果は、例えばサブブロックのように小規模の画素ブロック単位で予測画像データを生成する場合に顕著になる。

また、本発明の符号化装置は、対象画素ブロック、隣接画素ブロックが共に行方向及び行方向と直交する列方向に配置された画素によって構成され、前記補償データ保存手段は、隣接画素ブロックに含まれる画素のうち行方向に配置された画素の補償データだけを保存するラインバッファと、列方向に配置された画素の補償データだけを保存するカラムバッファとを含むことを特徴とする。
このような発明によれば、行及び列方向に画素を配して構成された画素ブロックの予測データの生成に有効な補償データ保存手段を構成することができる。

また、本発明は、前記補償データ保存手段が、さらに、画素１つ分の補償データだけを保存する点バッファを備えることを特徴とする。
このような発明によれば、行及び列方向に画素を配して構成された画素ブロックの予測データの生成に必要最低限の補償データを保存する補償データ保存手段を構成することができる。

また、本発明の符号化装置は、補償データを１フレーム分蓄積するフレームメモリを備え、前記補償データ保存手段は、補償データを前記フレームメモリに蓄積される以前に取り込んで保存することを特徴とする。
このような発明によれば、補償データ保存手段への補償データの取り込みにあたってフレームメモリへのアクセス回数を低減し、予測画像データ生成にかかる時間をいっそう短縮することができる。

また、本発明の符号化装置は、前記予測画像データ生成手段によって生成された予測画像データにより、前記補償データ保存手段を更新することを特徴とする。
このような発明によれば、先に生成された予測画像データを使って次の画素ブロックの予測画像データを生成するにあたり、外部のメモリ等にアクセスする必要をなくすことができる。

また、本発明の復号化装置は、入力された画像データと、該画像データを符号化した後に復号化して得られる予測画像データとの差分データを復号する復号化装置であって、予測画像データと差分データとを加算して得られる補償データを保存する補償データ保存手段と、前記補償データ保存手段によって保存されている補償データを複数の画素でなる画素ブロックごとに演算して予測画像データを生成する予測画像データ生成手段と、を備えた復号化装置であって、前記予測画像データ生成手段は、処理対象となる対象画素ブロックの予測画像データを、前記補償データ保存手段に保存される補償データのうち対象画素ブロックと隣接する隣接画素ブロックに含まれて、かつ所定の方向に配置された画素に相当する補償データを使用して生成し、前記補償データ保存手段は、隣接画素ブロックの画素の補償データを、隣接画素ブロックにおける当該画素の配置方向に基づいて保存することを特徴とする。

このような発明によれば、予測画像データと差分データとを加算して得られる補償データを保存するにあたり、隣接画素ブロックの画素の補償データを、隣接画素ブロックにおける当該画素の配置方向に基づいて保存することができる。このため、予測画像データの生成時、補償データを座標変換することなく使用することができる。また、予測画像データによって補償データ保存手段を更新する場合にも座標変換する必要がない。

このため、本実施形態は、予測画像データの生成にかかる時間を短縮し、ひいては
イントラ予測全体の処理時間をさらに短縮することができる復号化装置を提供することができる。なお、このような本発明の効果は、例えばサブブロックのように小規模の画素ブロック単位で予測画像データを生成する場合に顕著になる。

また、本発明のデータ処理システムは、画像データと、該画像データを符号化した後に復号して得られる予測画像データとの差分データを符号化する符号化装置と、該符号化装置によって符号化された差分データと予測画像データとを足し合わせて得られる補償データに基づいて画像データを生成する復号化装置と、を備えたデータ処理システムであって、前記符号化装置及び前記復号化装置は、補償データを保存する補償データ保存手段と、該補償データ保存手段に保存されている補償データを複数の画素でなる画素ブロックごとに演算して予測画像データを生成する予測画像データ生成手段を備え、前記予測画像データ生成手段は、処理対象となる対象画素ブロックの予測画像データを、前記補償データ保存手段に保存される補償データのうち対象画素ブロックと隣接する隣接画素ブロックに含まれて、かつ所定の方向に配置された画素に相当する補償データを使用して生成し、前記補償データ保存手段は、隣接画素ブロックの画素の補償データを、隣接画素ブロックにおける当該画素の配置方向に基づいて保存することを特徴とする。

このような発明によれば、予測画像データと差分データとを加算して得られる補償データを保存するにあたり、隣接画素ブロックの画素の補償データを、隣接画素ブロックにおける当該画素の配置方向に基づいて保存することができる。このため、予測画像データの生成時、補償データを座標変換することなく使用することができる。また、予測画像データによって補償データ保存手段を更新する場合にも座標変換する必要がない。

このため、本実施形態は、予測画像データの生成にかかる時間を短縮し、ひいては
イントラ予測全体の処理時間をさらに短縮することができるデータ処理システムを提供することができる。なお、このような本発明の効果は、例えばサブブロックのように小規模の画素ブロック単位で予測画像データを生成する場合に顕著になる。

以下、図を参照して本発明に係る符号化装置、復号化装置、データ処理システムの一実施形態について説明する。
図１は、本実施形態の符号化装置の構成を説明するための図である。符号化装置は、外部から入力されて量子化等の加工がされる以前の画像データ（入力画像データ）を入力する。そして、入力画像データと、この入力画像データの予測画像データとの差分データである予測誤差を符号化する符号化装置である。符号化装置は、予測誤差を算出するため、予測画像データを生成する構成を備えている。この構成については後述する。
なお、本実施形態でいう画像データとは、画像を構成する画素の輝度、色差の値と画素の位置と共に記したデータであって、以下、画素データと記す。

図１に示した符号化装置は、入力した画素データから予測画像データを減算する減算器２０２、減算値をアダマール変換あるいはＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）処理する整数トランスフォーム部２０３、整数トランスフォーム部２０３で処理されたデータを量子化する量子化部２０４、量子化部２０４による量子化を量子化の条件等によって制御する符号化制御部２０１、量子化された画素データをエントロピー符号化（可変長符号化とも記す）するエントロピー符号化部２０５を備えている。

また、符号化装置は、いったん量子化された画素データを逆量子化する逆量子化部２０６、先に行われたアダマール変換やＤＣＴの処理と逆の処理する逆整数トランスフォーム部２０７を備えている。

また、符号化装置は、予測画像データと入力画像の入力画素データとの差分のデータであって、逆整数トランスフォーム部２０７によって処理されたものに予測画像データをたし合わせる加算器２０８、加算によって生成された画素データ（以降補償データと記す）の HYPERLINK "http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%AD%E3%83%83%E3%82%AF%E3%83%8E%E3%82%A4%E3%82%BA" \o "ブロックノイズ" ブロックノイズの発生を抑制するデブロッキング・フィルタ（Ｄｅｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ）２０９を備えている。デブロッキング・フィルタ２０９は、整数変換のブロック境界のみを平滑化するものである。なお、補償データとは、復号化側で得られる画像を生成するためのデータと同様のデータとなる。

また、符号化装置は、補償データを蓄積するフレームメモリ２１０、デブロッキング・フィルタ２０９を通った補償データを蓄積するフレームメモリ２１１を有している。フレームメモリ２１０はイントラ処理用のフレームメモリであり、フレームメモリ２１１はインター処理用のフレームメモリである。
フレームメモリ２１０に蓄積された補償データは、イントラ予測部２１２に取り込まれ、イントラ予測のモードの選択に使用される。イントラ予測のモードとは、イントラ予測の処理にあたって処理対象となる画素ブロックに含まれる画素の演算方向を示すものである。イントラ予測のモードは、演算の結果、最も少ない符号量が得られる方向に対応するものが選択される。

また、フレームメモリ２１１に蓄積された補償データは、インター予測部２１３に取り込まれ、インター予測に使用される。インター予測とは、フレーム単位の画素データ同士の差異を検出する処理である。本実施形態の符号化装置は、レームメモリ２１１に蓄積された補償データからインター予測画像を生成するインター予測部２１３及び補償データに基づいて動きベクトルを検出する動きベクトル検出部２１４を備えている。

選択器２１５は、イントラ予測部２１２、インター予測部２１３によってそれぞれ生成された予測画像データを入力し、いずれか符号化量が少ないものを選択して出力する構成である。選択された予測画像データは、入力画素データから減算されて量子化等される。
本実施形態のイントラ予測部２１２は、フレームメモリ２１０とは別個のバッファ（イントラバッファと記す）を備えていて、イントラバッファ１０１には、処理によっては補償データがフレームメモリ２１０を介することなく直接コピーされるものとする。

図２は、本実施形態のイントラ予測部２１２の構成を説明するための図である。イントラ予測部２１２は、イントラ予測を選択するイントラ予測部（図示せず）と、イントラ予測部によって予測された結果に基づいて予測画像データを生成する予測画像生成部２を備えている。予測画像生成部２は、イントラバッファ１０１、処理対象となる画素ブロック（対象画素ブロック）の予測画像データを、イントラバッファ１０１に保存されている補償データのうちの対象画素ブロックと隣接する画素ブロック（隣接画素ブロック）に含まれて、かつ所定の方向に配置された画素に相当する補償データを使用して生成する計算部１００を備えている。

画素ブロックは、行方向（ｘ−ｙ座標のｘ方向）及び列方向（ｘ−ｙ座標のｙ方向）にそれぞれ等しい数の画素を配置して構成されている。予測画像生成部２は、輝度については４×４個の画素で構成される画素ブロックあるいは１６×１６個の画素で構成される画素ブロック単位で演算処理し、色差については８×８個の画素で構成される画素ブロック単位で演算処理をする。

このため、計算部１００は、画素の輝度のデータについて演算するLuma４×４計算部１０３及びLuma１６×１６計算部１０４、色差について演算するＣｈｒｏｍａ計算部１０５、演算に必要な定数を算出する定数計算部１０６を備えている。なお、Luma４×４計算部１０３及びLuma１６×１６計算部１０４は、いずれも補償データの画素の輝度について演算するものであるが、Luma４×４計算部１０３は４×４個の画素でなる画素ブロック（サブブロック）単位で補償データを演算するものである。また、Luma１６×１６計算部１０４は１６×１６個の画素でなる画素ブロック（マクロブロック）単位で補償データを演算するものである。

イントラバッファ１０１は、複数のバッファｂｕｆ０ｒｄ〜ｂｕｆ９ｒｄを備えている。バッファｂｕｆ０ｒｄ〜ｂｕｆ９ｒｄのうちの一部は隣接画素ブロックに含まれる画素のうち行方向に配置された画素の補償データだけを保存するラインバッファである。また、他の一部は、列方向に配置された画素の補償データだけを保存するカラムバッファである。さらに、本実施形態のイントラバッファ１０１は、バッファｂｕｆ０ｒｄ〜ｂｕｆ９ｒｄのうちに画素１つ分の補償データだけを保存する点バッファをも備えている。

また、予測画像生成部２は、イントラバッファ１０１から補償データを読み込んで計算部１００が備えるLuma４×４計算部１０３、Luma１６×１６計算部１０４、Ｃｈｒｏｍａ計算部１０５に出力するためのセレクタ１０２、Luma４×４計算部１０３、Luma１６×１６計算部１０４、Ｃｈｒｏｍａ計算部１０５から選択的に読み出すセレクタ１０５、セレクタ１０５から読み出された補償データを所定のデータ量分バッファリングする予測画像バッファ１０８を備えている。

以上の構成において、イントラバッファ１０１は補償データ保存手段として機能する。また、計算部１００は、予測画像データ生成手段として機能する。計算部１００によって生成された予測画像データは、いったん予測画像バッファ１０８に画素ブロック分蓄積され、計算結果として選択器２１５に出力される。
以上述べたイントラバッファ１０１は、対象画素ブロックの予測画像データの生成に使用される画素の補償データを、隣接画素ブロックにおける画素の配置方向に基づいて保存するための構成である。次に、イントラバッファ１０１のバッファｂｕｆ０ｒｄ〜ｂｕｆ９ｒｄと隣接画素ブロックにおける画素の配置方向との関係について説明する。

先ず、イントラバッファ１０１の構成に先立って、対象画素ブロックの予測画像データの生成に使用されるイントラ予測モードについて説明する。
図３は、一般的なイントラ予測を説明するための図であって、イントラ予測のモードの種別を説明するための図である。図３においては、４×４のブロック画像を例にして９種類の予測モードを示す。

イントラ予測では、隣接画素ブロックにあって対象画素ブロックの画素と直接隣接する画素値から対象画素ブロックに含まれる画素の値を減算し、減算値を順次加算する演算が行われる。予測モードとは、この演算における減算方向を示す。予測モードには、減算方向によって予測モード０から予測モード８までの識別子が付されている。

図３（ａ）〜（ｉ）のいずれにおいても白丸で示す画素は、対象画素ブロックに含まれる画素である。また、黒丸で示す画素は隣接画素ブロックにある画素である。また、図中に示した矢線は、各々の予測モードの減算方向を示す。なお、図３（ｃ）に示した予測モード２では、閉曲線ａ１、ａ２で囲んだ画素１の値の平均を、各々予測誤差値として採用する。このため、図３（ｃ）には矢線の図示がされていない。

イントラ予測とは、画素ブロックを符号化する場合に最も高い圧縮率を得られる方向を予測するため、予測モード０から予測モード８のうちから１つを選択する処理である。このような予測モードが与えられた場合、イントラ予測部２１２は、黒丸で示す画素値の値を例えば減算方向にコピーして対照画素ブロックに含まれる各画素値とすることができる。

図４は、イントラバッファ１０１のバッファｂｕｆ０ｒｄ〜ｂｕｆ９ｒｄを説明するための図である。図中に０から１５の番号を付して示した画素ブロック４０１は各々がサブブロックであって、図示しない４×４個の画素で構成されている。したがって、４個の画素ブロック４０１でなる画素ブロックは８×８個の画素でなる画素ブロック４０２、１６個の画素ブロック４０１でなる画素ブロックは１６×１６個の画素でなる画素ブロック４０３である。

図示したように、イントラバッファ１０１のうち、バッファｂｕｆ０ｒｄ〜ｂｕｆ４ｒｄは画素の行方向に沿うラインメモリである。また、バッファｂｕｆ５ｒｄ〜ｂｕｆ８ｒｄは、画素の列方向に沿うカラムメモリであって、バッファｂｕｆ９ｒｄは１つの補償データだけを記憶する点メモリである。

なお、本実施形態でいうラインバッファとは、二次元の座標と対応付けられるデータのうちｘ座標が等しいデータ（ｘ軸と並行な直線に沿って配置されるデータ）だけを取り込んで記憶するバッファである。また、本実施形態でいうカラムバッファとは、二次元の座標と対応付けられるデータのうちｙ座標が等しいデータ（ｙ軸と並行な直線に沿って配置されるデータ）だけを取り込んで記憶するバッファである。
バッファｂｕｆ０ｒｄ〜ｂｕｆ９ｒｄは、画素ブロック４０３の隣接画素ブロックのうちの画素ブロック４０１、４０２、４０３のイントラ予測に使用される画素だけを、画素の配置にしたがって保存するものである。

すなわち、図３に示したように、イントラ予測のモードは９種類あって、そのいずれもが対象画素ブロックの図中左方向にある隣接画素ブロックの列方向に配置された画素と図中左方向にある隣接画素ブロックの列方向に配置された画素、図中の上方向にある隣接画素ブロックの行方向に配置された画素とを使って演算可能である。イントラバッファ１０１のラインバッファ、カラムバッファ、点バッファは、イントラ予測の演算に必要な隣接画素ブロックの補償データを、画素の配置の方向に沿って記憶するものである。

さらに、符号化装置は、４×４画素、８×８画素、１６×１６画素の画素ブロックのいずれにも対応可能であることが必要である。このため、本実施形態のイントラバッファ１０１は、演算する可能性のある画素ブロックのうち最も大きな１６×１６画素のマクロブロックに対応可能な容量を備えている。
図３に示したように、イントラ予測では、行方向に一列に配置され、かつ対象画素ブロックの行方向の画素数よりも４つ多い画素と、列方向に一列に配置され、かつ対象画素ブロックの行方向の画素数よりも２つ多い画素とによってすべてのイントラ予測モードの演算が実行できる。

図４に示したイントラバッファ１０１は、０〜１５の４×４のサブブロックのうち、０〜１３のサブブロックについてはすべてのイントラ予測モードで予測された予測画像データを生成することができる。なお、１０〜１５のサブブロックについては、予測モード２と予測モード８とに対応することはできない。予測モード２と予測モード８とに対応する必要がある場合、カラムバッファｂｕｆ８ｒｄの配置方向にそってさらにカラムバッファを設ければよい。

図５は、イントラバッファ１０１が、サブブロック５を予測モード３によってイントラ予測可能であることを示している。また、イントラバッファ１０１が、サブブロック９を予測モード４によってイントラ予測可能であることを示している。
また、本実施形態では、Luma４×４計算部１０３が演算処理する場合にだけ補償データがフレームメモリ２１０に保存される以前に分岐され、イントラバッファ１０１にコピーされるものとした。

本実施形態は、予測画像生成部２の内部にイントラバッファ１０１を設けたことにより、外部メモリであるフレームメモリ２１０から補償データを読み込むよりも高速に演算することができる。さらに、本実施形態は、規格によって取り扱われ得る最大のマクロブロック分の演算に使用されるデータだけを保存することによってイントラバッファ１０１を必要最小限にすることができる。

さらに、本実施形態は、演算に使用される画素の配置方向に沿って補償データを保存するようにイントラバッファ１０１を構成したことにより、保存されたデータを座標変換等することなく演算に使用することができる。このため、本実施形態は、予測画像データの生成にかかる時間を短縮し、イントラ予測のモード決定、決定されたモードにしたがう予測画像データの生成を含む処理全体の演算にかかる時間を短縮することができる。

次に、以上述べた予測画像生成部２の動作について説明する。
図６は、本実施形態の符号化装置によってなされる処理を示した図であって、エントロピー符号化部２０５の動作と並行してなされる動作を動作の主体となるシーケンサ、ＩＤＣＴ、イントラ予測部２１２ごとに示している。なお、シーケンサとは、符号化装置のハードウェア構成にかかる部分をいい、ＩＤＣＴとは逆量子化部２０６及び逆整数トランスフォーム部２０７を含んだ構成をいう。また、Ｉｎｔｒａ予測値（予測画像データ）の計算は、イントラ予測部２１２においてなされる。

図示したように、符号化装置は、１マクロブロック分の画素データのＹ成分についてサブブロックを対象とする演算を１６回実行し、次いでＵ成分、Ｖ成分について画素８×８個で構成される画素ブロック（図中に示す４×４は、サブブロックを構成する画素４個分を１画素とした場合の表記）を対象とする演算を各々４回実行する。本実施形態では、最も演算量が多いサブブロック単位でなされる演算処理の動作について説明する。

イントラ予測が開始されると、図２に示したイントラバッファ１０１に対してフレームメモリ２１０から補償データがラインごとに取り込まれる。またはフレームメモリ２１０に入力される以前の補償データがコピーされてイントラバッファ１０１のバッファｂｕｆ０ｒｄ〜ｂｕｆ９ｒｄに保存される。
サブブロック単位の演算処理にあっては原則フレームメモリ２１０に保存される以前の補償データがイントラバッファ１０１にコピーされる。ただし、処理の最初にだけイントラ予測部２１２がフレームメモリ２１０にアクセスして補償データを取り込むものとする。

図７及び図８は、サブブロック単位で予測画像データを生成する場合のバッファｂｕｆ０ｒｄ〜ｂｕｆ９ｒｄの更新を説明するための図である。図７（ａ）は、フレームメモリ２１０の１ライン分のラインメモリに保存された画素データがイントラバッファ１０１に保存されることを示している。

イントラ予測部２１２は、取り込まれるべき画素データと、この画素データを取り込むべきラインバッファ、カラムバッファを選択する。選択の結果、イントラバッファ１０１のバッファｂｕｆ０ｒｄ〜ｂｕｆ４ｒｄにはラインメモリａの画素データが取り込まれ、バッファｂｕｆ５ｒｄ〜ｂｕｆ８ｒｄにはラインメモリｂの画素データが座標変換されて取り込まれる。バッファｂｕｆ９ｒｄにもフレームメモリ２１０に保存されている画素データが取り込まれる。
なお、本実施形態のバッファｂｕｆ０ｒｄ〜ｂｕｆ９ｒｄは、合計４０ｂｙｔｅの記憶容量を有している。

次に、イントラ予測部２１２は、図７（ｂ）に示すように、Luma４×４計算部１０３がラインバッファや取り込まれた画素データをイントラ予測モードに基づいて演算し、先ず図中の左上部のサブブロックの予測画像データを生成する。なお、Luma４×４計算部１０３は、この演算にあたって必要となる定数の算出をも実行する。

図７（ｃ）は、生成された予測画像データによってバッファｂｕｆ０ｒｄ、ｂｕｆ５ｒｄを更新することを説明するための図である。本実施形態では、予測画像データのうち、次に演算されるサブブロック７０１と隣接する画素列の値（予測値）によってバッファｂｕｆ５ｒｄを更新する。また、予測画像データのうち、直下に位置するサブブロック７０２と隣接する画素の行の予測値によってバッファｂｕｆ０ｒｄを更新する。バッファｂｕｆ９ｒｄの更新は、イントラ予測部２１２が補償データを分岐して１個分の画素データを取り込むことによって行われる。

次に、Luma４×４計算部１０３は、図８（ａ）に示すように、更新された画素データを使って画素ブロック７０１の予測画像データを生成する。そして、図８（ｂ）に示すように、次に予測画像の生成のための演算がされる画素ブロック７０３に隣接する画素列の予測値でｂｕｆ５ｒｄを更新し、直下に位置するサブブロック７０４と隣接する画素の行の予測値によってバッファｂｕｆ０ｒｄを更新する。また、先に行われた動作と同様に、バッファｂｕｆ９ｒｄが分岐した補償データによって更新される。
さらに、Luma４×４計算部１０３は、図８（ｃ）、（ｄ）に示すように、マクロブロックに含まれるサブブロックのうち左上にあるものから右下にあるサブブロック７０５に向かう順番で順次演算する。

図９は、本実施形態の復号化装置を示した図である。図９に示した構成のうち、エントロピー復号化部１００１以外の構成は図１に示した構成と同様の構成である。図１に示した構成と同様の構成については同様の符号を付し、説明を略すものとする。
図示した復号化装置は、先に説明した符号化装置によって符号化されたデータ復号する復号化装置である。なお、符号化装置によって符号化されたデータとは、符号化装置に入力された画素データと、画素データを符号化した後に復号化して得られる予測画像データとの差分データである。

復号化装置は、予測画像データを生成するイントラ予測部２１２を備えている。イントラ予測部２１２は、図２に示した構成と同様に構成されていて、イントラバッファ１０１、計算部１００を備えている。計算部１００は、処理対象となる対象画素ブロックの予測画像データを、イントラバッファ１０１に保存される補償データのうち対象画素ブロックと隣接する隣接画素ブロックに含まれて、かつ所定の方向に配置された画素に相当する補償データを使用して生成する。また、イントラバッファ１０１は、隣接画素ブロックの画素の補償データを、隣接画素ブロックにおける当該画素の配置方向に基づいて保存している。

このような復号化装置は、イントラ予測部２１２がイントラバッファ１０１を備えることによってフレームメモリ２１０に対するアクセス回数を低減することができる。また、イントラバッファ１０１に保存された補償データを座標変換等することなく演算に使用できるので、予測画像データの生成にかかる時間を短縮することができる。
なお、以上述べた本実施形態の符号化装置、復号化装置は、回路等の部品としても実施可能である。また、符号化装置、復号化装置は、各々単独で機器に搭載されてもよい。なお、符号化装置を単独で搭載する機器としては放送局等で使用される送信装置がある。また、復号化装置を単独で搭載する機器としては放送を受信するテレビジョンの受信装置がある。

さらに、符号化装置と復号化装置とを１つの機器に組み込んでデータ処理システムを構成することも可能である。このような機器の例としては、携帯電話が挙げられる。
さらに、本実施形態は、イントラバッファ１０１がラインバッファ、カラムバッファ、点バッファを備えるよう構成している。しかしながら、本実施形態はこのような構成に限定されるものでなく、点バッファに代えてさらにラインバッファまたはカラムバッファを備えても良い。

ただし、さらにラインバッファ、カラムバッファを備えた構成は、イントラ予測に必要最小限以上のデータ容量を有する。このため、本実施形態のようにイントラバッファ１０１をラインバッファ、カラムバッファ、点バッファで構成した場合にイントラバッファ１０１をより小規模化することができる。

本発明の一実施形態の符号化装置の構成を説明するための図である。 図１に示したイントラ予測部の構成を説明するための図である。 一般的なイントラ予測を説明するための図であって、イントラ予測のモードの種別を説明するための図である。 図２に示したイントラバッファが備えるラインバッファ、カラムバッファ、点バッファを説明するための図である。 図４に示したイントラバッファによってイントラ予測に必要なデータが保存できることを説明するための図である。 本発明の一実施形態の符号化装置によってなされる処理を示した図である。 本発明の一実施形態のラインバッファ、カラムバッファ、点バッファの更新を説明するための図である。 本発明の一実施形態のラインバッファ、カラムバッファ、点バッファの更新を説明するための他の図である。 本発明の一実施形態の復号化装置を示した図である。

符号の説明

２ 予測画像生成部、１００ 計算部、１０１ イントラバッファ、１０２、１０５ セレクタ、１０３ Luma４×４計算部、１０４ Luma１６×１６計算部、１０５ Ｃｈｒｏｍａ計算部、１０６ 定数計算部、１０８ 予測画像バッファ、２０１ 符号化制御部、２０２ 減算器、２０３ 整数トランスフォーム部、２０４ 量子化部、２０５ エントロピー符号化部、２０６ 逆量子化部、２０７ 逆整数トランスフォーム部、２０８ 加算器、２０９ デブロッキング・フィルタ、２１０，２１１ フレームメモリ、
２１２ イントラ予測部、２１３ インター予測部、２１４ 動きベクトル検出部、２１５ 選択器、１００１ エントロピー復号化部

Claims (7)

1. 画像データと、該画像データを符号化した後に復号して得られる予測画像データとの差分データを符号化する符号化装置であって、
   予測画像データと差分データとを加算して得られる補償データを保存する補償データ保存手段と、
   処理対象となる対象画素ブロックの予測画像データを、前記補償データ保存手段に保存される補償データのうち対象画素ブロックと隣接する隣接画素ブロックに含まれて、かつ所定の方向に配置された画素に相当する補償データを使用して生成する予測画像データ生成手段と、を備え、
   前記補償データ保存手段は、隣接画素ブロックの画素の補償データを、隣接画素ブロックにおける当該画素の配置方向に基づいて保存することを特徴とする符号化装置。
2. 対象画素ブロック、隣接画素ブロックが共に行方向及び行方向と直交する列方向に配置された画素によって構成され、前記補償データ保存手段は、隣接画素ブロックに含まれる画素のうち行方向に配置された画素の補償データだけを保存するラインバッファと、列方向に配置された画素の補償データだけを保存するカラムバッファとを含むことを特徴とする請求項１に記載の符号化装置。
3. 前記補償データ保存手段は、さらに、画素１つ分の補償データだけを保存する点バッファを備えることを特徴とする請求項２に記載の符号化装置。
4. 補償データを１フレーム分蓄積するフレームメモリを備え、前記補償データ保存手段は、補償データを前記フレームメモリに蓄積される以前に取り込んで保存することを特徴とする請求項１から３のいずれか１項に記載の符号化装置。
5. 前記予測画像データ生成手段によって生成された予測画像データにより、前記補償データ保存手段を更新することを特徴とする請求項１から４のいずれか１項に記載の符号化装置。
6. 入力された画像データと、該画像データを符号化した後に復号化して得られる予測画像データとの差分データを符号化したデータを復号する復号化装置であって、
   予測画像データと差分データとを加算して得られる補償データを保存する補償データ保存手段と、
   前記補償データ保存手段によって保存されている補償データを複数の画素でなる画素ブロックごとに演算して予測画像データを生成する予測画像データ生成手段と、を備えた復号化装置であって、
   前記予測画像データ生成手段は、処理対象となる対象画素ブロックの予測画像データを、前記補償データ保存手段に保存される補償データのうち対象画素ブロックと隣接する隣接画素ブロックに含まれて、かつ所定の方向に配置された画素に相当する補償データを使用して生成し、前記補償データ保存手段は、隣接画素ブロックの画素の補償データを、隣接画素ブロックにおける当該画素の配置方向に基づいて保存することを特徴とする復号化装置。
7. 画像データと、該画像データを符号化した後に復号して得られる予測画像データとの差分データを符号化する符号化装置と、該符号化装置によって符号化された差分データと予測画像データとを足し合わせて得られる補償データに基づいて画像データを生成する復号化装置と、を備えたデータ処理システムであって、
   前記符号化装置及び前記復号化装置は、補償データを保存する補償データ保存手段と、該補償データ保存手段に保存されている補償データを複数の画素でなる画素ブロックごとに演算して予測画像データを生成する予測画像データ生成手段を備え、
   前記予測画像データ生成手段は、処理対象となる対象画素ブロックの予測画像データを、前記補償データ保存手段に保存される補償データのうち対象画素ブロックと隣接する隣接画素ブロックに含まれて、かつ所定の方向に配置された画素に相当する補償データを使用して生成し、前記補償データ保存手段は、隣接画素ブロックの画素の補償データを、隣接画素ブロックにおける当該画素の配置方向に基づいて保存することを特徴とするデータ処理システム。

Images