JP2007214641A - 符号化装置、復号化装置、画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】イントラ予測の処理に用いられる構成を小型、低廉化し、より小型化、低コスト化できる符号化装置を提供する。
【解決手段】画像データのイントラ予測をするイントラ予測制御装置１０４、イントラ予測の結果にしたがって画像データを符号化するＣＰＵ１０２を備え、イントラ予測制御装置１０４が、フレーム画像を構成する複数のマクロブロックのうち一部のマクロブロックのイントラ予測に必要な画像データだけを保存する横ラインバッファ１０１ａ、縦ラインバッファ１０１ｂ、横ラインバッファ１０１ａ、縦ラインバッファ１０１ｂに保存されている画像データを使い、マクロブロックごとに画像データのイントラ予測をするイントラ予測部２１１を備え、ＣＰＵ１０２は、イントラ予測の結果にしたがってマクロブロックごとに画像データを符号化する。
【選択図】図２

Description

本発明は、符号化装置、復号化装置、画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムに係り、特にイントラ予測を使って動画像を符号化、復号化する符号化装置、復号化装置、画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムに関する。

現在、携帯電話やＴＶ電話等の小型端末装置において、動画像を符号、復号化する技術が普及している。このような小型端末装置は、当然のことながら携帯するために可能な限り小型、軽量化されることが望ましい。また、装置の普及のためには装置の製造コストを低減して価格を下げる必要がある。
動画像の符号化が可能な装置（本明細書では動画像符号化装置と記す。符号化と併せて復号化可能なものであってもよい）を小型化する従来技術としては、例えば、特許文献１が挙げられる。特許文献１は、画像データのフレーム間の動きベクトルを検出するための構成に関するものであって、動画像の符号化、復号化全体を管理するプロセッサとは別個に画像の動きの検出にかかる処理をするコプロセッサを設けるものである。コプロセッサは、画像データのマクロブロックを単位にして動き検出及び動きの補償処理を実行する。

このような特許文献１は、演算量が多い動き検出等の処理をプロセッサがしないため、プロセッサにかかる負荷を軽減してプロセッサに小型、廉価な構成を使用することができる。また、プロセッサの動作周波数を低減して消費電力をも低減することができる。
ところで、動画像を符号化する方式の一つに、Ｈ．２６４がある。Ｈ．２６４には、１フレームの内部で予測画像を生成する、イントラ予測と呼ばれる処理がある。イントラ予測は、所定の数の画素で構成されるブロック画像ごとに行われ、画像データ全体は、縦、横方向に配置される複数のブロック画像によって構成される。イントラ予測では、画像データにおいて隣接して配置され、かつ先に符号化または復号化の処理がされたブロック画像の画素の値を使って未処理のブロック画像を符号化または復号化する。

ブロック画像は、１６×１６、８×８、４×４というように、同数の画素を縦、横方向配置して構成される。イントラ予測方式で画像データを符号化する場合、符号化の対象となるブロック画像において配置される画素の例えば縦、または横といった特定の配置方向を定め、この方向に沿って先に符号化された他のブロック画像に含まれる画素の画素値から順次画素値を減算する。減算された値は、フレーム画像単位でＤＣＴ（離散コサイン変換）及び量子化された後、エントロピー符号化される。

なお、上記した処理において、複数の配置方向のうち配置方向に沿って減算の結果得られる予測誤差値の総和が最も小さい方向が、減算の方向に沿う配置方向（演算方向）に設定される。このような従来技術としては、例えば、特許文献１に記載された発明が挙げられる。各画素の予測誤差値の総和が最も小さくなる方向が減算方向に設定される理由は、予測誤差値の総和が小さいほど符号化後のデータ量が小さくなるためである。

動画像の符号化にかかる構成を小型化するためには、このようなイントラ予測における予測モードを決定する処理をする構成をも小型化することが必要である。
特開２００５−２４４８４５号公報

しかしながら、先に挙げた従来技術は、イントラ予測をする構成を小型化することを考慮したものでなく、イントラ予測をする装置ための構成に多くのフレームメモリを用いるために動画像符号化のための構成全体を十分小型化することができなかった。
本発明は、このような点に鑑みて行われたものであって、動画像を符号化することが可能であり、かつイントラ予測の処理に用いられる構成も小型、低廉であるためにより小型化、低コスト化できる符号化装置、復号化装置、画像処理装置及びこの装置において画像処理する方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

以上の課題を解決するため、本発明の符号化装置は、画像データのイントラ予測をするイントラ予測制御装置と、当該イントラ予測制御装置によってされたイントラ予測の結果にしたがって画像データを符号化するプロセッサとを備える符号化装置であって、前記イントラ予測制御装置は、フレーム画像を構成する複数のブロック画像のうち一部のブロック画像のイントラ予測に必要な画像データだけを保存する画像データ保存手段と、前記画像データ保存手段に保存されている画像データを使い、前記ブロック画像ごとに画像データのイントラ予測をするイントラ予測手段と、を備え、前記プロセッサは、前記イントラ予測手段によるイントラ予測の結果にしたがって、前記ブロック画像ごとに画像データを符号化する符号化手段を備えることを特徴とする。

このような発明によれば、符号化装置を、画像データのイントラ予測をするイントラ予測制御装置、このイントラ予測制御装置によってされたイントラ予測の結果にしたがって画像データを符号化するプロセッサによって構成することができる。このため、演算量が大きいことで知られるイントラ予測をプロセッサとは別の専用の構成で実行することができ、プロセッサにかかる負荷を軽減することができる。

また、イントラ予測制御装置がフレーム画像を構成する複数のブロック画像のうち一部のブロック画像のイントラ予測に必要な画像データだけを保存する画像データ保存手段を備えることによってイントラ予測制御装置の構成を小型、低コスト化することができる。
さらに、イントラ予測制御装置がブロック画像ごとに画像データのイントラ予測をし、プロセッサがイントラ予測の結果にしたがってブロック画像ごとに画像データを符号化することによってイントラ予測制御装置とプロセッサとが他方の処理を待つ時間が低減し、効率的に動作することができる。
このような本発明は、イントラ予測の処理に用いられる構成が小型、低廉であるためにより小型化、低コスト化でき、その上動作効率の高い符号化装置を提供することができる。

また、本発明の符号化装置は、前記プロセッサが、前記符号化手段によって符号化された画像データを、前記ブロック画像ごとに復号する復号化手段を備えることを特徴とする。
このような発明によれば、画像データを符号化するばかりでなく、符号化された画像データを復号して表示等することができる。

また、本発明の符号化装置は、前記イントラ予測制御装置が、前記画像データ保存手段に保存されている画像データを、前記ブロック画像ごとのイントラ予測ごとに更新することを特徴とする。
このような発明によれば、イントラ予測に必要なブロック画像のデータを常に画像データ保存手段に保存しておくことができる。

また、本発明の符号化装置は、前記ブロック画像が、縦、横方向に各々等しい数の画素を配置して構成されるマクロブロックを単位にする画像であることを特徴とする。
このような発明によれば、一般的に画像処理で使用されるマクロブロックをブロック画像の単位にすることによって既存の手法や構成を利用しやすくすることができる。

また、本発明の符号化装置は、前記画像データ保存手段が、前記ブロック画像の縦方向に配列された画素と隣接して配置される画素の画像データを保存する縦ラインバッファ、前記ブロック画像の横方向に配列された画素と隣接して配置される画素の画像データを保存する横ラインバッファの少なくとも一つを含むことを特徴とする。
このような発明によれば、画像データ保存手段の規模をイントラ予測に実質必要な最小限度に抑え、また、容易に複数のブロック画像の処理に必要な画像データを取り込むことが可能になる。

本発明の復号化装置は、イントラ予測の結果にしたがって符号化された画像データを入力し、符号化された画像データを復号する復号化手段と、前記復号化手段によって復号された復号画像データに基づいて予測画像データを生成する予測画像生成手段と、前記復号化手段によって復号された画像データと、前記予測画像生成手段によって生成された予測画像データとを合成し、復号画像データを生成する復号化装置であって、前記予測画像生成手段は、前記復号画像データを構成する１フレーム分のブロック画像のうち一部のブロック画像の予測画像データの生成に必要な画像データだけを保存する画像データ保存手段を備え、当該画像データ保存手段に保存された復号画像データを使って予測画像データを生成することを特徴とする。

このような発明によれば、予測画像生成手段がフレーム画像を構成する複数のブロック画像のうち一部のブロック画像の予測画像の生成に必要な画像データだけを保存する画像データ保存手段を備えることによって復号化装置の構成を小型、低コスト化することができる。

また、本発明の画像処理装置は、符号化装置と、該符号化装置によって符号化された画像データを復号する復号化装置と、を備える画像処理装置であって、前記符号化装置が、フレーム画像を構成する複数のブロック画像のうち一部のブロック画像のイントラ予測に必要な画像データだけを保存する画像データ保存手段を備え、該画像データ保存手段に保存されている画像データを使って画像データのイントラ予測をするイントラ予測制御装置と、前記イントラ予測制御装置によってされたイントラ予測の結果にしたがって画像データを符号化するプロセッサと、を備え、前記復号化装置は、イントラ予測の結果にしたがって符号化された画像データを入力し、符号化された画像データを復号する復号化手段と、前記復号手段によって復号された画像データと、前記符号化装置に入力された画像データを予測した画像である予測画像データとを合成して復号画像データを生成する合成手段と、前記復号画像データを構成する１フレーム分のブロック画像のうち一部のブロック画像の予測画像データの生成に必要な画像データだけを保存する画像データ保存手段を備え、当該画像データ保存手段に保存された復号画像データを使って予測画像データを生成する予測画像生成手段と、を備えることを特徴とする。

このような発明によれば、符号化装置がフレーム画像を構成する複数のブロック画像のうち一部のブロック画像のイントラ予測に必要な画像データだけを保存する画像データ保存手段を備えることによって符号化装置の構成を小型、低コスト化することができる。そして、復号化装置の予測画像生成手段がフレーム画像を構成する複数のブロック画像のうち一部のブロック画像の予測画像の生成に必要な画像データだけを保存する画像データ保存手段を備えることによって復号化装置の構成を小型、低コスト化することができる。

したがって、本発明は、動画像を符号化することが可能であり、かつ符号化装置のイントラ予測の処理に用いられる構成及び復号装置が画像データを復号する構成が小型、低廉であるためにより小型化、低コスト化できる画像処理装置を提供することができる。

また、本発明の画像処理方法をコンピュータに実行させるためのプログラムは、画像データのイントラ予測をするイントラ予測制御装置において実行される画像処理方法をコンピュータに実行させるためのプログラムであって、ブロック画像ごとにされた画像データのイントラ予測の結果を受け取り、該結果にしたがって前記ブロック画像ごとに画像データを符号化する符号化ステップを含むことを特徴とする。
このような発明によれば、イントラ予測制御装置とプロセッサとが他方の処理を待つ時間が低減し、効率的に動作することができる。

以下、図を参照して本発明に係る符号化装置、復号化装置、画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムの実施の形態を説明する。なお、本実施形態は、符号化装置及び復号化装置を備えた画像処理装置として構成した場合の例である。

（符号化装置）
図１は、本発明の一実施形態の画像処理装置が備える符号化装置１の全体構成を示した図である。図示したように、本実施形態の符号化装置１は、画像データのイントラ予測をするイントラ予測制御装置１０４、イントラ予測制御装置１０４によってされたイントラ予測の結果にしたがって画像データを符号化するＣＰＵ（Central Processing Unit）を備えている。

イントラ予測制御装置１０４は、メモリ１０１と、メモリ１０１に保存されている画像データを使い、ブロック画像ごとに画像データのイントラ予測をする予測回路１０３と、を備えている。メモリ１０１は、フレーム画像を構成する複数のブロック画像のうち一部のブロック画像のイントラ予測に必要な画像データだけを保存する画像データ保存手段である。また、予測回路１０３は、メモリ１０１に保存されている画像データを使い、ブロック画像ごとに画像データのイントラ予測をするイントラ予測手段である。

なお、フレーム画像とは、動画像として表示される画像データのフレーム単位の画像を指し、単位時間当たりに何枚のフレーム画像が表示できるによって動画像のフレームレートが表される。また、本実施形態でいうブロック画像とは、１フレーム画像を分割して得られる画像であって、縦、横方向に各々同じ数の画素を配置して構成されるものとする。本実施形態では、ブロック画像を特に１６×１６個のマクロブロック１個分とした。

ただし、ブロック画像はマクロブロック１個分に限定されるものでなく、複数のマクロブロックをブロック画像とすることも可能である。また、マクロブロックは１６×１６個に限定されるものでなく、縦及び横方向に配置される画素の数は任意であることは言うまでもない。
また、予測回路１０３は、演算量が多いことで知られるイントラ予測をするハードウェア（ＨＷ）構成であって、ソフトウェアによるよりも高速にイントラ予測をすることができる。一方、ＣＰＵ１０２は、ソフトウェア（ＳＷ）によって動画像符号化の全般を管理する。本実施形態は、予測回路１０３を設けたことによってＣＰＵ１０２の負荷を軽減し、ＣＰＵ１０２に要求される機能や処理速度を抑えることができる。なお、予測回路１０３は、非常に多くの演算が必要になるので専用回路により実装することでソフトウェアの数倍の処理性能を実現できる。さらに、この専用回路の回路規模はそれほど大きいものでなく、符号化装置１の小型化を妨げることはない。

予測回路１０３によってイントラ予測をする本実施形態の符号化装置１では、ＣＰＵ１０２が、ＣＰＵ１０２上で動作するソフトウェアによって予測回路１０３からブロック画像ごとにされた画像データのイントラ予測の結果を受け取り、この結果にしたがってブロック画像ごとに画像データを符号化する。

図２は、図１に示した符号化装置１の構成をより詳細に説明するための図である。符号化装置１が備えるメモリ１０１は、ブロック画像の縦方向に配列された画素と隣接して配置される画素の画像データを保存する縦ラインバッファ１０１ｂ、ブロック画像の横方向に配列された画素と隣接して配置される画素の画像データを保存する横ラインバッファ１０１ａを含んでいる。なお、本実施形態では、メモリ１０１がインター予測に使用される１フレーム分の画像（フレーム画像）を保存するためのフレームメモリ１０１ｃをも含むものとする。

予測回路１０３は、横ラインバッファ１０１ａ、縦ラインバッファ１０１ｂに保存された画像データを使ってイントラ予測するイントラ予測部２１１を備えている。イントラ予測部２１１によるイントラ予測の処理については後に述べる。
なお、本実施形態では、予測回路１０３がインター処理を行うインター予測部２１４及び動きベクトル検出部２１５をも備えるものとした。さらに、予測回路１０３は、インター予測部２１４が予測した予測画像とイントラ予測部２１１が予測した予測画像とを入力し、より高い圧縮率が得られる予測画像を選択して出力する選択器２１６を備えている。

また、イントラ予測制御装置１０４は、選択器２１６が選択した方向にしたがって生成された予測画像から入力した画像データを減算する減算器２０２、減算値をアダマール変換あるいはＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）処理する整数トランスフォーム部２０３、整数トランスフォーム部２０３で処理されたデータを量子化する量子化部２０４、量子化部２０４による量子化を量子化の条件等によって制御する符号化制御部２０１、量子化された画像データをエントロピー符号化（可変長符号化とも記す）するエントロピー符号化部２０５を備えている。

また、イントラ予測では、より正確にイントラ予測するため、復号された状態の画像データを使ってイントラ予測する。このため、イントラ予測制御装置１０４は、いったん量子化された画像データを逆量子化する逆量子化部２０６、先に行われたアダマール変換やＤＣＴの処理と逆の処理をして横ラインバッファ１０１ａ、縦ラインバッファ１０１ｂに保存する逆整数トランスフォーム部２０７を備えている。

さらに、イントラ予測制御装置１０４は、逆整数トランスフォーム部２０７によって処理されたデータに予測画像をたし合わせる加算器２０８、たし合わせて生成された画像データの HYPERLINK "http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%AD%E3%83%83%E3%82%AF%E3%83%8E%E3%82%A4%E3%82%BA" \o "ブロックノイズ" ブロックノイズの発生を抑制するデブロッキング・フィルタ（Ｄｅｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ）２０９を備えている。デブロッキング・フィルタ２０９は、整数変換のブロック境界のみを平滑化するものである。

図３は、横ラインバッファ１０１ａ、縦ラインバッファ１０１ｂに保存される画像データの画素の位置を示した図である。図３は、フレーム画像ｆにおいてイントラ予測の対象となるブロック画像（注目ブロック画像）３０１と隣接する他のブロック画像３０２を示している。横ラインバッファ１０１ａは、図示したように、注目ブロック画像３０１の横方向に配列された画素と隣接する位置にある画素の値を画像データＬｄ１として保存する。

また、縦ラインバッファ１０１ｂは、他のブロック画像３０２にあって、注目ブロック画像３０１の縦方向に配列された画素と隣接する位置にある画素の値を画像データＬｄ３として保存する。なお、後で述べるように、横ラインバッファ１０１ａ、縦ラインバッファ１０１ｂに保存された画像データは、ＣＰＵ１０２によって先に符号化されたブロック画像の画像データを逆整数トランスフォームした画像と、選択器２１６で選択した予測画像を加算した結果である。

また、予測回路１０３は、横ラインバッファ１０１ａ、縦ラインバッファ１０１ｂに保存された画像データを使ってイントラ予測を実行するイントラ予測部２１１を備えている。イントラ予測部２１１は、図３に矢線Ａで示した方向にブロック画像をイントラ予測処理するため、注目ブロック画像３０１は矢線Ａで示す方向に順次シフトする。
また、本実施形態では、イントラ予測部２１１が、横ラインバッファ１０１ａ、縦ラインバッファ１０１ｂに保存された画像データを、ブロック画像のイントラ予測ごとに更新するものとした。すなわち、イントラ予測に使用される画素は、注目ブロック画像３０１のシフトにしたがってシフトする。本実施形態では、この更新によって、イントラ予測が終了したブロック画像（注目ブロック画像３０１の図中右側にあるブロック画像３０２）と隣接するブロック画像の画像データＬｄ１’を廃棄し、代わって次行にあるブロック画像と隣接するブロック画像のデータＬｄ２を保存する。

図４は、イントラ予測部２１１によって実行されるイントラ予測を説明するための図であって、イントラ予測のモード（予測モード）の種別を説明するための図である。なお、本実施形態では、ブロック画像を１６×１６画素のマクロブロックとしているが、図３においては簡単のため４×４のブロック画像を例にして９種類の予測モードを示す。予測モードは、注目ブロック画像に含まれる画素であって、他のブロック画像に含まれる隣接する画素の値から求めた補間値を生成する補間の方向を示すモードである。予測モードには、補間方向によって予測モード０から予測モード８までの識別子が付されている。

図４（ａ）〜（ｉ）のいずれにおいても、黒丸で示す画素は、既に符号化されているブロック画像の画素であって、白丸で示す画素は、注目ブロック画像に含まれる画素である。また、図中に示した矢線は、各々の予測モードの予測方向を示す。なお、図４（ｃ）に示した予測モード２では、閉曲線ａ１、ａ２で囲んだ画素１の値の平均を、各々予測誤差値として採用する。このため、図４（ｃ）には矢線の図示がされていない。
イントラ予測とは、ブロック画像を符号化する場合に最も高い圧縮率を得られる方向を予測するため、予測モード０から予測モード８のうちから１つを選択する処理である。

図５は、予測モードを選択する方法をより具体的に説明するための図である。図５による説明では、簡単のため縦、横の２方向についてのみ演算してイントラ予測をするものとする。しかし、本実施形態の符号化装置１は、前記した９種類の予測モードのうちから予測モードを選択するものである。したがって、実際のイントラ予測部２１１は、９種類の予測モードから一つの予測モードを選択するのに必要な全ての方向について演算する。

図５中に白丸で示した画素５０１は、注目ブロック画像に含まれる画素であって、黒丸で示した画素５０２は、注目ブロック画像と隣接する隣接ブロック画像に含まれて、かつ画素５０１と隣接する画素である。
イントラ予測部２１１は、隣接する画素ｄ２から特定の方向に画素値を補間し、モード選択のための予測画像ｄ２ｐを算出する。この算出された予測画像ｄ２ｐと入力画像ｄ１の差分値を加算し、差分値の総和ｄｐを求める。差文値の総和ｄｐが小さい方が強い相関があることを示す。イントラ予測では、図４の全てのモードの中からもっとも差分値の総和ｄｐが小さいモードが選択され、選択された予測モードのデータを選択器２１６に送る。

図６は、以上述べた本実施形態の符号化装置１において実行される処理を説明するためのフローチャートである。なお、図６に示したフローチャートは、本実施形態の画像処理方法をコンピュータに実行させるためのプログラムを含んでいる。
画像処理は、先ず、ブロック画像（本実施形態ではマクロブロックＭＢ）１つ分の画像データを入力する（Ｓ６０１）。そして、この画像データを使ってイントラ予測、インター予測を行う。

図６に示したフローチャートでは、符号化装置１が先ずインター予測を実行する。このため、符号化装置１は、１ＭＢの画像データを蓄積してインター予測に必要な１フレーム分の画像データを入力する（Ｓ６１４）。動きベクトル検出部２１５は、画像データのフレーム間で画像の動きベクトルを検索し（Ｓ６１５）、インター予測する（Ｓ６１６）。インター予測の後、画像データは、さらに整数トランスフォームされる（Ｓ６１７）。

インター予測の後、予測回路１０３は、イントラ予測するようモードを切り替え、縦ラインバッファ１０１ｂ、横ラインバッファ１０１ａにある画像データを使ってイントラ予測する（Ｓ６０２）。
また、整数トランスフォーム部２０３が入力された１ＭＢ分の画像データを整数トランスフォームし（Ｓ６０３）、符号化制御部２０１が量子化部２０４を圧縮率等の条件によって決まる符号化のモードに合わせて制御する（Ｓ６０４）。

符号化制御部２０１は、以上の処理が１ＭＢ分の画像データについて完了したか否か判定する（Ｓ６０５）。１ＭＢ分の画像データについて処理が完了した場合（Ｓ６０５：Ｙｅｓ）、量子化部２０４が１ＭＢ分の画像データを量子化する（Ｓ６０６）。量子化された画像データは、エントロピー符号化部２０５において符号化される（Ｓ６１０）。
また、量子化された１ＭＢの画像データは、逆量子化及び逆整数トランスフォームされた後（Ｓ６０７、Ｓ６０８）、予測画像とたし合わされる。エントロピー符号化処理（Ｓ６１０）に先立ち、転送レートに応じた符号量を決定する符号量制御処理（Ｓ６０９）を行い、符号量制御に応じて量子化パラメータ等が変更される。この画像データは、デブロッキング・フィルタ２０９においてＭＢの境界が平滑化され（Ｓ６１１）、フレームメモリ１０１ｃに保存される。

ＣＰＵ１０２は、以上の処理が１フレーム分終了したと判断した場合（Ｓ６１２：Ｙｅｓ）、さらに全フレーム分の画像データについて処理が終了したか否か判断する（Ｓ６１３）。そして、全フレーム分の画像データについて処理が終了したと判断した場合には（Ｓ６１３：Ｙｅｓ）、符号化の処理を終了する。

また、図７は、縦ラインバッファ１０１ｂ、横ラインバッファ１０１ａを１ＭＢ分のイントラ予測が終了するたびに更新する場合の動作について説明するためのフローチャートである。図３で述べたように、縦ラインバッファ１０１ｂ、横ラインバッファ１０１ａの更新は、整数逆トランスフォームが終わった画像を予測画像と加算した画像データを立てラインバッファ１０１ｂ、横ラインバッファ１０１ａに書き出すことにより実行される。これとは別に、デブロックフィルタ処理が終わったブロック画像は以降のインター予測に使用するためにフレームメモリに書き込み保存される。

図７に示したフローチャートでは、新たに入力された１ＭＢ分の画像データの逆整数トランスフォームが完了したタイミングで縦ラインバッファ１０１ｂ、横ラインバッファ１０１ａを更新するものとした（Ｓ７０９）。また、図７に示したフローチャートにおいては、１フレーム分の画像データの処理が終了したタイミングで縦ラインバッファ１０１ｂ、横ラインバッファ１０１ａを初期化するものとした（Ｓ７１４）。

なお、図６、図７のフローチャートで示した処理において、エントロピー符号化は、ＣＰＵ１０２上でソフトウェアが制御する処理である。そして、本実施形態のブロック画像（１ＭＢ分）ごとにされた画像データのイントラ予測の結果を受け取り、この結果にしたがって１ＭＢごとに画像データを符号化する符号化ステップを含むプログラムである。
本実施形態の画像処理方法をコンピュータに実行させるためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、本実施形態の画像処理方法をコンピュータに実行させるためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

さらに、以上述べた画像処理方法をコンピュータに実行させるためのプログラムは、コンピュータで読み取り可能なＲＯＭ、フラッシュメモリ、メモリカード、ＵＳＢ接続型フラッシュメモリ等のメモリデバイスに記録されて提供されるものであってもよい。

（復号化装置）
次に、本発明の復号化装置について説明する。図８は、本実施形態の画像処理装置の復号化する構成を示したものである。図示した構成は、先に述べた符号化装置によって符号化された画像データを復号する復号化装置である。復号化装置は、符号化装置１側で行われたイントラ予測の結果にしたがって符号化された画像データを入力し、符号化された画像データを復号するエントロピー復号化部８０１、復号された画像データ（復号画像データ）に基づいて予測画像データを生成する構成を備えている。

本実施形態の復号化装置にあって、逆量子化部２０６、逆整数トランスフォーム部２０７、加算器２０８、デブロッキング・フィルタ２０９、横ラインバッファ１０１ａ、縦ラインバッファ１０１ｂ、イントラ予測部２１１が予測画像のデータ（予測画像データ）を生成する予測画像生成手段を構成する。
逆量子化部２０６、逆整数トランスフォーム部２０７、加算器２０８、デブロッキング・フィルタ２０９、横ラインバッファ１０１ａ、縦ラインバッファ１０１ｂ、イントラ予測部２１１は、符号化装置にあってイントラ予測し、予測画像を生成する構成と同様の構成である。このため、本実施形態の復号化装置は、符号化装置側で生成された予測画像と同じ演算条件で同じ予測画像を生成することができる。

なお、本実施形態では、符号化装置がイントラ予測によって得た予測モードを符号化された画像データと共に出力ビットストリームとして復号化装置に出力している。このため、復号化装置は、入力した予測モードにしたがって予測画像を生成すればよく、イントラ予測の処理は省くことができる。

また、上記した構成のうち、加算器２０８は、エントロピー復号化部８０１によって復号された画像データと、生成された予測画像データとを合成し、復号画像データを生成する。そして、予測データを生成する構成が横ラインバッファ１０１ａ、縦ラインバッファ１０１ｂを備える。横ラインバッファ１０１ａ、縦ラインバッファ１０１ｂは、復号画像データを構成する１フレーム分のブロック画像のうち一部のブロック画像の予測画像データの生成に必要な画像データだけを保存する画像データ保存手段である。イントラ予測部２１１は、横ラインバッファ１０１ａ、縦ラインバッファ１０１ｂに保存された復号画像データを使って予測画像データを生成する。
このように構成することにより、本実施形態は、復号化装置の構成を小型、低コスト化することができる。

次に、本発明の実施形態の符号化装置、復号化装置、画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムによって得られる効果を説明する。
図９は、イントラ予測を１フレーム分の画像データごとに実行した場合に必要になるメモリを説明するための図である。図示したように、画像データの符号化、復号化が可能な画像処理装置では、入力する画像データを保存しておくオリジナル現フレームメモリ９０１及びインター処理に必要な複数のフレームメモリ（過去フレーム９０５）が必要である。

イントラ予測をフレーム画像単位で行う場合には、イントラ予測の結果に基づいて１フレーム分の画像が生成される。このため、イントラ予測等の結果から生成された予測画像を保存するフレームメモリ（予測フレーム９０２）がさらに必要になる。また、以降の整数トランスフォームや量子化の制御も１フレームを単位にして行われるため、入力された画像データと予測画像の画像データとの差をエントロピー符号化のため保持しておくフレームメモリ（差分フレーム９０３）、差分フレーム９０３に保存されていた画像データが逆量子化及び逆整数トランスフォームされた後に保存しておくフレームメモリ（逆変換後の差分フレーム９０６）、１フレーム分の画像データをイントラ処理することに必要な画像データを保存しておくフレームメモリ（最新再構成フレーム９０４）といった多数のフレームメモリが必要になる。

しかし、１マクロブロックごとに画像データのイントラ予測を行って符号化する本実施形態は、オリジナル現フレーム９０１、過去フレーム９０５を除いたフレームメモリをより小型のメモリにすることが可能になる。したがって、本実施形態によれば、イントラ予測制御する画像処理装置の構成を小型、低コスト化することができる。
また、本実施形態は、画像処理装置をイントラ予測する専用の回路構成とプロセッサとによって構成し、プロセッサにかかる負荷を軽減している。このため、本実施形態の構成は、プロセッサに特に高い機能を要求するものでなく、プロセッサにかかるコストをも低廉にすることができる。そして、イントラ予測をハードウェアで実行するため、イントラ予測の処理を高速に実行することが可能になる。

さらに、１マクロブロックの画像ごとに画像データのイントラ予測し、符号化することによってイントラ予測する側の構成とプロセッサとが他方の処理を待つ時間が低減し、画像処理装置の動作効率を高めることができる。
なお、本実施形態は、全ての処理をプロセッサを用いて行った場合でも有効に働くことを付け加える。

本発明の一実施形態の画像処理装置の全体構成を示した図である。 図１に示した画像処理装置の構成をより詳細に説明するための図である。 図１に示した横ラインバッファ、縦ラインバッファに保存される画像データの画素の位置を示した図である。 図１に示したイントラ予測部によって実行されるイントラ予測を説明するための図であって、予測モードの種別を説明するための図である。 図４に示した予測モードを選択する方法をより具体的に説明するための図である。 本発明の一実施形態の画像処理装置において実行される処理を説明するためのフローチャートである。 本発明の一実施形態の画像処理装置において実行される処理を説明するための他のフローチャートである。 本発明の一実施形態の画像処理装置に備えられる復号化器を説明するための図である。 本発明の一実施形態の画像処理装置の効果を説明するための図である。

符号の説明

１０１ メモリ、１０１ａ 横ラインバッファ、１０１ｂ 縦ラインバッファ、１０１ｃ フレームメモリ、１０２ ＣＰＵ、１０３ 予測回路、１０４ イントラ予測制御装置、２０１ 符号化制御部、２０２ 減算器、２０３ 整数トランスフォーム部、２０４ 量子化部、２０５ エントロピー符号化部、２０６ 逆量子化部、２０７ 逆整数トランスフォーム部、２０８ 加算器、２０９ デブロッキング・フィルタ、２１１ イントラ予測部、２１４ インター予測部、２１５ 動きベクトル検出部、２１６ 選択器、３０１ 注目ブロック画像、３０２ ブロック画像、８０１ エントロピー復号化部

Claims (8)

1. 画像データのイントラ予測をするイントラ予測制御装置と、当該イントラ予測制御装置によってされたイントラ予測の結果にしたがって画像データを符号化するプロセッサとを備える符号化装置であって、
   前記イントラ予測制御装置は、
   フレーム画像を構成する複数のブロック画像のうち一部のブロック画像のイントラ予測に必要な画像データだけを保存する画像データ保存手段と、
   前記画像データ保存手段に保存されている画像データを使い、前記ブロック画像ごとに画像データのイントラ予測をするイントラ予測手段と、を備え、
   前記プロセッサは、
   前記イントラ予測手段によるイントラ予測の結果にしたがって、前記ブロック画像ごとに画像データを符号化する符号化手段を備えることを特徴とする符号化装置。
2. 符号化された画像データを、前記ブロック画像ごとに復号する復号化手段を備えることを特徴とする請求項１に記載の符号化装置。
3. 前記イントラ予測制御装置は、前記画像データ保存手段に保存されている画像データを、前記ブロック画像のイントラ予測ごとに更新することを特徴とする請求項１または２に記載の符号化装置。
4. 前記ブロック画像は、縦、横方向に各々等しい数の画素を配置して構成されるマクロブロックを単位にする画像であることを特徴とする請求項１から３のいずれか１項に記載の符号化装置。
5. 前記画像データ保存手段は、前記ブロック画像の縦方向に配列された画素と隣接して配置される画素の画像データを保存する縦ラインバッファ、前記ブロック画像の横方向に配列された画素と隣接して配置される画素の画像データを保存する横ラインバッファの少なくとも一つを含むことを特徴とする請求項１から４のいずれか１項に記載の符号化装置。
6. イントラ予測の結果にしたがって符号化された画像データを入力し、符号化された画像データを復号する復号化手段と、
   前記復号化手段によって復号された復号画像データに基づいて予測画像データを生成する予測画像生成手段と、
   前記復号化手段によって復号された画像データと、前記予測画像生成手段によって生成された予測画像データとを合成し、復号画像データを生成する復号化装置であって、
   前記予測画像生成手段は、前記復号画像データを構成する１フレーム分のブロック画像のうち一部のブロック画像の予測画像データの生成に必要な画像データだけを保存する画像データ保存手段を備え、当該画像データ保存手段に保存された復号画像データを使って予測画像データを生成することを特徴とする復号化装置。
7. 符号化装置と、該符号化装置によって符号化された画像データを復号する復号化装置と、を備える画像処理装置であって、
   前記符号化装置は、
   フレーム画像を構成する複数のブロック画像のうち一部のブロック画像のイントラ予測に必要な画像データだけを保存する画像データ保存手段を備え、該画像データ保存手段に保存されている画像データを使って画像データのイントラ予測をするイントラ予測制御装置と、
   前記イントラ予測制御装置によってされたイントラ予測の結果にしたがって画像データを符号化するプロセッサと、を備え、
   前記復号化装置は、
   イントラ予測の結果にしたがって符号化された画像データを入力し、符号化された画像データを復号する復号化手段と、
   前記復号手段によって復号された画像データと、前記符号化装置に入力された画像データを予測した画像である予測画像データとを合成して復号画像データを生成する合成手段と、
   前記復号画像データを構成する１フレーム分のブロック画像のうち一部のブロック画像の予測画像データの生成に必要な画像データだけを保存する画像データ保存手段を備え、当該画像データ保存手段に保存された復号画像データを使って予測画像データを生成する予測画像生成手段と、を備えることを特徴とする画像処理装置。
8. 画像データのイントラ予測をするイントラ予測制御装置において実行される画像処理方法をコンピュータに実行させるためのプログラムであって、
   ブロック画像ごとにされた画像データのイントラ予測の結果を受け取り、該結果にしたがって前記ブロック画像ごとに画像データを符号化する符号化ステップを含むことを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。

Images