JP2009021786A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】高いスループット処理性能を実現しながら、予測モード選択に必要な演算資源を低減させたフレーム内予測符号化ができるようにする。
【解決手段】画像ブロックデータと参照画像データとを入力して複数の画面内予測モードのいずれかにより前記画像ブロックデータを予測符号化する画像符号化装置であって、類似した算出式により算出可能な複数の予測モードに対応した予測値を算出する。そして、予測モードの組み合わせを予め決定して予測値算出部に対して指定し、前記画像ブロックデータと前記予測値とから予測残差を算出する。また、予測モード決定部、各予測モードに対する前記予測残差、前記画像ブロックデータ、及び前記参照画像データのうち、少なくとも１つを用いて予測モードを決定する。
【選択図】図１

Description

本発明は画像符号化装置、画像符号化方法及びプログラムに関し、特に、複数の画像ブロックからなる１フレームのフレーム内予測符号化を高速に行うために用いて好適な技術に関する。

従来、ＣＤ−ＲＯＭやハードディスク等の蓄積媒体に静止画像を保存・表示するための符号化方式としてＩＳＯ（国際標準化機構）により標準化されたＪＰＥＧ方式が広く用いられている。一方、動画像及び音声を同様な蓄積媒体に保存・表示したり、通信路を介して放送、または双方向通信したりするための符号化方式としてＩＳＯにより標準化されたＭＰＥＧ方式が広く用いられている。

動画像及び音声の符号化方式であるＭＰＥＧ方式は、符号化効率の向上を目的として年々その符号化方式が改良されている。１９９２年にＭＰＥＧ−１が規定され、１９９４年にはＭＰＥＧ−２が規定されている。また、１９９９年にはＭＰＥＧ−４が規定され、２００３年にはＭＰＥＧ−４ＡＶＣ／Ｈ．２６４がそれぞれ国際標準として規定されている（例えば、非特許文献１参照）。

ＭＰＥＧ−４においては、符号化効率の向上以外にも、符号誤り訂正機能の強化や、符号化対象毎に最適な符号化を施すオブジェクト符号化の導入なども実現されている。さらには、ＭＥＰＧ−４シンタックス上のビジュアル層とオーディオ層を包含するファイル形式などを規定するシステム層においては、利用者が要求する任意の時刻の動画像データまたは音声データに容易にアクセスできる仕組みを提供している。

また、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、ＭＰＥＧ−４に対してさらなる符号化効率向上を目指してフレーム間予測、フレーム内予測、エントロピー符号化などにおいて多種多様な新規符号化ツールが採用されている。特に、フレーム内予測においては、輝度信号に対するフレーム内予測として４×４および８×８画像ブロック単位での予測方式とグラデーション画像などに有効とされる１６×１６画像ブロック単位での予測方式とが規定されている。また、４×４輝度ブロックに対して９つ、８×８輝度ブロックに対して９つ、１６×１６輝度ブロックに対して４つの予測モードが用意されている。

図１０は、４×４輝度ブロックとフレーム内予測に使用する参照画像サンプルの位置関係を示す図である。符号化対象の４×４輝度ブロックは、図１０において、（０，０）〜（３，３）の１６サンプルで表現されている。

一方、参照画像サンプルは４×４輝度ブロックの周囲に位置する。図１０において、（−１，−１）、（０，−１）、（１，−１）、（２，−１）、（３，−１）、（４，−１）、（５，−１）、（６，−１）、（７，−１）、（−１，０）、（−１，１）、（−１，２）、（−１，３）の１３サンプルで表現されている。

図１１〜１８は、各予測モードにおいて、符号化対象１６個の各サンプルとそれに対する予測値を算出するために使用される参照サンプルとの位置関係を示す概念図である。使用される参照サンプルから符号化対象画像サンプルへの方向において、図１１に示すモード０は垂直方向への予測であり、図１２に示すモード１は水平方向への予測である。

また、モード２（図示せず）は１３個の参照サンプルの平均値を予測値とし、図１３に示すモード３は左対角下方向への予測である。さらに、図１４に示すモード４は右対角下方向への予測であり、図１５に示すモード５は右垂直斜め下方向への予測である。また、図１６に示すモード６は右水平斜め下方向への予測であり、図１７に示すモード７は左垂直斜め下方向への予測である。そして、図１８に示すモード８は右水平斜め上方向への予測となっている。

また、色差信号に対するフレーム内予測は８×８色差ブロックに対する４つの予測モードが用意されている。なお、輝度信号、色差信号のいずれにおいても、どの予測モードを使用してフレーム内予測符号化を行うかはユーザの判断に委ねられており、高い符号化効率を達成するために最適な予測モードを選択することが重要となっている。

従来は、フレーム内予測符号化における輝度ブロックの予測単位（４×４、８×８または１６×１６）を決定する。このために、それぞれの予測単位におけるすべての予測モード（９＋９＋４＝２２モード）に対して、処理対象ブロックで使用する予測値の算出と、処理対象ブロックから予測値を減算して得られる予測残差の算出とを行う。さらにその予測残差の絶対値和であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）など指標値の算出を行い、最小の評価値を示す予測方向を選択していた。

ＩＳＯ／ＩＥＣ １４４９６−１０

しかしながら、どの予測モードを使用するかを決定するためには、膨大な演算が必要になる。すなわち、処理対象ブロックで使用する予測値の算出と、処理対象ブロックから予測値を減算して得られる予測残差の算出、さらにＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）など指標値の算出が必要とる。

さらに、特に、４×４輝度ブロックにおいてはそのフレーム内予測を行うためには、直前の隣接４×４輝度ブロックをフレーム内予測、直交変換、量子化した後、逆量子化、逆直交変換して再構成される参照画像データが必要である。このため、スループット処理性能を向上させるにはこの一連の処理を短期間で完了する必要がある。

本発明は前述の問題点に鑑み、高いスループット処理性能を実現しながら、予測モード選択に必要な演算資源を低減させたフレーム内予測符号化ができるようにすることを目的としている。

本発明の画像符号化装置は、画像ブロックデータと参照画像データとを入力して複数の画面内予測モードのいずれかにより前記画像ブロックデータを予測符号化する画像符号化装置であって、類似した算出式により算出可能な複数の予測モードに対応した予測値を算出する予測値算出手段と、特定の予測モードの組み合わせを予め決定して前記予測値算出手段に対して指定する予測モード決定手段と、前記画像ブロックデータと前記予測値とから予測残差を算出する予測残差算出手段とを有し、前記予測モード決定手段は、各予測モードに対する前記予測残差、前記画像ブロックデータ、及び前記参照画像データのうち、少なくとも１つを用いて予測モードを決定することを特徴とする。

本発明の画像符号化方法は、画像ブロックデータと参照画像データとを入力して複数の画面内予測モードのいずれかにより前記画像ブロックデータを予測符号化する画像符号化方法であって、類似した算出式により算出可能な複数の予測モードに対応した予測値を算出する予測値算出工程と、特定の予測モードの組み合わせを予め決定して前記予測値算出工程の処理に対して指定する予測モード決定工程と、前記画像ブロックデータと前記予測値とから予測残差を算出する予測残差算出工程とを有し、前記予測モード決定工程においては、各予測モードに対する前記予測残差、前記画像ブロックデータ、及び前記参照画像データのうち、少なくとも１つを用いて予測モードを決定することを特徴とする。

本発明のプログラムは、前記に記載の画像符号化方法の各工程をコンピュータにて実施させることを特徴とする。

本発明によれば、高いスループット処理性能を実現しながら、予測モード選択に必要な演算資源を低減させたフレーム内予測符号化ができる。

（第１の実施形態）
以下、本発明の第１の実施形態をＭＰＥＧ−４ＡＶＣ／Ｈ．２６４符号化方式の例で図面とともに説明する。本実施形態では、画像ブロックデータと参照画像データを入力して複数の画面内予測モードのいずれかにより画像ブロックデータを予測符号化する例について説明する。

本実施形態は、類似した算出式により算出可能な複数の予測モードに対応した予測値を算出する予測値算出手段と、特定の予測モードの組み合わせを予め決定して前記予測値算出手段に対して指定する予測モード決定手段とを有する。また、前記画像ブロックデータと前記予測値とから予測残差を算出する予測残差算出手段を有する。また、各予測モードに対する前記予測残差、および／または前記画像ブロックデータ、および／または前記参照画像データを用いて予測モードを決定する予測モード決定手段とを有する。

図３は、本実施形態の画像符号化装置の機能構成例を示すブロック図である。
図３において、１０１はフレーム内予測部、１０２は予測方式選択部、１０３は直交変換部、１０４は量子化部、１０５はエントロピー符号化部、１０６はエントロピー復号化部である。また、１０７は逆量子化部、１０８は逆直交変換部、１０９は符号量計測部、１１０はループフィルタ、１１１は動き補償部、１１２はフレーム間動き予測部、１１３は参照フレーム記憶部、１１４は符号量制御部である。

図１は、本実施形態の画像符号化装置のフレーム内予測部１０１の詳細な機能構成例を示すブロック図である。
図１において、１００１は参照画像データ記憶部であり、１００２は入力画像データ記憶部であり、１００３は予測単位４×４、８×８、１６×１６のいずれかを前もって決定する予測単位決定部である。

１００４は２つにグループ分けされた４×４予測単位における９つの予測モードのいずれかを前もって決定する４×４単位予測モード郡決定部である。１００５は２つにグループ分けされた８×８予測単位における９つの予測モードのいずれかを前もって決定する８×８単位予測モード郡決定部である。さらに、１００６は２つにグループ分けされた１６×１６予測単位における４つの予測モードのいずれかを前もって決定する１６×１６単位予測モード郡決定部である。

１００７は１００４により決定されたグループの４×４予測モードに対する予測値を算出する４×４単位予測値算出部である。１００８は１００５により決定されたグループの８×８予測モードに対する予測値を算出する８×８単位予測値算出部である。さらに、１００９は１００６により決定されたグループの１６×１６予測モードに対する予測値を算出する１６×１６単位予測値算出部である。また、１０１０はすべての予測単位に対する予測残差算出部であり、１０１１は予測モード決定部である。

図２は、本実施形態の画像符号化装置の４×４単位予測値算出部１００７の詳細な機能構成例を示すブロック図である。なお、８×８単位予測値算出部１００８の詳細な構成も図２と同様であるため、説明は省略する。
図２において、２００１は予測モード０及び１に対するモード０／１予測値算出部であり、２００２は予測モード３及び４に対するモード３／４予測値算出部であり、２００３は予測モード５及び６に対するモード５／６予測値算出部である。
また、２００４は予測モード７及び８に対するモード７／８予測値算出部であり、２００５は予測モード２に対するモード２予測値算出部である。

図４は、本実施形態において、フレーム内予測部１０１内部の動作手順の一例を示すフローチャートである。また、図５は、本実施形態において、予測単位が４×４の場合に各処理が要する処理サイクル数を時系列に示すタイミングチャートである。さらに、図６は、図１に示した一連の動作において、予測単位が８×８の場合に各処理が要する処理サイクル数を時系列に示すタイミングチャートである。また、図７は、図１に示した一連の動作において、予測単位が１６×１６の場合に各処理が要する処理サイクル数を時系列に示すタイミングチャートである。

以後、実施形態における動作形態について、その符号化処理に係わる一連の動作、特にフレーム内予測部１０１による予測モードを決定し予測残差を出力するまでの予測符号化処理手順を図１〜図７を用いて説明する。

図３に示すフレーム内予測部１０１では、図５に示したように予測単位が４×４の場合、イントラ予測→整数変換→量子化→逆量子化→逆整数変換までの一連の動作を前処理１サイクルと合わせて合計９処理サイクルで処理する。

まず、図５に示す処理サイクル−１において、予測単位決定部１００３は入力画像データから得られる統計情報や量子化パラメータの値を利用して予測単位として４×４、８×８、１６×１６のいずれで行うかを判断する（ステップＳ１０１）。この判断の結果、４×４を用いる場合は、ステップＳ１０２に進む。そして、同一処理サイクルにおいて４×４単位予測モード郡決定部１００４は、入力画像データから得られる統計情報に基づいて予測モードを０、２、３、５、７、あるいは１、２、４、６、８のいずれかのグループに絞り込む（ステップＳ１０２）。

次に、図５に示す処理サイクル０において、モード０／１予測値算出部２００１は処理サイクル−１で決定した予測モード０または１のいずれかによって参照画像データから予測値を算出する。同様に、モード３／４予測値算出部２００２は、処理サイクル−１で決定した予測モード３または４のいずれかによって参照画像データから予測値を算出する。同様に、モード５／６予測値算出部２００３は、処理サイクル−１で決定した予測モード５または６のいずれかによって参照画像データから予測値を算出する。同様に、モード７／８予測値算出部２００４は、処理サイクル−１で決定した予測モード７または８のいずれかによって参照画像データから予測値を算出する（ステップＳ１０３）。

さらに、同一処理サイクル内において予測残差算出部１０１０は、予測単位決定部１００３より通知される処理サイクル０で決定した予測単位に応じて、入力画像データと算出された予測値とから予測残差を算出する（ステップＳ１０８）。

次に、図５に示す処理サイクル１において、予測モード決定部１０１１は、次のような処理を行う。予測単位決定部１００３より通知される処理サイクル−１で決定した予測単位に応じて、参照画像データと予測残差から得られる統計情報や量子化パラメータの値を利用して予測モードを決定する（ステップＳ１０９）。そして、決定された予測モードの予測残差をフレーム内予測部１０１から出力する（ステップＳ１１０）。

予測単位決定部１００３が図５に示す処理サイクル０で決定した予測単位が４×４である場合は、直交変換部１０３、量子化部１０４、及び逆量子化部１０７での処理を行う。また、逆直交変換部１０８は、フレーム内予測部１０１から出力される予測残差に対して整数変換→量子化→逆量子化→逆整数変換までの一連の処理を行う（図５に示す処理サイクル２〜７）。

そして、処理サイクル７で入力画像データにおける隣接する次の４×４ブロックに対する参照画像データが生成されて参照画像データ記憶部１００１に記憶される。これにより、処理サイクル８からその４×４ブロックに対するイントラ予測処理を開始することができる。予測単位決定部１００３及び４×４単位予測モード郡決定部１００４による処理はいずれも参照画像を入力データとしないために、処理サイクル７から先行して実行することができる。

そして、上述した４×４ブロック入力画像データに対する処理を１６回繰り返すことにより１マクロブロックに対する一連の処理を完了し、スループット性能として２サンプル／サイクルの高速処理を実現できる（図５に示す処理サイクル１〜１２７）。

次に、フレーム内予測部１０１では、図６に示したように予測単位が８×８の場合、イントラ予測→整数変換→量子化→逆量子化→逆整数変換までの一連の動作を前処理４サイクルと合わせて合計２０処理サイクルで処理する。

ステップＳ１０１の判断の結果、８×８を用いる場合は、ステップＳ１０４に進む。そして、同一処理サイクルにおいて８×８単位予測モード郡決定部１００５は、入力画像データから得られる統計情報に基づいて予測モードを０、２、３、５、７、あるいは１、２、４、６、８のいずれかのグループに絞り込む（ステップＳ１０４）。

次に、図５に示す処理サイクル０〜３においては、モード０／１予測値算出部は処理サイクル−４〜−１で決定した予測モード０または１のいずれかによって参照画像データから予測値を算出する。同様に、モード３／４予測値算出部は処理サイクル−４〜−１で決定した予測モード３または４のいずれかによって参照画像データから予測値を算出する。同様に、モード５／６予測値算出部は処理サイクル−４〜−１で決定した予測モード５または６のいずれかによって参照画像データから予測値を算出する。同様に、モード７／８予測値算出部は処理サイクル−４〜−１で決定した予測モード７または８のいずれかによって参照画像データから予測値を算出する（ステップＳ１０５）。

さらに、同一処理サイクル内において予測残差算出部１０１０は、予測単位決定部１００３より通知される処理サイクル−４〜−１で決定した予測単位に応じて、入力画像データと算出された予測値とから予測残差を算出する（ステップＳ１０８）。

次に、処理サイクル４〜７にで、予測モード決定部１０１１は、予測単位決定部１００３より通知される処理サイクル−４〜−１で決定した予測単位に応じて参照画像データと統計情報や量子化パラメータの値を用いて予測モードを決定する（ステップＳ１０９）。そして、決定された予測モードの予測残差をフレーム内予測部１０１から出力する（ステップＳ１１０）。

予測単位決定部１００３が図５に示す処理サイクル−４〜−１で決定した予測単位が８×８である場合は、直交変換部１０３、量子化部１０４、及び逆量子化部１０７での処理を行う。また、および逆直交変換部１０８は、フレーム内予測部１０１から出力される予測残差に対して整数変換→量子化→逆量子化→逆整数変換までの一連の処理を行う（図５に示す処理サイクル８〜１３）。

そして、処理サイクル１６で入力画像データにおける隣接する次の８×８ブロックに対する参照画像データが生成されて参照画像データ記憶部１００１に記憶される。これにより、処理サイクル１７からその８×８ブロックに対するイントラ予測処理を開始することができる。
また、予測単位決定部１００３及び８×８単位予測モード郡決定部１００４による処理はいずれも参照画像を入力データとしないために、処理サイクル１３〜１６から先行して実行することができる。上述した８×８ブロック入力画像データに対する処理を４回繰り返すことにより１マクロブロックに対する一連の処理を完了し、スループット性能として３．７サンプル／サイクルの高速処理を実現できる（図５に示す処理サイクル０〜６８）。

次に、フレーム内予測部１０１では、図７に示したように予測単位が１６×１６の場合、イントラ予測→整数変換→量子化→逆量子化→逆整数変換までの一連の動作を前処理１６サイクルと合わせて合計６５処理サイクルで処理する。

ステップＳ１０１の判断の結果、１６×１６を用いる場合は、ステップＳ１０６に進む。そして、同一処理サイクルにおいて１６×１６単位予測モード郡決定部１００６は、入力画像データから得られる統計情報に基づいて予測モードを０、２、３、あるいは１、２、３のいずれかのグループに絞り込む（ステップＳ１０６）。

次に、図５に示す処理サイクル０〜１５において、図示しないモード０／１予測値算出部は、処理サイクル−１６〜−１で決定した予測モード０または１のいずれかによって参照画像データから予測値を算出する（ステップＳ１０７）。そして、同一処理サイクル内において予測残差算出部１０１０は、予測単位決定部１００３より通知される処理サイクル−１６〜−１で決定した予測単位に応じて、入力画像データと算出された予測値とから予測残差を算出する（ステップＳ１０８）。

次に処理サイクル１６〜３１で予測モード決定部１０１１は、予測単位決定部１００３より通知される処理サイクル−１６〜−１で決定した予測単位に応じて参照画像データと統計情報や量子化パラメータの値を用いて予測モードを決定する（ステップＳ１０９）。そして、決定された予測モードの予測残差を図３のフレーム内予測部１０１から出力する（ステップＳ１１０）。

予測単位決定部１００３が図５に示す処理サイクル−１６〜−１で決定した予測単位が１６×１６である場合は、直交変換部１０３、量子化部１０４、及び逆量子化部１０７による処理を行う。また、逆直交変換部１０８はフレーム内予測部１０１から出力される予測残差に対して整数変換→量子化→逆量子化→逆整数変換までの一連の処理を行う（図５に示す処理サイクル３２〜４８）。

処理サイクル４８で入力画像データにおける隣接する次の１６×１６ブロックに対する参照画像データが生成されて参照画像データ記憶部１００１に記憶される。これにより、処理サイクル４９からその１６×１６ブロックに対するイントラ予測処理を開始することができる。また、予測単位決定部１００３と１６×１６単位予測モード郡決定部１００６による処理はいずれも参照画像を入力データとしないために、処理サイクル４９よりも先行して実行することができる。さらに、上述した１６×１６ブロック入力画像データに対する処理により１マクロブロックに対する一連の処理を完了し、スループット性能として５．２サンプル／サイクルの高速処理を実現できる（図５に示す処理サイクル０〜４８）。

図８は、図２に示したモード０／１予測値算出部２００１と図１に示した予測残差算出部１０１０とを組み合わせた詳細な構成例を示すブロック図である。
図８において、３００１は参照画像データ記憶部１００１に記憶された図１０に示す参照サンプル（０，−１）であり、３００２は参照サンプル（−１，０）である。

３００３は入力画像データ記憶部１００２に記憶された画像サンプル（０，０）であり、３００４は画像サンプル（０，１）である。３００５は画像サンプル（１，０）であり、３００６は画像サンプル（０，２）である。３００７は画像サンプル（２，０）であり、３００８は画像サンプル（０，３）である。さらに、３００９は画像サンプル（３，０）である。

予測モード０／１においては、予測値を得るのに演算を行う必要はなく、所望の参照サンプルがそのまま使用される。また、減算器３０１０〜３０１３が予測残差算出部１０１０における４×４予測単位の予測モード０／１に対応した箇所に設置されている。なお、予測値を選択する回路と、予測残差を算出する回路が予測モード０と１において共用されている。

図９は、図２に示したモード３／４予測値算出部２００２と図１に示した予測残差算出部１０１０とを組み合わせた詳細な構成例を示すブロック図である。
図９において、４００１〜４００６はそれぞれ、参照画像データ記憶部１００１に記憶された図１０に示す参照サンプルである。４００７は「定数２」であり、４００８〜４０１５はそれぞれ、入力画像データ記憶部１００２に記憶された図１０に示す画像サンプルである。

予測モード３／４の予測値を算出する回路である回路４０１６〜４０２０が、モード３／４予測値算出部２００２に対応した箇所に設置されている。また、減算器４０２１〜４０２４が予測残差算出部１０１０における４×４予測単位の予測モード３／４に対応した箇所に設置されている。なお、予測値を選択する回路と、予測残差を算出する回路が予測モード３と４において共用されている。なお、本実施形態では、８×８色差ブロックに対するフレーム内予測符号化処理においても同様に適用可能である。

以上のように本実施形態によれば、高いスループット処理性能を実現しながら、予測モード選択に必要な演算資源を低減させたフレーム内予測符号化ができる。

（第２の実施形態）
以下、本発明の第２の実施形態をＭＰＥＧ−４ＡＶＣ／Ｈ．２６４符号化方式の例で図面とともに説明する。
図１９は、本実施形態の画像符号化装置を含むデジタルカメラの機能構成例を示すブロック図である。
図１９において、１はシステム全体を制御するＣＰＵ部であり、２はＣＰＵが使用するプログラムを格納したり処理された画像データを蓄積したりする主記憶部であり、３はメモリコントローラ部である。

４は光学系から入力されるアナログ信号をデジタル信号に変換する撮像部であり、５は撮像部が出力するデジタル信号に所望の画像処理を行う画像処理部である。６は画像処理部５が自律的に主記憶部２にアクセスするためのＤＭＡコントローラ部であり、７は画像処理が施された画像データを圧縮したり伸張したりする画像圧縮伸張部である。

８は画像圧縮伸張部７が自律的に主記憶部２にアクセスするためのＤＭＡコントローラ部であり、９は圧縮された画像データを蓄積するためのメモリカードである。１０はメモリカード制御部であり、１１は表示部である。１２は表示コントローラ部であり、１３は上述した機能ブロックすべてが接続されるシステムバスである。

次に、上記デジタルカメラの実施形態における動作形態について、その符号化処理に係わる一連の動作を、図１９を用いて説明する。撮影時においては、撮像部４により撮影された静止画像データまたは動画像データは画像処理部５により様々な画像信号処理が施された後、画像圧縮伸張部７により当該画像データ容量が低減され、メモリカード９へ蓄積される。再生時においては、メモリカード９に蓄積された静止画像データまたは動画像データは画像圧縮伸張部７により伸張処理が施された後、表示部１１により表示が行われる。

以上説明したように本実施形態に示されたデジタルカメラによれば、フレーム内予測符号化の予測単位の選択を少ない計算コストで高精度に決定できる。よって、メモリカードに蓄積される符号化データをより少ない容量で蓄積でき、結果的に画質を犠牲にすることなくより多くの静止画像蓄積やより長時間の動画録画が可能になるデジタルカメラを提供できる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における画像符号化装置を構成する各手段、並びに画像符号化方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図４に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態の画像符号化装置のフレーム内予測部の詳細な機能構成例を示すブロック図である。 本発明の第１の実施形態の画像符号化装置の４×４単位予測値算出部の詳細な機能構成例を示すブロック図である。 本発明の第１の実施形態の画像符号化装置の機能構成例を示すブロック図である。 本発明の第１の実施形態において、フレーム内予測部１０１内部の動作手順の一例を示すフローチャートである。 本発明の第１の実施形態において、予測単位が４×４の場合に各処理が要する処理サイクル数を時系列に示すタイミングチャートである。 本発明の第１の実施形態において、予測単位が８×８の場合に各処理が要する処理サイクル数を時系列に示すタイミングチャートである。 本発明の第１の実施形態において、予測単位が１６×１６の場合に各処理が要する処理サイクル数を時系列に示すタイミングチャートである。 図２に示したモード０／１予測値算出部と図１に示した予測残差算出部とを組み合わせた詳細な構成例を示すブロック図である。 図２に示したモード３／４予測値算出部と図１に示した予測残差算出部とを組み合わせた詳細な構成例を示すブロック図である。 ４×４輝度ブロックとフレーム内予測に使用する参照画像サンプルの位置関係を示す図である。 予測モード０における、符号化対象の１６個の各サンプルとそれに対する予測値を算出するために使用される参照サンプルとの位置関係を示す図である。 予測モード１における、符号化対象の１６個の各サンプルとそれに対する予測値を算出するために使用される参照サンプルとの位置関係を示す図である。 予測モード３における、符号化対象の１６個の各サンプルとそれに対する予測値を算出するために使用される参照サンプルとの位置関係を示す図である。 予測モード４における、符号化対象の１６個の各サンプルとそれに対する予測値を算出するために使用される参照サンプルとの位置関係を示す図である。 予測モード５における、符号化対象の１６個の各サンプルとそれに対する予測値を算出するために使用される参照サンプルとの位置関係を示す図である。 予測モード６における、符号化対象の１６個の各サンプルとそれに対する予測値を算出するために使用される参照サンプルとの位置関係を示す図である。 予測モード７における、符号化対象の１６個の各サンプルとそれに対する予測値を算出するために使用される参照サンプルとの位置関係を示す図である。 予測モード８における、符号化対象の１６個の各サンプルとそれに対する予測値を算出するために使用される参照サンプルとの位置関係を示す図である。 本発明の第２の本実施形態の画像符号化装置を含むデジタルカメラの機能構成例を示すブロック図である。

符号の説明

１００１ 参照画像データ記憶部
１００２ 入力画像データ記憶部
１００３ 予測単位決定部
１００４ ４×４単位予測モード郡決定部
１００５ ８×８単位予測モード郡決定部
１００６ １６×１６単位予測モード郡決定部
１００７ ４×４単位予測値算出部
１００８ ８×８単位予測値算出部
１００９ １６×１６単位予測値算出部
１０１０ 予測残差算出部
１０１１ 予測モード決定部

Claims (3)

1. 画像ブロックデータと参照画像データとを入力して複数の画面内予測モードのいずれかにより前記画像ブロックデータを予測符号化する画像符号化装置であって、
   類似した算出式により算出可能な複数の予測モードに対応した予測値を算出する予測値算出手段と、
   特定の予測モードの組み合わせを予め決定して前記予測値算出手段に対して指定する予測モード決定手段と、
   前記画像ブロックデータと前記予測値とから予測残差を算出する予測残差算出手段とを有し、
   前記予測モード決定手段は、各予測モードに対する前記予測残差、前記画像ブロックデータ、及び前記参照画像データのうち、少なくとも１つを用いて予測モードを決定することを特徴とする画像符号化装置。
2. 画像ブロックデータと参照画像データとを入力して複数の画面内予測モードのいずれかにより前記画像ブロックデータを予測符号化する画像符号化方法であって、
   類似した算出式により算出可能な複数の予測モードに対応した予測値を算出する予測値算出工程と、
   特定の予測モードの組み合わせを予め決定して前記予測値算出工程の処理に対して指定する予測モード決定工程と、
   前記画像ブロックデータと前記予測値とから予測残差を算出する予測残差算出工程とを有し、
   前記予測モード決定工程においては、各予測モードに対する前記予測残差、前記画像ブロックデータ、及び前記参照画像データのうち、少なくとも１つを用いて予測モードを決定することを特徴とする画像符号化方法。
3. 請求項２に記載の画像符号化方法の各工程をコンピュータにて実施させることを特徴とするプログラム。

Images