JP2021002724A - 画像符号化装置及び画像復号装置及び方法及びプログラム - Google Patents

Abstract

【課題】サブブロックの形状が正方形、長方形を問わず、適切にＰＣＭ符号化の制御を行う。【解決手段】画像を符号化する画像符号化装置であって、符号化対象の画像を複数の基本ブロックに分割し、更に複数のサブブロックに分割する分割部１０２と、分割部で得た注目サブブロックの予測誤差を求める予測部１０４と、予測誤差を符号化する予測符号化部１０５，１１０と、注目サブブロックの画素値をＰＣＭ符号化するＰＣＭ符号化部と、予測符号化部、ＰＣＭ符号化部のいずれを用いて注目サブブロックの符号化データを生成するかを制御する制御部１００とを有する。ここで、制御部は、注目サブブロックに含まれる画素数で特定されるサイズが予め設定した所定の範囲である場合は、予測符号化部とＰＣＭ符号化部のいずれかを利用するように制御し、注目サブブロックに含まれる画素数で特定されるサイズが範囲を外れる場合は、予測符号化部を利用するように制御する。【選択図】図１

Description

本発明は画像の符号化技術に関するものである。

動画像の圧縮記録の符号化方式として、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣと記す）が知られている。ＨＥＶＣでは符号化効率向上のため、従来のマクロブロック（１６×１６画素）より大きなサイズの基本ブロックが採用された。この大きなサイズの基本ブロックはＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）と呼ばれ、そのサイズは最大６４×６４画素である。ＣＴＵはさらに予測や変換を行う単位となるサブブロックに分割される。ＨＥＶＣにおいては、ＰＣＭと呼ばれる入力された画素を圧縮せずにそのままビットストリームに含める技術が採用されている。特許文献１は、このＰＣＭを用いた符号化方式に関する技術が開示されている。

近年、ＨＥＶＣの後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ）がＩＳＯ・ＩＥＣとＩＴＵ−Ｔの間で設立され、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＶＶＣ）として標準化が進められている。符号化効率向上のため、従来の正方形サブブロックベースのイントラ予測・直交変換方法に加え、長方形サブブロックベースのイントラ予測・直交変換方法が検討されている。

特開２０１４−０１１６３７号公報

ＨＥＶＣにおいては、正方形のサブブロックだけが使用されていた。従って、ＨＥＶＣにおけるＰＣＭ符号化する基準となるサブブロックのサイズは、正方形のサブブロックを想定したものであり、サブブロックの一辺の長さが特定の条件を満たす場合にＰＣＭ符号化する基準としていた。一方、ＶＶＣでは長方形のサブブロック分割が検討されている。そのため、分割後のサブブロックの縦の長さと横の長さが極端に異なるケースが発生する。その場合、サブブロックの縦と横の長さが両方とも特定の条件を満たす必要があり、縦と横の長さが極端に異なる細長い長方形サブブロックに対しては、例え当該長方形サブブロックの画素数が多くともＰＣＭ符号化する基準とならないケースが存在する。

本発明は上述した課題を解決するためになされたものであり、サブブロックの形状が正方形、長方形を問わず、適切にＰＣＭ符号化の制御を可能とする技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像を符号化する画像符号化装置であって、
符号化対象の画像を複数の基本ブロックに分割し、当該基本ブロックを更に複数のサブブロックに分割する分割手段と、
該分割手段で得た注目サブブロックの画像と予測画像との差である予測誤差を求める予測手段と、
注目サブブロックの前記予測誤差を符号化する予測符号化手段と、
前記注目サブブロックの画素値をＰＣＭ符号化するＰＣＭ符号化手段と、
前記予測符号化手段、前記ＰＣＭ符号化手段のいずれを用いて前記注目サブブロックの符号化データを生成するかを制御する制御手段とを有し、
前記制御手段は、
前記注目サブブロックに含まれる画素数で特定されるサイズが予め設定した範囲である場合は前記予測符号化手段、前記ＰＣＭ符号化手段のいずれかを利用するように制御し、
前記注目サブブロックに含まれる画素数で特定されるサイズが前記範囲を外れる場合は、前記予測符号化手段を利用するように制御することを特徴とする。

本発明によれば、サブブロックの形状が正方形、長方形を問わず、適切にＰＣＭ符号化の制御が可能になる。

本実施形態の画像符号化装置のブロック構成図。 本実施形態の画像復号装置のブロック構成図。 本実施形態の画像符号化装置における符号化処理を示すフローチャート。 本実施形態の画像復号装置における復号処理を示すフローチャート。 本実施形態の画像符号化装置、復号装置に適用可能なコンピュータのハードウェア構成例を示すブロック図。 ビットストリームのデータ構造を示す図。 本実施形態で用いられるサブブロック分割の例を示す図。 本実施形態で用いられる画素数に基づいたサブブロックのインデックスを示す図。 本実施形態におけるＰＣＭ制御インデックスと処理対象サブブロックの画素数に基づいたインデックスとの比較を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は本実施形態の画像符号化装置のブロック構図である。画像符号化装置は、装置全体の制御を司る制御部１５０を有する。この制御部１５０は、ＣＰＵ、ＣＰＵが実行するプログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭを有する。また、画像符号化装置は、入力端子１０１、ブロック分割部１０２、生成部１０３、予測部１０４、変換・量子化部１０５、逆量子化・逆変換部１０６、画像再生部１０７、フレームメモリ１０８、インループフィルタ部１０９、符号化部１１０、統合符号化部１１１、出力端子１１２を有する。

入力端子１０１は、画像データ発生源で発生した符号化対象の画像データをフレーム単位に入力する。画像データ発生源は、撮像装置、符号化対象の画像データを記憶したファイルサーバや記憶媒体等、その種類は問わない。また、出力端子１１２は、符号化データを出力先装置に出力するが、その出力先装置も記憶媒体、ファイルサーバ等、その種類は特に問わない。

ブロック分割部１０２は、入力画像を複数の所定サイズの基本ブロックに分割し、基本ブロック単位の画像を後段の予測部１０４に出力する。

生成部１０３は、ＰＣＭ符号化する基準となる情報などを生成し、出力する。本実施形態において、ＰＣＭ符号化する基準となる情報とは、サブブロックの画素数に基づいて生成されるインデックス（以下ＰＣＭ制御インデックスとする）を示す。ＰＣＭ制御インデックスについての詳細は後述する。

予測部１０４は、ブロック分割部１０２からの基本ブロックの画像を更にサブブロックに分割し、サブブロック単位でフレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行い、予測画像データを生成する。さらに、予測部１０４は、サブブロックの画像データと、予測画像データから予測誤差を算出し、出力する。また、予測部１０４は、予測に必要な情報、例えばサブブロック分割、予測モードや動きベクトル等の情報も予測誤差と併せて出力される。以下ではこの予測に必要な情報を予測情報と呼称する。また、当該サブブロックのサイズが前述のＰＣＭ制御インデックスにより示される条件を満たし、かつイントラ予測やインター予測により算出される予測誤差が大きいと判断された場合、ＰＣＭ符号化を選択することもできる。ＰＣＭ符号化は、予測誤差が大きく、後段の符号化処理によりデータ量がかえって増加してしまうと判断された場合に、画素値を圧縮せずに符号化することでデータ量の増大を防ぐことができる。予測部１０４は、ＰＣＭ符号化が選択された場合にはＰＣＭ符号化が行われたことを特定するためのフラグ（以下、ＰＣＭフラグと記す）、並びに、後段で符号化される画素値を予測情報として出力する。

変換・量子化部１０５は、サブブロック単位で予測誤差の直交変換を行い、さらに量子化を行い、残差係数を得る。ただし、ＰＣＭ符号化される場合、変換・量子化部１０５は直交変換および量子化処理を実施しない。

逆量子化・逆変換部１０６は、変換・量子化部１０５から出力された残差係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する。ＰＣＭ符号化される場合、逆量子化・逆変換部１０６は、逆量子化および逆直交変換処理を実施しない。

画像再生部１０７は、予測部１０４から出力された予測情報に基づいて、フレームメモリ１０８を適宜参照して予測画像データを生成する。そして、画像再生部１０７は、この予測画像データと入力した予測誤差とから再生画像データを生成し、再生画像を格納する。ただし、ＰＣＭ符号化される場合には、画像再生部１０７は、予測情報として入力された画素値を再生画像データとして用いる。

インループフィルタ部１０９は、フレームメモリ１０８に格納された再生画像データに対し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ１０８に再格納する。

符号化部１１０は、変換・量子化部１０５からの残差係数、及び、予測部１０４からの予測情報を入力して符号化を行い、符号データを生成する。

統合符号化部１１１は、復号側でビットストリームの復号に必要となる、シーケンスやピクチャのヘッダ部分に符号化されるヘッダ符号データを生成する。さらに統合符号化部１１１は、ヘッダ符号データに、符号化部１１０から出力された符号データを統合したビットストリームを形成し、出力端子１１２を介して出力する。

ここで、画像符号化装置における画像の符号化動作をより詳しく以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成とする。ただし、１フレーム分の静止画像データを入力する構成としても構わない。

画像の符号化に先立ち、生成部１０３はＰＣＭ符号化する基準となる情報であるＰＣＭ制御インデックスを生成する。本実施形態におけるＰＣＭ制御インデックスは、ＰＣＭ符号化を行う最小サブブロックサイズを示す最大ＰＣＭ制御インデックスと、ＰＣＭ符号化を行う最大サブブロックサイズを示す最小ＰＣＭ制御インデックスの２つから構成される。これらのインデックスはサブブロックを構成する画素数に対応して決定される。これらのインデックスがどのように用いられるかの説明は後述する。ＰＣＭ制御インデックスの生成方法については特に問わないが、ユーザがＰＣＭ制御インデックスを入力してもよいし、入力画像の特性からＰＣＭ制御インデックスを算出してもよいし、初期値としてあらかじめ指定されたＰＣＭ制御インデックスを使用してもよい。また、予測部１０４において、ＰＣＭ符号化するか否かを判断する際の実装上の制限に基づいて決定してもよい。生成されたＰＣＭ制御インデックスは、予測部１０４および統合符号化部１１１に入力される。

上記のようにして、ＰＣＭ制御インデックスが生成された後、画像データの符号化が行われることになる。

入力端子１０１には、外部からフレーム単位に画像データが供給される。ブロック分割部１０２では、入力端子１０１を介して入力した１フレーム分の画像データを複数の基本ブロックに分割し、基本ブロック単位の画像データを予測部１０４に出力する。

予測部１０４は、ブロック分割部１０２から入力した画像データに対し、予測処理を実行する。具体的には、予測部１０４は、まず、基本ブロックをさらに細かいサブブロックへのサブブロック分割法を決定する。

図７（ａ）乃至（ｆ）を参照して、基本ブロックの分割法の例を示す。ブロック７００乃至７０５の太線の枠は基本ブロックを表している。説明を簡易にするため、実施形態における基本ブロックのサイズは３２×３２画素サイズとする。太線の枠内の各四角形はサブブロックを表している。図７（ａ）は、基本ブロック７００がサブブロックである例である。図７（ｂ）は、基本ブロック７０１を４個の正方形のサブブロックへの分割例を示しており、１つのサブブロックのサイズは１６×１６画素である。図７（ｃ）〜（ｆ）は長方形サブブロック分割の一例を表している。図７（ｃ）は、基本ブロック７０２が１６×３２画素サイズの２個のサブブロック（垂直方向に長手）に分割されることを示している。図７（ｄ）は、基本ブロック７０３が、３２×１６画素サイズの２個のサブブロック（水平方向に長手）に分割されることを示している。図７（ｅ）、（ｆ）の基本ブロック７０４、７０５の場合、分割方向が異なるものの、１：２：１の比で３つの長方形サブブロックに分割されている。このように正方形だけではなく、長方形のサブブロックも用いて符号化処理を行っている。本実施形態では、このように正方形だけではなく、長方形のサブブロックを用いて符号化処理が行われる。また、サブブロックのサイズは、このような分割を繰り返すことで、図示に示したよりも更に小さくても構わない。そして、本実施形態では、このような基本ブロックの分割種類に関する情報が分割情報として符号化される。さらには、後述の図９の左側の図に示すようなサブブロックの階層構造を得るために、分割種類の情報が階層化されて符号化される。

予測部１０４は、処理対象の各サブブロックに対し、予測モードを決定する。具体的には、予測部１０４は、処理対象の各サブブロックを含むフレームと同一フレームで符号化済の画素を用いるイントラ予測、あるいは、符号化済の異なるフレームの画素を用いるインター予測などのサブブロック単位の予測モードを決定する。そして、予測部１０４は、決定した予測モードおよび符号化済の画素から予測画像データを生成し、さらに入力された画像データと予測画像データから、予測誤差を生成し、変換・量子化部１０５に出力する。また、予測部１０４は、サブブロック分割や予測モードなどの情報を予測情報として、符号化部１１０、画像再生部１０７に出力する。ただし、予測部１０４は、当該サブブロックの画素数に基づいたインデックスが生成部１０３から入力されたＰＣＭ制御インデックスによる条件を満たす場合は、ＰＣＭ符号化を選択することもできる。その場合、予測部１０４は、ＰＣＭフラグを予測情報として出力し、当該サブブロックでＰＣＭ符号化を選択した場合、画素値をさらに予測情報として出力する。一方、予測部１０４は、当該サブブロックでＰＣＭ符号化を選択しなかった場合、ＰＣＭフラグに続いて他の予測情報や予測誤差を出力する。

ここで、画素数に基づいたインデックスの算出について、図８（ａ）乃至（ｆ）を参照して説明する。同図（ａ）乃至（ｆ）がサブブロックの分割の種類を示す。また、各サブブロック中に記載されているＤｎ（ｎは正の整数）はサブブロックの画素数に基づいて決定されるインデックスを示す。図８のＤ０、Ｄ１、Ｄ２は、それぞれ、インデックス“０”、インデックス“１”及びインデックス“２”であることを示している。当該インデックスは分割後の画素数に基づいて算出される。基本ブロックに対するインデックスは“０”とし、サブブロックの画素数が基本ブロックの画素数の２分の１である場合は、画素数に基づくインデックスは“１”となる。また、分割後のサブブロックの画素数が基本ブロックの４分の１である場合は、画素数に基づくインデックスは“２”となる。

よって、図８（ｂ）の場合、基本ブロックの４分木分割を示している図８（ｂ）の各サブブロックのインデックスは“２”（Ｄ２）となる。図８（ｃ）および（ｄ）の場合、各サブブロックは基本ブロックに対し２分木分割されたものなので、それぞれのインデックスは“１”（Ｄ１）となる。また、図８の（ｅ）および（ｆ）は基本ブロックに対し３分木分割されている。分割後のサブブロックの画素数が２分の１である場合は、インデックスは“１”（Ｄ１）となる。一方で、分割後のサブブロックの画素数が４分の１である場合は、インデックスは“２”（Ｄ２）となる。このように、実施形態では、基本ブロックに対し分割されたサブブロックは、分割後の画素数に応じたインデックスが割り当てられる。

次に、最小ＰＣＭ制御インデックスおよび最大ＰＣＭ制御インデックスと、画素数に基づいた処理対象サブブロックのインデックスに応じて、どのようにＰＣＭ符号化されうるサブブロックが決定されるかを、図９を用いて説明する。図９（ａ）〜（ｄ）において、一番外側の太枠の正方形が基本ブロックであることを示す。また、図９（ａ）〜（ｄ）のそれぞれにおいて、左側がサブブロックの分割を示しており、右側は各々のサブブロックにおいてＰＣＭ符号化することが可能か否かを示している。また、左側の図中の各ブロック内のＤ０、Ｄｎ（ｎは正の整数）は各サブブロックの画素数に対応するインデックスを示しており、例えばＤ０はインデックス０を示し、Ｄ４はインデックス４を示し、その意味するところは既に説明した通りである。

一方、右側の図中の「可」は当該サブブロックにおいてＰＣＭ符号化を行うことが可能であることを示し、「不可」は当該サブブロックにおいてＰＣＭ符号化を行うことが不可能（対象外）であることを示す。図９（ａ）〜（ｄ）は、最小ＰＣＭ制御インデックスが０であり、最大ＰＣＭ制御インデックスがそれぞれ１、２、３、４の場合を示している。

図９（ａ）の場合、すなわち最小ＰＣＭ制御インデックスが“０”で最大ＰＣＭ制御インデックスが“１”であり、全てのサブブロックのインデックスが最大ＰＣＭ制御インデックスよりも大きいため、いずれのサブブロックでもＰＣＭ符号化を行うことはできない。それ故、図９（ａ）の場合の場合、全サブブロックのＰＣＭ符号化は“不可”となっている。

図９（ｂ）は、最大ＰＣＭ制御インデックスが“２”場合を示している。基本ブロックの右下に位置するサブブロックのインデックスＤ２であるので、このサブブロックはＰＣＭ符号化を行うことができる。それ故、図９（ｂ）の場合、基本ブロックの右下に位置するサブブロックは“可”であり、それ以外のサブブロックは“不可”となっている。

図９（ｃ）は、最大ＰＣＭ制御インデックスが“３”の場合を示している。したがってＤ０〜Ｄ３をインデックスとして持つサブブロックはＰＣＭ符号化が“可”となり、Ｄ４以上のインデックスのサブブロックのＰＣＭ符号化は“不可”となる。

図９（ｄ）は、最大ＰＣＭ制御インデックスが“４”の場合を示している。したがってＤ０〜Ｄ４をインデックスとして持つサブブロックはＰＣＭ符号化が“可”となり、Ｄ５以上のインデックスのサブブロックのＰＣＭ符号化は“不可”となる。図示の場合、全てのサブブロックはＤ４以下であるので、全サブブロックはＰＣＭ符号化が“可”となっている。

図１の説明に戻る。変換・量子化部１０５は、予測部１０４によって予測処理が行われたサブブロックの画像データ（画素値）に対して直交変換を行い、さらに量子化を行い、残差係数を生成する。そして、変換・量子化部１０５は、生成した残差係数を逆量子化・逆変換部１０６および符号化部１１０に出力する。ただし、変換・量子化部１０５は、注目サブブロックがＰＣＭ符号化される場合は、この直交変換および量子化処理を実施しない。

逆量子化・逆変換部１０６は、入力された残差係数を逆量子化して変換係数を再生する。逆量子化・逆変換部１０６は、さらに、再生された変換係数を逆直交変換して予測誤差を再生し、その予測誤差を画像再生部１０７に出力する。ただし、注目サブブロックがＰＣＭ符号化される場合、逆量子化・逆変換部１０６は、この逆量子化および逆直交変換の処理は実施しない。

画像再生部１０７は、予測部１０４から入力される予測情報に基づいて、フレームメモリ１０８を適宜参照し、予測画像を再生する。そして画像再生部１０７は、再生された予測画像と、逆量子化・逆変換部１０６から入力した予測誤差とから画像データを再生し、フレームメモリ１０８に格納する。ここで、注目サブブロックがＰＣＭ符号化される場合、画像再生部１０７は、予測部１０４から予測情報として入力された画素値を用いて画像データを再生し、フレームメモリ１０８に格納する。

インループフィルタ部１０９は、フレームメモリ１０８から再生画像データを読み出しデブロッキングフィルタなどのインループフィルタ処理を行う。インループフィルタ部１０９は、予測部１０４の予測モードや変換・量子化部１０５で利用される量子化パラメータの値、さらに量子化後の処理サブブロックに非ゼロの値（以下、有意係数とする）が存在の有無、あるいはサブブロック分割情報に基づいてインループフィルタ処理を行うことになる。インループフィルタ部１０９は、フィルタ処理された画像データをフレームメモリ１０８に再格納する。

また、インループフィルタの処理対象のサブブロックがＰＣＭ符号化されている場合には、再生画像に劣化が生じていない。そのため、インループフィルタ部１０９は、ＰＣＭ符号化されているサブブロックについては、このインループフィルタ処理をスキップすることも可能である。これにより、インループフィルタの処理分の演算量を低減させることもできる。

符号化部１１０は、サブブロック単位に、変換・量子化部１０５で生成された残差係数、予測部１０４から入力された予測情報をエントロピー符号化し、符号データを生成する。注目サブブロックが上述のＰＣＭ制御インデックスによる条件を満たす場合、すなわち当該サブブロックの画素数に応じたインデックスが最大ＰＣＭ制御インデックス以下かつ最小ＰＣＭ制御インデックス以上の場合、符号化部１１０は、ＰＣＭフラグを符号化する。注目サブブロックがＰＣＭ符号化される場合には、予測情報として入力したＰＣＭフラグとして“１”をエントロピー符号化し、さらに画素値を符号データに含める。一方、注目サブブロックがＰＣＭ符号化されない場合（予測符号化された場合）、符号化部１１０は、ＰＣＭフラグとして“０”をエントロピー符号化し、続いて他の予測情報や残差係数をエントロピー符号化し、符号データを生成する。

一方、注目サブブロックが上述の条件を満たさない場合、すなわち当該サブブロックの画素数に応じたインデックスが最大ＰＣＭ制御インデックスより大きい、あるいは最小ＰＣＭ制御インデックスより小さい場合は、符号化部１１０はＰＣＭフラグの符号化を省略する。つまり、符号化部１１０は、ＰＣＭフラグを符号化せずに、予測情報や残差係数をエントロピー符号化し、符号データを生成する。

エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。符号化部１１０は、生成した符号データを統合符号化部１１１に出力する。

統合符号化部１１１は、ＰＣＭ制御インデックスに関する情報を符号化する。本実施形態では、ＰＣＭ制御インデックスとして、最大ＰＣＭ制御インデックスおよび最小インデックスの２つが用いられているため、両方を符号化する。符号化の方法は特に特に問わないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。また、両方のインデックスを符号化する代わりに、片方のインデックスとその差分を符号化することも可能である。例えば、最小ＰＣＭ制御インデックスが２で最大ＰＣＭ制御インデックスが４である場合、２と４をそれぞれ符号化する代わりに、最小ＰＣＭ制御インデックス“２”と、差分の“２”を符号化することにより、符号化するデータ量を削減することもできる。また、これらの符号や符号化部１１０から入力された符号データなどを多重化してビットストリームを形成する。最終的には、ビットストリームは端子１１２から外部に出力される。

図６（ａ）に符号化されたＰＣＭ制御インデックスに関する情報を含んだビットストリームの例を示す。ＰＣＭ制御インデックスに関する情報はシーケンス、ピクチャ等のヘッダのいずれかに含まれる。本実施形態では、図６（ａ）に示されるように、ＰＣＭ制御インデックスに関する情報がピクチャのヘッダ部分に含まれるものとする。ただし、符号化される位置はこれに限られず、図６（ｂ）に示されるように、シーケンスのヘッダ部分に含まれても構わない。

図３は、本実施形態に係る画像符号化装置における符号化処理を示すフローチャートである。

Ｓ３０１にて、制御部１００はブロック分割部１０２を制御し、入力した注目フレームを基本ブロック単位に分割させる。

Ｓ３０２にて、制御部１００は生成部１０３を制御し、ＰＣＭ符号化する単位を示すＰＣＭ制御インデックスを決定させる。生成部１０３は、決定したＰＣＭ制御インデックス情報を符号化させるため、統合符号化部１１１に供給する。

Ｓ３０３にて、制御部１００は予測部１０４を制御し、Ｓ３０１にて生成された基本ブロック単位の画像データに対する予測誤差、予測情報を発生させる。以下、予測部１０４の予測処理を更に詳しく説明する。

（ｉ）符号化しようとする注目サブブロックのインデックスがＳ３０２で生成されたＰＣＭ制御インデックスの条件を満たさない場合
これは、注目サブブロックのインデックスが、最小ＰＣＭ制御インデックスより小さい、もしくは、最大ＰＣＭ制御インデックスよりも大きい場合に相当する。要するに、注目サブブロックが図９（ａ）乃至（ｄ）における“不可”に対応する場合である。

予測部１０４は、注目サブブロックと予測画像データとの画素単位の予測誤差を求め、その予測誤差と予測情報を出力する。このとき、予測部１０４は、予測情報にＰＣＭフラグを含めない。注目サブブロックは、ＰＣＭ符号化されず、必ず予測誤差、直交変換、量子化を経てエントロピー符号化されるのが約束されるからである。

（ｉｉ）符号化しようとする注目サブブロックのインデックスがＳ３０２で生成されたＰＣＭ制御インデックスによる条件を満たす場合
これは、注目サブブロックのインデックスが、最小ＰＣＭ制御インデックス、最大ＰＣＭ制御インデックスの範囲内にあることを意味する。要するに、注目サブブロックが図９（ａ）乃至（ｄ）における“可”に対応する場合である。

予測部１０４は、注目サブブロックと予測画像データとの予測誤差を求め、その予測誤差を求める。

注目サブブロック内の画素数を“ｎ”とし、各画素位置の予測誤差をｅ（ｘ）（ｘ＝０、１、…、ｎ−１）と表したとき、予測部１０４は次式（１）に従って１画素当たりの予測誤差Ｅを求める。
Ｅ＝Σ｜ｅ（ｘ）｜／ｎ …（１）
ここで、｜ｘ｜は実数ｘの絶対値を示している。そして、予測部１０４は、求めた１画素当たりの誤差Ｅと、予め設定した閾値Ｔｈとを比較する。そして、予測部１０４は、この比較結果に基づき、次の（ｉｉ−１）、（ｉｉ−２）のずれかの処理を行う。

なお、予測誤差の大小を判定できれば良いので、上記式（１）における絶対値を求める代わりに次式（２）のように二乗して予測誤差Ｅを求めてもよい。
Ｅ＝Σｅ（ｘ）²／ｎ …（２）

（ｉｉ−１) 誤差Ｅが閾値より大きいとき（Ｅ＞Ｔｈのとき）
これは、注目サブブロックの符号量の削減が困難な状態であることを示している。故に、予測部１０４は、注目サブブロックについては、ＰＣＭ符号化を行うものとして決定する。予測部１０４は、その決定を変換・量子化部１０５に通知し、値“１”のＰＣＭフラグを含む予測情報を符号化部１１０や画像再生部１０７に出力する。この予測情報には、注目サブブロックの画素値が含まれる。
（ｉｉ−２) 誤差Ｅが閾値以下のとき（Ｅ≦Ｔｈのとき）
これは、注目サブブロックを十分にその符号量の削減できることを示している。故に、予測部１０４は、注目サブブロックの予測誤差を変換・量子化部１０５に出力し、値“０”のＰＣＭフラグを含む予測情報を符号化部１１０や画像再生部１０７に出力する。

以上が実施形態における予測部１０４の処理である。図３のフローチャートの説明に戻る。

Ｓ３０４にて、制御部１００は変換・量子化部１０５を制御して、Ｓ３０３で算出された予測誤差に対して直交変換して変換係数を生成させ、さらに変換係数に対して量子化を行って残差係数を生成させる。ただし、注目サブブロックがＰＣＭ符号化されることが、予測部１０４より通知されている場合、変換・量子化部１０５は直交変換および量子化処理を実施しない。

Ｓ３０５にて、制御部１００は逆量子化・逆変換部１０６を制御し、Ｓ３０４で生成された注目サブブロックの残差係数を逆量子化・逆直交変換し、予測誤差を再生させる。ただし、注目サブブロックがＰＣＭ符号化される場合、逆量子化・逆変換部１０６は、この逆量子化・逆直交変換処理を実施しない。

Ｓ３０６にて、制御部１００は画像再生部１０７を制御し、注目サブブロックの画像を再生させる。具体的には、画像再生部１０７は、Ｓ３０３で生成された予測情報と、Ｓ３０５で生成された予測誤差から画像データを再生し、その画像データをフレームメモリ１０８に格納する。ただし、注目サブブロックがＰＣＭ符号化される場合、予測部１０４からの予測情報に含まれる画素で画像データを構築する。

Ｓ３０７にて、制御部１００は符号化部１１０を制御し、注目サブブロックの符号化を行わせる。具体的には、符号化部１１０は、注目サブブロックのサイズと、ＰＣＭ制御インデックス情報に基づき、Ｓ３０３で生成された予測情報およびＳ３０４で生成された残差係数を符号化し、符号データを生成する。

ただし、注目サブブロックのインデックスが、Ｓ３０２で生成されたＰＣＭ制御インデックスによる条件を満たす場合、符号化部１１０は、予測部１０４から供給されたＰＣＭフラグをまず符号化する。そして、符号化部１１０は、ＰＣＭフラグが“１”である場合は、注目サブブロックをＰＣＭ符号化することになるので、注目サブブロックの画素値を符号データに含める。一方、注目サブブロックのＰＣＭフラグが“０”である場合は、注目サブブロックはＰＣＭ符号化されないことを意味する。故に、符号化部１１０は、注目サブブロックに対する予測情報や残差係数をエントロピー符号化する。さらに他の符号データも含め、ビットストリームを生成する。

Ｓ３０８にて、制御部１００は、注目フレーム内の全ての基本ブロック、全サブブロックの符号化を終了したか否かを判定し、終了していれば処理をＳ３０９に、未終了であれば次の基本ブロックもしくは次のサブブロックを符号化対象とするため、処理をＳ３０３に戻す。

Ｓ３０９にて、制御部１００はインループフィルタ部１０９を制御し、Ｓ３０６で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。ＰＣＭ符号化されたサブブロックに属する画素に対しては、インループフィルタ処理をスキップしても良い。

以上実施形態における画像符号化装置の符号化処理に係る構成とその動作を説明した。上記実施形態によれば、特にＳ３０３において、Ｓ３０２において生成されたＰＣＭ制御インデックス情報に基づいてＰＣＭ符号化サブブロックを選択することで、サブブロックの画素数に応じて適切にＰＣＭ符号化処理を可能にすることができる。

なお、本実施形態では、ＰＣＭ制御インデックスとして、最大ＰＣＭ制御インデックスと最小ＰＣＭ制御インデックスの２つを用いる構成としたが、これに限定されず、１つのみを用いる構成としても良い。例えば、最大ＰＣＭ制御インデックス（上限）のみを用いる場合は、ＰＣＭ符号化を行うサブブロックの最小サイズのみが示される。一方、最小ＰＣＭインデックス（下限）のみを用いる場合は、ＰＣＭ符号化を行うサブブロックの最大サイズのみが示される。これは、特に実装上の制限からＰＣＭ符号化を行う最大もしくは最小サイズが自明である場合に有効であり、ヘッダ部分に含めるデータ量を削減することができる。

また、図３のフローチャートは１フレーム画像の符号化の例であったが、ＰＣＭ制御インデックスを動画像の符号化中に変更しないのであれば、２フレーム目以降はＳ３０２の処理は無くしても良い。

図２は、上記画像符号化装置で生成された符号化画像データから、サブブロック単位に画像を予測復号、もしくは、ＰＣＭ復号する画像復号装置のブロック構成図である。以下、同図を参照し、復号処理に係る構成とその動作を説明する。

画像復号装置は、装置全体の制御を司る制御部２００を有する。この制御部２００は、ＣＰＵ、ＣＰＵが実行するプログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭを有する。また、画像復号装置は、入力端子２０１、分離復号部２０２、復号部２０３、逆量子化・逆変換部２０４、画像再生部２０５、フレームメモリ２０６、インループフィルタ部２０７、出力端子２０８を有する。

入力端子２０１は、符号化されたビットストリームを入力するものであり、入力源は例えば符号化ストリームを格納した記憶媒体であるが、ネットワークから入力しても良く、その種類は問わない。

分離復号部２０２は、ビットストリームから復号処理に関する情報や残差係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。本実施形態では、ＰＣＭ制御インデックス情報を復号し、後段の復号部２０３に設定する。なお、分離復号部２０２は、図１の統合符号化部１１１と逆の動作を行うものでもある。

復号部２０３は、分離復号部２０２から出力された符号データから、残差係数および予測情報を取得する（詳細後述）。

逆量子化・逆変換部２０４は、サブブロック単位で入力された残差係数に対して逆量子化を行い、さらに逆直交変換を行うことにより予測誤差を得る。

画像再生部２０５は、入力された予測情報に基づいて、フレームメモリ２０６を適宜参照して予測画像データを生成する。そして、画像再生部２０５は、この予測画像データと、逆量子化・逆変換部２０４から供給された予測誤差から再生画像データを生成し、フレームメモリ２０６に格納する。

インループフィルタ部２０７は、図１のインループフィルタ部１０９同様、再生画像に対し、デブロッキングフィルタなどのインループフィルタ処理を行い、フィルタ処理された画像を出力する。

次に上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、先に説明した画像符号化装置により生成されたビットストリームを復号する。

分離復号部２０２は、入力端子２０１を介して入力したビットストリームから復号処理に関する情報や係数に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。具体的には、分離復号部２０２は、図６（ａ）に示されるビットストリームのピクチャヘッダからＰＣＭ制御インデックス情報を復号する。そして、分離復号部２０２は、このようにして得られた量子化制御インデックス情報を復号部２０３に設定する。さらに、分離復号部２０２は、ピクチャデータの基本ブロック単位の符号データを復号部２０３に出力する。

復号部２０３は、符号データを復号し、残差係数および予測情報を取得する。具体的には、復号部２０３は、まずサブブロック分割の情報を取得し、基本ブロックを構成するサブブロックの情報を取得し、次に各サブブロックに対応する予測に関する情報を取得する。復号部２０３は、復号対象の注目サブブロックの画素数に基づいたインデックスが前述のＰＣＭ制御インデックスにより示される条件を満たすか否かを判定する。この条件を満たす場合、復号部２０３は、符号データからＰＣＭフラグを取得し、当該サブブロックがＰＣＭ符号化されているか否かを判定する。すなわち、復号部２０３は、復号対象のサブブロックの画素数に基づいたインデックスが、最小ＰＣＭ制御インデックス以上かつ最大ＰＣＭ制御インデックス以下である場合にのみＰＣＭフラグを取得する。一方、ＰＣＭ制御インデックスに関する条件を満たさない場合は、ＰＣＭフラグは符号化されていない。そのため、復号部２０３は、当該サブブロックはＰＣＭ符号化されていないものと判定する。当該サブブロックがＰＣＭ符号化されている場合、予測情報から画素値を取得する。また、注目サブブロックがＰＣＭ符号化されていない場合、復号部２０３は、予測モードや動きベクトルなどの予測情報や残差係数を取得する。そして、復号部２０３は、残差係数を逆量子化・逆変換部２０４に出力し、取得された予測情報を画像再生部２０５に出力する。また、このとき、復号対象のサブブロックがＰＣＭ符号化されているか否かを示す情報を逆量子化・逆変換部２０４及び画像再生部２０５に出力する。

逆量子化・逆変換部２０４は、入力された残差係数に対し逆量子化を行って直交変換係数を生成し、さらに逆直交変換を施して予測誤差を再生する。そして、逆量子化・逆変換部２０４は、再生した予測誤差を画像再生部２０５に出力する。ただし、復号対象のサブブロックがＰＣＭ符号化されている場合には、逆量子化・逆変換部２０４は逆量子化および逆直交変換の処理は実施しない。

画像再生部２０５は、復号部２０３から入力された予測情報に基づいて、フレームメモリ２０６を適宜参照し、予測画像を再生する。そして、画像再生部２０５は、この予測画像と逆量子化・逆変換部２０４から入力された予測誤差から画像データを再生し、フレームメモリ２０６に格納する。格納された画像データは予測の際の参照に用いられることになる。ただし、復号対象のサブブロックがＰＣＭ符号化されている場合、画像再生部２０５は、復号部２０３から予測情報として入力した画素値を用いて画像データを再生し、フレームメモリ２０６に入力し、格納する。

インループフィルタ部２０７は、図１のインループフィルタ部１０９と同様、フレームメモリ２０６から再生画像を読み出し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行う。そして、フィルタ処理された画像は再びフレームメモリ２０６に入力される。なお、処理対象の画素が属するサブブロックがＰＣＭ符号化されている場合には、再生画像に劣化が生じていない。このため、インループフィルタ部２０７は、ＰＣＭ符号化されたサブブロックから再生した画像に対しては、インループフィルタ処理をスキップしても良い。これにより、インループフィルタの処理分の演算量を低減させることができる。

フレームメモリ２０６に格納された再生画像は、最終的には出力端子２０８から外部（例えばディスプレイ）に出力される。

図４は、画像復号装置における制御部２００の復号処理を示すフローチャートである。以下、同図を参照して、復号処理を説明する。

Ｓ４０１にて、制御部２００は分離復号部２０２を制御し、ビットストリームから復号処理に関する情報や係数に関する符号データに分離して、ヘッダ部分の符号データを復号し、ＰＣＭ制御インデックス情報を取得する。そして、制御部２００は、取得したＰＣＭ制御インデックス情報を復号部２０３に設定する。

Ｓ４０２にて、制御部２００は復号部２０３を制御し、Ｓ４０１で分離された符号データの復号を行わせ、サブブロックの分割情報、残差係数、予測情報を取得させる。このとき、復号部２０３は、復号しようとしている注目サブブロックの画素数に応じたインデックスと、Ｓ４０１で取得したＰＣＭ制御インデックスとを比較し、ＰＣＭ制御インデックスによる条件を満たすか否かを判定する。ＰＣＭ制御インデックスによる条件を満たす場合、復号部２０３は、符号化データからＰＣＭフラグを取得し、このＰＣＭフラグに基づき当該サブブロックがＰＣＭ符号化されているか否かを判定する。当該サブブロックがＰＣＭ符号化されている場合、復号部２０３は、符号データから画素値を取得する。一方、当該サブブロックがＰＣＭ符号化されていない場合、復号部２０３は、予測モードや動きベクトルなどの予測情報や残差係数を取得する。

Ｓ４０３にて、制御部２００は逆量子化・逆変換部２０４を制御し、サブブロック単位で残差係数に対し逆量子化を行い、さらに逆直交変換を行うことにより、予測誤差を取得させる。ただし、復号対象のサブブロックがＰＣＭ符号化されている場合には、逆量子化・逆変換部２０４は、逆量子化および逆直交変換の処理を実施しない。

Ｓ４０４にて、制御部２００は画像再生部２０５を制御し画像を再生させる。具体的には、画像再生部２０５は、Ｓ４０２で取得された予測情報に基づいて予測画像を再生し、さらに再生された予測画像とＳ４０３で生成された予測誤差から画像データを再生する。ただし、復号対象のサブブロックがＰＣＭ符号化されている場合には、画像再生部２０５は、Ｓ４０２で取得された予測情報に含まれる画素値を用いて画像データを再生する。画像再生部２０５は再生した画像データをフレームメモリ２０６に格納する。

Ｓ４０５にて、制御部２００は、フレーム内の全ての基本ブロックの全サブブロックの復号が終了したか否かを判定する。終了していると判定した場合、制御部２００は処理をＳ４０６に進め、未復号のサブブロックが存在する場合には、次のサブブロックを復号するため、処理をＳ４０２に戻す。

Ｓ４０６にて、制御部２００はインループフィルタ部２０７を制御し、フレームメモリ２０６に格納された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像をフレームメモリ２０６に再格納し、処理を終える。ただし、処理対象の画素が属するサブブロックがＰＣＭ符号化されている場合には、再生画像に劣化が生じていない。このため、インループフィルタ部２０７は、ＰＣＭ符号化されたサブブロックの再生画像に対しては、インループフィルタ処理をスキップすることも可能である。

以上の構成と動作により、ＰＣＭ制御インデックス情報に基づいて、サブブロックの画素数に応じて適切にＰＣＭ符号化が制御されたビットストリームを復号することができる。

なお、画像復号装置において、図６（ａ）に示すように、量子化制御インデックス情報がピクチャヘッダ部分に含まれているビットストリームを復号するものとしたが、この情報の符号化位置はこれに限定されない。図６（ｂ）に示されるように画像のシーケンスヘッダ部分で符号化されていても良いし、他の位置で符号化されていても構わない。

また、本実施形態では、ＰＣＭ制御インデックスとして、最大ＰＣＭ制御インデックスと最小ＰＣＭ制御インデックスの２つを用いる構成としたが、これに限定されず、１つのみを用いる構成としても良い。例えば、最大ＰＣＭ制御インデックスのみを用いる場合は、ＰＣＭ符号化を行う最小サイズのみが示され、ＰＣＭ符号化を行う最大サイズは基本ブロックのサイズと同じになるといった具合である。一方、最小ＰＣＭインデックスのみを用いる場合は、ＰＣＭ符号化を行う最大サイズのみが示され、ＰＣＭ符号化を行う最小サイズはサブブロックの最小サイズと同じになる。これは、特に実装上の制限からＰＣＭ符号化を行う最大もしくは最小サイズが自明である場合に有効であり、ヘッダ部分に含めるデータ量を削減したビットストリームを復号することができる。

［第２の実施形態］
上記第１の実施形態の画像符号化装置及び画像復号装置が有する各処理部は、ハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行う処理を、コンピュータプログラムでもって構成しても良い。

図５は、上記実施形態に係る画像符号化装置、画像復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ５０１は、図１、図２に示した各処理部として機能することになる。

ＲＡＭ５０２は、外部記憶装置５０６、Ｉ／Ｆ（インターフェース）５０７を介して外部から取得したプログラムやデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアとしても利用される。ＲＡＭ５０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ５０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。表示部５０５は、ＣＰＵ５０１による処理結果を表示する。また表示部５０５は例えば液晶ディスプレイで構成される。

外部記憶装置５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、図１、図２に示した各部の機能をＣＰＵ５０１に実現させるためのコンピュータプログラム（アプリケーションプログラム）が保存されている。更には、外部記憶装置５０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜、ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。Ｉ／Ｆ５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ５０７を介して様々な情報を取得したり、送出したりすることができる。５０８は上述の各部を繋ぐバスである。

上記構成において、本装置に電源が投入されると、ＣＰＵ５０１はＲＯＭ５０３に格納されたブートプログラムを実行し、外部記憶装置５０６に格納されたＯＳをＲＡＭ５０２にロードし実行する。そして、ＣＰＵ５０１は、ＯＳの制御下にて、外部記憶装置５０６から符号化、或いは、復号に係るアプリケーションプログラムをＲＡＭ５０２にロードし、実行する。この結果、ＣＰＵ５０１は、図１或いは図２の各処理部として機能し、本装置が画像符号化装置、或いは、画像復号装置として機能することになる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１…入力端子、１０２…ブロック分割部、１０３…生成部、１０４…予測部、１０５…変換・量子化部、１０６…逆量子化・逆変換部、１０７…画像再生部、１０８…フレームメモリ、１０９…インループフィルタ部、１１０…符号化部、１１１…統合符号化部、１１２…出力端子

Claims (13)

1. 画像を符号化する画像符号化装置であって、
   符号化対象の画像を複数の基本ブロックに分割し、当該基本ブロックを更に複数のサブブロックに分割する分割手段と、
   該分割手段で得た注目サブブロックの画像と予測画像との差である予測誤差を求める予測手段と、
   注目サブブロックの前記予測誤差を符号化する予測符号化手段と、
   前記注目サブブロックの画素値をＰＣＭ符号化するＰＣＭ符号化手段と、
   前記予測符号化手段、前記ＰＣＭ符号化手段のいずれを用いて前記注目サブブロックの符号化データを生成するかを制御する制御手段とを有し、
   前記制御手段は、
   前記注目サブブロックに含まれる画素数で特定されるサイズが予め設定した所定の範囲である場合は前記予測符号化手段、前記ＰＣＭ符号化手段のいずれかを利用するように制御し、
   前記注目サブブロックに含まれる画素数で特定されるサイズが前記範囲を外れる場合は、前記予測符号化手段を利用するように制御する
   ことを特徴とする画像符号化装置。
2. 前記制御手段は、前記予測誤差に基づき前記予測符号化手段、前記ＰＣＭ符号化手段のいずれを用いて前記注目サブブロックの符号化データを生成するかを制御する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記制御手段は、
   前記注目サブブロックに含まれる画素数で特定されるサイズが予め設定した範囲に属し、且つ、前記予測誤差が予め設定された閾値以下である場合は前記予測符号化手段を利用するように制御し、
   前記注目サブブロックに含まれる画素数で特定されるサイズが前記範囲に属し、且つ、前記予測誤差が前記閾値より大きい場合は前記ＰＣＭ符号化手段を利用するように制御し、
   前記注目サブブロックに含まれる画素数で特定されるサイズが前記範囲を外れる場合は、前記予測符号化手段を利用するように制御する
   ことを特徴とする請求項２に記載の画像符号化装置。
4. 前記サブブロックに含まれる画素数に応じて、当該サブブロックを、前記基本ブロックのサイズから小さくなるにつれて大きい値のインデックスを付け、当該インデックスを用いて前記範囲を設定する設定手段を更に備えることを特徴とする請求項１に記載の画像符号化装置。
5. 前記設定手段は、前記インデックスの取り得る範囲の最小のインデックスと最大のインデックスにより、前記範囲を設定することを特徴とする請求項４に記載の画像符号化装置。
6. 前記設定手段は、前記インデックスの取り得る範囲の下限を設定することで前記範囲を設定することを特徴とする請求項４に記載の画像符号化装置。
7. 前記設定手段は、前記インデックスの取り得る範囲の上限を設定することで前記範囲を設定することを特徴とする請求項４に記載の画像符号化装置。
8. 前記予測符号化手段は、前記予測誤差を直交変換し、当該直交変換で得た変換係数を量子化し、量子化後の変換係数をエントロピー符号化することを特徴とする請求項１乃至７のいずれか１項に記載の画像符号化装置。
9. 前記制御手段は、
   前記注目サブブロックに含まれる画素数で特定されるサイズが前記範囲に属する場合は、前記ＰＣＭ符号化手段、前記予測符号化手段のいずれで符号化されたのかを示すためのフラグを前記注目サブブロックの符号データに含め、
   前記注目サブブロックに含まれる画素数で特定されるサイズが前記所定の範囲に属しない場合は、前記フラグを前記注目サブブロックの符号データに含めない
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像符号化装置。
10. フレーム画像から予め設定されたサイズの基本ブロックに分離し、当該基本ブロックを更に分割したサブブロックを単位として符号化された画像データを復号する画像復号装置であって、
    符号化対象のビットストリームから、前記サブブロックの符号化データを分離する分離手段と、
    該分離手段で得た注目サブブロックの符号化データを、予測復号する予測復号手段と、
    前記注目サブブロックの符号化データをＰＣＭ復号するＰＣＭ復号手段と、
    前記注目サブブロックの符号化データに基づいて、前記予測復号手段、前記ＰＣＭ復号手段のいずれを用いるかを制御する制御手段とを有し、
    前記制御手段は、
    前記注目サブブロックに含まれる画素数で特定されるサイズが予め設定した範囲にある場合は、前記注目サブブロックの符号化データに含まれる所定のフラグで特定される、前記予測復号手段、前記ＰＣＭ復号手段の一方を用いて復号し、
    前記注目サブブロックに含まれる画素数で特定されるサイズが前記範囲から外れる場合は、前記注目サブブロックの符号化データを、前記予測復号手段を用いて復号する
    ことを特徴とする画像復号装置。
11. 画像を符号化する画像符号化方法であって、
    符号化対象の画像を複数の基本ブロックに分割し、当該基本ブロックを更に複数のサブブロックに分割する分割工程と、
    該分割工程で得た注目サブブロックの画像と予測画像との差である予測誤差を求める予測工程と、
    注目サブブロックの前記予測誤差を符号化する予測符号化工程と、
    前記注目サブブロックの画素値をＰＣＭ符号化するＰＣＭ符号化工程と、
    前記予測符号化工程、前記ＰＣＭ符号化工程のいずれを用いて前記注目サブブロックの符号化データを生成するかを制御する制御工程とを有し、
    前記制御工程では、
    前記注目サブブロックに含まれる画素数で特定されるサイズが予め設定した所定の範囲である場合は前記予測符号化工程、前記ＰＣＭ符号化工程のいずれかを利用するように制御し、
    前記注目サブブロックに含まれる画素数で特定されるサイズが前記範囲を外れる場合は、前記予測符号化工程を利用するように制御する
    ことを特徴とする画像符号化方法。
12. フレーム画像から予め設定されたサイズの基本ブロックに分離し、当該基本ブロックを更に分割したサブブロックを単位として符号化された画像データを復号する画像復号方法であって、
    符号化対象のビットストリームから、前記サブブロックの符号化データを分離する分離工程と、
    該分離工程で得た注目サブブロックの符号化データを、予測復号する予測復号工程と、
    前記注目サブブロックの符号化データをＰＣＭ復号するＰＣＭ復号工程と、
    前記注目サブブロックの符号化データに基づいて、前記予測復号工程、前記ＰＣＭ復号工程のいずれを用いるかを制御する制御工程とを有し、
    前記制御工程では、
    前記注目サブブロックに含まれる画素数で特定されるサイズが予め設定した範囲にある場合は、前記注目サブブロックの符号化データに含まれる所定のフラグで特定される、前記予測復号工程、前記ＰＣＭ復号工程の一方を用いて復号し、
    前記注目サブブロックに含まれる画素数で特定されるサイズが前記範囲から外れる場合は、前記注目サブブロックの符号化データを、前記予測復号工程を用いて復号する
    ことを特徴とする画像復号方法。
13. コンピュータが読み込み実行することで、前記コンピュータに、請求項１１又は１２に記載の方法の各工程を実行させるためのプログラム。

Images