JP2010193162A - 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム - Google Patents

Abstract

【課題】効率良くエントロピー符号化を実施する。
【解決手段】画像符号化装置100は、複数の分割方法から対象領域の分割方法を選択する手段110と、該分割方法で対象領域を複数の小領域に分割し、小領域の画素信号に対する予測信号を生成し、小領域の予測信号と画素信号との残差信号を生成し、残差信号に周波数変換・量子化を施して量子化変換係数を生成し、複数の分割方法に共通する木構造のリーフに小領域の量子化変換係数をマッピングするための複数のマップから、小領域の属性情報に応じてマップを選択し、該マップに基づいて小領域の量子化変換係数を木構造のリーフにマッピングし、各リーフの係数値に従って木構造のノードとリーフの状態を更新する手段104と、該ノードとリーフの状態を複数の分割方法に共通の確率モデルで符号化する手段105と、小領域の非ゼロの量子化変換係数を符号化する手段106とを備える。
【選択図】図１

Description

本発明は、画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラムに関する。

画像データ（静止画像データおよび動画像データ）の伝送や蓄積を効率よく行うために、従来から画像データを圧縮符号化技術により圧縮することが行われている。このような圧縮符号化技術としては、例えば、動画像データの場合はＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４等の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像データを複数のブロックに分割した上で符号化処理を行う。そして、符号化対象となる対象ブロック内の画素信号に対する予測信号を生成する。ここで予測信号を生成するための予測方法には、画面内の符号化済み領域の復号信号から予測する画面内予測と、過去に符号化した画面の復号信号から予測する画面間予測とがある。

このうち画面内予測としては、符号化の対象ブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法がある（例えば、下記特許文献１参照）。

一方、通常の画面間予測では、符号化の対象ブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、探索した信号が構成する領域と対象ブロックとの間の空間的な変位量である動きベクトルを符号化する。

Ｈ．２６４では、画像の局所的な特徴の変化に対応するため、対象ブロック（例えば１６×１６）を異なるブロックサイズ（１６×１６に加えて、例えば８×８、８×１６、１６×８、８×４、４×８、４×４など）の小ブロックに分割し、小ブロック毎に予測信号を生成する方法が用いられている。Ｈ．２６４における予測ブロックサイズについては、例えば特許文献２に記載されている。

次に、対象ブロックの予測信号から対象ブロックの画素信号を差し引いた残差信号を生成し、離散コサイン変換等により周波数変換する。一般に、変換ブロック内の残差信号に起伏がなければ、周波数変換のブロックサイズは大きいほど変換効率が高い。しかしながら、予測ブロック境界は信号が不連続となるため、予測ブロック境界を跨ぐ残差信号をまとめた大きな残差ブロックに周波数変換を施すと、高周波成分が増加し、それにより符号化効率が低下する。そのため、周波数変換は、予測信号生成時と同じブロック単位又は予測信号生成時よりも小さいブロック単位で実施される。

そして、周波数変換された変換係数は量子化され、量子化変換係数としてエントロピー符号化される。各ブロックの量子化変換係数には０値が多く含まれる傾向があり、この傾向は予測効率が高くなるほど強くなる。０値係数を効率良く符号化する方法には、ゼロツリー符号化がある。この方法では、ブロック内の量子化変換数を木構造のリーフ（木構造の下端）にマッピングし、リーフの係数値に基づいて、木構造のノード（木構造の途中の分岐点）とリーフの状態（０または１）を更新する。そして、木構造の状態と非ゼロの量子化変換係数の値を符号化する。そのため、木構造のあるノードより下のノードとリーフが０値となるように、ブロック内の量子化変換係数を木構造のリーフにマップすることにより、値０の量子化変換係数を少ない符号量で纏めて符号化することが可能になる。ゼロツリー符号化については、例えば下記特許文献３に記載されている。

米国特許公報第６７６５９６４号 米国特許公報第７００３０３５号 米国特許公開公報２００６−１３３６８０号

背景技術に示したとおり、ブロック形状やブロックサイズの異なる多様な予測方法で予測処理を実施することにより予測効率は向上する。一方、残差信号のエントロピー符号化については、統計的性質が類似するデータを集めて一様な確率モデルで処理した方が、少ない符号化要素又は小さい符号化テーブルで符号化処理を実施することができる。

ところが、多様な方法（多様なブロックサイズ）で予測信号を生成する場合に、少ない符号化要素でエントロピー符号化を行うと、各符号化要素の統計的な自由度が大きくなるため、残差信号のエントロピー符号化に適した一様な確率モデルを得ることが困難になり、結果的に、残差信号のエントロピー符号化を効率良く実施することが困難になる。

本発明は、上記課題を解決するために成されたものであり、適切な予測ブロックのサイズや形状で予測処理を行いつつ、残差信号のエントロピー符号化を効率良く実施することを目的とする。

本発明では、上記の課題を解決すべく、異なるブロックサイズまたは異なるブロック形状で予測信号を生成したために異なる統計的性質を有する量子化変換係数を、共通の木構造のノードとリーフの状態に変換し、上記異なるブロックサイズまたは異なるブロック形状に共通の確率モデルでゼロツリー符号化する。また、本発明では、ブロック内の量子化変換係数を木構造のリーフにマッピングするためのマップを、サイズや形状が異なるブロックについて個別に用意することにより、木構造の各ノードとリーフの状態の統計的なバラツキを抑制する。

本発明に係る画像符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記複数の領域のうちの処理対象である対象領域の分割方法を複数の分割方法から選択する分割方法選択手段と、前記選択した分割方法を識別する情報を符号化する分割方法符号化手段と、前記選択した分割方法で前記対象領域を複数の小領域に分割する小領域分割手段と、前記小領域に含まれる画素信号に対する予測信号を生成する予測手段と、前記小領域の予測信号と画素信号との残差信号を生成する残差信号生成手段と、前記小領域の残差信号を周波数変換して変換係数を生成する変換手段と、前記小領域の変換係数を量子化して量子化変換係数を生成する量子化手段と、前記複数の分割方法に共通の木構造を用意し、前記小領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記小領域の属性情報に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記小領域の量子化変換係数を前記木構造のリーフにマッピングし、各リーフの係数値に従って前記木構造のノードとリーフの状態を更新するゼロツリーマッピング手段と、前記木構造のノードとリーフの状態を、前記複数の分割方法に共通の確率モデルでエントロピー符号化するゼロツリー符号化手段と、前記小領域の非ゼロの量子化変換係数をエントロピー符号化する非ゼロ係数符号化手段と、前記選択した分割方法を識別する情報の符号化データと、前記木構造のノードとリーフの状態の符号化データと、前記小領域の非ゼロの量子化変換係数の符号化データとを出力する出力手段と、を備えることを特徴とする。なお、前記小領域の属性情報は、前記対象領域の前記選択した分割方法であることが望ましい。

本発明に係る画像復号装置は、圧縮データの中から、処理対象である対象領域の分割方法を指示する符号化データと前記対象領域を分割した小領域の残差信号の符号化データを抽出するデータ解析手段と、対象領域の分割方法を指示する符号化データから、複数の分割方法の中で前記対象領域の分割方法を識別する情報をエントロピー復号する分割方法復号手段と、前記分割方法に共通の木構造を用意し、前記小領域の残差信号の符号化データから、前記木構造のノードとリーフの状態を前記複数の分割方法に共通の確率モデルでエントロピー復号するゼロツリー復号手段と、前記小領域の残差信号の符号化データから、前記復号した木構造のリーフの状態が１である量子化変換係数の復号値をエントロピー復号する非ゼロ係数復号手段と、前記小領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記小領域の復号済み属性情報に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記復号した木構造のノードとリーフの状態と前記復号した小領域の量子化変換係数の復号値を、前記小領域の再生量子化変換係数に復元するゼロツリー量子化変換係数マッピング手段と、前記小領域の再生量子化変換係数を逆量子化して再生周波数変換係数を生成する逆量子化手段と、前記小領域の再生周波数変換係数を逆変換して再生残差信号を復元する逆変換手段と、前記小領域に含まれる画素信号に対する予測信号を生成する予測手段と、前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元手段と、を備えることを特徴とする。なお、前記小領域の復号済み属性情報は、復号した前記対象領域の分割方法であることが望ましい。

本発明に係る画像符号化装置は、前述した画像符号化装置以外に、以下の態様を採用することができる。即ち、本発明に係る画像符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記複数の領域のうちの処理対象である対象領域の分割方法を複数の分割方法から選択する分割方法選択手段と、前記選択した分割方法を識別する情報を符号化する分割方法符号化手段と、前記選択した分割方法で前記対象領域を複数の小領域に分割する小領域分割手段と、前記対象領域の各小領域に含まれる画素信号に対する予測信号を生成する予測手段と、前記対象領域の各小領域の予測信号と画素信号との残差信号を生成する残差信号生成手段と、前記対象領域の各小領域の残差信号を周波数変換して変換係数を生成する変換手段と、前記対象領域の各小領域の変換係数を量子化して量子化変換係数を生成する量子化手段と、前記複数の分割方法に共通の木構造を用意し、前記対象領域内の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記対象領域の属性情報に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記対象領域内の量子化変換係数を前記木構造のリーフにマッピングし、各リーフの係数値に従って前記木構造のノードとリーフの状態を更新するゼロツリーマッピング手段と、前記木構造のノードとリーフの状態を、前記複数の分割方法に共通の確率モデルでエントロピー符号化するゼロツリー符号化手段と、前記対象領域の各小領域の非ゼロの量子化変換係数をエントロピー符号化する非ゼロ係数符号化手段と、前記選択した分割方法を識別する情報の符号化データと、前記木構造のノードとリーフの状態の符号化データと、前記対象領域の各小領域の非ゼロの量子化変換係数の符号化データとを出力する出力手段と、を備えることを特徴とする。なお、前記対象領域の属性情報は、前記対象領域の前記選択した分割方法であることが望ましい。

本発明に係る画像復号装置は、前述した画像復号装置以外に、以下の態様を採用することができる。即ち、本発明に係る画像復号装置は、圧縮データの中から、処理対象である対象領域の分割方法を指示する符号化データと前記対象領域の残差信号の符号化データを抽出するデータ解析手段と、対象領域の分割方法を指示する符号化データから、複数の分割方法の中で前記対象領域の分割方法を識別する情報をエントロピー復号する分割方法復号手段と、前記分割方法に共通の木構造を用意し、前記対象領域の残差信号の符号化データから、前記木構造のノードとリーフの状態を前記複数の分割方法に共通の確率モデルでエントロピー復号するゼロツリー復号手段と、前記対象領域の残差信号の符号化データから、前記復号した木構造のリーフの状態が１である量子化変換係数の復号値をエントロピー復号する非ゼロ係数復号手段と、前記対象領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記対象領域の復号済み属性情報に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記復号した木構造のノードとリーフの状態と前記復号した対象領域の量子化変換係数の復号値を、前記対象領域の各小領域の再生量子化変換係数に変換するゼロツリー量子化変換係数マッピング手段と、前記対象領域の各小領域の再生量子化変換係数を逆量子化して再生周波数変換係数を生成する逆量子化手段と、前記対象領域の各小領域の再生周波数変換係数を逆変換して再生残差信号を復元する逆変換手段と、前記対象領域の小領域に含まれる画素信号に対する予測信号を生成する予測手段と、前記対象領域の各小領域の前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の各小領域の画素信号を復元し再生画像信号を生成する画像復元手段と、前記対象領域の各小領域の再生画像信号を統合することによって、前記対象領域の再生画像信号を生成する領域統合手段と、を備えることを特徴とする。なお、前記対象領域の復号済み属性情報は、復号した前記対象領域の分割方法であることが望ましい。

上述した画像符号化装置に係る発明は、画像符号化方法に係る発明および画像符号化プログラムに係る発明として捉えることもでき、以下のように記述することができる。

本発明に係る画像符号化方法は、画像符号化装置により実行される画像符号化方法であって、入力画像を複数の領域に分割する領域分割ステップと、前記複数の領域のうちの処理対象である対象領域の分割方法を複数の分割方法から選択する分割方法選択ステップと、前記選択した分割方法を識別する情報を符号化する分割方法符号化ステップと、前記選択した分割方法で前記対象領域を複数の小領域に分割する小領域分割ステップと、前記小領域に含まれる画素信号に対する予測信号を生成する予測ステップと、前記小領域の予測信号と画素信号との残差信号を生成する残差信号生成ステップと、前記小領域の残差信号を周波数変換して変換係数を生成する変換ステップと、前記小領域の変換係数を量子化して量子化変換係数を生成する量子化ステップと、前記複数の分割方法に共通の木構造を用意し、前記小領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記対象領域の前記選択した分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記小領域の量子化変換係数を前記木構造のリーフにマッピングし、各リーフの係数値に従って前記木構造のノードとリーフの状態を更新するゼロツリーマッピングステップと、前記木構造のノードとリーフの状態を、前記複数の分割方法に共通の確率モデルでエントロピー符号化するゼロツリー符号化ステップと、前記小領域の非ゼロの量子化変換係数をエントロピー符号化する非ゼロ係数符号化ステップと、前記選択した分割方法を識別する情報の符号化データと、前記木構造のノードとリーフの状態の符号化データと、前記小領域の非ゼロの量子化変換係数の符号化データとを出力する出力ステップと、を備えることを特徴とする。

本発明に係る画像符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割手段と、前記複数の領域のうちの処理対象である対象領域の分割方法を複数の分割方法から選択する分割方法選択手段と、前記選択した分割方法を識別する情報を符号化する分割方法符号化手段と、前記選択した分割方法で前記対象領域を複数の小領域に分割する小領域分割手段と、前記小領域に含まれる画素信号に対する予測信号を生成する予測手段と、前記小領域の予測信号と画素信号との残差信号を生成する残差信号生成手段と、前記小領域の残差信号を周波数変換して変換係数を生成する変換手段と、前記小領域の変換係数を量子化して量子化変換係数を生成する量子化手段と、前記複数の分割方法に共通の木構造を用意し、前記小領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記対象領域の前記選択した分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記小領域の量子化変換係数を前記木構造のリーフにマッピングし、各リーフの係数値に従って前記木構造のノードとリーフの状態を更新するゼロツリーマッピング手段と、前記木構造のノードとリーフの状態を、前記複数の分割方法に共通の確率モデルでエントロピー符号化するゼロツリー符号化手段と、前記小領域の非ゼロの量子化変換係数をエントロピー符号化する非ゼロ係数符号化手段と、前記選択した分割方法を識別する情報の符号化データと、前記木構造のノードとリーフの状態の符号化データと、前記小領域の非ゼロの量子化変換係数の符号化データとを出力する出力手段、として動作させることを特徴とする。

本発明に係る画像符号化方法は、前述した画像符号化方法以外に、以下の態様を採用することができる。即ち、本発明に係る画像符号化方法は、画像符号化装置により実行される画像符号化方法であって、入力画像を複数の領域に分割する領域分割ステップと、前記複数の領域のうちの処理対象である対象領域の分割方法を複数の分割方法から選択する分割方法選択ステップと、前記選択した分割方法を識別する情報を符号化する分割方法符号化ステップと、前記選択した分割方法で前記対象領域を複数の小領域に分割する小領域分割ステップと、前記対象領域の各小領域に含まれる画素信号に対する予測信号を生成する予測ステップと、前記対象領域の各小領域の予測信号と画素信号との残差信号を生成する残差信号生成ステップと、前記対象領域の各小領域の残差信号を周波数変換して変換係数を生成する変換ステップと、前記対象領域の各小領域の変換係数を量子化して量子化変換係数を生成する量子化ステップと、前記複数の分割方法に共通の木構造を用意し、前記対象領域内の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記対象領域の前記選択した分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記対象領域内の量子化変換係数を前記木構造のリーフにマッピングし、各リーフの係数値に従って前記木構造のノードとリーフの状態を更新するゼロツリーマッピングステップと、前記木構造のノードとリーフの状態を、前記複数の分割方法に共通の確率モデルでエントロピー符号化するゼロツリー符号化ステップと、前記対象領域の各小領域の非ゼロの量子化変換係数をエントロピー符号化する非ゼロ係数符号化ステップと、前記選択した分割方法を識別する情報の符号化データと、前記木構造のノードとリーフの状態の符号化データと、前記対象領域の各小領域の非ゼロの量子化変換係数の符号化データとを出力する出力ステップと、を備えることを特徴とする。

本発明に係る画像符号化プログラムは、前述した画像符号化プログラム以外に、以下の態様を採用することができる。即ち、本発明に係る画像符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割手段と、前記複数の領域のうちの処理対象である対象領域の分割方法を複数の分割方法から選択する分割方法選択手段と、前記選択した分割方法を識別する情報を符号化する分割方法符号化手段と、前記選択した分割方法で前記対象領域を複数の小領域に分割する小領域分割手段と、前記対象領域の各小領域に含まれる画素信号に対する予測信号を生成する予測手段と、前記対象領域の各小領域の予測信号と画素信号との残差信号を生成する残差信号生成手段と、前記対象領域の各小領域の残差信号を周波数変換して変換係数を生成する変換手段と、前記対象領域の各小領域の変換係数を量子化して量子化変換係数を生成する量子化手段と、前記複数の分割方法に共通の木構造を用意し、前記対象領域内の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記対象領域の前記選択した分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記対象領域内の量子化変換係数を前記木構造のリーフにマッピングし、各リーフの係数値に従って前記木構造のノードとリーフの状態を更新するゼロツリーマッピング手段と、前記木構造のノードとリーフの状態を、前記複数の分割方法に共通の確率モデルでエントロピー符号化するゼロツリー符号化手段と、前記対象領域の各小領域の非ゼロの量子化変換係数をエントロピー符号化する非ゼロ係数符号化手段と、前記選択した分割方法を識別する情報の符号化データと、前記木構造のノードとリーフの状態の符号化データと、前記小領域の非ゼロの量子化変換係数の符号化データとを出力する出力手段、として動作させることを特徴とする。

上述した画像復号装置に係る発明は、画像復号方法に係る発明および画像復号プログラムに係る発明として捉えることもでき、以下のように記述することができる。

本発明に係る画像復号方法は、画像復号装置により実行される画像復号方法であって、圧縮データの中から、処理対象である対象領域の分割方法を指示する符号化データと前記対象領域を分割した小領域の残差信号の符号化データを抽出するデータ解析ステップと、対象領域の分割方法を指示する符号化データから、複数の分割方法の中で前記対象領域の分割方法を識別する情報をエントロピー復号する分割方法復号ステップと、前記分割方法に共通の木構造を用意し、前記小領域の残差信号の符号化データから、前記木構造のノードとリーフの状態を前記複数の分割方法に共通の確率モデルでエントロピー復号するゼロツリー復号ステップと、前記小領域の残差信号の符号化データから、前記復号した木構造のリーフの状態が１である量子化変換係数の復号値をエントロピー復号する非ゼロ係数復号ステップと、前記小領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記復号した前記対象領域の分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記復号した木構造のノードとリーフの状態と前記復号した小領域の量子化変換係数の復号値を、前記小領域の再生量子化変換係数に復元するゼロツリー量子化変換係数マッピングステップと、前記小領域の再生量子化変換係数を逆量子化して再生周波数変換係数を生成する逆量子化ステップと、前記小領域の再生周波数変換係数を逆変換して再生残差信号を復元する逆変換ステップと、前記小領域に含まれる画素信号に対する予測信号を生成する予測ステップと、前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元ステップと、を備えることを特徴とする。

本発明に係る画像復号プログラムは、コンピュータを、圧縮データの中から、処理対象である対象領域の分割方法を指示する符号化データと前記対象領域を分割した小領域の残差信号の符号化データを抽出するデータ解析手段と、対象領域の分割方法を指示する符号化データから、複数の分割方法の中で前記対象領域の分割方法を識別する情報をエントロピー復号する分割方法復号手段と、前記分割方法に共通の木構造を用意し、前記小領域の残差信号の符号化データから、前記木構造のノードとリーフの状態を前記複数の分割方法に共通の確率モデルでエントロピー復号するゼロツリー復号手段と、前記小領域の残差信号の符号化データから、前記復号した木構造のリーフの状態が１である量子化変換係数の復号値をエントロピー復号する非ゼロ係数復号手段と、前記小領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記復号した前記対象領域の分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記復号した木構造のノードとリーフの状態と前記復号した小領域の量子化変換係数の復号値を、前記小領域の再生量子化変換係数に復元するゼロツリー量子化変換係数マッピング手段と、前記小領域の再生量子化変換係数を逆量子化して再生周波数変換係数を生成する逆量子化手段と、前記小領域の再生周波数変換係数を逆変換して再生残差信号を復元する逆変換手段と、前記小領域に含まれる画素信号に対する予測信号を生成する予測手段と、前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元手段、として動作させることを特徴とする。

本発明に係る画像復号方法は、前述した画像復号方法以外に、以下の態様を採用することができる。即ち、本発明に係る画像復号方法は、画像復号装置により実行される画像復号方法であって、圧縮データの中から、処理対象である対象領域の分割方法を指示する符号化データと前記対象領域の残差信号の符号化データを抽出するデータ解析ステップと、対象領域の分割方法を指示する符号化データから、複数の分割方法の中で前記対象領域の分割方法を識別する情報をエントロピー復号する分割方法復号ステップと、前記分割方法に共通の木構造を用意し、前記対象領域の残差信号の符号化データから、前記木構造のノードとリーフの状態を前記複数の分割方法に共通の確率モデルでエントロピー復号するゼロツリー復号ステップと、前記対象領域の残差信号の符号化データから、前記復号した木構造のリーフの状態が１である量子化変換係数の復号値をエントロピー復号する非ゼロ係数復号ステップと、前記対象領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記復号した前記対象領域の分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記復号した木構造のノードとリーフの状態と前記復号した対象領域の量子化変換係数の復号値を、前記対象領域の各小領域の再生量子化変換係数に変換するゼロツリー量子化変換係数マッピングステップと、前記対象領域の各小領域の再生量子化変換係数を逆量子化して再生周波数変換係数を生成する逆量子化ステップと、前記対象領域の各小領域の再生周波数変換係数を逆変換して再生残差信号を復元する逆変換ステップと、前記対象領域の小領域に含まれる画素信号に対する予測信号を生成する予測ステップと、前記対象領域の各小領域の前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の各小領域の画素信号を復元し再生画像信号を生成する画像復元ステップと、前記対象領域の各小領域の再生画像信号を統合することによって、前記対象領域の再生画像信号を生成する領域統合ステップと、を備えることを特徴とする。

本発明に係る画像復号プログラムは、前述した画像復号プログラム以外に、以下の態様を採用することができる。即ち、本発明に係る画像復号プログラムは、コンピュータを、圧縮データの中から、処理対象である対象領域の分割方法を指示する符号化データと前記対象領域の残差信号の符号化データを抽出するデータ解析手段と、対象領域の分割方法を指示する符号化データから、複数の分割方法の中で前記対象領域の分割方法を識別する情報をエントロピー復号する分割方法復号手段と、前記分割方法に共通の木構造を用意し、前記対象領域の残差信号の符号化データから、前記木構造のノードとリーフの状態を前記複数の分割方法に共通の確率モデルでエントロピー復号するゼロツリー復号手段と、前記対象領域の残差信号の符号化データから、前記復号した木構造のリーフの状態が１である量子化変換係数の復号値をエントロピー復号する非ゼロ係数復号手段と、前記対象領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記復号した前記対象領域の分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記復号した木構造のノードとリーフの状態と前記復号した対象領域の量子化変換係数の復号値を、前記対象領域の各小領域の再生量子化変換係数に変換するゼロツリー量子化変換係数マッピング手段と、前記対象領域の各小領域の再生量子化変換係数を逆量子化して再生周波数変換係数を生成する逆量子化手段と、前記対象領域の各小領域の再生周波数変換係数を逆変換して再生残差信号を復元する逆変換手段と、前記対象領域の小領域に含まれる画素信号に対する予測信号を生成する予測手段と、前記対象領域の各小領域の前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の各小領域の画素信号を復元し再生画像信号を生成する画像復元手段と、前記対象領域の各小領域の再生画像信号を統合することによって、前記対象領域の再生画像信号を生成する領域統合手段、として動作させることを特徴とする。

本発明によれば、複数の分割方法にて生成された予測信号に対して、共通の木構造でゼロツリー符号化を実施できるため、適切な予測ブロックのサイズや形状で予測処理を行い、かつ残差信号のエントロピー符号化を効率良く実施することが可能となる。

本実施形態に係る画像符号化装置のブロック図である。 分割方法ごとに設けられた予測符号化器のブロック図である。 量子化変換係数からゼロツリーへのマッピング処理を示す第１の流れ図である。 分割方法ごとに設けられた予測復号器のブロック図である。 ゼロツリーから量子化変換係数へのマッピング処理を示す第１の流れ図である。 量子化変換係数からゼロツリーへのマッピング処理を示す第１の模式図である。 量子化変換係数からゼロツリーへのマッピング処理を示す第２の模式図である。 量子化変換係数からゼロツリーへのマッピング処理を示す第３の模式図である。 本実施形態に係る画像復号装置のブロック図である。 本実施形態に係る画像符号化方法を説明するための流れ図である。 本実施形態に係る画像復号方法を説明するための流れ図である。 量子化変換係数からゼロツリーへのマッピング処理を示す第２の流れ図である。 ゼロツリーから量子化変換係数へのマッピング処理を示す第２の流れ図である。 量子化変換係数からゼロツリーへのマッピング処理を示す第４の模式図である。 量子化変換係数からゼロツリーへのマッピング処理を示す第５の模式図である。 量子化変換係数からゼロツリーへのマッピング処理を示す第６の模式図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成図である。 図１７のコンピュータの斜視図である。 画像符号化プログラムのモジュール構成例を示すブロック図である。 予測符号化モジュールの構成例を示すブロック図である。 画像復号プログラムのモジュール構成例を示すブロック図である。 予測復号モジュールの構成例を示すブロック図である。

以下、本発明の実施の形態について、図１〜図２２を用いて説明する。
（画像符号化装置について）
図１には、本発明に係る画像符号化装置１００のブロック図を示す。画像符号化装置１００は、入力端子１０１、ブロック分割器１０２、分割方法切り替え器１０３、分割方法１予測符号化器１０４ａ、分割方法２予測符号化器１０４ｂ、分割方法３予測符号化器１０４ｃ、ゼロツリーエントロピー符号化器１０５、非ゼロ係数エントロピー符号化器１０６、出力端子１０７、フレームメモリ１０８、分割方法１予測復号器１０９ａ、分割方法２予測復号器１０９ｂ、分割方法３予測復号器１０９ｃ、分割方法選択器１１０、および分割方法エントロピー符号化器１１１を備えている。なお、分割方法１予測符号化器１０４ａ、分割方法２予測符号化器１０４ｂ、および分割方法３予測符号化器１０４ｃは、以下において「分割方法ｐ予測符号化器１０４」と総称する。分割方法１予測復号器１０９ａ、分割方法２予測復号器１０９ｂ、および分割方法３予測復号器１０９ｃは、以下において「分割方法ｐ予測復号器１０９」と総称する。

以下、上記のように構成された画像符号化装置１００の動作を述べる。複数枚の画像からなる動画像の信号は入力端子１０１に入力される。符号化の対象となる画像はブロック分割器１０２にて、複数の領域に分割される。本実施形態では一例として、８×８の画素からなるブロックに分割されるが、それ以外のブロックの大きさまたは形に分割してもよい。

次に、符号化処理の対象となる領域（以下「対象ブロック」とよぶ）は、分割方法切り替え器１０３に入力される。

これと同時に、分割方法選択器１１０は、複数の分割方法から対象ブロックの分割方法を決定し、決定した分割方法の識別情報を分割方法切り替え器１０３に出力する。分割方法の選択方法は後述する（図１０のフローチャートにて説明）。さらに分割方法選択器１１０は、選択した分割方法の識別情報を分割方法エントロピー符号化器１１１に出力する。分割方法エントロピー符号化器１１１は、入力された分割方法の識別情報を符号化し、出力端子１０７に出力する。なお、以下では分割方法を３種類として説明するが、対象ブロックの分割方法の数については本発明では限定されない。

一方、分割方法切り替え器１０３は、分割方法選択器１１０にて３種類の分割方法から選択された分割方法が、分割方法１の場合には対象ブロックの画素信号を分割方法１予測符号化器１０４ａに、分割方法２の場合には対象ブロックの画素信号を分割方法２予測符号化器１０４ｂに、分割方法３の場合には対象ブロックの画素信号を分割方法３予測符号化器１０４ｃに、それぞれ出力する。

ここでは、分割方法１を選択した場合を例に説明する。分割方法１予測符号化器１０４ａは、入力された対象ブロックを小領域（以下「サブブロック」とよぶ）に分割し、サブブロック毎に予測信号を生成し、サブブロックの画素信号と予測信号との間の残差信号を周波数変換して量子化する。そして、分割方法１予測符号化器１０４ａは、各サブブロックの量子化変換係数を予め定めた木構造のリーフにマッピングし、各リーフの係数に従って木構造の状態を更新してゼロツリーエントロピー符号化器１０５に出力する（詳細は後述）。この際、本発明では、木構造として、対象ブロックの分割方法に依存しない共通の木構造を用いる。同時に、局部復号処理のため、木構造のノードとリーフの状態と各サブブロックの非ゼロの量子化変換係数を分割方法１予測復号器１０９ａに出力する。

以上のような分割方法１予測符号化器１０４ａの動作は、分割方法２予測符号化器１０４ｂ、分割方法３予測符号化器１０４ｃでも同様である。これら分割方法ｐ予測符号化器１０４の詳細については、図２を用いて後述する。

なお、本発明では、各サブブロックのブロックサイズとブロック形状は、特定のものには限定されない。

（木構造とゼロツリー符号化の説明）
ここで、木構造、サブブロック分割およびゼロツリー符号化について説明する。本発明における共通の木構造には大きく分けて２種類ある。第１の木構造は、対象ブロック内のすべての量子化変換係数を包含する木構造である。第２の木構造は、一定の画素数のサブブロックの量子化変換係数のみを含む木構造である。

第１の木構造は、対象ブロックの分割方法に依存しないので、どのようなサブブロックにも適用できる。この例については後述することとし、ここでは第２の木構造の例について説明する。

第２の木構造を用いるケースでは、分割方法によらず対象ブロックを同じ画素数のサブブロックに分割し、その画素数に基づいた木構造を用いる。本実施形態では、対象ブロックが８×８画素で対象ブロックを１６画素から成る４つのサブブロックに分割する方法を例にして説明する。分割方法は、４×４画素（図６のサブブロック６１）、２×８画素（図７のサブブロック７１）、８×２画素（図８のサブブロック８１）の３種類とし、図６のツリー６２（図７のツリー７２と図８のツリー８２も同じ構造）に示した木構造を用いる。

木構造の生成方法を説明するため、図６に注目する。木構造では、ｘ印でしめす分岐点を「ノード」と呼び、数字で示す木の下端を「リーフ」と呼ぶ。ノードとリーフの状態は０または１の値で示され、各ノードの状態は、２つの枝先のノードあるいはリーフの状態によって決定する。ｘで示したあるノード（対象ノード）について、枝先の２つのノード（あるいはリーフ）の状態が共に０のときは対象ノードの状態は０となり、２つの枝先のノード（あるいはリーフ）の状態のいずれか一方あるいは両方が１のときは対象ノードの状態は１となる。

サブブロック６１の数字は各量子化変換係数のサブブロック内の位置を示しており、木構造のツリー６２の数字に対応する。サブブロック６１の各量子化変換係数をツリー６２の同じ数字のリーフにマッピングする。各リーフの状態は、マッピングされた量子化変換係数が非ゼロの場合は１、ゼロの場合は０となる。リーフの状態が決まると、木構造の右下から左上に向かってｘ印のノードの状態は順に決まる。よって、ｘの状態が０の場合には、当該ノードを起点とする木に属するリーフに対応する量子化変換係数の値がすべて０であることが分かる。

ゼロツリー符号化では、木構造のノードとリーフの状態を予め定めた手順（例えば、ｘ印を左上から右下に向かって順にサーチすること）で符号化する。この際、あるノードの状態が０であれば、そのノードを起点とする木に属するノードとリーフの状態はすべて０となるので、それらのノードとリーフの状態は符号化する必要がない。したがって、木構造のリーフと各量子化変換係数の対応を示すマップは、量子化変換係数のゼロ係数が少ない符号量で効率良く符号化されるように、決定される。

本発明では、木構造は各分割方法について共通である。そして、サブブロック内の各量子化変換係数がゼロ値になる確率に基づいて、各リーフへの量子化変換係数のマッピングの規則を各分割方法について個別に決めている。ここでは、図６、図７、図８におけるサブブロック内の量子化変換係数を木構造のリーフに割り当てる規則を「マップ」と呼び、サブブロック内の量子化変換係数を木構造のリーフに割り当てる処理を「マッピング」と呼ぶ。

（図１の説明の続き）
ゼロツリーエントロピー符号化器１０５は、入力されたノードとリーフの状態を対象ブロックの分割方法に依らない共通の確率モデルを用いてエントロピー符号化する。そして、ゼロツリーエントロピー符号化器１０５は、対象ブロックにおけるノードとリーフの状態の符号化データと、非ゼロの量子化変換係数の値とを非ゼロ係数エントロピー符号化器１０６に出力する。

ここで、確率モデルとは、１つのノードが０になる確率（あるいは１になる確率）を各ノードならびにリーフについて設定したものであり、確率モデルは、ノードあるいはリーフの状態を符号化するときに出力する符号を決める。なお、予め定めておけば、複数のノードとリーフの状態の符号化に同じ確率モデルを用いても良い。また、算術符号の場合には、各ノードまたはリーフの確率モデルは、発生した符号に基づいて更新されてもよい。

非ゼロ係数エントロピー符号化器１０６は、入力された対象ブロックにおけるサブブロック内の非ゼロ量子化変換係数を所定の手順（例えばラスタスキャン順）で符号化し、得られた符号化データを、ノードとリーフの状態の符号化データとまとめて出力端子１０７に出力する。エントロピー符号化の方法は算術符号化でも良いし、可変長符号化でもよい。

分割方法１予測復号器１０９ａは、入力された木構造のノードとリーフの状態と各サブブロックの非ゼロの量子化変換係数の復号値から、各サブブロックの量子化変換係数を復元する。各サブブロックの量子化変換係数は、逆量子化、逆変換され再生残差信号が生成される。同時に、分割方法１予測復号器１０９ａは、分割方法１予測符号化器１０４ａと同じ手段で各サブブロックの予測信号を生成する。最後に、各サブブロックの再生残差信号と予測信号とが加算されて再生信号が復元される。以上のような分割方法１予測復号器１０９ａの動作は、分割方法２予測復号器１０９ｂ、分割方法３予測復号器１０９ｃでも同様である。これら分割方法ｐ予測復号器１０９の詳細については、図４を用いて後述する。

復元された再生信号は、フレームメモリ１０８に出力され、予測処理に用いる参照画像として保存される。

なお、分割方法ｐ予測符号化器１０４における予測方法がフレームメモリ１０８に保存された画像信号を参照しない場合には、分割方法ｐ予測復号器１０９は不要である。

（分割方法ｐ予測符号化器１０４について）
分割方法ｐ予測符号化器１０４（分割方法１予測符号化器１０４ａ、分割方法２予測符号化器１０４ｂ、および分割方法３予測符号化器１０４ｃ）は、図２に示す共通の構成を備える。以下、分割方法ｐ予測符号化器１０４の構成につき説明する。図２に示すように、分割方法ｐ予測符号化器１０４は、小領域分割器２０１、予測器２０２、差分器２０３、変換器２０４、量子化器２０５、および量子化変換係数ゼロツリーマッピング器２０６を備えている。

小領域分割器２０１は、入力された対象ブロックを分割方法ｐに従ってサブブロックに分割し、差分器２０３に出力する。

予測器２０２は、各サブブロックの画素信号に対する予測信号を生成し、差分器２０３に出力する。予測方法には、画面間予測と画面内予測がある。画面間予測では、過去に符号化されたのちに復元された再生画像を参照画像として、当該参照画像から、サブブロックに対する誤差の最も小さい予測信号を与える動き情報を求める。一方、画面内予測では、サブブロックに空間的に隣接する既再生の画素値を用いた所定の方法に基づくコピー処理（サブブロック内の各画素の位置へのコピー処理）により画面内予測信号を生成する。具体的な予測信号の生成方法については本発明では限定しない。各分割方法に対して複数の予測方法を用意し、該複数の予測方法から対象ブロック毎に又はサブブロック毎に予測方法を選択し、選択した予測方法の情報を符号化してもよいし、各分割方法について予め予測方法を決めておいてもよいし、対象ブロック内の各サブブロックの位置について予め予測方法を決めておいてもよい。

差分器２０３は、入力された各サブブロックの画像信号と予測信号との差分を算出することで各サブブロックの残差信号を生成し、変換器２０４に出力する。

各サブブロックの残差信号は、変換器２０４にて離散コサイン変換され、変換後の各サブブロックの変換係数は量子化器２０５に出力される。

量子化器２０５は、各サブブロックの変換係数を量子化することで量子化変換係数を生成し、量子化変換係数ゼロツリーマッピング器２０６に出力する。

量子化変換係数ゼロツリーマッピング器２０６は、各サブブロックについて、サブブロックの量子化変換係数を、対象ブロックの分割方法に依らない共通の木構造のリーフにマッピングし、各リーフの係数値に従って木構造のノードとリーフの状態を更新する（詳細は後述する）。そして、量子化変換係数ゼロツリーマッピング器２０６は、各サブブロックについて、木構造のノードとリーフの状態と、状態が１のリーフに対応する量子化変換係数とをゼロツリーエントロピー符号化器１０５に出力する。

なお、図１では、分割方法ｐ予測符号化器１０４を分割方法１、２、３についてそれぞれ用意しているが、図２に示す小領域分割器２０１、予測器２０２、差分器２０３、変換器２０４、量子化器２０５、および量子化変換係数ゼロツリーマッピング器２０６が、それぞれ、分割方法１〜３の機能を含み、分割方法によって処理を切り替える機能を有している場合には、図１の分割方法１予測符号化器１０４ａ、分割方法２予測符号化器１０４ｂおよび分割方法３予測符号化器１０４ｃは、１つの分割方法ｐ予測符号化器１０４に置き換えることができる。例えば、１つの分割方法１予測符号化器１０４ａが、３つの分割方法ｐ予測符号化器１０４の機能を果たし、分割方法１予測符号化器１０４ａには分割方法の識別情報が分割方法選択器１１０から入力される。分割方法２予測符号化器１０４ｂと分割方法３予測符号化器１０４ｃは不要となる。

次に、図３を用いて、図２の量子化変換係数ゼロツリーマッピング器２０６により実行される、ゼロと非ゼロ係数の生成処理を説明する。

量子化変換係数ゼロツリーマッピング器２０６は、最初にＳ３０２にて、ｋの値（サブブロックの識別番号）を０に、ＫＫの値（対象ブロック内のサブブロックの数）を４に、それぞれ初期設定し、次のＳ３０３にて、ｋ番目（最初は０番目）のサブブロック内の量子化変換係数をラスタスキャン順に取得する。それからＳ３０４にて、量子化変換係数ゼロツリーマッピング器２０６は、対象ブロックの分割方法ｐ（ｐは１〜３の値；分割方法１は図６の４×４、分割方法２は図７の２×８、分割方法３は図８の８×２を示す）に対応するマップを選択する。次のＳ３０５で量子化変換係数ゼロツリーマッピング器２０６は、選択したマップ（図６〜図８のツリー６２または７２または８２）に基づいて、量子化変換係数を、複数の分割方法に共通の木構造のリーフにマッピングし、各リーフの係数値にしたがって、各リーフの状態を０（係数値が０の場合）か１（係数値が０以外の場合）に決定し、そして、決定した各リーフの状態にしたがって、各ノードの状態を更新する。

次に、量子化変換係数ゼロツリーマッピング器２０６は、Ｓ３０６にてｋの値を１つ増やし、ｋ番目（ここでは１番目）のサブブロックについて上記のＳ３０３〜Ｓ３０５の処理を実施する。以降、４個のサブブロックについて処理が終了するまで、Ｓ３０３〜Ｓ３０６の処理を繰り返す（Ｓ３０７）。

このように、本発明によれば、対象ブロックを複数の異なる分割方法で分割して予測信号の生成を行う場合においても、共通の木構造のリーフに量子化変換係数をマッピングできるため、複数の木構造を用意する必要がない。また、対象ブロックの分割方法に依らない共通の確率モデルでゼロツリーの符号化を行うことが可能となる。

なお、この実施形態では、対象ブロックの分割方法を４×４、２×８、８×２の３通りとしたが、分割方法の種類と数については、サブブロック内の画素数が固定である以外は限定されない。

（分割方法ｐ予測復号器１０９について）
分割方法ｐ予測復号器１０９（分割方法１予測復号器１０９ａ、分割方法２予測復号器１０９ｂ、分割方法３予測復号器１０９ｃ）は、図４に示す共通の構成を備える。以下、分割方法ｐ予測復号器１０９の構成につき説明する。図４に示すように、分割方法ｐ予測復号器１０９は、ゼロツリー量子化変換係数マッピング器４０１、逆量子化器４０２、逆変換器４０３、予測器２０２、加算器４０４、およびブロック統合器４０５を備えている。なお、図４の予測器２０２は、前述した図２と同じものである。

ゼロツリー量子化変換係数マッピング器４０１には、各サブブロックについて、対象ブロックの分割方法に依らない共通の木構造のノードとリーフの状態と、状態が１のリーフ（即ち、量子化変換係数が非ゼロ）の量子化変換係数の復号値とが入力される。ゼロツリー量子化変換係数マッピング器４０１は、入力された木構造のノードとリーフの状態と非ゼロの量子化係数の復号値から、各サブブロックの量子化変換係数を復元し（詳細は後述）、逆量子化器４０２に出力する。

逆量子化器４０２は、各サブブロックの量子化変換係数を逆量子化して変換係数を復元し、逆変換器４０３に出力する。

逆変換器４０３は、各サブブロックの変換係数を逆変換して残差信号を復元し、加算器４０４に出力する。

予測器２０２は、前述した図２の予測符号化器１０４における予測器２０２と同様に、各サブブロックの画素信号に対する予測信号を生成し、加算器４０４に出力する。

加算器４０４は、各サブブロックの復元した残差信号と予測信号とを加算して各サブブロックの再生信号を復元し、ブロック統合器４０５に出力する。

ブロック統合器４０５は、分割方法ｐに従って、各サブブロックの再生信号を統合して対象ブロックの再生信号を復元する。

なお、図１では、分割方法ｐ予測復号器１０９を分割方法１、２、３についてそれぞれ用意しているが、図４に示すゼロツリー量子化変換係数マッピング器４０１、逆量子化器４０２、逆変換器４０３、予測器２０２、加算器４０４、およびブロック統合器４０５が、それぞれ、分割方法１〜３の機能を含み、分割方法によって処理を切り替える機能を有している場合には、図１の分割方法１予測復号器１０９ａ、分割方法２予測復号器１０９ｂおよび分割方法３予測復号器１０９ｃは、１つの分割方法ｐ予測復号器１０９に置き換えることができる。例えば、１つの分割方法１予測復号器１０９ａが、３つの分割方法ｐ予測復号器１０９の機能を果たし、分割方法１予測復号器１０９ａには分割方法の識別情報が分割方法選択器１１０から入力される。分割方法２予測復号器１０９ｂと分割方法３予測復号器１０９ｃは不要となる。

次に、図５を用いて、図４のゼロツリー量子化変換係数マッピング器４０１により実行される量子化変換係数の復元処理を説明する。

ゼロツリー量子化変換係数マッピング器４０１は、最初にＳ５０２にて、ｋの値（サブブロックの識別番号）を０に、ＫＫの値（対象ブロック内のサブブロックの数）を４に、それぞれ初期設定し、次のＳ５０３にて、ｋ番目（最初は０番目）のサブブロックについて、復号された木構造のノードとリーフの状態を取得するとともに、状態が１のリーフ（非ゼロの量子化変換係数）に対応する量子化変換係数の復号値を取得する。

それから、ゼロツリー量子化変換係数マッピング器４０１は、Ｓ５０４にて、対象ブロックの分割方法ｐ（ｐは１〜３の値；分割方法１は図６の４×４、分割方法２は図７の２×８、分割方法３は図８の８×２を示す）に対応するマップを選択する。次のＳ５０５でゼロツリー量子化変換係数マッピング器４０１は、選択したマップ（図６〜図８のツリー６２または７２または８２）に基づいて、木構造のノードとリーフの状態ならびに状態が１のリーフに対応する量子化変換係数の復号値から、ｋ番目（最初は０番目）のサブブロックの量子化変換係数を復元する。

次に、ゼロツリー量子化変換係数マッピング器４０１は、Ｓ５０６にてｋの値を１つ増やし、ｋ番目（ここでは１番目）のサブブロックについて上記のＳ５０３〜Ｓ５０５の処理を実施する。以降、４個のサブブロックについて処理が終了するまで、Ｓ５０３〜Ｓ５０６の処理を繰り返す（Ｓ５０７）。

（画像復号装置について）
図９には、本発明に係る画像復号装置９００のブロック図を示す。画像復号装置９００は、入力端子９０１、データ解析器９０２、ゼロツリーエントロピー復号器９０３、非ゼロ係数エントロピー復号器９０４、分割方法エントロピー復号器９０５、分割方法切り替え器９０６、および出力端子９０７を備えている。図９のフレームメモリ１０８は、前述した図１のフレームメモリ１０８と同じであり、図９の分割方法ｐ予測復号器１０９は、前述した図１の分割方法ｐ予測復号器１０９と同じである。

以下、上記のように構成された画像復号装置９００の動作を述べる。符号化されたビットストリームが入力端子９０１に入力されると、データ解析器９０２は、処理対象の対象ブロックを復号するために必要な符号化データをビットストリームから切り出す。そして、データ解析器９０２は、取得した符号化データを、残差信号の符号化データ（即ち、木構造のノードとリーフの状態をゼロツリー符号化して得られた符号化データ、および非ゼロの量子化変換係数の符号化データ）と、分割方法を識別する情報の符号化データとに分離し、残差信号の符号化データをゼロツリーエントロピー復号器９０３に出力するとともに、分割方法の識別情報の符号化データを分割方法エントロピー復号器９０５に出力する。

分割方法エントロピー復号器９０５は、入力された分割方法の識別情報の符号化データを復号し、対象ブロックにおけるサブブロック分割方法の識別情報を復元する。復元された識別情報は分割方法切り替え器９０６に出力される。

一方、ゼロツリーエントロピー復号器９０３は、対象ブロックにおける各サブブロックの木構造のノードとリーフの状態を、対象ブロックの分割方法に依存しない共通の確率モデルを用いてエントロピー復号する。そして、ゼロツリーエントロピー復号器９０３は、復号された木構造のノードとリーフの状態と、復号されたリーフの状態が１を示す量子化変換係数（非ゼロの量子化変換係数）に対応する復号値の符号化データとを、非ゼロ係数エントロピー復号器９０４に出力する。

非ゼロ係数エントロピー復号器９０４は、入力された非ゼロの量子化変換係数の符号化データをエントロピー復号し、量子化変換係数の値を復元する。復元された非ゼロの量子化変換係数の復号値と、入力された木構造のノードとリーフの状態とは、分割方法切り替え器９０６に出力される。

分割方法切り替え器９０６は、分割方法の識別情報に基づいて、木構造のノードとリーフの状態および各サブブロックの非ゼロの量子化変換係数の復号値を、３つの分割方法ｐ予測復号器１０９のうちいずれか１つに出力する。

例えば、分割方法の識別情報として分割方法１が復号された場合、木構造のノードとリーフの状態および各サブブロックの非ゼロの量子化変換係数の復号値は、分割方法１予測復号器１０９ａに出力され、分割方法１予測復号器１０９ａは、入力された木構造のノードとリーフの状態および各サブブロックの非ゼロの量子化変換係数の復号値から、各サブブロックの量子化変換係数を復元する。そして、分割方法１予測復号器１０９ａは、各サブブロックの量子化変換係数を逆量子化し、その後、逆変換することで再生残差信号を生成する。同時に、分割方法１予測復号器１０９ａは、図１の分割方法１予測符号化器１０４ａと同様に、各サブブロックの予測信号を生成する。最後に、分割方法１予測復号器１０９ａは、各サブブロックの再生残差信号と予測信号とを加算して再生信号を復元する。復元された再生信号はフレームメモリ１０８に出力され、予測処理に用いる参照画像として保存される。

図９の分割方法ｐ予測復号器１０９の動作については、図４と図５で説明済みのため、説明を割愛する。なお、図９では、分割方法ｐ予測復号器１０９を分割方法１、２、３についてそれぞれ用意しているが、図４に示すゼロツリー量子化変換係数マッピング器４０１、逆量子化器４０２、逆変換器４０３、予測器２０２、加算器４０４、およびブロック統合器４０５が、それぞれ、分割方法１〜３の機能を含み、分割方法によって処理を切り替える機能を有している場合には、図９の分割方法１予測復号器１０９ａ、分割方法２予測復号器１０９ｂおよび分割方法３予測復号器１０９ｃは、１つの分割方法ｐ予測復号器１０９に置き換えることができる。例えば、１つの分割方法１予測復号器１０９ａが、３つの分割方法ｐ予測復号器１０９の機能を果たし、分割方法１予測復号器１０９ａには分割方法の識別情報が分割方法エントロピー復号器９０５から入力される。分割方法２予測復号器１０９ｂと分割方法３予測復号器１０９ｃは不要となる。

（画像符号化方法について）
以下、図１０を用いて、画像符号化装置１００により実行される画像符号化方法に係る処理を説明する。ここでは、対象ブロックを８×８画素のブロックとする。

まず、画像符号化装置１００では、分割方法選択器１１０が、対象ブロックの分割方法を識別するためのカウンタｐを１（ここでは例えば、１は４×４画素、２は２×８画素、３は８×２画素とする）に、分割方法の数ＰＰを３に、それぞれ初期設定する（Ｓ１０２）。これにより、分割方法切り替え器１０３には、分割方法１の選択信号が分割方法選択器１１０から入力され、ブロック分割器１０２により分割された対象ブロックは、分割方法切り替え器１０３から分割方法１予測符号化器１０４ａへ出力される。

次に、分割方法１予測符号化器１０４ａは、分割方法１で対象ブロックを４×４画素のサブブロック（小領域）に分割する（Ｓ１０３）。次に、分割方法１予測符号化器１０４ａは、各サブブロックの予測信号を生成し、予測信号の生成に要する付加情報を符号化する（Ｓ１０４）。続いて、分割方法１予測符号化器１０４ａは、各サブブロックについて、予測信号と画像信号との残差信号を生成し、この残差信号に対し変換および量子化を施して各サブブロックの量子化変換係数を生成する（Ｓ１０５）。さらに、分割方法１予測符号化器１０４ａは、図３にて説明したＳ３００の処理により、対象ブロックの量子化変換係数を木構造のリーフにマッピングし、各リーフの係数値にしたがって、木構造のノードとリーフの状態を更新する（Ｓ３００）。

次に、ゼロツリーエントロピー符号化器１０５は、対象ブロックの分割方法に依存しない共通の確率モデルを用いて、上記生成された木構造のリーフとノードの状態をゼロツリー符号化するとともに、状態が１のリーフ（非ゼロの量子化変換係数）について量子化変換係数の値を符号化する（Ｓ１０６）。

続いて、分割方法１予測復号器１０９ａは、図５にて説明したＳ５００の処理により、対象ブロックの各サブブロックについて、木構造のノードとリーフの状態ならびに非ゼロの量子化変換係数の値から、各サブブロックの量子化変換係数を復元し、各サブブロックの復元した量子化変換係数に対し逆量子化および逆変換を施して各サブブロックの残差信号を生成する。同時に、分割方法１予測復号器１０９ａは、分割方法１予測符号化器１０４ａと同じ方法で各サブブロックの予測信号を生成し、該予測信号と上記残差信号とを加算することにより各サブブロックの再生信号を復元する。ここで、画像符号化装置１００は、復元された対象ブロックの再生信号と符号化された符号化データのレート歪コストを、所定の計算式（例えば、符号化データのビット数に量子化精度にて決まる係数を掛けて得られた値に、対象ブロックの再生信号から画像信号を差し引いて得られた差分信号の二乗和を加える）に基づいて算出する（Ｓ１０７）。

次に、画像符号化装置１００は、カウンタｐの値に１を加え、次に、分割方法ｐ（即ち、分割方法２）について、上記のＳ１０３からＳ１０７までの処理を実施する。

そして、３種類の分割方法（分割方法１、２、３）について上記のＳ１０３からＳ１０７までの処理を実施完了すると、Ｓ１０８でカウンタｐの値は「４」となり、Ｓ１０９でカウンタｐの値が分割方法の数ＰＰ（ここでは「３」）より大きくなり、Ｓ１１０へ進む。この時点で、分割方法１、２、３それぞれにおけるレート歪コストが得られている。

そして、Ｓ１１０にて分割方法選択器１１０は、３つの分割方法のうち、レート歪コストが最も小さい分割方法を選択し、選択された分割方法について生成された対象ブロックの再生信号はフレームメモリ１０８に一時格納される。また、分割方法エントロピー符号化器１１１は、選択された分割方法の識別情報をエントロピー符号化する（Ｓ１１１）。

最後に、画像符号化装置１００は、符号化した分割方法の識別情報と、選択した分割方法に関する木構造のゼロツリー符号化データおよび非ゼロの量子化変換係数の符号化データと、予測信号の生成に用いる付加情報の符号化データとを出力端子１０７から出力する（Ｓ１１２）。

（画像復号方法について）
以下、図１１を用いて、画像復号装置９００により実行される画像復号方法に係る処理を説明する。ここでは、対象ブロックを８×８画素のブロックとする。

まず、画像復号装置９００では、圧縮データが入力され、データ解析器９０２が対象ブロックの符号化データを抽出し（Ｓ９０２）、ゼロツリーエントロピー復号器９０３と非ゼロ係数エントロピー復号器９０４と分割方法エントロピー復号器９０５により、上記抽出されたデータのエントロピー復号を行うことで、対象ブロックの分割方法と、対象ブロックの各サブブロックに関する木構造のノードとリーフの状態と、対象ブロックの非ゼロの量子化変換係数（木構造で状態が１のリーフに対応する係数）に対応する復号値と、予測信号の生成に要する付加情報（付加情報については図９に図示なし）とを復号する（Ｓ９０３）。この際、木構造のノードとリーフの状態のゼロツリー復号には、対象ブロックの分割方法に依存しない共通の確率モデルが用いられる。

分割方法ｐ予測復号器１０９は、復元された分割方法と付加情報に基づいて、対象ブロックの予測信号を生成する（Ｓ９０４）。

続いて、分割方法ｐ予測復号器１０９は、上記復号で得られた、木構造のノードとリーフの状態、およびリーフの状態が１を示す量子化変換係数（非ゼロの量子化変換係数）に対応する復号値から、図５に示したＳ５００の処理によって、各サブブロックの量子化変換係数に変換する。

さらに、分割方法ｐ予測復号器１０９は、各サブブロックの量子化変換係数に対し逆量子化および逆変換を施して残差信号を復元する（Ｓ９０５）。

最後に、分割方法ｐ予測復号器１０９は、復元した残差信号に予測信号を加算して各サブブロックの再生信号を生成し、生成された各サブブロックの再生信号を統合して対象ブロックの再生信号を復元する。復元された再生信号は、フレームメモリ１０８に一時格納される（Ｓ９０６）。

（マップの変形例）
図３のＳ３０４と図５のＳ５０４では、対象ブロックのサブブロック分割の方法に基づいて、量子化変換係数を木構造のリーフにマッピングする際に使用するマップを、複数のマップから選択しているが、本発明ではこの選択方法には限定されない。画像復号装置にて識別できる情報であれば、対象ブロックやサブブロックについての付随する属性情報や隣接ブロックの復号情報などもマップの選択に利用できる。

例えば、対象ブロックにおけるサブブロックの位置や、サブブロックの量子化係数における非ゼロ係数の数や非ゼロ係数の値、隣接する対象ブロックの分割方法、サブブロックのブロック形状や画素数などに基づいて分類されるマップを用意してもよい。また、これらを分割方法と組み合わせても良い。さらに、画像符号化装置においてどのマップを使用するかを選択し、該選択情報をフレーム単位やブロック単位で符号化してもよい。

図６〜図８では、３種類の分割方法について、サブブロック内の画素数が一定であるが、サブブロックの数やサブブロック内の画素数が任意の場合にも本発明を適用することができる。

図１４〜図１６では、図１４の対象ブロック１４０１が４個のサブブロック分割であるのに対し、図１５の対象ブロック１５０１と図１６の対象ブロック１６０１は、３個のサブブロックに分割されている。また、サブブロック内の画素数が１６個の場合や３２個の場合も含まれている。

このようなケースでも、対象ブロック内の量子化変換係数をリーフにマッピングする共通の木構造（図１４のツリー１４０２と図１５のツリー１５０２と図１６のツリー１６０２）を用いることで、対象ブロックの分割方法に依存しない１つの確率モデルでゼロツリーの符号化を実施することが可能となる。

図１２は、対象ブロック単位の木構造を用いる場合について、図２の量子化変換係数ゼロツリーマッピング器２０６において木構造のノードとリーフの状態を更新する処理を示すフローチャートＳ３００−２である。以下、この図１２の処理を説明する。

量子化変換係数ゼロツリーマッピング器２０６は、最初にＳ１２０１にて、ｋの値（サブブロックの識別番号）を０に、ＫＫの値（対象ブロック内のサブブロックの数）を４（図１４の分割方法１）または３（図１５の分割方法４と図１６の分割方法５）に、それぞれ初期設定し、Ｓ３０３にて、０番目のサブブロック内の量子化変換係数をラスタスキャン順に取得する。

次に、量子化変換係数ゼロツリーマッピング器２０６は、Ｓ３０６にてｋの値を１つ増やし、ｋ番目（ここでは１番目）のサブブロックについてＳ３０３の処理を実施する。以降、すべてのサブブロックについてＳ３０３の処理が完了するまで、Ｓ３０３、Ｓ３０６の処理を繰り返す（Ｓ３０７）。

そして、すべてのサブブロックについてＳ３０３の処理が完了すると、Ｓ１２０２にて、量子化変換係数ゼロツリーマッピング器２０６は、対象ブロックの分割方法ｐ（ｐは１または４または５；図１４〜図１６参照）に対応するマップを選択し、次のＳ１２０３では、選択したマップ（図６〜図８のツリー６２または７２または８２）に基づいて、対象ブロック内の量子化変換係数を木構造のリーフにマッピングし、そして、各リーフの係数値にしたがって、木構造のノードとリーフの状態を更新する。

このように、本発明によれば、対象ブロック内のサブブロックの数やサブブロック内の画素数が異なる場合でも、対象ブロックの分割方法に依らない共通の木構造のリーフに量子化変換係数をマッピングできるので、同一の木構造ならびに同一の確率モデルでゼロツリーの符号化を行うことが可能となる。

なお、上記のマップの変形例では、対象ブロックの分割方法の種類と数は限定されない。

図１３は、対象ブロック単位の木構造を用いる場合について、図４のゼロツリー量子化変換係数マッピング器４０１における量子化変換係数復元処理を示すフローチャートＳ５００−２である。以下、この図１３の処理を説明する。

ゼロツリー量子化変換係数マッピング器４０１は、最初にＳ１３０１にて、対象ブロック内の量子化変換係数について、複数の分割方法に共通の木構造のノードとリーフの状態を取得し、Ｓ１３０２にて、対象ブロックの分割方法ｐ（ｐは１または４または５；図１４〜図１６参照）に対応するマップを選択する。

続いて、ゼロツリー量子化変換係数マッピング器４０１は、Ｓ１３０３にて、ｋの値（サブブロックの識別番号）を０に、ＫＫの値（対象ブロック内のサブブロックの数）を４（図１４の分割方法１）または３（図１５の分割方法４と図１６の分割方法５）に、それぞれ初期設定する。次に、ゼロツリー量子化変換係数マッピング器４０１は、Ｓ１３０４にて、状態が１となる木構造のリーフに対応し且つ０番目のサブブロック内の係数について、復号値を取得し、Ｓ１３０５にて、Ｓ１３０２で選択されたマップに基づいて、木構造におけるリーフの状態と非ゼロの量子化変換係数の復号値からサブブロック内の量子化係数を復元する。

そして、ゼロツリー量子化変換係数マッピング器４０１は、Ｓ５０６にてｋの値を１つ増やし、ｋ番目（ここでは１番目）のサブブロックについてＳ１３０４〜Ｓ１３０５の処理を実施する。以降、すべてのサブブロックについてＳ１３０４〜Ｓ１３０５の処理が完了するまで、Ｓ１３０４、Ｓ１３０５およびＳ５０６の処理を繰り返す（Ｓ５０７）。

なお、図１２〜図１６の例では、対象ブロック内の６４個の量子化変換係数を木構造のリーフにマップしているが、この木構造の一部を用いて、各サブブロックの木構造を生成するにようにマップを生成してもよい。各サブブロックについて、ブロックサイズと形状に基づいて利用するノードとリーフを予め定めておけば、画像符号化装置と画像復号装置は同じように動作させることが可能である。

さらに、図６〜図８に示すサブブロック単位の木構造と、図１４〜図１６で示す対象ブロック単位の木構造とを併用することも可能である。例えば、画面内予測ブロックでは、サブブロック単位の木構造を用い、画面間予測ブロックでは、対象ブロック単位の木構造を用いてもよい。また、サブブロック単位の木構造と対象ブロック単位の木構造のうち何れを用いるかを対象ブロック毎に決定し、用いられる木構造の識別情報を画像符号化装置から画像復号装置へ送ってもよい。

上記実施形態では、木構造と、その木構造の各ノードとリーフの状態を符号化するための確率モデルとを、対象ブロックの分割方法に依らず共通としていたが、その一方のみを共通としてもよい。例えば、木構造は、対象ブロックの分割方法に依らず共通のものを用いるが、木構造の各ノードとリーフの状態を符号化するための確率モデルは、対象ブロックの分割方法毎に異なるものを定義しても良い。逆に、用意している各ノードとリーフの状態を符号化するための確率モデルは、対象ブロックの分割方法に依らず共通であるが、対象ブロックの分割方法毎に異なる木構造を用いてもよい。このとき、各木構造のノードとリーフについて、用意した１つ以上の確率モデルから、使用される確率モデルを予め選択しておき、該選択情報をフレームレベルやブロックレベルで符号化し、画像符号化装置から画像復号装置へ送ってもよい。

（画像符号化プログラム、画像復号プログラムについて）
画像符号化装置に係る発明は、コンピュータを画像符号化装置として機能させるための画像符号化プログラムに係る発明として捉えることができる。あるいは、本実施形態に係る画像符号化方法をプログラムとして記録媒体に格納して提供することもできる。また、画像復号装置に係る発明は、コンピュータを画像復号装置として機能させるための画像復号プログラムに係る発明として捉えることができる。あるいは、本実施形態に係る画像復号方法をプログラムとして記録媒体に格納して提供することもできる。

画像符号化プログラム及び画像復号プログラムは、例えば、記録媒体に格納されて提供される。記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図１９には、コンピュータを画像符号化装置として機能させるための画像符号化プログラムのモジュールを示す。図１９に示すように、画像符号化プログラムＰ１００は、ブロック分割モジュールＰ１０１、予測符号化モジュールＰ１０２、予測復号モジュールＰ１０３、分割方法選択モジュールＰ１０４、記憶モジュールＰ１０５、切り替えモジュールＰ１０６、ゼロツリー符号化モジュールＰ１０７、非ゼロ係数符号化モジュールＰ１０８、分割方法符号化モジュールＰ１０９、および出力モジュールＰ１１０を備えている。このうち、予測符号化モジュールＰ１０２は、１つのプログラムとして捉えることができ、図２０に示すように、サブブロック分割モジュールＰ２０１、予測モジュールＰ２０２、差分モジュールＰ２０３、変換モジュールＰ２０４、量子化モジュールＰ２０５、および量子化変換係数ゼロツリーマッピングモジュールＰ２０６を含んでいる。

上記各モジュールが実行されることにより実現される機能は、上述した図１の画像符号化装置１００の機能と同じである。即ち、機能面において、図１９のブロック分割モジュールＰ１０１は図１のブロック分割器１０２に、予測符号化モジュールＰ１０２は分割方法ｐ予測符号化器１０４に、予測復号モジュールＰ１０３は分割方法ｐ予測復号器１０９に、分割方法選択モジュールＰ１０４は分割方法選択器１１０に、記憶モジュールＰ１０５はフレームメモリ１０８に、切り替えモジュールＰ１０６は分割方法切り替え器１０３に、ゼロツリー符号化モジュールＰ１０７はゼロツリーエントロピー符号化器１０５に、非ゼロ係数符号化モジュールＰ１０８は非ゼロ係数エントロピー符号化器１０６に、分割方法符号化モジュールＰ１０９は分割方法エントロピー符号化器１１１に、出力モジュールＰ１１０は出力端子１０７に、それぞれ相当する。また、図２０のサブブロック分割モジュールＰ２０１は図２の小領域分割器２０１に、予測モジュールＰ２０２は予測器２０２に、差分モジュールＰ２０３は差分器２０３に、変換モジュールＰ２０４は変換器２０４に、量子化モジュールＰ２０５は量子化器２０５に、量子化変換係数ゼロツリーマッピングモジュールＰ２０６は量子化変換係数ゼロツリーマッピング器２０６に、それぞれ相当する。

図２１には、コンピュータを画像復号装置として機能させるための画像復号プログラムのモジュールを示す。図２１に示すように、画像復号プログラムＰ９００は、データ解析モジュールＰ９０１、ゼロツリー復号モジュールＰ９０２、非ゼロ係数復号モジュールＰ９０３、切り替えモジュールＰ９０４、分割方法復号モジュールＰ９０５、予測復号モジュールＰ１０３、および記憶モジュールＰ１０５を備えている。このうち、予測復号モジュールＰ１０３は、１つのプログラムとして捉えることができ、図２２に示すように、ゼロツリー量子化変換係数マッピングモジュールＰ４０１、逆量子化モジュールＰ４０２、逆変換モジュールＰ４０３、予測モジュールＰ２０２、加算モジュールＰ４０４、およびブロック統合モジュールＰ４０５を含んでいる。

上記各モジュールが実行されることにより実現される機能は、上述した図９の画像復号装置９００の機能と同じである。即ち、機能面において、図２１のデータ解析モジュールＰ９０１は図９のデータ解析器９０２に、ゼロツリー復号モジュールＰ９０２はゼロツリーエントロピー復号器９０３に、非ゼロ係数復号モジュールＰ９０３は非ゼロ係数エントロピー復号器９０４に、切り替えモジュールＰ９０４は分割方法切り替え器９０６に、分割方法復号モジュールＰ９０５は分割方法エントロピー復号器９０５に、予測復号モジュールＰ１０３は分割方法ｐ予測復号器１０９に、記憶モジュールＰ１０５はフレームメモリ１０８に、それぞれ相当する。また、図２２のゼロツリー量子化変換係数マッピングモジュールＰ４０１は図４のゼロツリー量子化変換係数マッピング器４０１に、逆量子化モジュールＰ４０２は逆量子化器４０２に、逆変換モジュールＰ４０３は逆変換器４０３に、予測モジュールＰ２０２は予測器２０２に、加算モジュールＰ４０４は加算器４０４に、ブロック統合モジュールＰ４０５はブロック統合器４０５に、それぞれ相当する。

上記のように構成された画像符号化プログラムＰ１００および画像復号プログラムＰ９００は、図１７に示す記録媒体１０に記憶され、後述するコンピュータ３０により実行される。

図１７は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１８は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。コンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

図１７に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された画像符号化プログラムＰ１００と画像復号プログラムＰ９００にアクセス可能になり、当該画像符号化プログラムＰ１００と画像復号プログラムＰ９００によって、本発明による画像符号化装置や画像復号装置として動作することが可能になる。

図１８に示すように、画像符号化プログラムもしくは画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した画像符号化プログラムもしくは画像復号プログラムをメモリ１６に格納し、当該画像符号化プログラムもしくは画像復号プログラムを実行することができる。

以上説明した本実施形態によれば、複数の分割方法にて生成された予測信号に対して、共通の木構造でゼロツリー符号化を実施できるため、適切な予測ブロックのサイズや形状で予測処理を行い、かつ残差信号のエントロピー符号化を効率良く実施することが可能となる。

１０１、９０１…入力端子、１０２…ブロック分割器、１０３…分割方法切り替え器、１０４ａ…分割方法１予測符号化器、１０４ｂ…分割方法２予測符号化器、１０４ｃ…分割方法３予測符号化器、１０５…ゼロツリーエントロピー符号化器、１０６…非ゼロ係数エントロピー符号化器、１０７、９０７…出力端子、１０８…フレームメモリ、１０９ａ…分割方法１予測復号器、１０９ｂ…分割方法２予測復号器、１０９ｃ…分割方法３予測復号器、１１０…分割方法選択器、１１１…分割方法エントロピー符号化器、２０１…小領域分割器、２０２…予測器、２０３…差分器、２０４…変換器、２０５…量子化器、２０６…量子化変換係数ゼロツリーマッピング器、４０１…ゼロツリー量子化変換係数マッピング器、４０２…逆量子化器、４０３…逆変換器、４０４…加算器、４０５…ブロック統合器、９０２…データ解析器、９０３…ゼロツリーエントロピー復号器、９０４…非ゼロ係数エントロピー復号器、９０５…分割方法エントロピー復号器、９０６…分割方法切り替え器。

Claims (16)

1. 入力画像を複数の領域に分割する領域分割手段と、
   前記複数の領域のうちの処理対象である対象領域の分割方法を複数の分割方法から選択する分割方法選択手段と、
   前記選択した分割方法を識別する情報を符号化する分割方法符号化手段と、
   前記選択した分割方法で前記対象領域を複数の小領域に分割する小領域分割手段と、
   前記小領域に含まれる画素信号に対する予測信号を生成する予測手段と、
   前記小領域の予測信号と画素信号との残差信号を生成する残差信号生成手段と、
   前記小領域の残差信号を周波数変換して変換係数を生成する変換手段と、
   前記小領域の変換係数を量子化して量子化変換係数を生成する量子化手段と、
   前記複数の分割方法に共通の木構造を用意し、前記小領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記小領域の属性情報に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記小領域の量子化変換係数を前記木構造のリーフにマッピングし、各リーフの係数値に従って前記木構造のノードとリーフの状態を更新するゼロツリーマッピング手段と、
   前記木構造のノードとリーフの状態を、前記複数の分割方法に共通の確率モデルでエントロピー符号化するゼロツリー符号化手段と、
   前記小領域の非ゼロの量子化変換係数をエントロピー符号化する非ゼロ係数符号化手段と、
   前記選択した分割方法を識別する情報の符号化データと、前記木構造のノードとリーフの状態の符号化データと、前記小領域の非ゼロの量子化変換係数の符号化データとを出力する出力手段と、
   を備えることを特徴とする画像符号化装置。
2. 前記小領域の属性情報が、前記対象領域の前記選択した分割方法であることを特徴とする請求項１に記載の画像符号化装置。
3. 圧縮データの中から、処理対象である対象領域の分割方法を指示する符号化データと前記対象領域を分割した小領域の残差信号の符号化データを抽出するデータ解析手段と、
   対象領域の分割方法を指示する符号化データから、複数の分割方法の中で前記対象領域の分割方法を識別する情報をエントロピー復号する分割方法復号手段と、
   前記分割方法に共通の木構造を用意し、前記小領域の残差信号の符号化データから、前記木構造のノードとリーフの状態を前記複数の分割方法に共通の確率モデルでエントロピー復号するゼロツリー復号手段と、
   前記小領域の残差信号の符号化データから、前記復号した木構造のリーフの状態が１である量子化変換係数の復号値をエントロピー復号する非ゼロ係数復号手段と、
   前記小領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記小領域の復号済み属性情報に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記復号した木構造のノードとリーフの状態と前記復号した小領域の量子化変換係数の復号値を、前記小領域の再生量子化変換係数に復元するゼロツリー量子化変換係数マッピング手段と、
   前記小領域の再生量子化変換係数を逆量子化して再生周波数変換係数を生成する逆量子化手段と、
   前記小領域の再生周波数変換係数を逆変換して再生残差信号を復元する逆変換手段と、
   前記小領域に含まれる画素信号に対する予測信号を生成する予測手段と、
   前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元手段と、
   を備えることを特徴とする画像復号装置。
4. 前記小領域の復号済み属性情報が、復号した前記対象領域の分割方法であることを特徴とする請求項３に記載の画像復号装置。
5. 入力画像を複数の領域に分割する領域分割手段と、
   前記複数の領域のうちの処理対象である対象領域の分割方法を複数の分割方法から選択する分割方法選択手段と、
   前記選択した分割方法を識別する情報を符号化する分割方法符号化手段と、
   前記選択した分割方法で前記対象領域を複数の小領域に分割する小領域分割手段と、
   前記対象領域の各小領域に含まれる画素信号に対する予測信号を生成する予測手段と、
   前記対象領域の各小領域の予測信号と画素信号との残差信号を生成する残差信号生成手段と、
   前記対象領域の各小領域の残差信号を周波数変換して変換係数を生成する変換手段と、
   前記対象領域の各小領域の変換係数を量子化して量子化変換係数を生成する量子化手段と、
   前記複数の分割方法に共通の木構造を用意し、前記対象領域内の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記対象領域の属性情報に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記対象領域内の量子化変換係数を前記木構造のリーフにマッピングし、各リーフの係数値に従って前記木構造のノードとリーフの状態を更新するゼロツリーマッピング手段と、
   前記木構造のノードとリーフの状態を、前記複数の分割方法に共通の確率モデルでエントロピー符号化するゼロツリー符号化手段と、
   前記対象領域の各小領域の非ゼロの量子化変換係数をエントロピー符号化する非ゼロ係数符号化手段と、
   前記選択した分割方法を識別する情報の符号化データと、前記木構造のノードとリーフの状態の符号化データと、前記対象領域の各小領域の非ゼロの量子化変換係数の符号化データとを出力する出力手段と、
   を備えることを特徴とする画像符号化装置。
6. 前記対象領域の属性情報が、前記対象領域の前記選択した分割方法であることを特徴とする請求項５に記載の画像符号化装置。
7. 圧縮データの中から、処理対象である対象領域の分割方法を指示する符号化データと前記対象領域の残差信号の符号化データを抽出するデータ解析手段と、
   対象領域の分割方法を指示する符号化データから、複数の分割方法の中で前記対象領域の分割方法を識別する情報をエントロピー復号する分割方法復号手段と、
   前記分割方法に共通の木構造を用意し、前記対象領域の残差信号の符号化データから、前記木構造のノードとリーフの状態を前記複数の分割方法に共通の確率モデルでエントロピー復号するゼロツリー復号手段と、
   前記対象領域の残差信号の符号化データから、前記復号した木構造のリーフの状態が１である量子化変換係数の復号値をエントロピー復号する非ゼロ係数復号手段と、
   前記対象領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記対象領域の復号済み属性情報に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記復号した木構造のノードとリーフの状態と前記復号した対象領域の量子化変換係数の復号値を、前記対象領域の各小領域の再生量子化変換係数に変換するゼロツリー量子化変換係数マッピング手段と、
   前記対象領域の各小領域の再生量子化変換係数を逆量子化して再生周波数変換係数を生成する逆量子化手段と、
   前記対象領域の各小領域の再生周波数変換係数を逆変換して再生残差信号を復元する逆変換手段と、
   前記対象領域の小領域に含まれる画素信号に対する予測信号を生成する予測手段と、
   前記対象領域の各小領域の前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の各小領域の画素信号を復元し再生画像信号を生成する画像復元手段と、
   前記対象領域の各小領域の再生画像信号を統合することによって、前記対象領域の再生画像信号を生成する領域統合手段と、
   を備えることを特徴とする画像復号装置。
8. 前記対象領域の復号済み属性情報が、復号した前記対象領域の分割方法であることを特徴とする請求項７に記載の画像復号装置。
9. 画像符号化装置により実行される画像符号化方法であって、
   入力画像を複数の領域に分割する領域分割ステップと、
   前記複数の領域のうちの処理対象である対象領域の分割方法を複数の分割方法から選択する分割方法選択ステップと、
   前記選択した分割方法を識別する情報を符号化する分割方法符号化ステップと、
   前記選択した分割方法で前記対象領域を複数の小領域に分割する小領域分割ステップと、
   前記小領域に含まれる画素信号に対する予測信号を生成する予測ステップと、
   前記小領域の予測信号と画素信号との残差信号を生成する残差信号生成ステップと、
   前記小領域の残差信号を周波数変換して変換係数を生成する変換ステップと、
   前記小領域の変換係数を量子化して量子化変換係数を生成する量子化ステップと、
   前記複数の分割方法に共通の木構造を用意し、前記小領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記対象領域の前記選択した分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記小領域の量子化変換係数を前記木構造のリーフにマッピングし、各リーフの係数値に従って前記木構造のノードとリーフの状態を更新するゼロツリーマッピングステップと、
   前記木構造のノードとリーフの状態を、前記複数の分割方法に共通の確率モデルでエントロピー符号化するゼロツリー符号化ステップと、
   前記小領域の非ゼロの量子化変換係数をエントロピー符号化する非ゼロ係数符号化ステップと、
   前記選択した分割方法を識別する情報の符号化データと、前記木構造のノードとリーフの状態の符号化データと、前記小領域の非ゼロの量子化変換係数の符号化データとを出力する出力ステップと、
   を備えることを特徴とする画像符号化方法。
10. 画像復号装置により実行される画像復号方法であって、
    圧縮データの中から、処理対象である対象領域の分割方法を指示する符号化データと前記対象領域を分割した小領域の残差信号の符号化データを抽出するデータ解析ステップと、
    対象領域の分割方法を指示する符号化データから、複数の分割方法の中で前記対象領域の分割方法を識別する情報をエントロピー復号する分割方法復号ステップと、
    前記分割方法に共通の木構造を用意し、前記小領域の残差信号の符号化データから、前記木構造のノードとリーフの状態を前記複数の分割方法に共通の確率モデルでエントロピー復号するゼロツリー復号ステップと、
    前記小領域の残差信号の符号化データから、前記復号した木構造のリーフの状態が１である量子化変換係数の復号値をエントロピー復号する非ゼロ係数復号ステップと、
    前記小領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記復号した前記対象領域の分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記復号した木構造のノードとリーフの状態と前記復号した小領域の量子化変換係数の復号値を、前記小領域の再生量子化変換係数に復元するゼロツリー量子化変換係数マッピングステップと、
    前記小領域の再生量子化変換係数を逆量子化して再生周波数変換係数を生成する逆量子化ステップと、
    前記小領域の再生周波数変換係数を逆変換して再生残差信号を復元する逆変換ステップと、
    前記小領域に含まれる画素信号に対する予測信号を生成する予測ステップと、
    前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元ステップと、
    を備えることを特徴とする画像復号方法。
11. 画像符号化装置により実行される画像符号化方法であって、
    入力画像を複数の領域に分割する領域分割ステップと、
    前記複数の領域のうちの処理対象である対象領域の分割方法を複数の分割方法から選択する分割方法選択ステップと、
    前記選択した分割方法を識別する情報を符号化する分割方法符号化ステップと、
    前記選択した分割方法で前記対象領域を複数の小領域に分割する小領域分割ステップと、
    前記対象領域の各小領域に含まれる画素信号に対する予測信号を生成する予測ステップと、
    前記対象領域の各小領域の予測信号と画素信号との残差信号を生成する残差信号生成ステップと、
    前記対象領域の各小領域の残差信号を周波数変換して変換係数を生成する変換ステップと、
    前記対象領域の各小領域の変換係数を量子化して量子化変換係数を生成する量子化ステップと、
    前記複数の分割方法に共通の木構造を用意し、前記対象領域内の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記対象領域の前記選択した分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記対象領域内の量子化変換係数を前記木構造のリーフにマッピングし、各リーフの係数値に従って前記木構造のノードとリーフの状態を更新するゼロツリーマッピングステップと、
    前記木構造のノードとリーフの状態を、前記複数の分割方法に共通の確率モデルでエントロピー符号化するゼロツリー符号化ステップと、
    前記対象領域の各小領域の非ゼロの量子化変換係数をエントロピー符号化する非ゼロ係数符号化ステップと、
    前記選択した分割方法を識別する情報の符号化データと、前記木構造のノードとリーフの状態の符号化データと、前記対象領域の各小領域の非ゼロの量子化変換係数の符号化データとを出力する出力ステップと、
    を備えることを特徴とする画像符号化方法。
12. 画像復号装置により実行される画像復号方法であって、
    圧縮データの中から、処理対象である対象領域の分割方法を指示する符号化データと前記対象領域の残差信号の符号化データを抽出するデータ解析ステップと、
    対象領域の分割方法を指示する符号化データから、複数の分割方法の中で前記対象領域の分割方法を識別する情報をエントロピー復号する分割方法復号ステップと、
    前記分割方法に共通の木構造を用意し、前記対象領域の残差信号の符号化データから、前記木構造のノードとリーフの状態を前記複数の分割方法に共通の確率モデルでエントロピー復号するゼロツリー復号ステップと、
    前記対象領域の残差信号の符号化データから、前記復号した木構造のリーフの状態が１である量子化変換係数の復号値をエントロピー復号する非ゼロ係数復号ステップと、
    前記対象領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記復号した前記対象領域の分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記復号した木構造のノードとリーフの状態と前記復号した対象領域の量子化変換係数の復号値を、前記対象領域の各小領域の再生量子化変換係数に変換するゼロツリー量子化変換係数マッピングステップと、
    前記対象領域の各小領域の再生量子化変換係数を逆量子化して再生周波数変換係数を生成する逆量子化ステップと、
    前記対象領域の各小領域の再生周波数変換係数を逆変換して再生残差信号を復元する逆変換ステップと、
    前記対象領域の小領域に含まれる画素信号に対する予測信号を生成する予測ステップと、
    前記対象領域の各小領域の前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の各小領域の画素信号を復元し再生画像信号を生成する画像復元ステップと、
    前記対象領域の各小領域の再生画像信号を統合することによって、前記対象領域の再生画像信号を生成する領域統合ステップと、
    を備えることを特徴とする画像復号方法。
13. コンピュータを、
    入力画像を複数の領域に分割する領域分割手段と、
    前記複数の領域のうちの処理対象である対象領域の分割方法を複数の分割方法から選択する分割方法選択手段と、
    前記選択した分割方法を識別する情報を符号化する分割方法符号化手段と、
    前記選択した分割方法で前記対象領域を複数の小領域に分割する小領域分割手段と、
    前記小領域に含まれる画素信号に対する予測信号を生成する予測手段と、
    前記小領域の予測信号と画素信号との残差信号を生成する残差信号生成手段と、
    前記小領域の残差信号を周波数変換して変換係数を生成する変換手段と、
    前記小領域の変換係数を量子化して量子化変換係数を生成する量子化手段と、
    前記複数の分割方法に共通の木構造を用意し、前記小領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記対象領域の前記選択した分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記小領域の量子化変換係数を前記木構造のリーフにマッピングし、各リーフの係数値に従って前記木構造のノードとリーフの状態を更新するゼロツリーマッピング手段と、
    前記木構造のノードとリーフの状態を、前記複数の分割方法に共通の確率モデルでエントロピー符号化するゼロツリー符号化手段と、
    前記小領域の非ゼロの量子化変換係数をエントロピー符号化する非ゼロ係数符号化手段と、
    前記選択した分割方法を識別する情報の符号化データと、前記木構造のノードとリーフの状態の符号化データと、前記小領域の非ゼロの量子化変換係数の符号化データとを出力する出力手段、
    として動作させるための画像符号化プログラム。
14. コンピュータを、
    圧縮データの中から、処理対象である対象領域の分割方法を指示する符号化データと前記対象領域を分割した小領域の残差信号の符号化データを抽出するデータ解析手段と、
    対象領域の分割方法を指示する符号化データから、複数の分割方法の中で前記対象領域の分割方法を識別する情報をエントロピー復号する分割方法復号手段と、
    前記分割方法に共通の木構造を用意し、前記小領域の残差信号の符号化データから、前記木構造のノードとリーフの状態を前記複数の分割方法に共通の確率モデルでエントロピー復号するゼロツリー復号手段と、
    前記小領域の残差信号の符号化データから、前記復号した木構造のリーフの状態が１である量子化変換係数の復号値をエントロピー復号する非ゼロ係数復号手段と、
    前記小領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記復号した前記対象領域の分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記復号した木構造のノードとリーフの状態と前記復号した小領域の量子化変換係数の復号値を、前記小領域の再生量子化変換係数に復元するゼロツリー量子化変換係数マッピング手段と、
    前記小領域の再生量子化変換係数を逆量子化して再生周波数変換係数を生成する逆量子化手段と、
    前記小領域の再生周波数変換係数を逆変換して再生残差信号を復元する逆変換手段と、
    前記小領域に含まれる画素信号に対する予測信号を生成する予測手段と、
    前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元手段、
    として動作させるための画像復号プログラム。
15. コンピュータを、
    入力画像を複数の領域に分割する領域分割手段と、
    前記複数の領域のうちの処理対象である対象領域の分割方法を複数の分割方法から選択する分割方法選択手段と、
    前記選択した分割方法を識別する情報を符号化する分割方法符号化手段と、
    前記選択した分割方法で前記対象領域を複数の小領域に分割する小領域分割手段と、
    前記対象領域の各小領域に含まれる画素信号に対する予測信号を生成する予測手段と、
    前記対象領域の各小領域の予測信号と画素信号との残差信号を生成する残差信号生成手段と、
    前記対象領域の各小領域の残差信号を周波数変換して変換係数を生成する変換手段と、
    前記対象領域の各小領域の変換係数を量子化して量子化変換係数を生成する量子化手段と、
    前記複数の分割方法に共通の木構造を用意し、前記対象領域内の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記対象領域の前記選択した分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記対象領域内の量子化変換係数を前記木構造のリーフにマッピングし、各リーフの係数値に従って前記木構造のノードとリーフの状態を更新するゼロツリーマッピング手段と、
    前記木構造のノードとリーフの状態を、前記複数の分割方法に共通の確率モデルでエントロピー符号化するゼロツリー符号化手段と、
    前記対象領域の各小領域の非ゼロの量子化変換係数をエントロピー符号化する非ゼロ係数符号化手段と、
    前記選択した分割方法を識別する情報の符号化データと、前記木構造のノードとリーフの状態の符号化データと、前記小領域の非ゼロの量子化変換係数の符号化データとを出力する出力手段、
    として動作させるための画像符号化プログラム。
16. コンピュータを、
    圧縮データの中から、処理対象である対象領域の分割方法を指示する符号化データと前記対象領域の残差信号の符号化データを抽出するデータ解析手段と、
    対象領域の分割方法を指示する符号化データから、複数の分割方法の中で前記対象領域の分割方法を識別する情報をエントロピー復号する分割方法復号手段と、
    前記分割方法に共通の木構造を用意し、前記対象領域の残差信号の符号化データから、前記木構造のノードとリーフの状態を前記複数の分割方法に共通の確率モデルでエントロピー復号するゼロツリー復号手段と、
    前記対象領域の残差信号の符号化データから、前記復号した木構造のリーフの状態が１である量子化変換係数の復号値をエントロピー復号する非ゼロ係数復号手段と、
    前記対象領域の量子化変換係数を前記木構造のリーフにマッピングするための複数のマップから、前記復号した前記対象領域の分割方法に基づいて定まる１つのマップを選択し、前記選択したマップに基づいて、前記復号した木構造のノードとリーフの状態と前記復号した対象領域の量子化変換係数の復号値を、前記対象領域の各小領域の再生量子化変換係数に変換するゼロツリー量子化変換係数マッピング手段と、
    前記対象領域の各小領域の再生量子化変換係数を逆量子化して再生周波数変換係数を生成する逆量子化手段と、
    前記対象領域の各小領域の再生周波数変換係数を逆変換して再生残差信号を復元する逆変換手段と、
    前記対象領域の小領域に含まれる画素信号に対する予測信号を生成する予測手段と、
    前記対象領域の各小領域の前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の各小領域の画素信号を復元し再生画像信号を生成する画像復元手段と、
    前記対象領域の各小領域の再生画像信号を統合することによって、前記対象領域の再生画像信号を生成する領域統合手段、
    として動作させるための画像復号プログラム。

Images