JP2010239422A - 動画像符号化装置および復号装置 - Google Patents

Abstract

【課題】ＭＢサイズのエリア設定およびエリア毎のサイズを最適に決定して、超高精細映像の符号化効率の向上を図る。
【解決手段】局所復号画像ａを周波数解析部３１で周波数解析し、その結果に基づいてエリア設定部３２は最大ＭＢサイズが適用される画面内の局所的なエリアを設定する。エリア境界補正部３３は、大局的な動き特性によりエリア境界の補正を行い、Ｎ値算出部３４は近傍画面の符号化結果に基づいてエリア毎の最大ＭＢサイズ（Ｎ×Ｎ）を決定する。前記エリア設定と前記Ｎ値算出は段階的に行われる。
【選択図】図２

Description

本発明は動画像符号化装置および復号装置に関し、特に動き予測に用いられるマクロブロックの区画およびサイズを最適に決定して、超高精細映像の符号化効率の向上を図るようにした動画像符号化装置および復号装置に関する。

従来、動画像符号化における動き予測部の符号化効率を改善させるための方式として、動き予測に用いられるＭＢ（マクロブロック）サイズの上限を最適に決定する方式が、例えば下記の特許文献１、非特許文献１に記載されている。

特許文献１では、ＭＢサイズを大、中、小の３つのカテゴリに分類することが提案され、過去の符号化結果における大まかなＭＢサイズの傾向を考慮しつつ、大のカテゴリの使用割合がある第１の閾値より大きく、小のカテゴリの使用割合がある第２の閾値より小さい場合には、当該ピクチャのＭＢサイズの上限が増大するようにし、一方、大のカテゴリの使用割合が第１の閾値より小さく、小のカテゴリの使用割合が第２の閾値より大きい場合には、当該ピクチャのＭＢサイズの上限が低減するようにしている。

また、非特許文献１では、符号化装置のレート制御で用いられる歪みレート曲線を用いて、歪みの小さいＭＢサイズを最大ＭＢサイズとして採用することが開示されている。

特開２００６−３３９７７４号公報

「超高精細映像の符号化効率改善を目的とした最大マクロブロックサイズ拡張型H.264 High Profile符号化方式」、映像情報メディア学会誌、Vol．６１，No．５，pp．665-673(2007)

上記の従来技術によれば、当該画面に適用すべき最大ＭＢサイズを、過去の画面の符号化結果におけるＭＢサイズの傾向を考慮に入れて大まかに決定できる。

しかしながら、超高精細映像の一つの特徴として、局所的素材特徴の変動が激しい点が知られている。このため、画面に一つの符号化特性を特徴づけることは困難な場合が多く、一画面に最大ＭＢサイズにより限定される大、中、小のカテゴリを割り当てるのみでは、効果の高い符号化モードを十分に網羅できないことが起こり得る。

本発明は前記した従来技術の課題に鑑みてなされたものであり、その目的は、ＭＢサイズのエリア設定およびエリア毎のサイズを最適に決定して、超高精細映像の符号化効率の向上を図るようにした動画像符号化装置および復号装置を提供することにある。

前記した目的を達成するために、本発明は、 画面内の符号化処理の動き補償予測の単位となるＭＢサイズの最大値を局所的に更新可能な動画像符号化装置において、最大ＭＢサイズが適用される画面内の局所的なエリアを設定するエリア設定部と、該エリア設定部で設定されたエリア毎の最大ＭＢサイズ（Ｎ×Ｎ）を決定するＮ値算出部とを具備し、前記エリア設定と前記Ｎ値算出を段階的に行うようにした点に特徴がある。

また、前記エリア設定部で設定されたエリアの境界を補正するエリア境界補正部をさらに具備し、大局的な動き特性を基にエリア境界の補正を行うようにした点に他の特徴がある。

また、前記Ｎ値算出部は、設定されたエリア毎の最大ＭＢサイズ（Ｎ×Ｎ）の決定を、近傍符号化画像における当該エリアに対応するＭＢ符号化モードの発生頻度、近傍符号化画像における当該エリアに対応するＤＣＴ係数のレート歪み特性、および当該画像における当該エリアの周波数スペクトラムの内の少なくとも一つを用いてＮ値を算出するようにした点に他の特徴がある。

さらに、画面内の復号処理の動き補償予測の単位となるＭＢサイズの最大値を局所的に更新可能な動画像復号装置において、最大ＭＢサイズが適用される画面内の局所的なエリアを設定するエリア設定部と、該エリア設定部で設定されたエリア毎の最大ＭＢサイズ（Ｎ×Ｎ）を決定するＮ値算出部とを具備し、前記エリア設定と前記Ｎ値算出を段階的に行うようにした点に他の特徴がある。

請求項１〜５の発明によれば、サイド情報を発生することなく画面内の最大ＭＢサイズの更新制御を高精度に行うことができるようになる。また、請求項１０〜１４の発明によれば、請求項１〜５の符号化装置で符号化された動画像を、該符号化装置との整合性をもって復号することができるようになる。

また、請求項６〜９の発明によれば、サイド情報の増大を抑制しつつ、画面内の最大ＭＢサイズの更新制御を高精度に行うことができるようになる。また、請求項１５の発明によれば、請求項６〜９の符号化装置で符号化された動画像を、該符号化装置との整合性をもって復号することができるようになる。

本発明の符号化装置の一実施形態の概略の構成を示すブロック図である。 本発明の第１実施形態のブロック図である。 映像の最大ＭＢサイズ（Ｎ値）とエリア分割の説明図である。 前記第１実施形態の動作を示すフローチャートである。 本発明の第２実施形態のブロック図である。 本発明の第３実施形態のブロック図である。 本発明の第４実施形態のブロック図である。 前記第４実施形態の更新情報符号化部の一具体例を示すブロック図である。 前記第４実施形態の動作を示すフローチャートである。 本発明の復号装置の一実施形態の概略の構成を示すブロック図である。 前記復号装置の更新情報復号部の一具体例を示すブロック図である。

以下に、本発明を図面を参照して詳細に説明する。図１は、本発明が適用される符号化装置の概略ブロック図である。

図において、画像入力部１に入力した画素データとしての入力画像は、動き検出部２と誤差信号生成部４に送られる。動き検出部２は、局所復号画像蓄積部１１からの局所復号画像ａを最大ＭＢサイズ割当部２１から提供されたＭＢサイズｂに従って動き検出する。該動き検出部２で検出された動きベクトル（ＭＶ）は、予測画像生成部３に送られ、予測画像が生成される。また、該ＭＶは第１のバッファメモリ８にも送られる。

誤差信号生成部４は、入力画像の画素データと予測画像の画素データとから誤差信号を求め、該誤差信号はＤＣＴ部５で直交変換される。直交変換された誤差信号は、量子化部６で量子化され、次いで可変長符号化部７で可変長符号化される。可変長符号化後のデータは第１のバッファメモリ８に一時蓄積されると共に局所復号部９に送られる。第１のバッファメモリ８に一時的に蓄積されたデータはレート制御部１２で監視されると共に、多重化部１２に送られ、後述する第２のバッファメモリ２４からのサイド情報と多重化部１２で多重化され、符号化データとして回線に出力される。

局部復号部９で復号された可変長符号化データは局所復号画像生成部１０で予測画像生成部３からの予測画像と加算され、局所復号画像が生成される。この局所復号画像は、局所復号画像蓄積部１１に一時的に蓄積される。また、レート制御部１２は、第１のバッファメモリ８を監視し、該監視結果に基づいて最適な量子化パラメータを求め、該量子化パラメータを量子化部６に送って、量子化部６の量子化を制御する。また、該量子化パラメータは、最大ＭＢサイズ割当部２１にも送られる。

以上は、従来の符号化装置が具備する機能であるが、以下に本発明の要部である最大ＭＢサイズ割当部２１、更新情報決定部２２、更新情報符号化部２３および第２のバッファメモリ２４の機能について説明する。なお、下記の第１〜３実施形態では、下記の説明から明らかになるように、最大ＭＢサイズに関するＮ値（サイド情報）を復号装置側に送らなくても復号装置は符号化装置における符号化と同じ条件で復号できるので、Ｎ値（サイド情報）は復号装置に送られる必要がない。

図２は、前記最大ＭＢサイズ割当部２１の一実施形態を示すブロック図である。該最大ＭＢサイズ割当部２１は、前記局所復号画像蓄積部１１からの局所復号画像ａを周波数解析する周波数解析部３１、該周波数解析に結果に基づいて最大ＭＢサイズＮ（例えば、Ｎは２のべき乗）を設定するエリア設定部３２、該エリアの境界を大局的動き特性ｃ（例えば、カメラ等の画像撮影装置の操作に伴う動き）により補正するエリア境界補正部３３、および近傍画面（例えば、時間的に一枚前の画面）の符号化結果ｃ’に基づいて前記Ｎ値を算出するＮ値算出部３４から構成されている。前記大局的動き特性ｃは、近傍画面の動きベクトルの統計的性質（例えば、前記ＭＶのヒストグラム）を考慮して推定することができる。

前記周波数解析部３１は、例えばＦＦＴによる周波数スペクトラム分析が該当する。超高精細映像の一つの特徴として、局所的素材特徴の変動が激しい点が知られている。そこで、エリア設定部３２は、映像の周波数解析結果から、一枚の映像を周波数の大きさ別のエリアにわけることができる。例えば、一枚の映像を矩形ブロックに分割した上で、ブロックごとの周波数成分をもとにグループ化し、周波数成分の類似するエリアを形成する。周波数の大きなエリアはテクスチャの精細度が高いエリアであるので小さな最大ＭＢサイズを割り当て、逆に周波数の小さなエリアはテクスチャの精細度が低いエリアであるので大きな最大ＭＢサイズを割り当てるようにする。これにより、例えば、図３(a)に示されているような、それぞれのエリアの最大ＭＢサイズがＮ、Ｎ／２、Ｎ／４等に設定される。

ここで、例えば標準符号化方式の一つであるＨ．２６４では、ＭＢサイズを１６画素×１６ライン、１６画素×８ライン、８画素×１６ライン、８画素×８ライン、８画素×４ライン、４画素×８ライン、４画素×４ラインの７種類の中から適応的に選択可能になっている。そこで、最大のＭＢサイズをＮ画素×Ｎラインとすると、次の３つのカテゴリ（図３(b)参照）に分類することができ、これらのカテゴリの中から適応的に選択可能である。
カテゴリ１：Ｎ×Ｎ
カテゴリ２：Ｎ×Ｎ／２、Ｎ／２×Ｎ、Ｎ／２×Ｎ／２
カテゴリ３：Ｎ／２×Ｎ／４、Ｎ／４×Ｎ／２、Ｎ／４×Ｎ／４

よって、図３(a)の各エリアでは、ＭＢサイズ大、中、小に対応するカテゴリ１，２，３の中から適応的に選択可能である。例えば、最大ＭＢサイズがＮ／２のエリアでは、ＭＢサイズ大、中、小に対応する各カテゴリ１’（Ｎ／２）、２’（Ｎ／４）、３’（Ｎ／８）のＭＢサイズの中から適応的に選択可能である。

エリア境界補正部３３では、第１のバッファメモリ８からの例えばＭＶを参照して、映像の大局的な動き特性、例えば撮影装置（カメラ）の操作に伴う動きを求め、該動き特性によりエリア境界の補正を行う。撮影装置が例えば左または右に動かされれば、該エリア境界も撮影装置の動きに従って補正される。

次に、Ｎ値算出部３４では、例えば一枚前の映像（フレーム）の対応するエリア内の最大ＭＢサイズを参照し、当該画像のエリアの最大ＭＢサイズを算出する。この算出の仕方は前記特許文献１の方法を用いることができるので詳細な説明は省略するが、一枚前の映像の符号化結果のＭＢサイズにおいて、ＭＢサイズ大のカテゴリの使用割合がある第１の閾値より大きく、ＭＢサイズ小のカテゴリの使用割合がある第２の閾値より小さい場合（ここではＡＮＤを取っているが、いずれか一方の成立を条件としても良い）には、当該ピクチャのＭＢサイズの上限が増大するようにし、一方、ＭＢサイズ大のカテゴリの使用割合が第３の閾値より小さく、ＭＢサイズ小のカテゴリの使用割合が第４の閾値より大きい場合（ここではＡＮＤを取っているが、いずれか一方の成立を条件としても良い）には、当該ピクチャのＭＢサイズの上限が低減するようにする。つまり、近傍符号化フレームにおける当該エリアに対応するＭＢ符号化モードの発生頻度に基づいて、エリア内の最大ＭＢサイズ（Ｎ×Ｎ）を決定する。

次に、本実施形態の動作を図４を参照して説明する。ステップＳ１では、入力画像にシーンチェンジ等の大きな画面変化があったか否かの判断がなされる。この判断が肯定の場合にはステップＳ２に進んで、周波数解析部３１は画面内の画像の周波数解析を行う。次いでステップＳ３に進んで、該周波数解析の結果に基づいて画面内のエリア設定（図３(b)参照）が行われる。続いてステップＳ４に進んで、該周波数解析の結果に基づいて最大ＭＢサイズに相当するＮ値の算出がなされる。一般的に、高周波成分の大きいエリアはテクスチャの精細度が高いと考えられるのでＮ値は小さく、逆に高周波成分の小さいエリアはテクスチャの精細度が低いと考えられるのでＮ値は大きく算出される。前記ステップＳ１が否定の場合にはステップＳ２〜Ｓ４をスキップしてステップＳ５に進む。また、ステップＳ４の処理が終わった後にはステップＳ５に進む。

ステップＳ５では、画像の大局的な動きが予め定められた閾値ＴＨ１以上か否かの判断がなされ、ＴＨ１以上の場合にはステップＳ６に進んでエリア境界の補正が行われる。次いでステップＳ７に進んで、近傍画面（例えば、一枚前のフレーム）の画像の符号化結果を用いてＮ値の算出が行われる。なお、前記ステップＳ５の判断が否定の時には、ステップＳ６，Ｓ７をスキップする。以上のようにして求められたエリア毎のＮ値ｂは、前記動き検出部２に送られ、当該画像の動き検出に供される。

このように、本実施形態によれば、映像のエリア毎に最適なＭＢサイズを算出することができるので、超高精細映像のような局所的素材特徴の変動が激しい映像に対しても符号化効率の向上をはかることができるようになる。なお、この実施形態では、映像のエリア毎の最大ＭＢサイズ（Ｎ）の情報（サイド情報）をデコーダに送らなくても、デコーダは自らの復号画像から符号化装置で求めたと同様の、映像のエリア毎の最大ＭＢサイズ（Ｎ）を求めて復号できるから、サイド情報を復号側に送る必要がなく、この点からも符号化効率を向上することができる。

次に、本発明の第２実施形態を図５を参照して説明する。図５において、図２と同じ符号は同一または同等物を示す。この実施形態が前記第１実施形態と異なる所は、Ｎ値算出部３４が、近傍画面の符号化結果ｃ’と当該画面の符号化パラメータ（一具体例として、各エリアの量子化ステップサイズ）ｄとからＮ値を算出するようにした点である。なお、後者の当該画面の符号化パラメータｄのみからＮ値を算出するようにしてもよい。例えば、近傍画面の符号化結果ｃ’を参照し、画面の各エリアのＤＣＴ係数符号量をＮ値ごとに推定し、最小の符号量を与えるＮ値を参照して、当該画面の対応する各エリアの最大ＭＢサイズを、２×Ｎ値にまたは１／２×Ｎ値に変えたり、または不変であったりすることができる。

この実施形態でも、映像のエリア毎の最大ＭＢサイズ（Ｎ）の情報（サイド情報）をデコーダに送らなくても、デコーダは自らの復号画像から映像のエリア毎の最大ＭＢサイズ（Ｎ）を求めて符号化の場合と同じ条件で復号できるから、サイド情報を復号側に送る必要がなく、この点からも符号化効率を向上することができる。

次に、本発明の第３実施形態を図６を参照して説明する。図６において、図２、図５と同じ符号は同一または同等物を示す。この第３実施形態が前記第１実施形態と異なる所は、Ｎ値算出部３５が、第１実施形態のように近傍画像の符号化結果を参照することなく、周波数解析部３１でなされた周波数解析結果（周波数スペクトラム）を基にＮ値を決定するようにした点にある。

この実施形態でも、映像のエリア毎の最大ＭＢサイズ（Ｎ）の情報（サイド情報）をデコーダに送る必要はない。

次に、本発明の第４実施形態を図７を参照して説明する。図７において、図２、図５、図６と同じ符号は同一または同等物を示す。この実施形態が前記第３実施形態と異なる所は、Ｎ値算出部３４で算出された各エリアの最大のＮ値（例えば、図３(a)のＮ、Ｎ／２、Ｎ／４）を最小符号化コスト算出部３６に送り、該最小符号化コスト算出部３６にて符号化コストが最小であると判断されたＮ値を各エリアのＮ値と決定するようにした点、および例えば第１実施形態のＮ値算出部３４で求められたＮ値を予測値ｆとする点である。Ｎ値算出部３５が、周波数解析部３１による周波数解析結果（周波数スペクトラム）を基に各エリアのＮ値を決定する点は前記第３実施形態と同じである。

前記符号化コストが最小のＮ値ｂ，ｅは、図１の動き検出部２に送られると共に、更新情報決定部２２にサイド情報として送られる。また、前記予測値ｆは、図８の誤差信号生成器４１に送られる。前記予測値ｆとしては、第１〜３実施形態のＮ値算出部３４又は３５のいずれかで求められたＮ値を予測値とすることができる。つまり、Ｎ値算出部３４は、近傍符号化フレームにおける当該エリアに対応するＭＢ符号化モードの発生頻度、近傍符号化フレームにおける当該エリアに対応するＤＣＴ係数のレート歪み特性、当該フレームにおける当該エリアの周波数スペクトラムの内の少なくとも一つを用いて予測値ｆとしてのＮ値を算出することができる。

図８は、サイド情報のデータ量低減方式を示し、更新情報決定部２２は、エリア毎のＮ値が前画像のエリア毎のＮ値と変わっている場合には更新情報とし、変わっていない場合には更新情報としない。更新情報決定部２２から出力された更新情報は更新情報符号化部２３に送られる。該更新情報符号化部２３は、誤差信号生成器４１と符号化部４２と符号化データ量判定部４３と選択部４４とからなる。符号化後のサイド情報は第２のバッファメモリに一時的に蓄積された後、多重化部１２に送られ、前記第１のバッファメモリ８からの符号化画像と多重化される。そして、回線へ送出される。

次に、第４実施形態の動作を、図９のフローチャートを参照して説明する。図９のステップＳ１〜Ｓ５は図４のものと同じであるので説明を省略し、大局的な動きがあった後のステップＳ１１から説明する。ステップＳ１１では、画面内の周波数解析が行われ、ステップＳ１２では、エリア境界補正部３３にてエリア境界の補正が行われる。ステップＳ１３では、Ｎ値算出部３５で求められたＮ値が最小符号化コスト算出部３６に送られ、最小符号化コストのＮ値が決定される。最小符号化コスト算出部３６では、Ｎ値算出部３５から受け取った各Ｎ値で符号化した場合に最小の符号化データ量となるＮ値を最小符号化コストのＮ値とする。このＮ値は符号化コストが最小のＮ値ｂ，ｅとして、図１の動き検出部２に送られると共に、図８の更新情報決定部２２に送られる。次に、ステップＳ１４では、図７のＮ値算出部３４にて、第１実施形態と同様の方法でＮ値が求められ、予測値ｆとされる。続いて、ステップＳ１５では、更新情報決定部２２から出力された最小符号化コストのＮ値と前記Ｎ値算出部３４から出力された予測値ｆとしてのＮ値が誤差信号生成器４１に入力され、該誤差信号生成器４１から誤差信号が出力される。該誤差信号は符号化部４２で符号化される。符号化後のデータは符号化データ量判定部４３に送られる。そこで、ステップＳ１６の判断がなされる。すなわち、符号化データ量が予め定められている閾値ＴＨ２以下であるか否かの判断がなされる。この判断が肯定の場合にはデータ量の低減が図れるからステップＳ１７に進んで誤差情報の符号化データが第２のバッファメモリ２４に出力される。一方、ステップＳ１６の判断が否定の時にはステップＳ１８に進んでコスト最小のＮ値は符号化されずにそのまま出力される。つまり、データ量の低減が図れる場合には、選択部４４は符号化部４２を選択し、低減が図れない場合には符号を生成せずに、予測値をそのまま使用する。

この実施形態によれば、Ｎ値の更新情報、つまりサイド情報を符号化して復号装置側に送ることができるので、最適なＮ値を確実に与えることができる。

次に、本発明の符号化装置に対応する復号装置の実施形態を図１０を参照して説明する。図１０は、復号装置の概略の構成を示すブロック図である。図１の符号化装置から出力された符号化データは図１０の復号装置で受信され、画像の誤差信号は第１のバッファメモリ５１に、またＮ値の更新情報であるサイド情報は第２のバッファメモリ６２に格納される。

前記画像の誤差信号は、可変長復号部５２に送られて量子化レベルまで可変長復号され、逆量子化部５３に送られて逆量子化される。次いで、逆ＤＣＴ部５４に送られて逆ＤＣＴされ加算部５５に送られる。加算部５５は前記誤差信号に予測画像蓄積部５７からの予測画像信号を加算し復号画像を作成し、復号画像蓄積部５６に一時蓄積した後、映像出力として出力する。

前記最大ＭＢサイズ割当部６１の構成は、前記第１、２、３実施形態の符号化装置に対応する構成としては、図２、図５、図６と同じである。一方、前記第４実施形態の符号化装置に対応する構成としては、更新情報復号部６３で復号されたサイド情報を受け取り、動き補償部５８に渡すだけである。以下に、最大ＭＢサイズ割当部６１の構成及び／又は動作を、各実施形態対応で説明する。

前記第１実施形態の符号化装置で符号化されたデータを復号する場合には、最大ＭＢサイズ割当部６１は、復号画像蓄積部５６からの復号画像を周波数解析し、その結果に基づいて画面内のエリア設定を行う。次いで、第１のバッファメモリ５１から動きベクトルＭＶを得て大局的な動き特性からエリア境界の補正を行う。次いで、第１のバッファメモリ５１からの近傍画面の符号化結果によりエリア毎のＮ値を算出する。このエリア毎のＮ値は動き補償部５８に送られる。動き補償部５８は、復号画像蓄積部５６からの復号画像をＮ値のＭＢに分割し、かつ第１のバッファメモリ５１からのＭＶにより動き補償した予測画像を生成して予測画像蓄積部５７に一時的に蓄積される。該予測画像蓄積部５７に蓄積された予測画像は前記加算部５５に送られ逆ＤＣＴ部５４からの誤差信号を加算されて復号画像が生成されるのは前記した通りである。

次に、前記第２実施形態の符号化装置で符号化されたデータを復号する場合には、当該画面の符号化パラメータｄに係るデータは第１のバッファメモリ５１から得られるので、最大ＭＢサイズ割当部６１は、前記近傍画面の符号化結果と当該画面の符号化パラメータを用いてＮ値を算出する。以降の復号動作は、前記した通りである。

次に、前記第３実施形態の符号化装置で符号化されたデータを復号する場合には、最大ＭＢサイズ割当部６１は、復号画像蓄積部５６からの復号画像を周波数解析し、その結果に基づいて画面内のエリアのＮ値を決定する。以降の復号動作は、前記した通りである。

以上のように、前記第１〜第３実施形態の符号化装置で符号化されたデータを復号する場合には、サイド情報が無くても復号することができる。
次に、前記第４実施形態の符号化装置で符号化されたデータを復号する場合について説明する。この場合には、画面内のエリア毎の最大ＭＢサイズ（Ｎ）の決定を受信符号化データのサイド情報を復号して行う。

図８の更新情報符号化部２３で符号化された最大ＭＢサイズのＮ値の更新情報が図１０の復号装置の第２のバッファメモリ６２に一時的に蓄積される。該更新情報は更新情報復号部６３に送られ復号される。この復号は、当該符号化データの復号によりＮ値の誤差信号を取得し、近傍符号化画像における当該エリアに対応するＭＢ符号化モードの発生頻度、近傍符号化画像における当該エリアに対応するＤＣＴ係数のレート歪み特性および当該画像における当該エリアの周波数スペクトラムの内の少なくとも一つを用いて算出された予測値ｇを取得し、前記誤差信号に前記予測値ｇを加算することにより行われる。復号された更新情報すなわち最大ＭＢサイズ（Ｎ値）は最大ＭＢサイズ割当部６１に送られ、エリア毎のＮ値として、最大ＭＢサイズ割当部６１から動き補償部５８に送られる。図１１は前記更新情報復号部６３の一具体例を示す。

本発明の高能率映像符号化装置および復号装置は、ＨＤＴＶや超高精細映像の圧縮伝送および伸張に用いることができる。

１・・・画像入力部、２・・・動き検出部、３・・・予測画像生成部、４・・・誤差信号生成部、５・・・ＤＣＴ部、６・・・量子化部、７・・・可変長符号化部、８・・・第１のバッファメモリ、９・・・局部復号部、１０・・・局所復号画像生成部、１１・・・局所復号画像蓄積部、１２・・・レート制御部、１２・・・多重化部、２１・・・最大ＭＢサイズ割当部、２２・・・更新情報決定部、２３・・・更新情報符号化部、２４・・・第２のバッファメモリ、３１・・・周波数解析部、３２・・・エリア設定部、３３・・・エリア境界補正部、３４、３５・・・Ｎ値算出部、３６・・・最小符号化コスト算出部、４１・・・誤差信号生成器、４２・・・符号化部、４３・・・符号化データ量判定部、５１・・・第１のバッファメモリ、５２・・・可変長復号部、５３・・・逆量子化部、５４・・・逆ＤＣＴ部、５６・・・復号画像蓄積部、５７・・・予測画像蓄積部、５８・・・動き補償部、６１・・・最大ＭＢサイズ割当部、６２・・・第２のバッファメモリ、６３・・・更新情報復号部。

Claims (15)

1. 画面内の符号化処理の動き補償予測の単位となるＭＢサイズの最大値を局所的に更新可能な動画像符号化装置において、
   最大ＭＢサイズが適用される画面内の局所的なエリアを設定するエリア設定部と、
   該エリア設定部で設定されたエリア毎の最大ＭＢサイズ（Ｎ×Ｎ）を決定するＮ値算出部とを具備し、
   前記エリア設定と前記Ｎ値算出を段階的に行うようにしたことを特徴とする動画像符号化装置。
2. 前記エリア設定部は、前記エリアの設定を、時間的に近傍の符号化画像の局所的な周波数解析により行うことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記エリア設定部で設定されたエリアの境界を補正するエリア境界補正部をさらに具備し、
   該エリア境界補正部は、大局的な動き特性を基にエリア境界の補正を行うことを特徴とする請求項１に記載の動画像符号化装置。
4. 前記大局的な特性は、時間的に近傍の符号化済み画像における動きベクトルの統計的性質を考慮した推定により取得されることを特徴とする請求項３に記載の動画像符号化装置。
5. 前記Ｎ値算出部は、設定されたエリア毎の最大ＭＢサイズ（Ｎ×Ｎ）の決定を、近傍符号化画像における当該エリアに対応するＭＢ符号化モードの発生頻度、近傍符号化画像における当該エリアに対応するＤＣＴ係数のレート歪み特性、および当該画像における当該エリアの周波数スペクトラムの内の少なくとも一つを用いてＮ値を算出することを特徴とする請求項１に記載の動画像符号化装置。
6. 当該画面の符号化コストを最小にするＮ値を算出する手段をさらに具備し、前記Ｎ値算出部は、該手段で算出された当該画面の符号化コストを最小にするＮ値をＮ値と決定することを特徴とする請求項１または５に記載の動画像符号化装置。
7. 前記Ｎ値は変化があった場合には更新情報とされ、該更新情報の符号化は、近傍符号化画像における当該エリアに対応するＭＢ符号化モードの発生頻度、近傍符号化画像における当該エリアに対応するＤＣＴ係数のレート歪み特性および当該画像における当該エリアの周波数スペクトラムの内の少なくとも一つを用いて算出されたＮ値を予測値とする誤差信号に対して行われることを特徴とする請求項６に記載の動画像符号化装置。
8. 前記更新情報の符号化は、該更新情報の符号量が予め定められた閾値を下回る場合のみに行われることを特徴とする請求項７に記載の動画像符号化装置。
9. 前記Ｎ値に変化がなかった場合には更新情報とされないことを特徴とする請求項６に記載の動画像符号化装置。
10. 画面内の復号処理の動き補償予測の単位となるＭＢサイズの最大値を局所的に更新可能な動画像復号装置において、
    最大ＭＢサイズが適用される画面内の局所的なエリアを設定するエリア設定部と、
    該エリア設定部で設定されたエリア毎の最大ＭＢサイズ（Ｎ×Ｎ）を決定するＮ値算出部とを具備し、
    前記エリア設定と前記Ｎ値算出を段階的に行うようにしたことを特徴とする動画像復号装置。
11. 前記エリア設定部は、前記エリアの設定を、時間的に近傍の符号化画像の局所的な周波数解析により行うことを特徴とする請求項１０に記載の動画像復号装置
12. 前記エリア設定部で設定されたエリアの境界を補正するエリア境界補正部をさらに具備し、
    該エリア境界補正部は、大局的な動き特性を基にエリア境界の補正を行うことを特徴とする請求項１０に記載の動画像復号装置。
13. 前記大局的な特性は、時間的に近傍の符号化済み画像における動きベクトルの統計的性質を考慮した推定により取得されることを特徴とする請求項１２に記載の動画像復号装置。
14. 前記Ｎ値算出部は、設定されたエリア毎の最大ＭＢサイズ（Ｎ×Ｎ）の決定を、近傍符号化画像における当該エリアに対応するＭＢ符号化モードの発生頻度、近傍符号化画像における当該エリアに対応するＤＣＴ係数のレート歪み特性、および当該画像における当該エリアの周波数スペクトラムの内の少なくとも一つを用いてＮ値を算出することを特徴とする請求項１０に記載の動画像復号装置。
15. 画面内のエリア毎の最大ＭＢサイズの決定を受信符号化データに基づいて行う手段を具備し、
    前記エリア毎のＮ値の決定は、当該符号化データの復号により誤差信号を取得し、近傍符号化画像における当該エリアに対応するＭＢ符号化モードの発生頻度、近傍符号化画像における当該エリアに対応するＤＣＴ係数のレート歪み特性および当該画像における当該エリアの周波数スペクトラムの内の少なくとも一つを用いて算出された予測値を取得し、前記誤差信号に前記予測値を加算することにより行われることを特徴とする請求項１０に記載の動画像復号装置。

Images