JP2007020198A - 人間の視覚特性を考慮した映像の符号化装置及び復号化装置 - Google Patents

Abstract

【課題】映像を符号化及び復号化する際に複数の四角形領域を用いて注目領域の符号化及び復号化を効率よく行う映像の符号化及び復号化装置を提供する。
【解決手段】映像の符号化装置１０００は、各々の映像を少なくとも１つの独立的な四角スライスに分割するスライスモデリング部１１００と、前記スライスモデリング部１１００で分割された前記スライスの位置及び大きさ情報を他の情報とともにピクチュアヘッダに符号化するピクチュアヘッダ符号化部１２００及び前記ピクチュアヘッダ情報に基づいて映像をスライス単位で符号化するスライス符号化部１３００を備えて構成される。
【選択図】図１１

Description

本発明は、映像の符号化に係り、特に、人間の視覚特性を考慮して映像を符号化及び復号化する装置に関する。

映像を貯蔵／伝送する際にはデータの圧縮が頻繁に行われている。図１は、従来の通常の映像の圧縮過程を示す図面である。図１に示すように、従来の通常の圧縮過程は、空間／時間予測符号化１００、変換符号化１１０、量子化１２０及びエントロピ符号化１０３過程を経て、圧縮されたビット列を生成する。このとき、ほとんどの損失は量子化１２０過程で生じる。このようにして損失が生じる圧縮過程を含む圧縮方法を用いたものとしては、静止映像のための圧縮方法と動映像のための圧縮方法とに大別される。そして、静止映像のための圧縮方法の代表的な方法としてＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）等が挙げられ、動映像のための圧縮方法の代表的な方法としてＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、２、４、及びＨ．２６１、Ｈ．２６３等が挙げられる。

一方、映像を符号化する際に離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ、以下「ＤＣＴ」という）等の変換過程を経るが、映像全体をＤＣＴで変換するには計算の量が膨大になるため、一定の大きさ、たとえば８Ｘ８大きさのブロックに分けて符号化を行う。そして、量子化を行うとき、各単位ブロックで量子化係数が異なるようにするために各単位ブロックで量子化係数を含んで符号化すると情報量が極めて多くなるため、映像全体に同じ量子化係数を用いるようにする。あるいは、ＭＰＥＧ−４、Ｈ．２６３等の方法では、１６Ｘ１６大きさのマクロブロックごとに量子化係数を±２まで変化可能に情報を与え得るが、このことは、与えられた目標ビット量を正確に合わせるためである。

このような符号化器を用いた場合、画面全体の画質がほとんど同じようになる。しかし、人間が映像を見る際には、背景の画質に比べて注目領域の画質を重視する傾向がある。このことは、一度に人間が見ることができる領域に限界があることによるものである。すなわち、人間は、注目領域をより詳細に見るが、その他の背景部分の微細な部分は見逃しやすく、特に、動映像の場合にはこのような傾向が顕著となる。したがって、限られたビット量の下で映像を符号化する際に、映像全体に均一にビット量を割り当てるよりも、背景領域に比べて注目領域の方に多くのビット量を割り当てて注目領域の画質を高める必要性がある。

ＭＰＥＧ−４、Ｈ．２６３等は、１枚の映像において特定の領域を区分して符号化し得るような構造を有している。ＭＰＥＧ−４では、コアプロファイル以上で形状符号化を用いて特定の領域を画素単位にユーザ好みに限定することができる。ＭＰＥＧ−４においてこのような方法を用いる主な理由は、画面を構成する各オブジェクト（客体）の単位での操作を可能にするためである。各々のオブジェクトは相異なるビット列に符号化され、このような構造を用い、ＭＰＥＧ−４システムでは、ユーザ間の相互作用を可能にしている。この方法を用い、注目領域と背景領域とを各々のオブジェクトに分離して相異なる画質に符号化することができる。

しかし、この方法は、オブジェクトを分離する過程が極めて複雑であるという問題点があった。そして、たとえ概略的な形状に簡単に分離するとしても、各オブジェクトの形状を表わすために更なる情報が必要であるため、圧縮効率が低下するという問題点があった。

また、Ｈ．２６３では、Ａｎｎｅｘ Ｋでスライス構造モードを用いて連続したマクロブロックのグループ単位に、または任意の四角形単位のマクロブロックグループに領域を区分して１枚の映像を符号化することができる。Ｈ．２６３では、誤りに強い特性を備えさせるためにこのような方法を用いる。多重の伝送チャンネルを用いる環境下において、重要な部分をより良好な環境を有する伝送チャンネルを介して伝送することによって伝送効率を高めることができ、もし、一部で誤りが生じたとしても、他の領域に誤りが移行することを防止することができる。このとき、四角形のスライス構造を用いて注目領域を符号化することができる。しかし、背景領域をいくつかの四角形に分けて表わさなければならないため、構造が複雑となるといった問題点があった。

米国特許第５，７６４，８０３号明細書（題目：Ｍｏｔｉｏｎ−ａｄａｐｔｉｖｅ ｍｏｄｅｌｉｎｇ ｓｃｅｎｅ ｃｏｎｔｅｎｔ ｆｏｒ ｖｅｒｙ ｌｏｗ ｂｉｔ ｒａｔｅ ｍｏｄｅｌ ａｓｓｉｓｔｅｄ ｃｏｄｉｎｇ ｏｆ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ）には、１枚の映像を符号化する際、注目領域と背景領域とを分離して符号化を行う方法について開示されている。しかし、この方法では、各領域内において変化させる量子化係数値の範囲には限界があるため、注目領域と背景領域との画質の差によって両領域間の境界が目立つようになる。

また、米国特許第６，２６３，０２２号明細書（題目：Ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｆｉｎｅ ｇｒａｎｕｌａｒ ｓｃａｌａｂｌｅ（ＦＧＳ） ｖｉｄｅｏ ｗｉｔｈ ｓｅｌｅｃｔｉｖｅ ｑｕａｌｉｔｙ ｅｎｈａｎｃｅｍｅｎｔ）には、ベース層とエンハンスメント層とから構成される多重伝送チャンネル環境下で用いられる圧縮方法について開示されている。この方法によれば伝送チャンネルの環境には好適であるものの、映像間の動きを予測することが困難であるため、符号化効率が低下する。そして、注目領域の画質は向上するものの符号化効率が全体的に低下するため、背景領域の画質は顕著に低下する。すなわち、注目領域と背景領域との画質の差が大きくなって、その結果、前記注目領域と背景領域との間の境界が目立つようになる。

また、米国特許第６，２５６，４２３号明細書（題目：Ｉｎｔｒａ−ｆｒａｍｅ ｑｕａｎｔｉｚｅｒ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ）には、注目領域、背景領域、及び両領域間のトランジション領域を限定し、各領域間の量子化係数を決定する圧縮方法が開示されている。この方法によれば、トランジション領域が設定されるため、注目領域と背景領域との境界が明確に表示される現象はある程度解消することができる。

しかし、この方法では、各領域の量子化係数値の範囲に限界があるのみならず、１つの領域に注目領域がｎ個あればトランジション領域もまたｎ個必要となるため符号化の方法が複雑になる。そして、各領域間の境界をよりソフトにする（目立たなくする）ためには、トランジション領域と他の領域との間にトランジション領域がさらに必要となる。その結果、各領域の量子化係数を決定する際に難点がある。この問題点を解決すべく、反復的に量子化係数を選択する方法を用いることも考えられるが、この方法では計算の量が膨大になるという問題点がある。
米国特許第５，７６４，８０３号明細書（全頁） 米国特許第６，２６３，０２２号明細書（全頁） 米国特許第６，２５６，４２３号明細書（全頁）

前記問題点を解決するために、本発明の第１の目的は、映像を符号化及び復号化する際に複数の四角形領域を用いて注目領域の符号化及び復号化を効率よく行う映像の符号化及び復号化装置を提供することにある。

（１）前記第１の目的を達成するための本発明に係る映像の符号化装置は、各々の映像を少なくとも１つの独立的な四角スライスに分割するスライスモデリング部と、前記スライスモデリング部で分割された前記スライスの位置及び大きさ情報を他の情報とともにピクチュアヘッダに符号化するピクチュアヘッダ符号化部及び前記ピクチュアヘッダ情報に基づいて映像をスライス単位で符号化するスライス符号化部を備えて構成される。

（２）前記映像の符号化装置において、スライスモデリング部は、注目領域を含む内部の四角形領域を設定し、内部の四角形領域を含む外部の四角形領域を設定し、外部の四角形領域以外の領域を背景領域と設定し、内部の四角形領域、内部の四角形領域と前記外部の四角形領域との間の領域及び前記背景領域の各々を少なくとも１つの独立的なスライスに分割することが望ましい。

（３）また、前記映像の符号化装置において、外部の四角形領域は、内部の四角形領域と背景領域との境界が表れないように緩衝作用の機能を果たす補間領域であることが望ましい。

（４）さらに、前記映像の符号化装置において、スライス符号化部は、内部の四角形領域を構成するスライスを用いて小さな映像内の映像を形成し、内部の四角形領域を構成するスライス及び内部の四角形領域と外部の四角形領域との間の領域を構成するスライスを用いて他の映像内の映像を形成することが望ましい。

（５）また、前記映像の符号化装置において、スライスモデリング部は、複数の注目領域を各々含む複数の内部の四角形領域を設定し、複数の内部の四角形領域を含む外部の四角形領域を設定し、外部の四角形領域以外の領域を背景領域と設定し、複数の内部の四角形領域、この複数の内部の四角形領域と外部の四角形領域との間の領域及び背景領域の各々を少なくとも１つの独立的なスライスに分割することが望ましい。

（６）そして、前記映像の符号化装置において、外部の四角形領域は、複数の内部の四角形領域と背景領域との境界が表れないように緩衝作用の機能を果たす補間領域であることが望ましい。

（７）また、前記スライス符号化部は、前記映像をスライス単位で空間／時間予測符号化を行う空間／時間予測符号化部と、前記空間／時間予測符号化部で予測符号化された情報に対する変換及び量子化を行う変換及び量子化部と、変換及び量子化部で得られた情報をエントロピ符号化するエントロピ符号化部と、を備えることが望ましい。

（８）前記第１の目的を達成するための本発明に係る映像の復号化装置は、ビット列からピクチュアヘッダを復号化するピクチュアヘッダ復号化部と、前記ピクチュアヘッダ情報のうちスライスの位置及び大きさ情報に基づいてスライスを構成するスライス構成部、前記ピクチュアヘッダに基づいてスライス単位で映像を復号化するスライス復号化部及び前記スライス構成部で得られた前記スライスの位置及び大きさ情報に基づいて前記スライス復号化部で復元されたスライス単位の前記映像を１枚の映像に構成する映像構成部を備えて構成される。

（９）前記スライス構成部は、前記ピクチュアヘッダに基づいて、注目領域を含む内部の四角形領域、前記内部の四角形領域を含む外部の四角形領域及び前記外部の四角形領域以外の領域を含む背景領域を各々構成し、前記内部の四角形領域、前記内部の四角形領域と前記外部の四角形領域との間の領域及び前記背景領域の各々は少なくとも１つの独立的なスライスに分割することが望ましい。

（１０）前記外部の四角形領域は、前記内部の四角形領域と前記背景領域との境界が表れないように緩衝作用の機能を果たす補間領域であることが望ましい。

（１１）前記スライス復号化部は、前記内部の四角形領域を構成するスライスを用いて比較的小さな映像内の映像を形成し、前記内部の四角形領域を構成するスライス及び前記内部の四角形領域と前記外部の四角形領域との間の領域を構成するスライスを用いて他の映像内の映像を形成することが望ましい。

（１２）前記スライス構成部は、前記ピクチュアヘッダに基づいて、複数の注目領域を各々含む複数の内部の四角形領域、前記複数の内部の四角形領域を含む外部の四角形領域及び前記外部の四角形領域以外の領域を含む背景領域を各々構成し、前記複数の内部の四角形領域、前記複数の内部の四角形領域と前記外部の四角形領域との間の領域及び前記背景領域の各々を少なくとも１つの独立的なスライスに分割することが望ましい。

（１３）前記外部の四角形領域は、前記複数の内部の四角形領域と前記背景領域との境界が表れないように緩衝作用の機能を果たす補間領域であることが望ましい。

（１４）前記スライス復号化部は、前記ビット列をエントロピ復号化するエントロピ復号化部と、前記エントロピ復号化部で復号化された情報を逆量子化及び逆変換する逆量子化及び逆変換部と、前記逆量子化及び逆変換部で得られた情報に対して時間／空間上の予測補償を行い、前記映像をスライス単位で復元する映像復元部と、を備えることが望ましい。

（１５）前記第１の目的を達成するための本発明に係る映像の復号化装置は、ビット列からピクチュアヘッダを復号化するピクチュアヘッダ復号化部と、前記ピクチュアヘッダに基づいてスライス単位で映像を復号化し、前記映像は第１領域、及び前記第１領域と少なくとも部分的に重畳する第２領域とからなるスライス復号化部と、前記スライス復号化部で復号化されたスライス単位の前記映像を前記ピクチュアヘッダから得られるスライスの位置及び大きさ上方に基づいて１枚の映像で構成する映像構成部と、を備えて構成される。

（１６）また、前記第１の目的を達成するための本発明に係る映像の復号化装置は、ビット列からピクチュアヘッダを復号化するピクチュアヘッダ復号化部と、前記ピクチュアヘッダ情報のうちスライスの位置及び大きさ情報に基づいてスライスを構成するスライス構成部と、 前記ピクチュアヘッダに基づいてスライス単位で映像を復号化するスライス復号化部と、前記スライス復号化部で復号化されたスライス単位の前記映像を前記ピクチュアヘッダから得られるスライスの位置及び大きさ情報に基づき１枚の映像で構成する映像構成部を含み、前記スライス構成部は前記ピクチュアヘッダに基づき、前記映像を第１領域、及び前記第１領域と少なくとも部分的に重畳する第２領域とから構成し、前記第１領域及び前記第２領域の各々を少なくとも一つ以上の独立的なスライスで構成する。

（１７）前記映像の復号化装置において、前記第１領域及び前記第２領域は四角形よりなることが望ましい。

（１８）また、前記映像の復号化装置において、前記第１領域は内部領域を、前記第２領域は外部領域であることが望ましい。

以上説明したように構成される本発明によれば、以下の効果を奏する。
すなわち、各領域をスライス単位で独立して符号化及び復号化が行われる四角形領域を用いて効果的に注目領域符号化を行うことができるが、特に、四角形領域を互いに重なるように構成することによって、注目領域と背景領域との境界が表れる現象を効果的に抑えて主観的画質を高めることができる。また、与えられたビット量に合わせるために各領域別に量子化係数を反復的に再調整する必要がないので、多量の計算を行う必要がないという効果が得られる。

以下、添付した図面を参照しながら、本発明に係る人間の視覚特性を考慮した映像の符号化及び復号化方法、並びにその装置について詳細に説明する。
図２は、人間の視覚特性を考慮した符号化装置の参考例を模式的に示すブロック図であって、画質モデリング部１４０と、予測符号化部１４５と、変換符号化部１５０と、適応的量子化部１５５及びエントロピ符号化部１６０を含んで構成される。

図２に示すように、画質モデリング部１４０は、画面単位で入力された入力映像で、注目領域から背景領域に向かって画質が次第に低下するように入力映像の画質分布を画面単位でモデリングする。そして、１枚の画面を構成する各領域の量子化係数を画質分布のモデリング結果に基づいて決定する。

予測符号化部１４５は、前記入力映像を予測符号化し、変換符号化部１５０は、このように予測符号化された入力映像を変換符号化する。このとき、符号化の計算を簡単にするために、予測符号化部１４５及び変換符号化部１５０では、所定大きさのブロック単位で符号化を行うことが好ましい。

適応的量子化部１５５は、画質モデリング部１４０で決定された量子化係数に基づいて映像データを量子化する。また、エントロピ符号化部１６０は、適応的量子化部１５５で量子化された映像データのエントロピを符号化する。

図３は、図２に示す人間の視覚特性を考慮した符号化装置で行われる符号化方法の参考例を示すフローチャートである。以下、図２及び図３を参照しながら、図２に示す符号化装置の動作について説明する。
まず、画質モデリング部１４０は、画面単位で入力された入力映像の画質が注目領域から背景領域に向かって次第に低下するように入力映像の画質分布を画面単位でモデリングする（第２００段階）。第２００段階の後に、画質モデリング部１４０は、画質分布のモデリング結果に基づいて１枚の画面を構成する所定の大きさ、たとえば、８Ｘ８または１６Ｘ１６のブロックの各々の量子化係数を決定し、決定された量子化係数を適応的量子化部１５５に与える（第２１０段階）。

第２００段階で、画質モデリング部１４０が注目領域の中心部分から背景領域に向かって画質が次第に低下するように画質モデリングを行うので、注目領域では量子化係数が小さく、背景領域に向かって量子化係数は次第に大きくなる。このような量子化係数の決定は、目標ビット量に基づいて行われる。ここで、画質モデリング部１４０は、画質分布がガウス分布を有するようにモデリングすることができる。

あるいは、画質モデリング部１４０は、各画面別に注目領域の中心部分を中心として所定の補間領域を設定し、注目領域の中心部分の領域が最も高い画質を有し、背景領域に向かって次第に領域別の画質が低下するが、補間領域で画質が次第に変化して注目領域と背景領域との画質の差が目立たないようにモデリングすることも可能である。

たとえば、図４（Ａ）に示すように、１つの画面に注目領域２５０と背景領域２６０とを設定し、図４（Ｂ）に示すように、注目領域２５０と背景領域２６０の各領域がつながる領域で前記各領域間の画質の差によるブロック化現象を除去するための補間領域３００’を設定することができる。図４（Ａ）、（Ｂ）は、図２に示す本発明に係る符号化装置で、図３に示す符号化方法を実行したときに具現される、注目領域と背景領域との間のブロック化現象の除去を説明するための図である。画質モデリング部１４０は、この補間領域で画質が自然につながるように画質モデリングを行い、量子化係数値を決定する。

そして、この補間領域３００’で、量子化係数は、線形または非線形的に必要に応じて適宜変化するように設定される。画質のモデリングの詳細については、図５及び図６を参照して後述する。

第２１０段階の後に、適応的量子化部１５５は、予測符号化及び変換符号化された映像データを入力され、画質モデリング部１４０で決定された量子化係数に基づいて映像データを量子化する（第２２０段階）。一方、画質モデリング部１４０から与えられる量子化係数は、画面の注目領域から背景領域に向かって次第に大きくなるため、量子化による損失の度合いが異なってくる。すなわち、人間の視線を集中的に受ける注目領域の中心部分で損失が最も少なく、視線をあまり受けない背景領域に向かって損失が次第に大きくなる。

第２２０段階の後に、エントロピ符号化部１６０は、適応的量子化部１５５で量子化された映像データのエントロピを符号化してビット列として出力する（第２３０段階）。

以上説明したように、人間の視覚特性を考慮し、所定の画質モデリングを通じて注目領域から背景領域に向かって量子化係数が次第に向上するように制御することによって、符号化効率を高めながら領域間のブロック化現象を効果的に除去することができる。

映像の符号化装置とその符号化方法で具現される画質分布について、従来の技術と本発明に係る技術とを比較したグラフであって、図５（Ａ）から図５（Ｃ）でｘ軸及びｙ軸は各々映像の空間ドメイン、ｚ軸は画質を表わす。
なお、ここでは注目領域が画面の中央部分であると仮定している。

図５（Ａ）は、画質モデリング部１４０で、１つの画面における画質分布が注目領域を中心としてガウス分布を有するようにモデリングした場合の画質分布図である。図５（Ａ）に示すように、画質は、映像の中心を平均として２次元ガウス分布を有し、注目領域の画質が最も高く、この注目領域から背景領域に向かって画質が次第に低下していることがわかる。この場合、ｘ、ｙの分散値に基づいて画質変化の傾斜を適宜調節することができる。

このような画質の分布は、注目領域の数によって互い違いに形成することができる。また、この場合、各単位ブロックで量子化係数を符号化して伝送するのに代えて、１つの画面に対して画質分布による量子化係数の分布をモデリングし、そのモデルを伝送すればよい。たとえば、注目領域の中心に該当する単位ブロックの位置及び分散値が伝送されれば、受信側では全ての単位ブロックの量子化係数を自動的に計算することが可能になる。

図５（Ｂ）は、注目領域と背景領域との急激な画質の差を縮めるための補間領域を設けた場合を示す図である。この場合、各領域に１つずつの量子化係数値を付与する。そして、領域の大きさによって量子化係数を変化させる区間を設定する。この区間は、符号化器と復号化器とで同じ規則に従って設定することによって、更なる情報を挿入する必要がない。

たとえば、四角形の領域の場合には、その幅及び長さの各々２０％に該当する領域を、量子化係数を変化させる区間として設定すれば、各領域の外側から２０％の範囲内に該当するブロックの領域に、このように変化された量子化係数を適用して符号化することができる。また、復号化する際にも同様にして、この２０％に該当する部分に、このように変化された量子化係数を適用することによって正常に復号化することができる。そして、符号化器及び復号化器で同じ量子化方法を用いることによって、量子化係数を変化させる方法に関して更なる情報を挿入する必要なく、予め設定された規則に従って変化させることができる。

図５（Ｃ）は、従来１つの画面を注目領域及び背景領域のみに区分した場合の画質分布図である。この場合、両領域間の画質の差によって両領域間に境界が表れるブロック化現象が生じ、画質が阻害される。

結局、図５（Ａ）及び図５（Ｂ）に示すように、注目領域から背景領域に向かって画質が次第に低下し、このため、ユーザは注目領域と背景領域との画質の差を感じなくなる。これに対し、図５Ｃの場合、注目領域と背景領域との画質の差が顕著となり、ユーザは注目領域と背景領域とのブロック化現象を感じ取る（知覚する）ようになる。

図６（Ａ）から図６（Ｃ）は、図２の画質モデリング部１４０で決定される量子化係数の特性を示す図面である。説明の便宜のために、空間領域の０〜２及び８〜１０を背景領域とし、２〜８を注目領域とし、且つ、量子化係数値が０〜３１まで変化するものと仮定する。

図６（Ａ）は、図４（Ｂ）または図５（Ｂ）の補間領域で、量子化係数が線形的に変化する場合を示し、図６（Ｂ）は、図４（Ｂ）または図５（Ｂ）の補間領域で、量子化係数が非線形的に変化する場合を示す。図６（Ａ）及び図６（Ｂ）に示すように、注目領域と背景領域との補間領域で、注目領域と背景領域との画質の差が急激に変化せず、徐々に変化するように量子化係数が決定されていることがわかる。

図６（Ｃ）は、従来の補間領域無しに１つの画面を注目領域と背景領域とにだけ区分した場合、量子化係数の特性によって、注目領域と背景領域との量子化係数の差が顕著になるということがわかる。このようにして、注目領域と背景領域との境界でブロック化現象が生じるおそれがある。

一方、図６（Ａ）及び図６（Ｂ）に示すように、量子化係数の線形／非線形特性は量子化方式によって決定され得る。すなわち、量子化係数の変化によってビット量及び画質が線形的に変化するか、あるいは非線形的に変化するかによって決定される。

図７（Ａ）及び図７（Ｂ）は、線形または非線形的な量子化方式で、量子化係数の変化による画質及びビット量の変化を示す図面であり、ＭＰＥＧ−４及びＨ．２６Ｌ符号化器を用いた場合である。
まず、図７（Ａ）は、量子化係数の変化による画質の変化であって、ＭＰＥＧ−４符号化器は非線形特性を有し、Ｈ．２６３は線形特性を有することを示している。

また、図７（Ｂ）は、量子化係数の変化によるビット量の変化であって、ＭＰＥＧ−４符号化器は非線形特性を有し、Ｈ．２６Ｌ符号化器は線形特性を有することを示している。すなわち、量子化係数を線形的に変化させるか、あるいは非線形的に変化させるかの判断は、該当する量子化方法によって予め決定されるため、更なる情報を伝送する必要がない。

そして、注目領域ではビット量が減少し、背景領域ではビット量が増加するので、全体的なビット量がほとんど変化しないため、ビット量の調整を行うための別途の計算手段を必要としない。

図８（Ａ）から図８（Ｃ）は、実際の映像に対して参考例の符号化方法を適用した映像と、従来の符号化方法による映像とを比較した結果を示す図である。図８（Ａ）は、参考例の適応的な符号化方法を適用した場合を示す図であり、図８（Ｂ）は、映像の中央部分に四角形の注目領域を形成して画面の領域を２分割し、各領域に対して相異なる量子化係数を用いて符号化を行った場合を示す図である。そして、図８（Ｃ）は、注目領域ＲＯＩに対する区分をおかず、画面の全てのブロックに対して同じ量子化係数を用いて符号化を行った場合を示す図である。

図８（Ａ）から図８（Ｃ）を参照すると、図８（Ｃ）に示すように、全てのブロックに同じ量子化係数を用いた場合に比べて、図８（Ｂ）に示すように注目領域を用いた符号化を通して映像の主観的な画質を向上させることができるが、両領域間の境界が明確になることがわかる。このような境界現象により、両領域間の画質の差をおくことに制限が生じるので、注目領域の符号化方法の効率もおのずから限界があった。

しかし、図８（Ａ）に示すように適応的な符号化方式を適用した場合、注目領域と背景領域との間に補間領域を設定し、この補間領域で画質を次第に連続的に変化させることによって、両補間領域間の画質の差を目立たなくすることができる。

図９は、人間の視覚特性を考慮した適応的復号化装置の参考例を模式的に示すブロック図である。図９に示すように、本発明に係る適応的復号化装置は、画質構成部（画質モデリング部）３００と、エントロピ復号化部３１０と、適応的逆量子化部３２０と、映像復元部３３０及び映像構成部３４０を備えて構成される。

図１０は、図８に示す装置で行われる適応的復号化方法の参考例を示すフローチャートである。
図９及び図１０に示すように、エントロピ復号化部３１０は、ビット列を伝送されて各領域に属するデータのビット列を復号化する（第４１０段階）。伝送されるビット列には、各領域の位置情報、量子化係数値、各領域の大きさ情報等を含む映像データが含まれる。

画質モデリング部３００は、エントロピ復号化部３１０から各領域の位置、大きさ及び量子化係数値等の情報を用いて該当領域の量子化係数の値を決定し（第４２０段階）、これを適応的逆量子化部３２０に与える。このとき、各領域間に量子化係数の値が急激に変化することなく、一定の区間に亘って徐々に変化するように設定することができる。

図５及び図６に基づいて説明したように、画質分布が注目領域を中心としてガウス分布を有するようにモデリングするか、あるいは、注目領域と背景領域との急激な画質の差を縮めるために補間領域を設定する。このように、画質モデリング部３００で決定される領域別の量子化係数値が変化する区間を設定する方法、または量子化係数を変化させる方法は符号化時と同じ方法による。

適応的逆量子化部３２０は、エントロピ復号化部３１０から与えられたブロック別のデータを画質モデリング部３００で決定された量子化係数の値に基づいて逆量子化する（第４３０段階）。

映像復元部３３０は、所定大きさのブロック別に逆ＤＣＴ等を行い、予測された情報を補償して映像を復元する（第４４０段階）。

映像構成部３４０は、エントロピ復号化部３１０から与えられる各領域の位置の値に基づいて各領域別に復元された映像を該当位置によって合わせて１つの画面に構成する（第４５０段階）。

前記したように、参考例の適応的復号化装置は、図２に示す適応的符号化装置によって符号化された映像を復号化するためのものであり、その動作は適応的符号化装置の逆の順序に従って行われ、適応的復号化装置で行われるブロック別の量子化係数値が変化する区間を設定する方法でも、量子化係数を変化させる方法は符号化時と同じである。したがって、説明の簡略化のために、適応的符号化装置と共通する特性については重複する説明を省略する。

図１１は、本発明に係る実施形態による映像の符号化装置１０００のブロック図である。図１１に示すように、本発明に係る映像の符号化装置は、スライスモデリング部１１００と、ピクチュアヘッダ符号化部１２００及びスライス符号化部１３００を備える。そして、スライス符号化部１３００は、空間／時間予測符号化部１３１０、変換及び量子化部１３２０、及びエントロピ符号化部１３３０を備えて構成されている。

スライスモデリング部１１００は、ユーザが所望する任意の領域を独立して符号化可能に各々の映像１０００を少なくとも１つの独立的なスライスに分割する。

すなわち、スライスモデリング部１１００は、１枚の映像で注目領域を四角形領域と限定し、注目領域及び注目領域の外部領域を各々独立した複数のスライスから構成される。また、スライスモデリング部１１００は、いくつかの四角形を用い、大きな四角形が小さな四角形を含んで重なるように領域を構成し、小さな四角形の領域及び小さな四角形と重ならないように大きな四角形の領域を各々独立的な複数のスライスで構成することができる。

ピクチュアヘッダ符号化部１２００は、１枚の映像内に存在する全てのスライスを復号化するのに必要な共通情報を符号化し、符号化された情報をスライス符号化部１３００に伝送する。このとき、伝送される情報にはスライスの数、形状、位置及び大きさ等が含まれる。

スライス符号化部１３００は、ピクチュアヘッダ符号化部１２００から入力されたピクチュアヘッダ情報に基づいてスライス単位で映像を符号化する。このために、空間／時間予測符号化部１３１０は、空間／時間的に重なる情報を除去する。変換及び量子化部１３２０は、空間／時間予測符号化部１３１０の出力に対してＤＣＴを行い、変換係数を量子化する。そして、エントロピ符号化部１３３０は、変換及び量子化部１３２０の出力をエントロピ符号化して圧縮されたビット列を生成する。

スライス符号化部１３００は、映像をスライス単位に分けて符号化してネットワークを介して伝送するが、特に、四角形のスライス単位に映像を分けて符号化することによってスライス間の予測符号化の損失を低減する。また、四角形の内部及び外部の領域に分けられるスライス構造を通じて注目領域符号化及び映像内の映像の符号化等が行えるようになる。

ここで、注目領域符号化は、映像を注目領域と背景領域とに分け、注目領域は画質を良好にして背景領域は画質を低下させることによって限られたビット率の下で主観的な画質を向上させる符号化方法である。そして、映像内の映像の符号化は、四角形のスライス部分を独立させて復号化できるようにすることによってこの部分をあたかも他の１枚の映像のように使えるようにする方法である。

本発明では、複数のスライスから構成される四角形領域が互いに重なる場合、重なる部分と背景領域との間に存在する所定の領域を補間領域と設定し、符号化時に注目領域と背景領域との間で画質の急激な変化によって主観的な画質が低下するという問題を防止する。また、映像内の映像の符号化を行う際に、様々な大きさの映像内の映像を使用できるようにする。

図１２は、図１１に示す映像の符号化装置で行われる映像の符号化方法を示すフローチャートである。図１２に示すように、まず、独立的に処理しようとする四角形領域の位置及び大きさが設定されれば、スライスモデリング部１１００によって該当する四角形領域は少なくとも１つの独立したスライスに分割される（第１４００段階）。そして、ピクチュアヘッダ符号化部１２００によってピクチュアヘッダが符号化され（第１５００段階）、スライス符号化部１３００によってスライスに対する符号化が行われる（第１６００段階）。

ここで、スライス符号化段階（第１６００段階）は、スライス単位の映像に存在する空間／時間的に重なる情報を除去する空間／時間予測符号化段階（第１６１０段階）、重なった情報の除去された前記データに対してＤＣＴ及び量子化を行う段階（第１６２０段階）、及び量子化された前記データをエントロピ符号化して圧縮されたビット列を生成するエントロピ符号化段階（第１６３０段階）にさらに分けられる。

図１３は、本発明の好ましい実施形態による映像の復号化装置を模式的に示すブロック図である。図１３に示すように、本発明に係る映像の復号化装置は、ピクチュアヘッダ復号化部２０００と、スライス構成部２１００と、スライス復号化部２２００、及び映像構成部２３００を備える。そして、スライス復号化部２２００は、エントロピ復号化部２２１０と、逆量子化及び逆変換部２２２０、及び映像復元部２２３０を備える。

ピクチュアヘッダ復号化部２０００は、ネットワークを介して受信されたビット列からピクチュアヘッダ情報を復号化する。そして、復号化された四角形領域別のスライスの数、形状、位置及び大きさに関する情報をスライス構成部２１００に伝送し、その他の情報はスライス復号化部２２００に伝送する。

スライス構成部２１００は、ピクチュアヘッダ復号化部２０００から与えられた四角形領域別のスライスの数、形状、位置及び大きさに関する情報に基づいてスライスの位置を設定して四角形領域の重なった部分を処理し、スライスを構成する。四角形領域が重なる部分に対する処理の詳細については、図１５を参照しながら後述する。

スライス復号化部２２００は、ピクチュアヘッダ復号化部２０００から入力されたピクチュアヘッダ情報に基づいて各スライス単位の映像を復号化する。このために、エントロピ復号化部２２１０はビット列をエントロピ復号化し、逆量子化及び逆変換部２２２０はエントロピ復号化されたビット列に対して逆量子化及び逆ＤＣＴ等の変換を行う。

そして、映像復元部２２３０は、逆量子化及び逆変換部２２２０の出力データに対して空間／時間的に予測符号化された情報を補償して映像を復元する。このとき、各スライス単位で復元された映像は、スライス構成部２１００から入力された情報に基づいて映像構成部２３００で映像の一部に加えられる。

このような構成を有する本発明に係る映像の復号化装置は、図１１に示す映像の符号化装置によって符号化された映像を復号化するものであり、その動作は、映像の符号化装置の逆の順序に従って行われるが、この映像の復号化装置が備えているスライス処理の基本特性は映像の符号化装置と同一である。そこで、説明を簡略化するために、映像の符号化装置と共通する特性に関する重複する説明は省略する。

図１４は、図１３に示す映像の復号化装置における映像の復号化方法を示すフローチャートである。図１４に示すように、まず、受信されたビット列からピクチュアヘッダ情報が復号化される（第２５００段階）。このとき、四角形領域別のスライスの数、形状、位置及び大きさに関する情報がスライス構成部２１００に与えられ、スライス構成部２１００は、入力された前記情報に基づいてスライスの位置を設定し、四角形領域の重なった部分を処理し、スライスを構成する（第２６００段階）。そして、構成されたスライスに対する復号化が行われ（第２７００段階）、前記スライスの位置及び大きさに基づいて映像が構成される（第２８００段階）。

ここで、スライス復号化段階（第２７００段階）は、ビット列をエントロピ復号化するエントロピ復号化段階（第２７１０段階）、エントロピ復号化されたデータに対して逆量子化及び逆ＤＣＴを行う段階（第２７２０段階）、及び逆変換されたデータに対して空間／時間的に予測符号化された情報を補償する段階（第２７３０段階）にさらに分けられる。

図１５（Ａ）及び図１５（Ｂ）は、本発明に係るスライスの処理方法を説明するための図面である。
まず、図１５（Ａ）に示すように、１枚の映像５００は２つの四角形領域５０２、５０３と１つの背景領域５０４とを含んで構成され、２つの四角形領域５０２、５０３は互いに重なっている。また、２つの四角形領域５０２、５０３及び背景領域５０４は独立した複数のスライスから構成される。

２つの四角形領域５０２、５０３の小さな四角形領域５０２は、大きな四角形領域５０３の領域内に完全に含まれている。この場合、比較的大きな四角形領域５０３は、より小さな四角形領域５０２が表わす領域（斜線部分）と互いに重ならないように、より小さな四角形領域５０２を除いた領域（大きな四角形領域５０３における斜線部分）を除いた領域を表わす。

このとき、小さな四角形領域５０２は１枚の映像内でユーザが重視する部分、すなわち、注目領域５０１を含み、大きな四角形領域５０３は注目領域５０１と背景領域５０４との中間に位置する補間領域として用いられる。ここで、注目領域５０１を含む小さな四角形領域５０２及び補間領域として用いられる大きな四角形領域５０３は各々左上位置情報５２０、５１０及び右下位置情報５２１、５１１を用いて各四角形領域の位置及び大きさ情報を表わす。

前記したように、２つの四角形領域５０２、５０３及び背景領域５０４は独立した複数のスライスから構成され、スライス単位で符号化及び復号化が行われる。また、図１５に示す映像の符号化及び復号化に際し、小さな四角形領域５０２、大きな四角形領域５０３、及び背景領域５０４の順序に符号化することが好ましく、符号化される四角形領域の順序によって領域番号を割り当てて領域間の区別を可能にする。

たとえば、図１５（Ａ）に示すように、最初に符号化される四角形領域５０２には「ｉｄ＝０」の領域番号が割り当てられ、そのつぎに符号化される四角形領域５０３には「ｉｄ＝１」の領域番号が割り当てられ、そして背景領域５０４には「ｉｄ＝２」の領域番号が各々割り当てられる。

このようにして、注目領域５０１と背景領域５０４との間に補間領域５０３を設定して、注目領域と背景領域との境界の発生を効果的に低減することができる。

ここで、比較的小さな四角形領域５０２を構成する複数のスライスは独立して復号化を行うことが可能であるため、１枚の全映像の復号化が不可能であるか、あるいは不要な場合には注目領域を含む小さな四角形領域を構成するスライスのみを復号化して用いることができる。

このとき、小さな四角形領域５０２から復元された映像は、映像内の映像となる。そして、前記の比較的大きな四角形領域５０３から復元された映像は、比較的小さな四角形領域５０２から復元された映像と合わされて他のより大きな映像内の映像を構成する。したがって、１枚の映像で四角形領域の数に応じて映像内の映像を段階的に、すなわち、小さな映像から次第に大きな映像を表わすことができる。

図１５（Ｂ）には、１枚の映像６００は３つの四角形領域６０３、６０４、６０５及び１つの背景領域６０６から構成され、２つの四角形領域６０３、６０４は互いに重ならず、これら２つの四角形領域６０３、６０４は他の四角形領域６０５に重なる。また、３つの四角形領域６０３、６０４、６０５及び背景領域６０６は独立した複数のスライスから構成される。

図１５（Ｂ）に示すように、２つの四角形領域６０３、６０４は１枚の映像内でユーザが重視する相異なる注目領域６０１、６０２を各々含む。ここで、注目領域６０１、６０２を含む比較的小さな四角形領域６０３、６０４及び補間領域として用いられる大きな四角形領域６０５は、各々左上位置情報６３０、６２０、６１０及び右下位置情報６３１、６２１、６１１に基づいて各四角形領域の位置及び大きさ情報を表わす。

前記したように、３つの四角形領域６０３、６０４、６０５及び背景領域６０６は独立した複数のスライスから構成され、スライス単位で符号化及び復号化される。また、図１５Ｂに示す映像の符号化及び復号化に際し、比較的小さな四角形領域６０３、６０４、大きな四角形領域６０５、及び背景領域６０６の順序に符号化することが好ましく、符号化される四角形領域の順序によって領域番号を割り当てて領域間の区別を可能にする。

たとえば、図１５（Ｂ）に示すように、最初に符号化される四角形領域６０３はｉｄ＝０、このつぎに符号化される四角形領域６０４はｉｄ＝１、そのつぎに符号化される大きな四角形領域６０５はｉｄ＝３、そして背景領域６０６はｉｄ＝４と各々領域番号を割り当てることができる。

このように、２つの注目領域６０１、６０２と背景領域６０６との間に補間領域６０５を設定することによって、注目領域と背景領域との境界の発生を効果的に抑える。

このように、四角形領域を用い、四角形の内部は注目領域、外部は背景領域として分離されたスライス構造を用いて効果的に注目領域符号化または映像内の映像の符号化を行うことができる。特に、前記したように、いくつかの四角形の領域が適宜重なるように構成することによって、映像内で領域間の境界が明確に表れる現象を抑えて漸次大きさが変化する映像を具現することができる。そして、注目領域を含むスライスは、誤りに対して一段と強い符号化が行われて、誤りを含む伝送環境下であっても、比較的良好な主観的画質を具現することが可能になる。

図１６は、実際の映像に本発明に係る符号化方法を適用した映像の画質と、従来の符号化方法による映像の主観的画質とを比較した結果を示す図面である。図１６中、左側列は既存の符号化方法による主観的な画質を表わし、右側列は本発明に係る符号化方法による主観的画質を各々表わし、各々は２０％のパケット損失率下における結果である。図１６に示すように、注目領域の画質が向上されて全体的な主観的画質が向上され、注目領域が誤りに対して強固に保護されることによって、全体の主観的画質が向上されることがわかる。

図１７は、本発明に係る符号化方法を適用した映像の画質と、従来の符号化方法による映像の客観的画質とを比較した結果を示す図面である。図１７中、左側列は全体映像のＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）であり、右側の列は注目領域のＰＳＮＲを各々示す。図１７に示すように、全体映像及び注目領域で、従来の符号化方法に比べて本発明に係る符号化方法でＰＳＮＲが向上されていることがわかる。

本発明はまた、コンピュータで読取り可能な記録媒体にコンピュータで読取り可能なコードとして具現することが可能である。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読取りが可能なデータが貯蔵されるあらゆる種類の記録装置を含む。コンピュータで読取り可能な記録媒体の例としては、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ；読取り専用記憶装置）、ＲＡＭ（ｒａｎｄｏｍ−ａｃｃｅｓｓ ｍｅｍｏｒｙ；ランダムアクセス記憶装置）、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ−ｄｉｓｋ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ；コンパクトディスク読出し専用メモリー）、磁気テープ、フレキシブルディスク、光データ貯蔵装置等が挙げられ、またキャリアウェーブ（たとえば、インターネットを介して行われる伝送）の形態で具現されるものも含む。また、コンピュータで読取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式によりコンピュータで読取り可能なコードが貯蔵されて実行される。

以上、本明細書では、図面を参照しながら本発明の最適の実施形態が開示された。ここでは、本発明の１実施形態を説明するために特定の用語が用いられたが、これらの用語は単に本発明の構成を説明するためのものであり、本発明を特定の意味に限定したり、あるいは特許請求の範囲に記載された本発明に係る技術的思想の範囲を制限したりするために用いられたものではない。したがって、本発明の属する技術分野における当業者であれば、このような本発明に係る１実施形態に基づいて、各種の変形及び均等な他の実施形態が可能であることは容易に理解されるであろう。よって、本発明の真の技術的な保護範囲は特許請求の範囲に記載された本発明の技術的思想によって決定されるべきである。

従来の通常の映像の圧縮過程を示す図面である。 人間の視覚特性を考慮した映像の符号化装置の参考例を模式的に示すブロック図である。 図２に示す映像の符号化装置で行われる映像の符号化方法の参考例のフローチャートである。 図２に示す符号化装置で図３に示す符号化方法を実行した際の１画面への注目領域、背景領域及び補間領域の設定の過程を示す図面であって、図４（Ａ）は１画面への注目領域と背景領域の設定を示す図であり、図４（Ｂ）は注目領域と背景領域とがつながる領域のブロック化現象を除去する補間領域を設定すること示す図である。 図５（Ａ）から図５（Ｃ）は、従来の技術と参考例との画質分布図を比較したグラフである。 図６（Ａ）から図６（Ｃ）は、図２に示す画質モデリング部１４０で決定される量子化係数の特性を示す図面である。 図７（Ａ）及び図７（Ｂ）は、線形または非線形的な量子化方式で、量子化係数の変化による画質及びビット量の変化を示す図面である 図８（Ａ）から図８（Ｃ）は、実際の映像に参考例の符号化方法を適用した場合と、従来の符号化方法による映像とを比較した結果を示す図である。 人間の視覚特性を考慮した映像の復号化装置の参考例を模式的に示すブロック図である。 図８に示す装置で行われる映像の復号化方法の参考例を示すフローチャートである。 本発明の実施形態による映像の符号化装置１０００のブロック図である。 図１１に示す映像の符号化装置で行われる映像の符号化方法を示すフローチャートである。 本発明の実施形態による映像の復号化装置を模式的に示すブロック図である。 図１３に示す映像の復号化装置における映像の復号化方法を示すフローチャートである。 図１５（Ａ）及び図１５（Ｂ）は、本発明に係るスライスの処理方法を説明するための図面である。 実際の映像に本発明に係る符号化方法を適用した場合と、従来の符号化方法による映像の主観的画質とを比較した結果を示す図面である。 本発明に係る映像の符号化方法を適用した場合と、従来の映像の符号化方法による映像の客観的画質とを比較した結果を示す図である。

符号の説明

１４０ 画質モデリング部
１４５ 予測符号化部
１５０ 変換符号化部
１５５ 適応的量子化部
１６０ エントロピ符号化部
２５０ 注目領域
２６０ 背景領域
３００’ 補間領域
３００ 画質構成部（画質モデリング部）
３１０ エントロピ復号化部
３２０ 適応的逆量子化部
３３０ 映像復元部
３４０ 映像構成部
５００ 映像
５０２、５０３ 四角形領域
５０４ 背景領域
５１０、５２０ 左上位置情報
５１１、５２１ 右下位置情報
６００ 映像
６０３、６０４、６０５ 四角形領域
６０６ 背景領域
６１０、６２０、６３０ 左上位置情報
６１１、６２１、６３１ 右下位置情報
１０００ 発明に係る映像の符号化装置
１１００ スライスモデリング部
１２００ ピクチュアヘッダ符号化部
１３００ スライス符号化部
１３１０ 空間／時間予測符号化部
１３２０ 変換及び量子化部
１３３０ エントロピ符号化部
２０００ ピクチュアヘッダ復号化部
２１００ スライス構成部
２２００ スライス復号化部
２３００ 映像構成部
２２１０ エントロピ復号化部
２２２０ 逆量子化及び逆変換部
２２３０ 映像復元部

Claims (18)

1. 各々の映像を少なくとも１つ以上の独立的な四角スライスに分割するスライスモデリング部と、
   前記スライスモデリング部で分割された前記スライスの位置及び大きさ情報を他の情報とともにピクチュアヘッダに符号化するピクチュアヘッダ符号化部と、
   前記ピクチュアヘッダ情報に基づいて映像をスライス単位で符号化するスライス符号化部と、を備えることを特徴とする映像の符号化装置。
2. 前記スライスモデリング部は、
   注目領域を含む内部の四角形領域を設定し、前記内部の四角形領域を含む外部の四角形領域を設定し、前記外部の四角形領域以外の領域を背景領域と設定し、前記内部の四角形領域、前記内部の四角形領域と前記外部の四角形領域との間の領域及び前記背景領域の各々を少なくとも１つの独立的なスライスに分割することを特徴とする請求項１に記載の映像の符号化装置。
3. 前記外部の四角形領域は、
   前記内部の四角形領域と前記背景領域との境界が表れないように緩衝作用の機能を果たす補間領域であることを特徴とする請求項２に記載の映像の符号化装置。
4. 前記スライス符号化部は、
   前記内部の四角形領域を構成するスライスを用いて比較的小さな映像内の映像を形成し、前記内部の四角形領域を構成するスライス及び前記内部の四角形領域と前記外部の四角形領域との間の領域を構成するスライスを用いて他の映像内の映像を形成することを特徴とする請求項２に記載の映像の符号化装置。
5. 前記スライスモデリング部は、
   複数の注目領域を各々含む複数の内部の四角形領域を設定し、前記複数の内部の四角形領域を含む外部の四角形領域を設定し、前記外部の四角形領域以外の領域を背景領域と設定し、前記複数の内部の四角形領域、前記複数の内部の四角形領域と前記外部の四角形領域との間の領域及び前記背景領域の各々を少なくとも１つの独立的なスライスに分割することを特徴とする請求項１に記載の映像の符号化装置。
6. 前記外部の四角形領域は、
   前記複数の内部の四角形領域と前記背景領域との境界が表れないように緩衝作用の機能を果たす補間領域であることを特徴とする請求項５に記載の映像の符号化装置。
7. 前記スライス符号化部は、
   前記映像をスライス単位で空間／時間予測符号化を行う空間／時間予測符号化部と、
   前記空間／時間予測符号化部で予測符号化された情報に対する変換及び量子化を行う変換及び量子化部と、
   変換及び量子化部で得られた情報をエントロピ符号化するエントロピ符号化部と、を備えることを特徴とする請求項１に記載の映像の符号化装置。
8. ビット列からピクチュアヘッダを復号化するピクチュアヘッダ復号化部と、
   前記ピクチュアヘッダ情報のうちスライスの位置及び大きさ情報に基づいてスライスを構成するスライス構成部と、
   前記ピクチュアヘッダに基づいてスライス単位で映像を復号化するスライス復号化部と、
   前記スライス構成部で得られた前記スライスの位置及び大きさ情報に基づいて前記スライス復号化部で復元されたスライス単位の前記映像を１枚の映像に構成する映像構成部と、を備えることを特徴とする映像の復号化装置。
9. 前記スライス構成部は、
   前記ピクチュアヘッダに基づいて、注目領域を含む内部の四角形領域、前記内部の四角形領域を含む外部の四角形領域及び前記外部の四角形領域以外の領域を含む背景領域を各々構成し、前記内部の四角形領域、前記内部の四角形領域と前記外部の四角形領域との間の領域及び前記背景領域の各々は少なくとも１つの独立的なスライスに分割することを特徴とする請求項８に記載の映像の復号化装置。
10. 前記外部の四角形領域は、
    前記内部の四角形領域と前記背景領域との境界が表れないように緩衝作用の機能を果たす補間領域であることを特徴とする請求項９に記載の映像の復号化装置。
11. 前記スライス復号化部は、
    前記内部の四角形領域を構成するスライスを用いて比較的小さな映像内の映像を形成し、前記内部の四角形領域を構成するスライス及び前記内部の四角形領域と前記外部の四角形領域との間の領域を構成するスライスを用いて他の映像内の映像を形成することを特徴とする請求項９に記載の映像の復号化装置。
12. 前記スライス構成部は、
    前記ピクチュアヘッダに基づいて、複数の注目領域を各々含む複数の内部の四角形領域、前記複数の内部の四角形領域を含む外部の四角形領域及び前記外部の四角形領域以外の領域を含む背景領域を各々構成し、前記複数の内部の四角形領域、前記複数の内部の四角形領域と前記外部の四角形領域との間の領域及び前記背景領域の各々を少なくとも１つの独立的なスライスに分割することを特徴とする請求項８に記載の映像の復号化装置。
13. 前記外部の四角形領域は、
    前記複数の内部の四角形領域と前記背景領域との境界が表れないように緩衝作用の機能を果たす補間領域であることを特徴とする請求項１２に記載の映像の復号化装置。
14. 前記スライス復号化部は、
    前記ビット列をエントロピ復号化するエントロピ復号化部と、
    前記エントロピ復号化部で復号化された情報を逆量子化及び逆変換する逆量子化及び逆変換部と、
    前記逆量子化及び逆変換部で得られた情報に対して時間／空間上の予測補償を行い、前記映像をスライス単位で復元する映像復元部と、
    を備えることを特徴とする請求項８に記載の映像の復号化装置。
15. ビット列からピクチュアヘッダを復号化するピクチュアヘッダ復号化部と、
    前記ピクチュアヘッダに基づいてスライス単位で映像を復号化し、前記映像は第１領域、及び前記第１領域と少なくとも部分的に重畳する第２領域とからなるスライス復号化部と、
    前記スライス復号化部で復号化されたスライス単位の前記映像を前記ピクチュアヘッダから得られるスライスの位置及び大きさ情報に基づいて１枚の映像で構成する映像構成部と、を備えることを特徴とする映像の復号化装置。
16. ビット列からピクチュアヘッダを復号化するピクチュアヘッダ復号化部と、
    前記ピクチュアヘッダ情報のうちスライスの位置及び大きさ情報に基づいてスライスを構成するスライス構成部と、
    前記ピクチュアヘッダに基づいてスライス単位で映像を復号化するスライス復号化部と、
    前記スライス復号化部で復号化されたスライス単位の前記映像を前記ピクチュアヘッダから得られるスライスの位置及び大きさ情報に基づき１枚の映像で構成する映像構成部を含み、
    前記スライス構成部は前記ピクチュアヘッダに基づき、前記映像を第１領域、及び前記第１領域と少なくとも部分的に重畳する第２領域とから構成し、前記第１領域及び前記第２領域の各々を少なくとも一つ以上の独立的なスライスで構成することを特徴とする映像の復号化装置。
17. 前記第１領域及び前記第２領域は四角形よりなることを特徴とする請求項１５又は請求項１６に記載の映像の復号化装置。
18. 前記第１領域は内部領域を、前記第２領域は外部領域であることを特徴とする請求項１５又は請求項１６に記載の映像の復号化装置。