JP2001309378A - 空間上階層構造と画質上階層構造とを同時に有する動映像符号化／復号化方法及び装置 - Google Patents
空間上階層構造と画質上階層構造とを同時に有する動映像符号化／復号化方法及び装置Info
- Publication number
- JP2001309378A JP2001309378A JP2000107536A JP2000107536A JP2001309378A JP 2001309378 A JP2001309378 A JP 2001309378A JP 2000107536 A JP2000107536 A JP 2000107536A JP 2000107536 A JP2000107536 A JP 2000107536A JP 2001309378 A JP2001309378 A JP 2001309378A
- Authority
- JP
- Japan
- Prior art keywords
- hierarchical structure
- layer
- image quality
- information
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/005—Statistical coding, e.g. Huffman, run length coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 空間上階層構造と画質上階層構造とを同時に
有する動映像符号化／復号化方法及び装置を提供する。 【解決手段】 形状情報とテクスチャー情報を各々所定
割合でダウンサンプリングし１の基本レイヤーと１以上
の上位レイヤーを含む空間上階層構造を構成する段階、
基本レイヤーの形状情報とテクスチャー情報を符号化し
て基本ビッグストリームを生成し復号化されたテクスチ
ャー情報と元のテクスチャー情報との差を周波数変換符
号化し各周波数帯域別に画質上階層構造を構成する段
階、１以上の上位レイヤーの各々に対し基本レイヤーで
アップサンプリングした形状情報と上位レイヤーの形状
情報との差を符号化して上位レイヤーの基本ビッグスト
リームを生成し復号化されたテクスチャー情報と上位レ
イヤーのテクスチャー情報との差を周波数変換符号化し
各周波数帯域別に画質上階層構造を構成する段階を含
む。
有する動映像符号化／復号化方法及び装置を提供する。 【解決手段】 形状情報とテクスチャー情報を各々所定
割合でダウンサンプリングし１の基本レイヤーと１以上
の上位レイヤーを含む空間上階層構造を構成する段階、
基本レイヤーの形状情報とテクスチャー情報を符号化し
て基本ビッグストリームを生成し復号化されたテクスチ
ャー情報と元のテクスチャー情報との差を周波数変換符
号化し各周波数帯域別に画質上階層構造を構成する段
階、１以上の上位レイヤーの各々に対し基本レイヤーで
アップサンプリングした形状情報と上位レイヤーの形状
情報との差を符号化して上位レイヤーの基本ビッグスト
リームを生成し復号化されたテクスチャー情報と上位レ
イヤーのテクスチャー情報との差を周波数変換符号化し
各周波数帯域別に画質上階層構造を構成する段階を含
む。
Description
【０００１】
【発明の属する技術分野】本発明は動映像のデータの符
号化及び信号化に係り、特に任意の形態を有する物体が
連続して動く場合にこれを効率よく符号化して伝送す
る、空間上階層構造と画質上階層構造とを同時に有する
動映像符号化／復号化方法及び装置に関する。
号化及び信号化に係り、特に任意の形態を有する物体が
連続して動く場合にこれを効率よく符号化して伝送す
る、空間上階層構造と画質上階層構造とを同時に有する
動映像符号化／復号化方法及び装置に関する。
【０００２】
【従来の技術】今まで研究された多くの符号化／復号化
方式は大部分のＴＶの画面のように一定の大きさを有す
る四角形の画像を符号化／復号化する方式であった。そ
の例として、ＭＰＥＧ−１（Ｍｏｔｉｏｎ Ｐｉｃｔｕ
ｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ−１）、ＭＰＥＧ−
２、Ｈ．２６１、Ｈ．２６３などがある。
方式は大部分のＴＶの画面のように一定の大きさを有す
る四角形の画像を符号化／復号化する方式であった。そ
の例として、ＭＰＥＧ−１（Ｍｏｔｉｏｎ Ｐｉｃｔｕ
ｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ−１）、ＭＰＥＧ−
２、Ｈ．２６１、Ｈ．２６３などがある。
【０００３】従来の大部分の符号化方式は極端に制限さ
れた階層構造のサービスのみを提供するため、インター
ネット／イントラネット（Ｉｎｔｅｒｎｅｔ／Ｉｎｔｒ
ａｎｅｔ）、無線ネットワークのように伝送路の状態が
常時変化するような構造のものには能動的に対処できな
かった。従来の代表的な方式であるＭＰＥＧ−２ビデオ
（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ １
３８１８−２：ＭＰＥＧ−２ｖｉｄｅｏ）において四角
形スクリーン状の動映像に対して２つの空間上階層構造
を有する空間階層符号化（ｓｐａｔｉａｌ ｓｃａｌａ
ｂｌｅ ｃｏｄｉｎｇ）及び２〜３個の階層構造を有す
る画質上階層符号化（ＳＮＲ ｓｃａｌａｂｌｅ ｃｏ
ｄｉｎｇ）を提案しているが、階層数の制限によって実
質的応用分野を創出するのに難点があった。また、任意
の形態を有する物体に対する効率的な圧縮方式を提案し
ているＭＰＥＧ−４ビデオ（ＩＳＯ／ＩＥＣ ＪＴＣ１
／ＳＣ２９／ＷＧ１１ １４４９６−２：ＭＰＥＧ−４
ｖｉｄｅｏ）でも空間上及び時間上階層構造を有する符
号化方式を提案しているが、同一な空間上での画質上の
階層構造をビットストリーム上で提供しうる方式はまだ
提案されていないため、サービスの質を高めるのに限界
点を有している。
れた階層構造のサービスのみを提供するため、インター
ネット／イントラネット（Ｉｎｔｅｒｎｅｔ／Ｉｎｔｒ
ａｎｅｔ）、無線ネットワークのように伝送路の状態が
常時変化するような構造のものには能動的に対処できな
かった。従来の代表的な方式であるＭＰＥＧ−２ビデオ
（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ １
３８１８−２：ＭＰＥＧ−２ｖｉｄｅｏ）において四角
形スクリーン状の動映像に対して２つの空間上階層構造
を有する空間階層符号化（ｓｐａｔｉａｌ ｓｃａｌａ
ｂｌｅ ｃｏｄｉｎｇ）及び２〜３個の階層構造を有す
る画質上階層符号化（ＳＮＲ ｓｃａｌａｂｌｅ ｃｏ
ｄｉｎｇ）を提案しているが、階層数の制限によって実
質的応用分野を創出するのに難点があった。また、任意
の形態を有する物体に対する効率的な圧縮方式を提案し
ているＭＰＥＧ−４ビデオ（ＩＳＯ／ＩＥＣ ＪＴＣ１
／ＳＣ２９／ＷＧ１１ １４４９６−２：ＭＰＥＧ−４
ｖｉｄｅｏ）でも空間上及び時間上階層構造を有する符
号化方式を提案しているが、同一な空間上での画質上の
階層構造をビットストリーム上で提供しうる方式はまだ
提案されていないため、サービスの質を高めるのに限界
点を有している。
【０００４】
【発明が解決しようとする課題】本発明は前記問題点を
解決するために案出されたものであって、符号化の過程
で伝送路の制限や受信端の受信能力に応じて差別的にデ
ータを伝送できるように空間上の階層的符号化機能だけ
でなく、一度決まった空間に対して画質を可変的に決定
しうる画質上階層符号化機能を同時に提供し、四角形の
画像だけでなく任意の形状を有する物体に対する階層的
符号化方式を提供して多様なサービス（ＱｏＳ：Ｑｕａ
ｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）を可能にする空間上
／画質上の階層構造を有する動映像符号化／復号化方法
及びその装置を提供することを目的とする。
解決するために案出されたものであって、符号化の過程
で伝送路の制限や受信端の受信能力に応じて差別的にデ
ータを伝送できるように空間上の階層的符号化機能だけ
でなく、一度決まった空間に対して画質を可変的に決定
しうる画質上階層符号化機能を同時に提供し、四角形の
画像だけでなく任意の形状を有する物体に対する階層的
符号化方式を提供して多様なサービス（ＱｏＳ：Ｑｕａ
ｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）を可能にする空間上
／画質上の階層構造を有する動映像符号化／復号化方法
及びその装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】前記目的を達成するため
に、本発明に係る物体の形状情報と物体内部のテクスチ
ャー情報よりなる動映像入力データを空間上階層構造と
画質上階層構造とで構成して符号化する方法の一側面
は、（ａ）前記形状情報と前記テクスチャー情報を各々
所定の割合でダウンサンプリングして１つの基本レイヤ
ーと１つ以上の上位レイヤーを含む空間上階層構造を構
成する段階と、（ｂ）前記基本レイヤーの形状情報及び
テクスチャー情報を符号化して基本レイヤーの基本ビッ
トストリームを生成し、符号化されたテクスチャー情報
を再び復号化したテクスチャー情報と元のテクスチャー
情報との差を周波数変換符号化し、各周波数帯域別に画
質上階層構造を構成する段階と、（ｃ）前記１つ以上の
上位レイヤーの各々に対し、前記基本レイヤーからアッ
プサンプリングした形状情報と上位レイヤーの形状情報
との差を符号化して上位レイヤーの基本ビットストリー
ムを生成し、前記（ｂ）段階で復号化されたテクスチャ
ー情報と上位レイヤーのテクスチャー情報との差を周波
数変換符号化し、各周波数帯域別に画質上階層構造を構
成する段階とを含む。
に、本発明に係る物体の形状情報と物体内部のテクスチ
ャー情報よりなる動映像入力データを空間上階層構造と
画質上階層構造とで構成して符号化する方法の一側面
は、（ａ）前記形状情報と前記テクスチャー情報を各々
所定の割合でダウンサンプリングして１つの基本レイヤ
ーと１つ以上の上位レイヤーを含む空間上階層構造を構
成する段階と、（ｂ）前記基本レイヤーの形状情報及び
テクスチャー情報を符号化して基本レイヤーの基本ビッ
トストリームを生成し、符号化されたテクスチャー情報
を再び復号化したテクスチャー情報と元のテクスチャー
情報との差を周波数変換符号化し、各周波数帯域別に画
質上階層構造を構成する段階と、（ｃ）前記１つ以上の
上位レイヤーの各々に対し、前記基本レイヤーからアッ
プサンプリングした形状情報と上位レイヤーの形状情報
との差を符号化して上位レイヤーの基本ビットストリー
ムを生成し、前記（ｂ）段階で復号化されたテクスチャ
ー情報と上位レイヤーのテクスチャー情報との差を周波
数変換符号化し、各周波数帯域別に画質上階層構造を構
成する段階とを含む。
【０００６】また、前記目的を達成するために、本発明
に係る物体の形状情報と物体内部のテクスチャー情報よ
りなる動映像入力データを空間上階層構造と画質上階層
構造とで構成して符号化する他の側面は、（ａ）前記形
状情報と前記テクスチャー情報を各々ダウンサンプリン
グし、最大の割合でダウンサンプリングされた１つの基
本レイヤーと前記レイヤーより小さな割合でダウンサン
プリングされた１つ以上の上位レイヤーを含む空間上階
層構造を構成する段階と、（ｂ）基本レイヤーの形状情
報及びテクスチャー情報に対し、（ｂ１）前記基本レイ
ヤーの形状情報を形状符号化する段階と、（ｂ２）前記
基本レイヤーのテクスチャー情報をパディングし、周波
数変換符号化し、量子化する段階と、（ｂ３）前記（ｂ
１）及び（ｂ２）段階から生成されたデータを集めて可
変長符号化して基本レイヤーの基本ビットストリームを
生成する段階と、（ｂ４）前記（ｂ２）段階から生成さ
れたデータを逆量子化し、逆周波数変換して再現された
テクスチャー情報と前記基本レイヤーのテクスチャー情
報との差を求める段階と、（ｂ５）前記（ｂ４）段階の
差に対して周波数変換符号化し、各周波数別に分類して
それぞれの周波数帯域に応じるビットストリームを生成
する段階と、（ｃ）各上位レイヤーの形状情報及びテク
スチャー情報に対し、（ｃ１）前記基本レイヤーの形状
情報を前記上位レイヤーにアップサンプリングした形状
情報と前記上位レイヤーの形状情報との差を形状符号化
し、可変長符号化して上位レイヤーの基本ビットストリ
ームを生成する段階と、（ｃ２）前記（ｂ４）段階で再
現されたテクスチャー情報を前記上位レイヤーにアップ
サンプリング及びパディングしたテクスチャー情報と前
記上位レイヤーのテクスチャー情報との差を求める段階
と、（ｃ３）前記（ｃ２）段階の差に対して周波数変換
符号化し、各周波数別に分類してそれぞれの周波数帯域
に応じてビットストリームを生成する段階とを含む。
に係る物体の形状情報と物体内部のテクスチャー情報よ
りなる動映像入力データを空間上階層構造と画質上階層
構造とで構成して符号化する他の側面は、（ａ）前記形
状情報と前記テクスチャー情報を各々ダウンサンプリン
グし、最大の割合でダウンサンプリングされた１つの基
本レイヤーと前記レイヤーより小さな割合でダウンサン
プリングされた１つ以上の上位レイヤーを含む空間上階
層構造を構成する段階と、（ｂ）基本レイヤーの形状情
報及びテクスチャー情報に対し、（ｂ１）前記基本レイ
ヤーの形状情報を形状符号化する段階と、（ｂ２）前記
基本レイヤーのテクスチャー情報をパディングし、周波
数変換符号化し、量子化する段階と、（ｂ３）前記（ｂ
１）及び（ｂ２）段階から生成されたデータを集めて可
変長符号化して基本レイヤーの基本ビットストリームを
生成する段階と、（ｂ４）前記（ｂ２）段階から生成さ
れたデータを逆量子化し、逆周波数変換して再現された
テクスチャー情報と前記基本レイヤーのテクスチャー情
報との差を求める段階と、（ｂ５）前記（ｂ４）段階の
差に対して周波数変換符号化し、各周波数別に分類して
それぞれの周波数帯域に応じるビットストリームを生成
する段階と、（ｃ）各上位レイヤーの形状情報及びテク
スチャー情報に対し、（ｃ１）前記基本レイヤーの形状
情報を前記上位レイヤーにアップサンプリングした形状
情報と前記上位レイヤーの形状情報との差を形状符号化
し、可変長符号化して上位レイヤーの基本ビットストリ
ームを生成する段階と、（ｃ２）前記（ｂ４）段階で再
現されたテクスチャー情報を前記上位レイヤーにアップ
サンプリング及びパディングしたテクスチャー情報と前
記上位レイヤーのテクスチャー情報との差を求める段階
と、（ｃ３）前記（ｃ２）段階の差に対して周波数変換
符号化し、各周波数別に分類してそれぞれの周波数帯域
に応じてビットストリームを生成する段階とを含む。
【０００７】さらに、前記他の目的を達成するために、
本発明に係る空間上階層構造と画質上階層構造とで構成
され符号化されたビットストリームを復号化する方法の
一側面は、（ａ）前記ビットストリームを可変長復号化
しながら、基本レイヤービットストリームと１つ以上の
上位レイヤービットストリームに分類する段階と、
（ｂ）前記基本レイヤービットストリームに含まれた符
号化された形状情報を形状復号化して基本レイヤーの形
状情報を生成する段階と、（ｃ）前記基本レイヤービッ
トストリームに含まれた符号化されたテクスチャー情報
を逆量子化し、逆周波数変換して基本レイヤーのテクス
チャー情報を生成する段階と、（ｄ）前記基本レイヤー
ビットストリームに含まれた画質上階層構造から選択さ
れたビットストリームを順次に逆周波数変換して前記基
本レイヤーのテクスチャー情報に加える段階と、（ｅ）
前記１つ以上の上位レイヤーのうち選択された上位レイ
ヤーまでの各上位レイヤーに対し、（ｅ１）空間上の参
照レイヤーの形状情報を前記上位レイヤーにアップサン
プリングする段階と、（ｅ２）空間上の参照レイヤーに
属する画質上の参照階層のテクスチャー情報をアップサ
ンプリングする段階と、（ｅ３）前記上位レイヤービッ
トストリームに含まれた上位レイヤーの形状情報を形状
復号化してアップサンプリングされた下位レイヤーの形
状情報に加える段階と、（ｅ４）前記上位レイヤービッ
トストリームに含まれた画質上階層構造から選択された
ビットストリームを順次に逆周波数変換してアップサン
プリングされた下位レイヤーのテクスチャー情報に加え
る段階を順次に反復する段階とを含む。
本発明に係る空間上階層構造と画質上階層構造とで構成
され符号化されたビットストリームを復号化する方法の
一側面は、（ａ）前記ビットストリームを可変長復号化
しながら、基本レイヤービットストリームと１つ以上の
上位レイヤービットストリームに分類する段階と、
（ｂ）前記基本レイヤービットストリームに含まれた符
号化された形状情報を形状復号化して基本レイヤーの形
状情報を生成する段階と、（ｃ）前記基本レイヤービッ
トストリームに含まれた符号化されたテクスチャー情報
を逆量子化し、逆周波数変換して基本レイヤーのテクス
チャー情報を生成する段階と、（ｄ）前記基本レイヤー
ビットストリームに含まれた画質上階層構造から選択さ
れたビットストリームを順次に逆周波数変換して前記基
本レイヤーのテクスチャー情報に加える段階と、（ｅ）
前記１つ以上の上位レイヤーのうち選択された上位レイ
ヤーまでの各上位レイヤーに対し、（ｅ１）空間上の参
照レイヤーの形状情報を前記上位レイヤーにアップサン
プリングする段階と、（ｅ２）空間上の参照レイヤーに
属する画質上の参照階層のテクスチャー情報をアップサ
ンプリングする段階と、（ｅ３）前記上位レイヤービッ
トストリームに含まれた上位レイヤーの形状情報を形状
復号化してアップサンプリングされた下位レイヤーの形
状情報に加える段階と、（ｅ４）前記上位レイヤービッ
トストリームに含まれた画質上階層構造から選択された
ビットストリームを順次に逆周波数変換してアップサン
プリングされた下位レイヤーのテクスチャー情報に加え
る段階を順次に反復する段階とを含む。
【０００８】そして、本発明に係る空間上階層構造と画
質上階層構造とで構成され符号化されたビットストリー
ムを復号化する方法の他の側面は、前記（ｅ１）段階の
前に、空間上の参照レイヤー識別子及び画質上の参照レ
イヤー識別子が先に復号化される段階をさらに含む。
質上階層構造とで構成され符号化されたビットストリー
ムを復号化する方法の他の側面は、前記（ｅ１）段階の
前に、空間上の参照レイヤー識別子及び画質上の参照レ
イヤー識別子が先に復号化される段階をさらに含む。
【０００９】また、本発明に係る空間上階層構造と画質
上階層構造とで構成され符号化されたビットストリーム
を復号化する方法のさらに他の側面において、前記空間
上の参照レイヤーは、前記上位レイヤーの直前下位レイ
ヤーである。
上階層構造とで構成され符号化されたビットストリーム
を復号化する方法のさらに他の側面において、前記空間
上の参照レイヤーは、前記上位レイヤーの直前下位レイ
ヤーである。
【００１０】そしてまた、本発明に係る空間上階層構造
と画質上階層構造とで構成され符号化されたビットスト
リームを復号化する方法のさらに他の側面において、前
記画質上の参照階層は、前記空間上の参照レイヤーに属
する画質上の基本階層である。
と画質上階層構造とで構成され符号化されたビットスト
リームを復号化する方法のさらに他の側面において、前
記画質上の参照階層は、前記空間上の参照レイヤーに属
する画質上の基本階層である。
【００１１】さらにまた、本発明に係る空間上階層構造
と画質上階層構造とで構成され符号化されたビットスト
リームを復号化する方法のさらに他の側面において、前
記画質上の参照階層は、前記空間上の参照レイヤーに属
する画質上の最上位階層である。
と画質上階層構造とで構成され符号化されたビットスト
リームを復号化する方法のさらに他の側面において、前
記画質上の参照階層は、前記空間上の参照レイヤーに属
する画質上の最上位階層である。
【００１２】そして、さらに他の前記目的を達成するた
めに、本発明に係る物体の形状情報と物体内部のテクス
チャー情報よりなる動映像入力データを空間上階層構造
と画質上階層構造とで構成して符号化する装置は、前記
形状情報と前記テクスチャー情報とを各々ダウンサンプ
リングし、最大の割合でダウンサンプリングされた１つ
の基本レイヤーと前記基本レイヤーより小さな割合でダ
ウンサンプリングされた１つ以上の上位レイヤーを含む
空間上階層構造を構成するダウンサンプリング部と、前
記基本レイヤーの形状情報を形状符号化する第１形状符
号化部と、前記基本レイヤーのテクスチャー情報をパデ
ィングし、周波数変換符号化し、量子化するテクスチャ
ー符号化部と、前記第１形状符号化部及びテクスチャー
符号化部から出力されたデータを集めて可変長符号化し
て基本レイヤーの基本ビットストリームを生成する第１
可変長符号化部と、前記テクスチャー符号化部から出力
されたデータ逆量子化し、逆周波数変換してテクスチャ
ー情報を再生するテクスチャー復号化部と、前記テクス
チャー復号化部により再生されたテクスチャー情報と前
記基本レイヤーのテクスチャー情報の差を生成する第１
差映像生成部と、前記第１差映像生成部により生成され
た差を周波数別に分類してそれぞれの周波数帯域に応じ
るビットストリームを生成する第１画質上階層構造生成
部を具備した基本レイヤー符号化部と、前記基本レイヤ
ーの形状情報を前記上位レイヤーにアップサンプリング
し、前記テクスチャー復号化により再生されたテクスチ
ャー情報を前記上位レイヤーにアップサンプリングする
アップサンプリング部と、アップサンプリングされた形
状情報と前記上位レイヤーの形状情報との差を形状符号
化する第２形状符号化部と、前記第２形状符号化部の出
力データを可変長符号化して上位レイヤー基本ビットス
トリームを生成する第２可変長符号化部と、アップサン
プリング部の出力データをパディングしたテクスチャー
情報と前記上位レイヤーのテクスチャー情報との差を求
める第２差映像生成部と、前記第２差映像生成部により
生成された差を周波数変換符号化し、各周波数別に分類
してそれぞれの周波数帯域に応じるビットストリームを
生成する第２画質上階層構造生成部とを具備した１つ以
上の上位レイヤー符号化部とを含む。
めに、本発明に係る物体の形状情報と物体内部のテクス
チャー情報よりなる動映像入力データを空間上階層構造
と画質上階層構造とで構成して符号化する装置は、前記
形状情報と前記テクスチャー情報とを各々ダウンサンプ
リングし、最大の割合でダウンサンプリングされた１つ
の基本レイヤーと前記基本レイヤーより小さな割合でダ
ウンサンプリングされた１つ以上の上位レイヤーを含む
空間上階層構造を構成するダウンサンプリング部と、前
記基本レイヤーの形状情報を形状符号化する第１形状符
号化部と、前記基本レイヤーのテクスチャー情報をパデ
ィングし、周波数変換符号化し、量子化するテクスチャ
ー符号化部と、前記第１形状符号化部及びテクスチャー
符号化部から出力されたデータを集めて可変長符号化し
て基本レイヤーの基本ビットストリームを生成する第１
可変長符号化部と、前記テクスチャー符号化部から出力
されたデータ逆量子化し、逆周波数変換してテクスチャ
ー情報を再生するテクスチャー復号化部と、前記テクス
チャー復号化部により再生されたテクスチャー情報と前
記基本レイヤーのテクスチャー情報の差を生成する第１
差映像生成部と、前記第１差映像生成部により生成され
た差を周波数別に分類してそれぞれの周波数帯域に応じ
るビットストリームを生成する第１画質上階層構造生成
部を具備した基本レイヤー符号化部と、前記基本レイヤ
ーの形状情報を前記上位レイヤーにアップサンプリング
し、前記テクスチャー復号化により再生されたテクスチ
ャー情報を前記上位レイヤーにアップサンプリングする
アップサンプリング部と、アップサンプリングされた形
状情報と前記上位レイヤーの形状情報との差を形状符号
化する第２形状符号化部と、前記第２形状符号化部の出
力データを可変長符号化して上位レイヤー基本ビットス
トリームを生成する第２可変長符号化部と、アップサン
プリング部の出力データをパディングしたテクスチャー
情報と前記上位レイヤーのテクスチャー情報との差を求
める第２差映像生成部と、前記第２差映像生成部により
生成された差を周波数変換符号化し、各周波数別に分類
してそれぞれの周波数帯域に応じるビットストリームを
生成する第２画質上階層構造生成部とを具備した１つ以
上の上位レイヤー符号化部とを含む。
【００１３】また、他の前記目的を達成するために、本
発明に係る空間上階層構造と画質上階層構造とで構成さ
れ符号化されたビットストリームを復号化する装置は、
前記ビットストリームを可変長復号化しながら、基本レ
イヤービットストリームと１つ以上の上位利や―ビット
ストリームとに分類する可変長復号化部と、前記基本レ
イヤービットストリームに含まれた符号化された形状情
報を形状復号化して基本レイヤーの形状情報を生成する
第１形状復号化部と、前記基本レイヤービットストリー
ムに含まれた符号化されたテクスチャー情報を逆量子化
し、逆周波数変換して基本レイヤーのテクスチャー情報
を生成するテクスチャー復号化部と、前記基本レイヤー
ビットストリームに含まれた画質上階層構造から選択さ
れたビットストリームを順次に逆周波数変換して前記基
本レイヤーのテクスチャー情報に加える第１画質上階層
構造復号化部を具備した基本レイヤー復号化部と、空間
上階層構造において前記上位レイヤーの直前下位レイヤ
ーの形状情報と前記上位レイヤーのテクスチャー情報と
を前記上位レイヤーにアップサンプリングするアップサ
ンプリング部と、前記上位レイヤービットストリームに
含まれた上位レイヤーの形状情報を形状復号化してアッ
プサンプリングされた下位レイヤーの形状情報に加える
第２形状復号化部と、前記上位レイヤービットストリー
ムに含まれた画質上階層構造から選択されたビットスト
リームを順次に逆周波数変換してアップサンプリングさ
れた下位レイヤーのテクスチャー情報に加える第２画質
上階層構造復号化部を具備した１つ以上の上位レイヤー
復号化部とを含む。
発明に係る空間上階層構造と画質上階層構造とで構成さ
れ符号化されたビットストリームを復号化する装置は、
前記ビットストリームを可変長復号化しながら、基本レ
イヤービットストリームと１つ以上の上位利や―ビット
ストリームとに分類する可変長復号化部と、前記基本レ
イヤービットストリームに含まれた符号化された形状情
報を形状復号化して基本レイヤーの形状情報を生成する
第１形状復号化部と、前記基本レイヤービットストリー
ムに含まれた符号化されたテクスチャー情報を逆量子化
し、逆周波数変換して基本レイヤーのテクスチャー情報
を生成するテクスチャー復号化部と、前記基本レイヤー
ビットストリームに含まれた画質上階層構造から選択さ
れたビットストリームを順次に逆周波数変換して前記基
本レイヤーのテクスチャー情報に加える第１画質上階層
構造復号化部を具備した基本レイヤー復号化部と、空間
上階層構造において前記上位レイヤーの直前下位レイヤ
ーの形状情報と前記上位レイヤーのテクスチャー情報と
を前記上位レイヤーにアップサンプリングするアップサ
ンプリング部と、前記上位レイヤービットストリームに
含まれた上位レイヤーの形状情報を形状復号化してアッ
プサンプリングされた下位レイヤーの形状情報に加える
第２形状復号化部と、前記上位レイヤービットストリー
ムに含まれた画質上階層構造から選択されたビットスト
リームを順次に逆周波数変換してアップサンプリングさ
れた下位レイヤーのテクスチャー情報に加える第２画質
上階層構造復号化部を具備した１つ以上の上位レイヤー
復号化部とを含む。
【００１４】
【発明の実施の形態】以下、添付した図面に基づき本発
明を詳しく説明する。図１は映像の空間上及び画質上の
階層構造の関係を示す図面である。図１によれば、空間
上階層構造は基本レイヤー（Ｂａｓｅ Ｌａｙｅｒ：Ｂ
Ｌ）と上位レイヤー（Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙ
ｅｒ：ＥＬ）とで構成され、画質上の階層構造は基本レ
イヤー及び上位レイヤーの各々に対して信号対雑音比
（ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ ｒａｔｉｏ：以
下、ＳＮＲと称する。）の大きさに応じて多数の階層で
構成される。即ち、基本レイヤーＢＬは形状情報１と基
本的なテクスチャー情報２で構成され、画質上の階層構
造による情報がさらに含まれることによってＳＮＲが大
きくなってＢＳＮＲ０３，ＢＳＮＲ１４，ＢＳＮＲ２５
などのように順次に画質に優れた映像が得られる。ま
た、上位レイヤーＥＬは形状情報６と基本レイヤーＢＬ
からアップサンプリングされたテクスチャー情報７で構
成し、画質上の階層構造に応じる情報がさらに含まれる
ことによって、ＳＮＲが大きくなってＥＳＮＲ０８，Ｅ
ＳＮＲ１９，ＥＳＮＲ２１０，ＥＳＮＲ３１１などのよ
うに順次に画質に優れた映像が得られる。
明を詳しく説明する。図１は映像の空間上及び画質上の
階層構造の関係を示す図面である。図１によれば、空間
上階層構造は基本レイヤー（Ｂａｓｅ Ｌａｙｅｒ：Ｂ
Ｌ）と上位レイヤー（Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙ
ｅｒ：ＥＬ）とで構成され、画質上の階層構造は基本レ
イヤー及び上位レイヤーの各々に対して信号対雑音比
（ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ ｒａｔｉｏ：以
下、ＳＮＲと称する。）の大きさに応じて多数の階層で
構成される。即ち、基本レイヤーＢＬは形状情報１と基
本的なテクスチャー情報２で構成され、画質上の階層構
造による情報がさらに含まれることによってＳＮＲが大
きくなってＢＳＮＲ０３，ＢＳＮＲ１４，ＢＳＮＲ２５
などのように順次に画質に優れた映像が得られる。ま
た、上位レイヤーＥＬは形状情報６と基本レイヤーＢＬ
からアップサンプリングされたテクスチャー情報７で構
成し、画質上の階層構造に応じる情報がさらに含まれる
ことによって、ＳＮＲが大きくなってＥＳＮＲ０８，Ｅ
ＳＮＲ１９，ＥＳＮＲ２１０，ＥＳＮＲ３１１などのよ
うに順次に画質に優れた映像が得られる。
【００１５】図２によれば、本発明に係る物体の形状情
報と物体内部のテクスチャー情報よりなる動映像入力デ
ータを空間上階層構造と画質上階層構造とで構成して符
号化する装置の一実施例は、ダウンサンプリング部１１
０、基本レイヤー符号化部１２０、上位レイヤー符号化
部１３０を含んで構成される。
報と物体内部のテクスチャー情報よりなる動映像入力デ
ータを空間上階層構造と画質上階層構造とで構成して符
号化する装置の一実施例は、ダウンサンプリング部１１
０、基本レイヤー符号化部１２０、上位レイヤー符号化
部１３０を含んで構成される。
【００１６】図２に係る実施例では、空間上階層構造が
基本レイヤーと上位レイヤーの２層構造よりなるが、本
発明の範囲はこれに限定されず、２層以上の多層構造が
可能である。
基本レイヤーと上位レイヤーの２層構造よりなるが、本
発明の範囲はこれに限定されず、２層以上の多層構造が
可能である。
【００１７】図２に示されているように入力データは物
体の形状情報を提供する第１マスクと物体の内部テクス
チャー情報を提供するビデオとからなる。ところが、任
意の形状を有した物体ではなく、四角形のスクリーン全
体を符号化する場合には第１マスク、第２マスク及び第
３マスクのようなマスク情報が不要となる。
体の形状情報を提供する第１マスクと物体の内部テクス
チャー情報を提供するビデオとからなる。ところが、任
意の形状を有した物体ではなく、四角形のスクリーン全
体を符号化する場合には第１マスク、第２マスク及び第
３マスクのようなマスク情報が不要となる。
【００１８】ダウンサンプリング部１１０は入力される
第１マスクとビデオの大きさを半分にダウンサンプリン
グしてｋ本レイヤーとし、ダウンサンプリングされない
第１マスクとビデオを上位レイヤーとする。本発明の一
実施例では、ダウンサンプリング部１１０が原映像をｐ
／ｑ（ここで、ｐ，ｑはｑ＞ｐの関係を備える整数であ
る。）の割合で多層にわたってダウンサンプリングする
こともできる。
第１マスクとビデオの大きさを半分にダウンサンプリン
グしてｋ本レイヤーとし、ダウンサンプリングされない
第１マスクとビデオを上位レイヤーとする。本発明の一
実施例では、ダウンサンプリング部１１０が原映像をｐ
／ｑ（ここで、ｐ，ｑはｑ＞ｐの関係を備える整数であ
る。）の割合で多層にわたってダウンサンプリングする
こともできる。
【００１９】基本レイヤー符号化部１２０は基本レイヤ
ーにダウンサンプリングされたデータを符号化し、第１
形状符号化部１２１、テクスチャー符号化部１２２、第
１可変長符号化部１２３、テクスチャー符号化部１２
４、第１差映像生成部１２５及び第１画質上階層構造生
成部１２６を具備する。
ーにダウンサンプリングされたデータを符号化し、第１
形状符号化部１２１、テクスチャー符号化部１２２、第
１可変長符号化部１２３、テクスチャー符号化部１２
４、第１差映像生成部１２５及び第１画質上階層構造生
成部１２６を具備する。
【００２０】第１形状符号化部１２１は、基本レイヤー
の形状情報の第２マスクを形状符号化する。ここで、第
１形状符号化部１２１は隔走査線処理方式を用いること
が望ましい。
の形状情報の第２マスクを形状符号化する。ここで、第
１形状符号化部１２１は隔走査線処理方式を用いること
が望ましい。
【００２１】テクスチャー符号化部１２２は、基本レイ
ヤーのテクスチャー情報をパディングし、パディングさ
れた情報を周波数変換符号化し、周波数変換符号化され
たデータを量子化して基本レイヤーのテクスチャー情報
を符号化する。この際、パディングは、ＭＰＥＧ−４ビ
デオ（１４４９６−２）部分の技術を使用することが望
ましい。本発明の一実施例において周波数変換符号化
は、離散コサイン変換方式または離散ウェーブレット変
換方式を使用することが望ましい。以下、周波数変換符
号化として離散コサイン変換方式を使用することを仮定
する。
ヤーのテクスチャー情報をパディングし、パディングさ
れた情報を周波数変換符号化し、周波数変換符号化され
たデータを量子化して基本レイヤーのテクスチャー情報
を符号化する。この際、パディングは、ＭＰＥＧ−４ビ
デオ（１４４９６−２）部分の技術を使用することが望
ましい。本発明の一実施例において周波数変換符号化
は、離散コサイン変換方式または離散ウェーブレット変
換方式を使用することが望ましい。以下、周波数変換符
号化として離散コサイン変換方式を使用することを仮定
する。
【００２２】第１可変長符号化部１２３は第１形状符号
化部１２１及びテクスチャー符号化部１２２から出力さ
れたデータを集めて可変長符号化して基本レイヤーの基
本ビットストリームＢＬを生成する。
化部１２１及びテクスチャー符号化部１２２から出力さ
れたデータを集めて可変長符号化して基本レイヤーの基
本ビットストリームＢＬを生成する。
【００２３】テクスチャー復号化部１２４は、テクスチ
ャー符号化部１２２から出力されたデータを逆量子化
し、逆量子化されたデータを逆周波数変換して基本レイ
ヤーのテクスチャー情報を再生する。
ャー符号化部１２２から出力されたデータを逆量子化
し、逆量子化されたデータを逆周波数変換して基本レイ
ヤーのテクスチャー情報を再生する。
【００２４】第１差映像生成部１２５はテクスチャー復
号化部１２４により再生されたテクスチャー情報と基本
レイヤー情報との差を生成する。
号化部１２４により再生されたテクスチャー情報と基本
レイヤー情報との差を生成する。
【００２５】第１画質上階層構造生成部１２６は第１差
映像生成部１２５により生成された差映像を周波数変換
符号化する周波数変換符号化部１２７、周波数変換符号
化された差映像を各周波数別に分類する係数分配器１２
８を具備してそれぞれの周波数帯域に応じるビットスト
リームＢＳＬ（０），ＢＳＬ（１），…，ＢＳＬ（ｎ−
１），ＢＳＬ（ｎ）を生成する。本発明の一実施例にお
いて周波数変換符号化部１２７では離散コサイン変換器
または離散ウェーブレット変換器が使われることが望ま
しい。
映像生成部１２５により生成された差映像を周波数変換
符号化する周波数変換符号化部１２７、周波数変換符号
化された差映像を各周波数別に分類する係数分配器１２
８を具備してそれぞれの周波数帯域に応じるビットスト
リームＢＳＬ（０），ＢＳＬ（１），…，ＢＳＬ（ｎ−
１），ＢＳＬ（ｎ）を生成する。本発明の一実施例にお
いて周波数変換符号化部１２７では離散コサイン変換器
または離散ウェーブレット変換器が使われることが望ま
しい。
【００２６】上位レイヤー符号化部１３０は、上位レイ
ヤーデータと基本レイヤーから上位レイヤーにアップサ
ンプリングされたデータの差を符号化し、アップサンプ
リング部１３１、第２形状符号化部１３２、第２可変長
符号化部１３３、第２差映像生成部１３５及び第２画質
上階層構造生成部１３６を具備する。
ヤーデータと基本レイヤーから上位レイヤーにアップサ
ンプリングされたデータの差を符号化し、アップサンプ
リング部１３１、第２形状符号化部１３２、第２可変長
符号化部１３３、第２差映像生成部１３５及び第２画質
上階層構造生成部１３６を具備する。
【００２７】アップサンプリング部１３１は、基本レイ
ヤーの形状情報を上位レイヤーにアップサンプリング
し、テクスチャー復号化部１２４により再生されたテク
スチャー情報を上位レイヤーにアップサンプリングす
る。
ヤーの形状情報を上位レイヤーにアップサンプリング
し、テクスチャー復号化部１２４により再生されたテク
スチャー情報を上位レイヤーにアップサンプリングす
る。
【００２８】第２形状符号化部１３２は、基本レイヤー
の形状情報から上位レイヤーにアップサンプリングされ
た形状情報の第３マスクと上位レイヤーの形状情報の第
１マスクとの差を形状符号化する。この際、第２形状符
号化部１３２は、隔走査線処理方式を用いることが望ま
しく、また、第１形状符号化部１２１と共に現在ＭＰＥ
Ｇ−４のｖｅｒｓｉｏｎ２ Ｗｏｒｋｉｎｇ Ｄｒａｆ
ｔに採用されているスケーラブル形状符号化（Ｓｃａｌ
ａｂｌｅ ｓｈａｐｅ ｃｏｄｉｎｇ）方式を用いるこ
とが望ましい。
の形状情報から上位レイヤーにアップサンプリングされ
た形状情報の第３マスクと上位レイヤーの形状情報の第
１マスクとの差を形状符号化する。この際、第２形状符
号化部１３２は、隔走査線処理方式を用いることが望ま
しく、また、第１形状符号化部１２１と共に現在ＭＰＥ
Ｇ−４のｖｅｒｓｉｏｎ２ Ｗｏｒｋｉｎｇ Ｄｒａｆ
ｔに採用されているスケーラブル形状符号化（Ｓｃａｌ
ａｂｌｅ ｓｈａｐｅ ｃｏｄｉｎｇ）方式を用いるこ
とが望ましい。
【００２９】第２可変長符号化部１３３は、第２形状符
号化部１３２の出力データを可変長符号化して上位レイ
ヤー基本ビットストリームＥＬを生成する。本発明の一
実施例では上位レイヤーにアップサンプリングされたテ
クスチャー情報をパディングするパディング部１３４が
さらに備えられることが望ましい。
号化部１３２の出力データを可変長符号化して上位レイ
ヤー基本ビットストリームＥＬを生成する。本発明の一
実施例では上位レイヤーにアップサンプリングされたテ
クスチャー情報をパディングするパディング部１３４が
さらに備えられることが望ましい。
【００３０】第２差映像生成部１３５は、パディング部
１３４によりパディングされたテクスチャー情報と上位
レイヤーのテクスチャー情報との差映像を求める。
１３４によりパディングされたテクスチャー情報と上位
レイヤーのテクスチャー情報との差映像を求める。
【００３１】第２画質上階層構造生成部１３６は、第２
差映像生成部１３５により生成された差映像を周波数変
換符号化する周波数変換符号化部１３７、周波数変換符
号化された差映像を各周波数別に分類する係数分配器１
３８を具備してそれぞれの周波数帯域に応じるビットス
トリームＥＳＬ（０），ＥＳＬ（１），…，ＥＳＬ（ｎ
−１），ＥＳＬ（ｎ）を生成する。本発明の一実施例に
おいて、周波数変換符号化部１３７としては離散コサイ
ン変換器または離散ウェーブレット変換器が使われるこ
とが望ましい。
差映像生成部１３５により生成された差映像を周波数変
換符号化する周波数変換符号化部１３７、周波数変換符
号化された差映像を各周波数別に分類する係数分配器１
３８を具備してそれぞれの周波数帯域に応じるビットス
トリームＥＳＬ（０），ＥＳＬ（１），…，ＥＳＬ（ｎ
−１），ＥＳＬ（ｎ）を生成する。本発明の一実施例に
おいて、周波数変換符号化部１３７としては離散コサイ
ン変換器または離散ウェーブレット変換器が使われるこ
とが望ましい。
【００３２】図２によれば、基本レイヤーの基本ビット
ストリームＢＬにＢＳＬ（０），ＢＳＬ（１），…，Ｂ
ＳＬ（ｎ−１），ＢＳＬ（ｎ）が順次に加えられてＢＳ
ＮＲ（０），ＢＳＮＲ（１），…，ＢＳＮＲ（ｎ−
１），ＢＳＮＲ（ｎ）が構成され、上位レイヤーの基本
ビットストリームＥＬにＥＳＬ（０），ＥＳＬ（１），
…，ＥＳＬ（ｎ−１），ＥＳＬ（ｎ）が順次に加えられ
てＥＳＮＲ（０），ＥＳＮＲ（１），…，ＥＳＮＲ（ｎ
−１），ＥＳＮＲ（ｎ）が構成される。
ストリームＢＬにＢＳＬ（０），ＢＳＬ（１），…，Ｂ
ＳＬ（ｎ−１），ＢＳＬ（ｎ）が順次に加えられてＢＳ
ＮＲ（０），ＢＳＮＲ（１），…，ＢＳＮＲ（ｎ−
１），ＢＳＮＲ（ｎ）が構成され、上位レイヤーの基本
ビットストリームＥＬにＥＳＬ（０），ＥＳＬ（１），
…，ＥＳＬ（ｎ−１），ＥＳＬ（ｎ）が順次に加えられ
てＥＳＮＲ（０），ＥＳＮＲ（１），…，ＥＳＮＲ（ｎ
−１），ＥＳＮＲ（ｎ）が構成される。
【００３３】図３によれば、本発明に係る空間上階層構
造と画質上階層構造とで構成されて符号化されたビット
ストリームを復号化する装置の一実施例は可変長復号化
部２１０、基本レイヤー復号化部２２０及び上位レイヤ
ー復号化部２３０を含む。
造と画質上階層構造とで構成されて符号化されたビット
ストリームを復号化する装置の一実施例は可変長復号化
部２１０、基本レイヤー復号化部２２０及び上位レイヤ
ー復号化部２３０を含む。
【００３４】可変長復号化部２１０は、本発明に係る物
体の形状情報と物体内部のテクスチャー情報よりなる動
映像入力データを空間上階層構造と画質上階層構造とで
構成して符号化する装置により符号化されたビットスト
リームを可変長復号化しながら、基本レイヤービットス
トリームと上位レイヤービットストリームとに分類す
る。図３による実施例では、空間上階層構造が基本レイ
ヤーと上位レイヤーの２層構造よりなるが、本発明はこ
の範囲に限定されるものではなく、２層以上の多層構造
が可能である。
体の形状情報と物体内部のテクスチャー情報よりなる動
映像入力データを空間上階層構造と画質上階層構造とで
構成して符号化する装置により符号化されたビットスト
リームを可変長復号化しながら、基本レイヤービットス
トリームと上位レイヤービットストリームとに分類す
る。図３による実施例では、空間上階層構造が基本レイ
ヤーと上位レイヤーの２層構造よりなるが、本発明はこ
の範囲に限定されるものではなく、２層以上の多層構造
が可能である。
【００３５】基本レイヤー復号化部２２０は、第１形状
復号化部２２１、テクスチャー復号化部２２２、第１画
質上階層構造復号化部２２３を具備して基本レイヤービ
ットストリームを復号化する。
復号化部２２１、テクスチャー復号化部２２２、第１画
質上階層構造復号化部２２３を具備して基本レイヤービ
ットストリームを復号化する。
【００３６】第１形状復号化部２２１は基本レイヤービ
ットストリームに含まれた符号化された形状情報を形状
復号化して基本レイヤーの形状情報を復元する。
ットストリームに含まれた符号化された形状情報を形状
復号化して基本レイヤーの形状情報を復元する。
【００３７】テクスチャー復号化部２２２は、基本レイ
ヤービットストリームに含まれた符号化されたテクスチ
ャー情報に逆量子化し、逆量子化されたテクスチャー情
報を逆周波数変換し、基本レイヤーのテクスチャー情報
を復元する。
ヤービットストリームに含まれた符号化されたテクスチ
ャー情報に逆量子化し、逆量子化されたテクスチャー情
報を逆周波数変換し、基本レイヤーのテクスチャー情報
を復元する。
【００３８】第１画質上階層構造復号化部２２３は、基
本レイヤービットストリームに含まれた画質上階層構造
から選択されたビットストリームを順次に逆周波数変換
して基本レイヤーのテクスチャー情報に加えて基本レイ
ヤーの画質を改善する。
本レイヤービットストリームに含まれた画質上階層構造
から選択されたビットストリームを順次に逆周波数変換
して基本レイヤーのテクスチャー情報に加えて基本レイ
ヤーの画質を改善する。
【００３９】上位レイヤー復号化部２３０は、アップサ
ンプリング部２３１、第２形状復号化部２３２及び第２
画質上階層構造復号化部２３３を具備して上位レイヤー
ビットストリームを復号化する。
ンプリング部２３１、第２形状復号化部２３２及び第２
画質上階層構造復号化部２３３を具備して上位レイヤー
ビットストリームを復号化する。
【００４０】アップサンプリング部２３１は、空間上階
層構造において上位レイヤー直前下位レイヤーの最上位
画質上階層構造のテクスチャー情報を上位レイヤーにア
ップサンプリングする。図３に示されるような本発明の
一実施例は、２階層の空間上階層構造を有しているので
上位レイヤーの直前下位レイヤーは基本レイヤーであ
る。このように構成される本発明の一実施例ではアップ
サンプリング部２３１が原映像を２倍にアップサンプリ
ングするが、本発明はこれに限定されるものではない。
即ち、本発明の他の実施例では、アップサンプリングが
原映像をｐ／ｑ（ここで、ｐ，ｑは、ｑ＜ｐの整数であ
る。）の割合でアップサンプリングすることもできる。
層構造において上位レイヤー直前下位レイヤーの最上位
画質上階層構造のテクスチャー情報を上位レイヤーにア
ップサンプリングする。図３に示されるような本発明の
一実施例は、２階層の空間上階層構造を有しているので
上位レイヤーの直前下位レイヤーは基本レイヤーであ
る。このように構成される本発明の一実施例ではアップ
サンプリング部２３１が原映像を２倍にアップサンプリ
ングするが、本発明はこれに限定されるものではない。
即ち、本発明の他の実施例では、アップサンプリングが
原映像をｐ／ｑ（ここで、ｐ，ｑは、ｑ＜ｐの整数であ
る。）の割合でアップサンプリングすることもできる。
【００４１】第２形状復号化部２３２は上位レイヤービ
ットストリームに含まれた上いれイヤーの形状情報を形
状復号化して第５マスクを生成し、第５マスクをアップ
サンプリングされた下位レイヤーの形状情報に加えて上
位レイヤーの形状情報を復元する。
ットストリームに含まれた上いれイヤーの形状情報を形
状復号化して第５マスクを生成し、第５マスクをアップ
サンプリングされた下位レイヤーの形状情報に加えて上
位レイヤーの形状情報を復元する。
【００４２】第２画質上階層構造復号化部２３３は上位
レイヤービットストリームに含まれた画質上階層構造か
ら選択されたビットストリームを順次に逆周波数変換し
てアップサンプリングされた下位レイヤーのテクスチャ
ー情報に加える。
レイヤービットストリームに含まれた画質上階層構造か
ら選択されたビットストリームを順次に逆周波数変換し
てアップサンプリングされた下位レイヤーのテクスチャ
ー情報に加える。
【００４３】一方、本発明の動作原理を説明すれば次の
通りである図２によれば、入力された第１マスクとビデ
オは横縦１／２大きさの映像でダウンサンプリングされ
る。従って、第１マスクは第２マスクとなって第１形状
符号化部１２１で圧縮される。
通りである図２によれば、入力された第１マスクとビデ
オは横縦１／２大きさの映像でダウンサンプリングされ
る。従って、第１マスクは第２マスクとなって第１形状
符号化部１２１で圧縮される。
【００４４】そして、ダウンサンプリングされたビデオ
情報は形状に合わせてパディングされてパディング映像
となる。パディング映像は周波数変換符号化の一のＤＣ
Ｔ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏ
ｒｍ）（図示せず）により周波数変換符号化され、量子
化器（図示せず）により量子化される。ＤＣＴと量子化
器はテクスチャー符号化部１２２に備えられる。
情報は形状に合わせてパディングされてパディング映像
となる。パディング映像は周波数変換符号化の一のＤＣ
Ｔ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏ
ｒｍ）（図示せず）により周波数変換符号化され、量子
化器（図示せず）により量子化される。ＤＣＴと量子化
器はテクスチャー符号化部１２２に備えられる。
【００４５】量子化された周波数係数は、既に符号化さ
れている形状情報と共に第１可変長符号化部１２３によ
り基本レイヤーの基本ビットストリームＢＬとして生成
される。この基本レイヤーの基本ビットストリームが最
低解像度を有する最も基本となる映像を形成するビット
ストリームである。
れている形状情報と共に第１可変長符号化部１２３によ
り基本レイヤーの基本ビットストリームＢＬとして生成
される。この基本レイヤーの基本ビットストリームが最
低解像度を有する最も基本となる映像を形成するビット
ストリームである。
【００４６】量子化器により量子化された周波数係数は
逆量子化器（図示せず）と逆周波数変換符号化装置のＩ
ＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉ
ｎｅＴｒａｎｓｆｏｒｍ）（図示せず）を経て基本レイ
ヤーのテクスチャー情報を再現する。
逆量子化器（図示せず）と逆周波数変換符号化装置のＩ
ＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉ
ｎｅＴｒａｎｓｆｏｒｍ）（図示せず）を経て基本レイ
ヤーのテクスチャー情報を再現する。
【００４７】ついで、再現された基本レイヤーのテクス
チャー情報と元来の基本レイヤーテクスチャー情報との
差を求める。以後、差映像に対して再び周波数変換符号
化部１２７のＤＣＴを適用させ、このＤＣＴ係数を決ま
った周波数帯域に応じて係数分配器１２８により分類し
て、ＢＳＬ（０），ＢＳＬ（１），…，ＢＳＬ（ｎ−
１），ＢＳＬ（ｎ）等に分類する。
チャー情報と元来の基本レイヤーテクスチャー情報との
差を求める。以後、差映像に対して再び周波数変換符号
化部１２７のＤＣＴを適用させ、このＤＣＴ係数を決ま
った周波数帯域に応じて係数分配器１２８により分類し
て、ＢＳＬ（０），ＢＳＬ（１），…，ＢＳＬ（ｎ−
１），ＢＳＬ（ｎ）等に分類する。
【００４８】以下、それぞれの周波数帯域を構成する例
を説明する。図４（Ａ）に示されるように、映像を構成
する任意の領域を多数個のＮ×Ｎ画素のマクロブロック
２５１に分割した後、それぞれのマクロブロックに対し
て周波数変換符号化器の出力データをそれぞれのバンド
別に分類することになる。
を説明する。図４（Ａ）に示されるように、映像を構成
する任意の領域を多数個のＮ×Ｎ画素のマクロブロック
２５１に分割した後、それぞれのマクロブロックに対し
て周波数変換符号化器の出力データをそれぞれのバンド
別に分類することになる。
【００４９】任意のマクロブロックｋに対する分類例を
説明すれば次の通りである。Ｎ×Ｎの輝度成分２５１と
（Ｎ／２）×（Ｎ／２）の色差成分２５６，２５７に対
して分類することになる。輝度成分データは４個のサブ
ブロック２５２，２５３，２５４，２５５で構成され
る。各サブブロックにおいてデータは周波数帯域に分類
され、マクロブロックにおいて同じ周波数帯域のデータ
は単一のマクロバンドデータを構成する。色差成分デー
タ２５６，２５７は周波数帯域に分類される。特定周波
数バンドの色差成分データは同じ周波数帯域のマクロバ
ンドデータに加えられて単位ブロックに対するそれぞれ
の周波数バンド群（ＭＥＬk）を構成することになる。
説明すれば次の通りである。Ｎ×Ｎの輝度成分２５１と
（Ｎ／２）×（Ｎ／２）の色差成分２５６，２５７に対
して分類することになる。輝度成分データは４個のサブ
ブロック２５２，２５３，２５４，２５５で構成され
る。各サブブロックにおいてデータは周波数帯域に分類
され、マクロブロックにおいて同じ周波数帯域のデータ
は単一のマクロバンドデータを構成する。色差成分デー
タ２５６，２５７は周波数帯域に分類される。特定周波
数バンドの色差成分データは同じ周波数帯域のマクロバ
ンドデータに加えられて単位ブロックに対するそれぞれ
の周波数バンド群（ＭＥＬk）を構成することになる。
【００５０】図４（Ａ）では、輝度成分と色差成分との
ブロック構成を示す。図４（Ｂ）はそれぞれの単位ブロ
ックに対して周波数変換符号化器を経た係数のバンド別
分類を示すが、ここではＥＬk０，ＥＬk１，…，ＥＬk
７等全部で８個の相異なるバンドを生成しうることが分
かる。
ブロック構成を示す。図４（Ｂ）はそれぞれの単位ブロ
ックに対して周波数変換符号化器を経た係数のバンド別
分類を示すが、ここではＥＬk０，ＥＬk１，…，ＥＬk
７等全部で８個の相異なるバンドを生成しうることが分
かる。
【００５１】図４（Ｃ）では輝度成分を構成する４個の
サブブロックに存在する係数を同じバンド別に束ねて単
位バンド群を形成する過程を示す図面であって、サブブ
ロックによって固有位置を有して配列されることにな
る。即ち、各マクロバンドデータにおいて直流（ＤＣ）
成分の集合をＭＥＬk１，…，最後のバンドに存在する
交流（ＡＣ）係数の集合をＭＥＬk７に分類する。それ
ぞれのバンドに応じる周波数係数値の構成図５及び図６
に示す。
サブブロックに存在する係数を同じバンド別に束ねて単
位バンド群を形成する過程を示す図面であって、サブブ
ロックによって固有位置を有して配列されることにな
る。即ち、各マクロバンドデータにおいて直流（ＤＣ）
成分の集合をＭＥＬk１，…，最後のバンドに存在する
交流（ＡＣ）係数の集合をＭＥＬk７に分類する。それ
ぞれのバンドに応じる周波数係数値の構成図５及び図６
に示す。
【００５２】図５では、４個のサブブロック３０１，３
０２，３０３，３０４よりなる輝度成分データに対する
８個の階層構造に属する各サブブロックにおける周波数
成分の配列により、レイヤーがＭＥＬk０，ＭＥＬk１，
…，ＭＥＬk７までに構成されることを示している。図
６では、２つの色差成分Ｃｒ４０１，Ｃｂ４０３に対す
る周波数成分の係数構成４０２，４０４を各々示してい
る。色差成分も輝度成分と同様にそれぞれのレイヤーに
対する周波数係数がＭＥＬk０，ＭＥＬk１，…，ＭＥＬ
k７まで構成されることになる。
０２，３０３，３０４よりなる輝度成分データに対する
８個の階層構造に属する各サブブロックにおける周波数
成分の配列により、レイヤーがＭＥＬk０，ＭＥＬk１，
…，ＭＥＬk７までに構成されることを示している。図
６では、２つの色差成分Ｃｒ４０１，Ｃｂ４０３に対す
る周波数成分の係数構成４０２，４０４を各々示してい
る。色差成分も輝度成分と同様にそれぞれのレイヤーに
対する周波数係数がＭＥＬk０，ＭＥＬk１，…，ＭＥＬ
k７まで構成されることになる。
【００５３】このように任意のサブブロックに対する階
層構造を形成した後、全てサブブロックに対して同じバ
ンドのデータを１つに束ねて全体画面に対する階層構造
を形成したのが図２のＢＳＬ（０），ＢＳＬ（１），
…，ＢＳＬ（ｎ）である。
層構造を形成した後、全てサブブロックに対して同じバ
ンドのデータを１つに束ねて全体画面に対する階層構造
を形成したのが図２のＢＳＬ（０），ＢＳＬ（１），
…，ＢＳＬ（ｎ）である。
【００５４】この際、任意の形状に対する処理のために
はサブブロックが形状の内部か、境界か、それとも外部
かを知らせるべきである。即ち、図７に示されたように
輝度情報に対する４個のサブブロックの状態を４ビット
のデータで表示することによって既定の順序によりいず
れのブロックが形状情報に属するか否かが分かりやす
い。図７において、部材番号５０１のように全てのサブ
ブロックが形状の外部なら“００００”と表示され、５
０３のように左上部のみ形状の外部なら“０１１１”，
…、そして５３１のように全てのサブブロックが形状の
内部なら“１１１１”と表示することによってそれぞれ
のレイヤーにおかれるデータが何れのブロックに属する
かが分かる。この際、色差成分の場合には輝度成分に少
なくとも１つ以上の形状情報が存在すれば、色差成分も
存在すると判断することになる。このように空間基本レ
イヤーからｎ個の画質上階層構造を有するビットストリ
ームを再生する。
はサブブロックが形状の内部か、境界か、それとも外部
かを知らせるべきである。即ち、図７に示されたように
輝度情報に対する４個のサブブロックの状態を４ビット
のデータで表示することによって既定の順序によりいず
れのブロックが形状情報に属するか否かが分かりやす
い。図７において、部材番号５０１のように全てのサブ
ブロックが形状の外部なら“００００”と表示され、５
０３のように左上部のみ形状の外部なら“０１１１”，
…、そして５３１のように全てのサブブロックが形状の
内部なら“１１１１”と表示することによってそれぞれ
のレイヤーにおかれるデータが何れのブロックに属する
かが分かる。この際、色差成分の場合には輝度成分に少
なくとも１つ以上の形状情報が存在すれば、色差成分も
存在すると判断することになる。このように空間基本レ
イヤーからｎ個の画質上階層構造を有するビットストリ
ームを再生する。
【００５５】第２マスクはアップサンプリング部１３１
において２倍拡大された形状情報の第３マスクが生成さ
れる。第３マスクと第１マスクとの差は第２形状符号下
部１３２により形状符号化され、第２可変長符号化部１
３３によって可変長符号化されて上位レイヤーを構成す
る。
において２倍拡大された形状情報の第３マスクが生成さ
れる。第３マスクと第１マスクとの差は第２形状符号下
部１３２により形状符号化され、第２可変長符号化部１
３３によって可変長符号化されて上位レイヤーを構成す
る。
【００５６】テクスチャー復号化部１２４により再現さ
れたテクスチャー情報はアップサンプリング１３１にお
いて２倍拡大され、拡大された領域でパディング映像を
作り出した後、この映像を原映像のビデオから除く。こ
の差値に対して基本レイヤーと同一な仮定を経てＥＳＬ
（０），ＥＳＬ（１），…，ＥＳＬ（ｎ）を生成するこ
とで空間上／画質上階層構造を有するビットストリーム
を製作しうる。
れたテクスチャー情報はアップサンプリング１３１にお
いて２倍拡大され、拡大された領域でパディング映像を
作り出した後、この映像を原映像のビデオから除く。こ
の差値に対して基本レイヤーと同一な仮定を経てＥＳＬ
（０），ＥＳＬ（１），…，ＥＳＬ（ｎ）を生成するこ
とで空間上／画質上階層構造を有するビットストリーム
を製作しうる。
【００５７】図３は、前記生成されたビットストリーム
の復号化過程を示す。図３に示されるように、入力され
るビットストリームは可変長復号化部２１０で基本レイ
ヤービットストリームと上位レイヤービットストリーム
とに分類される。まず、基本レイヤービットストリーム
は再び形状情報とテクスチャー情報とに分けられる。形
状情報は第１形状復号化部２２１で復号化されて第４マ
スクが生成され、これが基本レイヤー情報となる。基本
レイヤービットストリームに含まれた符号化された基本
テクスチャー情報は逆量子化され、逆周波数変換されて
基本レイヤーのテクスチャー情報となる。基本レイヤー
ビットストリームに含まれた画質上階層構造において最
初の階層から選択された階層までのビットストリームは
順次に逆周波数変換されて基本レイヤーのテクスチャー
情報に加えられる。これにより、基本レイヤーに対する
復号化が終わることになる。
の復号化過程を示す。図３に示されるように、入力され
るビットストリームは可変長復号化部２１０で基本レイ
ヤービットストリームと上位レイヤービットストリーム
とに分類される。まず、基本レイヤービットストリーム
は再び形状情報とテクスチャー情報とに分けられる。形
状情報は第１形状復号化部２２１で復号化されて第４マ
スクが生成され、これが基本レイヤー情報となる。基本
レイヤービットストリームに含まれた符号化された基本
テクスチャー情報は逆量子化され、逆周波数変換されて
基本レイヤーのテクスチャー情報となる。基本レイヤー
ビットストリームに含まれた画質上階層構造において最
初の階層から選択された階層までのビットストリームは
順次に逆周波数変換されて基本レイヤーのテクスチャー
情報に加えられる。これにより、基本レイヤーに対する
復号化が終わることになる。
【００５８】もし、上位レイヤービットストリームが存
在する場合には、上位レイヤービットストリームも同様
に形状情報とテクスチャー情報とに分けられる。上位レ
イヤー形状情報は第２形状復号化部２３２から復号化さ
れて第５マスクが形成される。第５マスクは基本レイヤ
ーから再生された形状情報の第４マスクをアップサンプ
リング部２３０で２倍拡大させた情報と合わせられて上
位レイヤー形状情報が生成される。上位レイヤービット
ストリームに含まれる賀詞上階層構造において最初の階
層から選択された階層までのビットストリームは順次に
逆周波数変換され、基本レイヤーで再生されたテクスチ
ャー情報をアップサンプリング部２３０で２倍拡大させ
たものと合わせられて上位レイヤーテクスチャー情報と
して生成される。これにより、上位レイヤーに対する復
号化過程が終わることになる。全ての過程が終了される
と受信端では空間上／画質上階層構造を有する映像を再
現しうる。
在する場合には、上位レイヤービットストリームも同様
に形状情報とテクスチャー情報とに分けられる。上位レ
イヤー形状情報は第２形状復号化部２３２から復号化さ
れて第５マスクが形成される。第５マスクは基本レイヤ
ーから再生された形状情報の第４マスクをアップサンプ
リング部２３０で２倍拡大させた情報と合わせられて上
位レイヤー形状情報が生成される。上位レイヤービット
ストリームに含まれる賀詞上階層構造において最初の階
層から選択された階層までのビットストリームは順次に
逆周波数変換され、基本レイヤーで再生されたテクスチ
ャー情報をアップサンプリング部２３０で２倍拡大させ
たものと合わせられて上位レイヤーテクスチャー情報と
して生成される。これにより、上位レイヤーに対する復
号化過程が終わることになる。全ての過程が終了される
と受信端では空間上／画質上階層構造を有する映像を再
現しうる。
【００５９】
【発明の効果】本発明によれば、１つのビットストリー
ムを通して任意形状を有する物体に対して多様な画質情
報を提供しうる。即ち、最小限の情報のみで基本レイヤ
ーの基本画質を有する情報を再現した後、多様に細分化
されたビットストリームを構成することによって、伝送
路や受信端の性能に応じて再現される画質を多様に変化
させうる。また、空間上に拡大された上位レイヤーに対
しても類似した形態の動作が反復されうるように構成さ
れるために解像度の変化に応じる多様な画質の情報を提
供しうる。
ムを通して任意形状を有する物体に対して多様な画質情
報を提供しうる。即ち、最小限の情報のみで基本レイヤ
ーの基本画質を有する情報を再現した後、多様に細分化
されたビットストリームを構成することによって、伝送
路や受信端の性能に応じて再現される画質を多様に変化
させうる。また、空間上に拡大された上位レイヤーに対
しても類似した形態の動作が反復されうるように構成さ
れるために解像度の変化に応じる多様な画質の情報を提
供しうる。
【００６０】本発明に係る他の独特な効果は任意形状を
有する物体を対象として符号化／復号化を適用できるた
めに、画面に現れる任意の物体に対して別の画質サービ
スが可能となる。即ち、必要な物体に対して使用者や提
供者が意図する通りに画質の程度を決定するＱｏＳ（Ｑ
ｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）が可能となる。
有する物体を対象として符号化／復号化を適用できるた
めに、画面に現れる任意の物体に対して別の画質サービ
スが可能となる。即ち、必要な物体に対して使用者や提
供者が意図する通りに画質の程度を決定するＱｏＳ（Ｑ
ｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）が可能となる。
【００６１】以上、本発明に対してその望ましい実施例
を中心に説明した。本発明の当業者なら本発明が本発明
の本質的な特性から外れない範囲内で変形可能なのを理
解しうる。従って、本発明の実施例はこのような限定的
な観点でなく、本発明の技術的思想に基づく観点で考慮
されるべきである。本発明の範囲は前述した説明だけで
なく、特許請求の範囲にも示した通り、それと同等な範
囲内の全ての差点は本発明に含まれるものと解釈される
べきである。
を中心に説明した。本発明の当業者なら本発明が本発明
の本質的な特性から外れない範囲内で変形可能なのを理
解しうる。従って、本発明の実施例はこのような限定的
な観点でなく、本発明の技術的思想に基づく観点で考慮
されるべきである。本発明の範囲は前述した説明だけで
なく、特許請求の範囲にも示した通り、それと同等な範
囲内の全ての差点は本発明に含まれるものと解釈される
べきである。
【図１】映像の空間及び画質上の階層構造の関係を示す
図面である。
図面である。
【図２】本発明に係る空間上階層構造と画質上階層構造
とを同時に有する動映像符号化装置の一実施例の全体構
造を示す図面である。
とを同時に有する動映像符号化装置の一実施例の全体構
造を示す図面である。
【図３】本発明に係る空間上階層構造と画質上階層構造
とを同時に有する動映像符号化装置の他の一実施例を示
す図面である。
とを同時に有する動映像符号化装置の他の一実施例を示
す図面である。
【図４】図４（Ａ）乃至図４（Ｃ）は周波数帯域の分割
を通した画質上階層構造を具現する過程を示す図面であ
る。
を通した画質上階層構造を具現する過程を示す図面であ
る。
【図５】輝度情報の各階層を構成する周波数成分の集合
を示す図面である。
を示す図面である。
【図６】色差情報の各階層を構成する周波数成分の集合
を示す図面である。
を示す図面である。
【図７】形状情報の存在有無に応じる情報形態を表現す
るコードの構成例である。
るコードの構成例である。
１１０ ダウンサンプリング部 １２０ 基本レイヤー符号化部 １２１ 第１形状符号化部 １２２ テクスチャー符号化部 １２３ 第１可変長符号化部 １２４ テクスチャー復号化部 １２５ 第１差映像生成部 １２６ 第１画質上階層構造生成部 １３０ 上位レイヤー符号化部 １３１ アップサンプリング部 １３３ 第２可変長符号化部 １３５ 第２差映像生成部 １３６ 第２画質上階層構造生成部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 趙 大 星 大韓民国 ソウル特別市 東大門区 徽慶 ２洞 49−５番地 ソウルガーデン 815 号 (72)発明者 徐 亮 錫 大韓民国 ソウル特別市 松坡区 風納洞 219番地 美星アパート ３棟 501号 Ｆターム(参考） 5C059 KK00 MA23 MA24 MB11 MB14 MB16 MC11 ME01 PP04 SS01 SS06 SS08 UA02 UA05
Claims (23)
- 【請求項１】 物体の形状情報と物体内部のテクスチャ
ー情報よりなる動映像入力データを空間上階層構造とで
構成する復号化方法において、 （ａ）前記形状情報と前記テクスチャー構造とを各々所
定の割合でダウンサンプリングして１つの基本レイヤー
と１つ以上の上位レイヤーを含む空間上階層構造を構成
する段階と、 （ｂ）前記基本レイヤーの形状情報及びテクスチャー情
報を符号化して基本レイヤーの基本ビットストリームを
生成し、符号化されたテクスチャー情報を再び復号化し
たテクスチャー情報と元のテクスチャー情報との差を周
波数変換符号化し、各周波数帯域別に画質上階層構造を
構成する段階と、 （ｃ）前記１つ以上の上位レイヤーの各々に対し、前記
基本レイヤーからアップサンプリングした形状情報と上
位レイヤーの形状情報との差を符号化して上位レイヤー
の基本ビットストリームを生成し、前記（ｂ）段階で復
号化されたテクスチャー情報と上位レイヤーのテクスチ
ャー情報との差を周波数帯域別に画質上階層構造を構成
する段階とを含むことを特徴とする空間上階層構造と画
質上階層構造とを同時に有する動映像符号化方法。 - 【請求項２】 物体の形状情報と物体内部のテクスチ
ャー情報よりなる動映像入力データを空間上階層構造と
画質上階層構造とで構成して符号化する方法において、 （ａ）前記形状情報と前記テクスチャー情報を各々ダウ
ンサンプリングし、最大の割合でダウンサンプリングさ
れた１つの基本レイヤーと前記基本レイヤーより小さな
割合でダウンサイジングされた１つ以上の上位レイヤー
を含む空間上階層構造を構成する段階と、 （ｂ）基本レイヤーの形状情報及びテクスチャー情報に
対し、 （ｂ１）前記基本レイヤーの形状情報を形状符号化する
段階と、 （ｂ２）前記基本レイヤーのテクスチャー情報をパディ
ングし、周波数変換符号化し、量子化する段階と、 （ｂ３）前記（ｂ１）及び（ｂ２）の段階から生成され
たデータを集めて可変長符号化して基本レイヤーの基本
ビットストリームを生成する段階と、 （ｂ４）前記（ｂ２）段階から生成されたデータを逆量
子化し、逆周波数変換して再現されたテクスチャー情報
と前記基本レイヤーのテクスチャー情報との差を求める
段階と、 （ｂ５）前記（ｂ４）段階の差に対して周波数変換符号
化し、各周波数別に分類してそれぞれの周波数帯域に応
じるビットストリームを生成する段階と、 （ｃ）各上位レイヤーの形状情報及びテクスチャー情報
に対し、 （ｃ１）前記基本レイヤーの形状情報を前記上位レイヤ
ーにアップサンプリングした形状情報と前記上位レイヤ
ーの形状情報との差を形状符号化し、可変長符号化して
上位レイヤーの基本ビットストリームを生成する段階
と、 （ｃ２）前記（ｂ４）段階で再現されたテクスチャー情
報を前記上位レイヤーにアップサンプリング及びパディ
ングしたテクスチャー情報と前記上位レイヤーのテクス
チャー情報との差を求める段階と、 （ｃ３）前記（ｃ２）段階の差に対して周波数変換符号
化し、各周波数別に分類してそれぞれの周波数帯域に応
じるビットストリームを生成する段階とを含むことを特
徴とする空間上階層構造と画質上階層構造とを同時に有
する動映像符号化方法。 - 【請求項３】 前記（ｂ１）段階及び前記（ｂ２）段階
の形状情報符号化は隔走査線方式を用いた階層的形状情
報符号化であることを特徴とする請求項２に記載の空間
上階層構造と画質上階層構造とを同時に有する動映像符
号化方法。 - 【請求項４】 前記周波数変換符号化は離散コサイン変
換であることを特徴とする請求項２に記載の空間上階層
構造と画質上階層構造とを同時に有する動映像符号化方
法。 - 【請求項５】 前記周波数変換符号化は離散ウェーブレ
ット変換であることを特徴とする請求項２に記載に記載
の空間上階層構造と画質上階層構造とを同時に有する動
映像符号化方法。 - 【請求項６】 前記（ｂ５）段階及び前記（ｃ３）段階
は各々、 差の輝度信号に対しては、Ｎ×Ｎ画素大きさの主ブロッ
クに分割し、各主ブロックを４個の副ブロックに分割
し、各副ブロック単位に離散コサイン変換された輝度信
号を所定数の帯域別に分割し、 輝度信号の各主ブロックに対応する色度信号に対して
は、各々（Ｎ／２）×（Ｎ／２）大きさのブロックに分
割し、各ブロック単位に離散コサインに変換された色度
信号を所定数の帯域別に分割し、 各帯域別に離散コサイン変換された輝度信号と離散コサ
イン変換された色度信号とを再び組み合わせる帯域別再
組み合わせを行って画質上の階層に構成することを特徴
とする請求項４に記載の空間上階層構造と画質上階層構
造とを同時に有する動映像符号化方法。ここで前記Ｎは
２より大きな所定の整数である。 - 【請求項７】 前記帯域別再組み合わせは前記輝度信号
の主ブロック単位に行われることを特徴とする請求項６
に記載の空間上階層構造と賀詞上階層構造とを同時に有
する動映像符号化方法。 - 【請求項８】 前記帯域別再組み合わせは映像全体単位
に行われることを特徴とする請求項６に記載の空間上階
層構造と画質上階層構造とを同時に有する動映像符号化
方法。 - 【請求項９】 帯域別再組み合わせされた画質上の各階
層は所定の方式により再び符号化されることを特徴とす
る請求項６に記載の空間上階層構造と画質上階層構造と
を同時に有する動映像符号化方法。 - 【請求項１０】 形状情報の存する副ブロックまたはブ
ロックに対してのみ離散コサイン変換し、形状情報のな
い副ブロックまたはブロックに対しては離散コサイン変
換しないことを特徴とする請求項６に記載の空間上階層
構造と画質上階層構造とを同時に有する動映像符号化方
法。 - 【請求項１１】 物体の形状情報と物体内部のテクスチ
ャー情報よりなる動映像入力データを空間上階層構造と
画質上階層構造とで構成して符号化する装置において、 前記形状情報と前記テクスチャー情報とを各々ダウンサ
ンプリングし、最大の割合でダウンサイジングされた１
つの基本レイヤーと前記基本レイヤーより小さな割合で
ダウンサイジングされた１つ以上の上位レイヤーを含む
空間上階層構造を構成するダウンサンプリング部と、 前記基本レイヤーの形状情報を形状符号化する第１形状
符号化部と、前記基本レイヤーのテクスチャー情報をパ
ディングし、周波数変換符号化し、量子化するテクスチ
ャー符号化部と、前記第１形状符号化部及びテクスチャ
ー符号化部から出力されたデータを集めて可変長符号化
して基本レイヤーの基本ビットストリームを生成する第
１可変長符号化部と、前記テクスチャー符号化部から出
力されたデータを逆量子化し、逆周波数変換してテクス
チャー情報を再生するテクスチャー復号化部と、前記テ
クスチャー復号化部により再生されたテクスチャー情報
と前記基本レイヤーのテクスチャー情報の差を生成する
第１差映像生成部と、前記第１差映像生成部により生成
された差を周波数変換符号化し、各周波数別に分類して
それぞれの周波数帯域に応じるビットストリームを生成
する第１画質上階層構造生成部を具備した基本レイヤー
符号化部と、 前記基本レイヤーの形状情報を前記上位レイヤーにアッ
プサンプリングし、前記テクスチャー復号化により再生
されたテクスチャー情報を前記上位レイヤーにアップサ
ンプリングするアップサンプリング部と、アップサンプ
リングされた形状情報と前記上位レイヤーの形状情報と
の差うぃ形状情報符号化する第２形状符号化部と、前記
第２形状符号化部の出力データを可変長符号化して上位
レイヤー基本ビットストリームを生成する第２可変長符
号化部と、アップサンプリング部の出力データをパディ
ングしたテクスチャー情報と前記上位レイヤーのテクス
チャー情報との差を求める第２差映像生成部と、前記第
２差映像生成部により生成された差を周波数変換符号化
し、各周波数別に分類してそれぞれの周波数帯域に応じ
るビットストリームを生成する第２画質上階層構造生成
部とを具備した１つ以上の上位レイヤー符号化部とを含
むことを特徴とする空間上階層構造と画質上階層構造と
を同時に有する動映像符号化装置。 - 【請求項１２】 前記第１形状符号化部及び前記第２形
状符号化部は隔走査線方式を用いた階層的形状情報符号
化であることを特徴とする請求項１１に記載の空間上階
層構造と画質上階層構造とを同時に有する動映像符号化
装置。 - 【請求項１３】 前記テクスチャー符号化部、前記第１
画質上階層構造生成部及び前記第２画質上階層構造生成
部は各々離散コサイン変換器を具備することを特徴とす
る請求項１１に記載の空間上階層構造と画質上階層構造
とを同時に有する動映像符号化装置。 - 【請求項１４】 前記テクスチャー符号化部、前記第１
画質上階層構造生成部及び前記第２画質上階層構造生成
部は各々離散ウェーブレット変換器を具備することを特
徴とする請求項１１に記載の空間上階層構造と画質上階
層構造とを同時に有する動映像符号化装置。 - 【請求項１５】 前記第１画質上階層構造生成部および
前記第２画質上階層構造生成部は各々、 差の輝度信号に対しては、Ｎ×Ｎ大きさ単位の主ブロッ
クに分割し、各主ブロックを４個の副ブロックに分割
し、各副ブロック単位に離散コサイン変換された輝度信
号を所定数の帯域別に分割し、 輝度信号の各主ブロックに対応する色度信号に対して
は、各々（Ｎ／２）×（Ｎ／２）大きさのブロックに分
割し、各ブロック単位に離散コサイン変換された色度信
号を所定数の帯域別に分割し、 各帯域別に離散コサイン変換された輝度信号と離散コサ
イン変換された色度信号とを再び組み合わせる再組み合
わせを行って画質上の階層に構成することを特徴とする
請求項１３に記載の空間上階層構造と画質上階層構造と
を同時に有する動映像符号化装置。ここで、前記Ｎは２
より大きな所定の整数である。 - 【請求項１６】 前記第１画質上階層構造生成部及び前
記第２画質上階層構造生成部は各々、形状情報の存する
副ブロックまたはブロックに対してのみ離散コサイン変
換し、形状情報のない副ブロックまたはブロックに対し
ては離散コサイン変換しないことを特徴とする請求項１
５に記載の空間上階層構造と画質上階層構造とを同時に
有する動映像符号化装置。 - 【請求項１７】 空間上階層構造と画質上階層構造とで
構成された符号化されたビットストリームを復号化する
方法において、 （ａ）前記ビットストリームを可変長復号化しながら、
基本レイヤービットストリームと１つ以上の上位レイヤ
ービットストリームに分類する段階と、 （ｂ）前記基本レイヤービットストリームに含まれた符
号化された形状情報を形状復号化して基本レイヤーの形
状情報を生成する段階と、 （ｃ）前記基本レイヤービットストリームに含まれた符
号化されたテクスチャー情報を逆量子化し、逆周波数変
換して前記基本レイヤーのテクスチャー情報を生成する
段階と、 （ｄ）前記基本レイヤービットストリームに含まれた画
質上階層構造から選択されたビットストリームを順次に
逆周波数変換して前記基本レイヤーのテクスチャー情報
に加える段階と、 （ｅ）前記１つ以上の上位レイヤーのうち選択された上
位レイヤーまでの各上位レイヤーに対し、 （ｅ１）空間上の参照レイヤーの形状情報を前記上位レ
イヤーにアップサンプリングする段階と、 （ｅ２）空間上の参照レイヤーに属する画質上の参照階
層のテクスチャー情報をアップサンプリングする段階
と、 （ｅ３）前記上位レイヤービットストリームに含まれた
上位レイヤーの形状情報を形状復号化してアップサンプ
リングされた下位レイヤーの形状情報に加える段階と、 （ｅ４）前記上位レイヤービットストリームに含まれた
画質上階層構造から選択されたビットストリームを順次
に逆周波数変換してアップサンプリングされた下位レイ
ヤーのテクスチャー情報に加える段階を順次に反復する
段階とを含むことを特徴とする空間上階層構造と画質上
階層構造とを同時に有する動映像復号化方法。 - 【請求項１８】 前記（ｅ１）段階の前に、 空間上の参照レイヤー識別子が先に復号化される段階を
さらに含むことを特徴とする請求項１７に記載の空間上
階層構造と画質上階層構造とを同時に有する動映像復号
化方法。 - 【請求項１９】 前記（ｅ１）段階の前に、 画質上の参照レイヤー識別子が先に復号化される段階を
さらに含むことを特徴とする請求項１８に記載の空間上
階層構造と画質上階層構造とを同時に有する動映像復号
化方法。 - 【請求項２０】 前記空間上の参照レイヤーは、 前記上位レイヤーの直前下位レイヤーであることを特徴
とする請求項１７に記載の空間上階層構造と画質上階層
構造とを同時に有する動映像復号化方法。 - 【請求項２１】 前記画質上の参照階層は、 前記空間上の参照レイヤーに属する画質上の基本階層で
あることを特徴とする請求項２０に記載の空間上階層構
造と画質上階層構造とを同時に有する動映像復号化方
法。 - 【請求項２２】 前記画質上の参照階層は、 前記空間上の参照レイヤーに属する画質上の最上位階層
であることを特徴とする請求項２０に記載の空間上階層
構造と画質上階層構造とを同時に有する動映像復号化方
法。 - 【請求項２３】 空間上階層構造と画質上階層構造とで
構成され符号化されたビットストリームを復号化する装
置において、 前記ビットストリームを可変長復号化しながら、基本レ
イヤービットストリームと１つ以上の上位レイヤービッ
トストリームとに分類する可変長復号化部と、 前記基本レイヤービットストリームに含まれた符号化さ
れた形状情報を形状復号化して基本レイヤーの形状情報
を生成する第１形状復号化部と、前記基本レイヤービッ
トストリームに含まれた符号化されたテクスチャー情報
を逆量子化し、逆周波数変換して基本レイヤーのテクス
チャー情報を生成するテクスチャー復号化部と、前記基
本レイヤービットストリームに含まれた画質上階層構造
から選択されたビットストリームを順次に逆周波数変換
して前記基本レイヤーのテクスチャー情報に加える第１
画質上階層構造復号化部を具備した基本レイヤー復号化
部と、 空間上階層構造において前記上位レイヤーの直前下位レ
イヤーの形状情報と前記上位レイヤーの直前下位レイヤ
ーのテクスチャー情報とを前記上位レイヤーにアップサ
ンプリングするアップサンプリング部と、前記上位レイ
ヤービットストリームに含まれた上位レイヤーの形状情
報を形状復号化してアップサンプリングされた下位レイ
ヤーの形状情報に加える第２形状復号化部と、前記上位
レイヤービットストリームに含まれた画質上階層構造か
ら選択されたビットストリームを順次に逆周波数変換し
てアップサンプリングされた下位レイヤーのテクスチャ
ー情報に加える第２画質上階層構造復号化部を具備した
１つ以上の上位レイヤー復号化部とを含むことを特徴と
する空間上階層構造と画質上階層構造とを同時に有する
動映像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000107536A JP2001309378A (ja) | 2000-04-10 | 2000-04-10 | 空間上階層構造と画質上階層構造とを同時に有する動映像符号化／復号化方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000107536A JP2001309378A (ja) | 2000-04-10 | 2000-04-10 | 空間上階層構造と画質上階層構造とを同時に有する動映像符号化／復号化方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001309378A true JP2001309378A (ja) | 2001-11-02 |
Family
ID=18620519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000107536A Pending JP2001309378A (ja) | 2000-04-10 | 2000-04-10 | 空間上階層構造と画質上階層構造とを同時に有する動映像符号化／復号化方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001309378A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007525923A (ja) * | 2004-03-04 | 2007-09-06 | サムスン エレクトロニクス カンパニー リミテッド | ビデオストリーミングサービスのためのビデオコーディング方法、プリデコーディング方法、ビデオデコーディング方法、及びその装置と、イメージフィルタリング方法 |
| JP2007525924A (ja) * | 2004-03-04 | 2007-09-06 | サムスン エレクトロニクス カンパニー リミテッド | ビデオストリーミングサービスのためのビデオコーディング方法とビデオエンコーディングシステム、及びビデオデコーディング方法とビデオデコーディングシステム |
-
2000
- 2000-04-10 JP JP2000107536A patent/JP2001309378A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007525923A (ja) * | 2004-03-04 | 2007-09-06 | サムスン エレクトロニクス カンパニー リミテッド | ビデオストリーミングサービスのためのビデオコーディング方法、プリデコーディング方法、ビデオデコーディング方法、及びその装置と、イメージフィルタリング方法 |
| JP2007525924A (ja) * | 2004-03-04 | 2007-09-06 | サムスン エレクトロニクス カンパニー リミテッド | ビデオストリーミングサービスのためのビデオコーディング方法とビデオエンコーディングシステム、及びビデオデコーディング方法とビデオデコーディングシステム |
| US8331434B2 (en) | 2004-03-04 | 2012-12-11 | Samsung Electronics Co., Ltd. | Method and apparatus for video coding, predecoding, and video decoding for video streaming service, and image filtering method |
| US8929436B2 (en) | 2004-03-04 | 2015-01-06 | Samsung Electronics Co., Ltd. | Method and apparatus for video coding, predecoding, and video decoding for video streaming service, and image filtering method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6493387B1 (en) | Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together | |
| JP4248038B2 (ja) | ビデオの映像コード化およびイントラ・コード化のための固定型または適応型デインターリーブドトランスフォームコード化方法及び装置 | |
| Christopoulos et al. | The JPEG2000 still image coding system: an overview | |
| TW278299B (ja) | ||
| Skodras et al. | The JPEG 2000 still image compression standard | |
| Santa-Cruz et al. | JPEG 2000 still image coding versus other standards | |
| Santa-Cruz et al. | An analytical study of JPEG 2000 functionalities | |
| US8520962B2 (en) | Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer | |
| JP4891234B2 (ja) | グリッド動き推定／補償を用いたスケーラブルビデオ符号化 | |
| JP5014989B2 (ja) | 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体 | |
| CN1926874B (zh) | 对视频流传输业务进行视频编码、预解码和视频解码的方法和设备以及图像滤波方法 | |
| US8155181B2 (en) | Multilayer-based video encoding method and apparatus thereof | |
| KR100636229B1 (ko) | 신축형 부호화를 위한 적응적 엔트로피 부호화 및 복호화방법과 그 장치 | |
| KR100809298B1 (ko) | 플래그 인코딩 방법, 플래그 디코딩 방법, 및 상기 방법을이용한 장치 | |
| JP2006295913A (ja) | 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置 | |
| JP2007189698A (ja) | スムージング予測を利用した多階層基盤のビデオエンコーディング方法、デコーディング方法、ビデオエンコーダおよびビデオデコーダ | |
| JP4837047B2 (ja) | ビデオ信号をグループ別にエンコーディングおよびデコーディングする方法および装置 | |
| US20070177664A1 (en) | Entropy encoding/decoding method and apparatus | |
| EP1659797A2 (en) | Method and apparatus for compressing motion vectors in video coder based on multi-layer | |
| JP5301097B2 (ja) | ビデオ・コード変換のための変換ドメイン・サブ−サンプリング | |
| JP2006304329A (ja) | 符号化方法及び復号化方法及び符号化装置及び復号化装置 | |
| Woods et al. | A resolution and frame-rate scalable subband/wavelet video coder | |
| CN100553151C (zh) | 用于多种描述编码的设备和方法 | |
| TW420955B (en) | Image compression | |
| JP3518733B2 (ja) | 物体単位映像信号符号化／復号化装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061107 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070313 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091117 |