JP2008515328A

JP2008515328A - 階層間フィルタリングを利用したビデオコーディングおよびデコーディング方法と、ビデオエンコーダおよびデコーダ

Info

Publication number: JP2008515328A
Application number: JP2007534509A
Authority: JP
Inventors: ハン，ウ−ジン; リー，ベ−グン; リー，ジェ−ヨン; チャ，サン−チャン; ハ，ホ−ジン; リー，ギョ−ヒョク
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-10-18
Filing date: 2005-09-16
Publication date: 2008-05-08
Also published as: WO2006043755A1; CA2584215A1; EP1657932A1

Abstract

階層間フィルタリングを利用したビデオコーディングおよびデコーディング方法と、ビデオエンコーダおよびデコーダを提供する。
本発明の一実施形態によるビデオコーディング方法は、ビデオフレームを第１ビデオコーディング方式でコーディングする段階と、前記第１ビデオコーディング方式でコーディングされたフレームを階層間フィルタリングする段階と、前記階層間フィルタリングされたフレームを参照して前記ビデオフレームを第２ビデオコーディング方式でコーディングする段階、および前記第１および第２ビデオコーディング方式でコーディングされたフレームを含むビットストリームを生成する段階を含む。

Description

本発明は多階層ビデオコーディング技術に関するもので、より詳細には階層間フィルタリングを利用したビデオコーディング技術に関するものである。

インターネットを含め情報通信技術が発達するのにともない、文字、音声だけでなく画像通信が増加している。既存の文字に比重をおいた通信方式では消費者の多様な欲求を満たすには不足であり、これに伴って文字、映像、音楽など多様な形態の情報を受容することができるマルチメディアサービスが増加している。

マルチメディアデータはその量が膨大で、大容量の保存媒体を必要とし、伝送時に広い帯域幅を必要とする。例えば６４０＊４８０の解像度を有する２４ｂｉｔトゥルーカラーのイメージは１フレーム当たり６４０＊４８０＊２４ｂｉｔの容量、言い換えれば約７．．３７Ｍｂｉｔのデータが必要である。

これを１秒当たり３０フレームで伝送する場合には２２１Ｍｂｉｔ／ｓｅｃの帯域幅を必要とし、９０分の間、上映される映画を保存しようとすれば約１２００Ｇｂｉｔの保存空間を必要とする。したがって文字、映像、オーディオを含むマルチメディアデータを伝送するためには圧縮コーディング技法を使うのが必須的である。

ビデオデータを圧縮する基本的な原理はデータの重複（冗長度）をなくす過程である。イメージにおいて同一な色やオブジェクトが反復するというような空間的重複や、動画フレームにおいて隣接フレーム間の変化が殆どないというような時間的重複、または人間の視覚および知覚能力が、高い周波数に鈍感なことを考慮した心理視覚重複をなくすことによってビデオデータを圧縮することができる。

図１はビデオ圧縮が適用される環境を示している。
ビデオデータはビデオエンコーダ１１０で圧縮される。現在知られているビデオ圧縮方式はＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４等があり、このような圧縮方式はＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）を基盤とする。

一方、最近ではウェーブレット変換を基盤としたスケーラブルビデオコーディングに対する研究が活発である。圧縮されたビデオデータはネットワーク１２０を介して、ビデオデコーダ１３０に伝達される。ビデオデコーダ１３０は圧縮されたビデオデータをデコーディングしてビデオデータを復元する。

ビデオエンコーダ１１０はネットワーク１２０の帯域幅を越えないようにビデオデータを圧縮してはじめて圧縮されたビデオデータをビデオデコーダ１３０がデコーディングすることができる。しかしネットワーク１２０の通信帯域幅はネットワークの種類によって異なる。例をあげればイーサネット（登録商標）を利用する時の通信帯域幅と、無線ランを利用する時の通信帯域幅が異なる。また、セルラー通信網を利用する場合に通信帯域幅は非常に狭いこともある。

これに伴い一つの圧縮されたビデオデータにおいて多様なビットレートの圧縮されたビデオデータを得ることができる方法、特にスケーラブルビデオコーディングに対する研究が活発である。

スケーラブルビデオコーディングはスケーラビリティを有するようビデオデータをコーディングするビデオ圧縮方式を意味する。スケーラビリティとは一つのビデオシーケンスを圧縮して得たビットストリームから解像度とフレームレートおよび画質を異にする多様なビデオシーケンスを復元することができる特性を意味する。

時間的スケーラビリティはＭＣＴＦ（ＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｉｏｎＴｅｍｐｏｒａｌＦｉｌｔｅｒｉｎｇ）、ＵＭＣＴＦ（ＵｎｃｏｎｓｔｒａｉｎｅｄＭＣＴＦ）、ＳＴＡＲ（ＳｕｃｃｅｓｓｉｖｅＴｅｍｐｏｒａｌＡｐｐｒｏｘｉｍａｔｉｏｎａｎｄＲｅｆｅｒｅｎｃｉｎｇ）等のアルゴリズムで得ることができる。空間的スケーラビリティはウェーブレット変換アルゴリズムで得ることができるが、最近では多階層技法に対する研究が活発である。ＳＮＲ（信号対雑音比）スケーラビリティはＥＺＷ、ＳＰＩＨＴ、ＥＺＢＣ、ＥＢＣＯＴのような量子化アルゴリズムで得ることができる。

最近スケーラブルビデオコーディングアルゴリズムとして多階層ビデオコーディングアルゴリズムが採用されている。従前にビデオ多階層ビデオコーディング方式は、主に一つのビデオコーディングアルゴリズムを使用した。最近では複数のビデオコーディングアルゴリズムを使用する多階層ビデオコーディング方式に対して関心が増加している。

例えば、多階層ビデオコーディングにより図２や図３のような構造のビットストリームを生成することができる。

図２を参照すれば、ビデオエンコーダは優秀なスケーラビリティを有するウェーブレットコーディング方式と優秀なコーディング効率を有するＭＰＥＧ−４ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）（以下、ＡＶＣという）コーディング方式をすべて使用する。

ビデオエンコーダがウェーブレットコーディング方式だけを利用してビデオコーディングをする場合に、低解像度で画質が急激に悪くなる傾向がある。したがって、図２のビットストリームを生成するためにビデオエンコーダは最も低い解像度階層をＡＶＣコーディング方式でコーディングしたフレームと、これを参照し最も高い解像度階層をウェーブレットコーディング方式でコーディングしたフレームを含む。

エンコーディング過程で参照されるコーディングされたフレームはビデオコーディング方式でコーディングして得たフレームをデコーディングし、再構成したフレームを意味する。

図３を参照すれば、ビデオエンコーダは優秀なスケーラビリティを有するウェーブレットコーディング方式と優秀なコーディング効率を有するＡＶＣコーディング方式をすべて使用する。図２のビットストリームはウェーブレットコーディング階層とＡＶＣコーディング階層のただ二つの階層を有するが、図３のビットストリームは各解像度ごとにウェーブレットコーディング階層とＡＶＣコーディング階層を有する。

多階層ビデオコーディングをする場合にまずコーディングした階層（基礎階層）の量子化雑音のために後にコーディングした階層（向上階層）のコーディングの効率が低下する傾向がある。特に互いに異なる特性を有する複数のビデオコーディング方式を使用する場合に、このような現象はさらによく現れる。例をあげれば、図２や図３のようにＤＣＴを基盤としたＡＶＣコーディング方式とウェーブレット変換を基盤としたウェーブレットコーディング方式をともに使用する場合にウェーブレット階層のコーディング効率が低下し得る。

本発明は前記した問題点を解決するために案出されたものであって、本発明の目的は多階層ビデオコーディングの効率を高めるための階層間フィルタリングを利用したビデオコーディングおよびデコーディング方法とビデオエンコーダおよびデコーダを提供するものである。

本発明の目的は以上で言及した目的に制限されず、言及されていないまた他の目的は次の記載から当業者に明確に理解されるであろう。

前記目的を達成するための本発明の一実施形態によるビデオコーディング方法は、ビデオフレームを第１ビデオコーディング方式でコーディングする段階と、前記第１ビデオコーディング方式でコーディングされたフレームを階層間フィルタリングする段階と、前記階層間フィルタリングされたフレームを参照して前記ビデオフレームを第２ビデオコーディング方式でコーディングする段階と、前記前記第１および第２ビデオコーディング方式でコーディングされたフレームを含むビットストリームを生成する段階を含む。

前記目的を達成するための本発明の他の実施形態によるビデオコーディング方法は、ビデオフレームをダウンサンプリングして低解像度フレームを生成する段階と、前記低解像度ビデオフレームを第１ビデオコーディング方式でコーディングする段階と、前記第１ビデオコーディング方式でコーディングされたフレームを前記ビデオフレームの解像度でアップサンプリングする段階と、前記アップサンプリングされたフレームを階層間フィルタリングする段階と、前記階層間フィルタリングされたフレームを参照して前記ビデオフレームを第２ビデオコーディング方式でコーディングする段階と、前記前記第１および第２ビデオコーディング方式でコーディングされたフレームを含むビットストリームを生成する段階を含む。

前記目的を達成するための本発明の一実施形態によるビデオエンコーダは、ビデオフレームを第１ビデオコーディング方式でコーディングする第１ビデオコーディング部と、前記第１ビデオコーディング方式でコーディングされたフレームを階層間フィルタリングする階層間フィルタと、前記階層間フィルタリングされたフレームを参照して前記ビデオフレームを第２ビデオコーディング方式でコーディングする第２ビデオコーディング部と、前記前記第１および第２ビデオコーディング方式でコーディングされたフレームを含むビットストリームを生成するビットストリーム生成部を含む。

前記目的を達成するための本発明の他の実施形態によるビデオエンコーダは、ビデオフレームをダウンサンプリングして低解像度フレームを生成するダウンサンプラと、前記低解像度ビデオフレームを第１ビデオコーディング方式でコーディングする第１ビデオコーディング部と、前記第１ビデオコーディング方式でコーディングされたフレームをアップサンプリングするアップサンプラと、前記アップサンプリングされたフレームを階層間フィルタリングする階層間フィルタと、前記階層間フィルタリングされたフレームを参照して前記ビデオフレームを第２ビデオコーディング方式でコーディングする第２ビデオコーディング部と、前記第１および第２ビデオコーディング方式でコーディングされたフレームを含むビットストリームを生成するビットストリーム生成部を含む。

前記目的を達成するための本発明の一実施形態によるビデオデコーディング方法は、ビットストリームから第１ビデオコーディング方式でコーディングされたフレームおよび第２ビデオコーディング方式でコーディングされたフレームを抽出する段階と、前記第１ビデオコーディング方式でコーディングされたフレームを第１ビデオデコーディング方式でデコーディングして第１階層フレームを再構成する段階と、前記再構成された第１階層フレームを階層間フィルタリングする段階と、前記階層間フィルタリングされた第１階層フレームを参照して前記第２ビデオコーディング方式でコーディングされたフレームを第２ビデオデコーディング方式でデコーディングして第２階層フレームを再構成する段階を含む。

前記目的を達成するための本発明の他の実施形態によるビデオデコーディング方法は、ビットストリームから第１ビデオコーディング方式でコーディングされたフレームおよび第２ビデオコーディング方式でコーディングされたフレームを抽出する段階と、前記第１ビデオコーディング方式でコーディングされたフレームを第１ビデオデコーディング方式でデコーディングして第１階層フレームを再構成する段階と、前記再構成された第１階層フレームをアップサンプリングする段階と、前記アップサンプリングされた第１階層フレームを階層間フィルタリングする段階と、前記階層間フィルタリングされた第１階層フレームを参照して前記第２ビデオコーディング方式でコーディングされたフレームを第２ビデオデコーディング方式でデコーディングして第２階層フレームを再構成する段階を含む。

前記目的を達成するための本発明の一実施形態によるビデオデコーダは、ビットストリームから第１ビデオコーディング方式でコーディングされたフレームおよび第２ビデオコーディング方式でコーディングされたフレームを抽出するビットストリーム解析部と、前記第１ビデオコーディング方式でコーディングされたフレームを第１ビデオデコーディング方式でデコーディングして第１階層フレームを再構成する第１ビデオデコーディング部と、前記再構成された第１階層フレームを階層間フィルタリングする階層間フィルタと、前記階層間フィルタリングされた第１階層フレームを参照して前記第２ビデオコーディング方式でコーディングされたフレームを第２ビデオデコーディング方式でデコーディングして第２階層フレームを再構成する第１ビデオデコーディング部を含む。

前記目的を達成するための本発明の一実施形態によるビデオデコーダは、ビットストリームから第１ビデオコーディング方式でコーディングされたフレームおよび第２ビデオコーディング方式でコーディングされたフレームを抽出するビットストリーム解析部と、前記第１ビデオコーディング方式でコーディングされたフレームを第１ビデオデコーディング方式でデコーディングして第１階層フレームを再構成する第１ビデオデコーディング部と、前記再構成された第１階層フレームをアップサンプリングするアップサンプラと、前記アップサンプリングされた第１階層フレームを階層間フィルタリングする階層間フィルタと、前記階層間フィルタリングされた第１階層フレームを参照して前記第２ビデオコーディング方式でコーディングされたフレームを第２ビデオデコーディング方式でデコーディングして第２階層フレームを再構成する第２ビデオデコーディング部を含む。

その他、実施形態の具体的な事項は詳細な説明および図に含まれている。
本発明の利点および特徴、そしてそれらを達成する方法は添付した図と共に詳細に後述されている実施形態を参照すれば明確になるであろう。しかし、本発明は以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で具現することができ、単に本実施形態は本発明の開示が完全なようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されているもので、本発明は請求項の範疇によってのみ定義される。

本発明の実施形態によれば、複数のビデオコーディング方式を採用した多階層ビデオコーディングにおいて階層間フィルタリングを利用してビデオコーディングの効率を高めることができる。

特に、本発明の実施形態によれば、ブロック単位で変換アルゴリズムを有するビデオコーディング方式とフレーム単位で変換アルゴリズムを有するビデオコーディング方式を共に使用する時に生じるコーディング効率の低下を防ぐことができる。

以下、添付された図を参照し、本発明の実施形態を説明する。説明の便宜のためにで、以下において本発明による実施形態は２個の階層を有する場合を例として説明する。

図４は本発明の一実施形態によるビデオエンコーダの構成を示すブロック図である。
ビデオエンコーダは第１ビデオコーディング部４１０と第２ビデオコーディング部４２０とビットストリーム生成部４３０、および階層間フィルタ４４０を含む。

第１ビデオコーディング部４１０は時間的フィルタリング部４１１とＤＣＴ変換部４１２と量子化部４１３を含む。第１ビデオコーディング部４１０はＡＶＣ方式でビデオフレームをコーディングする。

時間的フィルタリング部４１１はビデオフレーム４００の入力を受けビデオフレーム４００が有する隣接したフレームとの時間的重複を除去する。一実施形態において、時間的フィルタリング部４１１はＭＣＴＦアルゴリズムでフレーム間の時間的重複を除去する。ＭＣＴＦは時間的スケーラビリティを有するアルゴリズムであって隣接するフレーム間の時間的重複を除去する。現在ＭＣＴＦは５／３フィルタ方式が主に使用される。この外に時間的スケーラビリティを有する時間的フィルタリングアルゴリズムとしてはＵＭＣＴＦやＳＴＡＲなどを使用することができる。

ＤＣＴ変換部４１２は時間的フィルタリングされたフレームをＤＣＴ変換する。ＤＣＴ変換は所定のサイズ、例えば８＊８または４＊４サイズのブロック単位で遂行される。ＤＣＴ変換を経たブロックはＤＣＴ変換を経る前よりエントロピが減少する。

量子化部４１３はＤＣＴ変換されたフレームを量子化する。ＡＶＣで量子化は量子化パラメータ（Ｑｐ）値により決定される。量子化されたフレームはスキャニング過程とエントロピコーディング過程を経た後にビットストリームに含まれる。

第２ビデオコーディング部４２０は、時間的フィルタリング部４２１とウェーブレット変換部４２２と量子化部４２３を含む。第２ビデオコーディング部４２０は、ウェーブレット方式でビデオフレームをコーディングする。

時間的フィルタリング部４２１はビデオフレーム４００の入力を受けて、ビデオフレーム４００が有する隣接したフレームとの時間的重複を除去する。一実施形態において、時間的フィルタリング部４２１はＭＣＴＦ（ＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｅｄＴｅｍｐｏｒａｌＦｉｌｔｅｒｉｎｇ）アルゴリズムでフレーム間の時間的重複を除去する。ＭＣＴＦは時間的スケーラビリティを有するアルゴリズムであって隣接するフレーム間の時間的重複を除去する。この外に時間的スケーラビリティを有する時間的フィルタリングアルゴリズムとしてはＵＭＣＴＦや、ＳＴＡＲなどを使用することができる。

ウェーブレット変換部４２２は、時間的フィルタリングされたフレームをウェーブレット変換する。ウェーブレット変換は、ブロック単位で遂行されるＤＣＴ変換とは異なり、フレーム単位で遂行される。ウェーブレット変換は、空間的スケーラビリティを有する変換アルゴリズムであって、一つのフレームを低周波サブバンド（ＬＬサブバンド）と３個の高周波サブバンド（ＬＨ、ＨＬ、ＨＨサブバンド）に分割する。

低周波サブバンド（ＬＬサブバンド）はウェーブレット変換される前のフレームの１／４大きさを有し、ウェーブレット変換される前のフレームとほとんど類似したイメージを有する。またウェーブレット変換は低周波サブバンド（ＬＬサブバンド）を、さらに低周波サブバンド（ＬＬＬＬサブバンド）と高周波サブバンド（ＬＬＬＨ、ＬＬＨＬ、ＬＬＨＨ）に分割する。

低周波サブバンド（ＬＬＬＬサブバンド）は低周波サブバンド（ＬＬサブバンド）の１／４大きさを有し、低周波サブバンド（ＬＬサブバンド）とほとんど類似したイメージを有する。現在ウェーブレット変換では９／７フィルタ方式が主に使用されている。

量子化部４２３はウェーブレット変換されたフレームを量子化する。量子化はエンベデッド量子化アルゴリズム、例をあげればＥＺＷ、ＳＰＩＨＴ、ＥＺＢＣ、ＥＢＣＯＴなどを使用することができる。エンベデッド量子化アルゴリズムはＳＮＲスケーラビリティを提供する。

時間的フィルタリング部４２１はビデオフレーム４００の時間的重複を除去する時、隣接したフレームを参照するが第１ビデオコーディング部４１０でコーディングされたフレームを参照したりもする。

第１ビデオコーディング部４１０はブロック単位でＤＣＴ変換して量子化するためブロックアーチファクトが発生し得る。ブロックアーチファクトは第２ビデオコーディング部４２０のウェーブレットコーディングの効率を低下させる。すなわち、ブロックアーチファクトがあるフレームはウェーブレット変換を経るとノイズが変換されたフレームの全体に広がるようになり、これはウェーブレットコーディング効率の低下を引き起こす。

したがって、図４のビデオエンコーダは、階層間の雑音を除去するために階層間フィルタ４４０をさらに含む。階層間フィルタ４４０は、第１ビデオコーディング方式でコーディングされたフレームを第２ビデオコーディング方式に適合するようにフィルタリングする。図４のビデオエンコーダのように階層間に互いに異なるビデオコーディング方式が使用される場合に階層間フィルタリングはより一層必要である。

階層間フィルタ４４０は、ＤＣＴ変換方式を採用したＡＶＣコーディング方式によってコーディングされたフレームをウェーブレットコーディング過程で参照されるのに適合するようフィルタリングする。一実施形態において、ＡＶＣコーディングされたフレームをウェーブレットフィルタでアップサンプリングした後にＭＰＥＧフィルタでダウンサンプリングする。しかしこれは例示的なものであって、階層間フィルタ４４０はウェーブレットフィルタでアップサンプリングされたフレームを他のフィルタでダウンサンプリングすることもできる。

階層間フィルタ４４０が使用するダウンサンプリングフィルタの特性は周波数領域からみるとき、遮断周波数で傾きが急激に落ちる低域通過フィルタの特性を有するのが好ましい。また階層間フィルタ４４０は階層間フィルタリングされたフレームが第２ビデオコーディング部４２０でよく参照されるようにする、いかなる単一または複数のフィルタを使用することができる。

ビットストリーム生成部４３０はＡＶＣコーディングされたフレーム４３１とウェーブレットコーディングされたフレーム４３２と動きベクターおよびその他必要な情報を含むビットストリームを生成する。

図５は本発明の他の実施形態によるビデオエンコーダの構成を示すブロック図である。
ビデオエンコーダは第１ビデオコーディング部５１０と、第２ビデオコーディング部５２０と、ビットストリーム生成部５３０と、階層間フィルタ５４０、アップサンプラ５５０およびダウンサンプラ５６０を含む。図５のビデオエンコーダとはビデオフレームと低解像度ビデオフレームを互いに異なるビデオコーディング方式でコーディングする。これのためにダウンサンプラ５６０はビデオフレーム５００をダウンサンプリングして解像度を低めて低解像度フレームを生成する。

第１ビデオコーディング部５１０は低解像度フレームをビデオコーディングし、時間的フィルタリング部５１１とＤＣＴ変換部５１２と量子化部５１３を含む。第１ビデオコーディング部５１０はＡＶＣ方式で低解像度ビデオフレームをコーディングする。

時間的フィルタリング部５１１は低解像度フレームの入力を受けて、低解像度フレームが有する隣接した低解像度フレームとの時間的重複を除去する。一実施形態において、時間的フィルタリング部５１１はＭＣＴＦアルゴリズムで低解像度フレーム間の時間的重複を除去する。

ＭＣＴＦは時間的スケーラビリティを有するアルゴリズムであって、隣接する低解像度フレーム間の時間的重複を除去する。現在ＭＣＴＦは５／３フィルタ方式が主に使用される。この外に時間的スケーラビリティを有する時間的フィルタリングアルゴリズムとしてはＵＭＣＴＦやＳＴＡＲなどを使用することができる。

ＤＣＴ変換部５１２は時間的フィルタリングされたフレームをＤＣＴ変換する。ＤＣＴ変換は所定のサイズ、例をあげれば８＊８または４＊４サイズのブロック単位で遂行される。ＤＣＴ変換を経たブロックはＤＣＴ変換を経る前よりエントロピが減少する。

量子化部５１３はＤＣＴ変換されたフレームを量子化する。ＡＶＣで量子化は量子化パラメータ（Ｑｐ）値により決定される。量子化されたフレームは再順序化（ｒｅｏｒｄｅｒｉｎｇ）過程とエントロピコーディング過程を経た後にビットストリームに含まれる。

アップサンプラ５５０はＡＶＣコーディングされたフレームをフレーム５００の解像度でアップサンプリングする。

階層間フィルタ５４０はアップサンプリングされたフレームをウェーブレットコーディング過程で参照されるのに適合するようフィルタリングする。一実施形態において、アップサンプリングされたフレームをウェーブレットフィルタで改めてアップサンプリングした後にＭＰＥＧフィルタでダウンサンプリングする。しかしこれは例示的なものであって、階層間フィルタ５４０はウェーブレットフィルタでアップサンプリングされたフレームを他のフィルタでダウンサンプリングすることもできる。

階層間フィルタ５４０が使用するダウンサンプリングフィルタの特性は周波数領域からみるとき、遮断周波数で傾きが急激に落ちる低域通過フィルタの特性を有するのが好ましい。また階層間フィルタ５４０は階層間フィルタリングされたフレームが第２ビデオコーディング部５２０でよく参照されるようにする、いかなる単一または複数のフィルタを使用することもできる。

第２ビデオコーディング部５２０は、時間的フィルタリング部５２１とウェーブレット変換部５２２と量子化部５２３を含む。第２ビデオコーディング部５２０は、ウェーブレット方式でビデオフレームをコーディングする。

時間的フィルタリング部５２１はビデオフレーム５００の入力を受けて、ビデオフレーム５００が有する隣接したフレームとの時間的重複を除去する。一実施形態において、時間的フィルタリング部５２１はＭＣＴＦアルゴリズムでフレーム間の時間的重複を除去する。ＭＣＴＦは時間的スケーラビリティを有するアルゴリズムであって隣接するフレーム間の時間的重複を除去する。この外に時間的スケーラビリティを有する時間的フィルタリングアルゴリズムとしてはＵＭＣＴＦやＳＴＡＲなどを使用することができる。

ウェーブレット変換部５２２は、時間的フィルタリングされたフレームをウェーブレット変換する。ウェーブレット変換は、ブロック単位で遂行されるＤＣＴ変換とは異なりフレーム単位で遂行される。

ウェーブレット変換は、空間的スケーラビリティを有する変換アルゴリズムであって、一つのフレームを低周波サブバンド（ＬＬサブバンド）と３個の高周波サブバンド（ＬＨ、ＨＬ、ＨＨサブバンド）に分割する。低周波サブバンド（ＬＬサブバンド）はウェーブレット変換される前のフレームの１／４大きさを有し、ウェーブレット変換される前のフレームとほとんど類似したイメージを有する。

またウェーブレット変換は低周波サブバンド（ＬＬサブバンド）をまた低周波サブバンド（ＬＬＬＬサブバンド）と高周波サブバンド（ＬＬＬＨ、ＬＬＨＬ、ＬＬＨＨ）に分割する。低周波サブバンド（ＬＬＬＬサブバンド）は低周波サブバンド（ＬＬサブバンド）の１／４大きさを有し、低周波サブバンド（ＬＬサブバンド）とほとんど類似したイメージを有する。現在ウェーブレット変換では９／７フィルタ方式が主に使用されている。

量子化部５２３は、ウェーブレット変換されたフレームを量子化する。量子化はエンベデッド量子化アルゴリズム、例をあげればＥＺＷ、ＳＰＩＨＴ、ＥＺＢＣ、ＥＢＣＯＴなどを使用することができる。エンベデッド量子化アルゴリズムはＳＮＲスケーラビリティを提供する。

時間的フィルタリング部５２１はビデオフレーム５００の時間的重複を除去する時、隣接したフレームを参照するが第１ビデオコーディング部５１０でコーディングされたフレームを参照したりもする。第１ビデオコーディング部５１０でコーディングされたフレームはアップサンプリングされ、階層間フィルタリングされた後で時間的フィルタリング部５２１に提供される。

ビットストリーム生成部５３０はＡＶＣコーディングされたフレーム５３１と、ウェーブレットコーディングされたフレーム５３２と、動きベクターおよびその他必要な情報を含むビットストリームを生成する。

時間的フィルタリング部に対するより詳細な構成は図６を参照して説明する。
図６は本発明の一実施形態による時間的フィルタリング部の構成を示すブロック図である。時間的フィルタリング部は図４および図５の第１ビデオコーディング部と、第２ビデオコーディング部のともに使用が可能であるが、便宜上図４の第２ビデオコーディング部に適用されたものを基準として説明する。

時間的フィルタリング部６００はＧＯＰ単位で、ＭＣＴＦ方式でビデオフレームの時間的重複を除去する。このために時間的フィルタリング部６００は予測フレームを生成する予測フレーム生成部６１０と、予測フレームをスムージングする予測平滑化部６２０と、スムージングされた予測フレームを利用してビデオフレームから差分フレームを生成する差分フレーム生成部６３０、および生成された差分フレームを利用してビデオフレームをアップデートするアップデート部６４０を含む。

予測フレーム生成部６１０は差分フレームの生成のためにビデオフレームと比較される予測フレームを生成する。予測フレーム生成部６１０は予測フレームを生成するために前記ビデオフレームに隣接したビデオフレームおよび階層間フィルタリングされたフレームを参照する。予測フレーム生成部６１０は、前記ビデオフレームの各ブロックにマッチングするブロックを参照フレーム（隣接したビデオフレームおよび階層間フィルタリングされたフレーム）から探したり（インターコーディング）、前記ビデオフレームの他のブロックから探す（イントラコーディング）。

予測平滑化部６２０は予測フレーム（ｐｒｅｄｉｃｔｉｏｎｆｒａｍｅ）をスムージングする。なぜならば参照フレームから探した、前記ビデオフレームのブロックに対応するブロックで構成された予測フレームのブロック境界でブロック化現象が現れるためである。一実施形態において、予測平滑化部６２０は予測フレームのブロック間境界にあるピクセルをデブロッキングする。

デブロッキングにアルゴリズムはＨ．２６４等のビデオコーディング方式で広く使用されているアルゴリズムで、これに対する説明は省略する。

差分フレーム生成部６３０は前記ビデオフレームと平滑化された予測フレームを比較して時間的重複が除去された差分フレームを生成する。

アップデート部６４０は差分フレームを利用して他のビデオフレームをアップデートする。アップデートされたビデオフレームは改めて予測フレーム生成部６１０に提供される。

例えば、ＧＯＰが８個のビデオプレイムドゥルで構成された場合に時間的フィルタリング部６００は１、３、５、７番フレームの時間的重複を除去して差分フレームを生成し、１、３、５、７番差分フレームを利用して、０、２、４、６番フレームをアップデートする。時間的フィルタリング部６００はアップデートされた０、２、４、６番フレームのうちで２、６番フレームの時間的重複を除去して差分フレームを生成し、２、６番差分フレームを利用して、０、４番フレームをアップデートする。

それから時間的フィルタリング部６００はアップデートされた０、４番フレームのうちで４番フレームの時間的重複を除去して差分フレームを生成し、４番差分フレームを利用して、０番フレームをアップデートする。このような過程を通して、時間的フィルタリング部６００は８個のビデオフレームを時間的フィルタリングし一つの低周波フレーム（アップデートされた０番フレーム）および７個の高周波フレーム（１ないし７番差分フレーム）を得る。

ビデオコーディング過程および時間的フィルタリング過程に対する説明は図７および図８を参照して説明する。二つの階層でビデオコーディングする過程を説明する。

まずに図７を参照してビデオコーディング過程を説明する。
ビデオエンコーダはビデオフレームの入力を受ける（Ｓ７１０）。ビデオフレームが入力されると、ビデオエンコーダは入力受けたフレームをＡＶＣコーディング方式でコーディングする（Ｓ７２０）。

本実施形態で第１階層をＡＶＣコーディング方式でコーディングする理由はＡＶＣコーディング方式が現在知られているコーディング方式中でコーディング効率が最も良いためである。しかしこれは例示的なものであって他のビデオコーディングアルゴリズムで第１階層をコーディングすることもできる。

第１階層のコーディングが終わると、ビデオエンコーダは階層間フィルタリング過程を遂行する（Ｓ７３０）。ビデオエンコーダは、ＡＶＣコーディングされたフレームが第２階層のコーディング過程で、よく参照されるようにＡＶＣコーディングされたフレームをフィルタリングする。一実施形態において、階層間フィルタリング過程はＡＶＣコーディングされたフレームをウェーブレット方式でアップサンプリングした後にＭＰＥＧ方式でダウンサンプリングする。

階層間フィルタリング過程が終わると、ビデオエンコーダは階層間フィルタリングされたフレームを参照してビデオフレームをウェーブレットコーディング方式でコーディングする（Ｓ７４０）。

ウェーブレットコーディング過程が終わると、ビデオエンコーダはＡＶＣコーディングされたフレームとウェーブレットコーディングされたフレームを含むビットストリームを生成する（Ｓ７５０）。

一方、第１階層と第２階層の解像度が異なる場合にビデオエンコーダはＡＶＣコーディング過程で入力されたビデオフレームをダウンサンプリングして得た低解像度フレームを使用する。ＡＶＣコーディング過程が終わった後にビデオエンコーダはＡＶＣコーディングされたフレームの解像度を変更する。例えば、第１階層の解像度が第２階層の解像度より低解像度の場合に、ビデオエンコーダは第２階層の解像度でＡＶＣコーディングされたフレームをアップサンプリングする。それからビデオエンコーダはアップサンプリングされたフレームを階層間フィルタリングをする。

図８は第２階層のビデオコーディング過程をより詳細に示すフローチャートである。
第２ビデオコーディング部は、ビデオフレームおよび第１階層のビデオコーディングされたフレームを階層間フィルタリングして得た階層間フィルタリングされたフレームの入力を受ける（Ｓ８１０）。

ビデオフレームおよび階層間フィルタリングされたフレームが入力されると、第２ビデオコーディング部はビデオフレームの時間的重複を除去するのに使用される予測フレームを生成するために動きの推定過程を遂行する（Ｓ８２０）。動き推定アルゴリズムとしてブロックマッチングアルゴリズム、階層的可変サイズブロック（ＨｉｅｒａｃｈｉｃａｌＶａｒｉｂｌｅＳｉｚｅＢｌｏｃｋ）アルゴリズムなど多様なアルゴリズムが知られている。

動き推定過程が終わると、第２ビデオコーディング部は動き推定過程で得た動きベクターを利用して、予測フレームを生成する（Ｓ８３０）。

予測フレームが生成されると、第２ビデオコーディング部は予測フレームを平滑化する（Ｓ８４０）。予測フレームを平滑化する理由は、差分フレームでブロック化が少なく生じるようにするためである。差分フレームでブロックの境界が明確に現れる場合にウェーブレット変換および量子化過程でコーディング効率が低下するためである。

予測フレーム平滑化が終わると、第２ビデオコーディング部は予測フレームとビデオフレームを比較して差分フレームを生成する（Ｓ８５０）。差分フレームはＭＣＴＦ過程を通して生成された高周波フレーム（Ｈフレーム）に該当する。

差分フレームが生成されると、時間的フィルタリング部は差分フレームを利用して他のビデオフレームをアップデートする（Ｓ８６０）。アップデートされたフレームはＭＣＴＦ過程を通して生成された低周波フレーム（Ｌフレーム）に該当する。

Ｓ８２０ないしＳ８６０過程を通してＧＯＰ単位で低周波フレームおよび高周波フレームを生成すると、第２ビデオコーディング部は時間的フィルタリングされたフレーム（低周波フレームおよび高周波フレーム）をウェーブレット変換する（８７０）。ウェーブレット変換方式では９／７フィルタを使用することができるが、１１／９または１３／１１フィルタなどを使用することもできる。

第２ビデオコーディング部はウェーブレット変換されたフレームを量子化する（Ｓ８８０）。量子化アルゴリズムとしてＥＺＷ、ＳＰＩＨＴ、ＥＺＢＣ、ＥＢＣＯＴなどのエンベデッド量子化アルゴリズムを使用することができる。

次にビデオデコーダおよびデコーディング過程に対して説明する。基本的にビデオデコーディング過程はビデオコーディング過程と反対に遂行される。しかしビデオコーディング過程とビデオデコーディング過程において階層間のコーディング順序およびデコーディング順序は同一である。すなわち、ビデオエンコーダが第１階層をコーディングしてから第２階層をコーディングする場合に、ビデオデコーダも第１階層をデコーディングしてから第２階層をデコーディングする。

便宜上２個の階層を有するビットストリームからビデオフレームを再構成するビデオデコーダを説明する。

図９は第１階層と第２階層が同一な解像度である場合にビデオデコーダの構成を示しており、図１０は第１階層の解像度が第２階層の解像度より低い解像度を有する場合のビデオデコーダの構成を示している。

図９を参照すれば、ビデオデコーダはビットストリーム解析部９００と、第１ビデオデコーディング部９１０と、第２ビデオデコーディング部９２０、および階層間フィルタリング部９４０を含む。

ビットストリーム解析部９００は入力されたビットストリームを解析して、第１ビデオコーディング方式でコーディングされたフレームと第２ビデオコーディング方式でコーディングされたフレームを抽出する。第１ビデオコーディング方式でコーディングされたフレームは第１ビデオデコーディング部９１０で提供され、第２ビデオコーディング方式でコーディングされたフレームは第２ビデオデコーディング部９２０に提供される。

第１ビデオデコーディング部９１０は逆量子化部９１１と、逆ＤＣＴ変換部９１２、および逆時間的フィルタリング部９１３を含む。

逆量子化部９１１は第１ビデオコーディング方式でコーディングされたフレームを逆量子化する。逆量子化過程はエントロピデコーディング過程と、逆スキャニング過程および量子化テーブルを参照してＤＣＴ変換されたフレームを再構成する過程を含むことができる。

逆ＤＣＴ変換部９１２は逆量子化されたフレームを逆ＤＣＴ変換する。
逆時間的フィルタリング部９１３は逆ＤＣＴ変換されたフレームから第１階層のビデオフレームを再構成する。再構成された第１階層フレームは本来のビデオフレームを低いビットレートでコーディングした後に、改めてデコーディングし再構成したフレームに該当する。

階層間フィルタ９４０は再構成された第１階層フレームを階層間フィルタリングする。階層間フィルタリングアルゴリズムとしてはデブロッキングアルゴリズムが使用され得る。

第２ビデオデコーディング部９２０は逆量子化部９２１と、逆ウェーブレット変換部９２２、および逆時間的フィルタリング部９２３を含む。

逆量子化部９２１は第２ビデオコーディング方式でコーディングされたフレームを逆量子化する。逆量子化過程はエントロピデコーディング過程と、逆スキャニング過程および量子化テーブルを参照してウェーブレット変換されたフレームを再構成する過程を含み得る。

逆ウェーブレット変換部９２２は逆量子化されたフレームを逆ウェーブレット変換する。逆時間的フィルタリング部９２３は逆ウェーブレット変換されたフレームから第２階層のビデオフレームを再構成する。この時、逆時間的フィルタリング部９２３は階層間フィルタリングされたフレームを参照してデコーディングされたフレーム９３２を出力する。

再構成された第２階層フレームは本来のビデオフレームを高いビットレートでコーディングした後に、改めてデコーディングして再構成したフレームに該当する。

図１０を参照すれば、ビデオデコーダはビットストリーム解析部１０００と、第１ビデオデコーディング部１０１０と、第２ビデオデコーディング部１０２０、階層間フィルタリング部１０４０、およびアップサンプラ１０５０を含む。

ビットストリーム解析部１０００は入力されたビットストリームを解析し、第１ビデオコーディング方式でコーディングされたフレームと第２ビデオコーディング方式でコーディングされたフレームを抽出する。第１ビデオコーディング方式でコーディングされたフレームは第２ビデオコーディング方式でコーディングされたフレームより低い解像度を有する。第１ビデオコーディング方式でコーディングされたフレームは第１ビデオデコーディング部１０１０に提供され、第２ビデオコーディング方式でコーディングされたフレームは第２ビデオデコーディング部１０２０に提供される。

第１ビデオデコーディング部１０１０は逆量子化部１０１１と、逆ＤＣＴ変換部１０１２、および逆時間的フィルタリング部１０１３を含む。

逆量子化部１０１１は第１ビデオコーディング方式でコーディングされたフレームを逆量子化する。逆量子化過程はエントロピデコーディング過程と、逆スキャニング過程および量子化テーブルを参照してＤＣＴ変換されたフレームを再構成する過程を含み得る。

逆ＤＣＴ変換部１０１２は逆量子化されたフレームを逆ＤＣＴ変換する。逆時間的フィルタリング部１０１３は逆ＤＣＴ変換されたフレームから第１階層のビデオフレームを再構成してデコーディングされたフレーム１０３１を出力する。再構成された第１階層フレームは本来のビデオフレームをダウンサンプリングとコーディングした後に、改めてデコーディングして再構成したフレームに該当する。

アップサンプラ１０５０は再構成された第２階層の解像度で第１階層フレームをアップサンプリングする。

階層間フィルタ１０４０はアップサンプリングされたフレームを階層間フィルタリングする。階層間フィルタリングアルゴリズムとしてはデブロッキングアルゴリズムが使用され得る。

第２ビデオデコーディング部１０２０は逆量子化部１０２１と、逆ウェーブレット変換部１０２２、および逆時間的フィルタリング部１０２３を含む。

逆量子化部１０２１は第２ビデオコーディング方式でコーディングされたフレームを逆量子化する。逆量子化過程はエントロピデコーディング過程と、逆スキャニング過程および量子化テーブルを参照してウェーブレット変換されたフレームを、再構成する過程を含み得る。

逆ウェーブレット変換部１０２２は逆量子化されたフレームを逆ウェーブレット変換する。逆時間的フィルタリング部１０２３は逆ウェーブレット変換されたフレームから第２階層のビデオフレームを再構成する。この時、逆時間的フィルタリング部１０２３は階層間フィルタリングされたフレームを参照してデコーディングされたフレーム１０３２を出力する。再構成された第２階層フレームは本来のビデオフレームをコーディングした後に、改めてデコーディングして再構成したフレームに該当する。

図１１は本発明の一実施形態による逆時間的フィルタリング部の構成を示すブロック図である。逆時間的フィルタリング部は図９および図１０の第１ビデオデコーディング部と第２ビデオデコーディング部のすべてで使用が可能であるが、便宜上図９の第２ビデオデコーディング部に適用されたものを基準として説明する。

逆時間的フィルタリング部１１００はＧＯＰ単位で、ＭＣＴＦ方式でビデオフレームの逆ウェーブレット変換されたフレームからビデオフレームを再構成する。逆時間的フィルタリング部１１００に入力される逆ウェーブレット変換されたフレームはビデオコーディング過程で時間的重複が除去された低周波フレームおよび高周波フレームに該当する。

例えば、一つのＧＯＰが８個のフレームで構成された場合に、逆ウェーブレット変換されたフレームはビデオコーディング過程で得た一つの低周波フレーム（アップデートされた０番フレーム）および７個の高周波フレーム（１ないし７番差分フレーム）に該当する。

このために逆時間的フィルタリング部１１００は逆アップデート部１１１０と、予測フレーム生成部１１２０と、予測平滑化部１１３０、およびフレーム再構成部１１４０を含む。

逆アップデート部１１１０はビデオコーディング過程と反対に逆ウェーブレット変換されたフレームを逆アップデートする。

予測フレーム生成部１１２０は差分フレームから低周波フレームまたはビデオフレームを再構成するための予測フレームを生成する。予測フレーム生成部１１２０は予測フレームを生成する時、階層間フィルタリングされたフレームを参照する。

予測平滑化部１１３０は生成された予測フレームを平滑化する。
フレーム再構成部１１４０は平滑化された予測フレームを利用して高周波フレームから低周波フレームまたはビデオフレームを再構成する。

例えば、ＧＯＰが８個のビデオプレイムドゥルで構成された場合に逆時間的フィルタリング部１１００は４番差分フレームおよび０番階層間フィルタリングされたフレームを利用して、０番低周波フレームを逆アップデートする。

そして逆時間的フィルタリング部１１００は０番低周波フレームを利用して、４番差分フレームに対する予測フレームを生成し、生成された予測フレームを利用して、４番差分フレームから４番低周波フレームを生成する。

そして逆時間的フィルタリング部１１００は２、６番差分フレームおよび０、４番階層間フィルタリングされたフレームを利用して、０、４番低周波フレームを逆アップデートする。

そして逆時間的フィルタリング部１１００は０、４番低周波フレームおよび階層間フィルタリングされた２、６番フレームを利用して、２、６番差分フレームに対する予測フレームを生成し、生成された予測フレームを利用して、２、６番差分フレームから２、６番低周波フレームを生成する。

そして逆時間的フィルタリング部１１００は１、３、５、７番差分フレームおよび０、２、４、６番階層間フィルタリングされたフレームを利用して、０、２、４、６番フレームを逆アップデートし、０、２、４、６番ビデオフレームを再構成する。

最後に逆時間的フィルタリング部１１００は再構成された０、２、４、６番フレームおよび階層間フィルタリングされた１、３、５、７番フレームを利用して、１、３、５、７番差分フレームに対する予測フレームを生成し、生成された予測フレームを利用して、１、３、５、７番ビデオフレームを再構成する。

次にビデオデコーディング過程を図１２および図１３を参照して説明する。
図１２は本発明の一実施形態によるビデオデコーディング過程を示すフローチャートである。ビデオデコーダはビットストリームの入力を受ける（Ｓ１２１０）。ビットストリームの入力を受けるとビデオデコーダは第１ビデオコーディング方式でコーディングされたフレームと第２ビデオコーディング方式でコーディングされたフレームを抽出する。

例えば、第１ビデオコーディング方式でコーディングされたフレームはＡＶＣコーディング方式でコーディングされたフレームであり、第２ビデオコーディング方式でコーディングされたフレームはウェーブレットコーディング方式でコーディングされたフレームである。

ＡＶＣコーディング方式でコーディングされたフレームを抽出すると、ビデオデコーダはＡＶＣコーディング方式でコーディングされたフレームをＡＶＣデコーディング方式でデコーディングする（Ｓ１２２０）。

ＡＶＣデコーディング方式でデコーディングした後に、ビデオデコーダはＡＶＣデコーディングされたフレーム階層間フィルタリングする（Ｓ１２３０）。

階層間フィルタリングが終わると、ビデオデコーダはウェーブレットコーディング方式でコーディングされたフレームを、前記階層間フィルタリングされたフレームを参照してウェーブレットデコーディング方式でデコーディングする（Ｓ１２４０）。

ウェーブレットデコーディング過程が終わると、ビデオデコーダは再構成されたビデオフレームを利用して、ビデオ信号を生成する（Ｓ１２５０）。すなわち、ビデオデコーダは再構成されたピクセル値のＹ、Ｕ、Ｖ成分をＲ、Ｇ、Ｂ成分に変換する。

図１３は本発明の一実施形態による第２階層の逆時間的フィルタリング過程をより詳細に示すフローチャートである。

逆時間的フィルタリング部は逆ウェーブレット変換されたフレームおよび階層間フィルタリングされたフレームの入力を受ける（Ｓ１３１０）。逆ウェーブレット変換されたフレームはＧＯＰごとに低周波フレームと高周波フレームで構成される。

逆時間的フィルタリング部は逆ウェーブレット変換されたフレームのうちで高周波フレームと階層間フィルタリングされたフレームを利用して低周波フレームを逆アップデートさせる（Ｓ１３２０）。

逆アップデート過程が終わると、逆時間的フィルタリング部は逆アップデートされた低周波フレームおよび階層間フィルタリングされたフレームを利用して予測フレームを生成する（Ｓ１３３０）。

予測フレームが生成されると、逆時間的フィルタリング部は生成された予測フレームを平滑化する（Ｓ１３４０）。

予測フレーム平滑化過程が終わると、逆時間的フィルタリング部は平滑化された予測フレームおよび高周波フレームを利用して低周波フレームまたはビデオフレームを再構成する（Ｓ１３５０）。

本明細書に開示された実施形態と図は例示的なものであって、本発明の技術的思想はこれに限定されない。例えば、詳細な説明においてＡＶＣコーディング方式とウェーブレットコーディング方式を使用するビデオエンコーダを説明したが、これは例示的なものであって、これと異なるコーディング方式を使用するビデオエンコーダにも本発明は適用され得る。したがって以上の説明は例示的なものであり、本発明の技術思想は前述の特許請求範囲によってより明確に限定されるものである。

ビデオ圧縮が適用される環境を示す図である。多階層ビデオコーディングによって生成されたビットストリームの構造の例を示す図である。多階層ビデオコーディングによって生成されたビットストリームの構造の例を示す図である。本発明の一実施形態によるビデオエンコーダの構成を示すブロック図である。本発明の他の実施形態によるビデオエンコーダの構成を示すブロック図である。本発明の一実施形態による時間的フィルタリング部の構成を示すブロック図である。本発明の一実施形態によるビデオコーディング過程を示すフローチャートである。本発明の一実施形態による第２階層のビデオコーディング過程をより詳細に示すフローチャートである。本発明の一実施形態によるビデオデコーダの構成を示すブロック図である。本発明の他の実施形態によるビデオデコーダの構成を示すブロック図である。本発明の一実施形態による逆時間的フィルタリング部の構成を示すブロック図である。本発明の一実施形態によるビデオデコーディング過程を示すフローチャートである。本発明の一実施形態による第２階層の逆時間的フィルタリング過程をより詳細に示すフローチャートである。

Claims

ビデオフレームを第１ビデオコーディング方式でコーディングする段階と、
前記第１ビデオコーディング方式でコーディングされたフレームを階層間フィルタリングする段階と、
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームを第２ビデオコーディング方式でコーディングする段階、および
前記第１および第２ビデオコーディング方式でコーディングされたフレームを含むビットストリームを生成する段階を含むビデオコーディング方法。
前記第１ビデオコーディング方式は、ＡＶＣコーディング方式であり、前記第２ビデオコーディング方式はウェーブレットコーディング方式である請求項１に記載のビデオコーディング方法。
前記階層間フィルタリングは、前記ＡＶＣコーディング方式でコーディングされたフレームをウェーブレットフィルタでアップサンプリングし、アップサンプリングされたフレームをＭＰＥＧフィルタでダウンサンプリングして成される請求項２に記載のビデオコーディング方法。
前記第２ビデオコーディング方式でコーディングする段階は、
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームをＭＣＴＦ方式で時間的フィルタリングする段階と、
前記ＭＣＴＦ方式で時間的フィルタリングされたフレームをウェーブレット変換する段階、および
前記ウェーブレット変換されたフレームを量子化する段階を含む請求項１に記載のビデオコーディング方法。
前記ＭＣＴＦ方式で時間的フィルタリングする段階は、
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームに対する予測フレームを生成する段階と、
前記予測フレームを平滑化する段階と、
前記平滑化された予測フレームを利用して前記ビデオフレームに対する差分フレームを生成する段階、および
前記差分フレームを利用して前記ビデオフレームをアップデートする段階を含む請求項４に記載のビデオコーディング方法。
ビデオフレームをダウンサンプリングして低解像度フレームを生成する段階と、
前記低解像度ビデオフレームを第１ビデオコーディング方式でコーディングする段階と、
前記第１ビデオコーディング方式でコーディングされたフレームを前記ビデオフレームの解像度でアップサンプリングする段階と、
前記アップサンプリングされたフレームを階層間フィルタリングする段階と、
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームを第２ビデオコーディング方式でコーディングする段階、および
前記前記第１および第２ビデオコーディング方式でコーディングされたフレームを含むビットストリームを生成する段階を含むビデオコーディング方法。
前記第１ビデオコーディング方式は、ＡＶＣコーディング方式であり、前記第２ビデオコーディング方式はウェーブレットコーディング方式である請求項６に記載のビデオコーディング方法。
前記階層間フィルタリングは前記アップサンプリングされたフレームをウェーブレットフィルタで改めてアップサンプリングし、ウェーブレットフィルタでアップサンプリングされたフレームをＭＰＥＧフィルタでダウンサンプリングして成される請求項７に記載のビデオコーディング方法。
前記第２ビデオコーディング方式でコーディングする段階は、
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームをＭＣＴＦ方式で時間的フィルタリングする段階と、
前記ＭＣＴＦ方式で時間的フィルタリングされたフレームをウェーブレット変換する段階、および
前記ウェーブレット変換されたフレームを量子化する段階を含む請求項６に記載のビデオコーディング方法。
前記ＭＣＴＦ方式で時間的フィルタリングする段階は、
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームに対する予測フレームを生成する段階と、
前記予測フレームを平滑化する段階、
前記平滑化された予測フレームを利用して前記ビデオフレームに対する差分フレームを生成する段階、および
前記差分フレームを利用して前記ビデオフレームをアップデートする段階を含む請求項９に記載のビデオコーディング方法。
ビデオフレームを第１ビデオコーディング方式でコーディングする第１ビデオコーディング部と、
前記第１ビデオコーディング方式でコーディングされたフレームを階層間フィルタリングする階層間フィルタと、
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームを第２ビデオコーディング方式でコーディングする第２ビデオコーディング部、および
前記第１および第２ビデオコーディング方式でコーディングされたフレームを含むビットストリームを生成するビットストリーム生成部を含むビデオエンコーダ。
前記第１ビデオコーディング部は、ＡＶＣコーディング方式で前記フレームをコーディングし、前記第２ビデオコーディング部はウェーブレットコーディング方式で前記フレームをコーディングする請求項１１に記載のビデオエンコーダ。
前記階層間フィルタは、前記ＡＶＣコーディング方式でコーディングされたフレームをウェーブレットフィルタリング方式でアップサンプリングし、アップサンプリングされたフレームをＭＰＥＧフィルタリング方式でダウンサンプリングする請求項１２に記載のビデオエンコーダ。
前記第２ビデオコーディング部は、
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームをＭＣＴＦ方式で時間的フィルタリングする時間的フィルタリング部と、
前記時間的フィルタリングされたフレームをウェーブレット変換するウェーブレット変換部、および
前記ウェーブレット変換されたフレームを量子化する量子化部を含む請求項１１に記載のビデオエンコーダ。
前記時間的フィルタリング部は、
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームに対する予測フレームを生成する予測フレーム生成部と、
前記予測フレームを平滑化する予測平滑化部と、
前記平滑化された予測フレームを利用して前記ビデオフレームに対する差分フレームを生成する差分フレーム生成部、および
前記差分フレームを利用して前記ビデオフレームをアップデートするアップデート部を含む請求項１４に記載のビデオエンコーダ。
ビデオフレームをダウンサンプリングして低解像度フレームを生成するダウンサンプラと、
前記低解像度ビデオフレームを第１ビデオコーディング方式でコーディングする第１ビデオコーディング部と、
前記第１ビデオコーディング方式でコーディングされたフレームをアップサンプリングするアップサンプラと、
前記アップサンプリングされたフレームを階層間フィルタリングする階層間フィルタと、
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームを第２ビデオコーディング方式でコーディングする第２ビデオコーディング部、および
前記第１および第２ビデオコーディング方式でコーディングされたフレームを含むビットストリームを生成するビットストリーム生成部を含むビデオエンコーダ。
前記第１ビデオコーディング部はＡＶＣコーディング方式で前記フレームをコーディングし、前記第２ビデオコーディング部はウェーブレットコーディング方式で前記フレームをコーディングする請求項１６に記載のビデオエンコーダ。
前記階層間フィルタは前記アップサンプリングされたフレームをウェーブレットフィルタリング方式で改めてアップサンプリングし、ウェーブレットフィルタリング方式でアップサンプリングされたフレームをＭＰＥＧフィルタリング方式でダウンサンプリングする請求項１７に記載のビデオエンコーダ。
前記第２ビデオコーディング部は、
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームをＭＣＴＦ方式で時間的フィルタリングする時間的フィルタリング部と、
前記時間的フィルタリングされたフレームをウェーブレット変換するウェーブレット変換部、および
前記ウェーブレット変換されたフレームを量子化する量子化部を含む請求項１６に記載のビデオエンコーダ。
前記時間的フィルタリング部は
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームに対する予測フレームを生成する予測フレーム生成部と、
前記予測フレームを平滑化する予測平滑化部と、
前記平滑化された予測フレームを利用して前記ビデオフレームに対する差分フレームを生成する差分フレーム生成部、および
前記差分フレームを利用して前記ビデオフレームをアップデートするアップデート部を含む請求項１９に記載のビデオエンコーダ。
ビットストリームから第１ビデオコーディング方式でコーディングされたフレームおよび第２ビデオコーディング方式でコーディングされたフレームを抽出する段階と、
前記第１ビデオコーディング方式でコーディングされたフレームを第１ビデオデコーディング方式でデコーディングして第１階層フレームを再構成する段階と、
前記再構成された第１階層フレームを階層間フィルタリングする段階、および
前記階層間フィルタリングされた第１階層フレームを参照して前記第２ビデオコーディング方式でコーディングされたフレームを第２ビデオデコーディング方式でデコーディングして第２階層フレームを再構成する段階を含むビデオデコーディング方法。
前記第１ビデオコーディングおよびデコーディング方式は、ＡＶＣ方式であり、前記第２ビデオコーディングおよびデコーディング方式はウェーブレット方式である請求項２１に記載のビデオデコーディング方法。
前記階層間フィルタリングは、前記ＡＶＣデコーディング方式でデコーディングされたフレームをウェーブレットフィルタでアップサンプリングし、アップサンプリングされたフレームをＭＰＥＧフィルタでダウンサンプリングして成される請求項２２に記載のビデオデコーディング方法。
前記第２階層フレームを再構成する段階は、
前記第２ビデオコーディング方式でコーディングされたフレームを逆量子化する段階と、
前記逆量子化されたフレームを逆ウェーブレット変換する段階、および
前記階層間フィルタリングされた第１階層フレームを参照して前記逆ウェーブレット変換されたフレームをＭＣＴＦ方式で逆時間的フィルタリングする段階を含む請求項２１に記載のビデオデコーディング方法。
前記ＭＣＴＦ方式で逆時間的フィルタリングする段階は、
前記逆ウェーブレット変換されたフレームを逆アップデートする段階、
前記逆アップデートされたフレームおよび前記階層間フィルタリングされた第１階層フレームを参照して予測フレームを生成する段階、
前記予測フレームを平滑化する段階、および
前記逆アップデートされたフレームおよび前記平滑化された予測フレームを利用して前記第２階層フレームを再構成する段階を含む請求項２４に記載のビデオデコーディング方法。
ビットストリームから第１ビデオコーディング方式でコーディングされたフレームおよび第２ビデオコーディング方式でコーディングされたフレームを抽出する段階と、
前記第１ビデオコーディング方式でコーディングされたフレームを第１ビデオデコーディング方式でデコーディングして第１階層フレームを再構成する段階と、
前記再構成された第１階層フレームをアップサンプリングする段階と、
前記アップサンプリングされた第１階層フレームを階層間フィルタリングする段階、および
前記階層間フィルタリングされた第１階層フレームを参照して前記第２ビデオコーディング方式でコーディングされたフレームを第２ビデオデコーディング方式でデコーディングして、第２階層フレームを再構成する段階を含むビデオデコーディング方法。
前記第１ビデオコーディングおよびデコーディング方式は、ＡＶＣ方式で、前記第２ビデオコーディングおよびデコーディング方式はウェーブレット方式である請求項２６に記載のビデオデコーディング方法。
前記階層間フィルタリングは、前記ＡＶＣデコーディング方式でデコーディングされたフレームをウェーブレットフィルタでアップサンプリングし、アップサンプリングされたフレームをＭＰＥＧフィルタでダウンサンプリングして成される請求項２７に記載のビデオデコーディング方法。
前記第２階層フレームを再構成する段階は、
前記第２ビデオコーディング方式でコーディングされたフレームを逆量子化する段階と、
前記逆量子化されたフレームを逆ウェーブレット変換する段階、および
前記階層間フィルタリングされた第１階層フレームを参照して前記逆ウェーブレット変換されたフレームをＭＣＴＦ方式で逆時間的フィルタリングする段階を含む請求項２６に記載のビデオデコーディング方法。
前記ＭＣＴＦ方式で逆時間的フィルタリングする段階は、
前記逆ウェーブレット変換されたフレームを逆アップデートする段階と、
前記逆アップデートされたフレームおよび前記階層間フィルタリングされた第１階層フレームを参照して予測フレームを生成する段階と、
前記予測フレームを平滑化する段階、および
前記逆アップデートされたフレームおよび前記平滑化された予測フレームを利用して前記第２階層フレームを再構成する段階を含む請求項２９に記載のビデオデコーディング方法。
ビットストリームから第１ビデオコーディング方式でコーディングされたフレームおよび第２ビデオコーディング方式でコーディングされたフレームを抽出するビットストリーム解析部と、
前記第１ビデオコーディング方式でコーディングされたフレームを第１ビデオデコーディング方式でデコーディングして第１階層フレームを再構成する第１ビデオデコーディング部と、
前記再構成された第１階層フレームを階層間フィルタリングする階層間フィルタ、および
前記階層間フィルタリングされた第１階層フレームを参照して前記第２ビデオコーディング方式でコーディングされたフレームを第２ビデオデコーディング方式でデコーディングして第２階層フレームを再構成する第２ビデオデコーディング部を含むビデオデコーダ。
前記第１ビデオデコーディング部は、ＡＶＣデコーディング方式で前記第１階層フレームを再構成し、前記第２ビデオデコーディング部はウェーブレットデコーディング方式で前記第２階層フレームを再構成する請求項３１に記載のビデオデコーダ。
前記階層間フィルタは、前記ＡＶＣデコーディング方式でデコーディングされたフレームをウェーブレットフィルタでアップサンプリングし、アップサンプリングされたフレームをＭＰＥＧフィルタでダウンサンプリングする請求項３２に記載のビデオデコーダ。
前記第２ビデオデコーディング部は、
前記第２ビデオコーディング方式でコーディングされたフレームを逆量子化する逆量子化部と、
前記逆量子化されたフレームを逆ウェーブレット変換する逆ウェーブレット変換部、および
前記階層間フィルタリングされた第１階層フレームを参照して前記逆ウェーブレット変換されたフレームをＭＣＴＦ方式で逆時間的フィルタリングする逆時間的フィルタリング部を含む請求項３１に記載のビデオデコーダ。
前記逆時間的フィルタリング部は、
前記逆ウェーブレット変換されたフレームを逆アップデートする逆アップデート部と、
前記逆アップデートされたフレームおよび前記階層間フィルタリングされた第１階層フレームを参照して予測フレームを生成する予測フレーム生成部と、
前記予測フレームを平滑化する予測平滑化部、および
前記逆アップデートされたフレームおよび前記平滑化された予測フレームを利用して前記第２階層フレームを再構成するフレーム再構成部を含む請求項３４に記載のビデオデコーダ。
ビットストリームから第１ビデオコーディング方式でコーディングされたフレームおよび第２ビデオコーディング方式でコーディングされたフレームを抽出するビットストリーム解析部と、
前記第１ビデオコーディング方式でコーディングされたフレームを第１ビデオデコーディング方式でデコーディングして第１階層フレームを再構成する第１ビデオデコーディング部と、
前記再構成された第１階層フレームをアップサンプリングするアップサンプラと、
前記アップサンプリングされた第１階層フレームを階層間フィルタリングする階層間フィルタ、および
前記階層間フィルタリングされた第１階層フレームを参照して、前記第２ビデオコーディング方式でコーディングされたフレームを第２ビデオデコーディング方式でデコーディングして、第２階層フレームを再構成する第２ビデオデコーディング部を含むビデオデコーダ。
前記第１ビデオデコーディング部はＡＶＣデコーディング方式で前記第１階層フレームを再構成し、前記第２ビデオデコーディング部はウェーブレットデコーディング方式で前記第２階層フレームを再構成する請求項３６に記載のビデオデコーダ。
前記階層間フィルタは、前記アップサンプリングされた第１階層フレームをウェーブレットフィルタでアップサンプリングし、アップサンプリングされたフレームをＭＰＥＧフィルタでダウンサンプリングする請求項３７に記載のビデオデコーダ。
前記第２ビデオデコーディング部は、
前記第２ビデオコーディング方式でコーディングされたフレームを逆量子化する逆量子化部と、
前記逆量子化されたフレームを逆ウェーブレット変換する逆ウェーブレット変換部、および
前記階層間フィルタリングされた第１階層フレームを参照して前記逆ウェーブレット変換されたフレームをＭＣＴＦ方式で逆時間的フィルタリングする逆時間的フィルタリング部を含む請求項３６に記載のビデオデコーダ。
前記逆時間的フィルタリング部は、
前記逆ウェーブレット変換されたフレームを逆アップデートする逆アップデート部と、
前記逆アップデートされたフレームおよび前記階層間フィルタリングされた第１階層フレームを参照して予測フレームを生成する予測フレーム生成部と、
前記予測フレームを平滑化する予測平滑化部、および
前記逆アップデートされたフレームおよび前記平滑化された予測フレームを利用して前記第２階層フレームを再構成するフレーム再構成部を含む請求項３９に記載のビデオデコーダ。
ビデオコーディング方法を実行するためのコンピュータで判読可能なプログラムを記録した記録媒体において、前記方法は、
ビデオフレームを第１ビデオコーディング方式でコーディングする段階と、
前記第１ビデオコーディング方式でコーディングされたフレームを階層間フィルタリングする段階と、
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームを第２ビデオコーディング方式でコーディングする段階、および
前記第１および第２ビデオコーディング方式でコーディングされたフレームを含むビットストリームを生成する段階を含む記録媒体。
ビデオコーディング方法を実行するためのコンピュータで判読可能なプログラムを記録した記録媒体において、前記方法は、
ビデオフレームをダウンサンプリングして低解像度フレームを生成する段階と、
前記低解像度ビデオフレームを第１ビデオコーディング方式でコーディングする段階と、
前記第１ビデオコーディング方式でコーディングされたフレームを前記ビデオフレームの解像度でアップサンプリングする段階と、
前記アップサンプリングされたフレームを階層間フィルタリングする段階と、
前記階層間フィルタリングされたフレームを参照して前記ビデオフレームを第２ビデオコーディング方式でコーディングする段階、および
前記前記第１および第２ビデオコーディング方式でコーディングされたフレームを含むビットストリームを生成する段階を含む記録媒体。
ビデオデコーディング方法を実行するためのコンピュータで判読可能なプログラムを記録した記録媒体において、前記方法は、
ビットストリームから第１ビデオコーディング方式でコーディングされたフレームおよび第２ビデオコーディング方式でコーディングされたフレームを抽出する段階と、
前記第１ビデオコーディング方式でコーディングされたフレームを第１ビデオデコーディング方式でデコーディングして第１階層フレームを再構成する段階と、
前記再構成された第１階層フレームを階層間フィルタリングする段階、および
前記階層間フィルタリングされた第１階層フレームを参照して前記第２ビデオコーディング方式でコーディングされたフレームを第２ビデオデコーディング方式でデコーディングして第２階層フレームを再構成する段階を含む記録媒体。
ビデオデコーディング方法を実行するためのコンピュータで判読可能なプログラムを記録した記録媒体において、前記方法は、
ビットストリームから第１ビデオコーディング方式でコーディングされたフレームおよび第２ビデオコーディング方式でコーディングされたフレームを抽出する段階と、
前記第１ビデオコーディング方式でコーディングされたフレームを第１ビデオデコーディング方式でデコーディングして第１階層フレームを再構成する段階と、
前記再構成された第１階層フレームをアップサンプリングする段階と、
前記アップサンプリングされた第１階層フレームを階層間フィルタリングする段階、および
前記階層間フィルタリングされた第１階層フレームを参照して前記第２ビデオコーディング方式でコーディングされたフレームを第２ビデオデコーディング方式でデコーディングして、第２階層フレームを再構成する段階を含む記録媒体。