JP2007522708A - Ｒｏｉを支援する映像コーディング方法及び装置 - Google Patents

Abstract

本発明は、一般的にビデオ圧縮に係り、さらに詳細には、ウェーブレット基盤のスケーラブルイメージ／ビデオコーディングで１フレーム内の特定領域のみを強調させるＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）方法に関する。本発明による映像圧縮方法は、所定の入力されたイメージに対してウェーブレット変換を行うことによって、ウェーブレット係数を生成する段階と、ウェーブレット係数が有する空間的連関性によってウェーブレットブロック別に前記ウェーブレット係数を再配列する段階と、ウェーブレットブロック別に前記ウェーブレット係数を量子化する段階からなる。本発明によれば、イメージをブロック別に分割してＲＯＩを適用する場合に発生するブロック境界現象を相当減少させうる。

Description

本発明は、一般的にビデオ圧縮に係り、より詳細には、ウェーブレット基盤のスケーラブルイメージ／ビデオコーディングで一フレーム内の特定領域のみを強調するＲＯＩ（Ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）方法に関する。

インターネットを含む情報通信技術の発達につれて、文字、音声だけでなく、画像通信が増加している。既存の文字中心の通信方式では、消費者の多様なニーズを充足できず、これにより、文字、映像、音楽など多様な形態の情報を受け取れるマルチメディアサービスが増加している。マルチメディアデータは、その量がぼう大で大容量の記録媒体を必要とし、伝送時に広い帯域幅を必要とする。したがって、文字、映像、オーディオを含むマルチメディアデータを伝送するためには、圧縮コーディング技法を使用することが必須である。

データを圧縮する基本的な原理は、データの重複（ｒｅｄｕｎｄａｎｃｙ）をなくす過程である。イメージにおいて同じ色や客体が反復されるような空間的重複や、動映像フレームにおいて隣接フレームがほとんど変化しない場合や、オーディオにおいて同じ音が続けて反復されるような時間的重複、または人間の視覚及び知覚能力の高い周波数に鈍感であることを考慮した心理視覚重複をなくすことによってデータを圧縮しうる。

現在、大部分のビデオコーディング標準は、モーション補償予測コーディング法に基づいているが、時間的重複はモーション補償に基づいた時間的フィルタリング（ｔｅｍｐｏｒａｌ ｆｉｌｔｅｒｉｎｇ）により除去し、空間的重複は空間的変換（ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍ）により除去する。

データの重複を除去した後で生成されるマルチメディアを伝送するためには、伝送媒体が必要であるが、その性能は伝送媒体別に差がある。現在使われている伝送媒体は、秒当たり数十Ｍｂｉｔのデータを伝送できる超高速通信網から秒当たり３８４ｋｂｉｔの伝送速度を有する移動通信網のように多様な伝送速度を有する。

このような環境で、多様な速度の伝送媒体を支援するか、または伝送環境によってこれに適した伝送率でマルチメディアを伝送可能にする、すなわち、スケーラビリティー（ｓｃａｌａｂｉｌｉｔｙ）を有するデータコーディング方法がマルチメディア環境にさらに適していると言える。

このようなスケーラビリティーとは、１つの圧縮されたビットストリームに対してビットレート、エラー率、システム資源などの条件によってデコーダまたはプリデコーダ端で部分的なデコーディングを可能にする符号化方式である。デコーダまたはプリデコーダは、このようなスケーラビリティーを有するコーディング方式で符号化されたビットストリームの一部のみを取って異なる画質、解像度、またはフレームレートを有するマルチメディアシーケンスを復元しうる。

既に、ＭＰＥＧ−２１（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−２１） ＰＡＲＴ−１３でスケーラブルビデオコーディングに関する標準化を進行しているが、そのうち、空間的変換方法でウェーブレット基盤の方式が有力な方法と認識されている。そして、静止映像（以下、‘イメージ’と称する）に対しては、ウェーブレット基盤のスケーラブルイメージコーディングであるＪＰＥＧ−２０００（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−２０００）方式が既に実用化されている状態である。

従来には、このようなウェーブレット基盤のビデオ／イメージコーディングにおいてＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）機能を支援する例がさほど多くなかった。しかし、ＪＰＥＧ−２０００のようなウェーブレット基盤のイメージコーディング（ｗａｖｅｌｅｔ−ｂａｓｅｄ ｉｍａｇｅｃｏｄｉｎｇ）では、タイリング（ｔｉｌｉｎｇ）技法を用いてＲＯＩ機能を支援している。したがって、空間的変換（ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍ）において、ＪＰＥＧ−２０００での方式を利用するビデオコーダ（ｖｉｄｅｏｃｏｄｅｒ）は、ＲＯＩ機能を支援すると言える。

図１は、スケーラブルビデオ／イメージコーディングシステムの全体構造を簡略に示す図面である。ここで、エンコーダは映像圧縮装置と、デコーダは映像圧縮解除装置と理解されうる。

まず、エンコーダ１００は、入力ビデオ／イメージ１０を符号化して１つのビットストリーム２０を生成する。

そして、プリデコーダ１５０は、デコーダ２００との通信環境またはデコーダ２００端での機器性能などを考慮した条件、例えば、ビットレート、解像度またはフレームレートを抽出条件として、エンコーダ１００から受信したビットストリーム２０を切り取って多様なビットストリーム２５を抽出しうる。

デコーダ２００は、前記抽出したビットストリーム２５から出力ビデオ／イメージ３０を復元する。もちろん、前記抽出条件によるビットストリームの抽出は必ずしもプリデコーダ１５０で行われるものではなく、デコーダ２００で行われうる。また、プリデコーダ１５０及びデコーダ２００の両方で行われうる。

図２は、従来のＪＰＥＧ−２０００でのタイリング技法を示す図面である。

図２から分かるように、入力イメージは、所定数（本実施形態では、５×４）のタイルに分解、すなわち、タイル化過程を経た後、それぞれのタイルに対してウェーブレット変換を行う。そして、ウェーブレット変換を通じて求めたウェーブレット係数をエンベデッド量子化することによって圧縮されたビットストリームを生成する。前記エンベデッド量子化方式には、後述するＥＺＷ（Ｅｍｂｅｄｄｅｄ Ｚｅｒｏｔｒｅｅｓ Ｗａｖｅｌｅｔ Ａｌｇｏｒｉｔｈｍ）、ＳＰＩＨＴ（Ｓｅｔ Ｐａｒｔｉｔｉｏｎｉｎｇ ｉｎ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒｅｅｓ）、ＥＺＢＣ（Ｅｍｂｅｄｄｅｄ Ｚｅｒｏ Ｂｌｏｃｋ Ｃｏｄｉｎｇ）などがある。

図３は、図２でのタイリング技法を用いてモーション補償差分フレームを圧縮することによって、ウェーブレット基盤のスケーラブルビデオエンコーディング過程を示すフローチャートである。

エンコーディング過程を参照すれば、まず、入力ビデオ１０からモーション推定を行い（Ｓ１１０）、これより求められるモーションベクトルを用いて時間的フィルタリング（Ｓ１２０）を行う。時間的フィルタリング（Ｓ１２０）を経つつ、生成されるモーション補償差分値を空間的ドメイン、すなわち、原イメージの領域を複数個のタイルないしブロック（Ｔ_０，Ｔ_１，．．．，Ｔ_ｎ−１，Ｔｎ）に分割する（Ｓ１３０）。

次いで、それぞれのタイルに対してウェーブレット変換を行う（Ｓ１４０ないしＳ１４３）。そして、前記変換結果で生成されたウェーブレット係数を量子化し、それぞれのタイルに対するビットストリームを生成する（Ｓ１５０ないしＳ１５３）。最後に、生成されたそれぞれのビットストリームを結合して１つのビットストリーム２０にする（Ｓ１６０）。

次いで、エンコーディング過程で分けたタイル別に生成されるビットストリーム各々に対して適切なビットを割り当てうる。これはイメージコンテンツに適応的にビットを割り当てることによって、全体的な性能を向上させる結果をもたらす。のみならず、特定タイルに対してさらに多くのビットを割り当てることによってＲＯＩ、すなわち、関心領域の品質をさらに向上させうる。

このような従来のタイリング方式の問題点は、大きく３つに分けられる。

第１に、各タイルが独立してエンコーディングされるので、復元時にタイルの境界部分でブロック境界現象（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔ）が多く現れる。第２に、各タイル間に存在する類似性を活用できないために、全体的な性能（ｏｖｅｒａｌｌ ｐｅｒｆｏｒｍａｎｃｅ）が下落する。第３に、ウェーブレット変換は、小さなタイルに対しては効果的でないために、タイルが小さな場合には、性能低下が発生する問題点がある。

本発明は、前記問題点を考慮して創案されたものであって、従来の空間的ドメインでのタイリング方式を改善し、入力されたイメージに対するウェーブレット基盤のコーディング技法において、ウェーブレットドメインでＲＯＩを具現する方法及び装置を提供することをその目的とする。

また、本発明は、ＲＯＩを具現しつつも境界部分のブロック境界現象を緩和しうる方法及び装置を提供することをその目的とする。

前記目的を達成するための本発明による映像圧縮方法は、所定の入力されたイメージに対してウェーブレット変換を行うことによって、ウェーブレット係数を生成する（ａ）段階と、前記ウェーブレット係数が有する空間的連関性によってウェーブレットブロック別に前記ウェーブレット係数を再配列する（ｂ）段階と、及び前記ウェーブレットブロック別に前記ウェーブレット係数を量子化する（ｃ）段階と、を含むことを特徴とする。

前記目的を達成するための本発明による映像圧縮解除方法は、入力ビットストリームから、ウェーブレットブロック別に空間的連関性によって配列されたウェーブレット係数を求める（ａ）段階と、前記ウェーブレットブロック別に配列されているウェーブレット係数を再配列して１つの全体イメージに対するウェーブレット係数に還元する（ｂ）段階と、前記再配列されたウェーブレット係数を変換して空間的ドメインでのイメージを復元する（ｃ）段階と、を含むことを特徴とする。

前記目的を達成するための本発明による映像圧縮装置は、所定の入力されたイメージに対してウェーブレット変換を行うことによって、ウェーブレット係数を生成するウェーブレット変換部と、前記ウェーブレット係数が有する空間的連関性によってウェーブレットブロック別に前記ウェーブレット係数を再配列するピクセルグループ化部と、前記ウェーブレットブロック別に前記ウェーブレット係数を量子化するエンベデッド量子化部と、を含むことを特徴とする。

前記目的を達成するために本発明による映像圧縮解除装置は、入力ビットストリームを用いてウェーブレットブロック別に空間的連関性によって配列されたウェーブレット係数を求める逆エンベデッド量子化部と、ウェーブレットブロック別に配列されたウェーブレット係数を再配列して１つの全体イメージに対するウェーブレット係数に還元する逆ピクセルグループ化部と、再配列されたウェーブレット係数を変換して空間的ドメインでのイメージを復元する逆ウェーブレット変換部と、を含むことを特徴とする。

本明細書において、‘ビデオ（ｖｉｄｅｏ）’は動映像（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ）を、‘イメージ（ｉｍａｇｅ）’は静止映像（ｓｔｉｌｌ ｐｉｃｔｕｒｅ）を意味する。そして、ビデオとイメージとを通称して‘映像’と表現しうる。

以下、添付された図面を参照して本発明の望ましい実施形態を詳細に説明する。しかし、本発明は以下に開示される実施形態に限定されず、相異なる多様な形で具現され、単に本実施形態は本発明の開示を完全にし、当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は、特許請求の範囲によってのみ定義される。明細書全体に亙って同じ参照符号は同じ構成要素を示す。

図４は、本発明によるエンコーダの構成を示すブロック図である。本発明によるエンコーダ３００は、パーティション部３０１と、モーション推定部３０２と、時間的フィルタリング部３０３と、ウェーブレット変換部３０４と、ピクセルグループ化部３０５と、エンベデッド量子化部３０６と、ビットストリーム結合部３０７とを備えて構成されうる。

まず、パーティション部３０１は、入力ビデオ１０をエンコーディングの基本単位であるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）に分ける。

モーション推定部３０２は、それぞれのＧＯＰに存在するフレームに関するモーション推定を行ってモーションベクトルを選定する。前記モーション推定方法として、階層的可変サイズブロックマッチング法（Ｈｉｅｒａｒｃｈｉｃａｌ Ｖａｒｉａｂｌｅ Ｓｉｚｅ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ：ＨＶＳＢＭ）による階層的な方法を使用しうる。

時間的フィルタリング部３０３は、モーション推定部３０２によって求められたモーションベクトルを用いて時間軸方向にフレームを低周波及び高周波フレームに分解することによって、時間的重複性を減少させる。

例えば、フレームの平均を低周波成分とし、二フレームの差の半分を高周波成分とすることができる。フレームの分解時は、ＧＯＰ別に分解する。モーションベクトルを用いず、単純にフレーム間の同じ位置に存在するピクセルを比較することによって、高周波成分のフレームと低周波成分のフレームとに分解できるが、これはモーションベクトルを用いる場合に比べて前記時間的重複性を減少させるに当って、さほど効率的ではない。

すなわち、第１フレームと第２フレームとを比較する時、第１フレームの一定領域が第２フレームから移動した場合、移動の程度はモーションベクトルと代表されることができ、両者を比較する時、第１フレームの一定領域と第２フレームの同一位置がモーションベクトルに該当する大きさほど移動した領域とを比較し、すなわち、時間的移動部分だけを補償した後で、第１及び第２フレームを低周波及び高周波フレームに分解する。

時間的フィルタリング方法では、例えば、ＭＣＴＦ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ）を使用しうる。

ウェーブレット変換部３０４は、時間的フィルタリング部３０３によって時間的重複性が除去されたフレームに対して、ウェーブレット変換を使用することによって、１つのフレームを分解して低周波数サブバンドと高周波数サブバンドとに区分し、各々に対するウェーブレット係数を求める。

図５は、入力イメージまたはフレームをウェーブレット変換によってサブバンドに分解する過程の例を示す図面であり、２段階レベルに分割したものである。

ここには３つの高周波数サブバンド、すなわち、水平、垂直、及び対角位置のサブバンドがある。低周波数サブバンド、すなわち、水平及び垂直方向いずれにも、低周波数であるサブバンドは‘ＬＬ’と表記する。前記高周波数サブバンドは‘ＬＨ’、‘ＨＬ’、‘ＨＨ’と表記するが、これは各々水平方向高周波数、垂直方向高周波数、そして水平及び垂直方向高周波数サブバンドを意味する。そして、低周波数サブバンドは反復的にさらに分解されうる。図５において、括弧内の数字はウェーブレット変換レベルを示す。

また図４を参照すれば、ピクセルグループ化部３０５は、図６から分かるように、ウェーブレット変換を通じて空間的重複性が除去されたウェーブレット係数（ないしピクセル）をその空間的連関性によって再配列して所定数を有するウェーブレットブロックを生成する。

ＪＰＥＧ−２０００のような従来技術では、入力されたイメージを空間的ドメインから分割するのに対し、本発明では、まず、入力されたイメージに対してウェーブレット変換を行った後、ウェーブレットドメイン（ｗａｖｅｌｅｔ−ｄｏｍａｉｎ）で表現される各ピクセルの空間的関係を用いて関係されたピクセルを１つにまとめる。このように関係されたピクセルをまとめて再配列する過程は、実際にはそれぞれのピクセルに対応するウェーブレット係数を再配列する過程によって行われる。

このように互いに関係されたピクセルがまとめられた単位をウェーブレットブロック（ｗａｖｅｌｅｔｂｌｏｃｋ：ＷＢ）と称し、これはウェーブレット基盤のビデオコーディングで空間的スケーラビリティーを具現するために使われている。

図７は、前記ピクセルグループ化過程の一実施形態を示す図面である。ウェーブレットブロック（ＷＢと表記）は、基本的にウェーブレット変換時、Ｌバンド（例えば、ＬＬ_（３））に存在するピクセル１個に対して関連した他のバンドのピクセルをまとめて構成するものである。ウェーブレットレベルがｎとする時、ＲＯＩ領域は２^ｎ×２^ｎピクセルサイズとなる。

このように、ＲＯＩ領域を小さく取れば、細密にＲＯＩコントロールを行えるという長所があるが、総ウェーブレットブロックの数が過度に多くなって、処理速度で不利でありえる。したがって、これを拡張して、ウェーブレットブロックをＬバンドの複数個のピクセルをまとめて構成しても良い。

すなわち、Ｌバンドにある複数個のピクセル（通常２ｘ２、４ｘ４、８ｘ８などの大きさを使用する）に対して関連ピクセルを全てまとめて、やはりウェーブレットブロックのような形態を構成しうる。この場合、Ｌバンドのピクセル１つと関連した他のバンドのピクセルをまとめてウェーブレットブロックを構成する場合に比べて、相対的にＲＯＩ領域を細密には指定できない。しかし、全体ウェーブレットブロックの数を減らせるので、応用分野によって適切にウェーブレットブロックの数を決定しうる。

以下では、空間的連関性のあるピクセルを探すのに基準となるＬバンドに存在する１つ以上のピクセルを‘基礎ユニット’と定義する。このような基礎ユニットの大きさを異ならせることによって、ウェーブレットブロックの大きさを可変的に調節しうる。

このようなウェーブレットブロックは、空間的ドメインでの１つのタイル（またはブロック）に対応する。但し、これは正確な対応ではなく、ウェーブレットブロックはタイル境界付近に位置するピクセル間の空間的類似性を考慮してウェーブレット変換したような意味を有する。

言い換えれば、ウェーブレット変換は空間的ドメインに比べて空間的にスムーズな係数を有するので、この領域で各ウェーブレットブロック別に相異なるビットを割り当てることで生じるブロック境界現象はタイリング方式とは異なってウェーブレットドメインで現れる。したがって、デコーダで最終的に逆ウェーブレット変換をして復元されたイメージはブロック境界現象を有さず、リング境界現象（ｒｉｎｇｉｎｇ ａｒｔｉｆａｃｔ）の形で現れるが、このようなリング境界現象は主観的画質面でブロック境界現象に比べて相対的に有利である。

再び図７を参照すれば、Ｌバンドの基礎ユニットと空間的連関性のある部分は、それぞれのサブバンドで相対的位置が同じ部分である。図７では、このような部分を斜線、またはチェック紋で表示した。ＷＢ_０は、基礎ユニットと空間的連関性のある部分をまとめて再配列したものである。したがって、もしＷＢ_０をウェーブレット逆変換するならば、空間的ドメインで該当位置（空間的フレームの左上端１／１６面積部分）に該当するイメージを生成できるであろう。

再び図４を参照すれば、エンベデッド量子化部３０６は、ピクセルグループ化部３０５によって再配列されたウェーブレット係数をそれぞれのウェーブレットブロック別にエンベデッド量子化する。

このように、ウェーブレットブロック別にウェーブレット係数をエンベデッド量子化する方法としては、ＥＺＷ（Ｅｍｂｅｄｄｅｄ Ｚｅｒｏｔｒｅｅｓ Ｗａｖｅｌｅｔ Ａｌｇｏｒｉｔｈｍ）、ＳＰＩＨＴ（Ｓｅｔ Ｐａｒｔｉｔｉｏｎｉｎｇ ｉｎ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒｅｅｓ）、ＥＺＢＣ（Ｅｍｂｅｄｄｅｄ Ｚｅｒｏ Ｂｌｏｃｋ Ｃｏｄｉｎｇ）などを使用しうる。この方法は、本発明で用いたウェーブレットドメインでのピクセル間の空間的関係をよく活用できて、本発明でのエンベデッド量子化過程に使用するのに適している。

前記ピクセル間空間的関係は、ツリー（ｔｒｅｅ）の形で現れるが、ツリーのルートが０である場合、その子（ｃｈｉｌｄｒｅｎ）も０の値を有する確率が高いということを利用することによって、効果的に符号化を行える。このようなアルゴリズムは、内部的にＬバンドのピクセル１つに対して互いに関連したピクセルをスキャンしつつ処理を行う。

一方、スケーラビリティーを具現するためには、所定のスレショルド値を定め、前記スレショルド値より大きい値を有するピクセルのみエンコーディングして、あらゆるピクセルに対する処理が終われば、スレショルド値を低め、再び反復する過程を通じてエンベデッド量子化を行う。

最後に、ビットストリーム結合部３０７は、エンベデッド量子化部３０６によってそれぞれのウェーブレットブロック別に生成されるそれぞれのビットストリームを１つのビットストリーム２０に結合する。

本発明はこのような動映像（ビデオ）だけでなく、静止映像（イメージ）に対しても適用しうる。入力イメージ１５は、ウェーブレット変換部３０４、ピクセルグループ化部３０５、エンベデッド量子化部３０６、及びビットストリーム結合部３０７で動映像の場合と同じ過程を経てビットストリーム２０として生成しうる。

図８は、本発明によるプリデコーダの構成を示すブロック図である。

エンコーダ３００端では、ＲＯＩを考慮せず、エンコーディングされたとしても、プリデコーダ３５０、またはトランスコーダ端で任意の関心領域を指定して相対的にさらに多くのビットを割り当てることによって新たなビットストリームを生成しうる。実際に、この生成過程は、それぞれのウェーブレットブロックに対するビットストリームを切り取る（ｔｒｕｎｃａｔｉｏｎ）過程によって行われる。

このような本発明によるプリデコーダ３５０は、ビットストリーム分解部３５１と、ビットレート割当部３５２と、ビットストリーム抽出部３５３と、ビットストリーム結合部３５４を含んで構成されうる。

まず、ビットストリーム分解部３５１は、エンコーダ３００から受信したビットストリーム２０をそれぞれのウェーブレットブロック別に分解する。

そして、ビットレート割当部３５２は、前記分解されたビットストリームの各々に対して各々ビットレートを割り当てる。まず、フレーム全体に対する目標ビットレートを先に決定した後、重要であると判断される部分に相対的に多くのビットレートを割り当て、あまり重要でない部分に相対的に少ないビットレートを割り当て、割り当てた全体ビットレートの和を目標ビットレートにする。

また、ビットストリーム抽出部３５３は、前記各々割り当てたビットレートによってそれぞれのビットストリームを切り取ってそれぞれの新たなビットストリームを抽出する。

そして、ビットストリーム結合部３５４は、ビットストリーム抽出部３５３で各々抽出された複数のビットストリームを１つのビットストリーム２５に結合する。

図９は、本発明によるデコーダの構成を示すブロック図である。本発明によるデコーダ４００は、ビットストリーム分解部４１０と、逆エンベデッド量子化部４２０と、ピクセルグループ化部４３０と、逆ウェーブレット変換部４４０と、逆時間的フィルタリング部４５０とを備えて構成されうる。

デコーダ４００での動作は、大体エンコーダ３００での動作の逆順で行われる。但し、モーションベクトルを求めるモーション推定過程は、エンコーダ３００のモーション推定部３０２でのみ行われ、デコーダ４００では前記モーションベクトルを伝達されて、これを利用すればいいので、モーション追跡過程の逆順に該当する過程は存在していない。

まず、ビットストリーム分解部４１０は、プリデコーダ３５０から受信したビットストリーム２５をそれぞれのウェーブレットブロック別に分解する。前記ビットストリーム２５がプリデコーダ３５０でＲＯＩのためのビット割当過程を経ず、エンコーダから直接受信されたビットストリーム２０である場合にもデコーダ４００端では同じ過程を経て動作する。

逆エンベデッド量子化部４２０は、エンコーダ３００でのエンベデッド量子化部３０６での動作を逆順で行う。すなわち、前記分解された各々ビットストリームから、ウェーブレットブロック別に再配列されたウェーブレット係数を求める。

逆ピクセルグループ化部４３０は、エンコーダ３００でのピクセルグループ化部３０５での動作を逆順で行う。すなわち、前記ウェーブレットブロック別に配列されているウェーブレット係数を再配列して１つの全体イメージに対するウェーブレット係数になるように還元する。この過程は、図６での再配列過程の逆順で進む。

そして、逆ウェーブレット変換部４４０は、前記再配列されたウェーブレット係数を変換して空間的ドメインでのイメージを復元する。この過程でそれぞれのＧＯＰに相応するウェーブレット係数は逆ウェーブレット変換によって変換され、時間的フィルタリングがなされているフレームが生成される。

最後に、逆時間的フィルタリング部４５０は、前記生成されたフレームとエンコーダ３００とで生成されたモーションベクトルを用いて前記時間的フィルタリング過程を逆に行うことによって、最終出力ビデオ３０を生成する。

エンコーダ３００で説明したように、本発明はこのようなビデオだけでなく、イメージに対しても適用しうる。プリデコーダ３５０から入力されるビットストリーム２５は、ビットストリーム分解部４１０、逆エンベデッド量子化部４２０、逆ピクセルグループ化部４３０、及び逆ウェーブレット変換部４４０でビデオの場合と同じ過程を経て出力イメージ３５として生成されうる。

また、図４、図８及び図９の実施形態では、エンコーダ３００、プリデコーダ３５０、デコーダ４００をいずれも別途の機器であると説明したが、これに限定されず、エンコーダ３００にプリデコーダ３５０が含まれた構成としても、デコーダ４００にプリデコーダ３５０が含まれた構成としても良いということは当業者に自明である。

図１０は、本発明によるエンコーディング方法を説明するフローチャートである。

まず、受信された入力ビデオ１０に対してモーション推定部３０２を通じてモーション推定を行い、モーションベクトルを選定する（Ｓ２１０）。

前記モーションベクトルを用いて時間軸方向にフレームを低周波及び高周波フレームに分解することによって、時間的重複性を除去する時間的フィルタリング過程を行う（Ｓ２２０）。

次いで、前記時間的重複性が除去されたフレームに対して低周波数サブバンドと高周波数サブバンドとに区分し、各々に対するウェーブレット係数を求めるウェーブレット変換過程を行う（Ｓ２３０）。

前記ウェーブレット変換を通じて空間的重複性が除去されたウェーブレット係数を、その空間的連関性によってウェーブレットブロック別に再配列するピクセルグループ化過程を行う（Ｓ２４０）。

前記生成されたウェーブレットブロック各々に対してエンベデッド量子化を行い、各ウェーブレットブロック別にビットストリームを生成する（Ｓ２５０ないしＳ２５３）。前記エンベデッド量子化についてのさらに詳細な説明は、図１４の説明で後述する。

最後に、前記各ウェーブレット別に生成されたビットストリームを１つのビットストリームに結合する（Ｓ２６０）。

図１０での過程は、動映像（ビデオ）に限定されず、入力静止映像（イメージ）に対してＳ２３０以後の段階を行うことによって、静止映像に対するビットストリーム２０を生成できるという点に注目せねばならない。

図１１は、本発明によるプリデコーダ端でＲＯＩを適用する方法を説明するフローチャートである。

まず、エンコーダ３００から受信したビットストリーム２０をそれぞれのウェーブレットブロック別に分解する（Ｓ３１０）。

前記分解されたビットストリーム、すなわち、ウェーブレットブロック（ＷＢ）各々に対して各々ビットレートを割り当てる（Ｓ３２０ないしＳ３２３）。ここで、ビットレートの割当て時に目標ビットレートをさきに決定した後、重要であると判断される部分に相対的に多くのビットレートを割り当て、あまり重要でない部分には、相対的に少ないビットレートを割り当て、割り当てた全体ビットレートを目標ビットレートにする。

前記各々割り当てたビットレートによってそれぞれのビットストリームを切り取ってそれぞれの新たなビットストリームを抽出する（Ｓ３３０ないしＳ３３３）。

そして、前記各々抽出された複数のビットストリームを１つのビットストリーム２５に結合する（Ｓ３４０）。

図１２は、本発明によるデコーディング方法を説明するフローチャートである。

プリデコーダ３５０から受信したビットストリーム２５をそれぞれのウェーブレットブロック別に分解する（Ｓ４１０）。

前記分解されたそれぞれのビットストリームから、ウェーブレットブロック別（ＷＢ）に再配列されたウェーブレット係数を求める逆エンベデッド量子化過程を行う（Ｓ４２０ないしＳ４２３）。

前記ウェーブレットブロック別に配列されたウェーブレット係数を再配列して１つの全体イメージに対するウェーブレット係数に還元する逆ピクセルグループ化過程を行う（Ｓ４３０）。

前記還元されたウェーブレット係数を変換して空間的ドメインでのフレームを復元する逆ウェーブレット変換過程を行う（Ｓ４４０）。

そして、前記復元されたフレームとエンコーダ３００で生成されたモーションベクトルを用いて前記時間的フィルタリング過程を逆に行うことによって、最終出力ビデオ３０を生成する（Ｓ４５０）。

一方、入力されたビットストリーム２５がイメージ情報に関するものである時には、Ｓ４１０、Ｓ４２０ないしＳ４２３、Ｓ４３０、及びＳ４４０過程を経ることによって、出力イメージ３５が生成される。

図１３は、従来のエンベデッド量子化過程を説明するフローチャートである。従来のエンベデッド量子化方式には、ＥＺＷ、ＳＰＩＨＴ、ＥＺＢＣなどがある。これらはゼロツリーまたはゼロブロックを用いて量子化する方法である。

まず、初期のスレショルド値を決定する（Ｓ１１）。次いで、Ｌバンドのピクセル１つに対して空間的に関連したあらゆるピクセルをスキャンしつつ、スレショルド値より大きいピクセル値を有するピクセルのみをエンコーディングする（Ｓ１２）。ウェーブレットドメインでのピクセルが有するピクセル値は、ウェーブレット係数を意味するという点に注目せねばならない。

次いで、Ｌバンドの次のピクセル１つに空間的に関連したあらゆるピクセルに対してもＳ１２のような過程を反復する。このように、あらゆるピクセルが処理されるまで、Ｓ１２過程を反復して行う（Ｓ１３）。次いで、前記スレショルド値を２で割り、再びＳ１２ないしＳ１４段階を反復する（Ｓ１４）。もし、スレショルド値が０になれば（Ｓ１４のはい）、終了する。

図１４は、本発明によるエンベデッド量子化過程（図１０のＳ２５０ないしＳ２５３）を説明するフローチャートである。

本発明によるエンベデッド量子化方法においても、図７から分かるように、Ｌバンドのピクセルが有する空間的関連性を利用するので、このようなアルゴリズムを非常に容易に適用しうる。すなわち、基礎ユニットと空間的関連性のあるグループ化されたピクセルに対してスレショルド値を減らしつつ、エンコーディングし、スレショルド値が０になれば、他のウェーブレットブロックを処理するように変えるものである。これにより、ＥＺＷ、ＥＺＢＣ、ＳＰＩＨＴなどのエンベデッド量子化方法を本発明に適用することによって、イメージコーディング技法にＲＯＩ機能を追加できるようになる。

本発明によって、図１３のような従来のエンベデッド量子化方法と異なる点は、図１４に示されたようである。まず、初期スレショルド値を決定する（Ｓ２１）。次いで、１つのウェーブレットブロックに存在するピクセル、すなわち、Ｌバンドの基礎ユニットと空間的に関連したあらゆるピクセルをスキャンしつつ、スレショルド値より大きいピクセル値を有するピクセルのみをエンコーディングする（Ｓ２２）。次いで、前記スレショルド値を２で割り、再びＳ２２段階を反復する（Ｓ２４）。もし、前記反復過程中にスレショルド値が０になる前まで（Ｓ２３のいいえ）、次のウェーブレットブロックに対してＳ２２ないしＳ２４過程を反復する。このようにあらゆるウェーブレットブロックが処理されるまで、Ｓ２２ないしＳ２４過程を反復して行う（Ｓ２５）。

図１５は、本発明によるエンコーディング、プリデコーディングまたはデコーディング方法を行うためのシステムの構成図である。前記システムは、ＴＶ、セットトップボックス、デスクトップ、ラップトップコンピュータ、パームトップ（ｐａｌｍ ｔｏｐ）コンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ビデオまたはイメージ保存装置（例えば、ＶＣＲ（Ｖｉｄｅｏ Ｃａｓｓｅｔｔｅ Ｒｅｃｏｒｄｅｒ）、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）など）を表すものでありうる。のみならず、前記システムは、前記した装置を組合わせたものであるか、または前記装置が他の装置の一部に含まれたものを表すものでもありうる。前記システムは、少なくとも１つ以上のビデオ／イメージソース５１０、１つ以上の入出力装置５２０、プロセッサー５４０、メモリ５５０、そしてディスプレイ装置５３０を含んで構成されうる。

ビデオ／イメージソース５１０は、ＴＶレシーバー、ＶＣＲ、または他のビデオ／イメージ貯蔵装置を表すものでありうる。また、前記ソース５１０は、インターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、地上波放送システム（ｔｅｒｒｅｓｔｒｉａｌ ｂｒｏａｄｃａｓｔ ｓｙｓｔｅｍ）、ケーブルネットワーク、衛星通信ネットワーク、無線ネットワーク、電話ネットワークなどを用いてサーバーからビデオ／イメージを受信するための１つ以上のネットワーク連結を表すものでありうる。のみならず、前記ソースは、前記ネットワークを組合わせたもの、または前記ネットワークが他のネットワークの一部として含まれたものでありうる。

入出力装置５２０、プロセッサー５４０、そしてメモリ５５０は、通信媒体５６０を通じて通信する。前記通信媒体５６０には、通信バス、通信ネットワーク、または１つ以上の内部連結回路を表すものでありうる。前記ソース５１０から受信される入力ビデオ／イメージデータはメモリ５５０に保存された１つ以上のソフトウェアプログラムによってプロセッサー５４０によって処理されることができ、ディスプレイ装置５３０に提供される出力ビデオ／イメージを生成するためにプロセッサー５４０によって実行されうる。

特に、メモリ５５０に保存されたソフトウェアプログラムは、本発明による方法を行うスケーラブルウェーブレット基盤のコーデックを含む。前記コーデックは、メモリ５５０に保存されていてもよく、ＣＤ−ＲＯＭやフロッピディスクのような記録媒体から読み込むか、各種ネットワークを通じて所定のサーバーからダウンロードしたものでありうる。前記ソフトウェアによってハードウェア回路によって代替されるか、ソフトウェアとハードウェア回路との組合わせによって代替されうる。

本発明によれば、イメージをブロック別に分割してＲＯＩを適用する場合に発生するブロック境界現象を相当減少させうる。

また本発明によれば、ウェーブレット変換が有する特徴の１つである空間的類似性をよく活用できて、ＲＯＩ具現による性能の損失を最小化しうる。

そして、本発明によれば、イメージ全体に対して、まずウェーブレット変換を行った後で分割してＲＯＩを具現するので、分割するブロックの大きさが小さくなってウェーブレット変換の効率が減少する問題も解決しうる。

以上、添付された図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で当業者は、本発明がその技術的思想や必須な特徴を変更せず、他の具体的な形で実施されうるということを理解できるであろう。したがって、前述した実施形態はあらゆる面で例示的なものであり、限定的でないということを理解せねばならない。

従来のスケーラブルビデオ／イメージコーディングシステムの全体構造を簡略に示す概念図である。 従来のＪＰＥＧ−２０００でのタイリング技法を示す図である。 従来のタイリング技法を用いてモーション補償差分値を圧縮することによって、ウェーブレット基盤のスケーラブルビデオエンコーディング過程を示すフローチャートである。 本発明によるエンコーダの構成を示すブロック図である。 入力イメージまたはフレームをウェーブレット変換によってサブバンドに分解する過程の例を示す図である。 本発明によるタイリング過程を概略的に説明する概念図である。 ピクセルグループ化過程の一実施形態を示す図である。 本発明によるプリデコーダの構成を示すブロック図である。 本発明によるデコーダの構成を示すブロック図である。 本発明によるエンコーディング方法を説明するフローチャートである。 本発明によるＲＯＩ適用方法を説明するフローチャートである。 本発明によるデコーディング方法を説明するフローチャートである。 従来のエンベデッド量子化過程を説明するフローチャートである。 本発明によるエンベデッド量子化過程（図１０のＳ２５０ないしＳ２５３）を説明するフローチャートである。 本発明によるエンコーディング、プリデコーディングまたはデコーディング方法を行うためのシステムの構成図である。

Claims (28)

1. 所定の入力されたイメージに対してウェーブレット変換を行うことによってウェーブレット係数を生成する段階と、
   前記ウェーブレット係数が有する空間的連関性によってウェーブレットブロック別に前記ウェーブレット係数を再配列する段階と、
   前記ウェーブレットブロック別に前記ウェーブレット係数を量子化する段階と、を含む映像圧縮方法。
2. 前記映像は、静止映像である請求項１に記載の映像圧縮方法。
3. 前記所定の入力されたイメージは、入力されたビデオから時間的重複性が除去されたフレームである請求項１に記載の映像圧縮方法。
4. 前記映像は、動映像である請求項１または３に記載の映像圧縮方法。
5. 前記ウェーブレットブロック別に重要度によって相異なるビットレートを割り当てる段階をさらに含む請求項１に記載の映像圧縮方法。
6. 前記相異なるビットレートを割り当てることは、前記ウェーブレットブロック別に割当てられたビットレートの和が目標ビットレートになるように割り当てる請求項５に記載の映像圧縮方法。
7. 前記重要度は、各ウェーブレットブロックに対応するイメージが有する複雑度を基準とする請求項５に記載の映像圧縮方法。
8. 前記ウェーブレット係数を再配列する段階は、ウェーブレット変換後に生成されるサブバンドのうち、最下位Ｌバンドで所定数のピクセルを基礎ユニットに選定する段階と、
   前記基礎ユニットと空間的連関性を有するウェーブレット係数を前記ウェーブレットブロック別に再配列する段階と、を含む請求項１に記載の映像圧縮方法。
9. 前記所定数のピクセルは、１つのピクセルである請求項１に記載の映像圧縮方法。
10. 前記量子化は、エンベデッド量子化である請求項１に記載の映像圧縮方法。
11. 前記量子化段階は、
    初期スレショルド値を決定する段階と、
    所定のウェーブレットブロック内のあらゆるウェーブレット係数をスキャンして前記初期スレショルド値より大きいウェーブレット係数をエンコーディングする段階と、を含む 請求項１０に記載の映像圧縮方法。
12. 前記量子化段階は、前記スレショルド値を２で割った値を新たなスレショルド値として前記段階を行う段階をさらに含む請求項１１に記載の映像圧縮方法。
13. 入力ビットストリームを用いて、ウェーブレットブロック別に空間的連関性によって配列されたウェーブレット係数を求める段階と、
    前記ウェーブレットブロック別に配列されたウェーブレット係数を再配列して１つの全体イメージに対するウェーブレット係数に還元する段階と、
    前記再配列されたウェーブレット係数を変換して空間的ドメインでのイメージを復元する段階と、を含む映像圧縮解除方法。
14. 前記復元されたイメージとモーションベクトルを用いて時間的フィルタリングを逆に行って出力動映像を生成する段階を含む請求項１３に記載の映像圧縮解除方法。
15. 前記映像は、静止映像である請求項１３に記載の映像圧縮解除方法。
16. 前記映像は、動映像である請求項１３または１４に記載の映像圧縮解除方法。
17. 前記ウェーブレット係数を求める段階以前に、所定のビットストリームから前記ウェーブレットブロック別に重要度によって相異なるビットレートを割り当てることによって、前記入力ビットストリームを生成する段階をさらに含む請求項１３に記載の映像圧縮解除方法。
18. 所定の入力されたイメージに対してウェーブレット変換を行うことによって、ウェーブレット係数を生成するウェーブレット変換部と、
    前記ウェーブレット係数が有する空間的連関性によってウェーブレットブロック別に前記ウェーブレット係数を再配列するピクセルグループ化部と、
    前記ウェーブレットブロック別に前記ウェーブレット係数を量子化するエンベデッド量子化部と、を備える映像圧縮装置。
19. 前記所定の入力されたイメージは、入力されたビデオから時間的重複性が除去されたフレームである請求項１８に記載の映像圧縮装置。
20. 前記ウェーブレットブロック別に重要度によって相異なるビットレートを割り当てるビットレート割当部をさらに含む請求項１８に記載の映像圧縮装置。
21. 前記ビットレートは、前記ウェーブレットブロック別に割当てられたビットレートの和が目標ビットレートになるように割り当てる請求項２０に記載の映像圧縮装置。
22. 前記重要度は、各ウェーブレットブロックに対応するイメージが有する複雑度を基準とする請求項２０に記載の映像圧縮装置。
23. 前記ピクセルグループ化部は、ウェーブレット変換後生成されるサブバンドのうち、最下位Ｌバンドで所定数のピクセルを基礎ユニットに選定し、前記基礎ユニットと空間的連関性を有するウェーブレット係数をウェーブレットブロック別に再配列する請求項１８に記載の映像圧縮装置。
24. 前記量子化部は、初期スレショルド値を決定し、所定のウェーブレットブロック内のあらゆるウェーブレット係数をスキャンしてスレショルド値より大きいウェーブレット係数をエンコーディングする請求項１８に記載の映像圧縮装置。
25. 入力ビットストリームを用いて、ウェーブレットブロック別に空間的連関性によって配列されたウェーブレット係数を求める逆エンベデッド量子化部と、
    前記ウェーブレットブロック別に配列されたウェーブレット係数を再配列して１つの全体イメージに対するウェーブレット係数に還元する逆ピクセルグループ化部と、
    前記再配列されたウェーブレット係数を変換して空間的ドメインでのイメージを復元する逆ウェーブレット変換部と、を備える映像圧縮解除装置。
26. 前記復元されたイメージとモーションベクトルとを用いて時間的フィルタリングを逆に行って出力動映像を生成する逆時間的フィルタリング部をさらに備える請求項２５に記載の映像圧縮解除装置。
27. 所定のビットストリームから前記ウェーブレットブロック別に重要度によって相異なるビットレートを割り当てることによって、前記入力ビットストリームを生成するビットレート割当部をさらに備える請求項２５に記載の映像圧縮解除装置。
28. 映像圧縮方法を実行するためのコンピュータで読取り可能なプログラムを含む記録媒体において、前記方法は、
    所定の入力されたイメージに対してウェーブレット変換を行うことによって、ウェーブレット係数を生成する段階と、
    前記ウェーブレット係数が有する空間的連関性によってウェーブレットブロック別に前記ウェーブレット係数を再配列する段階と、
    前記ウェーブレットブロック別に前記ウェーブレット係数を量子化する段階と、を含む記録媒体。

Images