JP2009531941A - ビットストリームのビット率の調節のための優先権の割当て方法、ビットストリームのビット率の調節方法、ビデオデコーディング方法およびその方法を用いた装置 - Google Patents

Abstract

本発明は複数の品質階層で構成されるビットストリームのビット率を調節する方法に関するものである。
ビットストリームのビット率調節のための優先権の割当て方法は、参照ピクチャに関する第１品質階層を構成する段階と、前記参照ピクチャを参照して符号化される現在ピクチャに関する第２品質階層を構成する段階と、前記第１品質階層および前記第２品質階層各々に優先権を割当てる段階と、を含み、除去されても前記現在ピクチャの画質減少に及ぼす影響が小さい品質階層に低い優先権が割当てられる。

Description

本発明は、ビデオコーディング技術に関するものであって、より詳しくは、複数の品質階層で構成されるビットストリームのビット率を調節する方法に関するものである。

インターネットを含む情報通信技術が発達するにつれて文字、音声だけでなく画像通信が増加しつつある。既存の文字中心の通信方式では消費者の多様な欲求を充足させることができず、このため、文字、映像、音楽など多様な形態の情報を収容できるマルチメディアサービスが増加しつつある。マルチメディアデータは、その量がぼう大であるため、大容量の格納媒体を必要とし、かつ伝送時に広い帯域幅を必要とする。したがって、文字、映像、オーディオを含むマルチメディアデータを伝送するためには圧縮コーディング技法を用いるのが必須的である。

データを圧縮する基本的な原理は、データの重複（ｒｅｄｕｎｄａｎｃｙ）要素を除去する過程である。イメージで同じ色やオブジェクトが反復されるような空間的重複や、動画フレームで隣接フレームがほぼ変化のない場合やオーディオで同じ音が反復し続くような時間的重複、または人間の視覚および知覚能力が高い周波数に鈍感なことを考慮した知覚的重複を除去することによって、データを圧縮することができる。一般的なビデオコーディング方法において、時間的重複はモーション補償に基づく時間的フィルタリング（ｔｅｍｐｏｒａｌ ｆｉｌｔｅｒｉｎｇ）によって除去し、空間的重複は空間的変換（ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍ）によって除去する。

データの重複を除去した後に生成されるマルチメディアを伝送するためには、伝送媒体を必要とするが、その性能は伝送媒体別に差がある。現在使用される伝送媒体は秒当たり数十メガビットのデータを伝送できる超高速通信網から秒当たり３８４ｋｂｉｔの伝送速度を有する移動通信網などのように多様な伝送速度を有する。このような環境で、多様な速度の伝送媒体をサポートするためにまたは伝送環境に応じてそれに適する伝送率でマルチメディアを伝送できるようにする、すなわち、スケーラブルビデオコーディング（ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）方法がマルチメディア環境により適するといえる。

スケーラブルビデオコーディングとは、すでに圧縮されたビットストリーム（ｂｉｔ−ｓｔｒｅａｍ）に対して伝送ビット率、伝送エラー率、システムサポートなどの周辺条件によって前記ビットストリームの一部を切り取ってビデオの解像度、フレーム率、およびＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）などを調節できるようにする符号化方式、すなわち、多様なスケーラビリティ（ｓｃａｌａｂｉｌｉｔｙ）をサポートする符号化方式を意味する。

現在、ＭＰＥＧ （Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とＩＴＵ （Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）の共同作業グループ（ｗｏｒｋｉｎｇ ｇｒｏｕｐ）であるＪＶＴ （Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）ではＨ．２６４を基本とし、スケーラブルビデオコーディング（以下、ＳＶＣという）に関する標準化作業が進んでいる。前記ＳＶＣ標準では、ＳＮＲスケーラビリティをサポートするため、ＦＧＳ （Ｆｉｎｅ Ｇｒａｎｕｌａｒｉｔｙ Ｓｃａｌａｂｉｌｉｔｙ）技術を採択している。

図１は、多階層構造を用いたスケーラブルビデオコーディング方式の一例を示す。前記方式において、第１階層はＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）、１５Ｈｚ（フレーム率）に設定し、第２階層はＣＩＦ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）、３０ Ｈｚに設定し、第３階層はＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、６０ Ｈｚに設定する。

このような多様な解像度および／またはフレーム率を有する多階層ビデオフレームをエンコーディングするには階層間の関連性を用いることができるが、例えば、第１向上階層のビデオフレームのうちある領域１２は、基礎階層のビデオフレームのうちから対応する領域１３からの予測によって効率的にエンコーディングされる。同様に第２向上階層ビデオフレームのうち領域１１は、前記第１向上階層の領域１２からの予測によって効率的にエンコーディングされる。

図２は、スケーラブルビデオコーディングのインター予測およびイントラベース予測技法の概念を示す図である。現在階層のあるフレーム２１に属するブロック２４は同一な階層に存在する他のフレーム２２に属するブロック２５を参照して予測することができる。これをインター予測という。インター予測は、対応するブロックを示すためのモーションベクターを探すためのモーション推定過程を含む。

一方、前記ブロック２４は前記フレーム２１と同一な時間的位置またはピクチャ順序カウント（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ：ＰＯＣ）に存在する下位階層（基礎階層）のフレーム２３に属するブロック２６を参照して予測することもできる。これをイントラベース（ｉｎｔａ ｂａｓｅ）予測という。イントラベース予測では、前記モーション推定過程は必要ではない。

図３は、図２の予測によって残差ピクチャ（ｒｅｓｉｄｕａｌ ｐｉｃｔｕｒｅ）にＦＧＳ技法を適用した例を示す図である。残差ピクチャ３０は、ＳＮＲスケーラビリティをサポートするために複数の品質階層（Ｑｕａｌｉｔｙ Ｌａｙｅｒ）で表現することができる。このような品質階層はビデオの品質を多様に表現するために必要なものであって、図１の解像度および／またはフレーム率に関する階層とは区別される。

複数の品質階層は１つの離散階層（ｄｉｓｃｒｅｔｅ ｌａｙｅｒ：３１）と少なくとも１つ以上のＦＧＳ階層３２，３３，３４で構成されうる。ビデオデコーダで測定されるビデオ品質は離散階層３１のみが受信された場合、離散階層３１と第１ ＦＧＳ階層３２が受信された場合、離散階層３１、第１ ＦＧＳ階層３２および第２ ＦＧＳ階層３３が受信された場合、そして、すべての階層３１，３２，３３，３４が受信された場合順に増加する。

図４は、１つのピクチャまたはスライスを１つの離散階層と２つのＦＧＳ階層で表現する過程を示す図である。

最初にオリジナルピクチャ（またはスライス）４１は第１量子化パラメータ（ＱＰ_１）によって量子化される（Ｓ１）。前記量子化されたピクチャ４２は離散階層を形成する。前記量子化されたピクチャ４２は逆量子化され（Ｓ２）、逆量子化されたピクチャ４３は減算器（ｓｕｂｔｒａｃｔｏｒ：４４）に提供される。減算器４４はオリジナルピクチャから前記提供されたピクチャ４３を減算する（Ｓ３）。前記減算された結果は再び第２量子化パラメータ（ＱＰ_２）によって量子化される（Ｓ４）。前記量子化された結果４５は第１ ＦＧＳ階層を形成する。

前記量子化された結果４５は逆量子化され（Ｓ５）、逆量子化された結果４６は加算器４７に提供される。前期提供されたピクチャ４６および逆量子化されたピクチャ４３は加算器（ａｄｄｅｒ：４７）によって加算された後（Ｓ６）、減算器４８に提供される。減算器４８はオリジナルピクチャ４１から前記加算された結果を減算する（Ｓ７）。前記減算された結果はまた第３量子化パラメータ（ＱＰ_３）によって量子化される（Ｓ８）。前記量子化された結果４９は第２ ＦＧＳ階層を形成する。

このような過程によって図３のような複数の品質階層が形成されうる。

図５および図６は、現在のＳＶＣ標準で用いられる品質階層を切り取る（ｔｒｕｎｃａｔｉｏｎ）方式を示す図である。図５のように、現在ピクチャ３０はインター予測またはイントラベース予測などによって他の参照ピクチャ３５から予測されて残差ピクチャで表示される。しかし、残差ピクチャで表示される現在ピクチャ３０が複数の品質階層３１，３２，３３，３４で構成されるだけではなく、前記参照ピクチャ３５も同様に複数の品質階層３６，３７，３８，３９で構成されうる。

この場合現在ＳＶＣ標準によれば、ビデオエンコーディング以後の段階でビットストリーム抽出器はビットストリームのＳＮＲを調節するために次の図６のように品質階層のうち一部を切り取る。すなわち、ビットストリーム抽出器は高い解像度および／またはフレーム率階層（以下「品質階層」と区別して単純に「階層」という）に存在する現在ピクチャ３０の最上位品質階層３４から順次に切り捨てる。そして、高い階層のピクチャ３０の品質階層が完全に切り取られた以後に低い階層の参照ピクチャ３５の品質階層を上から切り取る。

このような切り取りの方式は低い階層（例：ＱＣＩＦ）のピクチャ（参照ピクチャ）の復元には最適であるといえるが、高い階層（例：ＣＩＦ）のピクチャ（現在ピクチャ）の復元するためには最適であるとはいえない。いくつかの低い階層ピクチャの品質階層は高い階層ピクチャの品質のために、高い階層ピクチャの品質階層に比べてあまり重要でないこともある。したがって、ビデオエンコーダ側で高い階層ピクチャを主な目的とするのか低い階層ピクチャを主な目的とするのかによって、他の方式で品質階層を切り取ることで効率的なＳＮＲスケーラビリティを実現する必要がある。

本発明が解決しようとする課題は、高い階層に主眼点をおいたビットストリームのＳＮＲ調節方法および装置を提供することにある。

本発明が解決しようとする他の技術的課題は、高い階層ピクチャが主眼点であるのか低い階層ピクチャが主眼点であるのかによって適応的にＳＮＲを調節する方法および装置を提供することにある。

本発明の技術的課題は以上で言及した技術的課題に制限されず、言及されていないまた他の技術的課題は次の記載から当業者に明確に理解できるであろう。

本発明の実施形態によるビットストリームのビット率を調節のための優先権の割当ての方法は、参照ピクチャに関する第１品質階層を構成する段階と、前記参照ピクチャを参照して符号化される現在ピクチャに関する第２品質階層を構成する段階、および前記第１品質階層および前記第２品質階層の各々に優先権を割当てる段階と、を含み、除去されても前記現在ピクチャの画質減少に及ぼす影響が小さい品質階層に低い優先権が割当てられる。

本発明の実施形態によるビットストリームのビット率を調節する方法は、ビデオビットストリームの入力を受ける段階と、前記ビデオビットストリームに関する目標ビット率を設定する段階と、前記ビデオビットストリームのうち現在ピクチャの参照ピクチャに関する第１品質階層と、前記現在ピクチャに関する第２品質階層を読み込む段階、および前記目標ビット率によって前記第１品質階層および前記第２品質階層のうち前記優先権が低い品質階層から切り取る段階と、を含む。

本発明の実施形態によるビデオデコーディング方法は、ビデオビットストリームの入力を受ける段階と、前記ビデオビットストリームのうち現在ピクチャの参照ピクチャに関する第１品質階層と前記現在ピクチャに関する第２品質階層と前記の依存ＩＤを読み込む段階と、前記第１品質階層のうち前記依存ＩＤが指示する品質階層が存在しない場合、前記依存ＩＤは前記第１品質階層のうち最上位品質階層を指示するように設定する段階、および前記依存ＩＤが指示する関係によって現在ピクチャを復元する段階と、を含む。

本発明の実施形態によるビットストリームのビット率を調節のための優先権の割当ての装置は、参照ピクチャに関する第１品質階層を構成する参照ピクチャエンコーディング部と、前記参照ピクチャを参照して符号化される現在ピクチャに関する第２品質階層を構成する現在ピクチャエンコーディング部、および前記第１品質階層および前記第２品質階層各々に優先権を割当てる品質レベル割当て器と、を含み、除去されても前記現在ピクチャの画質減少に及ぼす影響が小さい品質階層に低い優先権が割当てられる。

本発明の実施形態によるビットストリームのビット率を調節する装置は、ビデオビットストリームの入力を受けるビットストリーム入力部と、前記ビデオビットストリームに関する目標ビット率を設定する目標ビット率設定部と、前記ビデオビットストリームのうち現在ピクチャの参照ピクチャに関する第１品質階層と、前記現在ピクチャに関する第２品質階層を読み込むビットストリームパーサーおよび前記目標ビット率によって前記第１品質階層および前記第２品質階層のうち前記優先権が低い品質階層から切り取るビットストリーム切断部と、を含む。

本発明の実施形態によるビデオデコーダは、ビデオビットストリームの入力を受けるエントロピ復号化部と、前記ビデオビットストリームのうち、現在ピクチャの参照ピクチャに関する第１品質階層と、前記現在ピクチャの第２品質階層と、前記第２品質階層の依存ＩＤを読み込むビットストリームパーサーと、前記第１品質階層のうち前記依存ＩＤが指示する品質階層が存在しない場合、前記依存ＩＤは前記第１品質階層のうち最上位品質階層を指示するように設定する依存ＩＤ設定部、および前記依存ＩＤが指示する関係によって現在ピクチャを復元する現在ピクチャデコーディング部と、を含む。

本発明によると、ビットストリームのうち高い階層ピクチャの画質を主目的とし、適応的にビット率を調節できる効果がある。

その他実施形態の具体的な事項は詳細な説明および図に含まれている。

本発明の利点および特徴、並びにそれらを達成する方法は、添付する図面と共に後述する実施形態を参照することにより明確になる。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で具現されるものである。本実施形態は、単に本発明の開示が完全なようにし、本発明が属する技術分野で通常の知識を有する者に対して発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範囲によってのみ定義される。なお、明細書全体にかけて、同一の参照符号は同一の構成要素を指称する。

図７は、従来のＳＶＣシステムの構成を示す図であり、図８は、本発明の一実施形態によるＳＶＣシステムが構成を示す図である。

図７を参照すると、ビデオエンコーダ６１は多階層基盤のスケーラブルビットストリーム、例えばＣＩＦビットストリームを生成する。そうすると、ビットストリーム抽出器６２は生成されたＣＩＦビットストリームをビデオデコーダ１（６３）にそのまま伝送することもでき、このうち一部の高い階層を切り取って低い解像度を有するＱＣＩＦビットストリームを抽出し、これをビデオデコーダ２（６４）に伝送することもできる。この時、この２つの場合、一部の品質階層を切り取って解像度は同一とするが、ＳＮＲのみを変更することもできる。

これに対し、図８を参照すると、ビデオエンコーダ５０で生成されるＣＩＦビットストリームは品質レベル割当て器１４０によって品質レベル（優先権）が割当てられる。すなわち、ＣＩＦビットストリームを構成するＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニット別に優先権ＩＤを割当てることである。この時、優先権ＩＤ割当てにおいては本発明で提案する複数階層を考慮した優先権ＩＤ割当て方式に従う。

ビットストリーム抽出器２００は、ビデオデコーダ２（３００ｂ）にビットストリームを伝送する場合には、上位階層を切り取って下位階層であるＱＣＩＦに最適化されたビットストリームを伝送する。この時、仮にＳＮＲ調節が必要とされ、品質階層を切り取る場合、その方式は従来と同じである。

しかし、ビットストリーム抽出器２００は、ビデオデコーダ１（３００ａ）にビットストリームを伝送する場合には、すべての階層をそのまま含むＣＩＦビットストリームを伝送する。この時、仮にＳＮＲ調節が必要とされ、品質階層を切り取る場合、品質レベル割当て器１４０で割当てられた優先権ＩＤに応じて低い優先権ＩＤを有する品質階層から切り取る。

図９は、本発明の一実施形態による品質階層を切り取る例を示す図である。これによると、品質レベル割当て器１４０は、次のような順序にしたがって優先権ＩＤを割当てして、ビットストリーム抽出器２００は、前記優先権ＩＤが低い品質階層から切り取ることによってＳＮＲスケーラビリティを実現する。

品質レベル割当て器１４０は、入力されたビットストリームでの参照関係を先に把握する。このような参照関係は、予測のために用いられ、予測技法ではインター予測、イントラベース予測などがある。この時、予測技法において参照するピクチャを現在ピクチャ３０といい、参照されるピクチャを参照ピクチャ３５という。図９では現在ピクチャ３０の品質階層の数と参照ピクチャ３５の品質階層の数が同じである例を説明するが、現在ピクチャ３０と参照ピクチャ３５との間に品質階層の数は互いに異なりうるのはもちろんである。

具体的に優先権ＩＤを割当てる過程は次の通りである。現在ピクチャ３０の最上位品質階層３４を除去した第１候補と、参照ピクチャ３５の最上位品質階層３９を除去した第２候補を比較して画質の側面で有利なものを選択する。前記第１候補は現在ピクチャ３０の３つの品質階層３１，３２，３３と参照ピクチャ３５の４つの品質階層３６，３７，３８，３９から現在ピクチャが属する階層のイメージを復元する場合であり、前記第２候補は現在ピクチャ３０の４つの品質階層３１，３２，３３，３４と参照ピクチャ３５の３つの品質階層３６，３７，３８から現在ピクチャが属する階層のイメージを復元する場合を意味する。

ピクチャを復元する具体的過程は、参照ピクチャ３５を形成する品質階層から参照ピクチャ３５を先に復元した後、現在ピクチャ３０を形成する品質階層から現在ピクチャ３０の残差信号を復元した後、前記復元された参照ピクチャ３５と前記復元された残差信号を加算する過程で行われる。

このようにして第１候補と第２候補を求めてから、この２つの候補の費用（ｃｏｓｔ）を比較する。費用を求める方法では通常レート歪み関数（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ ｆｕｎｃｔｉｏｎ）が多く用いられる。次の式（１）はレート歪み関数によって費用を求める過程を示す。

Ｃ ＝ Ｅ ＋λ×Ｂ （１）

ここで、Ｃは費用を、Ｅはオリジナル信号からわい曲された程度（例えば、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）で計算されうる）、Ｂは該当データの圧縮時、必要とするビット量を、λはラグランジュ乗数（Ｌａｇｒａｎｇｉａｎ ｍｕｌｔｉｐｌｉｅｒ）をそれぞれ示す。前記ラグランジュ乗数は、前記Ｅと前記Ｂの反映比率を調節できる係数である。したがって、前記費用Ｃはオリジナル信号との差異Ｅおよび必要とするビット量Ｂが小さくなるほど減るため、費用Ｃが低いということはより効率的な符号化が行われたことを示すものである。

このように、第１候補と第２候補のうち費用Ｃが低い場合を選択すれば、それに応じて優先権ＩＤが割当てられる。例えば、第１候補が選択されたとすれば、現在ピクチャ３０の品質階層３４は除去されてもビデオ全体品質に最も小さい影響をおよぼすことを意味するため、品質階層３４には最も低い優先権ＩＤである０が設定される。

その次には、現在ピクチャ３０のうち残り品質階層３１，３２，３３および参照ピクチャ３５のうち残り品質階層３６，３７，３８，３９に対して優先権ＩＤを設定しなければならない。しかし、その次に過程は前記第１候補および第２候補を比較する過程と同様に行われる。すなわち、現在ピクチャ３０の残余品質階層のうち最上位品質階層３３を除去した第１候補と、参照ピクチャ３５の最上位品質階層３９を除去した第２候補を比較して費用Ｃが低いものを選択するのである。

このように、現在ピクチャ３０で優先権ＩＤが割当てられない残余品質階層のうち最上位品質階層を除去した候補と、参照ピクチャ３５で優先権ＩＤが割当てられない残余品質階層のうち最上位品質階層を除去した候補のうち１つを選択する過程を繰り返せば、現在ピクチャ３０および参照ピクチャ３５のすべての品質階層に対して優先権ＩＤを割当てすることができる。

品質レベル割当て器１４０は、それぞれの品質階層に該当するＮＡＬユニットのヘッダー（ＮＡＬヘッダー）に前記優先権ＩＤを記録する。

図１０は、本発明による一実施形態による優先権ＩＤが割当てられたビットストリーム８０を示す図である。現在ピクチャに関する品質階層が複数のＮＡＬユニット８１，８２，８３，８４に記録され、参照ピクチャに関する品質階層が複数のＮＡＬユニット８６，８７，８８，８９に記録されている。１つのＮＡＬユニットはＮＡＬヘッダーとＮＡＬデータフィールドで構成される。このうちＮＡＬヘッダーは、ＮＡＬデータに対する付加情報を表示する部分であって優先権ＩＤを含み、ＮＡＬデータフィールドには、各品質階層に相応する符号化されたデータが記録される。

図１０でＮＡＬヘッダーには品質レベル割当て器１４０によって設定された優先権ＩＤが表示されている。ビットストリーム抽出器は、前記優先権ＩＤを参照してビットストリームのＳＮＲを調節する。ビットストリーム抽出器２００は、低い優先権ＩＤから高い優先権ＩＤの順で（８１，８２，８６，８３，８７，８４，８８，８９順） ＮＡＬユニットを切り取ることによってＮＡＬユニットの除去による画質の減少を最小化する。

もちろん、これは上位階層のビデオ品質に最適化されたもの（図８のビデオデコーダ１（３００ａ）に伝送する場合）であるため、下位階層のビデオ品質に最適化（図８のビデオデコーダ２（３００ｂ）に伝送する場合）のためには、このような優先権ＩＤと関係がなく従来のように、上位階層の最上位品質階層から順次に切り取る技法を用いることができる。

しかし、本発明で提案するように、現在階層（現在ピクチャが属する階層）の品質階層より基礎階層（参照ピクチャが属する階層）の品質階層が先に切り取られることもある。このようになると、現在階層のいずれかの品質階層の依存ＩＤ（ｄｅｐｅｎｄｅｎｃｙ ＩＤ）が示す基礎階層の品質階層が存在しないこともある。前記依存ＩＤはあるデータをデコーディングするため、先にデコーディングされて参照されなければならないデータ間の依存関係を示す。したがって、ビデオデコーディング過程において、依存ＩＤによって参照される基礎階層の品質階層が存在しないならば、前記依存ＩＤは残余品質階層のうち最上位品質階層を参照するものと見なす方法を用いることができる。

図１１を参照すると、現在ピクチャ３０が品質階層のうち最上位品質階層３４と参照ピクチャ３５の品質階層のうち最上位品質階層３９がビットストリーム抽出器２００によって切り取られたものである。しかし、本発明によると、上位階層の品質階層がすべて切り取られる前に下位階層の品質階層が先に切り取られることもあるため、現在階層の品質階層３３の依存ＩＤはなくなった品質階層３９を指示することもある。この場合には、ビデオデコーダ端で品質階層３３の依存ＩＤが残余品質階層３６，３７，３８のうち最上位品質階層３８を指示するように修正しなければならない。

図１２〜図１４は本発明の一実施形態による装置構成ブロック図である。このうち図１２は、本発明の一実施形態による優先権の割当て装置１００の構成を示すブロック図である。優先権の割当て装置１００はビットストリームのビット率を調節するために品質レベル別に優先権を割当てる装置である。

優先権の割当て装置１００は、現在ピクチャエンコーディング部１１０と参照ピクチャエンコーディング部１２０、品質レベル割当て器１４０、およびエントロピ符号化部１５０を含み構成することができる。

参照ピクチャエンコーディング部１２０は、参照ピクチャに関する品質階層（第１品質階層という）を構成する。これのために、参照ピクチャエンコーディング部１２０は、予測部１２１、変換部１２２、量子化部１２３、および品質階層生成部１２４を含み構成することができる。

予測部１２１は、現在マクロブロックで所定の予測方法によって予測されたイメージを差分することによって残差信号を求める。前記予測方法では図２で示す通り、インター予測、イントラベース予測などがある。インター予測は、現在ピクチャと同一な解像度および他の時間的位置を有するピクチャと現在ピクチャとの間の相対的な動きを表現するためのモーションベクターを求めるモーションの推定過程を含む。

一方、現在ピクチャは、現在ピクチャと同一な時間的位置に存在し、現在ピクチャと解像度が相異なる下位階層（基礎階層）のピクチャを参照して予測されることもできる。これをイントラベース（ｉｎｔａ ｂａｓｅ）予測という。もちろん、イントラベース予測では前記モーションの推定過程は必要ではない。

変換部１２２は、前記求めた残差信号をＤＣＴ、ウェーブレット変換など空間的変換技法を用いて変換し、変換係数を生成する。このような空間的変換方法ではＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換（ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ）などが用いられる。空間的変換結果、変換係数が求められるが、空間的変換方法としてＤＣＴを用いる場合はＤＣＴ係数が、ウェーブレット変換を用いる場合はウェーブレット係数が求められる。

量子化部１２３は、変換部１２２で求めた変換係数を量子化し、量子化係数を生成する。量子化（ｑｕａｎｔｉｚａｔｉｏｎ）とは、任意の実数値で表現する前記変換係数を一定の区間に分けて離散値（ｄｉｓｃｒｅｔｅ ｖａｌｕｅ）で示す作業を意味する。このような量子化方法では、スカラー量子化、ベクター量子化などの方法があるが、このうち、簡単なスカラー量子化方法は変換係数を量子化パラメータで分けた後、小数点以下を四捨五入して整数とする過程である。

品質階層生成部１２４は、図４で説明したような過程によって複数の品質階層を生成する。前記複数の品質階層は１つの離散階層と少なくとも１つ以上のＦＧＳ階層で構成されうる。

一方、現在ピクチャエンコーディング部１１０も参照ピクチャエンコーディング部１２０のように予測部１１１、変換部１１２、量子化部１１３および品質階層生成部１１４を含み構成され、それぞれの構成要素の動作は参照ピクチャエンコーディング１２０でと同様である。ただし、予測部１１１で現在ピクチャの予測のために用いられるピクチャは前記参照ピクチャエンコーディング部１２０に入力される参照ピクチャを用いる。予測部１１１は、前記入力された参照ピクチャを用いてインター予測またはイントラベース予測を実行して残差信号を生成する。

結局、現在ピクチャエンコーディング部１１０は、現在ピクチャに関する（より正確には現在ピクチャの残差信号に関する）品質階層（第２品質階層という）を構成する。前記入力される参照ピクチャは現在ピクチャと解像度が相異なるか（イントラベース予測の場合）、時間的レベルが相異なることもある（インター予測の場合）。

品質レベル割当て器１４０は、前記第１品質階層および前記第２品質階層各々に優先権ＩＤを割当てる。前記優先権の割当ては、前記現在ピクチャの画質減少に及ぼす影響が小さい品質階層に低い優先権が割当てられ、影響が大きい品質階層に高い優先権が割当てられる方式で行われる（図９参照）。

前記画質の減少を判断する基準としては、式（１）のような費用関数を用いることができる。前記費用関数は、オリジナルイメージとの差異と、符号化に必要とされるビット量の加重合で表現することができる。

エントロピ符号化部１５０は、品質レベル割当て器１４０で決定された優先権ＩＤ、参照ピクチャに関する第１品質階層、および現在ピクチャに関する第２品質階層をエントロピ符号化してビットストリームを生成する。エントロピ符号化は、データの統計的特性を用いた無損失符号化技法であって算術符号化、可変長符号化などを含む。

図１３は、本発明の一実施形態によるビットストリームのビット率を調節する装置、すなわちビットストリーム抽出器２００の構成を図示するブロック図である。

ビットストリーム抽出器２００は、ビットストリーム入力部２１０、ビットストリームパーサー２２０、ビットストリーム切断部２３０、目標ビット率設定部２４０およびビットストリーム伝送部２５０を含み構成されうる。

ビットストリーム入力部２１０は、ビデオビットストリームの入力を受け、ビットストリーム伝送部２５０は、ビット率が変更されたビデオビットストリームを伝送する。ビットストリーム入力部２１０は、ネットワークインターフェースのうち受信部に該当し、ビットストリーム伝送部２５０は、ネットワークインターフェースのうち送信部に該当する。

目標ビット率設定部２４０は、前記ビデオビットストリームに関する目標ビット率を設定する。このような目標ビット率は、現在伝送されるビットストリームのビット率、ネットワーク状況、または受信端（ビデオデコーダ）の機器の性能などを総合的に考慮して決定することができる。

ビットストリームパーサー２２０は、前記ビデオビットストリームのうち参照ピクチャに関する第１品質階層と前記現在ピクチャに関する第２品質階層の優先権ＩＤを読み込む。このような優先権ＩＤは品質レベル割当て器１４０によって割当てられたものである。

ビットストリーム切断部２３０は、前記目標ビット率によって第１品質階層および前記第２品質階層のうち前記優先権が低い品質階層から切り取る（ｔｒｕｎｃａｔｉｏｎ）。このように切り取る過程は目標ビット率に達する時まで繰り返して実行される。

図１４は、本発明の一実施形態によるビデオデコーダ３００の構成を図示するブロック図である。

ビデオデコーダ３００は、エントロピ復号化部３１０、ビットストリームパーサー３２０、現在ピクチャデコーディング部３３０、参照ピクチャデコーディング部３４０、および依存ＩＤ設定部３５０を含む。

エントロピ復号化部３１０は、ビデオビットストリームの入力を受け、これを無損失復号化する。前記無損失復号化は、図１２のエントロピ符号化部１５０の無損失符号化の逆に実行される。

ビットストリームパーサー３２０は、前記ビデオビットストリームから参照ピクチャの符号化データ（第１品質階層）、現在ピクチャの符号化データ（第２品質階層）、参照ピクチャに関する第１品質階層の依存ＩＤおよび前記現在ピクチャに関する第２品質階層の依存ＩＤを読み込む。前記依存ＩＤ（ｄｅｐｅｎｄｅｎｃｙ ＩＤ）は、現在ピクチャのいずれかの品質階層を復元するためには参照ピクチャのいずれかの品質階層を必要されるのかに関する情報、すなわち、依存関係を示す。

しかし、図１１でも説明した通り、本発明によると、上位階層の品質階層がすべて切り取られる前に下位階層の品質階層が先に切り取られることもあるため、現在階層のいずれかの品質階層は依存ＩＤがなくなった品質階層を指示することもある。

依存ＩＤ設定部３５０は、この場合には前記依存ＩＤが残余品質階層のうち最上位品質階層を指示するように設定する。

参照ピクチャデコーディング部３４０は、前記参照ピクチャの符号化データをデコーディングする。これのために参照ピクチャデコーディング部３４０は、逆量子化部３４１、逆変換部３４２、および逆予測部３４３を含み構成されうる。

逆量子化部３４１は、前記参照ピクチャの符号化データを逆量子化する。

逆変換部３４２は、前記逆量子化結果に対して逆変換を実行する。このような逆変換は図１２の変換部１２２で実行される変換過程の逆に実行される。

逆予測部３４３は、逆変換部３４２から提供される復元された残差信号を予測信号と加算して参照ピクチャを復元する。この時、前記予測信号はビデオエンコーダ端でと同様にインター予測またはイントラベース予測によって求められる。

現在ピクチャデコーディング部３３０は、前記現在ピクチャの符号化データを前記依存ＩＤにしたがってデコーディングする。これのために現在ピクチャデコーディング部３３０は逆量子化部３３１、逆変換部３３２および逆予測部３３３を含み構成されうる。現在ピクチャデコーディング部３３０の各構成要素の動作は参照ピクチャデコーディング部３４０でと同様である。ただし、逆予測部３３３は、前記復元された参照ピクチャを予測信号とし、逆変換部３３２から提供される現在ピクチャの復元された残差信号から現在ピクチャを復元する（残差信号と予測信号を加算する）。この時、ビットストリームパーサー３２０によって判読された依存ＩＤまたは修正された依存ＩＤが使用される。前記依存ＩＤは現在ピクチャの品質階層（第２品質階層）を復元するために必要な参照ピクチャに関する品質階層（第１品質階層）を指示している。

以上、本発明において用いられたピクチャは１つのフレームを意味するものである。しかし、本明細書においてピクチャはＨ．２６４以後に導入された概念がスライスに代替されてもよいことを当業者ならば充分に理解できるものである。

現在まで図１２〜図１４の各構成要素はメモリ上の所定領域で実行されるタスク、クラス、サブルーチン、プロセス、オブジェクト、実行スレッド（ｅｘｅｃｕｔｉｏｎ ｔｈｒｅａｄ）、プログラムのようなソフトウェア（ｓｏｆｔｗａｒｅ）や、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）やＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）のようなハードウェア（ｈａｒｄｗａｒｅ）で具現されることができ、また前記ソフトウェアおよびハードウェアの組合せで構成されることもできる。前記構成要素はコンピュータで判読可能な保存媒体に含まれることもでき、複数のコンピュータにその一部が分散して分布することもできる。

以上、添付された図面を参照し、本発明の実施形態について説明したが、本発明が属する技術分野における通常の知識を有する者は、本発明を、その技術的思想や必須の特徴を変更しない範囲で、他の具体的な形態において実施されうることを理解することができる。したがって、上記実施形態はすべての面で例示的なものであり、限定的でないものと理解しなければならない。

多階層構造を用いたスケーラブルビデオコーディング方式の一例を示す図である。 スケーラブルビデオコーディングのインター予測およびイントラベース予測技法の概念を示す図である。 図２の予測によって残差ピクチャにＦＧＳ技法を適用した例を示す図である。 １つのピクチャまたはスライスを１つの離散階層と２つのＦＧＳ階層で表現する過程を示す図である。 現在のＳＶＣ標準で用いられる品質階層を切り取る方式を示す図である。 現在のＳＶＣ標準で用いられる品質階層を切り取る方式を示す図である。 従来のＳＶＣシステムの構成を示す図である。 本発明の一実施形態によるＳＶＣシステムの構成を示す図である。 本発明の一実施形態による品質階層を切り取る例を示す図である。 本発明による一実施形態による優先権ＩＤが割当てられたビットストリームを示す図である。 依存ＩＤが指示する品質階層が参照ピクチャに存在しない場合を示す図である。 本発明の一実施形態による優先権の割当て装置の構成を示すブロック図である。 本発明の一実施形態によるビットストリーム抽出器の構成を示すブロック図である。 本発明の一実施形態によるビデオデコーダの構成を示すブロック図である。

符号の説明

１００ 優先権の割当て装置
１１０ 現在ピクチャエンコーディング部
１１１，１２１ 予測部
１１２，１２２ 変換部
１１３，１２３ 量子化部
１１４，１２４ 品質階層生成部
１２０ 参照ピクチャエンコーディング部
１４０ 品質レベル割当て器
１５０ エントロピ符号化部
２００ ビットストリーム抽出器
２１０ ビットストリーム入力部
２２０，３２０ ビットストリームパーサー
２３０ ビットストリーム切断部
２４０ 目標ビット率設定部
２５０ ビットストリーム伝送部
３００ ビデオデコーダ
３１０ エントロピ復号化部
３３０ 現在ピクチャデコーディング部
３３１，３４１ 逆量子化部
３３２，３４２ 逆変換部
３３３，３４３ 逆予測部
３４０ 参照ピクチャデコーディング部
３５０ 依存ＩＤ設定部

Claims (19)

1. 参照ピクチャに関する第１品質階層を構成する段階と、
   前記参照ピクチャを参照して符号化される現在ピクチャに関する第２品質階層を構成する段階、および
   前記第１品質階層および前記第２品質階層の各々に優先権を割当てる段階と、を含み、
   除去されても前記現在ピクチャの画質減少に及ぼす影響が小さい品質階層に低い優先権が割当てられる、ビットストリームのビット率調節のための優先権の割当て方法。
2. 前記参照ピクチャおよび現在ピクチャは、
   フレームまたはスライスである、請求項１に記載のビットストリームのビット率調節のための優先権の割当て方法。
3. 前記参照ピクチャと現在ピクチャは互いに解像度が相異なるか、時間的レベルが相異なる、請求項１に記載のビットストリームのビット率調節のための優先権の割当て方法。
4. 前記第１品質階層と前記第２品質階層は、
   １つの離散階層と少なくとも１つ以上のＦＧＳ階層で構成される、請求項１に記載のビットストリームのビット率調節のための優先権の割当て方法。
5. 前記第１品質階層を構成する段階および前記第２品質階層を構成する段階は、
   前記参照ピクチャまたは前記現在ピクチャを予測して残差信号を求める段階と、
   前記残差信号を変換して変換係数を生成する段階と、
   前記変換係数を第１量子化パラメータによって量子化して離散階層を構成する段階と、
   前記残差信号で前記離散階層を逆量子化した結果を減算する段階、および
   前記減算された結果を第２量子化パラメータによって量子化して前記１つ以上のＦＧＳ階層を構成する段階と、を含む、請求項４に記載のビットストリームのビット率調節のための優先権の割当て方法。
6. 前記画質減少に及ぼす影響が小さい品質階層は、
   符号化に必要とされる費用が異なる品質階層に比べて小さい品質階層である、請求項１に記載のビットストリームのビット率調節のための優先権の割当て方法。
7. 前記費用は、
   オリジナルイメージとの差異と、符号化に必要とされるビット量の加重合で構成される、請求項６に記載のビットストリームのビット率調節のための優先権の割当て方法。
8. ビデオビットストリームの入力を受ける段階と、
   前記ビデオビットストリームに関する目標ビット率を設定する段階と、
   前記ビデオビットストリームのうち現在ピクチャの参照ピクチャに関する第１品質階層と、前記現在ピクチャに関する第２品質階層を読み込む段階、および
   前記目標ビット率によって前記第１品質階層および前記第２品質階層のうち前記優先権が低い品質階層から切り取る段階と、を含む、ビットストリームのビット率を調節する方法。
9. 前記参照ピクチャおよび現在ピクチャは、
   フレームまたはスライスである、請求項８に記載のビットストリームのビット率を調節する方法。
10. 前記参照ピクチャと現在ピクチャは互いに解像度が相異なるか、時間的レベルが相異なる、請求項８に記載のビットストリームのビット率を調節する方法。
11. 前記第１品質階層と前記第２品質階層は、
    １つの離散階層と少なくとも１つ以上のＦＧＳ階層で構成される、請求項８に記載のビットストリームのビット率を調節する方法。
12. ビデオビットストリームの入力を受ける段階と、
    前記ビデオビットストリームのうち現在ピクチャの参照ピクチャに関する第１品質階層と前記現在ピクチャに関する第２品質階層と前記の依存ＩＤを読み込む段階と、
    前記第１品質階層のうち前記依存ＩＤが指示する品質階層が存在しない場合、前記依存ＩＤは前記第１品質階層のうち最上位品質階層を指示するように設定する段階、および
    前記依存ＩＤが指示する関係によって現在ピクチャを復元する段階と、を含む、ビデオデコーディング方法。
13. 前記参照ピクチャおよび現在ピクチャは、
    フレームまたはスライスである、請求項１２に記載のビデオデコーディング方法。
14. 前記参照ピクチャと現在ピクチャは、
    互いに解像度が相異なるか、時間的レベルが相異なる、請求項１２に記載のビデオデコーディング方法。
15. 前記第１品質階層と前記第２品質階層は、
    １つの離散階層と少なくとも１つ以上のＦＧＳ階層で構成される、請求項１２に記載のビデオデコーディング方法。
16. 前記現在ピクチャを復元する段階は、
    前記依存ＩＤが指示によって前記参照ピクチャを復元する段階と、
    前記現在ピクチャの残差信号を復元する段階、および
    前記復元された参照ピクチャと前記復元された残差信号を加算する段階と、を含む、請求項１２に記載のビデオデコーディング方法。
17. 参照ピクチャに関する第１品質階層を構成する参照ピクチャエンコーディング部と、
    前記参照ピクチャを参照して符号化される現在ピクチャに関する第２品質階層を構成する現在ピクチャエンコーディング部、および
    前記第１品質階層および前記第２品質階層各々に優先権を割当てる品質レベル割当て器と、を含み、
    除去されても前記現在ピクチャの画質減少に及ぼす影響が小さい品質階層に低い優先権が割当てられる、ビットストリームのビット率調節のための優先権の割当て装置。
18. ビデオビットストリームの入力を受けるビットストリーム入力部と、
    前記ビデオビットストリームに関する目標ビット率を設定する目標ビット率設定部と、
    前記ビデオビットストリームのうち現在ピクチャの参照ピクチャに関する第１品質階層と、前記現在ピクチャに関する第２品質階層を読み込むビットストリームパーサー、および
    前記目標ビット率によって前記第１品質階層および前記第２品質階層のうち前記優先権が低い品質階層から切り取るビットストリーム切断部と、を含む、ビットストリームのビット率を調節する装置。
19. ビデオビットストリームの入力を受けるエントロピ復号化部と、
    前記ビデオビットストリームのうち、現在ピクチャの参照ピクチャに関する第１品質階層と、前記現在ピクチャの第２品質階層と、前記第２品質階層の依存ＩＤと、を読み込むビットストリームパーサーと、
    前記第１品質階層のうち前記依存ＩＤが指示する品質階層が存在しない場合、前記依存ＩＤは前記第１品質階層のうち最上位品質階層を指示するように設定する依存ＩＤ設定部、および
    前記依存ＩＤが指示する関係によって現在ピクチャを復元する現在ピクチャデコーディング部と、を含む、ビデオデコーダ。

Images