JP2001501069A - ビデオ符号化方法及び装置、及び対応する復号化装置 - Google Patents

Abstract

(57)【要約】 本発明は、Ｈ．２６３標準と完全にコンパチブルな低／超低ビットレートビデオ符号化方法に関するものであり、この符号化方法は第１の順方向符号化ステップ、第２の逆方向予測ステップ、及び所謂イントラ符号化モードとインター符号化モードとの間の選択サブステップを含む第３の決定ステップを具える。この決定ステップが、前記イントラ符号化モードにおいて、ダウンコンバージョンフィルタリングサブステップを符号化ステップの開始時に実行させて原イントラ画像を低解像度で符号化し伝送するとともに、予測ステップにおいて対応するアップコンバージョンフィルタリングサブステップを実行させる。受信端末では、デコーダが画像の低解像度フォーマットを認識し、これらをスケールアップする。用途：ビデオ電話及びビデオ会議

Description

【発明の詳細な説明】 ビデオ符号化方法及び装置、及び対応する復号化装置 発明の分野 本発明は、 少なくとも直交変換サブステップ、量子化サブステップ、及び可変長符号化サ ブステップを直列に含む第１の符号化ステップと、 前記量子化サブステップの出力と前記符号化ステップの入力との間に、少なく とも逆量子化サブステップ、逆直交変換サブステップ、及び予測サブステップを 含む第２の予測ステップと、 所謂イントラ符号化モードとインター符号化モードとの間の選択サブステップ を含む第３の決定ステップと、 を具えるビデオ符号化方法に関するものである。 本発明は、更に、対応するビデオ符号化装置、このような符号化装置の出力端 子に得られるような符号化ビデオ信号、及び対応する復号化装置にも関するもの である。本発明はビデオ電話及びビデオ会議の分野に使用することができる。 発明の背景 超低ビットレートビデオ符号化に対する標準Ｈ．２６３（例えば"ITU standar disation of very low bitrate video coding algorithms"，K.Rijkse，Signal Processing：Image Communication，7(1995)，pp.553-565，に記載されている） はハイブリッドビデオ符号化方法に基づくものであり、マクロブロック構造の画 像を取り扱い、空間冗長性を低減させるためにＤＣＴ(ディスクリートコサイン 変換)及び動き推定及び画像間予測のような技術を用い、最後に量子化し可変長 エントロピー符号化する（ＭＰＥＧ2標準の場合にも規定されている）。 この標準Ｈ．２６３においては最大ビットレートはビデオ電話用に約２０ｋビ ット／秒であり、ビデオ会議用に６４ｋビット／秒の整数倍(６４、１２８、２ ５６、...）である。これらの極めて低いビットレートでは、伝送ビットレート を低 減するために種々の解決方法、例えば時間サブサンプリングがしばしば使用され ている。しかし、これらの解決方法は画質を低下させることなく実行する必要が ある。 標準Ｈ．２６３エンコーダのブロック図を図１に示す。符号化すべき画像に対 応する入力ビットストリームＩＢが減算器１１の第１の正入力端子に受信される 。この減算器の後段に、ＤＣＴ回路１２のような直交変換装置、量子化器１３( Ｑ)、可変長符号化回路１４(ＶＬＣ)、ビデオマルチプレクサ１５(ＭＵＸ)、及 び出力ビットストリームＯＢを出力する出力バッファ１６を直列に具える。量子 化器１３の出力端子と減算器１１の第２の負入力端子との間に設けられたインタ ー（画像間）予測ループは逆量子化器１７(Ｑ^-1)、逆ＤＣＴ回路１８(ＤＣＴ^-1) 、加算器１９、及び予測回路２０を直列に具え、予測回路２０の出力を加算器１ ９の第２入力端子にも送り戻して加算器１９の出力端子に画像を再構成する。 加算器１９の出力は動き推定器２１にも送出される。この推定器２１は入力ビ ットストリームＩＢも受信し、動きベクトルＭＶを出力する。これらのベクトル は次いで第２のＶＬＣ回路２２により符号化され、伝送（又は蓄積）のためにマ ルチプレクサ１５に送出される。出力バッファ１６と予測回路２０との間に設け られた決定回路２３が、イントラ符号化モード（ビデオシーケンスの第１画像に のみ関連し、時間方向予測を用いないで符号化する）と、インター符号化モード （ビデオシーケンスの残りの全画像を予測を用いて符号化する）との間の選択を 行う。 イントラ画像は如何なる前画像も参照することなく符号化されるので、各イン トラ画像は、後続の画像をインター符号化モードで符号化するのに必要なビット 量の４〜１０倍のビット量（シーン内容及び平均量子化パラメータに依存する） を必要とする。下記の表（＝表１）は、ＣＩＦフォーマット（３５２画素×２８ ８ライン）のいくつかの公知のテストシーケンスについてイントラ符号化モード とインター符号化モードとの間のビット量の差を示す。 第１の画像をイントラモードで符号化し、第２の次の画像をインターモードで 符号化するのに必要なこれらのビット量の値から、出力ストリームＯＢを一定の ビットレートで伝送するのに必要な出力バッファ１６がイントラ符号化中に強く 使用されることが観察される。イントラ画像をオーバフローの惧れなしに蓄積す るために適切な容量を有するバッファを使用し得るが、エンコーダの遅延が第１ イントラ画像の全ビット数に正比例し、この画像のビット数が多くなればなるほ ど、出力バッファが関連する一定のターゲットビットレートで空になるまでの遅 延が大きくなる。 発明の概要 これがため、本発明の目的はイントラ符号化モード時にオーバフローの惧れを 避けることができる符号化方法を提供することにある。 この目的のために、本発明は頭書に記載した符号化方法において、前記第３の 決定ステップは、更に、前記イントラ符号化モードにおいてのみ、符号化ステッ プの開始時に実行されるダウンコンバージョンフィルタリングサブステップと、 予測ステップにおいて、予測サブステップの直前に実行される対応するアップコ ンバージョンフィルタリングサブステップとを含み、前記ダウンコンバージョン の結果として画像をインター符号化モードに従って符号化された画像のフォーマ ットに対し低解像度の画像フォーマットで符号化し得ることを特徴とする。 これらの追加のステップの導入はビットを節約する極めて簡単且つ効果的な解 決手段を構成し、約３０％の平均計算量の低減をもたらすとともに出力バッファ のビット占有率の低下(及び前記計算量の低減)のために符号化遅延の低減をもた らす。この解決手段は標準化しなくとも標準Ｈ．２６３とコンパチブルである。 ６４−２５６ｋビット／秒のターゲットビットレートの範囲において、５Ｈｚの 画像レート及びＣＩＦフォーマットを用い、且つ極めて簡単なバッファ制御戦略 又は極めて複雑なバッファ制御戦略(事前分析に基づく)を用いて試験を行ったと ころ、この解決手段は有効であって、最終画像の悪化を殆ど生じないことが確か められた。更に、前記解決手段は完全にスケーラブルであり、たとえ高い圧縮比 及び許容画質の要件を達成するのが難しい特に低ビットレートアプリケーション (２５６ｋビット／秒以下)に適応させる場合でもスケーラブルである。 図面の簡単な説明 本発明の特徴及び利点は以下の説明及び添付図面から一層明らかになる。図面 において、 図１は、既に記載したように、標準Ｈ．２６３エンコーダのブロック図を示し 、 図２は本発明によるエンコーダのブロック図を示し、 図３は対応するデコーダのブロック図を示す。 好適実施例の説明 本発明の原理は次の通りである。所定のフォーマット、例えばＣＩＦフォーマ ットのシーケンスの第１画像をイントラモードで符号化し、次いで量子化しエン トロピー符号化した後に伝送する代わりに、この原画像を、本発明によるエンコ ーダを示す図２に示すように(図１と同一の回路は図１と同一の符号で示す)、入 力端子ＩＢに接続されたダウンコンバータ２２１において、低解像度、例えばＱ ＣＩＦ解像度（１７６画素×１４４ライン）に空間的にダウンコンバートする。 前記ダウンコンバータ２２１の出力を減算器１１に送出し、この出力を（他の場 合、即ち画像をイントラモードで符号化しない場合における直接入力ＩＢの代わ りに）その正入力とする。このダウンコンバータは例えば１５タップ及び奇対称 性を有する半帯域二次元フィルタであるが、計算能力を節約するためにもっと少 数のタップ（例えば７タップ）を有するフィルタを使用しても、実際上同一の品 質を得ることができる。このフィルタリングステップが何であれ、このダウンコ ンバートした画像（ＱＣＩＦフォーマット）をイントラモードで符号化し、次い で出力ビットストリームにて伝送する。 このエンコーダでは、予測ループの逆ＤＣＴ回路１８の出力端子に存在するＱ ＣＩＦ画像を、シーケンスの次の画像を予測するのに使用するために、アップコ ンバータ２２２においてＣＩＦフォーマットに空間的にアップコンバートする。 このアップコンバータ２２２の出力を加算器１９に送出し、この出力を（図１に 示す回路１８とこの加算器１９の第１入力端子との間の直接接続の代わりに）そ の第１入力とする。 標準のものと同様に出力バッファ１６と予測回路２０との間に設けられた決定 回路２２３は、第１に、(標準のものと同様に)イントラモードとインターモード との間の選択を行い、第２に、イントラモードにおいてのみ、減算器１１の正入 力端子におけるエンコーダ入力端子からの直接入力接続をダウンコンバータ２２ １の出力端子からの入力接続と切り換えるとともに、加算器１９の入力端子にお ける逆ＤＣＴ回路１８からの直接入力接続をアップコンバータ２２２の出力端子 からの入力接続に切り換えることができる。 従って、本発明によれば、出力ビットストリームＯＢはイントラモードで符号 化された画像に対してはＱＣＩＦ画像に対応するデータとイントラモードで符号 化されない画像に対してはＣＩＦ画像に対応するデータを含むストリームからな る。前記イントラ符号化及びインター符号化データには、Ｈ．２６３標準により そのビットストリームシンタックスの仕様において勧告されているように、デー タの選択符号化モード（どのデータが低解像度フォーマットで符号化され、どの データがインター符号化モードで符号化されたのか）を示す追加の情報が関連さ せられる。この出力ビットストリームはこの目的のために設けられた蓄積媒体に 蓄積するために又は復号化するために蓄積又は伝送することができる。 これに対応する復号化装置は、図３に示すように、可変長復号化回路３１、逆 量子化回路３２及び逆ディスクリートコサイン変換回路３３を直列に含む第１復 号化チャネルと、これに続く第２チャネルであって画像メモリ３４、動き補償回 路３５及び前記逆ディスクリートコサイン変換回路３３及び動き補償回路３５の 出力を受信する加算器３６を含む動き補償チャネルとを具える。加算器３６の出 力はこの復号化装置の出力であるとともに画像メモリ３４の入力でもある。この 復号化装置は、検出回路３８によって低解像度画像フォーマット（上述の実施例 ではＱＣＩＦ）に従って符号化された画像に関連するイントラ符号化モードを認 識すると、アップコンバータ３９において前記低解像度フォーマットから原フォ ーマット（上述の実施例ではＣＩＦ）への空間的アップコンバージョンを実行す るとともに、復号化装置の入力端子と回路３１との間の直接接続をアップコンバ ータ３９の出力端子から前記回路３１の入力端子への接続と切り換える。 試験の結果、全ビデオシーケンスをリアルタイムに表示するとき、イントラ符 号化画像の画質は原画像の画質より悪いが、この画質の悪化はインターモードで 符号化された後続の他の画像の良好な画質によりマスクされることが確かめられ た。実際上、数個の（一般には４又は５個）インター画像後には、もはや原シー ケンスと本発明に従って処理されたシーケンスとを区別することはできない。同 じ効果を、上述したテストシーケンスのいくつかについて、ＰＳＮＲ（ピーク信 号対雑音比）及びＭＳＥ（平均二乗誤差）輝度測定により客観的に証明すること ができる。 ティーンエイジャーに対するＳＮＲ及びＭＳＥ輝度測定値： 監督に対するＳＮＲ及びＭＳＥ輝度測定値： レナータに対するＳＮＲ及びＭＳＥ輝度測定値： （該当するテストシーケンスは対応する表に述べられている）。 同一のシーケンス“ティーンエイジャー”、“監督”及び“レナータ”に対す る前記試験(ビット数についての)のいくつかの結果を以下に例示する。 (a)“ティーンエイジャー” 原イントラ 低解像度イントラ 画像Ｉ ６７３４４ ２３９８４ 画像Ｐ ３８９６８ ４６１１２ 〃 Ｐ ２８９２８ ３８７２０ 〃 Ｐ １９４４０ １９５５２ 〃 Ｐ ３４８７２ ３４９６０ 合計 １８９５５２ １５３３２８ (b)“監督” 原イントラ 低解像度イントラ 画像Ｉ ６７７３６ ２５４８０ 画像Ｐ １３０１６ ２２１７６ 〃 Ｐ ９１５２ １１９２８ 〃 Ｐ ９５５２ １０８８０ 〃 Ｐ １０９５２ １１４０８ 合計 １１０４０８ ８１８７２ (a)“レナータ” 原イントラ 低解像度イントラ 画像Ｉ １４９９８４ ３５４７２ 画像Ｐ ３４７３６ ７２５５２ 〃 Ｐ ２８１１２ ３１７８４ 〃 Ｐ ２８３７６ ３０１９２ 〃 Ｐ ２６２８０ ２７５０４ 合計 ２６７４８８ １９７５０４ これらの表は各シーケンスの最初の５つの画像を符号化するのに必要な総ビッ ト数の比較を示し(これらのシーケンスの残りの画像に対する符号化ビット数は ほぼ等しい)、最初の５つの画像中にかなりの量のビットが節約されることがわ かる。更に、Ｈ．２６３ビデオ符号化標準は５つの画像フォーマット(サブＱＣ ＩＦ＝１２８画素×９６ライン；ＱＣＩＦ；ＣＩＦ；４ＣＩＦ＝７０４画素×５ ７６ライン；１６ＣＩＦ＝１４０８画素×１１５２ライン)で使用し得るので、 本発明は、その完全なスケーラビリティ特性に従って、１６ＣＩＦ(４ＣＩＦへ のダウンコンバージョンを用いる)、４ＣＩＦ（ＣＩＦへのダウンコンバージョ ンを用いる）等にも適用して同一の結果及び利点を得ることができる。ＱＣＩＦ 画像を用いる２０ｋビット／秒ビデオ電話の場合には、サブＱＣＩＦサイズは正 確にＱＣＩＦの寸法の半分でない(８８画素×７２ラインの代わりに１２８画素 ×９６ラインを有する)。イントラ符号化前のＱＣＩＦからサブＱＣＩＦへのダ ウンコンバージョンは他の高解像度の場合と同一の“ビット節約及び低遅延”効 果を発生しない。この場合にはサブＱＣＩＦフォーマットの代わりに“半ＱＣＩ Ｆ”を使用することを提案する。“半ＱＣＩＦ”サイズは８８画素×７２ライン であり、このフォーマットも同一の１５タップ二次元フィルタにより得ることが できる。標準フォーマットでないとき、２つの関連するイントラダウン−アップ 端末が半ＱＣＩＦを“ノーマル”サブＱＣＩＦであるものとして信号する。換言 すれば、イントラダウン−アップ特性が認識され、ＱＣＩＦ解像度で動作する２ つの端末により使用されると、デコーダがイントラヘッダからサブＱＣＩＦソー スフォーマット宣言を読み出すときに半ＱＣＩＦ画像の前でこの宣言を認識し、 逆ＤＣＴ計算後に半ＱＣＩＦからＱＣＩＦサイズへの空間アップコンバージョン を実行する。

Claims (1)

1. 【特許請求の範囲】 1. 少なくとも直交変換サブステップ、量子化サブステップ、及び可変長符号化 サブステップを直列に含む第１の符号化ステップと、 前記量子化サブステップの出力と前記符号化ステップの入力との間に、少なく とも逆量子化サブステップ、逆直交変換サブステップ、及び予測サブステップを 含む第２の予測ステップと、 所謂イントラ符号化モードとインター符号化モードとの間の選択を行う選択サ ブステップを含む第３の決定ステップと、 を具えるビデオ符号化方法において、 前記第３の決定ステップは、更に、前記イントラ符号化モードにおいてのみ、 符号化ステップの開始時に実行されるダウンコンバージョンフィルタリングサブ ステップと、予測ステップにおいて、予測サブステップの直前に実行される対応 するアップコンバージョンフィルタリングサブステップとを含み、前記ダウンコ ンバージョンの結果として画像をインター符号化モードに従って符号化された画 像のフォーマットに対し低解像度の画像フォーマットで符号化し得ることを特徴 とするビデオ符号化方法。 2. 前記低解像度フォーマットは１７６画素×１４４ラインの所謂ＱＣＩＦフォ ーマットであり、インター符号化モードのフォーマットは３５２画素×２８８ラ インのＣＩＦフォーマットであることを特徴とする請求項１記載のビデオ符号化 方法。 3. ディスクリートコサイン変換回路、量子化器、可変長符号化回路、マルチプ レクサ及び出力バッファを直列に含む第１の符号化チャネルと、 前記量子化器の出力端子と前記ディスクリートコサイン変換回路の入力端子と の間に、逆量子化器、逆ディスクリートコサイン変換回路、加算器、予測回路及 び減算器の負入力端子を直列に含む第２の予測チャネルと、 前記出力バッファの出力端子と前記予測回路との間に挿入され、所謂イントラ 符号化モードとインター符号化モードとの間の選択を行う決定回路を含む第３の 決定チャネルと、 を具えるビデオ符号化装置において、 前記決定チャネルが、更に、 (a)当該符号化装置の入力端子と前記減算器の正入力端子との間に挿入された ダウンコンバータと、 (b)前記逆ディスクリートコサイン変換回路の出力端子と前記加算器の入力端 子との間に挿入されたアップコンバータとを具え、これらの両コンバータが前記 決定回路により制御され、前記イントラ符号化モードの選択時にのみこれらの両 コンバータが対応する直接入力接続の代わりにアクティブになることを特徴とす るビデオ符号化装置。 4. 符号化チャネル及び予測チャネルを具え、更に入力ビデオ信号の所謂イント ラ符号化モードとインター符号化モードとの間の選択を行うために決定ブランチ が設けられたビデオ符号化装置の出力端子に得られる符号化ビデオ信号であって 、イントラ符号化データ及びインター符号化データと前記符号化モードに関する 関連情報とからなるビットストリームを具え、前記イントラ符号化データがイン ター符号化モードに従って符号化された画像のフォーマットに対し低解像度の画 像フォーマットで符号化された画像に対応することを特徴とする符号化ビデオ信 号。 5. 符号化チャネル及び予測チャネルを具え、更に入力ビデオ信号の所謂イント ラ符号化モードとインター符号化モードとの間の選択を行うために決定ブランチ が設けられたビデオ符号化装置の出力端子に得られる符号化ビデオ信号であって 、イントラ符号化データ及びインター符号化データと前記符号化モードに関する 関連情報とからなるビットストリームを具え、前記イントラ符号化データがイン ター符号化モードに従って符号化された画像のフォーマットに対し低解像度の画 像フォーマットで符号化された画像に対応する符号化ビデオ信号を蓄積する蓄積 媒体。 6. 請求項４に記載された符号化ビデオ信号を複合化する装置であって、可変長 復号化回路、逆量子化回路及び逆ディスクリートコサイン変換回路を直列に含む 第１の復号化チャネルと、これに続く第２のチャネルであって画像メモリ、動き 補償回路及び前記逆ディスクリートコサイン変換回路及び動き補償回路の出力を 受信する加算器を含む動き補償チャネルとを具える復号化装置において、当該符 号化装置は、更に、イントラ符号化モードを認識する検出回路と、前記イントラ 符号化モードにおいてのみ、前記低解像度フォーマットからインター符号化モー ドに従う画像フォーマットへの変換を実行するアップコンバータを具えることを 特徴とする復号化装置。