JP2005507620A

JP2005507620A - 圧縮

Info

Publication number: JP2005507620A
Application number: JP2003541276A
Authority: JP
Inventors: リョピス，ラファエルペセト
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-10-29
Filing date: 2002-10-16
Publication date: 2005-03-17
Also published as: EP1442599A1; CN1579097A; KR20040054749A; US7085321B2; WO2003039158A1; US20030086493A1

Abstract

本発明はメモリ圧縮における復号器ドリフトを制御する方法に関し、該方法は：復号器の復号化ビット・ストリーム出力及び符号器に対するビット・ストリーム入力を符合化ループの第１パスにおいて設ける工程；該符合器に対する該ビット・ストリーム入力と上記復号器の上記復号化ビット・ストリームとの差異を判定する工程；及び上記復号器の上記復号化ビット・ストリーム出力を、上記判定差異に応じて、上記符合化ループの第２パスにおいて、訂正する工程；を有し、上記符合器に対する上記ビット・ストリーム入力は上記復号器の上記復号化ビット・ストリーム出力に基づいたものであり、上記差異は上記復号器の上記復号化ビット・ストリーム出力の、上記符号器における、上記第１符合化ループにおいての、圧縮によるものである。

Description

【技術分野】
【０００１】
本発明は、一般に、復号器ドリフトを制御する方法及び装置、特に、組み込みメモリ圧縮における復号器ドリフトを制御する方法、に関するものである。
【背景技術】
【０００２】
テレビ動画を、伝送リンクを経由して伝送する必要のあるケースは多くある。テレビ放送品質は、ディジタル形式にて伝送した場合、毎秒100メガビットを超えることが要求され、そしてそのような伝送は高価であり、広帯域幅の伝送路を必要とする。画質における劣化は受容可能な程度であれば、伝送する情報コンテンツを低減するよう、受け入れ得る。
【０００３】
変換符合化は、フレーム内の画素振幅の相関を、該振幅を別の値群に変換することによって、利用し、該値群は比較的小さく、したがって、更に少ないビットを用いて符号化し得る。最も一般的な変換符合化の形式は離散コサイン変換（DCT）を用いる。
【０００４】
MPEG2及びH.263のような現行の動画像圧縮手法は時間的予測符合化用基準画像を記憶することを要求する。この画像はメイン・レベル(720×576画素)の画像フォーマットにほぼ5メガビットの記憶容量を必要とする。伝統的に、この画像は簡単な動き予測及び補償において空間領域において記憶される。VLSI（超大規模集積回路）の実装において著しい欠点は、この領域における記憶量が、一般に、外部記憶IC（集積回路）を用いて実装しなければならないほど大きいことにある。これによって、最大限度のシステムにおける、部品数と、したがってその価格、とを増加させる。当該メモリと処理ハードウェアとを単一ICに組み込むことは、当該記憶容量を低減することが可能である場合、実行できる。この低減は、画像を圧縮領域において、親システムの量子化操作及び該操作に後続するスケーラブルな符合化手法を用いて、記憶することによって、実現し得る。
【０００５】
従来の技術には、DCT領域にとどまる符合器構造がある（非特許文献１参照。）。符号器における符合化フレームは復号化されて、フレーム・メモリに供給され、該フレーム・メモリは動き予測/補償において用いるフレームを記憶する。フレーム・メモリの前にはスケーラブルな符号器が存在する。フレーム・メモリが満たされた場合、(復号化フレームを表す)スケーラブルに符合化されたビット・ストリームは、当該記憶容量を考慮に入れた、復号化フレーム・メモリの、考えられる最良のフレーム表現を設けるよう、切り詰められる。フレーム・メモリに供給されたビット・ストリームが切り詰められると、符合器フレーム・メモリにおいて得られるフレーム表現は、復号器フレーム・メモリにおいて対応するフレーム表現とは違ってくる。したがって、復号器においては考慮に入れられていない、誤差が存在する。この結果、いわゆる復号器ドリフトが生じる。更に多くの内部符合化フレーム、すなわち更に少ない圧縮を用いることが提案されている。しかしながら、これはビットレートが更に高くなるという結果になる。
【０００６】
組み込み圧縮は更に空間領域符号器においても用い得る。
【０００７】
更に、トランスコーダについて開示しているものもある（特許文献１参照。）。動き補償を利用する第１符合化手法と第２符合化手法との間の動画像信号変換用トランスコーダは第１符合化手法によって符合化された受信データ・ストリームを復号化する復号器と復号器からのデータ・ストリームを第２符合化手法によるデータ・ストリームに符合化する符号器とを有する。復号器は受信データ・ストリームから動きベクトルを抽出して、それらを符号器のデータ・ストリームに渡すので、動きベクトルの再計算を回避する。ドリフト補償手段を、映像フレーム後に結果として生じる如何なるドリフトをも補償するよう、設け得る。
【特許文献１】
国際公開第95/029561号パンフレット
【非特許文献１】
Kleinhorst他、“DCT-Domain Embedded Memory Compression for Hybrid Video Coders“、Journal of VLSI Signal Processing Systems、 2000年、24号（第31-41頁）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的はメモリ圧縮における復号器ドリフトを制御する、改善方法及び装置を設けることにある。
【課題を解決するための手段】
【０００９】
本発明の一特徴によって、メモリ圧縮における復号器ドリフトを制御する方法を設ける。該方法は：符号器に対する符合化フレーム入力、及び、該符合器の該符合化フレーム入力に基づいた、復号器の復号化フレーム出力、を符合化ループの第１パスにおいて設ける工程；上記第１符合化ループにおける上記符号器の出力の圧縮による、上記符合器に対する上記符合化フレーム入力と上記復号器の上記復号化出力との間の、差異を判定する工程；及び上記符号器に対する上記符合化フレーム入力を、上記判定差異に応じて、上記符合化ループの第２パスにおいて、訂正する工程；を有する。組み込みメモリ圧縮アプリケーションにおいては、当該圧縮は切り詰めであることが望ましい。切り詰めは実現するのが容易でかつ効率的な圧縮方法である。切り詰めビット・ストリームが依然として復号化し得ることを更に良く保証するよう、符号器はスケーラブルなビット・ストリームを生成する。
【発明を実施するための最良の形態】
【００１０】
本発明の上記及び他の特徴は下記の実施例から明白であり、かつ該実施例によって説明する。
【実施例】
【００１１】
MPEG2及びH.263のような、ハイブリッド型動画像圧縮手法は動き補償符合化用画像メモリを用いる。VLSI実装においては、この画像は通常、その容量が大きいことから外部RAM（書き換え可能メモリ）に記憶される。システム・コスト全体を低減するよう、画像の圧縮が記憶前の４から5倍にて提案され、これによって画像メモリを符号器IC（集積回路）自体に組み込むことを可能にする。DCT領域符号器においては、入力信号は符合化ループの外部でDCTに直接かけられる（図1及び２参照。）。これは、動き予測及び補償がDCT領域において行われる必要があることを意味する。局所復号化は単に、逆量子化(IQ)及び逆MC（動き補償）(IMC：逆動き補償)を行うものである。量子化(Q)後の多くの数の（IQ後も依然として存在する）ゼロ係数を利用して、スケーラブルな符号器（LLC）を記憶前に用いる。スケーラブルな符合化方法は本来、無損失であるが、必要に応じてビット・ストリームから量子化し得る。動き補償用メモリ（MEM）からの抽出はスケーラブルな復号器（LLD）によって行われる。ほぼ全ての符合器部分はこの場合、DC領域に位置する一方、伝統的な、非DCT領域符号器においては、限られた部分のみがDCT領域に位置する。実際の記憶を制御して保証するよう、スケーラブルな圧縮が用いられる。
【００１２】
図１は第１DCT領域ハイブリッド型符号器を有するカメラ・システムを表す。該ハイブリッド型符号器はこの場合、いわゆる「PIPI」符号器で、それは交互にI（ブロック内）フレームとP（ブロック間）フレームとを符合化することを示す。該カメラ・システムはカメラ4及びハイブリッド型符号器5を有する。カメラ4によって生成された信号は最初にDCT50においてDCT変換される。その後、変換信号はME51において動き予測にかけられ、MC52において動き補償にかけられる。該動き補償信号はQ53において量子化される。該量子化信号は更に、例えば、MPEG符合化信号、を取得するよう、ジグザグ式走査器(ZZ)58、ラン長符号器（RLE）59及び可変長符号器（VLE）60によって処理される。該量子化信号は更にLLC54においてスケーラブルに符合化されて、その後、メモリ55に供給される。メモリ55の所要容量は符号器５自体のバッファ/レート制御手順によって保証し得る。これは、実際には、ブロック内フレームIの係数のみがメモリ55中に記憶されるからである。ストレージ・アプリケーションのような、符合器のコスト及び編集機能が圧縮比よりも重要なアプリケーションにおいては、これが符合器にふさわしいものである。ループ・メモリ55は、（LLC54を経由して）量子化器53の直後に配置して、親符号器操作をほぼフルに利用する。動き予測器51において用い得る復元フレームを取得するよう、符号器は更に、スケーラブルな復号器LLD56及び逆量子化器IQ57を有し、両方がメモリ55に結合される。スケーラブルな復号器LLD56はスケーラブルな符号器LLC54の逆操作を行う。
【００１３】
更に低いビットレートにおいて要求される、更に高い圧縮比では、連続するPフレームを用いなければならない。多重Pフレーム符号器７を有するカメラ・システムのアーキテクチャを図２に表す。図１と同様に、符号器７はDCT７０、動き予測器（ME）７１、動き補償器（MC）７２、量子化器（Q）７３、ZZ８０、RLE８１、及びVLE８２を有する。Q73は復元信号を取得するよう、逆量子化（IQ）74を経由して逆動き補償器（IMC）７５に結合される。内部符合化フレームP間を、定義されていない数の非ゼロ係数がIMC器75を通って直接、ループ・メモリ78に渡り、Q73を迂回する。所要記憶容量を能動的に制御する方法としてループ・メモリ78に達する信号を量子化することがある。多少の量の量子化は、画像品質が符号器の目標出力品質よりも更に（有意に）高い状態に保たれる限り許され、連続するPフレーム数は限定される。この量子化は単に、各DCTブロックについてビット・ストリームの特定の割合を、スケーラブルな符合化の原理によって、取り除くことによって、行われる。別個のバッファ制御手順によって画像コンテンツのプロフィールをとって、この割合を一瞬のうちに調節することが可能になる。量子化情報はLLD79において行われる復号化段階においては必要でない。量子化は、更に、切り詰め器T77によって、LLC76によって生成されるスケーラブルなビット・ストリームに行われる。非ゼロ係数の数が、受容可能な数よりも高い場合には、ブロック内にスイッチすることによって、代替手順を利用し得る。図１及び２に表した実施例は標準MPEG又は同様の符合化ビット・ストリームを生成する。このビット・ストリームは標準復号器によって復号化し得る。
【００１４】
図２に表される符号器７は、フレーム・メモリの前に（スケーラブルであることが望ましい）更なる圧縮を用いる組み込みメモリ圧縮のある、符合器の例である。符号器７における符合化フレームは復号化されてフレーム・メモリ78に供給され、該フレーム・メモリは動き予測/補償に用いられるフレームを記憶する。フレーム・メモリ78の前には、スケーラブルな符号器76及び切り詰め器77がある。フレーム・メモリ78が満たされた場合、（復号化フレームを表す）スケーラブルに符合化されたビット・ストリームは、切り詰め器７７によって、当該記憶容量を考慮して、復号化フレーム・メモリ78の考えられる最良の表現を設けるよう、切り詰められる。
【００１５】
フレーム・メモリ78に供給されたビット・ストリームが切り詰められた場合、符合化フレーム・メモリにおいて得られるフレーム表現は復号器フレーム・メモリにおいて対応するフレーム表現とは違ってくる。したがって、切り詰め器７７は誤差がもたらし、そしてそれは復号器LLD79においては考慮されない。この結果、いわゆる復号器ドリフトが生じる。すなわち、復号化フレームは誤差を有するが、これは復号器LLD79における動き予測/補償が符号器LLC76におけるフレームとは違うフレームに基づいているからである。
【００１６】
この問題を解決するよう、符合化ループの第１パスにおいて、誤差の出所、すなわち、スケーラブルな復号器LLD79の出力とスケーラブルな符合器LLC76の入力との間の差異、が判定される（図２参照。）このフレームを記憶する必要はない。LLC76からLLD79までのショートカット100を設け得ることが望ましい。当該判定誤差は符合化される入力フレームから減算される。入力フレームは再び（誤差を組み入れて）符合化されて符合化フレームが出力される。この第２パスにおいては、動き予測は必要でない。動き予測は符号器において最も集中的な処理である。入力フレームから誤差を減算することは第１次訂正にして考え得る。復号器はその場合、復号器ドリフトが低減するよう、符号器におけるものと同等の誤差をもたらす。
【００１７】
符合化ループの第１パスにおいて判定された誤差は、更に、入力から減算するのではなくて、伝送し得る。
【００１８】
上記実施例は、本発明を限定するというよりはむしろ説明するものであることを特筆し、当業者は本明細書及び特許請求の範囲から逸脱することなく多くの代替実施例を企図することが可能である。本明細書及び特許請求の範囲の原文における「comprising」の語は該原文に記載された構成部分又は工程以外のものの存在を除外するものではない。本発明はいくつかの別個の構成部分を有するハードウェア、及び適切にプログラム化されたコンピュータによって実現し得る。いくつかの手段を列挙する装置クレイムにおいては、これらの手段の多くが単一で同一のハードウェア品目として実施し得る。単に特定の手段がお互いに異なった従属クレイムに記載されていることは、これらの手段の組み合わせを好都合に用い得ないことを示さないものである。
【図面の簡単な説明】
【００１９】
【図１】カメラ・システムに形成された、メモリに対してスケーラブルなビット・ストリームを供給するようスケーラブルな符号器を用いる、ハイブリッド型符号器を表す図である。
【図２】カメラ・システムに形成された、メモリに対してスケーラブルなビット・ストリームを供給するようスケーラブルな符号器を用いる、ハイブリッド型符号器を表す更に別の図である。

Claims

メモリ圧縮における復号器ドリフトを制御する方法であって：
符号器に対する符合化フレーム入力及び復号器の復号化フレーム出力を符合化ループの第１パスにおいて設ける工程；
前記符号器に対する前記符合化フレーム入力と前記復号器の前記復号化出力との差異を判定する工程；及び
前記符号器に対する前記符合化フレーム入力を、前記判定差異に応じて、前記符合化ループの第２パスにおいて訂正する工程；
を有し、前記復号器の前記復号化フレーム出力は前記符号器の前記符合化フレーム入力に基づいていて、前記差異は前記符合器の出力の、前記第１符合化ループにおける、圧縮によるものであることを特徴とする方法。
請求項１記載の方法であって、前記判定差異は前記符号器に対する前記フレーム入力から、前記符合化ループの前記第２パスにおいて、減算されることを特徴とする方法。
請求項１記載の方法であって、前記判定差異は前記符合化ループの前記第２パスにおいて伝送されることを特徴とする方法。
請求項１乃至３何れか記載の方法であって、ショートカットが前記符号器と前記復号器との間に設けられることを特徴とする方法。
請求項１乃至４何れか記載の方法であって、前記圧縮は切り詰めであることを特徴とする方法。
メモリ圧縮における復号器ドリフトを制御する装置であって：
符号器、及び該符合器に接続された復号器；
前記符号器に対する符合化フレーム入力及び前記復号器の復号化フレーム出力を符合化ループの第１パスにおいて設ける手段；
前記符号器に対する前記符合化フレーム入力と前記復号器の前記復号化出力との差異を判定する手段；及び
前記符号器に対する前記符合化フレーム入力を、前記判定差異に応じて、前記符合化ループの第２パスにおいて訂正する手段；
を有し、前記復号器の前記復号化フレーム出力は前記符号器の前記符合化フレーム入力に基づいていて、前記差異は前記符合器の出力の、前記第１符合化ループにおける、圧縮によるものであることを特徴とする装置。
請求項６記載の装置であって、ショートカットが前記符号器と前記復号器との間に設けられることを特徴とする装置。
カメラ・システムであって、請求項６乃至７記載の装置を有することを特徴とするカメラ・システム。