JP2007508770A - ビデオエンコードの方法および装置 - Google Patents

Abstract

本発明は、相続くフレームグループのシーケンスの各フレームをエンコードするために提供されるビデオエンコード方法に関する。この方法は、それ自身ブロックに細分されている相続く現在フレームそれぞれについて、各ブロックについて動きベクトルを推定し、これらの動きベクトルから予測フレームを生成し、現在フレームと最後の予測フレームとの間の差分信号に変換・量子化サブステップを適用し、こうして得られる量子化された係数を符号化するステップを有する。前処理ステップが相続く現在フレームそれぞれに適用されて前記フレームについて言うところのコンテンツ変化強度（CCS）を計算し、これがエンコードされるべき相続くフレームグループの修正された構造を定義するのに使われる。

Description

本発明は、相続くフレームグループからなる入力画像シーケンスをエンコードするために提供されるビデオエンコード方法であって、現在フレームと呼ばれ、ブロックに細分されている相続くフレームそれぞれについて：
・現在フレームの各ブロックについて動きベクトルを推定し、
・現在フレームのブロックにそれぞれ対応する前記動きベクトルを使って予測フレームを生成し、
・現在フレームと最後の予測フレームとの間の差分信号に変換サブステップを適用して複数の係数を生成し、次いで前記係数の量子化サブステップがあり、
・前記量子化された係数を符号化する、
ステップを有する方法に関する。

前記発明はたとえば時間的冗長性などを減少させるために参照フレームを必要とするビデオエンコード装置（動き推定および補償装置のような）に適用可能である。そのような動作は現行のビデオ符号化標準の一部であり、同じように将来の符号化標準の一部でもあるものと期待されている。ビデオエンコード技術はたとえばデジタルビデオカメラ、携帯電話またはデジタルビデオ録画装置のような機器において使用される。さらに、ビデオを符号化し、トランスコードするためのアプリケーションは本発明に基づく技術を使って向上させることができる。

ビデオ圧縮においては、符号化されたビデオシーケンスの送信のための低ビットレートは（いくつかある中でも）一連の画像の間の時間的冗長性の削減によって得ることができる。そのような削減は動き推定（ME: motion estimation）および動き補償（MC: motion compensation）に基づいている。しかし、ビデオシーケンスの現在フレームについてMEおよびMCを実行することは参照フレーム（アンカーフレームともいう）を必要とする。MPEG-2を例にとると、異なるフレーム型、すなわちIフレーム、Pフレーム、Bフレームが定義されており、それらについてMEおよびMCは異なる仕方で実行される：Iフレーム（またはイントラフレーム）は過去や将来のフレームを参照することなく（すなわちMEおよびMCなしに）それ自身独立して符号化されるのに対し、Pフレーム（または前方予測画像）はそれぞれがある過去のフレームを基準として（すなわち、以前の参照フレームからの動き補償を用いて）エンコードされ、Bフレーム（または双方向予測フレーム）は二つの参照フレーム（過去のフレームと将来のフレーム）を基準としてエンコードされる。IフレームとPフレームは参照フレームとしてはたらく。

良好なフレーム予測を実現するために、これらの参照フレームは高品質である、すなわちそれらの符号化に多くのビットを費やす必要がある。それに対し、非参照フレームはそれより低品質でもよい（このため、非参照フレーム、MPEG-2の場合ならBフレームの数が多くなれば一般にはビットレートは低下する）。どの入力フレームがIフレーム、PフレームまたはBフレームとして処理されているかを示すために、MPEG-2ではピクチャーグループ（GOP: group of pictures）に基づく構造が定義されている。より正確には、GOPは二つのパラメータNおよびMを使う。ここで、Nは二つのIフレームの間の時間的距離、Mは参照フレームどうしの間の時間的距離である。たとえば、N＝12、M＝4を用いた(N,M)-GOPが一般に使われるが、これは「IBBBPBBBPBBB」という構造を定義する。

相続くフレームは一般に時間的隔たりが大きいフレームどうしに比べてより高い時間的相関をもつ。したがって、参照フレームと現在予測されるフレームとの間の時間的距離を短くすれば、一方では予測品質は高くなるが、他方では使用できる非参照フレームの数が少なくなるということを含意する。より高い予測品質とより多くの非参照フレームはどちらも一般にビットレートの削減につながるが、それらは互いに相反する作用をする。フレーム予測品質はより短い時間距離からのみしか生じないからである。

しかし、前記品質はまた、実際に参照基準としてはたらく参照フレームの有用性にも依存する。たとえば、場面転換の直前に位置する参照フレームを使うのでは、その参照フレームを基準として場面転換の直後に位置するフレームの予測は、たとえ両者のフレーム距離がたった１であったとしても不可能であることは明らかである。他方、定常的またはほとんど定常的な内容（テレビ会議やニュースのように）をもつ場面においては、１００を超えるフレーム距離であっても高品質の予測となることができる。

上述した例から、普通に使われている(12,4)-GOPのような固定したGOP構造ではビデオシーケンスの符号化のためには非効率でありうることが明らかである。参照フレームの導入が、定常的な内容の場合には頻繁すぎたり、あるいは場面転換の直前に位置する場合には不適切な位置であったりするからである。場面転換検出は既知の技術であり、場面転換のためにフレームの良好な予測（そこにIフレームが位置していなかった場合）が不可能である場所ではIフレームが導入されるようにするのに利用することができる。しかし、フレーム内容が動きの大きな数フレームののちにほとんど完全に変わってしまい、それでいて場面転換は起こっていないような場合、シーケンスはそのような技術からは利するところがない（たとえば、同じシーン内で一人のテニス選手を追い続けるようなシーケンスの場合）。

しかたがって、予測されるフレームについての符号化のコストを削減するために参照フレームとしてはたらくことのできる良好なフレームを見出すための方法を提案することが本発明の目的である。

この目的に向け、本発明は、本記載の導入部において定義されたような、その上で相続く現在フレームそれぞれに前処理ステップが適用される前処理方法であって、前記前処理ステップ自身が：
・各フレームについて言うところのコンテンツ変化強度（CCS: content-change strength）を計算するために設けられる計算サブステップと、
・前記相続くフレームおよび前記計算されたコンテンツ変化強度からエンコードされるべき相続くフレームグループの構造を定義するために設けられる定義サブステップと、
・もとのフレームシーケンスの順序に対して修正された順序でエンコードされるべきフレームを保存するために設けられる保存サブステップ、
のサブステップを有することを特徴とする方法に関するものである。

本発明はまた、前記方法を実施するための装置にも関する。

論文“Rate-distortion optimized frame type selection for MPEG encoding”, J. Lee et al., IEEE Transactions on Circuits and Systems for Video Technology, vol.7, no3, June 1997はGOP構造の最適化を動的に取得することをも許容するアルゴリズムを記載している。しかし、参照フレームの最適な数と位置を見出すために、記載されているところの問題はラグランジュ乗数法を使って定式化されており、その解法の基盤とされているシミュレーテッドアニーリングはきわめてコスト高な技法であり、非常に顕著な計算量とメモリを要求する。

本発明についてこれから例として付属の図面を参照しつつ説明する。

本発明は、予測されるフレームについての符号化コストを削減するために、前処理ステップによってシーケンス中でどのフレームが参照フレームとしてはたらくことができるかを見出せるようにするエンコード方法に関する。前記の良好なフレームの探索は単に場面転換を検出するだけの限界を超えて、似たような内容をもつフレームをグループにまとめることをねらいとする。より正確には、本発明の原理は、何らかの単純な規則に基づいて内容変化の強度を測定することである。これらの規則は下記で列記され、図１に図示されている。図１では横軸は関係するフレームの番号（フレーム番号）に対応し、縦軸は内容変化の強度のレベルに対応している：
（ａ）測定された内容変化の強度が諸レベルに量子化される（予備的な実験によると高々５の少数のレベルで十分であるようだが、レベルの数が本発明を限定することはありえない）；
（ｂ）レベル０の内容変化強度（CCS）をもつフレームのシーケンスの先頭にはIフレームが挿入される；
（ｃ）最近の最も内容安定なフレームを参照として使うため、CCSのレベル増が起こる前にPフレームが挿入される；
（ｄ）同じ理由により、CCSのレベル減が起こったあとにPフレームが挿入される。

測定値そのものについては、測定はGOP構造のオンザフライでの適応を許容すること、すなわち、フレーム種別の決定が後続のフレームが解析されたのち最後に行えることが好ましい（エンコーダは許容されるGOPサイズの制限なしでリアルタイムのビデオ符号化のために必要となる無制限のメモリが利用可能なわけではないので、参照フレームはアプリケーションポリシーに依存してどの時点にでも挿入できることが注目されうるであろう）。例を挙げることができる：測定値がたとえば水平エッジおよび垂直エッジを検出するというブロックの単純なクラス分類である場合（他の測定値は輝度、動きベクトルなどに基づくものでありうる）、CCSは予備的な実験では、二つの相続くフレームについて見出されたブロッククラスを比較し、ブロック中で一定のままでない「検出された水平エッジ」または「検出された垂直エッジ」という特徴を数えることによって導かれる。一定でない特徴一つがCCS数に対して(100)/(2×8×b)と数えられる。ここで、bはフレーム中のブロック数である。この例では、CCSは0から6の範囲である。この例について行われた実験はまた、３フレームにわたって安定であってはじめて新しいCCS数を出力する単純なフィルタをも含んでいる。このフィルタは動きから静止への切り替えの場合に特に有益に思われた。その場合、Iフレームに使われるべき鮮鋭な画像は、内容変化は検出されなかったが３フレーム遅らされた。そのフィルタにもかかわらず、以前の数に比べてCCS数が２増えるということは、フィルタ処理なしで処理されるために十分強いと見られる。

MPEG-2エンコードの場合における本発明に基づく方法の実施例について、これから図２において説明する。MPEG-2エンコーダは通例符号化分枝１０１および予測分枝１０２を有する。分枝１０１が受け取る符号化されるべき信号はDCT・量子化モジュール１１において係数に変換されて量子化され、次いで符号化モジュール１３において以下に説明するようにして生成された動きベクトル（MV: motion vector）とともに符号化される。DCT・量子化モジュール１１の出力で与えられる信号を入力信号として受け取る予測分枝は、逆量子化・逆DCTモジュール２１、加算器２３、フレームメモリ２４、動き補償（MC）回路２５、減算器２６を直列に有する。MC回路２５はまた、入力された再配列されたフレームとフレームメモリ２４の出力とから動き推定（ME）回路２７によって生成された動きベクトルMVをも受け取る。これらの動きベクトルはまた、符号化モジュール１３にも送られ、その出力（「MPEG出力」）は多重化されたビットストリームの形で保存または送信される。

本発明によれば、エンコーダのビデオ入力（相続くフレームXn）は前処理分枝１０３において前処理されるが、それについてこれから説明する。まず、一連のフレームからGOPの構造を定義するために、GOP構造定義回路３１が設けられる。次いで回路３１の出力において利用可能なIフレーム、Pフレーム、Bフレームのシーケンスを再配列するためにフレームメモリ３２ａ、３２ｂ…が設けられる（参照フレームは該参照フレームに依存する非参照フレームより前に符号化され、送信される必要がある）。これらの再配列されたフレームは減算器２６の正入力に送られる（その負入力には上述したようにMC回路２５の出力において利用可能な出力の予測フレームが入力され、これらの予測されたフレームはまた加算器２３の第二の入力にも送り返される）。減算器２６の出力は、符号化分枝１０１によって処理される信号であるフレーム差分を与える。GOP構造の定義のため、CCS計算回路３３が与えられる。前記CCSの測定値はたとえば図１を参照しつつ上に示したように得られるが、他の例を与えることもできる。

本発明はここでは古典的なブロック一致アルゴリズム（BMA: block-matching algorithm）を使う従来のMPEG動き推定手段の場合において記載しているが、そのような実装によって限定されることがありえないことを注意しておいてもいいであろう。動き推定手段のその他の実装も本発明の範囲から外れることなく提案されうる。たとえば、“New flexible motion estimation technique for scalable MPEG encoding using display frame order and multi-temporal references”, S. Mietens and al., IEEE-ICIP 2992, Proceedings, September 22-25, 2002, Rochester, USA, pp.I701〜740に記載されている動き推定手段である。この動き推定手段を組み込んでいるエンコーダが図３に示されている。ここでは図２と同様の回路は同じ符号によって示されている。修正は番号１，２，３によって示される３つの回路に関わる：二つの追加的な機能ブロック３０１および３０２と、図２のME回路２７に対して修正されているブロック３０３である。第一のブロック３０１は入力から直接表示順にフレームを受け取り、これらの相続くフレームに対して動き推定（ME）を実行する。ここで、MEはきわめて精確な動きベクトルを生じる。フレーム距離が小さいためと、未修正フレームを使っていることのためである。動きベクトルはメモリMVSに保存される。第二のブロック３０２は、MPEG符号化によって必要とされる動きベクトル場を、メモリMVSに保存されているベクトル場の線形結合によって近似する。第三のブロック３０３は、ブロック３０２で生成されるベクトル場をもう一つのMEプロセスによって洗練するために任意的に作動させられる。図２のME回路２７は（図３のブロック３０３とともに）通例、すでに分枝DCT、量子化、逆量子化およびIDCTを通過しており、したがって品質が低下しており、精確なMEを妨げるフレームを使う。しかし、ブロック３０３はブロック３０２からの近似を再利用するので、前記洗練されたベクトル場は図２のME回路２７によって計算されるベクトル場よりも精確なものである。機能ブロック「ブロック構造定義」は、本発明の開示において記載されている「CCS計算」ブロックから受け取られるデータに基づいてGOP構造について決定をする。前述したように、内容変化強度は一つまたは複数の種類の情報（ブロック分類、輝度、動きベクトル…）に基づくことができる。したがって「CCS計算」ブロックは内容変化強度（CCS）を計算するために異なる入力をもつこともある。

本発明に基づいて符号化されるべきビデオシーケンスの参照フレームの位置を定義するために使われる規則を示す図である。 本発明に基づくエンコード方法を実行するエンコーダを、MPEG-2の場合を例にとって示す図である。 前記エンコード方法を実行するが、別の種類の動き推定手段を組み込んでいるエンコーダを示す図である。

Claims (4)

1. 相続くフレームグループからなる入力画像シーケンスをエンコードするために提供され、現在フレームと呼ばれ、ブロックに細分されている相続くフレームそれぞれについて：
   ・現在フレームの各ブロックについて動きベクトルを推定し、
   ・現在フレームのブロックにそれぞれ対応する前記動きベクトルを使って予測フレームを生成し、
   ・現在フレームと最後の予測フレームとの間の差分信号に変換サブステップを適用して複数の係数を生成し、次いで前記係数の量子化サブステップがあり、
   ・前記量子化された係数を符号化する、
   ステップを有するビデオエンコード方法であって、
   前処理ステップが相続く各現在フレームに適用され、該前処理ステップ自身が：
   ・各フレームについて言うところのコンテンツ変化強度（CCS）を計算するために設けられる計算サブステップと、
   ・前記相続くフレームおよび前記計算されたコンテンツ変化強度からエンコードされるべき相続くフレームグループの構造を定義するために設けられる定義サブステップと、
   ・もとのフレームシーケンスの順序に対して修正された順序でエンコードされるべきフレームを保存するために設けられる保存サブステップ、
   のサブステップを有することを特徴とするエンコード方法。
2. 請求項１記載のエンコード方法であって、前記CCSの定義が：
   （ａ）測定された内容変化の強度は諸レベルに量子化される；
   （ｂ）レベル０の内容変化強度（CCS）をもつフレームのシーケンスの先頭にはIフレームが挿入される；
   （ｃ）CCSのレベル増が起こる前にPフレームが挿入される；
   （ｄ）CCSのレベル減が起こったあとにPフレームが挿入される、
   という規則に基づいて行われることを特徴とするエンコード方法。
3. 相続くフレームグループからなる入力画像シーケンスをエンコードするために提供され、現在フレームと呼ばれ、ブロックに細分されている相続くフレームそれぞれについて適用される：
   ・現在フレームの各ブロックについて動きベクトルを推定するために設けられた推定手段と、
   ・現在フレームのブロックにそれぞれ対応する前記動きベクトルに基づいて予測フレームを生成するために設けられた生成手段と、
   ・現在フレームと最後の予測フレームとの間の差分信号に変換を適用して複数の係数を生成し、次いで前記係数の量子化があるよう設けられている変換および量子化手段と、
   ・前記量子化された係数を符号化するために設けられた符号化手段、
   との手段を有するビデオエンコード装置であって、
   当該エンコード装置が相続く現在フレームそれぞれに適用される前処理手段をも有しており、該前処理手段自身が：
   ・各フレームについて言うところのコンテンツ変化強度（CCS）を計算するために設けられる計算手段と、
   ・前記相続くフレームおよび前記計算されたコンテンツ変化強度からエンコードされるべき相続くフレームグループの構造を定義するために設けられる定義手段と、
   ・もとのフレームシーケンスの順序に対して修正された順序でエンコードされるべきフレームを保存するために設けられる保存手段、
   との手段を有することを特徴とするエンコード装置。
4. 請求項３記載のエンコード装置であって、前記CCSの定義が：
   （ａ）測定された内容変化の強度は諸レベルに量子化される；
   （ｂ）レベル０の内容変化強度（CCS）をもつフレームのシーケンスの先頭にはIフレームが挿入される；
   （ｃ）CCSのレベル増が起こる前にPフレームが挿入される；
   （ｄ）CCSのレベル減が起こったあとにPフレームが挿入される、
   という規則に基づいて行われることを特徴とするエンコード装置。

Images