JP2020530229A - 動き補償参照フレーム圧縮 - Google Patents

Abstract

動画像符号化器（１００）において、動き予測モジュール（１０２）が、符号化対象のフレーム部分のための、参照フレームにおける類似部分を特定する。参照フレーム圧縮モジュール（１０４）が、参照フレームの符号化部分のそれぞれを得るように、参照フレームの部分のそれぞれを別々に符号化する。参照フレームメモリ（１０８）が、参照フレームの符号化部分のそれぞれを、参照フレームの符号化表現として一時的に格納する。参照フレーム復元モジュール（１０５）が、参照フレームの符号化部分の復号化版を得るように、参照フレームメモリに格納された参照フレームの符号化部分を復号化する。キャッシュメモリ（１０７）が、参照フレームの符号化部分の連続した復号化版のセットを格納する。動き予測モジュールは、参照フレームの符号化部分の連続した復号化版のセット間において、参照フレーム内において類似部分を特定するように、キャッシュメモリにアクセスする。【選択図】図１

Description

本発明の態様は、一連の符号化フレームを得るために一連のフレームを符号化するように適合された符号化器に関する。符号化器は、例えば、ＨＥＶＣ型であってもよく、ＨＥＶＣは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇの頭文字をとったものであり、正式には、ＩＳＯ２３００８−２：２０１５ ｜ ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６５として知られている。本発明の他の態様は、一連のフレームを符号化する方法と、コンピュータプログラムとに関する。

ＨＥＶＣにおいて、画面間予測では、ビデオシーケンスのフレーム内の時間的冗長性を利用する。画面間予測では、ビデオシーケンスの符号化済みフレームにおいて利用可能な情報を用いて、フレームに含まれる情報を予測し得る。よって、この符号化済みフレームが参照フレームを構成する。

ＨＥＶＣにおける画面間予測の概要を以下に述べる。まず、符号化器が、符号化対象のフレームをブロック状の領域に分割する。次に、このブロック状の領域のそれぞれに対して、符号化器の動き予測モジュールが、動きデータを特定するためにブロック・マッチング法を適用する。この動きデータには、予測のための参照先として符号化済みのフレームが用いられる参照フレームのインデックス表示が含まれる。動きデータには、さらに、参照フレーム内の類似のブロック状領域の相対的な位置を特定する動きベクトルが含まれる。次に、動き補償モジュールが、動きデータを用いて予測フレームを生成し得る。

画面間予測を実行するために、ＨＥＶＣ符号化器は、符号化フレームの復号化版を一時的に格納する必要があり、この復号化版は、後続フレームを符号化する際の参照フレームを構成し得る。その目的のために、ＨＥＶＣ符号化器は、メモリを含み、このメモリは、一般に、参照フレームバッファと呼ばれる。参照フレームバッファは、比較的大量のデータを格納する必要がある。参照フレームバッファは、比較的高いアクセス帯域幅を維持する必要がある。その上、例えば、ＨＥＶＣ符号化器は、２１６０ｐ３０ ４：２：０ ８−ビットのコンテンツにおいて作動するものとする。その場合、画面間予測用の参照フレームバッファに対する読み取りアクセスには、６．７ＧＢ／秒の広さのアクセス帯域幅を要する場合がある。

参照フレームバッファは、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）により実施可能であり、ＤＲＡＭは、比較的低コストで、比較的大きい格納容量と、比較的広いアクセス帯域幅を提供し得る。このような実施において、ＨＥＶＣ符号化器の他の機能モジュールを、集積回路、いわゆるチップに含ませることができる。しかしながら、チップによるＤＲＡＭへのアクセスは、特に、上述のように広い帯域幅を要するときに、電力消費が比較的高くなってしまう場合がある。チップによるＤＲＡＭへのアクセスは、ＨＥＶＣ符号化器の全電力消費のかなりの部分を占め得る。例えば、アクセスは、電力消費全体の半分近くを占めるか、または半分を超え得る。

動画像符号化器が、低電力消費及び適度なコストの基準の少なくとも１つをさらによく満たす解決法が必要であって、これによって、生成された符号化動画像が、復号化時に満足のいく画質となる。

請求項１に記載の本発明の態様によれば、一連の符号化フレームを得るために一連のフレームを符号化するように適合された符号化器が提供され、当該符号化器は、
符号化対象のフレームの部分と、参照フレームの類似部分とを特定するように適合された動き予測モジュールであって、参照フレームは符号化済みのフレームの復号化版である、動き予測モジュールを備え、
符号化器は、参照フレームバッファシステムを備え、当該参照フレームバッファシステムは、
参照フレーム圧縮モジュールであって、当該参照フレーム圧縮モジュールは、参照フレームの符号化部分のそれぞれを得るために、参照フレームの部分のそれぞれを別々に符号化するように適合され、これにより、別々に符号化される参照フレームの部分のそれぞれは、符号化対象のフレーム部分と少なくとも同じ大きさとなる、参照フレーム圧縮モジュールと、
参照フレームの符号化表現として、参照フレームの符号化部分のそれぞれを一時的に格納するように適合された参照フレームメモリと、
参照フレームの符号化部分の復号化版を得るために、参照フレームメモリ内に格納された参照フレームの符号化部分を復号化するように適合された参照フレーム復元モジュールと、
参照フレームの符号化部分の連続した復号化版のセットを格納するように適合されたキャッシュメモリであって、これにより、動き予測モジュールが、参照フレームの符号化部分の連続した復号化版のセットの間において参照フレームの類似部分を特定するために、キャッシュメモリにアクセスするように適合されるキャッシュメモリと、
を含む。

このような符号化器において、参照フレームメモリへのアクセスは、本質的に、参照フレームの符号化部分のそれぞれに関連しており、参照フレームの符号化部分のそれぞれは、参照フレームの符号化表現を構成する。参照フレームの符号化部分のそれぞれは、参照フレームの元の部分と比較して比較的少ないデータ量を含み得る。このことは、このようなアクセスと関連付けられる帯域幅の要件を著しく緩和させ得る。特に、参照フレームの部分に対して、非可逆符号化を用いた場合、帯域幅が著しく狭くなり得る。原理的には、このような非可逆符号化は、符号化の効率または画質、あるいはその両方に影響を与えかねない。しかしながら、実際に、符号化の効率または画質における損失、あるいはその両方の損失が、比較的少なく、わずかなものでさえあり得ることが分かった。

符号化の効率または画質、あるいはその両方をそれほど低下させることなく、帯域幅の要件が著しく緩和されることに貢献するさらに別の要因は、別々に符号化される参照フレームの部分のそれぞれが、符号化対象のフレーム部分と少なくとも同じ大きさであることである。参照フレームの部分のそれぞれが比較的大きいので、画質がそれほど損なわれることなく、比較的高い圧縮比を達成することができる。すなわち、比較的高い圧縮比を適用することは、帯域幅の要件を緩和させ得るものであって、必ずしも、動き予測及び動き補償に用いられる参照フレームの表現が、元の形態の参照フレームの比較的高品質なコピーとなることの妨げにはならない。このような要因は、画質にそれほど影響を与えることなく帯域幅要件を緩和するものであって、電力消費を低下させ得る。

請求項１４及び１５に記載の本発明の他の態様によれば、一連のフレームを符号化する方法と、コンピュータプログラムとが提供される。

図示目的で、本発明のいくつかの実施形態を、添付の図面を参照しながら詳細に説明する。この説明において、追加の特徴を提示していくことで、利点が明らかとなるだろう。

図１は、動画像符号化器のブロック図である。 図２は、符号化対象の一連のフレームの概念図である。 図３は、参照フレーム圧縮モジュールにおいて画定及び処理可能な未来参照フレームのブロック状部分のそれぞれの概念図である。 図４は、参照フレーム圧縮モジュールにおいて画定及び処理可能な未来参照フレームのストライプ状部分のそれぞれの概念図である。 図５は、キャッシュメモリにある参照フレームの小部分の表現に基づく符号化対象の現フレームの部分の概念図である。 図６は、キャッシュメモリにある参照フレームの別の小部分の表現に基づく符号化対象の現フレームの後続部分の概念図である。 図７は、種々の動画像符号化及び復号化方式のための符号化動画像ビットレートに対する画質をグラフに描いたものである。

図１に動画像復号器１００の概略を示す。図１は、動画像符号化器１００のブロック図である。動画像符号化器１００は、例えば、ＨＥＶＣ型であってもよく、ＨＥＶＣは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇの頭文字をとったものであり、正式には、ＩＳＯ２３００８−２：２０１５ ｜ ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６５として知られている。

動画像符号化器１００は、種々の機能モジュール、すなわち、フレーム部分画定モジュール１０１と、動き予測モジュール１０２と、主符号化モジュール１０３と、参照フレーム圧縮モジュール１０４と、参照フレーム復元モジュール１０５とを備える。前述の機能モジュールは、例えば、後述の作動を実行するように適合させた専用回路の形をとってもよい。動画像符号化器１００は、さらに、キャッシュメモリ１０７と参照フレームメモリ１０８とを備える。キャッシュメモリ１０７と、上述の機能モジュール１０１〜１０５とを、集積回路、いわゆるチップ１０９に含ませてもよい。参照フレームメモリ１０８は、例えば、チップ１０９に結合されるダイナミック・ランダム・アクセス・メモリの形をとってもよく、チップ１０９は、上述の機能モジュール１０１〜１０５及びキャッシュメモリ１０７を備える。

さらに詳しくは、参照フレーム圧縮モジュール１０４は、参照フレーム部分画定モジュール１１０と、参照フレーム符号化器モジュール１１１と、参照フレーム符号化器マルチプレクサ１１２とを備える。参照フレーム復元モジュール１０５は、キャッシュメモリ管理モジュール１１３と、参照フレーム復号器モジュール１１４と、参照フレーム復号器マルチプレクサ１１５とを備える。参照フレーム圧縮モジュール１０４と、参照フレーム復元モジュール１０５と、参照フレームメモリ１０８と、キャッシュメモリ１０７とは、動画像符号化器１００内において参照フレームバッファシステムを形成するものとみなし得る。

図２に、図１に示した動画像符号化器１００による符号化対象の一連のフレーム２００の概略を図示する。図２は、符号化対象の一連のフレーム２００の概念図である。一連のフレームは、現に符号化対象となっているフレーム２０１を含み、このフレーム２０１は、符号化済みのいくつかのフレーム２０２〜２０４に先行し、その次に符号化されるフレーム２０５が後続する。現に符号化対象となっているフレーム２０１は、以後、便宜上現フレーム２０１と呼ぶ。符号化対象の一連のフレーム２００は、動画像内にもともと含まれていた一連のフレームの再配列版であってもよい。すなわち、フレームを並べる順番は、符号化の目的により変更可能である。

一連のフレームは、動画像符号化器１００にデータストリーム２０６の形で提供される。データストリーム２０６は、連続したセグメント２０７〜２１１を含み、これにより、１つのセグメントが１つの符号化対象のフレームに相当する。データストリーム２０６は、さらに、データストリーム２０６についての情報と、データストリーム２０６が表すフレームについての情報とを提供する種々のインジケータ２１２〜２１６を備える。例えば、インジケータは、セグメントの始まり、よって、符号化対象のフレームの始まりを示し得る。図２に示したデータストリーム２０６は、動画像符号化器１００による符号化対象の一連のフレーム２００を表すものであって、例えば、ＨＥＶＣ型の符号化器などの従来の動画像符号化器に適用されるデータストリームと類似の、また同一でさえある構造及びシンタックスを具えてもよい。

図１に図示した動画像符号化器１００は、以下に説明するように作動し得る。本説明において、ＨＥＶＣの一定の特徴は、明瞭化と簡略化のために、あえて無視しているかまたはかなり簡略化している。

動画像符号化器１００は、フレーム内方式またはフレーム間方式でフレームを符号化し得る。フレーム内方式では、フレームを、符号化済みのフレームを参照せずに、単独で符号化する。フレーム間方式では、フレームを、符号化済みのフレームを参照して、符号化する。さらに、正確には、フレームを、符号化済みのフレームの復号化版を参照して、符号化する。この復号化版が、参照フレームを構成する。ＨＥＶＣでは、フレームを、混合型のフレーム内／フレーム間方式で符号化し得ることに留意する。つまり、フレームのある部分は、フレーム内方式で符号化され、その一方で、他の部分は、フレーム間方式で符号化され得る。この特徴は、明瞭化及び簡略化のために無視する。

動画像符号化器１００は、どのフレームをフレーム内方式で符号化するかと、どのフレームをフレーム間式で符号化するかとを判断するフレーム符号化方式を適用可能である。このようなフレーム符号化方式は、反復パターンの形を取り得る。この形式では、フレーム間方式で符号化されたフレームが、所定の数だけ、フレーム内方式で符号化された連続する２つのフレームの間に含まれる。

動画像符号化器１００は、図２に示すデータストリーム２０６を、さらに詳細には、現フレーム２０１を表すセグメント２１０を受信する。現フレーム２０１は、さらに、フレーム間方式で符号化されることとする。このことは、符号化済みのフレームの復号化版が、符号化対象の現フレーム２０１の参照フレームを構成することを意味する。ＨＥＶＣでは、フレームの符号化は、複数の参照フレームを参照して行い得る。この特徴は、明瞭化のために無視する。現フレーム２０１は、単一の参照フレームを参照して符号化されることとする。

フレーム部分画定モジュール１０１は、現フレーム２０１の部分のそれぞれを連続して画定する。フレーム部分画定モジュール１０１が現に画定する現フレーム２０１の部分は、動画像符号化器１００が現に受信するデータストリーム２０６内のエレメントに対応し得る。フレーム部分画定モジュール１０１が現に画定する現フレーム２０１のその部分を、符号化対象の現フレーム２０１の現部分と以後呼ぶ。フレーム部分画定モジュール１０１が画定する部分のそれぞれは、所定の最大サイズ、例えば、６４×６４画素とし得る。例えば、動画像符号化器１００が、ＨＥＶＣ型であるとすると、このような部分は、いわゆる符号化ツリーユニット（ＣＴＵ）に相当し得る。ＨＥＶＣにおいて、符号化対象のフレームの部分のそれぞれの大きさは様々なものに変更し得ることに留意する。この特徴は、明瞭化及び簡略化のために無視する。

フレーム部分画定モジュール１０１は、実際に、符号化対象のフレームを、個々の画素ブロックに分割する構成要素とみなし得る。これを図２に図示しており、図２では、現フレーム２０１が、実際に、画素ブロックに分割されている。これらの画素ブロックは、二次元配列を構成し、二次元配列は、現フレーム２０１に対応する。動画像符号化器１００は、この複数の画素ブロックをブロックごとに個々に符号化し得る。

参照フレーム復元モジュール１０５のキャッシュメモリ管理モジュール１１３は、キャッシュメモリ１０７が、参照フレームの特定の小部分の表現（representation）を含むことを保証する。この特定の小部分は、参照フレームの部分またはその部分の表現を含み得、当該表現は、符号化対象の現フレーム２０１の現部分と同じ所定位置にある。

動き予測モジュール１０２は、符号化対象の現フレーム２０１の現部分に対して、参照フレーム内の類似部分を特定するように、キャッシュメモリ１０７にアクセスする。類似部分のこの探索は、キャッシュメモリ１０７にその表現が存在する参照フレームの小部分に制限される。

動き予測モジュール１０２は、類似部分が探索され特定される探索窓を利用し得る。探索窓は、符号化対象のフレームの部分に対して一定の位置にし得る。例えば、探索窓は中央が、符号化対象の現フレーム２０１の現部分の中央に対して所定の位置で対応させ得る。換言すると、探索窓を、符号化対象の現フレーム２０１の現部分の中央に配置し得る。

動き予測モジュール１０２は、符号化対象の現フレーム２０１の現部分に対する動きベクトルを提供する。動きベクトルは、符号化対象の現フレーム２０１の現部分に対して特定済みの参照フレームの類似部分の位置を示す。ＨＥＶＣでは、複数の動きベクトルが、符号化対象のフレームの部分に対して、その部分が複数の参照フレームを参照して符号化される場合に提供され得ることに留意する。この特徴は、明瞭化及び簡略化のために無視する。

主符号化モジュール１０３は、残りを符号化し、この残りとは、符号化対象の現フレーム２０１の現部分と、特定済みの参照フレームの類似部分との間に存在し得る差分である。そのために、主符号化モジュール１０３は、動きベクトルを用いて、キャッシュメモリ１０７からこのような類似部分を探索し得る。よって、主符号化モジュール１０３は、現フレーム２０１の現符号化部分を生成し、当該現符号化部分は、動きベクトルと、現フレーム２０１の現部分と動きベクトルにより示される参照フレーム内の類似部分との間において符号化される残りとを含む。

よって、現フレーム２０１を符号化する際、主符号化モジュール１０３は、現フレーム２０１の一連の符号化部分のそれぞれを生成する。現フレーム２０１のこの一連の符号化部分のそれぞれは、本質的に、被符号化現フレームを構成する。主符号化モジュール１０３は、被符号化現フレームをデータストリームセグメントの形で出力し得る。

主符号化モジュール１０３は、さらに、現フレーム２０１の被符号化現部分の復号化版を生成する。復号化版は、現符号化フレームを復号化するように適合された復号器において通常適用される処理と同様に、現フレーム２０１の被符号化現部分の処理をすることにより得られる。このような処理には、例えば、動き補償や、符号化された残りを用いた復号化フレームの再構築を含み得る。

よって、現フレーム２０１を符号化する際、主符号化モジュール１０３は、現フレーム２０１の符号化部分の一連の復号化版のそれぞれを生成する。この一連の、現フレーム２０１の符号化部分のそれぞれは、本質的に、被符号化現フレームの復号化版を構成する。被符号化現フレーム２０１の復号化版は、符号化対象の後続フレームの参照フレームを構成し得る。被符号化現フレーム２０１の復号化版は、以後、便宜上及び明確化のために、未来参照フレームと呼ぶ。

参照フレーム圧縮モジュール１０４の参照フレーム部分画定モジュール１１０は、未来参照フレームの部分のそれぞれを連続して画定する。参照フレーム部分画定モジュール１１０が現に画定する未来参照フレームの部分は、参照フレームの被符号化現部分の復号化版を含み得る。参照フレーム部分画定モジュール１１０が画定する未来参照フレームの部分のそれぞれは、幅を少なくとも６４画素、高さを少なくとも３２画素とし得る。すなわち、参照フレーム圧縮モジュール１０４において処理される未来参照フレームの部分のそれぞれは、符号化対象のフレームが実際に分割されるそれぞれの部分に対して大きさが、相対的に大きく、少なくとも同等である。

図３に、参照フレーム圧縮モジュール１０４において画定し処理し得る未来参照フレームのブロック状部分のそれぞれの概略を図示する。図３は、未来参照フレームのブロック状部分のそれぞれの概念図を提供する。この例では、未来参照フレームの部分のそれぞれは、少なくとも６４×６４画素の大きさとし得る。

図４に、参照フレーム圧縮モジュール１０４において画定及び処理し得る未来参照フレームのストライプ状部分のそれぞれの概略を図示する。図４は、未来参照フレームのストライプ状部分のそれぞれの概念図を提供する。この例では、未来参照フレームの部分のそれぞれの大きさは、少なくとも高さを６４画素、幅を、図２に示した一連のフレームのフレーム幅に対応する幅とし得る。

参照フレーム符号化器モジュール１１１は、画定済みの未来参照フレームの部分のそれぞれを別々に符号化する。従って、参照フレーム符号化器モジュール１１１は、未来参照フレームの符号化部分のそれぞれを生成する。このような符号化部分のそれぞれは、未来参照フレームの符号化表現を構成する。

未来参照フレームの符号化表現は、データ量、例えば、未来参照フレームが元の版のときに含むデータ量の半分のデータ量または半分未満のデータ量さえ含み得る。すなわち、参照フレーム符号化器モジュール１１１は、少なくとも２の圧縮比を提供し得る。さらに詳細には、参照フレーム符号化器モジュール１１１は、少なくとも２の圧縮比を系統的に提供し得る。このことが意味するのは、未来参照フレームの符号化部分のそれぞれは、現フレーム２０１の符号化部分の復号化版のそれぞれに含まれるデータ量の半分のデータ量、または半分未満のデータ量を含むということである。圧縮比は、例えば、３、４、５、またはそれよりもさらに高くし得る。

圧縮比が少なくとも２またはそれよりも高いことは、一般に、参照フレームを符号化することが、質の点で無損失ではない場合があることを意味する。未来参照フレームの符号化版は、元の版の未来参照フレームと比べて、復号化するといくらか質が落ちる場合がある。このことは、特にフレーム間方式で符号化される一連の連続フレームがある場合、動画像符号化器１００が提供可能な画質に、著しく影響を与えることが予測される。しかしながら、驚くべきことに、参照フレームを符号化するときに、相対的に高い圧縮比が、画質を著しく劣化させるとは限らないことが分かった。

参照フレーム符号化器モジュール１１１が提供する圧縮比は、別々に符号化される参照フレームの部分のそれぞれの大きさに左右され得る。例えば、参照フレーム部分画定モジュール１１０が、図４に図示したように、ストライプ状部分を画定する場合、圧縮比は、図３に図示したように、このモジュールがブロック状部分を画定する場合よりも、高くなり得る。一般に、画定され別々に符号化される参照フレームの部分のそれぞれの大きさが大きくなるほど、所定の符号化画質に対する圧縮比は大きくなり得る。

参照フレーム符号化器モジュール１１１は、一定のデータレート符号化方式に従って作動し得る。このことは、圧縮比が、現フレーム２０１の符号化部分の復号化版のそれぞれについて一定であることを意味する。従って、この場合、参照フレーム符号化器モジュール１１１が生成する未来参照フレームの符号化部分のそれぞれは、一定の大きさ、すなわち一定のデータ量を含む。

参照フレーム符号化器モジュール１１１は、例えば、ＪＰＥＧ ＸＳ符号化方式に従って、作動し得る。ＪＰＥＧ ＸＳは、費用効果の高い方法で、８Ｋ等の解像度とフレームレートの向上をサポート可能である低遅延軽量画像圧縮を選定する。ＪＰＥＧ ＸＳは、現在、ＪＰＥＧとしてよく知られているＩＳＯ／ＩＥＣ ＳＣ ２９ ＷＧ ０１において、国際標準草稿段階にある。ＪＰＥＧ ＸＳは、ＩＳＯ／ＩＥＣ ２１１２２として登録されている。

参照フレーム圧縮モジュール１０４は、未来参照フレームの符号化部分のそれぞれを、参照フレーム符号化器マルチプレクサ１１２を介して、参照フレームメモリ１０８に転送し得る。参照フレーム符号化器マルチプレクサ１１２によって、参照フレームバッファシステムが、未来参照フレームの部分を、符号化することなく元の版のままで参照フレームメモリ１０８に格納することができる。この例は、例えば、未来参照フレームの境界部分が、符号化されて参照フレームメモリ１０８に格納された未来参照フレームの部分のそれぞれよりも小さい場合に当てはまる。例えば、図３を参照すると、このような境界は、ブロック状部分のそれぞれの大きさは６４×６４画素だが、その一方で、フレームの幅が６４画素の正確な倍数ではないか、またはフレームの高さが６４画素の正確な倍数ではないか、あるいはその両方である場合に存在する。

参照フレーム圧縮モジュール１０４は、参照フレームメモリ１０８に、格納予定の未来参照フレームの符号化部分のそれぞれに関する情報をさらに転送し得る。例えば、インデックスを、未来参照フレームの符号化部分と関連付けることができる。インデックスは、未来参照フレーム内の符号化部分の位置を示し得る。

別の例として、参照フレーム符号化器モジュール１１１が可変データレート符号化方式を用いる場合、データサイズの表示を、未来参照フレームの符号化部分と関連付けることができる。データサイズの表示は、参照フレームメモリ１０８内に未来参照フレームの符号化部分のそれぞれを格納することを適切に管理することに役立つ。参照フレーム符号化器モジュール１１１が一定のデータレート符号化方式を用いる場合、このようなデータサイズの表示を省くことができる。この場合、未来参照フレームの符号化部分のそれぞれは、一定のサイズである。これによって、格納管理を著しく簡略化することができる。

動画像符号化器１００が、一旦、現フレーム２０１を完全に符号化すると、参照フレームメモリ１０８は、未来参照フレームの符号化表現を含むことになる。上述のように、動画像符号化器１００は、参照フレームメモリ１０８に格納されている未来参照フレームの符号化表現を、後続フレームを符号化することに用い得る。

よって、現フレーム２０１は、前述のやり方で参照フレーム圧縮モジュール１０４により予め生成されている参照フレームの符号化表現に基づいて、符号化される。従って、参照フレームの符号化表現は、参照フレームメモリ１０８内に存在しており、参照フレームの符号化部分のそれぞれの形をしている。現フレーム２０１を符号化するために、参照フレーム復元モジュール１０５は、参照フレームメモリ１０８から参照フレームのある符号化部分を連続して探索する。参照フレーム復元モジュール１０５は、次に、参照フレームメモリ１０８から探索した符号化部分の復号化版を得るために、この符号化部分を復号化する。この復号化版が、キャッシュメモリ１０７に転送される。

参照フレーム復元モジュール１０５は、参照フレームの表現の適切な小部分がキャッシュメモリ１０７に存在することを保証するために、この連続探索及び復号化の過程を管理し得る。適切な小部分によって、動き予測モジュール１０２が、現フレーム２０１の現部分に対して、参照フレーム内の類似部分を特定して動きベクトルを生成し得る。この過程を以下さらに説明する。

図５に、現フレーム２０１の現部分に関連してキャッシュメモリ１０７に存在する参照フレームの小部分の概念図を示す。この図では、参照番号５００は、参照フレームを指し、参照番号５０１は、キャッシュメモリ１０７内に存在する参照フレームの小部分を指し、参照番号５０２は、現フレームの現部分を指す。この例では、参照フレームの符号化部分のそれぞれは、復号化されるとき、符号化対象の現フレーム２０１の部分のそれぞれの符号化部分と、大きさが、例えば６４×６４画素等、等しいものと仮定する。さらに、キャッシュメモリ１０７内に存在する参照フレームの小部分５０１は、参照フレームの符号化部分のそれぞれの３×３の配列の復号化版を含んでいる。この配列では、参照フレーム内における中心部分の位置と、符号化対象の現フレーム２０１の現部分の中心部分の位置とが一致する。図５には、動き予測モジュール１０２が探索する探索窓も、参照番号５０３で指し示している。

参照フレーム復元モジュール１０５内のキャッシュメモリ管理モジュール１１３は、符号化対象の現フレーム２０１の現部分５０２の位置についての情報を有する。キャッシュメモリ管理モジュール１１３は、図２に示すデータストリーム２０６内のインジケータからこの情報を得ることができ、データストリーム２０６は、図１に示す動画像符号化器１００が受信する。よって、キャッシュメモリ管理モジュール１１３は、キャッシュメモリ１０７内に復号化版が存在すべき参照フレームの符号化部分のそれぞれを判定することができる。

これより前に提示した例では、これらの部分のうち６つが、キャッシュメモリ１０７内に予め存在しているのが、一般的である。これは、これらの部分が、符号化対象の現フレーム２０１の先行部分を符号化する土台としての役割を果たす、参照フレーム表現の先行する小部分の一部を形成しているからである。よって、一般に、参照フレーム復元モジュール１０５は、現フレーム２０１の新しい部分が符号化対象となるとき、参照フレームメモリ１０８にアクセスする。これより前に紹介した例では、このアクセスは、参照フレームの３つの符号化部分のそれぞれのみを探索し復号化することに制限されている。アクセスは、現フレーム２０１の新しい部分が参照フレームの境界に位置したときに、範囲が幾分広がる。

図６に、符号化対象の現フレーム２０１の、現部分の直後に続く後続部分に関連して、キャッシュメモリ１０７内に存在することになる参照フレームの別の小部分の概念図を示す。この図では、参照番号６０１は、キャッシュメモリ１０７内に存在することになる参照フレームのその他の小部分を指し、参照番号６０２は、現フレームの後続部分を指す。図６では、動き予測モジュール１０２が次に探索する後続の探索窓も、参照番号６０３で指し示している。探索窓５０３と後続の探索窓６０３とは、著しく重なり合っている。

図６は、他の小部分６０１をキャッシュメモリ１０７内に存在させるには、参照フレーム復元モジュール１０５が、参照フレームの符号化部分を３つのみそれぞれ探索し復号化することで十分であることを、さらに図示している。これによって、符号化部分のそれぞれが圧縮されることと組み合わされて、符号化処理を行うチップ１０９と、参照フレームメモリ１０８との間におけるデータ転送の帯域幅要件が、著しく緩和される。これによって、図１に示す動画像符号化器１００の電力消費を低減させることができる。

上述のように、図１に示す動画像符号化器１００は、参照フレームを、圧縮しないか、またはロスレス式または準ロスレス式にわずかに圧縮する従来の動画像符号化器１００が提供可能なものに比較的近い画質を提供し得る。驚くべきことに、適用されるロッシー圧縮は、必ずしも、著しく画質を低下させない。同じことが、動き予測における探索窓を、キャッシュメモリ１０７内に格納可能なものに制限することにも当てはまる。

その上、驚くべきことに、以下のことが分かった。図１に示す動画像符号化器１００により生成される一連の符号化フレームが、符号化器の参照フレームバッファシステムと同様のシステムなしに復号器が作動することにより復号化されると、動画像品質が、符号化器の参照フレームバッファシステムと同様のシステムにより復号器から得られる、復号化された一連のフレームの動画像品質と少なくとも同等の、復号化された一連のフレームを得られる。すなわち、参照フレームの観点から、復号器と、図１に示す動画像符号化器１００とが対称である必要はない。このことは、特に、図１に示す動画像符号化器１００が一連のフレームを、圧縮比が相対的に低いデータストリームが生成されるように相対的に高い圧縮比で符号化する場合に特に当てはまる。さらに、十分な画質を達成するためには、動画像符号化器が一連のフレームを、３０秒未満の時間間隔内で少なくとも２つのフレームがフレーム内式に符号化されるように符号化し得る。いくつかの場合、この時間間隔は、１０秒未満とし得る。

図７に、画質と、全てＨＥＶＣベースの種々の動画像符号化及び復号化方法用の符号化用動画像ビットレートとの関係を示す。図７に、グラフ７００を示し、グラフ７００は、横軸が、キロビット／秒で示される符号化動画像ビットレートを表し、縦軸が、ピーク信号対雑音比（ＰＳＮＲ）としてデシベル（ｄＢ）という単位で示される画質を表す。グラフ７００により示す関係は、１秒あたり５０フレームの速度で、カメラが捕らえた一連の５００フレームを符号化することに基づいている。これらのフレームは、幅１９２０画素、高さ１０８０画素である。画素は、４：２：０のクロマ・サブ・サンプリングによる３つの構成要素空間ＹＣｂＣｒと、構成要素あたり８ビットの精度で表される。従って、各画素は、１２ビットで表される。

グラフ７００は、５つの曲線７０１〜７０５を含む。丸形の点を付した第１の曲線７０１は、画質と、参照フレームの圧縮なしで符号化・復号化する方式用の符号化動画像ビットレートとの間の関係を示す。よって、第１の曲線７０１は、参照曲線とみなすことができ、この参照曲線は、符号化動画像ビットレートの関数としての画質という観点で、最高の性能を示す。

四角形の点を付した第２の曲線７０２と上向きの三角形の点を付した第３の曲線７０３とは、画質と、図１に示す動画像符号化器が、図４に示すように参照フレームのストライプ状の部分をＪＰＥＧ ＸＳを用いて符号化することにより圧縮する符号化方式用の符号化動画像ビットレートとの間の関係を示す。ストライプ状部分は、３ビット／画素（ｂｐｐ）に設定された一定のビットレート（ＣＢＲ）方式に従って、符号化される。このことは、参照フレームの圧縮なしの場合と比較して、参照フレームを表現に要するデータ量の７５パーセントの低減に相当する。四角形の点を付した第２の曲線７０２は、参照フレームの観点から符号化方式と復号化方式との間に対称性が存在するように、参照フレームが圧縮される復号化方式を用いるときに当てはまる。上向き三角形の点を付した第３の曲線７０３は、参照フレームという点で符号化方式と復号化方式との間に非対称性が存在するように、参照フレームを圧縮せず、復号化方式を用いるときに当てはまる。

四角形の点を付した第２の曲線７０２と、上向き三角形の点を付した第３の曲線７０３とは、丸形の点を付した第１の曲線７０１の若干下にある。図４に示すように、参照フレームのストライプ状部分を少なくとも２の圧縮比で圧縮すると、符号化動画像ビットレートが比較的高くても、画質に限って比較的少ない低下で済む。符号化動画像ビットレートが、比較的低い場合、画質の低下は、ごくわずかになり得る。

上向き三角形の点を付した第３の曲線７０３は、参照フレームの観点から符号化方式と復号化方式との間に非対称性があるときに当てはまるものであって、四角形の点を付した第２の曲線７０２の若干下にあり、第２の曲線７０２は、この点において対称性があるときに当てはまる。これは、非対称性があると、この場合に限って画質の低下が比較的少なくて済むことを示している。よって、復号器が、動画像符号化器に適用される参照フレームの圧縮と同一かまたは同様の参照フレームの圧縮を適用する必要はない。復号器は、標準的なアーキテクチャを具え得る。

星形の点を付した第４の曲線７０４と、下向き三角形の点を付した第５の曲線７０５とは、画質と、符号化方式用の符号化動画像ビットレートとの関係を示し、この符号化方式では、図１に示した動画像符号化器が、図３に示したように、参照フレームのブロック状部分を、ＪＰＥＧ ＸＳを用いて符号化することにより、圧縮する。ブロック状部分は、４ビット／画素（ｂｐｐ）に設定された一定のビットレート（ＣＢＲ）方式に従って、符号化される。このことは、参照フレームの圧縮なしの場合と比較して、参照フレームの表現に要するデータ量の６６．６６パーセントの低減に相当する。すなわち、ブロック状部分は、ストライプ状部分の符号化用の圧縮比よりも若干低い圧縮比で符号化される。星形の点を付した第４の曲線７０４は、参照フレームという観点で符号化方式と復号化方式との間に対称性が存在するように、参照フレームが圧縮される復号化方式を用いるときに当てはまる。下向き三角形の点を付した第５の曲線７０５は、参照フレームという観点で符号化方式と復号化方式との間に非対称性が存在するように、参照フレームを圧縮せず、復号化方式を用いるときに当てはまる。

星形の点を付した第５の曲線７０４と、下向き三角形の点を付した第５の曲線７０５とは、四角形の点を付した第２の曲線７０２と、上向き三角形の点を付した第３の曲線７０３のいくらか下にある。図３に示すように、参照フレームのブロック状部分を圧縮すると、画質の低下は、ストライプ状部分を圧縮したときよりも、幾分多くなる。

比較的高い符号化ビットレートでは、下向き三角形の点を付した第５の曲線７０５は、参照フレームという観点で符号化方式と復号化方式との間に非対称性が存在する場合に当てはまるものであって、星形の点を付した第４の曲線７０４の下にあり、当該第４の曲線７０４は、この点で対称性が存在する場合に当てはまる。このことは、非対称性には、比較的高い符号化動画像ビットレートでのみ画質に顕著な低下が見られる可能性があることを示している。

しかしながら、驚くべきことに、比較的低い動画像ビットレートでは、下向き三角形の点を付した第５の曲線７０５は、参照フレームという観点で符号化方式と復号化方式との間に非対称性が存在するときに当てはまるものであって、星形の点を付した第４の曲線７０４のいくらか上方にあり、第４の曲線７０４は、この点で対称性が存在するときに当てはまる。このことは、比較的低い符号化動画像ビットレートでは、非対称性の方が、対称性よりも良好な画質を提供し得ることを示している。よって、この場合、動画像符号化器に適用されるものと同一か同様の参照フレーム圧縮を適用する復号器よりも、標準的なアーキテクチャを有する復号器の方を使用することが好ましい場合がある。

一般に、図７に提示したグラフ７００は、図１に示した動画像符号化器が、帯域幅の条件が緩和されることで消費電力を低下させ得るものであり、十分な画質を提供し得ることを示す。図１に示す動画像符号化器は、特に、符号化動画像データレートが比較的低いアプリケーションにおいて適合する。このことは、低いレートでは、比較的粗い量子化が、図１に示す動画像符号化器の主符号化モジュール１０３によって、符号化動画像の比較的小さい部分が動き補償と関連付けられた残りの部分を表現するように適用される。符号化動画像に含まれる情報の殆どが、動きデータおよびモードの情報に関連するものである。

復号器が、図１に示す動画像符号化器において適用される参照フレーム圧縮と同一または同様の参照フレーム圧縮を適用する必要はない。復号器は、標準的なアーキテクチャを具えることができ、この標準的なアーキテクチャは、参照フレームのブロック状部分を比較的低い符号化動画像ビットレートで圧縮する場合さらに好ましい。

換言すると、一連のフレームを、一連の符号化フレームを得るために以下の方法で符号化し得る。フレーム内予測アルゴリズムＩＰＥＮＣが、ＩＰＥＮＣにより用いられる参照フレームを格納し探索するために、参照フレームバッファシステムを用い、参照フレームバッファシステムは、パラメータＰＲＦＢＳのセット＝｛ＮＢ，ＲＥＳＢ，ＢＰＰＢ，ＳＥ，ＲＥＳＬ，ＳＬ，ＦＢＣ，ＲＥＳＦＢＣ，ＢＰＰＦＢＣ，ＤＲ｝に従って、作動する。参照フレームバッファシステムは、ＮＢフレームの画素及び解像度ＲＥＳＢを格納し探索し、その画素は、ＢＰＰＢビット／画素に符号化される。参照フレームバッファシステムは、以下を含む。
サイズがＳＥで、ＮＢフレームを格納する外部メモリＭＥと、
前記フレームのサブフレームで、解像度がＲＥＳＦＢＣのサブフレームを、ＢＰＰＦＢＣビット／画素で圧縮するフレームバッファ圧縮コーデックＦＢＣと、
サイズがＳＬで、１つのフレームまたは、解像度ＲＥＳのフレームの一部を格納する内部メモリＭＬと、
外部メモリＭＥから内部メモリＭＬにフレームの一部を先読みするデータ再利用アルゴリズムＤＲと、を含む。

パラメータセットのパラメータのそれぞれは、一連の符号化フレームが、フレームバッファ圧縮コーデックＦＢＣなしに作動する復号器により復号化されると、対称的な復号器が提供するのと少なくとも同等の画質を有する一連の復号化フレームを得られるような値をそれぞれ有する。

ＦＢＣコーデックは、ＪＰＥＧ ＸＳに基づくものであり得る。符号化は、標準的なＨＥＶＣ／ＩＴＵ−Ｔ Ｈ．２６５と適合するものであり得る。アルゴリズムＤＲを再利用するデータは、レベルＣの方式またはレベルＤの方式のいずれかにしてよい。
留意事項

図面を参照して上に述べた実施形態を、図示目的で提示している。本発明は、多数の異なる方法で実施可能である。これを図示するために、いくつかの代替物を簡単に示す。

本発明は、一連のフレームを符号化する必要がある多数のタイプの製品または方法に適用し得る。提示した実施形態では、本発明に係る動画像符号化器が、ＨＥＶＣ型であってもよい、と述べている。他の実施形態では、動画像符号化器は、異なる標準的な動画像符号化方式、別の動画像符号化方式を適用し得る。

本発明に従って動画像符号化器に参照フレーム圧縮モジュールを実施する異なる方法が多数ある。本明細書に提示した実施形態では、参照フレーム圧縮モジュールが、ＪＰＥＧ ＸＳ符号化方式を適用可能であると述べている。他の実施形態では、参照フレーム圧縮モジュールは異なる符号化方式を適用可能である。

「フレーム」という用語は、広い意味で理解すべきである。この用語は、画像、写真を表現し得るどんな実在物も含み得る。

一般に、本発明を実施する多数の異なる方法があり、これにより、実施が異なると、トポロジーが異なってくる。所定のいかなるトポロジーでも、単一の実在物が、いくつかの機能を実施可能であり、またはいくつかの実在物が、単一の機能をともに実施し得る。この点で、図面は、非常に図式的である。ハードウェアまたはソフトウェア、あるいはその両方の組み合わせにより実施可能な多数の機能がある。ハードウェアベースの実施の説明では、ソフトウェアベースの実施を除外しておらず、その逆もしかりである。ハイブリッド型の実施は、１つまたはそれ以上の専用回路と、１つまたはそれ以上の適切にプログラムされたプロセッサを含んでおり、そのような実施も可能である。例えば、図面を参照してこれまでに説明してきた種々の機能モジュールも、１つまたはそれ以上の適切にプログラムされたプロセッサにより、実施可能であり、それによって、コンピュータプログラムが、プロセッサに既述の１つまたはそれ以上の処理を実行させ得る。

インストラクションのセット、すなわち、ソフトウェアを格納し分散させる多数の方法があり、このソフトウェアによって、動画像符号化器が本発明に従って作動可能である。例えば、ソフトウェアを、例えば、格納回路、磁気ディスク、または光ディスクなどの適切なデバイス読取可能媒体内に格納し得る。ソフトウェアが格納されるデバイス読取可能媒体を、個別の製品として、またはそのソフトウェアを実施可能な別の製品とともに、提供し得る。このような媒体はまた、ソフトウェアを実施可能な製品の一部とし得る。ソフトウェアはまた、有線、無線またはハイブリッドであり得る通信ネットワークを介して配布することもできる。例えば、ソフトウェアは、インターネットを介して配布可能である。ソフトウェアは、サーバーによりダウンロードして利用可能とし得る。ダウンロードは、料金がかかる場合がある。

上記の注釈は、図面を参照して説明してきた実施形態が、本発明を、限定するというよりは説明していることを明らかにしている。本発明は、添付の特許請求の範囲内の多数の代替方法で実施可能である。特許請求の範囲の均等物の意味及び範囲内のすべての変更は、その範囲内に含まれることとなる。ある請求項のいかなる参照符号も、その請求項を限定するものと解釈すべきではない。請求項の中の「備える（ｃｏｍｐｒｉｓｅ）」という動詞は、その請求項に挙げられた以外の他の要素またはステップの存在を除外しない。同じことが、「含む（ｉｎｃｌｕｄｅ）」及び「含有する（ｃｏｎｔａｉｎ）」等の同様の動詞に当てはまる。製品に関する請求項の中の単数形の要素は、その製品が複数のこのような要素を含み得ることを除外しない。同様に、方法に関する請求項の中の単数形のステップは、その方法が複数のこのようなステップを含み得ることを除外しない。各従属請求項が追加の特徴をそれぞれ定義するという単なる事実は、その請求項に反映される特徴以外の追加の特徴の組み合わせを除外しない。

Claims (15)

1. 一連の符号化フレームを得るために一連のフレーム（２００）を符号化するように適合された符号化器（１００）であって、当該符号化器は、
   符号化対象のフレーム部分（２０１）と、参照フレーム（５００）の類似部分とを特定するように適合された動き予測モジュール（１０２）であって、前記参照フレームは符号化済みのフレームの復号化版である、動き予測モジュール（１０２）を備え、
   前記符号化器は、参照フレームバッファシステムを備え、当該参照フレームバッファシステムは、
   前記参照フレームの符号化部分のそれぞれを得るために、前記参照フレームの部分のそれぞれを別々に符号化するように適合された参照フレーム圧縮モジュール（１０４）であって、これにより、別々に符号化される前記参照フレームの部分のそれぞれは、符号化対象の前記フレーム部分と少なくとも同じ大きさとなる、参照フレーム圧縮モジュール（１０４）と、
   前記参照フレームの符号化表現として、前記参照フレームの符号化部分のそれぞれを一時的に格納するように適合された参照フレームメモリ（１０８）と、
   前記参照フレームの符号化部分の復号化版を得るために、前記参照フレームメモリ内に格納された前記参照フレームの符号化部分を復号化するように適合された参照フレーム復元モジュール（１０５）と、
   前記参照フレームの符号化部分の連続した復号化版のセットを格納するように適合されたキャッシュメモリ（１０７）と、
   を含み、
   これにより、前記動き予測モジュールが、前記参照フレームの符号化部分の連続した復号化版のセットの間において前記参照フレームの類似部分を特定するために、前記キャッシュメモリにアクセスするように適合される符号化器（１００）。
2. 前記参照フレーム圧縮モジュール（１０４）により別々に符号化される参照フレーム（５００）の部分のそれぞれは、幅が少なくとも６４画素、高さが少なくとも３２画素である請求項１に記載の符号化器。
3. 前記参照フレーム圧縮モジュール（１０４）により別々に符号化される前記参照フレーム（５００）の部分のそれぞれは、サイズが少なくとも６４×６４画素である請求項２に記載の符号化器。
4. 前記参照フレーム圧縮モジュール（１０４）により別々に符号化される前記参照フレーム（５００）の部分のそれぞれのサイズは、高さが少なくとも６４画素であり、幅が、前記一連のフレーム（２００）におけるフレームの幅に対応する請求項３に記載の符号化器。
5. 前記動き予測モジュール（１０２）が、符号化対象の前記フレームの部分に対して一定の位置にある探索窓（５０３、６０３）内において前記参照フレーム（５００）の類似部分を特定するように適合される請求項１〜４のいずれかに記載の符号化器。
6. 前記参照フレーム圧縮モジュール（１０４）が、一定のデータレート符号化方式に従って作動する請求項１〜５のいずれかに記載の符号化器。
7. 前記参照フレーム圧縮モジュール（１０４）が、少なくとも２の圧縮比を系統的に提供するように適合される請求項１〜６のいずれかに記載の符号化器。
8. 前記圧縮比は、前記参照フレーム圧縮モジュール（１０４）により別々に符号化される前記参照フレーム（５００）の部分のそれぞれのサイズに左右される請求項７に記載の符号化器。
9. 前記参照フレームバッファシステムは、前記参照フレームの境界部分が、前記参照フレームメモリ内への格納のため符号化される前記参照フレームの部分のそれぞれより小さい場合、符号化されることなく、元の版で前記参照フレームメモリ（１０８）内に前記参照フレームの境界部分を格納するように適合される請求項１〜８のいずれかに記載の符号化器。
10. 前記符号化器は、３０秒未満の時間間隔以内においてフレーム内式に符号化される少なくとも２つのフレームが存在するように、前記一連のフレーム（２００）を符号化するように適合される請求項１〜９のいずれかに記載の符号化器。
11. 前記符号化器は、前記一連の符号化フレーム（２００）が、前記符号化器の参照フレームバッファシステムと同様の参照フレームバッファシステムなしで復号器が作動することにより復号化されると、前記符号化器の参照フレームバッファシステムと同様の参照フレームバッファシステムにより復号器から得られる一連の復号化フレームと画質が少なくとも同等の一連の復号化フレームが得られる程度高い圧縮比で、前記一連のフレームを符号化するように適合される請求項１〜１０のいずれかに記載の符号化器。
12. 前記参照フレーム圧縮モジュール（１０４）と、前記参照フレーム復元モジュール（１０５）とが、ＪＰＥＧ ＸＳに基づくものである請求項１〜１１のいずれかに記載の符号化器。
13. 前記符号化器は、標準的なＨＥＶＣ／ＩＴＵ−Ｔ Ｈ．２６５に従って作動するように適合される請求項１〜１２のいずれかに記載の符号化方法。
14. 一連の符号化フレーム（２００）を得るように一連のフレームを符号化する方法であって、当該方法は、
    符号化対象のフレームの部分（２０１）に対して、参照フレーム（５００）の類似部分を特定する動き予測ステップであって、前記参照フレームは符号化済みのフレームの復号化版である、動き予測ステップを含み、
    当該方法は、さらに、
    前記参照フレームの符号化部分のそれぞれを得るように、前記参照フレーム部分のそれぞれを別々に符号化し、これにより、前記参照フレームの部分のそれぞれが、符号化対象の前記フレームの部分と少なくとも同じ大きさになる、参照フレーム符号化ステップと、
    前記参照フレームの符号化部分のそれぞれを、前記参照フレームの符号化表現として、フレームバッファメモリ（１０８）に一時的に格納する参照フレーム格納ステップと、
    前記参照フレームの符号化部分の復号化版を得るように、前記参照フレームメモリから前記参照フレームの符号化部分を探索し復号化する参照フレーム復号化ステップと、
    前記参照フレームの符号化部分の連続した復号化版のセットをキャッシュメモリ（１０７）に格納するキャッシュメモリ格納ステップであって、これにより、前記動き予測ステップにおいて、前記参照フレームの符号化部分の連続した復号化版のセットの間において、前記参照フレームの類似部分を特定するために、キャッシュメモリへのアクセスが行われる、キャッシュメモリ格納ステップと、
    を含む、一連のフレームを符号化する方法。
15. 前記符号化器が、請求項１４に記載の方法を実行可能となるインストラクションのセットを含む、符号化器用のコンピュータプログラム。

Images