JP2012519988A - 画像データのブロックを予測する方法、当該方法を実現する復号化及び符号化装置 - Google Patents

Abstract

本発明は、現在のブロックの符号化又は復元のために、現在の画像に属する現在のブロックを予測する方法に関する。本方法は、ａ）現在のブロックに前に関連された少なくとも１つの動きデータからの基準ブロックを現在のブロックについて決定するステップＥ１０、ｂ）基準ブロックの画像データと、基準ブロックに関連される少なくとも１つの動きデータから前に決定された基準ブロックの予測ブロックの画像データとの間の時間的変動を表す、予め定義された条件が満足されるかを確認するステップ、ｃ）確認Ｅ１２の結果に応じて、現在のブロックの少なくとも１つの動きデータを変更するステップＥ１４、ｄ）現在のブロックの動きデータから、現在のブロックについて予測ブロックを生成するステップＥ１６を含む。

Description

本発明は、画像系列の符号化、該画像系列の復元を目的とした画像系列を表す符号化データストリームの復号化の分野に関する。
より詳細には、本発明は、画像データのブロックの符号化及び復元を目的とした画像データのブロックを予測する方法に関する。
また、本発明は、画像系列を符号化する装置、及び当該方法を実現する画像系列を表す符号化データストリームを復号化する装置に関する。

従来の画像系列の符号化方法の多くは、時間予測を使用して符号化すべき情報の品質を低減している。時間予測は、前に符号化された系列の他の画像から符号化すべき現在の画像を時間予測することからなる。従って、時間予測は、数回のわたり縦続接続することができる。このソリューションは、図１に示されている。この図では、ブロックｂ３は、ブロックｂ２から予測され、ブロックｂ２自身は、ブロックｂ１から予測され、ブロックｂ１自身は、ブロックｂ０から予測される。

あるブロックは、参照画像の、基準ブロックと呼ばれる別のブロックから時間予測される。この基準ブロックは、たとえば動きベクトル、又は動きベクトルと基準ブロックが属する参照画像が識別されるのを可能にする参照画像のインデックスといった、少なくとも１つの動きデータにより画像系列において識別される。係る動きベクトルは、整数値の座標を必ずしも有さない。動きベクトルの座標が非整数値を有する場合、すなわち動きベクトルがサブピクセル精度を有する場合、予測ブロック、すなわち予測ブロックの画像データを構築するために補間フィルタが必要とされる。係るフィルタリングステップにより、原画像データは、特に該データを平滑化することで品質が低下する。幾つかの時間予測された画像に対して補間フィルタを縦続接続する作用により、原画像データが益々平滑化され（図１におけるｂ０）、結果として、予測画像データの精度が低下する。このことは、高い量子化ステップが使用されるとき又は予測信号が十分に正確であって且つ残余データを符号化する必要がないときに特に生じる連続的な予測の補正のために、残余データが符号化されないときに一層当てはまる。

この問題を解決する公知のソリューションは、H.264/MPEG4 AVC規格の範囲で開発され且つ“Joint Draft ITU-T Rec. H.264|ISO/IEC 14496-10 /Amd.3 Scalable Video Coding”と題された文献ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6 JVT-X201のセクション0.6.3において特に定義されるような「複数の参照画像」のタイプのアプローチを使用することからなる。このアプローチを使用して、図１のブロックｂ３は、参照画像Ｉ０のブロックｂ０から直接的に予測することができる。

しかし、このソリューションによれば、それぞれ時間予測されたブロックについて、動きベクトルと、動きベクトルが関連する系列の画像が識別されるのを可能にする参照画像インデックスとを符号化することが必要である。この場合、ブロックｂ３について、動きベクトルＭｖ及び画像インデックスＩ０を符号化することが必要である。したがって、このソリューションは、余分の符号化コストを導入する。

本発明の目的は、従来技術の問題点の少なくとも１つを解決することにある。

本発明は、現在のブロックの符号化又は復元のため、画像系列の現在の画像に属する現在のブロックを予測する方法に関する。系列のそれぞれの画像は、それぞれの画素が少なくとも１つの画像データに関連される複数の画素を含む。本方法は、以下のステップを含む。ａ）現在のブロックについて、現在のブロックに前に関連する少なくとも１つの動きデータから基準ブロックを決定するステップ。ｂ）予め定義された条件が満足されるかを確認するステップ。前記条件は、基準ブロックの画像データと、基準ブロックに関連する少なくとも１つの動きデータから前に決定された基準ブロックの予測ブロックの画像データとの間の時間的な変化を表す。ｃ）確認の結果に従って、現在のブロックの少なくとも１つの動きデータを変更するステップ。ｄ）現在のブロックの少なくとも１つの動きデータから現在のブロックの予測ブロックを生成するステップ。

幾つかの予測を縦続接続する代わりに現在のブロックに関連する動きデータから、現在のブロックについて予測ブロックをダイレクトに決定することにおいて、現在のブロックの画像データは、良好に時間的に予測される。復元されるデータは、結果的に良好な品質である。さらに、参照画像のインデックスタイプの更なる動き情報を符号化することなしに本発明の方法を適用することで、本発明は、符号化装置により使用されたとき、同じ復元された画像の品質について低いビットレートで符号化された画像データのストリームの生成を可能にする。参照画像インデックスがそれでもなお符号化される特別の場合、本発明に係る方法は、「複数の参照画像“multiple reference image”」のタイプのアプローチよりも符号化効率の観点で効率的である。

本発明の特定の特性によれば、現在のブロックの少なくとも１つの動きデータは、予め定義された条件が満たされ且つ現在のブロックの少なくとも１つの動きデータが変更されない場合、基準ブロックに最も一般的に関連される少なくとも１つの動きデータから変更される。

本発明の別の態様によれば、ステップｃ）の後、基準ブロックは、基準ブロックと最も一般的に関連する少なくとも１つの動きデータから決定された基準ブロックにより置き換えられ、ステップｂ及びｃは、予め定義された条件が満たされる限り繰り返される。

特定の特性によれば、現在のブロック及び第一の基準ブロックの少なくとも１つの動きデータは、動きベクトルを含む。

変形例によれば、現在のブロック及び第一の基準ブロックの少なくとも１つの動きデータは、参照画像のインデックスを含む。

第一の実施の形態によれば、基準ブロックの画素の大部分が時間予測された画素である場合、及び基準ブロックの画像データと基準ブロックの予測ブロックの画像データとの間で計算される予測誤差が予め定義された閾値未満である場合に満足される。

第二の実施の形態によれば、更に、前記時間予測された基準ブロックの全体の画素数の予め定義された割合が単一且つ同一の関連する動きデータを有する場合に満足される。

第三の実施の形態によれば、以下の式が確認された場合に、条件が満足される。
Ｄ(mv1/d1;mv2/d2)<α
この場合、d1は、現在の画像と基準ブロックが属する系列の画像との距離であり、d2は、現在の画像と基準ブロックに最も一般に関連する動きベクトルが示す系列の画像との間の距離である。mv1は、現在のブロックの動きベクトルであり、mv2は、基準ブロックに最も一般に関連する動きベクトルである。Ｄは、距離関数である。

本発明の別の態様によれば、本方法は、確認のステップの前に、基準ブロックを含む中間の基準ブロックを決定するステップを含む。確認及び変更のステップでは、基準ブロックは、中間の基準ブロックで置き換えられる。

また、本発明は、画像系列を符号化する装置に関する。系列のそれぞれの画像は、画素のブロックに分割され、それぞれの画素は、少なくとも１つの画像データと関連する。本装置は、系列の現在のブロックについて少なくとも１つの動きデータを決定する動き予測モジュール、少なくとも１つの動きデータから現在のブロックについて予測ブロックを決定する動き補償モジュール、及び現在のブロックと予測ブロックとの間の差を符号化する符号化モジュールを備える。

有利なことに、符号化装置は、現在のブロックに関連する少なくとも１つの動きデータから識別される基準ブロックの画像データと、動き予測モジュールによる基準ブロックに関連する少なくとも１つの動きデータから前に決定された基準ブロックの予測ブロックの画像データとの間の時間的変動を表す、予め定義された条件が満足されたかを確認し、この確認の結果に従って現在のブロックの少なくとも１つの動きデータを変更する適応モジュールを備える。

また、本発明は、画像系列を表す符号化データのストリームを復号化する装置に関し、それぞれの画像は、画素のブロックに分割され、それぞれの画素は、少なくとも１つの画像データと関連し、本装置は、現在のブロックについて残余データを復元するストリーム復号化モジュール、現在のブロックについて少なくとも１つの動きデータを復元する動きデータ復元モジュール、少なくとも１つの動きデータから、現在のブロックについて予測ブロックを決定する動き補償モジュール、及び予測ブロック及び残余データから現在のブロックを復元する復元モジュールを備える。

有利なことに、復号化装置は、現在のブロックに関連する少なくとも１つの動きデータから識別される基準ブロックの画像データと、動きデータ復元モジュールによる基準ブロックに関連する少なくとも１つの動きデータから前に決定された基準ブロックの予測ブロックの画像データとの間の時間的変動を表す、予め定義された条件が満足されたかを確認し、この確認の結果に従って、現在のブロックの少なくとも１つの動きデータを変更する適応モジュールを備える。

本発明は、図面を参照して、限定するものではない、実施の形態及び有利な実現により例示される。
画像データのブロックをカスケードで予測する方法を示す図である。 本発明に係る画像データのブロックを予測する方法のフローチャートである。 本発明に係る画像データのブロックを予測する方法を示す図である。 本発明の変形例に係る画像データのブロックを予測する方法を示す図である。 本発明の別の変形例に係る画像データのブロックを予測する方法のフローチャートである。 本発明の別の実施の形態に係る画像データのブロックを予測する方法のフローチャートである。 本発明の他の実施の形態に係る画像データのブロックを予測する方法を示す図である。 本発明の他の実施の形態の変形例に係る画像データのブロックを予測する方法のフローチャートである。 本発明に係る符号化装置を示す図である。 本発明に係る復号化装置を示す図である。

画像系列は、一連の画像からなる。それぞれの画像は、複数の画素又はイメージポイントを含み、複数の画素のそれぞれに、少なくとも１つの画像データは関連される。画像データは、たとえな輝度データ又は色度データである。用語「符号化モード」は、ビデオ符号化規格により認可された符号化モードのセットであるとして理解される。一般に、符号化モードは、時間予測を実現せず、関連するブロックの空間予測が実現されるイントラ（INTRA）モード、関連するブロックの時間予測が実現されるINTERモードに分類される。より詳細には、インターモードに従って符号化されたブロックは、インターブロックと呼ばれ、又はイントラモードに従って符号化されたブロックは、イントラブロックと呼ばれる。

複数の画素からなるブロックは、唯一の画素からなることを含めて任意のサイズを有することができる。用語「動きデータ」は、広義の意味で理解されるべきである。この用語は、動きベクトル、及び画像系列において参照画像が識別されるのを可能にする参照画像インデックスを含む。また、この用語は、照明の局所的な変動のパラメータを含むことができる。用語「残余データ」は、他のデータを引いた後に得られるデータを意味する。残余ブロックは、残余データが関連される画素のブロックである。用語「予測データ」は、他のデータを予測するために使用されるデータを意味する。予測ブロックは、予測データが関連される画素からなるブロックである。残余ブロックは、たとえば予測ブロックと現在の画像データブロックとの間で識別することで得られる。

図２は、現在のブロックＢｃを符号化又は復号化するため、複数の画像の系列に属する現在の画像Ｉｃの現在のブロックＢｃを予測する方法を表す。

ステップＥ１０で、図３に示される基準ブロックは、現在のブロックＢｃに前に関連される少なくとも１つの動きデータＤＭＶｃから現在のブロックについて決定される。動きデータＤＭＶｃは、少なくとも１つの動きベクトルＭＶｃを含む。第一の実施の形態によれば、基準ブロックＢｒｅｆは、現在のブロックＢｃに関連され、座標が整数値に丸められる動きベクトルＭＶｃから決定される。動きベクトルＭＶｃは、たとえばブロックマッチングのような従来技術で知られる方法により得られる。この実施の形態によれば、動きベクトルＭＶｃは、現在のブロックＢｃと、たとえば現在の画像に時間的に先行する画像といった参照画像Ｉｒｅｆの基準ブロックである、前記動きベクトルを使用して識別されたブロックとの間で画素単位で計算された予測誤差が最小になるように決定される。

変形例によれば、基準ブロックＢｒｅｆは、２つの動きデータ、動きベクトルＭＶｃ及び基準画像インデックスＩＤｃからステップＥ１０で決定される。動きベクトル及び基準画像インデックスは、現在のブロックＢｃと前記動きベクトルＤＭＶｃを使用して識別された複数の参照画像のセットＩＲＥＦの参照画像ＩｒｅｆのブロックＢｒｅｆとの間で画素単位で計算された予測誤差が最小になるように決定される。

しかし、本発明は、以下に記載される動きデータを決定する方法によって限定されるものではない。従って、動きベクトルを決定する画素再帰型（pel-recursive）の方法又は2006年1月12日に公開されたUS2006/0008005に記載される階層型動き予測方法を使用することもできる。

別の変形例によれば、基準ブロックＢｒｅｆは、現在のブロックＢｃを表す符号化データストリームの一部の復号化の間に、動きベクトルと、現在のブロックＢｃに前に関連される参照画像のインデックスとからステップＥ１０で決定される。

ステップＥ１２で、予め定義された条件が満足されるかが確認される。この条件は、基準ブロックＢｒｅｆの画像データと、基準ブロックＢｒｅｆに関連される少なくとも１つの動きデータから前に決定された基準ブロックＢｒｅｆの予測ブロックＰｒｅｄ(Bref)の画像データとの間の時間的変動を表す。動きデータは、ブロックマッチング又は何れかの他の動き予測方法或いは基準ブロックＢｒｅｆを表す符号化データストリームの一部の復号化により、現在のブロックＢｃを参照して前に記載された方法のうちの１つに従って基準ブロックＢｒｅｆに関連される。

条件が満たされた場合、本方法はステップＥ１４に進み、条件が満たされない場合、本方法はステップＥ１６に進む。後者の場合、現在のブロックＢｃの動きデータＤＭＶｃが変更される。

特定の実施の形態によれば、基準ブロックの大部分の画素がインターモードで符号化され、且つインターモードにおいてこれらの画素と関連される残余データを無視することができる場合、すなわちこれら残余データがゼロである場合、それらの絶対値の総和が予め定義された閾値未満である場合、或いは最大の大きさが予め定義された閾値未満である場合に、条件が満たされる。残余データは、基準ブロックＢｒｅｆとその予測ブロックＰｒｅｄ(Bref)との間で計算される。

第一の変形例によれば、基準ブロックＢｒｅｆの大部分の画素がインターモードで符号化され、且つインターモードで符号化された全体の画素が同じ関連された動きベクトルＭＶ’１及び同じ参照画像のインデックスＩＤ’１を有する場合に、条件が満たされる。

第二の変形例によれば、基準ブロックＢｒｅｆの大部分の画素がインターモードで符号化され、且つたとえば少なくとも画素の５０％といった、インターモードにおける全体の画素数の予め定義された割合が同じ関連された動きデータ、すなわち同じ関連された動きベクトルＭＶ’１及び同じ参照画像のインデックスＩＤ’１を有する場合に、条件が満たされる。

第三の変形例によれば、基準ブロックＢｒｅｆの大部分の画素がインターモードで符号化され、インターモードにおいてこれらの画素と関連された残余データを無視することができる、すなわちゼロであるか、それらの絶対値の総和が予め定義された閾値未満であるか、或いは最大の大きさ予め定義された閾値未満である場合、且つたとえば画素の少なくとも５０％といった、インターモードにおける全体の画素数の予め定義された割合が同じ関連された動きデータ、すなわち同じ関連された動きベクトルＭＶ’１及び同じ参照画像のインデックスＩＤ’１を有する場合に、条件が満たされる。

第四の変形例によれば、基準ブロックＢｒｅｆの大部分の画素がインターモードで符号化され、且つインターモードで符号化された基準ブロックの画素と最も一般に関連された動きベクトルＭＶ’１と動きベクトルＭＶｃとがコヒーレント、すなわちＤ(MVc/d1; MV’1/d2)<αである場合に、条件が満たされる。この場合、d1は、現在の画像と基準ブロックＢｒｅｆが属する系列の画像との間の時間的な距離であり、d2は、現在の画像と基準ブロックＢｒｅｆの画素に最も一般に関連する動きベクトルが示す系列の画像との間の時間的な距離である。Ｄは、距離関数である。たとえば、Ｄ(a, b)は、差（a-b）又はベクトル成分間の最大の差の大きさのL2ノルムである。

第五の変形例によれば、基準ブロックBrefの大部分の画素がインターモードで符号化された場合、インターモードにおいてこれらの画素と関連された残余データが無視することができる、すなわちゼロであるか、それらの絶対値の総和が予め定義された閾値未満であるか、或いは最大の振幅値が予め定義された閾値未満である場合、且つインターモードで符号化された基準ブロックの画素と最も一般的に関連された動きベクトルＭＶ’１と動きベクトルＭＶｃとがコヒーレント、すなわちＤ(MVc/d1; MV’1/d2)<αである場合に、条件が満たされる。この場合、d1は、現在の画像と基準ブロックＢｒｅｆが属する系列の画像との間の時間的な距離であり、d2は、現在の画像と基準ブロックＢｒｅｆの画素に最も一般に関連する動きベクトルＭＶ’１が示す系列の画像との間の時間的な距離である。Ｄは、距離関数である。たとえばＤ(a, b)は、差（a-b）又はベクトル成分間の最大の差の大きさのL2ノルムである。

第六の変形例によれば、基準ブロックＢｒｅｆの大部分の画素がインターモードで符号化された場合、インターモードにおいてこれらの画素と関連された残余データを無視することができる、すなわちゼロであるか、それらの絶対値の総和が予め定義された閾値未満であるか、或いは最大の大きさが予め定義された閾値未満である場合、たとえば画素の少なくとも５０％といった、インターモードにおいて全体の画素数の予め定義された割合が同じ関連された動きデータ、たとえば同じ関連された動きベクトルＭＶ’１及び同じ参照画像のインデックスＩＤ’１を有する場合、且つ参照画像のインデックスＩＤｃがセットＩＲＥＦに属する画像を識別する場合に、条件が満たされる。これら異なる変数は、新たな変数を形成するために結合することができる。

ステップＥ１４で、現在のブロックＢｃの動きデータＤＭＶｃは、基準ブロックＢｒｅｆと最も一般に関連される動きデータから変更される。幾つかの動きデータＤＭＶ１及びＤＭＶ１’は、図４に示される基準ブロックＢｒｅｆと関連けされる場合、ＤＭＶｃは、基準ブロックＢｒｅｆと最も一般に関連される動きデータから変更される。

この場合、MVc=MVc+MV’1及びIDc=ID’1である。

図３に示される特定の場合、ブロックＢｒｅｆが異なる動きデータ及び異なる参照画像と関連される画素のブロックに属する画素をカバーする場合において可能である。図３において、動きデータＤＭＶ’１(MV’1，ID’1)は、基準ブロックＢｒｅｆの上に位置される画素と関連され、動きデータＤＭＶ１(MV1，ID1)は、基準ブロックＢｒｅｆの下に位置される画素に関連される。さらに、基準ブロックＢｒｅｆの大部分の画素は、動きデータＤＭＶ’１を有し、このために、ＤＭＶｃは、基準ブロックＢｒｅｆと最も一般に関連される動きデータ、すなわちＤＭＶ’１(MV’1，ID’1)から変更される。

ステップＥ１６で、ステップＥ１４で変更されたＤＭＶｃから現在のブロックＢｃについて予測ブロックが決定される。

このアプローチにより、画像Ｉｒｅｆ２と関連された参照画像のインデックスＩＤ’１を符号化することなしに、最初の動きデータＤＭＶｃのみを符号化する一方で、Ｉｒｅｆ２の画像データから直接的にＢｃを予測することができる。図１を参照して、この実施の形態により、画像Ｉ１を識別することができる参照画像のインデックスを符号化することなしに、動きベクトルＭＶ２のみを符号化することで、Ｉ１の画像データからブロックｂ３を直接的に予測及び符号化することができる。

図５は、本発明の特に有利な実施の形態に係る、現在のブロックＢｃを符号化又は復号化するため、複数の画像の系列に属する現在の画像Ｉｃの現在のブロックＢｃを予測する方法を表す。この図において、図２を参照して記載された実施の形態のステップと同じステップは、同じ参照符号を使用して識別され、更に記載されない。

ステップＥ１０で、第一の基準ブロックＢｒｅｆ１は、現在のブロックＢｃと前に関連された少なくとも１つの動きデータＤＭＶｃから現在のブロックについて決定される。ＤＭＶｃは、第一の基準ブロックＢｒｅｆ１を決定するために座標が整数値に丸められる少なくとも１つの動きベクトルＭＶｃを含む。

ステップＥ１２で、予め定義された条件が満足されるかが確認される。この条件は、第一の基準ブロックＢｒｅｆ１の画像データと、第一の基準ブロックＢｒｅｆ１と関連される少なくとも１つの動きデータから前に決定された第一の基準ブロックＢｒｅｆ１の予測ブロックＰｒｅｄ(Bref1)の画像データとの間の時間的変動を表す。この条件が満足された場合、本方法は、ステップＥ１４に進み、満足されない場合、本方法は、ステップＥ１６に進む。この後者の場合、現在のブロックＢｃの動きデータＤＭＶｃは、変更されない。

ステップＥ１４で、現在のブロックＢｃの動きデータＤＭＶｃは、前記第一の基準ブロックＢｒｅｆ１と最も一般に関連される動きデータＤＭＶ１から変更される。

ステップＥ１５で、第一の基準ブロックＢｒｅｆ１は、第二の基準ブロックＢｒｅｆ２、すなわち第一の基準ブロックＢｒｅｆ１と最も一般に関連される動きデータから参照画像において識別されるブロックにより置き換えられ、ステップＥ１２〜Ｅ１５は、予め定義された条件がもはや満足されなくなるまで繰り返される。

ステップＥ１６で、ステップＥ１４で変更された動きデータＤＭＶｃから現在のブロックＢｃについて予測ブロックが決定される。

図１を参照して、この実施の形態は、画像Ｉ０を識別することが可能な参照画像のインデックスを符号化することなしに、動きベクトルＭＶ２のみを符号化することで、画像データＩ０からブロックｂ３を直接的に予測及び符号化することができる。

図６は、本発明の別の特に有利な実施の形態に係る、複数の画像からなる系列に属する現在の画像Ｉｃの現在のブロックＢｃについて動きデータＤＭＶｃを決定する方法を示す。この図では、図１を参照して記載された実施の形態のステップと同じステップは、同じ参照符号を使用して識別され、更に記載されない。

ステップＥ１０で、基準ブロックＢｒｅｆは、現在のブロックＢｃと前に関連された少なくとも１つの動きデータＤＭＶｃから現在のブロックについて決定される。

ステップＥ１１において、ステップＥ１０で決定された基準ブロックＢｒｅｆを含む中間的な基準ブロックＢｒｅｆ１が決定される。このステップは、予測の方法を改善するのを可能にし、特に、ステップＥ１６における時間予測のために使用される補間フィルタのサイズを考慮するのを可能にする。特定の実施の形態では、（Sx，Sy）は、ステップＥ１０で決定された基準ブロックＢｒｅｆの大きさであり、（dx，dy）は、現在のブロックＢｃと関連された動きベクトルＭＶｃの整数部分の座標であり、（px，py）は、動きベクトルＭＶｃの小数部分の座標である。従って、ＭＶｃの座標は、dx+px及びdy+pyに等しい。中間ブロックＢｒｅｆ１の大きさは、（Sx+wx，Sy+wy）に設定され、この場合、（wx，wy）は、小数部分（px, py）と関連される水平及び垂直補間フィルタのサポートのサイズを表す。

変形例によれば、データ（Sx, Sy）は、正の値ux及びuyだけそれぞれの繰返しで増加される。このソリューションは、累積的な予測方法により生成される不確かさを考慮するのを可能にする（Sx=Sx+ux及びSy=Sy+uy）。

ステップＥ１２で、予め定義された条件が満足されるかが確認される。この条件は、基準ブロックＢｒｅｆの画像データと、基準ブロックＢｒｅｆ１に関連される少なくとも１つの動きデータから前に決定された基準ブロックＢｒｅｆ１の予測ブロックＰｒｅｄ(Bref)の画像データとの間の時間的な変動を表す。条件が満足される場合、本方法はステップＥ１４に進み、条件が満足されない場合、本方法はステップＥ１６に進む。後者の場合、現在のブロックＢｃの動きデータＤＭＶｃは、変更されない。

ステップＥ１４で、現在のブロックＢｃの動きデータＤＭＶｃは、基準ブロックＢｒｅｆ１と最も一般に関連される動きデータＤＭＶ１から変更される。

ステップＥ１６で、ステップＥ１４で変更された動きデータＤＭＶｃから現在のブロックＢｃについて予測ブロックが決定される。従って、図７では、ブロックＢｒｅｆ１は、ブロックＢｒｅｆを包含する。

図８は、本発明の別の特に有利な実施の形態に係る複数の画像からなる系列に属する現在の画像Ｉｃの現在のブロックＢｃについて動きデータＤＭＶｃを決定する方法を示す。この図では、図６を参照して記載される実施の形態のステップと同じステップは、同じ参照符号を使用して識別され、更に記載されない。

ステップＥ１０で、図３に示される基準ブロックＢｒｅｆは、現在のブロックＢｃと前に関連された少なくとも１つの動きデータＤＭＶｃから現在のブロックについて決定される。

ステップＥ１１では、ステップＥ１０で決定された基準ブロックＢｒｅｆを含む中間の基準ブロックＢｒｅｆ１が決定される。このステップにより、予測の方法を改善し、特に、ステップＥ１６における時間予測のために使用される補間フィルタのサイズを考慮することができる。特定の実施の形態によれば、（Sx, Sy）は、ステップＥ１０で決定された基準ブロックＢｒｅｆの大きさであり、（dx, dy）は、現在のブロックＢｃと関連される動きベクトルＭＶｃの整数部分の座標であり、（px, py）は、動きベクトルＭＶｃの小数部分の座標である。従って、ＭＶｃの座標は、dx+px及びdy+pyに等しい。中間のブロックBref1の大きさは、（Sx+wx, Sy+wy）に設定され、この場合、（wx, wy）は、小数部分（px, py）と関連される水平及び垂直方向の補間フィルタのサイズを表す。変形例によれば、データ（Sx, Sy）は、正の値ux及びuyだけそれぞれの繰返しで増加される。このソリューションは、累積の予測方法により生成される不確かさを考慮するのを可能にする（Sx=Sx+ux及びSy=Sy+uy）。

ステップＥ１２で、予め定義された条件が満足されるかが確認される。この条件は、基準ブロックＢｒｅｆ１の画像データと、基準ブロックＢｒｅｆ１と関連される少なくとも１つの動きデータから前に決定された基準ブロックＢｒｅｆ１の予測ブロックＰｒｅｄ(Bref)の画像データとの間の時間的変動を表す。条件が満足された場合、本方法は、ステップＥ１４に進み、条件が満足されない場合、本方法は、ステップＥ１６に進む。後者の場合、現在のブロックＢｃの動きデータＤＭＶｃは変更されない。

ステップＥ１４で、現在のブロックＢｃの動きデータＤＭＶｃは、前記第一の基準ブロックＢｒｅｆ１と最も一般に関連された動きデータＤＭＶ１から変更される。

ステップＥ１５で、第一の基準ブロックＢｒｅｆ１は、第二の基準ブロックＢｒｅｆ２、すなわち第一の基準ブロックＢｒｅｆ１と最も一般に関連された動きデータから参照画像において識別されたブロックにより置き換えられ、ステップＥ１２〜Ｅ１５は、予め定義された条件がもはや満足されなくなるまで繰り返される。

ステップＥ１６で、ステップＥ１４で変更された動きデータＤＭＶｃから現在のブロックＢｃについて予測ブロックが決定される。

また、本発明は、図９を参照して記載される符号化装置１２に関する。符号化装置１２は、画像系列に属する入力画像Ｉを受ける。それぞれの画像は、画素のブロックに分割され、それぞれの画素に、少なくとも１つの画像データが関連される。符号化装置１２は、特に、時間予測と共に符号化を実現する。時間予測による符号化又はインター符号化に関する符号化装置１２のモジュールのみが図９に示される。図示されない他のモジュールであって、ビデオコーダの分野における当業者により知られている他のモジュールは、空間予測の有無に係らずにイントラ符号化を実現する。符号化装置１２は、特に、現在のブロックＢｃから予測ブロックＰｒｅｄ(Bc)を画素単位で引き、ｒｅｓで示される残余の画像データブロック又は残余ブロックを生成する。符号化装置１２は、残余ブロックｒｅｓを変換し、次いで量子化されたデータに量子化するモジュール１２０２を含む。変換Ｔは、たとえば離散コサイン変換（ＤＣＴ）である。符号化装置１２は、符号化されたデータのストリームＦに量子化されたデータを符号化するエントロピー符号化モジュール１２０４を更に含む。また、符号化装置１２は、モジュール１２０２の逆演算を実行するモジュール１２０６を含む。モジュール１２０６は、逆量子化ＩＱ、続いて逆変換ＩＴを実行する。モジュール１２０６は、モジュール１２０６からのデータブロックと、予測ブロックＰｒｅｄ(Bc)とを画素単位で加えて、メモリ１２１０に記憶される復元された画像データのブロックを生成する計算モジュール１２０８に接続される。

また、符号化装置１２は、ブロックＢｃとメモリ１２１０に記憶される参照画像との間の少なくとも１つの動きベクトルを予測する動き予測モジュール１２１２を有し、この参照画像は、前に符号化され、次いで復元されている。変形例によれば、動き予測は、現在のブロックＢｃとオリジナルの参照画像との間で実行され、この場合、メモリ１２１０は、動き予測モジュール１２１２に接続されない。当業者に公知の方法によれば、動き予測モジュール１２１２は、現在のブロックＢｃと動きベクトルにより識別された参照画像における基準ブロックＢｒｅｆとの間で計算される誤差を最小にするように、前記動きベクトルを参照画像においてサーチする。

動きデータは、動き予測モジュール１２１２により、予め定義された条件が満足されるかを確認する適応モジュール１２１３に送出され、前記条件は、基準ブロックＢｒｅｆの画像データと、基準ブロックと関連される少なくとも１つの動きデータから前に決定された基準ブロックＢｒｅｆの予測ブロックＰｒｅｄ(Bref)の画像データとの間の時間的変動を表す。適応モジュール１２１３は、この確認に従って、符号化すべき現在のブロックＢｃの動きデータを変更する。適応モジュール１２１３は、図２〜図７を参照して記載される実施の形態のうちの１つに従って予測方法のステップＥ１０〜Ｅ１６を実現することができる。

また、符号化装置１２は、符号化モードの予め定義されたセットにおいて、ブロックＢｃの符号化モードを選択する判定モジュール１２１４を有する。保持される符号化モードは、たとえば速度歪みタイプの基準を最小にするモードである。しかし、本発明は、この選択方法に限定されず、保持されるモードは、たとえばアプリオリ（a priori）なタイプの基準に従って選択することができる。判定モジュール１２１４により選択される符号化モードは、たとえば時間予測モード又はインターモードの場合における動きベクトルといったベクトル動きデータと同様に、動き補償モジュール１２１６に送信される。動きベクトル及び選択された符号化モードは、ストリームＦで符号化されるようにエントロピー符号化モジュール１２０４に送信される。動き補償モジュール１２１６は、前に復元され且つメモリ１２１０に記憶された参照画像Ｉｒにおいて、適応モジュール１２１３により変更された動きデータＤＭＶｃと、エントロピー復号化モジュール１３００により現在のブロックＢｃについて復号化される符号化モードとから、予測ブロックＰｒｅｄ(Bc)を決定する。モジュール１２００，１２０２，１２０４，１２０６，１２１０及び１２１４は、符号化モジュールと呼ばれるモジュールのグループを形成する。

また、本発明は、図１０を参照して記載される復号化装置１３に関する。復号化モジュール１３は、画像系列を表す符号化データのストリームＦを入力で受ける。ストリームＦは、たとえば符号化装置１２により送信される。復号化装置１３は、たとえば符号化モード及び画像の内容に関連する復号化データといった、復号化されたデータを生成するエントロピー復号化モジュール１３００を有する。

また、復号化装置１３は、動きデータの復元モジュールを有する。第一の実施の形態によれば、動きデータの復元モジュールは、前記動きベクトルを表すストリームＦの一部を復号化するエントロピー復号化モジュール１３００である。

図１３に示されない変形例によれば、動きデータの復元モジュールは、動き予測モジュールである。復号化装置１３を介して動きデータを復元するこのソリューションは、「テンプレートマッチング」として知られる。次いで、画像の内容に関連する復号化されたデータは、逆量子化、次いで逆変換を実行するモジュール１３０２に送出される。モジュール１３０２は、符号化ストリームＦを生成した符号化モジュール１２のモジュール１２０２と同じである。モジュール１３０２は、モジュール１３０２からのブロックを予測ブロックＰｒｅｄ(Bc)に画素単位で加えて、メモリ１３０６に記憶される復元された画像データのブロックを生成する計算モジュール１３０２に接続される。また、復号化装置１３は、予め定義された条件が満足されたかを確認する適応モジュール１２１３を有する。前記条件は、基準ブロックＢｒｅｆの画像データと、基準ブロックと関連される少なくとも１つの動きデータから前に決定された基準ブロックＢｒｅｆの予測ブロックＰｒｅｄ(Bref)の画像データとの間の時間的変動を表す。また、適応モジュール１２１３は、この確認に従って、復元すべき現在のブロックＢｃの動きデータを変更する。適応モジュール１２１３は、特に、図２〜図７を参照して記載された実施の形態のうちの１つに従う予測方法のステップＥ１０〜Ｅ１６を実現することができる。

また、復号化装置１３は、符号化装置１２のモジュール１２１６と同じ動き補償モジュール１３０８を有する。次いで、動き補償モジュール１２１６は、前に復元され、メモリ１３０６に記憶された参照画像において、適応モジュール１２１３により変更された動きデータＤＭＶｃと、エントロピー復号化モジュール１３００により現在のブロックＢｃについて復号化される符号化モードとから予測ブロックＰｒｅｄ(Bc)を決定する。モジュール１３０２，１３０４，１３０６は、復元モジュールと呼ばれるモジュールのグループを形成する。

Claims (11)

1. 画像系列のうちの現在の画像に属する現在のブロックの符号化又は復元のため、前記現在のブロックを予測する方法であって、
   前記画像系列の画像は、複数の画素を含み、複数の画素のそれぞれには、少なくとも１つの画像データが関連され、
   当該方法は、
   ａ）前記現在のブロックに前に関連された少なくとも１つの動きデータから、基準ブロックを前記現在のブロックについて決定するステップと、
   ｂ）前記基準ブロックの画像データと、前記基準ブロックに関連される少なくとも１つの動きデータから前に決定された前記基準ブロックの予測ブロックの画像データとの間の時間的変動を表す、予め定義された条件が満足されるかを確認するステップと、
   ｃ）前記確認の結果に応じて、前記現在のブロックの前記少なくとも１つの動きデータを変更するステップと、
   ｄ）前記現在のブロックの前記少なくとも１つの動きデータから、前記現在のブロックについての予測ブロックを生成するステップと、
   を含むことを特徴とする方法。
2. 前記予め定義された条件が満足された場合、前記現在のブロックの前記少なくとも１つの動きデータは、前記基準ブロックに最も一般に関連される前記少なくとも１つの動きデータから変更され、
   前記予め定義された条件が満足されない場合、前記現在のブロックの前記少なくとも１つの動きデータは、変更されない、
   請求項１記載の方法。
3. 前記ステップｃ）の後、前記基準ブロックは、前記基準ブロックと最も一般に関連される前記少なくとも１つの動きデータから決定される基準ブロックで置き換えられ、
   前記ステップｂ及びｃは、前記予め定義された条件が満足される限り繰り返される、
   請求項２記載の方法。
4. 前記現在のブロック及び前記第一の基準ブロックの前記少なくとも１つの動きデータのそれぞれは、動きベクトルを含む、
   請求項１乃至３の何れか記載の方法。
5. 前記少なくとも１つの動きデータのそれぞれは、参照画像のインデックスを含む、
   請求項４記載の方法。
6. 前記基準ブロックの大部分の画素が時間予測された画素である場合であって、且つ前記基準ブロックの画像データと前記基準ブロックの前記予測ブロックの画像データとの間で計算される予測誤差が予め定義された閾値未満である場合に、前記条件が満足される、
   請求項１乃至５の何れか記載の方法。
7. 前記時間予測された基準ブロックの全体の画素数の予め定義された割合が単一且つ同一の関連された動きデータを有する場合に、前記条件が満足される、
   請求項６記載の方法。
8. Ｄ(mv1/d1, mv2/d2)<αの関係が確認された場合に、前記条件が満足され、
   前記ｄ１は、前記現在の画像と前記基準ブロックが属する前記画像系列の画像との間の距離であり、ｄ２は、前記現在の画像と前記基準ブロックと最も一般に関連される動きベクトルが示す前記画像系列の画像との間の距離であり、ｍｖ１は、前記現在のブロックの動きベクトルであり、ｍｖ２は、前記基準ブロックと最も一般に関連される動きベクトルであり、Ｄは距離関数である、
   請求項７記載の方法。
9. 前記確認するステップの前に、前記基準ブロックを含む中間の基準ブロックを決定するステップを含み、
   前記確認するステップ及び前記変更するステップにおいて、前記基準ブロックは、前記中間の基準ブロックにより置き換えられる、
   請求項１乃至８の何れか記載の方法。
10. 画像の系列を符号化する装置であって、
    前記画像の系列のうちの画像は、複数の画素からなるブロックに分割され、複数の画素のそれぞれには、少なくとも１つの画像データが関連され、
    当該装置は、
    前記画像の系列の現在のブロックについて少なくとも１つの動きデータを決定する動き予測モジュールと、
    前記少なくとも１つの動きデータから前記現在のブロックについて予測ブロックを決定する動き補償ブロックと、
    前記現在のブロックと前記予測ブロックとの間の差を符号化する符号化モジュールとを備え、
    当該装置は、前記現在のブロックと関連される前記少なくとも１つの動きデータから識別された基準ブロックの画像データと、前記動き予測モジュールによる前記基準ブロックと関連される少なくとも１つの動きデータから前に決定された前記基準ブロックの予測ブロックの画像データとの間の時間的変動を表す、予め定義された条件が満足されるかを確認し、前記確認の結果に応じて前記現在のブロックの前記少なくとも１つの動きデータを変更する適応モジュールを更に備える、
    ことを特徴とする符号化装置。
11. 画像の系列を表す符号化データのストリームを復号化する装置であって、
    それぞれの画像は、複数の画素からなるブロックに分割され、複数の画素のそれぞれには、少なくとも１つの画像データが関連され、
    現在のブロックについて残余のデータを復元するため、前記ストリームを復号化するモジュールと、
    少なくとも１つの動きデータを前記現在のブロックについて復元する動きデータ復元モジュールと、
    前記少なくとも１つの動きデータから前記現在のブロックについて予測ブロックを決定する動き補償モジュールと、
    前記予測ブロックと前記残余のデータとから前記現在のブロックを復元する復元モジュールとを備え、
    当該装置は、前記現在のブロックと関連される前記少なくとも１つの動きデータから識別された基準ブロックの画像データと、前記動きデータ復元モジュールによる前記基準ブロックと関連される少なくとも１つの動きデータから前に決定された前記基準ブロックの予測ブロックの画像データとの間の時間的変動を表す、予め定義された条件が満足されるかを確認し、前記確認の結果に応じて前記現在のブロックの前記少なくとも１つの動きデータを変更する適応モジュールを更に備える、
    ことを特徴とする復号化装置。
    
    

Images