JP2011505095A - 動きの符号化及び復号 - Google Patents

Abstract

本発明は、現在画像の一部分を符号化するための方法に関する。上記方法は、動き成分を形成するために、現在画像部分と複数の候補画像部分との間の動きの推定を行う動き推定段階１０と、候補画像部分毎にパフォーマンス基準の評価を行うパフォーマンス基準評価段階１４と、上記パフォーマンス基準を用いて、基準画像部分の選択を行う基準画像部分選択段階１６とを有する。上記方法は、少なくとも１つの動き成分に対し、動き推定段階、パフォーマンス基準評価段階、及び基準画像部分選択段階が、復号器で入手可能と見なされる情報だけを使用し、復号器へ向かう出力フローに動き情報を挿入しないことを特徴とする。また、本発明は、対応する復号方法に関する。

Description

この発明は、画像符号化及び復号技術に関し、より詳細には、動き（モーション）の符号化及び復号に関する。

いわゆる「ＩＮＴＥＲ」符号化方式に従って、現在の画像の一部分を以前に符号化がなされた画像の他の部分と比較して符号化を行ういくつかの方法が存在する。現在の画像部分は、輝度（ルミナンス）及び色差（クロミナンス）情報と、この現在の画像部分と基準画像部分との間の動きに関する情報とによって表される。これによって、複数の画像間の一時的な相関関係が利用可能となる。

動き情報は、１つ以上の成分、例えば、並進動きベクトル、回転、ピクセル成分、及びサブピクセル成分などからなる。一般に、符号化とは、動き成分の復元を行うための情報の決定である。例えば、動きベクトルの予測が行われ、復元のための情報には、予測動きベクトルと元の動きベクトルとの間の差分に相当する残余と同じように用いられる予測機能識別子が含まれる。

同様に、復元情報には、動作の成分を復号器から取得できるようにするさまざまなタイプのその他の情報が含まれる。例えば、この情報は、関連情報又は「副情報（side information）」と称され、サイズパラメータ、使用する機能識別子などを集約してなる。

この復元情報は、復号器に伝送される。

復号器は、推定した動きのさまざまな成分の復元を行う。すなわち、逆向き予測を適用し、その結果と、残余及び関連する情報との合成を行う。次いで、復号器は、基準画像部分に動き成分を適用し、その結果と、輝度及び色差情報とを合成して、復号された画像を得る。

動き成分は、画像の解像度と共にそのサイズが増大する情報であり、これらの成分を復元するための情報によって、帯域幅の大部分が占有される。

これは、特に、ワイヤレス通信環境のような帯域幅が限られた環境下において問題となる。

この発明の１つの目的は、より少ない帯域幅で動き情報を伝送可能とすることによって、このような状況を改善することにある。

そのために、本発明の一態様は、現在画像の少なくとも一部分の符号化方法であって、動き成分を形成するように、現在画像部分と複数の候補画像部分との間の動きの推定を行う動き推定段階と、候補画像部分毎にパフォーマンス基準の評価を行うパフォーマンス基準評価段階と、上記パフォーマンス基準を用いて、複数の候補画像部分の中から基準画像部分の選択を行う基準画像部分選択段階と、復号器へ向かう出力フローへの符号化情報の挿入を行う符号化情報挿入段階とを有し、少なくとも１つの動き成分に対して、動き推定段階、パフォーマンス基準評価段階、及び基準画像部分選択段階は、上記復号器で入手可能と見なされる情報だけしか使用せず、かつ動き情報が上記出力フローに挿入されないことを特徴とする。

同様に、本発明の別の態様は、現在画像の少なくとも一部分の復号方法であって、現在画像部分に対する符号化情報のフローを受信する受信段階と、対応する動き成分を形成するように、複数の候補基準画像部分及び既に復号がなされている画像部分に基づいて、現在画像部分に対する動き推定を行う動き推定段階と、候補画像部分毎にパフォーマンス基準を評価するパフォーマンス基準評価段階と、上記基準画像部分を得るために、上記基準を用いて、上記複数の候補画像部分の中から選択を行なう基準画像部分選択段階と、上記基準画像部分及び対応する動き成分から現在画像部分の復号を行う復号段階とを有することを特徴とする。

このようにして、符号化器は、復号器で入手可能な情報だけを使用し、かつ復号器は、符号化器によって実行された計算を再現する。したがって、少なくとも１つの動き成分に対して、該成分のための復元情報が伝送される必要がなくなり、それによって、帯域を節約できる。

符号化方法の変形態様において、上記推定段階は、いくつかの動き成分を提供し、符号化方法は、上記いくつかの動き成分のうちの少なくとも１つを復元するための情報の決定を行う復元情報決定段階と、出力フローに前記復元情報を挿入する復元情報挿入段階とをさらに有する。

同様に、復号方法は、復元情報の受信を行う復元情報受信段階と、動き成分の復元を行う対応する復元段階とを有する。

故に、上記方法は、既存の方法と組合せ得る。

符号化及び復号方法の一態様において、動き推定段階及びパフォーマンス基準評価段階では、候補画像部分の断片と、現在画像部分の隣接する別個の対応する断片との間の相関関係が使用される。

符号化及び復号方法の別の態様において、動き推定段階及びパフォーマンス基準評価段階では、候補画像部分の隣接する別個の対応する断片と、現在画像部分の隣接する別個の対応する断片との間の相関関係が使用される。

本発明の別の態様は、これらの符号化及び復号方法に対応したコンピュータプログラム及びデバイスである。

本発明のその他の特徴及び利点は、限定を意図しない以下の記載と、添付の図面の参照とによって明らかとなる。

映像符号化器及び復号器を個々に備えた２つの通信端末を示す図である。 本発明の一実施形態による符号化方法のフローチャートである。 符号化方法のうちのあるステップの一実施形態を示す。 符号化方法のうちのあるステップの一実施形態を示す。 符号化方法のうちのあるステップの一実施形態を示す。 本発明の一実施形態による復号方法のフローチャートである。

本発明は、任意の画像符号化及び復号システム、例えば、図１に示されたようなシステムに適用できる。このシステムは、デジタルテレビジョンデータフローＦの映像シーケンスの符号化と、映像符号化器２を備えた送信機１からの映像シーケンスの伝送とを可能にする。映像符号化器２は、メモリ４に関連付けられたコントローラ又はコンピュータ３を具備する。伝送は、復号器６を備えた受信局５に対してなされる。復号器６は、同様に、コントローラ又はコンピュータ７と、メモリ８とを具備する。

例えば、送信機１は、デジタルテレビジョンマイクロ波チャネルを介して、ＤＶＢ形式と称される形式などでデータフローΦを伝送するアンテナを具備し、端末５は、パーソナルコンピュータである。

これより、図２を参照して、本発明の方法を符号化に関して説明する。

符号化器２は、映像シーケンスに対する画像データのフローＦを受信する。このフローは、各画像又は画像部分の符号化を行うために処理される。一般に、ターム画像部分は、映像シーケンスの構成要素を指す。使用する規格に基づき、ターム画像は、タームフレーム及びターム画像毎に、タームブロック又はマクロブロックに等しく置き換えられる。

符号化方法は、現在画像部分と候補画像部分との間の動きの推定を行うステップ１０から始まる。候補画像部分は、例えば、以前の画像のうちの、現在画像部分に対応する部分又は近接部分である。例えば、動きベクトルなどの動き成分が、候補画像部分毎に推定部１０によって取得される。

示された実施形態では、動き推定は、復号器で入手可能と見なされる情報だけに実行される。

この場合、復号器で入手可能と見なされる情報は、復号器が推定する情報又は復号済みで既知の情報を意味する。これは、以前に伝送され、エラーメッセージを受信していないか又は肯定的受信確認を受信した情報、又は、符号化器及び復号器に同時に格納された情報を意味する。

図３Ａないし３Ｃを参照して、さまざまな動き推定を説明する。

図３Ａに記載の実施例では、動き推定は、いわゆる、ブロック又はラインの一致又は相関（ブロック／ラインマッチング）技術に基づいている。以前の画像Ｉ（Ｎ−１）の候補画像部分ＣＡＮＤ毎に、候補画像部分のブロック又はラインＬを考慮することによって、動きベクトルＶｍｖｔを推定する。候補画像部分のブロック又はラインＬは、別個に位置しているが、現在の画像Ｉ（Ｎ）で符号化される部分ＣＯＤＥの隣接部分である。これらの別個かつ隣接部分は、既に伝送された画像部分であり、かつ復号器で入手可能な復号器推定画像部分である。

図３Ｂを参照して記載された実施例では、同一の原理が、候補画像部分ＣＡＮＤの別個かつ隣接するラインＬと、符号化される画像部分ＣＯＤＥの別個かつ隣接する対応するラインとに適用される。

図３Ｃを参照して記載された実施例では、動き推定は、以前の画像の候補画像部分ＣＡＮＤに属する画像断片の輪郭（パターンマッチング）と、符号化される画像部分ＣＯＤＥの現在の画像の別個かつ隣接断片の同一輪郭との相関に基づいている。

このデータから動きベクトルを取得可能な動き推定アルゴリズム自体は、既知のものであるので、明細書中では詳細に説明しない。実施例において、動き成分には、移動ベクトル及び回転が含まれると見なされる。

動き推定ステップ１０の終わりでは、動き成分は、候補画像部分毎に取得される。

記載された実施形態では、動き推定に続いて、各動き成分を復元するための情報の決定が行われる。例えば、これは、最適な予測機能の決定と、符号化される画像部分と予測機能によって伝送された候補画像部分との差分を表す残余、又は、「副情報」とも称される関連情報を意味する。この復元情報自体は、従来の手法で算出される。

次に、本方法は、候補画像部分毎にパフォーマンス基準の評価を行うステップ１４を有する。この評価は、復号器で入手可能と見なされる情報だけを用いる基準について実行される。

実際には、従来技術の選択とは異なり、パフォーマンス基準は、現在画像部分の歪みに基づくことはできない。これは、そのような歪みは、復号器で入手不できないからである。

図３Ａ及び図３Ｂを参照して記載された実施例において、使用に適したパフォーマンス基準は、以前の画像上のラインＬと現在の画像上の対応するラインとの間の差分の和の絶対値である。

図３Ｃを参照して記載された実施例において、使用に適したパフォーマンス基準は、輪郭情報によって重み付けがなされた両ライン間の差分の和の絶対値である。

故に、パフォーマンス基準は、復号器で入手可能な情報に基づいて、候補画像部分毎に算出される。

記載された実施形態において、復元情報は、同じように入手可能であり、パフォーマンス基準を算出するために使用できる。しかしながら、復元情報は、復号器で入手可能な情報を使用することが望ましい。例えば、残余は使用できない。

次に、本方法は、１つの基準画像部分を確保することを目的とした、複数の候補画像部分の中からの選択ステップ１６を有する。この選択は、以前に取得したパフォーマンス基準に基づいている。動き推定ステップ１０及びパフォーマンス評価ステップ１４の実施例に続き、選択動作１６は、復号器で入手可能な情報だけを使用する。具体的には、選択動作は、残余情報を使用しない。

例えば、選択動作は、最良パフォーマンス評価を用いた候補画像部分の確保からなる。あるいは、選択は、利用可能な帯域幅によって重み付けされたパフォーマンス評価に基づいている。これによって、画像品質と処理量とから選択される最良妥協点が得られる。

故に、選択動作１６の終わりで、関連する動き成分及びそれらの成分を復元するための情報のほかに、基準画像部分が利用可能となる。

次に、符号化方法は、色差や輝度などの動きに関係しない情報の符号化ステップ１８を有する。ある実施形態では、ステップ１８は、動き成分又は復元情報を使用して、輝度などの情報を符号化する。一実施形態では、基準画像部分に関連した動きベクトルが使用される。このステップ１８自体は、従来の手法で実行されるので、詳細は説明しない。

最後に、本方法は、復号器にフローΦを伝送するステップ２０を有する。記載された実施例では、動き成分を復元するための情報は、出力フローに挿入されない。具体的には、動きベクトル予測残余も基準画像部分識別子も、出力フローに挿入されず、それによって、帯域幅のかなりの部分が利用可能となる。

このステップ２０の間に、輝度及び色差情報などのその他の画像パラメータの符号化に関係する情報が、従来通り、この出力フローに挿入される。

このようにして、動き推定、パフォーマンス基準評価、及び基準画像部分の選択が復号器で入手可能と見なされる情報しか使用しないことにより、動き成分を復元するための情報を伝送しなくてよくなる。したがって、動き情報の伝送は、より少ない帯域幅しか必要としない。

これより、図４を参照して、対応する復号方法を記載する。

ステップ２２の間に、フローΦは、復号器によって受信される。先に示された通り、この実施形態では、フローは、動き成分を復元するためのいかなる情報も含まない。

復号方法は、現在画像部分に対する動き推定のステップ２４から始まる。この推定は、図２のステップ１０を参照して記載された符号化動作の間に実行されるものに等しい。

このようにして、動き推定は、既に復号された情報を用いて、候補画像部分及び現在画像部分毎に動きベクトルを評価する。図３Ａないし図３Ｃを参照して先に記載されたライン−相関化及び輪郭−相関化技術が、直接に適用可能である。

当然ながら、ステップ２４の間に復号器によって用いられる動き推定方法は、ステップ１０の間に符号化器によって用いられるそれと同一でなければならない。

符号化の間に実行される動き推定と同様の手法で、動き推定２４は、候補基準画像部分毎に、動きベクトルなどの動き成分を送信する。

次に、復号方法は、候補画像部分毎にパフォーマンス基準を評価するステップ２６を有する。この評価は、符号化動作の間に実行される評価１４と同一の方法に従って実行される。

したがって、１つのパフォーマンス基準が、各候補画像部分に関連付けられる。

パフォーマンス基準の評価に続いて、先に記載された選択ステップ１６とあらゆる点で同一な選択２８が行なわれる。

故に、動き推定２４、パフォーマンス基準評価２６、及び選択動作２８は、符号化器及び復号器によって同じように実行される。これにより、これらの動作が復号器で入手可能と見なされる情報だけを使用することが可能となる。

故に、ステップ２８の終わりにおいて、復号器は、動き成分の復元に必要な何らかの情報を伝送されることなく、基準画像部分及び関連する動き成分を処理する。

最後に、復号方法は、現在画像部分の復号ステップ３０を有する。このステップの間に、基準画像部分は、関連する動き成分によって変換される。故に、これによって、現在画像部分に対する動き情報の取得が可能となる。

さらに、輝度及び色差情報など、現在画像部分のその他のパラメータが、従来通り取得される。ある実施形態では、この情報の取得は、ステップ２４ないし２８と同様に、動きベクトル及び基準画像部分の使用を必要とする。

このようにして、符号化器及び復号器による１つの動き推定、１つのパフォーマンス基準評価、及び１つの選択の使用法は、符号化器と復号器との間の動き情報の伝送を不必要に行わない。

さらに、別の実施形態が想定される。具体的には、それは、動き推定、パフォーマンス基準評価、及び選択に別の技術を使用できる。具体的には、「誤り隠蔽（error concealment）」又は「修復（inpainting）」として知られる技術が実行できる。いずれの場合でも、これらの技術は、復号器で入手可能と見なされるデータだけを使用しなければならない。

あるいは、復元に必要な情報の決定ステップ１２は、符号化動作の間に実行されない。そのような実施形態によって、符号化器の計算量を削減できる。逆に、図２を参照して示された実施形態によって、通常の動作順序を保つことができるとともに、現在の機器に修正を加えることを制限する。さらに、これによって、復元情報を用いたパフォーマンス評価を実行できる。

変形例において、本方法は、動き成分の一部分だけに適用される。故に、動き成分の一部分は、場合により符号化器で単独で入手可能な情報を使用して、従来通り符号化される。動き成分のこの部分に対して、復元情報が伝送される。本発明の原理に従って符号化されるその他の部分については、復元情報を伝送する必要がない。例えば、変換成分については伝送されないのに対して、回転成分のための復元情報は伝送される。別の実施例では、ピクセル成分のための復元情報は伝送されるのに対して、サブピクセル成分については伝送されない。

さらに、ある実施形態では、動き推定動作の間に使用されるマッチング方法のための識別子が、復号器に伝送される。これによって、復号器は、入手可能な情報だけを使用し、使用したい方法のための識別子を受信する。

さらに別の変形例では、候補画像部分は、符号化及び復号を行おうとする画像部分と同一の画像内にある。

１ 送信機
２ 符号化器
３，７ マイクロプロセッサ（μＰ）
４，８ メモリ
５ 受信端末
６ 復号器

Claims (12)

1. 現在画像の少なくとも一部分の符号化方法であって、
   動き成分を形成するように、現在画像部分と複数の候補画像部分との間の動きの推定を行う動き推定段階と、
   候補画像部分毎にパフォーマンス基準の評価を行うパフォーマンス基準評価段階と、
   前記パフォーマンス基準を用いて、複数の候補画像部分の中から基準画像部分の選択を行う基準画像部分選択段階と、
   復号器へ向かう出力フローへの符号化情報の挿入を行う符号化情報挿入段階と
   を有し、
   少なくとも１つの動き成分に対して、動き推定段階、パフォーマンス基準評価段階、及び基準画像部分選択段階は、前記復号器で入手可能と見なされる情報だけしか使用せず、かつ動き情報が前記出力フローに挿入されないことを特徴とする方法。
2. 所定数の動き成分のうちの少なくとも１つを復元するための情報の決定を行う復元情報決定段階と、
   出力フローへの前記復元情報の挿入を行う復元情報挿入段階と
   をさらに有し、
   前記所定数の動き成分は、前記動き推定段階によって提供されることを特徴とする請求項１に記載の方法。
3. 動き推定段階及びパフォーマンス基準評価段階では、候補画像部分の断片と、現在画像部分の隣接する別個の対応する断片との間の相関関係が使用されることを特徴とする請求項１又は２に記載の方法。
4. 動き推定段階及びパフォーマンス基準評価段階では、候補画像部分の隣接する別個の対応する断片と、現在画像部分の隣接する別個の対応する断片との間の相関関係が使用されることを特徴とする請求項１又は２に記載の方法。
5. 映像処理デバイスにインストールされるコンピュータプログラムであって、
   前記デバイスの演算ユニットによって実行されたとき、請求項１ないし４のいずれか１項に記載の方法の各段階を実行するための命令を含むことを特徴とするコンピュータプログラム。
6. 現在画像の少なくとも一部分の符号化を行うためのデバイスであって、
   動き成分を形成するように、現在画像部分と複数の候補基準画像部分との間の動きの推定を行う動き推定部と、
   候補画像部分毎にパフォーマンス基準の評価を行うパフォーマンス基準評価部と、
   前記パフォーマンス基準を用いて、複数の候補部分の中から基準画像部分の選択を行なう基準画像部分選択部と、
   復号器へ向かう出力フローへの符号化情報の挿入を行う通信部と
   を具備し、
   少なくとも１つの動き成分に対して、動き推定部、パフォーマンス基準評価部、及び基準画像部分選択部は、復号器で入手可能と見なされる情報だけしか使用せず、かつ動き情報が出力フローに挿入されないことを特徴とするデバイス。
7. 現在画像部分の少なくとも一部分の復号方法であって、
   現在画像部分に対する符号化情報のフローの受信を行う受信段階と、
   対応する動き成分を形成するように、複数の候補基準画像部分及び既に復号がなされている画像部分に基づいて、現在画像部分に対する動き推定を行う動き推定段階と、
   候補画像部分毎にパフォーマンス基準の評価を行うパフォーマンス基準評価段階と、
   前記基準画像部分を取得するように、前記基準を用いて、前記複数の候補画像部分の中から選択を行なう基準画像部分選択段階と、
   前記基準画像部分及び対応する動き成分から現在画像部分の復号を行う復号段階と
   を有することを特徴とする方法。
8. 少なくとも１つの動き成分を復元するための情報の受信を行う復元情報受信段階と、
   対応する復元段階と
   をさらに有することを特徴とする請求項７に記載の方法。
9. 動き推定段階及びパフォーマンス基準評価段階では、候補画像部分の断片と、現在画像部分の隣接する別個の対応する断片との間の相関関係が使用されることを特徴とする請求項７又は８に記載の方法。
10. 動き推定段階及びパフォーマンス基準評価段階では、候補画像部分の隣接する別個の対応する断片と、現在画像部分の隣接する別個の対応する断片との間の相関関係が使用されることを特徴とする請求項７又は８に記載の方法。
11. 映像処理デバイスにインストールされるコンピュータプログラムであって、
    前記デバイスの演算ユニットによって実行されたとき、請求項７ないし１０のいずれか１項に記載の方法の各段階を実行するための命令を含むことを特徴とするコンピュータプログラム。
12. 少なくとも１つの現在画像部分の復号を行うためのデバイスであって、
    現在画像部分に対する符号化情報の受信を行う通信部と、
    対応する動き成分を形成するように、複数の候補基準画像部分及び既に復号がなされている画像部分に基づいて、現在画像部分の動きの推定を行う動き推定部と、
    候補画像部分毎にパフォーマンス基準の評価を行うパフォーマンス基準評価部と、
    前記パフォーマンス基準を用いて、前記複数の候補画像部分の中から前記基準画像部分の選択を行なう基準画像部分選択部と、
    前記基準画像部分及び対応する動き成分に基づいて、現在画像部分の復号を行う復号部と
    を具備することを特徴とするデバイス。

Images