JP2009284518A

JP2009284518A - ビデオ符号化方法

Info

Publication number: JP2009284518A
Application number: JP2009171350A
Authority: JP
Inventors: Miska Hannuksela; ハンナクセラミスカ; Kerem Caglar; カグラーケレム
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2000-05-15
Filing date: 2009-07-22
Publication date: 2009-12-03
Anticipated expiration: 2021-05-11
Also published as: US20010040926A1; US20080267299A1; GB0011639D0; CN1848956A; WO2001089228A1; HUP0301969A3; EP1293096A2; CA2408726A1; JP5007322B2; US20070189398A1; CN1440624A; GB2362533A; BR0110493A; SG147299A1; EE05595B1; JP2003533954A; AU2001260295A1; KR20030011331A; KR20060060065A; HK1096517A1

Abstract

【課題】誤りの隠蔽方法のタイプを決定して、符号化データに多重する。
【解決手段】画像のシーケンスを符号化して符号化されたビデオ信号を作成する方法であって、前記方法は、前記シーケンスの第１の画像又はその一部と前記シーケンスの第２の画像との間の類似性の測度を計算するステップと、類似性の前記測度を類似性の所定の基準と比較するステップと、前記第１の画像又はその一部の対応する復号化過程で使用されるべき誤り隠蔽アルゴリズムのタイプを指示する誤り隠蔽アルゴリズムタイプ指示子を発生させるステップと、を含む。前記誤り隠蔽アルゴリズムタイプ指示子はある値を持ち、前記指示子の前記値は前記比較の結果に基づく。
【選択図】図６

Description

本発明は、ビデオ符号化方法に係り、特に、誤りによって生じるアーティファクトを隠蔽する方法に関する。

ビデオ・シーケンスは一連の静止画像またはフレームから構成されている。ビデオ圧縮方法は、ビデオ・シーケンスの冗長部分および知覚的に無関係な部分を減らすことに基づいている。ビデオ・シーケンスにおける冗長性は、スペクトル冗長性、空間的冗長性および時間的冗長性に分類することができる。スペクトル冗長性は、同じ画像の異なるカラー成分間の類似性を指す。空間的冗長性は、１つの画像中の隣接しているピクセル間の類似性に起因する。時間的冗長性は前の画像の中に現れているオブジェクトが現在の画像中にも現れる可能性があるので存在する。この時間的冗長性を利用し、現在の画像を別の画像、すなわち、アンカー画像または基準画像から予測することによって圧縮を行うことができる。現在の画像と前の画像との間の動きを記述する動き補償データを生成することによって、さらに圧縮が行われる。

しかし、シーケンスの本来的な冗長性を減らすことだけによっては十分な圧縮が行われないのが普通である。それ故、ビデオ・エンコーダは、ビデオ・シーケンスの主観的にあまり重要でない部分の品質を低減しようとする。さらに、圧縮パラメータおよび係数の効率的な無損失符号化によって、符号化されたビット・ストリームの冗長性が減らされる。その主な技法は、可変長符号を使用する方法である。

ビデオ圧縮方法は、通常、時間的冗長性の削減を利用する画像と利用しない画像を識別する。時間的冗長性削減方法を利用しない圧縮された画像は、普通はINTRAフレームまたはＩフレームまたはＩ画像と呼ばれる。時間的に予測された画像は、普通は現在の画像の前に発生している画像から前方に予測されており、INTERフレームまたはＰフレームと呼ばれる。INTERフレームの場合、予測された動き補償された画像が十分に正確であることは稀であり、したがって、空間的に圧縮された予測誤差フレームが各INTERフレームに関連付けられる。INTER画像は、INTRA符号化領域を含むことができる。

多くのビデオ圧縮方式は、時間的双方向性予測フレームも使用する。それらは普通Ｂ画像またはＢフレームと呼ばれている。Ｂ画像はＩフレームおよび／またはＰフレームのアンカー画像ペア間に挿入され、これらのアンカー画像の１つまたは両方から予測される。Ｂ画像は、普通は前方予測型画像と比較して圧縮度が大きくなる。Ｂ画像はアンカー画像としては使用されない。すなわち、他の画像がＢ画像から予測されることはない。したがって、以降の画像の画像品質を損なわずにＢ画像を捨てる（意図的にまたは無意識的に）ことができる。Ｂ画像はＰ画像に比較して圧縮性能を改善することができるが、それらを生成するための計算が比較的複雑となり、より多くのメモリを必要とし、追加の遅延時間を導入する。これはビデオ・ストリーミングのような非リアルタイムの用途に対しては問題とならないが、ビデオ会議のようなリアルタイムの用途においては問題となる場合がある。

圧縮されたビデオ・クリップは、時間的に独立のINTRA画像と、時間的に差分符号化されたINTER画像とに大雑把に分類することができる画像のシーケンスから構成されている。INTRA画像における圧縮効率は、普通はINTER画像の場合より低いので、INTRA画像は慎重に使用され、特にビット・レートの低い用途に使用される。

ビデオ・シーケンスは、いくつかのシーンまたはショットから構成することができる。画像の内容はシーンごとに著しく異なっている場合があり、したがって、１つのシーンの最初の画像は、通常、INTRA符号化されている。テレビジョンおよび映画の中ではシーンが頻繁に変化するが、ビデオ会議においてはシーンの急激な場面転換は比較的稀である。さらに、再構成されたビデオ信号における伝送誤りの時間的な伝播を止めるために、そしてビデオのビット・ストリームに対するランダムなアクセス・ポイントを提供するために、通常、INTRA画像が挿入されている。

圧縮されたビデオは、主として２つの理由のために伝送誤りによって容易に破損する。第１に、時間的予測差分符号化（INTERフレーム）を利用するために、誤りが空間的および時間的の両方において伝播するからである。実際には、これは、誤りが一度発生すると、それは比較的長い時間にわたって人間の目に見えやすい。特に影響を受けやすいのは、低いビット・レートでの伝送の場合であり、その場合、少数のINTRA符号化フレームだけしかないので、時間的な誤りの伝播がある程度の時間止まらない。第２に、可変長符号を使用することによって誤りの影響を受けやすくなるからである。１ビット誤りが符号語を変化させると、そのデコーダは符号語の同期を失い、また次の同期化（すなわち、開始）符号まで後続の誤りのない符号語（いくつかのビットを含む）を誤って復号化する。同期化符号は他の符号語の合法的組合せから生成することができないビット・パターンであり、同期化を可能にするためにそのような符号がある間隔でビット・ストリームに追加される。さらに、伝送の間にデータが失われると誤りが発生する。たとえば、IPネットワークにおける信頼性の低いUDP転送プロトコルを使用しているビデオ・アプリケーションにおいては、ネットワーク要素が符号化ビデオ・ビット・ストリームの部分を捨てる場合がある。

伝送経路において生じた破損に受信機が対処する多くの方法がある。一般に、信号の受信時に、伝送誤りが先ず検出され、次に受信機によって補正または隠蔽される。誤り補正は誤りが最初に導入されなかったかのように、誤りデータを完全に復元するプロセスを指す。誤りの隠蔽は、伝送誤りの影響がその再構成されたビデオ・シーケンスにおいてほとんど見られないように隠蔽するプロセスを指す。通常、誤り検出、補正および隠蔽を助けるために、ソースまたはトランスポート符号化によってある程度の量の冗長性が追加される。誤りの隠蔽技法は、大雑把に３つのカテゴリーに分類される。それらは、前進型誤り隠蔽、後処理による誤り隠蔽および対話型誤り隠蔽である。「前進型誤り隠蔽」という用語は、送信機側が送信されるデータに対して冗長性を付加して符号化されたデータの誤り復元能力を高める技法を指す。後処理による誤り隠蔽は、受信した信号の特性に応答するデコーダにおける動作を指す。これらの方法は、誤って受信したデータの正しい表現を評価する。対話型誤り隠蔽においては、送信機および受信機は伝送誤りの影響を最小化するために協同動作する。これらの方法は、受信機によって提供されたフィードバック情報を十分に利用する。後処理による誤り隠蔽は、受動的誤り隠蔽とも呼ぶことができ、一方、他の２つのカテゴリーは能動的誤り隠蔽の形式を表す。

多くの隠蔽アルゴリズムが周知であり、そのレビューが、非特許文献１および非特許文献２の中で与えられている。

現在のビデオ符号化規格は、自足可能なビデオ・ビット・ストリームに対する構文を定義している。現時点で最もポピュラーな規格は、非特許文献３，非特許文献４（MPEG−4として知られている），非特許文献５（MPEG−2として知られている）である。これらの規格はビット・ストリームに対する、したがって、画像シーケンスおよび画像に対する階層を定義している。

誤り隠蔽を支援するために、ＭＰＥＧ‐２ビデオ符号化規格によって、INTRA画像内のINTRAマクロブロックに対して動きベクトルを伝送することができる。これらの動きベクトルは、誤り隠蔽のためだけに下記のように使用される。INTRAマクロブロックが失われた（または破損した）場合、デコーダは失われたマクロブロック上のマクロブロックに所属する動きベクトルを使用して基準画像から似ているブロックを得る。そのINTRAマクロブロックが動き情報を含んでいなかった場合、デコーダはその誤りを空間的アルゴリズムによって隠蔽する。

H.263においては、その構文は４つの層、すなわち、画像層、画像セグメント層、マクロブロック層、およびブロック層による階層構造を有している。画像層のデータは、その画像全体の領域およびその画像データの復号化に影響を及ぼすパラメータを含んでいる。そのデータのほとんどがいわゆる画像ヘッダ内に配置されている。

画像セグメント層は、ブロック層またはスライス層の１つのグループのいずれかである可能性がある。デフォルトによって各画像は、ブロックのグループに分割されている。ブロックのグループ（GOB）は、通常、１６個の連続したピクセル・ラインを含む。各GOBに対するデータはオプションのGOBヘッダの次にマクロブロックに対するデータが続いているものから構成されている。オプションのスライス構造化モードが使用されている場合、各画像はGOBの代わりにスライスに分割されている。スライスは、走査順に連続するいくつかのマクロブロックを含む。各スライスに対するデータは、スライス・ヘッダの次にそのマクロブロックに対するデータが続いているものから構成されている。

各GOBまたはスライスはマクロブロックに分割されている。マクロブロックは、１６×１６ピクセル（または２×２ブロック）の輝度およびその空間的に対応している８×８ピクセル（またはブロック）の色彩成分に関連する。１つのブロックは、輝度または色彩の８×８ピクセルに関連する。
ブロック層のデータは、一様に量子化された個々のコサイン変換係数から構成され、それらはジグザグに走査され、ランレングス・エンコーダで処理され、可変長符号で符号化されている。MPEG−2およびMPEG−4層の階層はH.263の階層と似ている。

H.263においては、誤り隠蔽の問題は、通常、後処理機能として認識され、一般的にデコーダに任されている。非特許文献６において、いくつかの誤り隠蔽技法を指定し、エンコーダがこのことをデコーダに対して知らせることができるシグナリング・メカニズムを、好ましくは画像ごとのベースで定義するために、H.263に規範言語を追加することが提案されている。
しかし、この方法は、デコーダによって使用される誤り隠蔽方法がエンコーダによって指定されるので、デコーダにおいて過度に制限的である。それ故、デコーダが使用することができるこれらの方法を有している場合であっても、他の隠蔽方法を使用することができない。

Y. WangおよびQ. F. Zhu著, 「Error Control and Concealment for Video Communication: A Review」（ビデオ通信のための誤り制御および隠蔽：レビュー）, Proceedings of the IEEE, Vol.86, No．5, 1998年5月, pp. 974-997 P. Salama, N. B. Shroff, およびE. J. Delp著，「Error Concealment in Encoded Video」（符号化されたビデオにおける誤り隠蔽）, IEEE Journal on Selected Areas in Communications ITU−T勧告H.263, 「Video coding for low bit rate communication」（低ビット・レート通信のためのビデオ符号化）, 1998年2月 ISO／IEC 14496−2, 「Generic Coding of Audio−Visual Objects: Part 2: Visual」（オーディオ−ビジュアル・オブジェクトの一般的符号化：第二部：ビジュアル）, 1999年 ITU−T勧告H.262（ISO／IEC 13818−2） ITU―T Study Group 16 Question 15, Document no．17, 18, 19, 20, 21 ＆ 22. 1999年10月，米国ニュージャージー州においてITU―T Study Group 16の第9回会合において発表 P. NingおよびS. Wenger著, 「Draft of new Annex W: Additional Supplementary Enhancement Information Specification」（新しい付録Ｗの草案：追加の補助的エンハンスメント情報の仕様）, ITU−T Study Group 16 Question 15 Document Q15−I−58, 1999年11月

第１の態様によれば、本発明は、画像のシーケンスを表しているビデオ信号を符号化する方法を提供する。前記方法は、第１の画像を第２の画像と比較するステップと、第１の画像と第２の画像との間の類似性の測度を計算するステップと、その類似性の測度を類似性の所定の基準と比較するステップと、その類似性の測度が類似性の所定の基準を満たさない場合、非時間的予測誤り隠蔽方法が後続のデコーダによって使用されるべきであることを示す指示子を出力するステップと、類似性の測度が類似性の所定の基準を満たす場合、時間的予測誤り隠蔽方法が後続のデコーダによって使用されるべきであることを示す指示子を出力するステップとを含む。
結果として、デコーダは、その指示子に基づいて、破損した画像に対して適切なタイプの誤り隠蔽方法を自由に選択する。しかし、その指示子は特定のアルゴリズムを指定せず、それ故、デコーダは特定のアルゴリズムの使用に制限されない。

類似性の測度が所定の基準を満たさない時に、その誤り隠蔽の指示子が更新されることが好ましい。その時、その指示子は、シーンの変化として見ることができるものを指示する。
それ故、本発明によって、デコーダはどの画像が同じシーンに属しているかを検出することができ、この指示に基づいて、必要な場合は適切なタイプの誤り隠蔽方法を選択することができる。それ故、誤り隠蔽指示子がフレームごとに変化すると、デコーダは非予測的誤り隠蔽方法を適用することによって応答する。誤り隠蔽指示子がフレームごとに同じである場合、デコーダは時間的予測誤り隠蔽方法を適用することによって応答する。

たとえば、シーンの変化時に、現在の画像（新しいシーンにおける第１の画像）と前のシーンの最後の画像との間の類似度は小さくなる。したがって、エンコーダは、現在の画像に対する誤り隠蔽指示子を更新する。その画像が破損していた場合、デコーダは誤り隠蔽指示子におけるその変化を検出し、非時間的予測隠蔽方法を使用する。さらに、デコーダは、シーンの変化を符号化するためにどのINTRA画像が使用されているか、どの画像が他の理由のためにそのビデオ・シーケンス内に挿入されているかを知ることができ、この情報に基づいて適切な隠蔽アルゴリズムを選択することができる。

いくつかのビデオ・エンコーダは、すべてのフレーム（最初のフレームの後の）をINTER画像として符号化する。１つのシーン・カットの後の最初のINTER画像が破損した場合、従来のデコーダはINTER画像の消失によって生じる誤りを隠蔽しようとして時間的予測を利用する可能性がある。結果として、異なるシーンからの２つの画像の内容が混合され、その隠蔽された画像は受け入れ不可能なほど歪んでいる可能性がある。しかし、本発明によるデコーダは誤り隠蔽指示子に基づいて時間的隠蔽方法の代わりに非時間的隠蔽方法を使用すべきであることを検出することができる。したがって、異なるシーンからの画像は誤り隠蔽のためには使用されない。

ＭＰＥＧ‐２において導入された追加の動きベクトルを必要とするソリューションと比較して、本発明はビット／フレーム数がかなり少なくて済む。さらに、本発明は、ＭＰＥＧ‐２において許容されているようなINTRAマクロブロックに対する動きベクトルを許容しない既存のビデオ圧縮規格で動作する。
画像全体または画像の一部分に関して誤り隠蔽指示子を含めることができる。前者の場合、通常、その指示子は画像ヘッダ内に含められる。本発明の１つの好適な実施形態においては、ビデオ信号はH.263規格に従って符号化され、その誤り隠蔽指示子は「補助的エンハンスメント情報」内に含められる。後者の場合、符号化された画像の画像セグメント・ヘッダまたはマクロブロック・ヘッダ内に誤り隠蔽指示子を含めることもできる。

第２の態様によれば、本発明は、画像のシーケンスを表しているビデオ信号を符号化する方法を提供する。前記方法は、第１の画像を第２の画像と比較するステップと、第１の画像と第２の画像との間の類似性の測度を計算するステップと、類似性の測度を類似性の所定の基準と比較するステップと、類似性の測度に応じて指示子を出力するステップとを含み、前記類似性の測度が前記所定の基準を満たさない時、指示子は更新され、前記類似性の測度が前記所定の基準を満たす時、指示子は不変である。

第３の態様によれば、本発明は、画像のシーケンスを表している符号化されたビデオ信号を復号化する方法を提供する。前記方法は、符号化されたビデオ信号を受信するステップと、復号化される各画像に対して復号化プロセスにおいて使用される隠蔽方法のタイプを示す指示子を識別するステップと、前記識別されたタイプの隠蔽方法を使用して前記符号化されたビデオ信号を復号化するステップとを含む。

第４の態様によれば、本発明は、誤り隠蔽の方法を提供する。前記方法は、誤り隠蔽プロセスにおいて使用される隠蔽方法のタイプを示す指示子を含む符号化されたビデオ信号を受信するステップと、ビデオ信号における誤りを適切に隠蔽するステップとを含む。

第５の態様によれば、本発明は、画像のシーケンスを表す符号化されたビデオ信号を復号化する方法を提供する。前記方法は、符号化されたビデオ信号を受信するステップと、復号化される各画像に対して、第１の画像と第２の画像との間の類似性の測度を表す指示子を識別し、前記指示子が以前に受信した画像の指示子と同じである時、時間的予測誤り隠蔽方法を適用するステップと、前記指示子が以前に受信した画像の指示子と異なっている時、空間的誤り隠蔽方法を適用するステップとを含む。

第６の態様によれば、本発明は、ビデオ・エンコーダを提供する。前記ビデオ・エンコーダは、画像のシーケンスを表すビデオ信号を受信するための入力と、第１の画像と第２の画像との間の類似性の測度を計算するための計算器と、類似性の測度を類似性の所定の基準と比較するための、そして後続のデコーダによって使用される隠蔽方法を示す指示子を出力するためのコンパレータとを含み、前記コンパレータは、前記類似性の測度が所定の基準を満たさない時に、非時間的予測隠蔽方法が使用されるべきであることを示す指示子を出力し、前記類似性の測度が所定の基準を満たす時には、後続のデコーダによって時間的予測隠蔽方法が使用されるべきであることを示す指示子を出力する。

第７の態様によれば、本発明は、画像のシーケンスを表すビデオ信号を符号化するためのビデオ・エンコーダを提供する。前記エンコーダは、第１の画像を第２の画像と比較するためのコンパレータと、第１の画像と第２の画像との間の類似性の測度を計算し、前記類似性の測度を類似性の所定の基準と比較するためのプロセッサとを含み、前記プロセッサは、前記類似性の測度に応じて指示子を出力するように構成され、前記類似性の測度が所定の基準を満たさない時、指示子は更新され、前記類似性の測度が所定の基準を満たす時、指示子は不変である。

第８の態様によれば、本発明は、ビデオ・デコーダを提供する。前記ビデオ・デコーダは、画像のシーケンスを表す符号化されたビデオ信号を受信するための入力と、復号化される各画像のビデオ信号内で、復号化プロセスにおいて使用される隠蔽方法のタイプを指示する指示子を識別し、指示子によって指示されている隠蔽方法を使用して前記符号化されたビデオ信号を復号化するためのコントローラとを含む。
本発明を、添付の図面を参照しながら以下に記述するが、これは単なる例示としてのものにすぎない。

マルチメディア移動通信システムを示す。マルチメディア端末のマルチメディア構成部品の一例を示す。ビデオ・コーデックの一例を示す。 H.263に従う周知のビット・ストリームの構文を示す。（a）は、本発明の第１の実施形態によるエンコーダから出力されるビット・ストリームの一例を示し、（ｂ）は、本発明の第２の実施形態によるエンコーダから出力されるビット・ストリームの一例を示す。（ａ）は、本発明の第３の実施形態によるエンコーダから出力されるビット・ストリームの一例を示し、（ｂ）は、本発明の第４の実施形態によるエンコーダから出力されるビット・ストリームの一例を示す。本発明の第５の実施形態によるエンコーダから出力されるビット・ストリームの一例を示す。

図１は、代表的なマルチメディア移動通信システムを示している。第１のマルチメディア移動端末１は、無線リンク３を経由して移動通信ネットワーク４に対して第２のマルチメディア移動端末２と通信する。制御データがマルチメディア・データと同様に、２つの端末１、２の間で送信される。

図２は、端末１の代表的なマルチメディア構成部品を示している。前記端末は、ビデオ・コーデック１０と、オーディオ・コーデック２０と、データ・プロトコル・マネージャ３０と、制御マネージャ４０と、マルチプレクサ／デマルチプレクサ５０と、モデム６０（必要な場合）とを含む。ビデオ・コーデック１０は、端末のビデオ捕捉装置（図示せず）（たとえば、カメラ）からの信号を符号化のために受信し、ディスプレイ７０上で端末１において表示するためのリモート端末２からの信号を復号化するために受信する。オーディオ・コーデック２０は端末１のマイクロホン（図示せず）からの信号を符号化のために受信し、端末１のラウドスピーカ（図示せず）によって再生するためのリモート端末２からの信号を復号化のために受信する。

制御マネージャ４０は、ビデオ・コーデック１０、オーディオ・コーデック２０およびデータ・プロトコル・マネージャ３０の動作を制御する。しかし、本発明はビデオ・コーデック１０の動作に関係しているので、オーディオ・コーデック２０およびデータ・プロトコル・マネージャ３０についてはこれ以上説明しない。

図３は、本発明によるビデオ・コーデック１０の一例を示している。ビデオ・コーデックは、エンコーダ部分１００と、デコーダ部分２００とを含む。エンコーダ部分１００は、端末１のカメラまたはビデオ・ソース（図示せず）からビデオ信号を受信するための入力１０１を含む。スイッチ１０２が、INTRAモードの符号化とINTERモードの符号化との間でエンコーダを切り換える。

INTRAモードにおいては、入力１０１からのビデオ信号が、DCT変換器１０３によってDCT係数に変換される。次に、DCT係数が、その係数を量子化する量子化器１０４に渡される。スイッチ１０２および量子化器１０４は両方ともビデオ・コーデックの符号化制御マネージャ１０５によって制御される。また、符号化制御マネージャ１０５は、制御マネージャ４０によって受信側の端末２からフィードバック制御を受信する。

INTERモードにおいては、入力１０１からの信号と画像記憶装置１０７内に格納されている前画像との間の差を減算器１０６から受け入れるように操作される。減算器１０６から出力される差分データは、現在の画像と画像記憶装置１０７内に格納されている前画像との間の予測誤差を表す。画像記憶装置１０７内のデータは、量子化器によって出力されたデータを逆量子化器１０８を通して渡し、逆ＤＣＴ変換１０９を適用して逆量子化されたデータにすることによって生成される。結果のデータが、加算器１１０によって画像記憶装置１０７の内容に加算される。動き推定器１１１が、従来の方法で画像記憶装置１０７内のデータから動き補正データ（動きベクトル）生成しても良い。

ビデオ・コーデックは量子化されたDCT係数１１２ａと、量子化インデックス１１２ｂ（すなわち、使用されている量子化の詳細）と、実行される符号化のモード（ＩまたはＰ／Ｂ）を示すためのINTRA／INTERフラグ１１２ｃと、符号化されているフレームの数を示すための送信フラグ１１２ｄと、符号化されている画像に対する動きベクトル１１２ｅとを示すための送信フラグ１１２ｄとを出力する。これらは他のマルチメディア信号と一緒にマルチプレクサ５０によって多重化される。

ビデオ・コーデック１０のデコーダ部分２００は、逆量子化器１２０と、逆DCT変換器１２１と、動き補償器１２２と、画像記憶装置１２３と、コントローラ１２４とを含む。コントローラ１２４は符号化されたマルチメディア・ストリームからデマルチプレクサ５０によって逆多重化されたビデオ・コーデック制御信号を受信する。実際には、エンコーダのコントローラ１０５と、デコーダのコントローラ１２４とは同じプロセッサであってよい。

本発明によるエンコーダの動作が以下に記述される。ビデオ・コーデック１０は符号化されるビデオ信号を受信する。ビデオ・コーデックのエンコーダ１００はDCT変換、量子化および動き補償を実行することによって前記ビデオ信号を符号化する。符号化されたビデオ・データは、次にマルチプレクサ５０に出力される。マルチプレクサ５０は、ビデオ・コーデック１０からのビデオ・データ、およびコントロール４０からの制御データ（および、適当な他の信号）をマルチメディア信号に多重化する。端末１はこのマルチメディア信号をモデム６０（必要な場合）経由で受信側の端末２に出力する。

本発明は、デコーダによって使用される隠蔽方法のタイプを示す指示子をビデオ・シーケンス構文内に含めることに関する。指示子は、ビット・ストリームの画像層内に含めるか、あるいは別の層として提供することができる。この指示子によって異なるシーンを識別すること、したがって、使用される隠蔽方法のタイプを識別することができる。

本発明の第１の実施形態においては、誤り隠蔽指示子は符号化された各画像のビット・ストリーム表現に付加される、いわゆるシーン指示子（ＳＩ）を含む。シーン識別子は、同じシーンの画像のすべてに対して同じである１つの値である。異なるシーンに属している画像は、通常、異なるシーン識別子を有する。ＳＩの値は、それが更新されるたびにインクリメントされることが好ましい。しかし、シーン識別子は、ＳＩの値が同じでない隣のシーンの画像、たとえば、ＳＩの値が０に設定されている奇数番号のシーン画像、およびＳＩの値が１に設定されている偶数番号のシーン画像についての２つの値のうちの１つを取ることができると考えられる。

エンコーダのコントローラ１０５は、フレーム間の類似性を比較することによってシーン・カットを検出する。コントローラ１０５は、現在の画像のピクセル表現（入力１０２から受信した）を画像記憶装置１０７内に格納されている前の画像のピクセル表現と比較する。２つの画像間の類似性があるしきい値以下になるたびに、コントローラは、シーン・カットを検出し、更新されたシーン指示子１１２ｆが出力される。類似性がそのしきい値より上である場合、シーン指示子は更新されず、繰り返される。

シーン識別子が、必ずしも実際のシーン・カットを識別するとは限らない。シーン識別子の変化は、現在の画像が前の画像と比較して十分に変化したことを示し、現在の画像が新しいシーンとみなされることを示す。
シーンの変化を検出するために、他の既知の方法を使用しても良い。

本発明の第２の実施形態においては、いわゆる隠蔽方法指示子（ＣＭＩ）が各符号化された画像のビット・ストリーム表現に付加される。ＣＭＩはデコーダに対して、その関連付けられた画像が破損した場合に、デコーダが使用しなければならない隠蔽方法のタイプを示す。エンコーダは、現在の画像と前の画像との間の類似性を比較することによって、その画像にどのＣＭＩが関連付けられるかを決定する。２つの画像間の類似性があるしきい値以下である場合、コントローラは、出力１１２ｆとして第１の隠蔽方法指示子ＣＭＩ＝０を出力する。これはデコーダに対して、非時間的予測隠蔽方法が使用されるべきであることを示す。類似性がそのしきい値より上である場合、出力１１２ｆとして第２の隠蔽方法指示子ＣＭＩ＝１が出力される。これは、時間的予測隠蔽方法が使用されるべきであることをデコーダに対して示す。

類似性の測度は、２つの画像間の数学的相関を計算することによって形成することができる。
誤り隠蔽指示子を画像セグメント・ヘッダおよび／またはマクロブロック・ヘッダ内に含め、このレベルにおいて適切な誤り隠蔽方法を受信側のデコーダに選択させるようにすることもできる。

端末２から符号化されたビデオ・データを受信している端末１について考え、ビデオ・コーデック１０の動作をその復号化の役割に関して以下に記述する。端末１は、送信側の端末２からマルチメディア信号を受信する。デマルチプレクサ５０がマルチメディア信号を逆多重化し、そのビデオ・データをビデオ・コーデック１０に渡し、制御データを制御マネージャ４０に渡す。ビデオ・コーデックのデコーダ２００は、そのデータを、逆量子化し、逆ＤＣＴ変換し、動き補正することによって、その符号化されたビデオ・データを復号化する。デコーダのコントローラ１２４は、受信したデータの完全性をチェックし、誤りが検出された場合、以下に記述する方法でその誤りを補正して隠蔽しようとする。次に、復号化され、補正されて隠蔽されたビデオ・データが、受信側端末１のディスプレイ７０上で再生するために出力される。

ビデオ・データにおける誤りは、画像レベル、画像セグメント・レベル、またはマクロブロック・レベルにおいて発生する可能性がある。誤りチェックをこれらのレベルのうちの任意のレベルまたはすべてのレベルにおいて実行することができる。

最初に指示子ＳＩが含まれている、本発明による符号化された信号について考えると、誤りが検出された時、デコーダは、受信されたが破損した画像のＳＩを調べる。破損した画像のＳＩが、時間的に近隣の正しく復号化された画像のＳＩと同じであった場合、デコーダは時間的予測（INTER）隠蔽アルゴリズムを適用する。デコーダは、種々の時間的予測隠蔽アルゴリズムを実行することができる。指示子ＳＩは、使用されるべき隠蔽アルゴリズムのタイプをデコーダに対して指示するが、使用されるアルゴリズムは規定しない。
破損した画像のＳＩが、時間的に近隣の正しく復号化された画像のＳＩと異なっていた場合、デコーダは空間的（INTRA）隠蔽方法を使用してその画像を隠蔽する。

本発明による、指示子ＣＭＩが含まれている、符号化された信号について考えると、誤りが検出された時、デコーダは、受信したが破損した画像のＣＭＩを調べる。破損した画像のＣＭＩがＣＭＩ１であった場合、デコーダは空間的隠蔽方法を使用してその画像を隠蔽する。破損した画像のＣＭＩがＣＭＩ２であった場合、デコーダは時間的予測隠蔽アルゴリズムを適用する。ここでも、デコーダは種々の誤り隠蔽アルゴリズムを実行することができる。指示子ＣＭＩは、使用されるべき隠蔽方法のタイプをデコーダに対して示すが、使用されるアルゴリズムは規定しない。
符号化された信号の構文内に誤り隠蔽指示子をどのように含めることができるかの一例をH.263のビデオ符号化規格を参照して以下に説明する。

図４は、H.263に従う周知のビット・ストリームの構文を示している。（以下の実施形態はＧＯＢフォーマットを記述するが、本発明は、スライス・フォーマットで実施することもできることは当業者にとって明らかである。）既に述べたように、ビット・ストリームは４つの層を備えている。それらは画像層、画像セグメント層、マクロブロック層およびブロック層である。画像層は、画像ヘッダを含み、その後にブロックのグループに対するデータ、最後に、任意のオプションの「シーケンスの終り」符号およびスタッフビットが続く。
従来技術のH.263のビット・ストリームは、図４に示されているようにフォーマット化されている。各部分に対する記述子が以下に与えられる。

図４に示されているような構造は、オプションのPLUSTYPEデータ・フィールドを含まない。PSBIは、CPMによって示されている場合にのみ存在する。TRＢおよびDBQUANTは、PTYPEがいわゆるPBフレーム・モードの仕様を示している場合にのみ存在する（PLUSTYPEフィールドが存在してDBQUANTの使用がその中で示されていない限り）。これらの事項はH.263の仕様書の中でより詳しく扱われている。

次のパラグラフでは、本発明によるエンコーダによって出力されるビット・ストリームの可能な実施形態を概説する。
隠蔽方法の指示子をH.263のビット・ストリーム内に下記のように組み込むことができる。図５(a)は、本発明の第１の実施形態によるエンコーダから出力されるビット・ストリームの一例である。図５(a)に示されているように、そのビット・ストリームは、その画像が属しているシーンを示す符号語である追加の符号語ＳＩを含む。これは、上記のように、連続している画像間の変化量に従ってエンコーダによって挿入される。識別子の変化は、符号化されている画像と基準画像との間の類似性が低いことを示している。デコーダはこの情報を使用して、示されたタイプの誤り隠蔽方法を選択する。この場合、使用される誤り隠蔽方法のタイプは詳しくは示されていないが、ＳＩの変化から決定することができる。

図５(b)は、本発明の第２の実施形態によるエンコーダから出力されるビット・ストリームの一例を示している。図５(b)に示されているように、そのビット・ストリームは、デコーダによって使用される隠蔽方法のタイプを示す符号語である追加の符号語ＣＭＩを含むことができる。これは、上記のように、連続している画像間の変化の量に従ってエンコーダによって挿入される。

他の方法としては、ＳＩまたはＣＭＩを「補助的エンハンスメント情報」ＰＳＵＰＰ（H.263の付録Ｌおよび図４参照）内に含めることができる。その補助的情報は、そのデコーダがそれを使用するための強化機能を提供することができない場合であっても、あるいはそれを正しく解釈することができない場合であっても、ビット・ストリーム内に存在することができる。その補助的情報を単純に捨てることは、その要求された機能を与えるための条件が、外部手段によってネゴシエートされていない限り、デコーダによって可能である。
PEIが「１」に設定されている場合、８ビットのデータ（PSUPP）および、次に更なる９個のビットが続くかどうかを示すための別のPEIビットから構成されている９個のビットが続く。

PSUPPデータは、４ビットの機能タイプ指示FTYPEと、その次に４ビットのパラメータ・データ・サイズ仕様DSIZEが続き、その後にファンクション・パラメータ・データのDSIZEのオクテットが続き、オプションとして別のFTYPEが続くように構成されている。このPSUPP符号語を使用して各種の状況を知らせることは周知である。たとえば、PSUPPはサイズ変更あり／なしで画像全体または部分的な画像の凍結または凍結−解放要求を示すため；外部使用のためにビデオ・ストリーム中の画像の特定の画像または画像のシーケンスにタグを付けるため；あるいは、ビデオ・コンポジットのための色彩キー情報を伝えるために使用される。
「補助的エンハンスメント」情報を使用して本発明を実施するために、さらに１つのFTYPEが「シーン識別子」または「CMI」として定義されている。例えば、FTYPE１５をこの目的で使用しても良い。

これが、図６(a)および(b)に示されている。図６(a)は、パラメータＳＩが画像ヘッダのＳＥＩ内に含まれている例を示している。そのFTYPEは、「シーン識別子」ＳＩとして定義されている。DSIZEはパラメータのサイズを規定し、次のオクテットはパラメータ・データ、すなわち、ＳＩの値である。この値から、受信側のデコーダは、破損した画像が前の画像と同じ「シーン」からのものであるかどうかを決定することができ、それに従って最も適切なタイプの隠蔽方法を選択することができる。図６(b)は、パラメータＣＭＩが画像ヘッダのＳＥＩ内に含まれている例を示している。そのFTYPEは、「隠蔽方法指示子」ＣＭＩとして定義されている。DSIZEは、そのパラメータのサイズを指定し、次のオクテットはそのパラメータのデータ、すなわち、ＣＭＩの値である。この値から、受信側のデコーダは、破損した画像に対して最も適切なタイプの隠蔽方法を決定することができる。

他の方法としては、その情報を非特許文献７の中で規定されているような、追加の「補助的エンハンスメント」情報の中に含めることができる。

この草案の提案において、FTYPE１４が「画像メッセージ」として定義されている。このFTYPEが設定されていると、画像メッセージ機能が、メッセージ・データを表している１つまたはそれ以上のオクテットの存在を示す。そのメッセージ・データの最初のオクテットは、図７に示されている構造のメッセージ・ヘッダ、すなわち、CONT、EBITおよびMTYPEである。DSIZEは、最初のオクテット・メッセージ・ヘッダを含む画像メッセージ機能に対応しているメッセージ・データ中のオクテットの数に等しい。

継続フィールドCONTは、１に等しい場合、その画像メッセージに関連付けられているメッセージ・データが、次の画像メッセージ機能に関連付けられているメッセージ・データと同じ論理メッセージの部分であることを示している。「終りのビット位置」フィールドEBITは、最後のメッセージ・オクテットの中で無視される下位ビットの数を規定する。これらのフィールドの詳細は、以上で述べた付録Ｗの草案中に記載されている。

MTYPEフィールドは、メッセージのタイプを示す。種々のタイプのメッセージが、付録Ｗの草案の中で提案されている。本発明によれば、１つのタイプ、たとえば、MTYPE９が「誤り隠蔽タイプ」として定義されている。シーン識別子またはＣＭＩの値は、メッセージ・ヘッダに続いているオクテットの中で定義されている。シーン識別子の値は、同じシーンのすべての画像において同じである。異なるシーンに属している画像は、シーン識別子の値が異なっている。デコーダは、ＳＩまたはＣＭＩを使用して、使用される誤り隠蔽のタイプを決定する。

そのメッセージは、また、現在の画像の特別に指定された四角形領域に対して、その領域の少なくとも一部分が正しく受信されていない場合に、使用されるべき誤り隠蔽のタイプを指示する。それぞれが重なっていない四角形領域に対する隠蔽タイプを指定している１つの画像に対する複数の誤り隠蔽タイプ・メッセージがあり得る。そのメッセージが画像のいくつかの領域をカバーしない場合、デコーダはそれらの領域に対して任意の誤り隠蔽を使用するので有利である。好適には、デコーダは、その画像タイプに対応している隠蔽タイプ、すなわち、INTERフレームに対して時間的予測隠蔽方法、INTRAフレームに対しては非時間的予測隠蔽方法を使用することが好ましい。

特定の例を以下に示す。各誤り隠蔽タイプ・メッセージに対して、DSIZEは６、CONTは０、EBITは０でなければならない。最初のデータ・バイトが１（0000 0001）に等しい場合、これは伝送誤りが空間的隠蔽アルゴリズムだけを使用して隠蔽されるべきであることをデコーダに対して示す。最初のデータ・バイトが２（0000 0010）に等しい場合、これはその伝送誤りが時間的予測を使用して隠蔽されるべきであることを、デコーダに対して指示する。次の４つのPSUPPオクテットは、誤りが隠蔽される画像内の指定された四角形の領域の左上隅の水平および垂直の位置を含み、その四角形領域の幅および高さを、それぞれ８ビットで、そして１６ピクセルの単位で（輝度画像の）表している。たとえば、４分の１共通中間フォーマット（QCIF）画像（１７６×１４４ピクセルの輝度画像を有している）が４つのパラメータ（0,0,11,9）によって指定される。

幅および高さが１６で割り切れない画像フォーマットの場合、１６で割り切れる次のより大きいサイズまで、その規定された領域を拡張することができる。たとえば、１６０×１２０ピクセルのサイズの画像全体が４つのパラメータ（0,0,10,8）によって規定される。好適には、その規定された領域は、同じ画像の他の規定された誤り隠蔽領域と境界が交差しないか、好適には、あるいはオーバラップしないことが好ましい。
誤り隠蔽指示子は、他のビデオ符号化プロトコルにも組み込むことができる。たとえば、MPEG‐４は任意のバイナリ・データを含むことができ、１つの画像に必ずしも関連付けられない、いわゆるユーザ・データを提示している。誤り隠蔽識別子をこれらのフィールドに追加することができる。

本発明は、上記ビデオ符号化プロトコルに限定されるものではない。これらは単に例示としてのものに過ぎない。本発明は、誤り隠蔽方法の選択が利用できる任意のビデオ符号化プロトコルに対して適用できる。その情報の上記のような追加によって、どのタイプの誤り隠蔽方法を使用するのが最善であるかを受信側のデコーダが決定することができる。

Claims

画像のシーケンスを符号化して符号化されたビデオ信号を作成する方法であって、
前記シーケンスの第１の画像又はその一部と前記シーケンスの第２の画像との間の類似性の測度を計算するステップと、
類似性の前記測度を類似性の所定の基準と比較するステップと、
前記第１の画像又はその一部の対応する復号化過程で使用されるべき誤り隠蔽アルゴリズムのタイプを指示する誤り隠蔽アルゴリズムタイプ指示子を発生させるステップと、を含み、
前記誤り隠蔽アルゴリズムタイプ指示子はある値を持ち、前記指示子の前記値は前記比較の結果に基づくことを特徴とする方法。
請求項１に記載の方法において、
時間的予測タイプ又は非時間的予測タイプの誤り隠蔽アルゴリズムのいずれかを示す前記誤り隠蔽アルゴリズムタイプ指示子の値を発生させるステップを含むことを特徴とする方法。
請求項２に記載の方法において、
類似性の前記測度が類似性の前記所定の基準を満たさない時には、非時間的予測誤り隠蔽アルゴリズムが、前記第１の画像又はその一部についての対応する復号化過程で使用されるべきであることを示す前記誤り隠蔽アルゴリズムタイプ指示子の値を発生させ、
類似性の前記測度が類似性の前記所定の基準を満たす時には、時間的予測誤り隠蔽アルゴリズムが、前記第１の画像又はその一部についての対応する復号化過程で使用されるべきであることを示す前記誤り隠蔽アルゴリズムタイプ指示子の値を発生させることを特徴とする方法。
請求項３に記載の方法において、
類似性の前記測度が類似性の前記所定の基準を満たさない時には、前記誤り隠蔽アルゴリズムタイプ指示子の以前の値を更新することにより前記誤り隠蔽アルゴリズムタイプ指示子の値を発生させ、
類似性の前記測度が類似性の前記所定の基準を満たす時には、前記誤り隠蔽アルゴリズムタイプ指示子の以前の値を変更しないでそのままにしておくことにより前記誤り隠蔽アルゴリズムタイプ指示子の値を発生させることを特徴とする方法。
請求項１又は２に記載の方法において、
前記発生させた誤り隠蔽アルゴリズムタイプ指示子を前記符号化されたビデオ信号の画像ヘッダ内に包含せしめるステップを含むことを特徴とする方法。
請求項１又は２に記載の方法において、
前記ビデオ信号をＨ．２６３ビデオ符号化規格に従って符号化するステップと、前記誤り隠蔽アルゴリズムタイプ指示子を前記Ｈ．２６３ビデオ符号化規格の「補助的エンハンスメント情報」内に包含せしめるステップと、を含むことを特徴とする方法。
請求項１又は２に記載の方法において、
前記誤り隠蔽アルゴリズムタイプ指示子の値としてシーン識別子の値を使用するステップを含み、前記シーン識別子は１つのシーンと関連付けられ、前記シーンは前記シーケンスの多数の連続した類似の画像を含み、前記シーン識別子は１つの特定のシーンの全ての画像に対して同一値を持ち、各異なるシーンに対して異なる値を持つことを特徴とする方法。
請求項１又は２に記載の方法において、
前記誤り隠蔽アルゴリズムタイプ指示子の値としてシーン識別子の値を使用するステップを含み、前記シーン識別子は１つのシーンと関連付けられ、前記シーンは前記シーケンスの多数の連続した類似の画像を含み、前記シーン識別子は２つの値の１つを持ち、隣接シーンからの画像に対して非同一のシーン識別子の値を持つことを特徴とする方法。
請求項１又は２に記載の方法において、
前記発生させた誤り隠蔽アルゴリズムタイプ指示子を画像セグメントヘッダ及び／又はマクロブロックヘッダ内に包含せしめるステップを含むことを特徴とする方法。
請求項１又は２に記載の方法において、
画像の特定の矩形領域に適用される誤り隠蔽アルゴリズムのタイプを示す前記誤り隠蔽アルゴリズムタイプ指示子を発生させるステップを含むことを特徴とする方法。
請求項１０に記載の方法において、
画像に対して複数の誤り隠蔽アルゴリズムタイプ指示子を発生させるステップを含み、各誤り隠蔽アルゴリズムタイプ指示子は前記画像の複数の重なり合っていない矩形領域に１つ１つ対応していることを特徴とする方法。
請求項１又は２に記載の方法において、
前記第１の画像に対する符号化モードの指示とは異なる前記誤り隠蔽アルゴリズムタイプ指示子を発生するステップを含むことを特徴とする方法。
画像のシーケンスを表している符号化されたビデオ信号を復号化する方法であって、
前記シーケンスの１つの画像又はその一部について受信した誤り隠蔽アルゴリズムタイプ指示子を調べるステップと、
前記誤り隠蔽アルゴリズムタイプ指示子の値を、指示されたタイプの誤り隠蔽アルゴリズムを選択するための基礎として使用するステップと、
選択された前記誤り隠蔽アルゴリズムを適用して前記画像又はその一部中にある誤りを隠蔽するステップと、を含み、
前記誤り隠蔽アルゴリズムタイプ指示子は、前記画像の符号化モードの指示とは異なり、前記復号化過程で使用されるべき誤り隠蔽アルゴリズムのタイプを示す値を持つことを特徴とする方法。
請求項１３に記載の方法において、
符号化されたビデオ信号において受信したビデオデータの完全性をチェックし、誤りを検出するステップと、
誤りの検出に応じて前記誤り隠蔽アルゴリズムタイプ指示子を調べるステップと、を含むことを特徴とする方法。
請求項１３に記載の方法において、
前記誤り隠蔽アルゴリズムタイプ指示子の値に基づいて時間的予測誤り隠蔽アルゴリズム又は非時間的予測誤り隠蔽アルゴリズムを選択するステップを含むことを特徴とする方法。
請求項１３乃至１５のいずれかに記載の方法において、
前記符号化されたビデオ信号の画像ヘッダを調べて前記誤り隠蔽アルゴリズムタイプ指示子の値を取得するステップを含むことを特徴とする方法。
請求項１３乃至１５のいずれかに記載の方法において、
前記符号化されたビデオ信号はＨ．２６３ビデオ符号化規格に従って符号化され、
前記方法は、前記Ｈ．２３６ビデオ符号化規格の「補助的エンハンスメント情報」を調べて前記誤り隠蔽アルゴリズムタイプ指示子の値を取得するステップを含むことを特徴とする方法。
請求項１３乃至１５のいずれかに記載の方法において、
前記誤り隠蔽アルゴリズムタイプ指示子の値としてシーン識別子の値を使用するステップを含み、
前記シーン識別子は１つのシーンと関連付けられ、前記シーンは前記シーケンスの多数の連続した類似の画像を含み、前記シーン識別子は１つのシーンの全ての画像に対して同一値を持ち、各異なるシーンに対して異なる値を持つことを特徴とする方法。
請求項１３乃至１５のいずれかに記載の方法において、
前記誤り隠蔽アルゴリズムタイプ指示子の値としてシーン識別子の値を使用するステップを含み、
前記シーン識別子は１つのシーンと関連付けられ、前記シーンは前記シーケンスの多数の連続した類似の画像を含み、前記シーン識別子は２つの値の１つを持ち、隣接シーンからの画像に対して非同一のシーン識別子の値を持つことを特徴とする方法。
請求項１３乃至１５のいずれかに記載の方法において、
画像セグメントヘッダ及び／又はマクロブロックヘッダを調べて前記誤り隠蔽アルゴリズムタイプ指示子の値を取得するステップを含むことを特徴とする方法。
請求項１３乃至１５のいずれかに記載の方法において、
誤り隠蔽アルゴリズムのタイプを選択し、特定の矩形領域に適用される誤り隠蔽アルゴリズムタイプ指示子の値に基づいて、画像の前記特定の矩形領域における誤りを隠蔽するステップを含むことを特徴とする方法。
請求項２１に記載の方法において、
複数の誤り隠蔽アルゴリズムタイプ指示子を受信するステップを含み、各誤り隠蔽アルゴリズムタイプ指示子は画像の複数の重なり合っていない矩形領域に１つ１つ対応し、前記重なり合っていない領域に各誤り隠蔽アルゴリズムを適用することを特徴とする方法。
請求項１８に記載の方法において、
画像のシーン識別子の値と時間的に隣接し正しく復号化された画像のシーン識別子の値とを比較するステップと、前記画像の前記シーン識別子の前記値が前記時間的に隣接し正しく復号化された画像の前記シーン識別子の前記値と同一であった時には、前記画像の復号化過程で時間的予測誤り隠蔽アルゴリズムを適用するステップと、を含むことを特徴とする方法。
請求項１８に記載の方法において、
画像のシーン識別子の値と時間的に隣接し正しく復号化された画像のシーン識別子の値とを比較するステップと、前記画像の前記シーン識別子の前記値が前記時間的に隣接し正しく復号化された画像の前記シーン識別子の前記値と異なっていた時には、前記画像の復号化過程で非時間的予測誤り隠蔽アルゴリズムを適用するステップと、を含むことを特徴とする方法。
請求項１９に記載の方法において、
画像のシーン識別子の値と時間的に隣接し正しく復号化された画像のシーン識別子の値とを比較するステップと、前記画像の前記シーン識別子の前記値が前記時間的に隣接し正しく復号化された画像の前記シーン識別子の前記値と同一であった時には、前記画像の復号化過程において時間的予測誤り隠蔽アルゴリズムを適用するステップと、を含むことを特徴とする方法。
請求項１９に記載の方法において、
画像のシーン識別子の値と時間的に隣接し正しく復号化された画像のシーン識別子の値とを比較するステップと、前記画像の前記シーン識別子の前記値が前記時間的に隣接し正しく復号化された画像の前記シーン識別子の前記値と異なっていた時には、前記画像の復号化過程において非時間的予測誤り隠蔽アルゴリズムを適用するステップと、を含むことを特徴とする方法。
画像のシーケンスを符号化して符号化されたビデオ信号を作成するための装置であって、前記装置は、
前記シーケンスの第１の画像又はその一部と前記シーケンスの第２の画像との間の類似性の測度を計算し、
類似性の前記測度を類似性の所定の基準と比較し、
前記第１の画像又はその一部の対応する復号化過程で使用されるべき誤り隠蔽アルゴリズムのタイプを指示する誤り隠蔽アルゴリズムタイプ指示子を発生させるよう構成されており、
前記誤り隠蔽アルゴリズムタイプ指示子はある値を持ち、前記指示子の前記値は前記比較の結果に基づくことを特徴とする装置。
請求項２７に記載の装置において、
前記装置は、時間的予測タイプ又は非時間的予測タイプの誤り隠蔽アルゴリズムのいずれかを示す前記誤り隠蔽アルゴリズムタイプ指示子の値を発生させるよう構成されていることを特徴とする装置。
請求項２８に記載の装置において、
類似性の前記測度が類似性の前記所定の基準を満たさない時には、前記装置は、非時間的予測誤り隠蔽アルゴリズムが、前記第１の画像又はその一部についての対応する復号化過程で使用されるべきであることを示す前記誤り隠蔽アルゴリズムタイプ指示子の値を発生させるよう構成され、
類似性の前記測度が類似性の前記所定の基準を満たす時には、前記装置は、時間的予測誤り隠蔽アルゴリズムが、前記第１の画像又はその一部についての対応する復号化過程で使用されるべきであることを示す前記誤り隠蔽アルゴリズムタイプ指示子の値を発生させるよう構成されていることを特徴とする装置。
請求項２９に記載の装置において、
類似性の前記測度が類似性の前記所定の基準を満たさない時には、前記装置は、前記誤り隠蔽アルゴリズムタイプ指示子の以前の値を更新することにより前記誤り隠蔽アルゴリズムタイプ指示子の値を発生させるよう構成され、
類似性の前記測度が類似性の前記所定の基準を満たす時には、前記装置は、前記誤り隠蔽アルゴリズムタイプ指示子の以前の値を変更しないでそのままにしておくことにより前記誤り隠蔽アルゴリズムタイプ指示子の値を発生させるよう構成されていることを特徴とする装置。
請求項２７又は２８に記載の装置において、
前記装置は、前記発生させた誤り隠蔽アルゴリズムタイプ指示子を前記符号化されたビデオ信号の画像ヘッダ内に包含せしめるよう構成されていることを特徴とする装置。
請求項２７又は２８に記載の装置において、
前記装置は、前記ビデオ信号をＨ．２６３ビデオ符号化規格に従って符号化し、前記誤り隠蔽アルゴリズムタイプ指示子を前記Ｈ．２６３ビデオ符号化規格の「補助的エンハンスメント情報」内に包含せしめるよう構成されていることを特徴とする装置。
請求項２７又は２８に記載の装置において、
前記装置は、前記誤り隠蔽アルゴリズムタイプ指示子の値としてシーン識別子の値を使用するよう構成され、前記シーン識別子は１つのシーンと関連付けられ、前記シーンは前記シーケンスの多数の連続した類似の画像を含み、前記シーン識別子は１つの特定のシーンの全ての画像に対して同一値を持ち、各異なるシーンに対して異なる値を持つことを特徴とする装置。
請求項２７又は２８に記載の装置において、
前記装置は、前記誤り隠蔽アルゴリズムタイプ指示子の値としてシーン識別子の値を使用するよう構成され、前記シーン識別子は１つのシーンと関連付けられ、前記シーンは前記シーケンスの多数の連続した類似の画像を含み、前記シーン識別子は２つの値の１つを持ち、隣接シーンからの画像に対して非同一のシーン識別子の値を持つことを特徴とする装置。
請求項２７又は２８に記載の装置において、
前記装置は、前記発生させた誤り隠蔽アルゴリズムタイプ指示子を画像セグメントヘッダ及び／又はマクロブロックヘッダ内に包含せしめるよう構成されていることを特徴とする装置。
請求項２７又は２８に記載の装置において、
前記装置は、画像の特定の矩形領域に適用される誤り隠蔽アルゴリズムのタイプを示す前記誤り隠蔽アルゴリズムタイプ指示子を発生させるよう構成されることを特徴とする装置。
請求項３６に記載の装置において、
前記装置は、画像に対して複数の誤り隠蔽アルゴリズムタイプ指示子を発生させるよう構成され、各誤り隠蔽アルゴリズムタイプ指示子は前記画像の複数の重なり合っていない矩形領域に１つ１つ対応していることを特徴とする装置。
請求項２７又は２８に記載の装置において、
前記装置は、前記第１の画像に対する符号化モードの指示とは異なる前記誤り隠蔽アルゴリズムタイプ指示子を発生させるよう構成されることを特徴とする装置。
画像のシーケンスを表している符号化されたビデオ信号を復号化するための装置であって、前記装置は、
前記シーケンスの１つの画像又はその一部について受信した誤り隠蔽アルゴリズムタイプ指示子を調べ、
前記誤り隠蔽アルゴリズムタイプ指示子の値を、指示されたタイプの誤り隠蔽アルゴリズムを選択するための基礎として使用し、
選択された前記誤り隠蔽アルゴリズムを適用して前記画像又はその一部中にある誤りを隠蔽するよう構成され、
前記誤り隠蔽アルゴリズムタイプ指示子は、前記画像の符号化モードの指示とは異なり、前記符号化過程で使用されるべき誤り隠蔽アルゴリズムのタイプを示す値を持つことを特徴とする装置。
請求項３９に記載の装置において、前記装置は、
符号化されたビデオ信号において受信したビデオデータの完全性をチェックし、誤りを検出し、
誤りの検出に応じて前記誤り隠蔽アルゴリズムタイプ指示子を調べるよう構成されていることを特徴とする装置。
請求項３９に記載の装置において、
前記装置は、前記誤り隠蔽アルゴリズムタイプ指示子の値に基づいて時間的予測誤り隠蔽アルゴリズム又は非時間的予測誤り隠蔽アルゴリズムを選択するよう構成されていることを特徴とする装置。
請求項３９乃至４１のいずれかに記載の装置において、
前記装置は、前記符号化されたビデオ信号の画像ヘッダを調べて前記誤り隠蔽アルゴリズムタイプ指示子の値を取得するように構成されていることを特徴とする装置。
請求項３９乃至４１のいずれかに記載の装置において、
前記符号化されたビデオ信号はＨ．２６３ビデオ符号化規格に従って符号化され、
前記装置は、前記Ｈ．２６３ビデオ符号化規格の「補助的エンハンスメント情報」を調べて前記誤り隠蔽アルゴリズムタイプ指示子の値を取得するように構成されていることを特徴とする装置。
請求項３９乃至４１のいずれかに記載の装置において、
前記装置は、前記誤り隠蔽アルゴリズムタイプ指示子の値としてシーン識別子の値を使用するように構成され、
前記シーン識別子は１つのシーンと関連付けられ、前記シーンは前記シーケンスの多数の連続した類似の画像を含み、前記シーン識別子は１つのシーンの全ての画像に対して同一値を持ち、各異なるシーンに対して異なる値を持つことを特徴とする装置。
請求項３９乃至４１のいずれかに記載の装置において、
前記装置は、前記誤り隠蔽アルゴリズムタイプ指示子の値としてシーン識別子の値を使用するように構成され、
前記シーン識別子は１つのシーンと関連付けられ、前記シーンは前記シーケンスの多数の連続した類似の画像を含み、前記シーン識別子は２つの値の１つを持ち、隣接シーンからの画像に対して非同一のシーン識別子の値を持つことを特徴とする装置。
請求項３９乃至４１のいずれかに記載の装置において、
前記装置は、画像セグメントヘッダ及び／又はマクロブロックヘッダを調べて前記誤り隠蔽アルゴリズムタイプ指示子の値を取得するように構成されていることを特徴とする装置。
請求項３９乃至４１のいずれかに記載の装置において、
前記装置は、誤り隠蔽アルゴリズムのタイプを選択し、特定の矩形領域に適用される誤り隠蔽アルゴリズムタイプ指示子の値に基づいて、画像の前記特定の矩形領域における誤りを隠蔽するように構成されていることを特徴とする装置。
請求項４７に記載の装置において、
前記装置は、複数の誤り隠蔽アルゴリズムタイプ指示子を受信するように構成され、各誤り隠蔽アルゴリズムタイプ指示子は画像の重なり合っていない矩形領域に１つ１つ対応し、前記重なり合っていない領域に各誤り隠蔽アルゴリズムを適用することを特徴とする装置。
請求項４４に記載の装置において、
前記装置は、画像のシーン識別子の値と時間的に隣接し正しく復号化された画像のシーン識別子の値とを比較し、前記画像の前記シーン識別子の前記値が前記時間的に隣接し正しく復号化された画像の前記シーン識別子の前記値と同一であった時には、前記画像の復号化過程で時間的予測誤り隠蔽アルゴリズムを適用するように構成されていることを特徴とする装置。
請求項４５に記載の装置において、
前記装置は、画像のシーン識別子の値と時間的に隣接し正しく復号化された画像のシーン識別子の値とを比較し、前記画像の前記シーン識別子の前記値が前記時間的に隣接し正しく復号化された画像の前記シーン識別子の前記値と異なっていた時には、前記画像の復号化過程で非時間的予測誤り隠蔽アルゴリズムを適用するように構成されていることを特徴とする装置。
請求項４５に記載の装置において、
前記装置は、画像のシーン識別子の値と時間的に隣接し正しく復号化された画像のシーン識別子の値とを比較し、前記画像の前記シーン識別子の前記値が前記時間的に隣接し正しく復号化された画像の前記シーン識別子の前記値と同一であった時には、前記画像の復号化過程において時間的予測誤り隠蔽アルゴリズムを適用するよう構成されることを特徴とする装置。
請求項４５に記載の装置において、
前記装置は、画像のシーン識別子の値と時間的に隣接し正しく復号化された画像のシーン識別子の値とを比較し、前記画像の前記シーン識別子の前記値が前記時間的に隣接し正しく復号化された画像の前記シーン識別子の前記値と異なっていた時には、前記画像の復号化過程で非時間的予測誤り隠蔽アルゴリズムを適用するように構成されていることを特徴とする装置。
画像のシーケンスを符号化して符号化されたビデオ信号を作成する装置であって、前記装置は、
前記シーケンスの第１の画像又はその一部と前記シーケンスの第２の画像との間の類似性の測度を計算する手段と、
類似性の前記測度を類似性の所定の基準と比較する手段と、
前記第１の画像又はその一部の対応する復号化過程で使用されるべき誤り隠蔽アルゴリズムのタイプを指示する誤り隠蔽アルゴリズムタイプ指示子を発生させる手段と、を備え、
前記誤り隠蔽アルゴリズムタイプ指示子はある値を持ち、前記指示子の前記値は前記比較の結果に基づくことを特徴とする装置。
画像のシーケンスを符号化して符号化されたビデオ信号を作成するための装置であって、前記装置は１つ以上の機能ユニットを備え、
前記機能ユニットは、
前記シーケンスの第１の画像又はその一部と前記シーケンスの第２の画像との間の類似性の測度を計算し、
類似性の前記測度を類似性の所定の基準と比較し、
前記第１の画像又はその一部の対応する復号化過程で使用されるべき誤り隠蔽アルゴリズムのタイプを指示する誤り隠蔽アルゴリズムタイプ指示子を発生させ、
前記誤り隠蔽アルゴリズムタイプ指示子はある値を持ち、前記指示子の前記値は前記比較の結果に基づくことを特徴とする装置。
画像のシーケンスを表している符号化されたビデオ信号を復号化するための装置であって、前記装置は、
前記シーケンスの１つの画像又はその一部について受信した誤り隠蔽アルゴリズムタイプ指示子を調べる手段と、
前記誤り隠蔽アルゴリズムタイプ指示子の前記受信した値を、指示されたタイプの誤り隠蔽アルゴリズムを選択するための基礎として使用する手段と、
選択された前記誤り隠蔽アルゴリズムを適用して前記画像又はその一部中にある誤りを隠蔽する手段と、を備え、
前記誤り隠蔽アルゴリズムタイプ指示子は、前記画像の符号化モードの指示とは異なり、前記符号化過程で使用されるべき誤り隠蔽アルゴリズムのタイプを示す値を持つことを特徴とする装置。
画像のシーケンスを表している符号化されたビデオ信号を復号化するための装置であって、前記装置は１つ以上の機能ユニットを備え、
前記機能ユニットは、
前記シーケンスの１つの画像又はその一部について受信した誤り隠蔽アルゴリズムタイプ指示子を調べ、
前記誤り隠蔽アルゴリズムタイプ指示子の値を、指示されたタイプの誤り隠蔽アルゴリズムを選択するための基礎として使用し、
選択された前記誤り隠蔽アルゴリズムを適用して前記画像又はその一部中にある誤りを隠蔽し、
前記誤り隠蔽アルゴリズムタイプ指示子は、前記画像の符号化モードの指示とは異なり、前記符号化過程で使用されるべき誤り隠蔽アルゴリズムのタイプを示す値を持つことを特徴とする装置。
請求項２７，２８，５３または５４に記載のビデオ符号化のための装置及び請求項３９，４０，４１，５５または５６に記載のビデオ復号化のための装置の少なくともいずれか１つを備えることを特徴とする携帯用無線通信装置。