JP2010503296A - それぞれのグループがイントラ符号化ピクチャと2つを超える予測符号化ピクチャを含むビデオ系列のグループオブピクチャを符号化する方法及び装置 - Google Patents

それぞれのグループがイントラ符号化ピクチャと2つを超える予測符号化ピクチャを含むビデオ系列のグループオブピクチャを符号化する方法及び装置 Download PDF

Info

Publication number
JP2010503296A
JP2010503296A JP2009526993A JP2009526993A JP2010503296A JP 2010503296 A JP2010503296 A JP 2010503296A JP 2009526993 A JP2009526993 A JP 2009526993A JP 2009526993 A JP2009526993 A JP 2009526993A JP 2010503296 A JP2010503296 A JP 2010503296A
Authority
JP
Japan
Prior art keywords
pictures
picture
group
chain
backward
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009526993A
Other languages
English (en)
Other versions
JP5190059B2 (ja
Inventor
チェン,クチン
チェン,ジボ
グ,シャオドン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2010503296A publication Critical patent/JP2010503296A/ja
Application granted granted Critical
Publication of JP5190059B2 publication Critical patent/JP5190059B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公知のビデオ符号化標準において、基本的に3つのタイプのピクチャI,P及びBが存在する。ビデオ系列は、グループオブピクチャGOPiの構造で通常は符号化され、幾つかのP又はBピクチャは1つのIピクチャに従って符号化される。しかし、このGOP構造は、誤り耐性及び記憶媒体の記録に関して幾つかの課題を有する。たとえば伝送チャネルエラーのためにPピクチャが失われた場合、後続のPピクチャは正しく再構成することができず、エラーが時間につれて伝播し、望まれないアーチファクトを引き起こす。このGOP構造は、順方向の再生にのみ設計されており、逆方向の再生動作を複雑にする。本発明によれば、ビデオ符号化及び復号化についてリバーシブルのGOP構造が使用される。RGOP構造は、前方向の符号化チェイン及び後方向の符号化チェインの両者を含む。RGOP構造におけるそれぞれのピクチャは、これらのチェインのうちの1つに割り当てられ、隣接するRGOPチェインのビデオピクチャはインタリーブされる。

Description

本発明は、ビデオ系列のグループオブピクチャを符号化する方法及び装置に関し、前記グループのそれぞれは、前方向予測及び後方向予測を使用して、イントラ符号化ピクチャ及び2つを超える予測符号化ピクチャを含んでいる。
公知のMPEG/H.26xビデオ符号化規格(MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC/H.264,
H.263, VC-1)では、I(イントラフレーム符号化)ピクチャ、P(インターフレーム符号化)ピクチャ及びB(双方向予測)ピクチャといった基本的に3つのピクチャのタイプが存在する。Iピクチャは、エラーを起こしやすいビデオ転送における再同期ポイントとして使用することができるように、リファレンスとして他のピクチャを使用しない。また、Iピクチャは、ビデオ編集及び高速前方向/後方向再生におけるランダムアクセスポイントとして使用することもできる。Pピクチャは、予測による符号化効率を向上するように、1以上の前のピクチャをリファレンスとして使用することができる。Bピクチャは、予測のために前及び後のピクチャを使用し、符号化効率を更に改善する。ビデオ系列は、グループオブピクチャ(GOP)構造で通常は符号化され、幾つかのP(P1,P2,P3)及びBピクチャは、図1に示されているように1つのIピクチャに従って符号化される。しかし、このGOP構造は、以下の2つの種類の応用において特に問題を有する。
a)誤り耐性
たとえば伝送チャネルのエラーのよりピクチャP1が失われた場合、後続するPピクチャは、正しく再構成することができず、エラーは、時間的に伝播し、望まれないアーチファクトを引き起こす。誤り隠蔽はデコーダサイドで採用されるが、重要な情報が失われるので非常に良好にアーチファクトを除くことができない。
b)たとえばDVD又はVCRといった記憶媒体の記録
DVD(digital versatile disc)又はVCR(video cassette recorder)は、前方向、後方向、停止、一時停止、早送り、巻戻し及びランダムアクセスのような機能を通常は必要とする。しかし、公知のMPEGのGOP構造は、前方向の再生のみのために設計されており、逆方向の再生動作を複雑にする。簡単な巻き戻し再生は、後方向でIピクチャにのみアクセスすることで達成されるが、平滑なピクチャ毎の巻き戻し再生が望まれる場合、非常に多くの複雑さ、帯域幅、及び/又はストレージバッファが必要とされる。たとえば、現在のフレームにまでGOPはデコードされ、次いで、GOPの開始から表示すべき次のフレームにまでデコードされる。しかし、これは、スループットの高い帯域幅を必要とする。さもなければ、ビットストリームが一度のみデコードされることが期待される場合に、非常に大容量のストレージバッファが必要とされる。
幾つかの異なるGOP構造は、先の問題を解決するために提案される。誤り耐性について、ビデオ冗長度符号化方法は、H.263コーデックの用途について、S. Wenger, G. Knorr, J. Ott, F. Kossentiniによる“Error Resilience Support in .263+”, IEEE Transactions on Circuits and Systems for Video
Technology, Vol.8, No7, November 1998により開示されている。この方法は、それぞれのピクチャがチェインのうちの1つに割り当てられるようなやり方で、ビデオ系列を2以上のチェインに分割する。それぞれのチェインは、独立に符号化される。2つの予測チェインを使用したGOP構造は、図2に示される。パケットの損失のためにこれらのチェインのうちの1つがダメージを受けた場合、残りのチェインは、損なわれないままであり、復号化及び表示することができる。他のダメージを受けていないチェインにおける情報を使用することで、ダメージを受けたチェインの復号化を継続するか、又は誤り隠蔽を行うことができ、僅かな主観的な品質の低下となる。また、ダメージを受けたチェインの復号化を停止することも可能であり、これは、フレームレートの低下につながるだけであり、これは、他のエラーのアーチファクトよりも主観的な品質への影響が非常に少ない。両方の場合、結果的に得られる誤り耐性のパフォーマンスは、図1のGOP予測構造についてよりも非常に良好である。しかし、この構造は、逆再生の機能をサポートしない。
逆再生について、C.W.Lin, J.Zhou, J.Youn, M.T.Sunによる“MPEG Video Streaming with VCR Functionality”, IEEE Transactions on Circuits and Systems for Video
Technology, Vol.11, No.3, March 2001は、サーバで、すなわち符号化プロセスにおいて逆に符号化されたビットストリームを加えることを提案している。符号化を終了して、ビデオ系列の最後のピクチャに到達することに応じて、ビデオ画像は、逆に符号化されたビットストリームを生成するために逆の順序で符号化される。サーバが前方向に符号化されたビットストリームのみを有する場合(すなわちオリジナルの系列は利用不可能である)、前方のビットストリームは、逆方向で(すなわち最後のGOPから最初のGOPに)2つのGOPにまでデコードすることができ、次いで、ビデオ系列は、逆の順序で再符号化される。逆方向の符号化されたビットストリームの生成は、オフラインで実行される。しかし、それぞれのピクチャは、2度符号化され、したがって、ビットストリームサイズが殆ど2倍になる。
T. Fang, L.P. Chauによる“An error-resilient GOP structure for robust video
transmission”, IEEE Transactions on Multimedia, Vol.7,
No.6, December 2005は、誤り耐性及びVCRの逆再生の両者を考慮した新たなGOP構造を提案する。それぞれのGOPの真ん中にIピクチャを配置することで、予測されるPピクチャは、2つの部分に区分され、図3における対応するGOP構造(Bピクチャなし)で示されるように、それらの半分(Pn-1,...,Pm+i+1)は、後方予測符号化され、それらの半分(Pn+1,...,Pn+j)は、前方予測符号化される。下付き文字は、オリジナルのビデオ系列におけるピクチャの時間的な番号であり、下付き文字は、i>1,n−1>m+i+1,j>1及びk−1>n+j+1として単調に増加する。Bピクチャが含まれる場合、構造は、仮想的に影響されない。明らかに、1つのPピクチャが破壊された場合、多くともGOPの半分にのみ影響を及ぼし、ピクチャInの他のサイドで配置されるGOPの他の半分は影響されない。実際に、このGOP構造は、2つの予測チェインの別の形式であり、1つのチェインは前方であり、他方は後方である。
一方で、このGOP構造は、GOPにおけるPフレームの半分が既に逆に再生されているので、逆の再生を部分的に容易にする。他方で、このGOP構造は、誤り耐性及び逆の再生の両者において問題点を有する。Pm+1が失われた場合、Pm+1からPm+iが破壊され、エラーアーチファクトは、この時間期間において通知される。ピクチャチェインPn-1〜Pm+i+1は正しく受信されるが、Pm+1からPm+iへの時間期間のピクチャの復号化の支援を提供しない。したがって、このGOP構造は、図2に示されるGOP構造と同様に良好な誤り耐性のパフォーマンスを提供することができない。さらに、このGOP構造は、連続するPフレームの半分が前方符号化されるため、連続的な逆再生機能を提供することができない。詳細には、逆再生の処理順序は、Ik→Pk-1→・・・→Pn+j+1→In→Pn-1→・・・→Pm+i+1→Im・・・である。したがって、Pn+j〜Pn+1の間及びPm+i〜Pm+1の間にギャップが存在し、逆再生において大きなジッタを引き起こす。Pn+jからPn+1まで及びPm+iからPm+1までのピクチャが表示されることが現実に必要である場合、通常のマルチパス復号化又は大きなバッファリングが必要であり、これは標準的なGOP構造におけるのと同じ問題である。
S.Wenger, G. Knorr, J. Ott, F. Kossentini, "ErrorResilience Support in .263+", IEEE Transactionson Circuits and Systems for Video Technology, Vol.8, No7, November 1998 C.W.Lin,J.Zhou, J.Youn, M.T.Sun, "MPEG Video Streaming with VCR Functionality", IEEE Transactions on Circuits and Systems for VideoTechnology, Vol.11, No.3, March 2001 T. Fang,L.P. Chau, "An error-resilient GOP structure for robustvideo transmission", IEEE Transactions on Multimedia, Vol.7,No.6, December 2005
本発明により解決される課題は、ビデオ伝送の誤り耐性を向上し、緩やかな逆再生機能を容易にするGOP構造を提供することにある。
この課題は、請求項1及び3に開示される方法により解決され、これらの方法を利用した装置は、請求項2及び4により開示される。
本発明によれば、ビデオ符号化及び復号化についてリバーシブルGOP(RGOP)構造が使用される。RGOP構造は、前方向符号化チェイン及び後方向符号化チェインの両者を含む。RGOP構造におけるそれぞれのピクチャは、これらのチェインのうちの1つに割り当てられ、2つのチェインのうちのビデオピクチャがインタリーブされる。
このRGOP構造は、誤り耐性を向上する。これは、1つの予測チェインが破壊され、他の予測チェインが破壊されていない場合に、以下に説明されるように、ビデオ系列は、知覚できるアーチファクトなしにデコードされ、緩やかに表示することができるためである。このRGOP構造は、記録の用途について、容易且つ緩やかな逆再生機能をも提供する。
本発明の処理の更なるコストは、最も近いフレームを使用しない符号化における予測による符号化効率の小さな減少である。しかし、冗長なビットは、誤り耐性又は回復を向上するために価値がある。
原理において、本発明の符号化方法は、ビデオ系列のグループオブピクチャを符号化するために適しており、前記グループのそれぞれは、イントラ符号化ピクチャ及び2つを超える予測符号化ピクチャを含んでおり、前記予測符号化ピクチャの一方の部分は、前記イントラ符号化ピクチャから開始して後方向予測符号化され、前記予測符号化ピクチャの他方の部分は、前記イントラ符号化ピクチャから開始して前方向予測符号化され、これにより、ピクチャは、これら前方向及び後方向予測符号化ピクチャのチェインで省略され、これにより、前記ビデオ系列の2つ毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップするグループオブピクチャのうちの1つでインタリーブされるやり方で含まれる。
原理において、本発明の符号化装置は、ビデオ系列のグループオブピクチャを符号化するために適しており、前記グループのそれぞれは、イントラ符号化ピクチャ及び2つを超える予測符号化ピクチャを含む。当該装置は、前記イントラ符号化ピクチャから始めて、前記予測符号化されたピクチャの一部を後方向予測符号化し、前記イントラ符号化ピクチャから始めて前記予測符号化ピクチャの他の部分を前方向予測符号化する手段を含んでおり、これにより、ピクチャは、これら前方向及び後方向予測符号化ピクチャのチェインで省略され、これにより、前記ビデオ系列の2つ毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップするグループオブピクチャのうちの1つでインタリーブされるやり方で含まれる。
原理において、本発明の復号化方法は、ビデオ系列のグループオブピクチャを復号化するために適しており、前記グループのそれぞれは、イントラ符号化ピクチャ及び2つを超える予測符号化ピクチャを含んでおり、前記予測符号化ピクチャのうちの一部は、前記イントラ符号化ピクチャから開始して後方向予測符号化され、前記予測符号化ピクチャのうちの他の部分は、前記イントラ符号化ピクチャから開始して前方向予測符号化され、前記ピクチャの前記復号化は、対応する順序で実行され、これにより、ピクチャは、これら前方及び後方予測符号化ピクチャのチェインで省略され、これにより、前記ビデオ系列の2つ毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップするグループオブピクチャのうちの1つでインタリーブされるやり方で含まれる。前記復号化では、前記ビデオ系列のオリジナルのピクチャの順序で、復号化された出力信号について対応する復号化されたピクチャが組立てられる。
原理において、本発明の復号化装置は、ビデオ系列のグループオブピクチャを復号化するために適しており、前記グループのそれぞれは、イントラ符号化ピクチャ及び2つを超える予測符号化ピクチャを含んでおり、前記予測符号化ピクチャのうちの一部は、前記イントラ符号化ピクチャから開始して後方向予測符号化され、前記予測符号化ピクチャのうちの他の部分は、前記イントラ符号化ピクチャから開始して前方向予測符号化され、これにより、ピクチャは、これら前方向及び後方向予測符号化ピクチャのチェインで省略され、これにより、前記ビデオ系列の2つ毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップするグループオブピクチャのうちの1つでインタリーブされるやり方で含まれる。当該装置は、対応する順序で、前記グループオブピクチャのピクチャをデコードするために適合され、前記ビデオ系列のオリジナルのピクチャの順序で、復号化された出力信号について対応する復号化ピクチャをアセンブルする手段を含む。
本発明の有利な更なる実施の形態は、それぞれの従属の請求項で開示される。
本発明の例示的な実施の形態は、添付図面を参照して記載される。
典型的なMPEG GOP構造を示す図である。 2つの予測チェインをもつ公知のGOP構造を示す図である。 IピクチャがGOPの真ん中に配置される公知のGOP構造を示す図である。 本発明のRGOP構造を示す図である。 本発明のRGOP構造の別の例を示す図である。 非一様なインタリーブによる本発明のRGOP構造を示す図である。 Bピクチャが含まれる本発明のRGOP構造を示す図である。 本発明のエンコーダの例を示す図である。 本発明のデコーダの例を示す図である。
RGOP構造では、時間的に連続するピクチャのグループは、インタリーブされ、2つの予測チェインにリスケジューリングされる。すなわち、ピクチャの半分は、前のIピクチャから始まる予測により前方向予測され、ピクチャの残りは、後のIピクチャから始まる予測により後方向予測される。好ましくは、逆のピクチャのビットストリームは、新たなRGOPを形成するため、前方符号化ピクチャのビットストリームに従って送出される。
典型的なRGOP構造は、図4に示される。ピクチャIm,Pm+1,Pm+2,Pm+3,Pm+4,...,Pn-2,Pn-1,In,Pn+1,Pn+2,Pn+3,Pn+4,...,Pk-2,Pk-1,Ik,...,を含み、2つのGOPの長さを有するオリジナルのビデオ系列では、後方向でピクチャInから開始する逆方向の予測符号化のチェインについて、ピクチャPm+2,Pm+4,...,Pn-1が選択され、前方向でピクチャInから開始する順方向の予測符号化のチェインについて、ピクチャPn+1,Pn+3,...,Pk-2が選択される。これら2つのチェインは、互いに新たなRGOPiを構築する。対応して、ピクチャPm+1,Pm+3,...,Pn-2は、前のRGOPi-1における順方向の予測符号化のチェインを形成し、ピクチャPn+2,Pn+4,...,Pk-1は、後のRGOPi+1における逆方向の予測符号化のチェインを形成し、すなわち、それぞれのRGOPは、後方向予測符号化のチェインを含み、前方向予測符号化のチェインを含む。隣接するRGOP及びそれらのピクチャはインタリーブされ、すなわち、ビデオ系列のGOPの長さのセクション内で、1つおきのピクチャは、現在のRGOPiに属し、中間のピクチャは、対応する隣接するRGOPi-1又はRGOPi+1に属する。
それぞれのRGOPのビットストリームは、Iピクチャ、後方向予測符号化チェイン、前方向予測符号化チェインを含む。これは、{I,{後方向予測符号化チェイン},{前方向予測符号化チェイン}}として示すことができる。図4のケースでは、伝送順序は、{RGOPi-2},{Im,{...},{Pm+1,Pm+3,...,Pn-2}},{In,{Pn-1,...,Pm+4,Pm+2},{Pn+1,Pn+3,...,Pk-2}},{Ik,{Pk-1,...,Pn+4,Pn+2},{...}},{RGOPi+2}である。
誤り耐性又は回復について、ある予測チェインにおけるあるピクチャ(たとえばPm+1)が失われた場合、次のGOPにおける次のIピクチャ(たとえばIn)に戻り、次いで、後方向又は逆方向に復号化する。したがって、Pn-1,...,Pm+4,Pm+2は、正しく復号化することができる。これら正しく復号化されたピクチャを使用することで、ピクチャ{Pm+1,Pm+3,...,Pn-2}は、誤り隠蔽又は補間スキームにより良好に回復することができる。誤り隠蔽アルゴリズムが使用されないとしても、多くの悩ましいアーチファクトを生成することなしに、低いフレームレートの系列{Pm+2,Pm+4,...,Pn-1}が代わりに表示される。
しかし、このRGOP構造は、無線伝送において広く出現するバーストエラーを克服する良好なキャパシティを有する。時間的な方向で連続であるピクチャPm+1,Pm+2,Pm+3,Pm+4,...,Pn-2,Pn-1は、{Pm+1,Pm+3,...,Pn-2}の送信と{Pn-1,...,Pm+4,Pm+2}の送信との間に遅延が存在するように、異なるRGOPに割り当てられる。バーストエラーが1つの予測チェインで生じたとき、他のチェインは、通常はそのままであり、したがって、復号化されたビデオ系列の品質はほぼ維持することができる。
また、本発明のRGOP構造は、前方向予測チェインと後方向予測チェインを含むため、後方向の再生と同様に前方向の再生を容易に提供する。
図5は、図4に示されるのと同じ特徴を有する本発明のRGOP構造の第二の実施の形態を示す。ピクチャ{Pm+2,Pm+4,...,Pn-1}及び{Pn+2,Pn+4,...,Pk-1}は、前方向に予測符号化され、前方向の予測チェインが形成され、ピクチャ{Pn-2,...,Pm+3,Pm+1}及び{Pk-2,...,Pn+3,Pn+1}は、逆方向に予測符号化され、後方向の予測チェインが形成される。伝送順序は、{RGOPi-2},{Im,{...},{Pm+2,Pm+4,...,Pn-1}},{In,{Pn-2,...,Pm+3,Pm+1},{Pn+2,Pn+4,...,Pk-1}},{Ik,{Pk-2,...,Pn+3,Pn+1},{...}},{RGOPi+2}である。
図6は、本発明のRGOP構造を示し、インタリーブは非一様である。すなわち、前方向の予測チェインにおけるピクチャ数は、後方向の予測チェインにおけるピクチャ数よりも多い。ピクチャ{Pm+1,Pm+2,Pm+4,Pm+5,...,Pk-3,Pk-2}は、順方向で予測符号化され、前方向の予測チェインが形成され、ピクチャ{Pk-1,...,Pm+6,Pm+3}は、逆方向で予測符号化され、後方向の予測チェインが形成される。この構造は、逆方向の再生よりも順方向の再生の利益になる。順方向で符号化されたピクチャの逆方向で符号化されたピクチャに対する割合は、用途の要件に従って変えることができる。
多数のリファレンスフレームは、前方向の予測及び後方向の予測のチェインのそれぞれで採用することできる。しかし、前方向の予測チェインにおけるピクチャは、後方向の予測チェインのピクチャから予測することができず、逆に、後方向の予測チェインにおけるピクチャは、前方向の予測チェインのピクチャから予測することができない。
本発明のRGOP構造は、ビデオ系列がBピクチャを含む場合に一般化することができる。図7に例が示される。エラー耐性ビデオ符号化にとって、DVD及びVCRアプリケーションにとって有効である。ピクチャ{Pm+1,Pm+3,Pm+5,Pm+7,Pm+9,...,Pk-2}は、順方向で予測符号化され、前方向の予測チェインが形成され、ピクチャ{Pk-1,...,Pm+10,Bm+8,Pm+6,Bm+4,Pm+2}は、逆方向で予測符号化され、後方向の予測チェインが形成される。チェインは、対応するBピクチャで開始及び/又は終了することもできる。
図8におけるピクセルブロックエンコーダのビデオデータ入力信号IEは、符号化のためにマクロブロックデータを含む。図6又は図7に記載された方式に対応するやり方でピクチャは処理される。イントラフレームのビデオデータの場合、減算器SUBは、これらを通過させるのを可能にする。これらは変換手段T及び量子化手段Qで処理され、エントロピーエンコーダECODに供給され、このエンコーダは、エンコーダ出力信号OEを出力する。ECODは、たとえば、係数のハフマン符号化を実行し、ヘッダ情報と動きベクトルデータを加算する。インターフレームのビデオデータの場合、予測されたブロック又はマクロブロックデータPMDは、減算器SUBにおいて入力信号IEから減算され、差分データは、変換手段T及び量子化手段Qを介してエントロピーエンコーダECODに供給される。Qの出力信号は、逆量子化手段QE -1で処理され、その出力信号は、再構成されたブロック又はマクロブロックの差分データRMDDの形式で、逆変換手段TE -1を介して結合器ADDEに供給される。ADDEの出力信号は、動き予測及び補償手段FS_MC_Eにおけるフレームストアでバッファ記憶され、このFS_MC_Eは、図6又は図7で記載された方向で再構成されたブロック又はマクロブロックデータの動き補償を実行し、このように予測されたブロック又はマクロブロックデータPMDをSUBの減算入力及び結合器ADDEの他の入力に出力する。量子化手段Q及び逆量子化手段QE -1は、エンコーダバッファENCBの占有レベルにより制御することができる。ADDEの出力信号は、再構成されたフレームデータRECとしてエンコーダCODにより出力される。SUBの出力信号は、残余のフレームデータRESとしてエンコーダCODにより出力される。
図9では、符号化された画素データ入力信号IDは、エントロピーデコーダ手段EDEC、逆量子化手段QD -1及び逆変換手段TD -1を介して、残余のフレームデータRESとして結合器ADDDに供給され、このADDDは、再構成されたデータ出力信号ODを出力する。図6又は図7に記載される方式に対応するやり方でピクチャが処理される。EDECは、たとえば、係数のハフマン復号化を実行し、ヘッダ情報及び動きベクトルデータを復号化及び/又は評価することができる。QE -1,QD -1,TE -1,TD-1及びEDECは、Q,T及びECODの関数の対応する逆の機能を有する。ADDDの出力信号は、動き補償手段FS_MC_Dにおけるフレームストアにバッファ記憶される。FS_MC_Dは、図6又は図7に記載される方向で、再構成されたブロック又はマクロブロックデータについて動き補償を行なう。FS_MC_Dで予測されたブロック又はマクロブロックデータMDは、インターフレームの復号化されたブロック又はマクロブロックデータの場合に結合器ADDEの第二の入力に送出される。イントラフレームの復号化されたブロック又はマクロブロックデータの場合に、結合器ADDDは、TD -1から出力信号を単に通過させる。後方又は前方の予測チェインにおけるピクチャ(すなわち少なくとも1つのピクチャ)が正しく受信されていないことをエラー信号ESが示す場合、対応する予測チェインにおける残りのピクチャは復号化することはできないが、前記ビデオ系列(IE)の欠けている出力ピクチャを生成するため、隣接するグループオブピクチャからの対応するインタリーブされた復号化ピクチャを使用して誤り隠蔽又は補間されるか、又は、対応する予測チェインにおける残りのピクチャは復号化されないが、後続するイントラ符号化ピクチャにより復号化が継続し、現在のチェインの出力信号ODは、そのフレームレートで相応して適合することができる。図8及び図9における変換及び逆変換は、それぞれDCT又は逆DCTとすることができる。

Claims (10)

  1. ビデオ系列のグループオブピクチャを符号化する方法であって、前記グループのそれぞれは、イントラ符号化ピクチャ及び2つを超える予測符号化ピクチャを含み、
    前記予測符号化ピクチャのうちの一方の部分は、前記イントラ符号化ピクチャから開始して後方向で予測符号化され、前記予測符号化ピクチャのうちの他方の部分は、前記イントラ符号化ピクチャから開始して前方向で予測符号化され、
    これら前方向及び後方向で予測符号化されたピクチャのチェインにおいてピクチャが省略され、
    前記ビデオ系列の2つの毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップしているグループオブピクチャの1つでインタリーブされる方式で含まれる、
    ことを特徴とする方法。
  2. ビデオ系列のグループオブピクチャを符号化する装置であって、前記グループのそれぞれは、イントラ符号化ピクチャ及び2つを超える予測符号化ピクチャを含み、
    当該方法は、
    前記予測符号化ピクチャのうちの一方の部分を、前記イントラ符号化ピクチャから開始して後方向で予測符号化し、前記予測符号化ピクチャのうちの他方の部分を、前記イントラ符号化ピクチャから開始して前方向で予測符号化する手段を有し、
    これら前方向及び後方向予測符号化されたピクチャのチェインにおいてピクチャが省略され、
    前記ビデオ系列の2つの毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップしているグループオブピクチャの1つでインタリーブされる方式で含まれる、
    ことを特徴とする装置。
  3. ビデオ系列のグループオブピクチャを復号化する方法であって、前記グループのそれぞれは、イントラ符号化ピクチャ及び2つを超える予測符号化ピクチャを含み、
    前記予測符号化ピクチャのうちの一方の部分は、前記イントラ符号化ピクチャから開始して後方向で予測符号化されており、前記予測符号化ピクチャのうちの他方の部分は、前記イントラ符号化ピクチャから開始して前方向で予測符号化されており、前記ピクチャの復号化は、対応する順序で実行され、
    これら前方向及び後方向で予測符号化されたピクチャのチェインにおいてピクチャが省略されており、
    前記ビデオ系列の2つの毎の隣接するグループオブピクチャは、オーバラップするやり方で配置されており、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャが前記隣接するオーバラップしているグループオブピクチャの1つでインタリーブされる方式で含まれており、
    前記復号化において、前記ビデオ系列のオリジナルのピクチャの順序で、復号化された出力信号について復号化ピクチャが構成される、
    ことを特徴とする方法。
  4. ビデオ系列のグループオブピクチャを復号化する装置であって、前記グループのそれぞれは、イントラ符号化ピクチャ及び2つを超える予測符号化ピクチャを含み、
    前記予測符号化ピクチャのうちの一方の部分は、前記イントラ符号化ピクチャから開始して後方向で予測符号化されており、前記予測符号化ピクチャのうちの他方の部分は、前記イントラ符号化ピクチャから開始して前方向で予測符号化されており、
    これら前方向及び後方向で予測符号化されたピクチャのチェインにおいてピクチャが省略されており、
    前記ビデオ系列の2つの毎の隣接するグループオブピクチャは、オーバラップするやり方で配置されており、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップしているグループオブピクチャの1つでインタリーブされる方式で含まれており、
    当該装置は、
    対応する順序で前記グループオブピクチャのうちのピクチャを復号化し、前記ビデオ系列のオリジナルのピクチャの順序で、復号化された出力信号について復号化ピクチャを構成する手段を有する、
    ことを特徴とする方法。
  5. 前記インタリーブは非一様に行なわれる、
    請求項1又は3記載の方法、請求項2又は4記載の装置。
  6. 前記前方向及び後方向予測符号化ピクチャのチェインは、双方向予測符号化ピクチャを含む、
    請求項1又は3記載の方法、請求項2又は4記載の装置。
  7. 前記前方向又は後方向予測符号化ピクチャにおける少なくとも1つのピクチャが誤りを含んで受信された場合、対応する予測チェインにおける残りのピクチャは復号化されないが、後続のイントラ符号化ピクチャにより復号化が継続する、
    請求項3、5又は6記載の方法、請求項4乃至6の何れか記載の装置。
  8. 前記復号化された出力信号のフレームレートは、相応して適合される、
    請求項7記載の方法又は装置。
  9. 前記前方向又は後方向予測符号化ピクチャのチェインにおける少なくとも1つのピクチャが誤りを含んで受信された場合、対応する予測チェインにおける残りのピクチャは復号化されないが、隣接するグループオブピクチャからの対応するインタリーブされた復号化ピクチャを使用して誤り隠蔽されるか、又は補間される、
    請求項3、5又は6記載の方法、請求項4乃至6の何れか記載の装置。
  10. 請求項1、5及び6の何れか記載の方法に従って符号化されたデジタルビデオ信号を含む又は記憶するか、或いは該デジタルビデオ信号を記録した、たとえば光ディスクといった記憶媒体。
JP2009526993A 2006-09-07 2006-09-07 それぞれのグループがイントラ符号化ピクチャと2つを超える予測符号化ピクチャを含むビデオ系列のグループオブピクチャを符号化する方法及び装置 Active JP5190059B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2006/002308 WO2008031263A1 (en) 2006-09-07 2006-09-07 Method and apparatus for encoding groups of pictures of a video sequence, each of said groups including an intra encoded picture and more than two predicted encoded pictures

Publications (2)

Publication Number Publication Date
JP2010503296A true JP2010503296A (ja) 2010-01-28
JP5190059B2 JP5190059B2 (ja) 2013-04-24

Family

ID=39183346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009526993A Active JP5190059B2 (ja) 2006-09-07 2006-09-07 それぞれのグループがイントラ符号化ピクチャと2つを超える予測符号化ピクチャを含むビデオ系列のグループオブピクチャを符号化する方法及び装置

Country Status (6)

Country Link
US (1) US8335252B2 (ja)
EP (1) EP2060120A4 (ja)
JP (1) JP5190059B2 (ja)
KR (1) KR101345073B1 (ja)
CN (1) CN101601297B (ja)
WO (1) WO2008031263A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015170364A1 (ja) * 2014-05-08 2015-11-12 三菱電機株式会社 画像符号化装置、および画像復号装置
JPWO2017006538A1 (ja) * 2015-07-07 2017-07-06 パナソニックIpマネジメント株式会社 撮像装置および静止画像生成方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2291957B1 (en) 2008-06-16 2014-07-02 Telefonaktiebolaget L M Ericsson (publ) Media stream processing
CN102970616B (zh) * 2012-12-04 2015-04-29 华为技术有限公司 一种传输视频的方法及装置
CN109819317A (zh) * 2019-01-07 2019-05-28 北京奇艺世纪科技有限公司 一种视频处理方法、装置、终端和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198513A (ja) * 1997-09-18 1999-04-09 Toshiba Corp 動画像符号化/復号化装置
JP2002529978A (ja) * 1998-11-02 2002-09-10 ノキア モービル フォーンズ リミテッド 映像信号のエラー隠蔽
WO2004100523A2 (en) * 2003-05-05 2004-11-18 Thomson Licensing S.A. Reverse trick modes on progressive video using special groups of pictures
WO2005002192A2 (en) * 2003-05-05 2005-01-06 Thomson Licensing S.A. Forward trick modes on non-progressive video using special groups of pictures

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2671820B2 (ja) * 1994-09-28 1997-11-05 日本電気株式会社 両方向予測方法及び両方向予測装置
US5510844A (en) * 1994-11-18 1996-04-23 At&T Corp. Video bitstream regeneration using previously agreed to high priority segments
JP3022492B2 (ja) 1998-06-17 2000-03-21 松下電器産業株式会社 映像信号圧縮符号化装置
JP4018859B2 (ja) * 2000-01-19 2007-12-05 パイオニア株式会社 情報再生装置
GB2364459B (en) * 2000-06-30 2004-03-31 Nokia Mobile Phones Ltd Video error resilience
US6816552B2 (en) * 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
CN1288915C (zh) * 2002-01-23 2006-12-06 诺基亚有限公司 视频序列的编码和解码方法及相关的视频编码器和解码器
JP4010889B2 (ja) * 2002-07-01 2007-11-21 富士フイルム株式会社 記録ヘッドおよび画像記録方法ならびに画像記録装置
EP1383334B1 (en) * 2002-07-17 2012-02-01 Panasonic Corporation Video data transmitting apparatus, video data receiving apparatus, and broadcasting system
US7302105B2 (en) * 2002-07-22 2007-11-27 Canon Kabushiki Kaisha Moving image coding apparatus, moving image decoding apparatus, and methods therefor
US6873786B2 (en) * 2003-05-05 2005-03-29 Thomson Licensing S.A. Reverse trick modes on non-progressive video using special groups of pictures
EP1633128A1 (en) * 2004-09-02 2006-03-08 Deutsche Thomson-Brandt Gmbh Method and apparatus for decoding encoded groups of pictures of a video sequence and presenting said video sequence and said groups of pictures in temporally backward direction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198513A (ja) * 1997-09-18 1999-04-09 Toshiba Corp 動画像符号化/復号化装置
JP2002529978A (ja) * 1998-11-02 2002-09-10 ノキア モービル フォーンズ リミテッド 映像信号のエラー隠蔽
WO2004100523A2 (en) * 2003-05-05 2004-11-18 Thomson Licensing S.A. Reverse trick modes on progressive video using special groups of pictures
WO2005002192A2 (en) * 2003-05-05 2005-01-06 Thomson Licensing S.A. Forward trick modes on non-progressive video using special groups of pictures

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6012030892; Tao Fang, Lap-Pui Chau: 'An error-resilient GOP structure for robust video transmission' IEEE Transactions on Multimedia Vol.7, No.6, 200512, p. 1131-1138 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015170364A1 (ja) * 2014-05-08 2015-11-12 三菱電機株式会社 画像符号化装置、および画像復号装置
GB2540320A (en) * 2014-05-08 2017-01-11 Mitsubishi Electric Corp Image encoding apparatus and image decoding apparatus
JPWO2015170364A1 (ja) * 2014-05-08 2017-04-20 三菱電機株式会社 画像符号化装置、および画像復号装置
GB2540320B (en) * 2014-05-08 2018-11-07 Mitsubishi Electric Corp Image decoding apparatus
JPWO2017006538A1 (ja) * 2015-07-07 2017-07-06 パナソニックIpマネジメント株式会社 撮像装置および静止画像生成方法
US10038835B2 (en) 2015-07-07 2018-07-31 Panasonic Intellectual Property Management Co., Ltd. Image pickup device and still picture generating method

Also Published As

Publication number Publication date
US20110044386A1 (en) 2011-02-24
WO2008031263A1 (en) 2008-03-20
JP5190059B2 (ja) 2013-04-24
US8335252B2 (en) 2012-12-18
CN101601297B (zh) 2011-09-14
CN101601297A (zh) 2009-12-09
KR20090064375A (ko) 2009-06-18
EP2060120A4 (en) 2012-01-04
KR101345073B1 (ko) 2013-12-26
EP2060120A1 (en) 2009-05-20

Similar Documents

Publication Publication Date Title
KR100628494B1 (ko) 화상복호화방법 및 장치와 기록매체
JP3443880B2 (ja) ビデオ信号符号化方法及び復号化方法
JP3206530B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法及び動画像復号化方法
US6600835B1 (en) Moving-picture compressing technique
JP5190059B2 (ja) それぞれのグループがイントラ符号化ピクチャと2つを超える予測符号化ピクチャを含むビデオ系列のグループオブピクチャを符号化する方法及び装置
JP3245496B2 (ja) 画像符号化方法、画像符号化回路、画像符号化装置及び再生装置
US9591319B2 (en) Video encoder
JP3663661B2 (ja) 映像信号再生装置、映像信号復号化装置及び方法
JP3891198B2 (ja) 復号装置及び方法、並びに伝送装置及び方法
JP3663559B2 (ja) リアルタイム逆方向再生用動画像符号化方式
JP4291185B2 (ja) トランスコーディング方法、トランスコーダ及びプログラム
KR100459274B1 (ko) 영상 압축 및 복원방법과 그 장치
van Gassel et al. MPEG-2 compliant trick play over a digital interface
JP3465660B2 (ja) ビデオ信号復号化方法
KR100237307B1 (ko) 엠펙(mpeg) 비디오 신호 복호화기의 2배속 재생장치
JP4217504B2 (ja) 画像再生方式及び方法
KR0123083B1 (ko) 패킷 동영상 부호기 및 복호기에 있어서의 패킷 데이터 구조
JP4555186B2 (ja) ディジタル動画像復号装置およびディジタル動画像復号方法
Fan et al. Bidirectionally decodable Wyner-Ziv video coding
KR20030001625A (ko) 동영상 압축시 예측 프레임 생성 및 재생 방법
JP2003209801A (ja) 動画像符号化装置および動画像記録再生装置
JP2007151163A (ja) 画像復号化方法及び装置
JPH08205173A (ja) 符号化装置及び復号化装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111104

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5190059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees