JP2007526704A - 階層化時間解析による画像系列の符号化及び復号化の方法 - Google Patents

階層化時間解析による画像系列の符号化及び復号化の方法 Download PDF

Info

Publication number
JP2007526704A
JP2007526704A JP2007501324A JP2007501324A JP2007526704A JP 2007526704 A JP2007526704 A JP 2007526704A JP 2007501324 A JP2007501324 A JP 2007501324A JP 2007501324 A JP2007501324 A JP 2007501324A JP 2007526704 A JP2007526704 A JP 2007526704A
Authority
JP
Japan
Prior art keywords
picture
pictures
frequency
temporal
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007501324A
Other languages
English (en)
Inventor
フランソワ,エドゥアール
ボワッソン,ギヨーム
ヴィロン,ジェローム
ロベール,フィリップ
マルカン,グウェナエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2007526704A publication Critical patent/JP2007526704A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、階層化時間解析による、画像系列の符号化及び復号化の方法に関する。本発明によれば、動き補償時間フィルタリング(MCTF)が行われ、時間フィルタリングは、現行画像が、閾値を下回る、先行画像との相関レベルを有する場合に少なくとも1つの低(L)周波画像又は高(H)周波画像を得るためにイントラ・モード符号化によって置き換えられる。得られる低(L)周波ピクチャは、動き補償時間フィルタリングによって得られる画像にエネルギの点で適応させるために、後にスケール調節される。本発明は、解析の終わりに、低分解レベルの画像のイントラ符号化によって得られる画像を、画像がイントラ符号化から得られるという、高周波ピクチャに対する更なる条件で選択する工程と、少なくとも1つの、スケール調節する工程の逆の工程を伴う、選択される画像をキャリブレートする工程とを備えることを特徴とする。本発明は、時間予測を備えたビデオ圧縮に関するその適応例にも関する。

Description

本発明は、動き補償時間フィルタリングを利用した階層化時間解析によって符号化されたピクチャ系列のビデオの符号化及び復号化の方法に関する。
本願の範囲は、「スケーラブル」としても知られている空間スケーラビリティ図及び/又は時間スケーラビリティ図に基づいたビデオ圧縮の範囲である。これには、例えば、動き補償時間フィルタリングを備える2D+tウェーブレット符号化が関係する。
ハイブリッド符号化標準(MPEG-1、MPEG-2、MPEG-4、h264など)では、2D+tサブバンド符号化図(MC-EZBC(動き補償埋め込みゼロ・ブロック・コンテキスト)の略)など)の大半におけるように、符号化システムの第1のステップは、画像内の空間冗長度を利用する前に、連続した画像間の時間冗長度を利用することから成る。
図1は、従来技術によるビデオ符号器の図を示す。
ビデオ信号が時間解析回路1に送信される。動き推定回路2をこの第1の回路に接続して、符号器によって受信される2つの画像間の動きを推定する。動き情報は、例えば、動きベクトル・フィールドの形式で、回路1に送信され、符号化回路6に送信される。回路1の出力は、ピクチャの周波数係数をテクスチャから抽出する空間解析回路3に送信される。こうした係数は次いで、エントロピ符号化回路4によって量子化され、符号化される。符号化情報及び動き情報はパケット化回路すなわちパケット化装置5に送信され、このパケット化装置5はビデオ・データをビデオ・パケットの形式で送信してビデオ・データ・フローを構成する。
時間解析回路1は、ハイブリッド図の場合には動き補償時間予測を行い、又はサブバンド符号化図の場合には動き補償時間フィルタリングを行う。時間予測を備えた符号化アルゴリズムは、動き補償を処理して、後に符号化処理で用いられることになる予測ピクチャを生成することから成る。こうしたアルゴリズムは、同様な原理に基づいている。符号化する対象のピクチャは、参照ピクチャと呼ばれる、先行して符号化された1つ又は複数のピクチャから予測される。このことは、ビデオMPEG標準において、予測(P)ピクチャ、及び双方向又は双方向予測(B)ピクチャの場合にあてはまる。予測は、こうした参照ピクチャ、及び現行ピクチャに関連した動きベクトルからの動き補償処理を行うことから成る。次いで符号化されるのは、予測の残差、すなわち、現行ピクチャと時間予測ピクチャとの間の差である。動きは例えば、画素ブロック、及び、ブロック毎に行われる動き補償によって表される。
空間解析回路3は、ウェーブレット分解又は離散コサイン変換を実現する。回路4のエントロピ符号化は、VLC(可変長符号化の略称)タイプの符号化、又は算術符号化であり得る。
パケット化回路の機能は、エントロピ符号化回路及び動きフィールド符号化回路のそれぞれからのテクスチャ情報及び動き情報を、それらの空間周波数及び時間周波数によって、かつそれらのサイズ、例えばビットプレーン符号化手法におけるそれらの重みによって、一貫した部分集合に切り分けることである。よって、得られる2値フローは、分解能、フィールド周波数及び忠実度において無関係にスケーラブルである。
推定される動きフィールドは、ソースの分解能に相当する。フィルタリングによるものであっても予測によるものであっても、符号器の動き補償工程はよって、フル分解能ピクチャに対して実行される一方、復号器では、動きフィールドが再スケーリングされた、低分解能のピクチャに対して実行することが可能である。
MCTFの略称によっても知られている動き補償時間フィルタリングの主目的は、符号化に最小ビットを要する高周波ピクチャHを生成することである。別の制約は、接続されていない、すなわち、動きベクトルによって接続されていない画素の数をできる限り削減することである。これらの2つの局面は動きフィールドの品質に直接依存する。フィルタリングされた情報は、フィルタリングに用いられる動きが、好適な品質のものであるので、いやが上にも関連付けられている。
場合によっては、動きのこうした品質は満足のいくものでない(例えば、動きが複雑すぎる場合、大き過ぎる場合、又は、シーン・カットが存在する場合)。このことは、結果として、高周波ピクチャHにおける余剰エネルギ、低周波ピクチャLにおいて接続されていないかなりの数の画素、最後に、高符号化コスト、及び、視覚品質の復号化ピクチャ群内での劣悪な分布をもたらす。
適応的GOPを用いることによってこの課題を考慮に入れることが可能になる。GOPのサイズを、非接続画素の割合によって動的に適応させる。ピクチャにおいて接続されていない合計画素数が、分解レベルIで行われる動き推定中に例えば、60〜75%程度、所定の閾値よりも大きい場合、サブバンドへの時間分解を停止させる。当初のGOPのサイズは2つのGOPを得るよう修正され、第1のGOPのサイズは自動的に2Iになることを余儀なくされる。しかし、この解決策は可変サイズのGOPを用いることを必要とし、そうしたGOPの管理は複雑である。
別の解決策は、時間分解中にイントラ・モード符号化などの他の符号化モードを駆使することを備える。非接続画素が多数ある場合、イントラ符号化が行われる。しかし、ピクチャのダイナミクスを、MCTFフィルタリングによって得るピクチャのダイナミクスに適応させなければならず、このことは、更なる符号化コストにつながる。このことは、MCTFモードによって符号化されたピクチャのマイナス材料になり、よって、再構成ピクチャ系列の全体品質のマイナス材料になる。
本発明は前述の欠点の解決を目的とする。
本発明の目的の1つは、別々の時間分解レベルで低時間周波数ピクチャ及び高時間周波数ピクチャを供給するよう連続したピクチャ対の動き補償時間フィルタリングを行う、ピクチャ群の階層化時間解析を備える、ピクチャ系列を符号化する方法であり、この解析は、特定の時間分解レベルについて、かつ、低時間周波数ピクチャ対について、動きベクトルを供給するための、先行参照ピクチャAへの現行ピクチャBの動き推定工程、次いで、更に大きな分解レベルで低時間周波数ピクチャ(L)及び高時間周波数ピクチャ(H)を供給するための、これらのピクチャの動き補償時間フィルタリングを実現し、上記時間フィルタリングは、現行ピクチャが、閾値よりも低い、先行ピクチャに対する相関レベルを有する場合に少なくとも1つの低周波(L)ピクチャ又は高周波(H)ピクチャを得るようイントラ・モード符号化によって置き換えられ、得られる低周波(L)ピクチャはよって、上記動き補償時間フィルタリングによって得られるピクチャに上記エネルギ・レベルで適応させるようスケーリングされ、低周波ピクチャと、解析の最後に得られる最終高周波分解ピクチャとのうちで、
このピクチャ自体がイントラ符号化から得られるという、高周波ピクチャに対する更なる条件で、低分解レベルでのピクチャのイントラ符号化によって得られるピクチャを選択し、
スケーリング工程の少なくとも1つの逆工程を行うことによって選択されるピクチャをキャリブレートする。
行われる逆工程の数は、高周波選択ピクチャを伴う場合に、選択されるピクチャに達するよう、低周波ピクチャ(L)の連続したイントラ符号化処理の数に相当し、低周波選択ピクチャ(L)を伴う場合にこの数を1増加させる。
特定の実施形態によれば、方法は、低L周波画像又は高H周波画像の計算のための、現行ピクチャと先行ピクチャとの間の相関が閾値よりも低い場合の、現行ピクチャと後続ピクチャ対の後続ピクチャとの間の時間フィルタリングを備え、現行ピクチャと、この後続ピクチャとの間の相関が閾値よりも大きい場合に、他方のHピクチャ又はLピクチャはイントラ符号化によって得られ、選択工程の場合、このフィルタリング処理をイントラ符号化と一致させるが、時間フィルタリングと一致させない。
特定の実施形態によれば、方法は、ピクチャ番号をピクチャ群の各ピクチャに割り当て、番号毎にカウンタを帰することによって、分解中に、番号を付したこれらのピクチャを監視する。
低周波ピクチャ(L)がイントラ・モードで得られる都度、カウンタが増やされる。
高周波(H)ピクチャがイントラ・モードで得られる都度、又は後続ピクチャによる時間フィルタリング中に、カウンタは変わらない状態に留まる。
先行ピクチャによる動き補償時間フィルタリングによってピクチャが得られる都度、カウンタがリセットされる。
本発明は、上記方法によって符号化されたピクチャの系列の復号化手順にも関し、復号化するための選択ピクチャの逆キャリブレーション工程を行うことを特徴とし、ピクチャの選択及び逆工程の数は、復号化する対象のピクチャに関連した情報によって変わってくる。この情報は、例えば、符号化中にピクチャに割り当てられるカウンタの値である。
本発明は、動き補償時間フィルタリング及びイントラ符号化を用いた時間解析回路を備えた、上記方法の実施のための符号器にも関し、回路は、低周波ピクチャと、解析の最後に得られる最終高周波分解ピクチャとのうちで、低分解レベルでのピクチャのイントラ符号化によって、又は、現行ピクチャと、低分解レベルでの後続ピクチャとの間の時間フィルタリングによって得られるピクチャを、高周波ピクチャの場合、このピクチャ自体がイントラ符号化から得られ、選択ピクチャについて少なくとも1つのスケーリング工程を行うという更なる条件で選択する。
本発明は、時間合成回路を備える、請求項1記載の方法によって符号化されたピクチャ系列の復号化のための復号器にも関し、回路は、復号化対象のピクチャの逆キャリブレーションを行う手段を備え、ピクチャの選択及び逆キャリブレーション数は、復号化対象のピクチャに関連し、復号器によって受信される情報アイテムによって変わってくる。
イントラ・タイプのピクチャのこの逆スケーリング処理のおかげで、MCTFモードによって符号化されるピクチャは不利にされない。イントラ・モードで符号化されるか、又はMCTFモードによって符号化されるイントラ・ピクチャを備える全体GOP上のピクチャの品質の分布が改善される。復号器に送られる符号化モード情報によって、イントラ・ピクチャを再キャリブレートしてピクチャの合成を行うことが可能になる。
時間フィルタリングは条件的に動きの品質によって行われ、サブバンドへの時間分解は最後のレベルまで行うことができる。動きの品質に係わらず、GOP構造が維持される。GOPのサイズを一定に維持し、シーン・カットがGOPの中央で生じてもビットレート及び処理の管理を容易にすることが可能である。可変サイズのGOPが用いられる場合、ピクチャ品質が改善される。
具体的な他の特徴及び利点は、以下の記載においてより明確になるものであり、上記記載は、非限定例として備え、添付図面を参照する。
図2は、太線で示す16のピクチャをこの例では備えるGOPの4レベル分解を備えた、時間解析回路4によって行われる動き補償時間フィルタリング処理を要約で示す。
使用されるフィルタリング・モードは「リフティング」と呼ばれる。長い線形フィルタを用いた、ウェーブレット符号化の複素フィルタリングを用いる代わりに、本願の例では、フィルタリングは16のピクチャの群に対して行われることになり、このフィルタリング方法は、限定された長さのフィルタ(例えば、サンプルを2ずつフィルタリングしようとする場合、2個)を用いることによってフィルタを既知の方法で「因数分解する」ことから成り、このフィルタリングは分解レベル毎に更新される。よって、動きの方向におけるフィルタリングがピクチャ対に対して行われる場合を考えてみる。GOPの各対に対する低周波フィルタリング及び高周波フィルタリングはそれぞれ、第1の時間分解レベルで8個の低時間周波数画像(t-L)と、8個の高時間周波数画像(t-H)とを生成する。
低時間周波数画像は次いで、やはり同じ方法によって分解される。これらのピクチャの低域通過フィルタリングは4つの新たな低時間周波数ピクチャt-LLを供給し、同じこれらのピクチャの高域通過フィルタリングは4つの高時間周波数ピクチャt-LHを供給する。第3の分解レベルは、2つの低時間周波数ピクチャ(t-LLL)及び2つの高時間周波数ピクチャ(t−LLH)を供給する。第4のレベル及び最後のレベルは、低時間周波数ピクチャt-LLLL及び高時間周波数ピクチャt-LLLHを供給する。
この時間分解は、16ピクチャのGOP毎に1つのt-LLLLピクチャ、1つのt-LLLHピクチャ、2つのt−LLHピクチャ、4つのt-LHピクチャ及び8つのt-Hピクチャをよって生成する5バンドの時間分解である。t-Lピクチャ、t-LLピクチャ、t-LLLピクチャ及び当然、元のピクチャは、ダウンストリーム符号化の場合、無視されるが、それは、そうしたピクチャが、無相関化されたピクチャを各レベルで供給するよう、サブバンドへの分解の元にあるからである。この分解によって、GOP群の平均を表し、低エネルギ高時間周波数ピクチャのエネルギ及び4つのピクチャ・レベルが集中している、低時間周波数t-LLLLを備えた有用なピクチャを生成することによる、新たなエネルギ分布が可能になる。サブバンドへの空間分解のために空間解析回路に送られるのはこれらのピクチャである。
フィルタリングを行うために、動きフィールドが、フィルタリング対象の各ピクチャ対間で推定され、これはレベル毎に行われる。これは、動き推定器7の機能である。
実用的な方法で、AからBへの、又はBからAへの動きベクトル・フィールドのみが計算される。他方の動きベクトル・フィールドは、動きベクトルに割り当てられず、逆動きベクトル・フィールドにおけるホールに相当する第1の、非接続生成画素から導かれる。
フィルタリング処理を元のGOPの各ピクチャ対に対して行って、第1の時間分解能レベルを得る。上記処理を、低時間周波数帯の結果として生じるピクチャに対して数回繰り返して以下の時間分解能レベルを得る。16ピクチャのGOPの場合、当該処理は、L、 H、 LL、LH、 LLL、 LLH、 LLLL及びLLLHと呼ばれる8つの時間周波数帯を生成する。
前述のように、非接続画素の課題によって、時間フィルタリング中のより劣悪な無相関化と、よって、データの劣悪な圧縮とをもたらす。これは、動き推定処理が行われるGOPの分解レベル毎に行うことが可能である。
本発明の一実施例によれば、モード切り換え回路を実施して時間解析を制御し、回路は、動き推定の適切さによって制御される。多数の非接続画素が動き推定処理中に得られる場合を管理することが可能である。
図4は、前述の回路を備えた装置を示す。同じ参照符号を用いて図1と同様な回路を表し、この回路は再び説明しないものとする。
参照番号2を付した動き推定回路から来る動き情報は、参照番号7を付したモード切り換え回路に送られる。この回路を時間解析回路1に接続して、動き情報、及び使用するための符号化モードについての情報をそれに送る。
図4は、切り換え回路の処理のために実施されたアルゴリズムの単純化された流れ図を示す。
7の参照番号を付した工程において利用可能な、特定の時間分解レベルの、連続した2つのピクチャがA及びBである。動きは、例えば、ピクチャBからピクチャAへ推定され、ピクチャAがよって参照ピクチャである。8の参照番号を付した工程は、このピクチャBからピクチャAへの動きを推定する。後続工程9は、ピクチャの画素の数、すなわち、動きベクトルが割り当てられない画素の数に対する、参照ピクチャAにおける非接続画素の割合P1を計算する。参照番号10を付した後続工程は、この割合P1を、所定の値である閾値S1と比較する。この値は、例えば、20〜25%の程度の割合である。
非接続画素の数がこの値以下の場合、動きベクトル・フィールドは正しいものとみなされ、次の工程は工程11であり、工程11は標準的なフィルタリング処理を行う。
低周波ピクチャ及び高周波ピクチャがよって計算される。
Figure 2007526704
上記フィルタリングと同等のこのフィルタリングは、ピクチャHをまず計算することから成る。このピクチャはピクチャB及び動き補償ピクチャAの2点間の差から得られる。よって、特定の値(必要な場合補間され、Aにおける変位ベクトルによって指し示される)が画素Bより除去され、動きベクトルはピクチャBからピクチャAへの動き推定中に計算される)。
ピクチャLは次いで、ピクチャAを逆動き補償ピクチャHに加算することにより、もうピクチャBではなく、ピクチャHから導かれる。
Figure 2007526704
はピクチャ(H)の動き「逆補償」に相当する。よって、Aの画素に特定の値(必要な場合補間され、ピクチャHにおいて、BからAへの変位ベクトルの起点に位置し、A画素を指し示す)を加算する。
非接続画素の割合が閾値S1より大きい場合、動きベクトル・フィールドは適切でないものとみなされ、工程12が工程10に続く。
処理される時間レベルで、ピクチャCがピクチャBの後に存在する場合(検査は工程12で行われる)、このピクチャCは、考えられる新たな参照ピクチャになり、動きがピクチャBからピクチャCへ推定される(工程13)。
処理される現行レベルでピクチャB後にピクチャが存在しない場合、工程17が工程12に続く。この工程は、ピクチャB及びAを、ピクチャAに対する適切なスケール係数によってイントラ・モードに符号化される。
Figure 2007526704
工程13に後続する工程14は、BとCとの間で計算される動きベクトル・フィールドについてピクチャCにおける非接続画素の割合P2を計算する。
後続工程15は、この割合P2を、所定の値である閾値S2と比較する。この値は、例えば、20〜25%程度の割合である。
非接続画素の数がこの値以下の場合、動きベクトル・フィールドは正しいものとみなされ、次の工程は工程16であり、工程16は標準的なフィルタリング処理を、このピクチャによって行う。これは、後方予測モードである。低周波ピクチャ及び高周波ピクチャがよって計算される。
Figure 2007526704
ピクチャAの情報がよってピクチャLにおいて見出され、ピクチャHのエネルギは、単に、ピクチャBを選ぶか又はこれを先行非相関ピクチャからフィルタリングすることによるのではなく、フィルタリングのための将来においてこの参照を得ることによって削減される。低エネルギの高周波画像がよって得られる。
非接続画素の割合が閾値S2よりも低い場合、工程17が工程12に続く。この工程17はピクチャB及びAをイントラ・モードで、MCTFモードや先行後方予測モードにおけるようにピクチャAに適切なスケール係数によって符号化する。
Figure 2007526704
逆(ピクチャAを高周波ピクチャ(H=A)とし、ピクチャBを低周波ピクチャとすることから成る)も当然可能である。例えば、最小エネルギのピクチャをLの場合に選ぶことが可能である。
工程11、16及び17はよって、モード切り換え回路によって判定される符号化モードであり、情報は時間解析回路に送られる。
モードの選択はここでは完全なピクチャについて行われる。ピクチャのブロック毎又はマクロブロック毎にモードの選択を行うことも当然考えられる。
スケール係数と呼ばれる項
Figure 2007526704
(例えば、「実」ピクチャL(すなわち、MCTFフィルタリングによって得られる)に関する)は、MCリフト・フィルタリングによる。ピクチャAのイントラ・モード符号化にも帰されるこのスケール係数は、ピクチャのレベルで同じエネルギ値を得ることを可能にし、次の時間レベルの動き推定中のマッチングを容易にすることを目的とし、ピクチャはその場合、エネルギの点で均一である。
上記要素フィルタリング段は、特定の時間レベルのピクチャ対毎に実現され、これは、動きベクトル・フィールドの適切さにかかわらず、モードにかかわらず、GOPの時間ピラミッドの頂点までの時間レベル毎に実現される。これは、例えば、その時点まで隠れていた領域を明らかにする、カメラのすばやい動きに相当する偽シーン・カットによって影響されないことが考えられることを意味する。
処理の終わりに、特定の分解レベルにおいてイントラ・モードで符号化されており、後続時間分解レベルでMCTFモード又は後方予測モードの参照ピクチャ又は予測ピクチャとして用いられていないピクチャA及びBは、これらのモードにその画素が用いられている最後のレベルに一致するよう再スケーリングされる。
Figure 2007526704
FiはピクチャA及びBのフィルタリングから生じるピクチャL又はHであり、
Figure 2007526704
はこのFiを再スケーリングしたものである。
スケール係数に施す指数nはモードによって以下の式によって表される。
‐MCTFモード
Figure 2007526704
‐予測モード又はイントラ符号化モード
Figure 2007526704
nの値はよって、L又はHの計算にそれぞれ用いられる、先行分解レベルのピクチャA又はBに帰されるnの値によって、特定の分解レベルでの画像L又はHについて計算される。
よって、ピクチャA及びBをMTCFモードによって処理してピクチャL及びHをもたらす場合、そのレベルn(A)及びn(B)にかかわらず、これらのピクチャL及びHに帰されるレベルnをゼロに至らせる。
予測モード又はイントラ・モードを用いてピクチャL及びHをピクチャA及びB(レベルn(A)及びn(B)を割り当てられた)から供給する場合、ピクチャLのレベルは、n(A)のレベルを1増やしたレベルであり、ピクチャHのレベルはピクチャB(n(B))のレベルである。
図2を参照することによって、イントラ符号化が2つのピクチャt-LLLについて第3の分解レベルでまず行われ、次いで第4のレベル及び最後のレベルで行われることにつながるGOPの第4のピクチャ後のシーン・カットを考えた場合、n(L)の値はピクチャt-LLLLの場合、2に等しく、n(H)の値はピクチャt-LLLHの場合、1に等しい。よって、スケール係数によって2度ピクチャt-LLLLを除算することによって、このピクチャがMCTFモードに用いられる最後のレベルに相当するピクチャt-LLを見出す。
GOPの元のピクチャのそれぞれに番号を割り当てることが考えられる。番号は次に、分解されたピクチャに帰され、ピクチャAのフィルタリングはsの番号が付され、ピクチャBはtの番号が付され、sの番号が付された低周波ピクチャがもたらされ、LはAに相当し、高周波ピクチャはtの番号が付され、HはBに相当する。例えば、レベルt-LLLL、t-LLLH、t-LLHのピクチャについて得られる番号は、1、9、5及び13である。分解レベル毎に、低周波ピクチャLをもたらすためにこのピクチャがイントラ符号化又は予測符号化を経る場合に、先行レベルのピクチャiに割り当てられるレベルnの増加から成る。高周波画像Hをもたらすためにこのピクチャがイントラ符号化又は予測符号化を経る場合、カウンタは変わらない状態に留まる。このピクチャがMCTF符号化を経る場合、カウンタはリセットされる。GOPの元のピクチャの各々に帰される値nがリセットされる。計算が、最後のレベルまで各分解レベルで行われる。
実際に、分解ピクチャに帰された値nは、
MCTFフィルタリングによって得られる最後のピクチャの場合、値ゼロに相当し、
イントラ符号化によって得られる最終低周波ピクチャの場合、同じ番号のピクチャに対して実現されるイントラ符号化処理の数(1、増やされる)に相当し、
イントラ符号化によって得られる高周波ピクチャの場合、同じ番号のピクチャに対して実現される連続イントラ符号化処理の数(この高周波ピクチャをもたらす)に相当し、
後続ピクチャによる時間フィルタリングから得られる高周波ピクチャの場合、同じ番号のピクチャに対して実現される連続イントラ符号化処理の数(1、増やされる、この時間フィルタリングの目的であるピクチャをもたらす)に相当する。
この最後の再スケーリング工程は、変換されたピクチャ(「実の」時間サブバンドではない、すなわち、MCFフィルタリングによって得られたサブバンド・ピクチャ)のダイナミクスを、こうした画像の重みを削減することによってキャリブレートすることを目的とする。
キャリブレートされたサブバンド・ピクチャは、2つのピクチャA及びBの合成に利用されない(そのコストが削減される理由)ピクチャである。
ビットレート割り当てはパケット化装置5によって実現される。時間変換の直交性も、その正規化も、別々のピクチャ間でビットレート割り当てが最適であるように重要な点である。標準的なMCTFフィルタリング中に自然に実現されることは、後方予測モードやイントラ符号化モードなどの他のモードが実施される場合に問題になり得る。符号化工程中に、低周波画像が、時間レベルのダイナミクスに達するよう(すなわち、MCTFフィルタリングによって得られるピクチャと同様なエネルギのピクチャを得るよう)ピクチャAをスケール係数によって乗算することによってイントラ・モード又は予測モードで得られる場合、この重み付けは、ビット割り当てのレベルでもう必要でない。逆に、例えば、イントラ・モード又は予測モードで符号化されたピクチャに対して与える重みを少なくすることによって、MCTFフィルタリングによって得られる「実の」低周波ピクチャ(適切な参照ピクチャ)を優先するよう特別な留意を払わなければならない。実際に、上記でみられたような実の低周波ピクチャを、階層ピラミッドによる、2つのピクチャA及びBの低分解レベルでの再構成のために復号器で用いられ、BはAの関数である(イントラ・モード又は予測モードで符号化されたピクチャの場合、該当しない)。
本発明は、上記方法によって符号化されたデータを用いる復号器にも関する。図5はそうした復号器を表す。
本明細書及び特許請求の範囲記載の方法によって符号化されるピクチャに相当する2値フローは、復号器入力に送られる。これらは並列にエントロピ復号化回路18の入力、及び動き復号化回路19の入力に送られる。エントロピ復号化回路は、空間合成回路20及び時間合成回路21に順次接続される。後者は、動き情報を動き復号化回路から受ける。時間合成回路の出力は後フィルタリング回路22の入力に接続され、後フィルタリング回路の出力は復号器出力である。
ビットストリームはよって、エントロピ復号化回路18によって処理され、エントロピ復号化回路18は、エントロピ符号化回路の逆処理を行い、時空間ウェーブレット係数及びフィルタリング・モードを復号化する。
動き復号化回路19は動きに関する情報をフローから復元し、復号化して、時間合成に必要な動きフィールドを回路21に送る。
空間合成回路20は別々の時間サブバンドに相当するピクチャを再構成する。再構成されたサブバンド・ピクチャを次いで、適切なスケール係数によってスケーリングして時間合成を行う。このスケーリングは符号器に送られ、元のGOPの分解中に用いられるピクチャに関するモード情報によって行われ、それによって、nの値を別々のピクチャに割り当てることが可能になる。
Figure 2007526704
次に、時間合成回路21は、所要時間レベルまで変換されたピクチャをそのモードによって再構成する。
‐MCTFモード
Figure 2007526704
‐後方予測モード
Figure 2007526704
‐イントラ符号化モード
Figure 2007526704
動き補償に必要な動き情報は、動き復号化回路から来るものである。時間合成は、復号化対象のピクチャに割り当てられる符号化モード情報によって復号化処理を行う。
回路21の出力でのピクチャはよって、時間ウェーブレット係数から再構成される。最後の後処理工程は、後フィルタリング回路22によって、ピクチャに対してフィルタリングを行い、それによってブロック効果型アーチファクトの削減を可能にすることによって施される。
切り換えモードを判定するのに用いる割合P1及び/又はP2は、20〜25%程度で選ばれる。この割合は経験的に得られたものであり、当然、他の値を、切り換え手順の実施に用いることが可能である。
ピクチャ対の時間フィルタリングに用いる動きは、動き推定によって計算される動きベクトル・フィールドの簡略化又は刈り込みを行い、それによって動き符号化のコストを制限することを可能にすることによって得ることが可能である。
本発明の変形は、適応的なGOP構造を前述の方法と組み合わせることから成る。GOPのサイズはその場合、可変であり、例えば、系列内の動きなどのパラメータによって変わってくる。
本発明は、ハイブリッド・タイプの時間解析回路、並びにサブバンド符号化タイプにも適用される。
本発明の適用例は、時間予測を備えたビデオ圧縮に関する。
従来技術による符号化図である。 16ピクチャのGOPに対する動き補償時間フィルタリングを示す図である。 符号化回路を示す図である。 符号化を示す流れ図である。 復号化回路を示す図である。

Claims (12)

  1. 別々の時間分解レベルで低時間周波数ピクチャ及び高時間周波数ピクチャを供給するよう連続したピクチャ対(11)の動き補償時間フィルタリングを行う、ピクチャ群の階層化時間解析(1)を備える、ピクチャ系列を符号化する方法であって、前記解析は、特定の時間分解レベルについて、かつ、低時間周波数ピクチャ対について、動きベクトルを供給するための、先行参照ピクチャAへの現行ピクチャBの動き推定工程(8)、次いで、更に大きな分解レベルで低時間周波数ピクチャ(L)及び高時間周波数ピクチャ(H)を供給するための、前記ピクチャの動き補償時間フィルタリング(11)を実現し、前記時間フィルタリングは、前記現行ピクチャが、閾値(10、15)よりも低い、先行ピクチャとの相関レベルを有する場合に少なくとも1つの低周波(L)ピクチャ又は高周波(H)ピクチャを得るようイントラ・モード(16、17)符号化によって置き換えられ、得られる低周波(L)ピクチャはよって、前記動き補償時間フィルタリングによって得られるピクチャにエネルギ・レベルで適応させるようスケーリングされ、前記低周波ピクチャと、解析の最後に得られる最終高周波分解ピクチャとのうちで、
    低分解レベルでのピクチャのイントラ符号化によって得られるピクチャを、ピクチャ自体がイントラ符号化から得られるという、前記高周波ピクチャに対する更なる条件で選択し、
    少なくとも1つの、前記スケーリングする工程の逆工程を行うことによって、前記選択されるピクチャをキャリブレートすることを特徴とする方法。
  2. 請求項1記載の方法であって、行われる逆工程の数は、高周波選択ピクチャを伴う場合に、選択されるピクチャに達するよう、低周波ピクチャ(L)の連続したイントラ符号化処理の数に相当し、該数を、低周波選択ピクチャ(L)を伴う場合に1増加させることを特徴とする方法。
  3. 請求項2記載の方法であって、低L周波画像又は高H周波画像の計算のための、前記現行ピクチャと後続ピクチャ対の後続ピクチャ(16)との間の、前記現行ピクチャと先行ピクチャとの間の相関が閾値(10)よりも低い場合の時間フィルタリングを備え、前記現行ピクチャと、前記後続ピクチャとの間の相関が閾値(15)よりも大きい場合に、他方のHピクチャ又はLピクチャはイントラ符号化(16)によって得られ、選択工程の場合、前記フィルタリング処理を前記イントラ符号化と一致させるが、前記時間フィルタリングと一致させないことを特徴とする方法。
  4. 請求項3記載の方法であって、ピクチャ番号を前記ピクチャ群の各ピクチャに割り当て、番号を付した前記ピクチャを、番号毎にカウンタを帰することによって分解中に監視し、前記カウンタは各工程で更新され、
    低周波ピクチャ(L)がイントラ・モードで得られる都度、前記カウンタが増やされ、
    高周波ピクチャ(H)がイントラ・モードで得られる都度、又は後続ピクチャによる時間フィルタリング中に、前記カウンタは変わらない状態に留まり、
    先行ピクチャによる動き補償時間フィルタリングによってピクチャが得られる都度、前記カウンタがリセットされることを特徴とする方法。
  5. 請求項1記載の方法であって、連続した2つのピクチャA及びBの前記動き補償時間フィルタリング中に前記高周波ピクチャH及び低周波ピクチャLが
    Figure 2007526704
    の演算から得られ、
    MCは、ピクチャHのBからAへの動きベクトル・フィールドによる動き補償に相当することを特徴とする方法。
  6. 請求項5記載の方法であって、前記ピクチャL及びHはイントラ符号化から
    Figure 2007526704
    によって得られ、前記ピクチャH及びLは、
    Figure 2007526704
    によって、Hの場合は後続ピクチャによるフィルタリングにより、かつ、Lの場合はイントラ符号化により得られ、
    MCは、ピクチャCのBからCへの動きベクトル・フィールドによる動き補償に相当することを特徴とする方法。
  7. 請求項1記載の方法であって、時間解析(1)によって得られる、前記キャリブレートされたピクチャは次いで空間解析(3)によって処理されることを特徴とする方法。
  8. 請求項1記載の方法であって、前記相関レベルは、接続された、すなわち、動きベクトルによって接続された接続画素数を考慮に入れることによって計算されることを特徴とする方法。
  9. 請求項1記載の方法による、符号化画像系列の復号化方法であって、復号化対象の選択ピクチャの逆キャリブレーション工程(21)を実施し、前記ピクチャの前記選択及び逆工程数は、復号化対象の前記ピクチャに関連した情報の要素によって変わってくることを特徴とする復号化方法。
  10. 請求項4記載の方法による、符号化画像系列の復号化方法であって、復号化対象の選択ピクチャの逆キャリブレーション工程(21)を実施し、前記選択及び逆工程数は、前記符号化中に前記ピクチャに割り当てられたカウンタの値の関数であることを特徴とする方法。
  11. 前記動き補償時間フィルタリング及び前記イントラ符号化を用いた時間解析回路(1)を備えた、請求項3記載の方法の実施のための符号器であって、前記回路は、前記低周波ピクチャと、解析の最後に得られる最終高周波分解ピクチャとのうちで、低分解レベルでのピクチャのイントラ符号化によって、又は、ピクチャ対のピクチャと、前記低分解レベルでの後続ピクチャ対の後続ピクチャとの間の時間フィルタリングによって得られるピクチャを、前記高周波ピクチャの場合、ピクチャ自体がイントラ符号化から得られ、選択ピクチャについて前記スケーリング工程の少なくとも1つの逆工程を行うという更なる条件で選択することを特徴とする符号器。
  12. 時間合成回路(21)を備える、請求項1記載の方法による、画像系列の復号化のための復号器であって、前記回路は、復号化対象のピクチャの逆キャリブレーションを行う手段を備え、画像の選択及び逆キャリブレーション数は、復号化対象のピクチャに関連し、復号器によって受信される情報要素によって変わってくることを特徴とする復号器。
JP2007501324A 2004-03-02 2005-02-21 階層化時間解析による画像系列の符号化及び復号化の方法 Pending JP2007526704A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0450420A FR2867329A1 (fr) 2004-03-02 2004-03-02 Procede de codage d'une sequence d'images par analyse temporelle hierarchique.
PCT/FR2005/050109 WO2005086489A1 (fr) 2004-03-02 2005-02-21 Procede de codage et de decodage d'une sequence d'images par analyse temporelle hierarchique

Publications (1)

Publication Number Publication Date
JP2007526704A true JP2007526704A (ja) 2007-09-13

Family

ID=34855194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007501324A Pending JP2007526704A (ja) 2004-03-02 2005-02-21 階層化時間解析による画像系列の符号化及び復号化の方法

Country Status (6)

Country Link
US (1) US8175153B2 (ja)
EP (1) EP1721470B1 (ja)
JP (1) JP2007526704A (ja)
CN (1) CN1934867B (ja)
FR (1) FR2867329A1 (ja)
WO (1) WO2005086489A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005004479A1 (en) * 2003-07-08 2005-01-13 Koninklijke Philips Electronics N.V. Motion-compensated image signal interpolation
CN103404145B (zh) * 2011-03-09 2017-03-22 西门子公司 一种用于对数字化图像的序列进行编码的方法
WO2013049412A2 (en) 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Reduced complexity motion compensated temporal processing
WO2016138265A1 (en) * 2015-02-25 2016-09-01 Global Ionics LLC Ionic devices
US10068138B2 (en) 2015-09-17 2018-09-04 Canon Kabushiki Kaisha Devices, systems, and methods for generating a temporal-adaptive representation for video-event classification
US10319573B2 (en) 2017-01-26 2019-06-11 Protein Metrics Inc. Methods and apparatuses for determining the intact mass of large molecules from mass spectrographic data
US11626274B2 (en) 2017-08-01 2023-04-11 Protein Metrics, Llc Interactive analysis of mass spectrometry data including peak selection and dynamic labeling
US10510521B2 (en) 2017-09-29 2019-12-17 Protein Metrics Inc. Interactive analysis of mass spectrometry data
US11640901B2 (en) 2018-09-05 2023-05-02 Protein Metrics, Llc Methods and apparatuses for deconvolution of mass spectrometry data
US11346844B2 (en) 2019-04-26 2022-05-31 Protein Metrics Inc. Intact mass reconstruction from peptide level data and facilitated comparison with experimental intact observation
WO2022047368A1 (en) * 2020-08-31 2022-03-03 Protein Metrics Inc. Data compression for multidimensional time series data
US20240214565A1 (en) * 2021-04-01 2024-06-27 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
CN114302137B (zh) * 2021-12-23 2023-12-19 北京达佳互联信息技术有限公司 用于视频的时域滤波方法、装置、存储介质及电子设备
CN115002482B (zh) * 2022-04-27 2024-04-16 电子科技大学 使用结构性保持运动估计的端到端视频压缩方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202597A1 (en) * 2002-04-29 2003-10-30 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
US20040008785A1 (en) * 2002-07-15 2004-01-15 Koninklijke Philips Electronics N.V. L-frames with both filtered and unfilterd regions for motion comensated temporal filtering in wavelet based coding

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5235420A (en) * 1991-03-22 1993-08-10 Bell Communications Research, Inc. Multilayer universal video coder
US6873734B1 (en) * 1994-09-21 2005-03-29 Ricoh Company Ltd Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
WO2001006794A1 (en) * 1999-07-20 2001-01-25 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
US7321625B2 (en) * 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202597A1 (en) * 2002-04-29 2003-10-30 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
US20040008785A1 (en) * 2002-07-15 2004-01-15 Koninklijke Philips Electronics N.V. L-frames with both filtered and unfilterd regions for motion comensated temporal filtering in wavelet based coding

Also Published As

Publication number Publication date
EP1721470B1 (fr) 2015-01-14
FR2867329A1 (fr) 2005-09-09
CN1934867A (zh) 2007-03-21
EP1721470A1 (fr) 2006-11-15
US20080025394A1 (en) 2008-01-31
CN1934867B (zh) 2010-10-27
US8175153B2 (en) 2012-05-08
WO2005086489A1 (fr) 2005-09-15

Similar Documents

Publication Publication Date Title
JP2007526704A (ja) 階層化時間解析による画像系列の符号化及び復号化の方法
US8873622B2 (en) Apparatus and method for generating a coded video sequence by using an intermediate layer motion data prediction
JP4334533B2 (ja) 動画像符号化/復号化方法および装置
EP1843593A1 (en) Method for coding video data of a sequence of pictures
JP5300921B2 (ja) 符号化および復号のための方法および装置
US20070047644A1 (en) Method for enhancing performance of residual prediction and video encoder and decoder using the same
JP4986842B2 (ja) 空間的及び時間的スケーラビリティを以て符号化された画像シーケンスの符号化及び復号化の方法
JPWO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
KR20070039552A (ko) 그리드 움직임 추정 및 보상을 갖는 스캘러블 비디오 코딩
JP4794147B2 (ja) フレームシーケンスを符号化する方法、フレームシーケンスを復号する方法、その方法を実施する装置、その方法を実行するコンピュータプログラム、およびそのコンピュータプログラムを格納する記憶媒体
JP2005530423A (ja) 画像鮮鋭度を符号化中に最適化する方法及びシステム
KR101529903B1 (ko) 블록기반 깊이정보 맵의 코딩 방법과 장치, 및 이를 이용한 3차원 비디오 코딩 방법
MXPA05009483A (es) Metodo para codificar una imagen de video considerando la parte relativa a un componente de un vector de movimiento.
WO2007024106A1 (en) Method for enhancing performance of residual prediction and video encoder and decoder using the same
Wang et al. Lagrangian method based rate-distortion optimization revisited for dependent video coding
Cheung et al. Retinex based motion estimation for sequences with brightness variations and its application to H. 264
Fradj et al. Scalable video coding using motion-compensated temporal filtering
Khan et al. Wavelet-based video coding with early-predicted zerotrees
Chen et al. Quality-fluctuation-constrained rate allocation for MCTF-based video coding
Wien Hierarchical wavelet video coding using warping prediction
Maturana-Espinosa et al. Rate Allocation for Motion Compensated JPEG2000
JP2003116140A (ja) 動画像可逆符号化方法とその復号化方法、及びそれらの装置
KR101307469B1 (ko) 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법
Atta et al. Motion-compensated DCT temporal filters for efficient spatio-temporal scalable video coding
WO2006006796A1 (en) Temporal decomposition and inverse temporal decomposition methods for video encoding and decoding and video encoder and decoder

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101029

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110301