JP2004363931A - 階層符号化ビットストリームの再符号化方法および装置 - Google Patents
階層符号化ビットストリームの再符号化方法および装置 Download PDFInfo
- Publication number
- JP2004363931A JP2004363931A JP2003159783A JP2003159783A JP2004363931A JP 2004363931 A JP2004363931 A JP 2004363931A JP 2003159783 A JP2003159783 A JP 2003159783A JP 2003159783 A JP2003159783 A JP 2003159783A JP 2004363931 A JP2004363931 A JP 2004363931A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- bit stream
- encoded
- information
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Systems (AREA)
Abstract
【課題】フレーム間予測符号化を用いた階層符号化ビットストリームを少ない演算量および少ないメモリ使用量で階層をもたないビットストリームに再符号化する。
【解決手段】複数の階層のそれぞれの符号化ビットストリームを符号化情報に復号し、復号した各階層の符号化情報から、映像信号に復号することなく、階層をもたない符号化ビットストリームを生成する。
【選択図】 図1
【解決手段】複数の階層のそれぞれの符号化ビットストリームを符号化情報に復号し、復号した各階層の符号化情報から、映像信号に復号することなく、階層をもたない符号化ビットストリームを生成する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は階層映像符号化ビットストリームの再符号化に関する。
【0002】
【従来の技術】
IPネットワークでの映像配信システムにおいて、階層符号化方式が注目されている。階層符号化方式では、映像信号をいくつかの階層にわけて符号化する。階層符号化方式を用いれば、伝送する階層数を制御することで、ユーザ環境やネットワーク帯域に応じて伝送速度を切り替えることができる。
【0003】
この階層符号化方式の中で、画品質が変化する階層符号化方式がある。この方式では、伝送速度が増すにつれて、受信映像の画質が向上する。標準符号化方式では、MPEG−2のSNR(Signal to Noise Ratio)スケーラビリティやMPEG−4のFGS(Fine Granularity Scalability)がこれにあたる(非特許文献1、2参照)。
【0004】
図3は階層符号化方式を用いた従来例の映像符号化伝送装置を示すブロック構成図であり、4階層の符号化の例を示す。この例では、下位階層の量子化誤差en(t)を量子化および符号化し、付加階層の符号としている。復号する場合、第n階層の予測残差情報dn’(t)は、基本階層の予測残差情報d0’(t)に加えて、下位階層の量子化誤差ei’(t)(i=0〜n−1)を加算することで算出でき、
dn’(t) = d0’(t) + Σei’(t) ...(1)
ただしΣはi=0〜n−1の総和
と表される。これに図3を参照して詳しく説明する。
【0005】
図3に示す構成において、符号化側301には減算器302−1〜302−4、離散コサイン変換(DCT:Discrete Cosine Transform)部303、量子化部304−1〜304−4、符号化器305−1〜305−4、逆量子化部306−1〜306−3、逆離散コサイン変換(IDCT)部307、加算器308、フレームメモリ309、動き検出部310および動き補償部311を備え、復号側312には、復号器313−1〜313−4、逆量子化部314−1〜314−4、加算器315−2〜315−4、IDCT部316−1〜316−4、加算器317−1〜317−4、フレームメモリ318および動き補償部319を備える。
【0006】
入力映像信号は、減算器302−1により動き補償予測情報p0(t−1)が減算された後、離散コサイン変換器303および量子化部304−1によりそれぞれ離散コサイン変換および量子化の処理が施され、符号化器305−1により動き検出部310の出力する動きベクトル情報とともに符号化され、基本階層の符号として出力される。
【0007】
また、量子化部304−1の出力を逆量子化部306−1により逆量子化し、それを減算器302−2によりDCT部303の出力d0(t)から減算することで、基本階層の量子化誤差e0(t)が得られる。この量子化誤差e0(t)を量子化部304−2および符号化器305−2により量子化および符号化することで、第一の付加階層の符号が得られる。
【0008】
さらに、量子化部304−2の出力を逆量子化部306−2により逆量子化し、それを減算器302−3により基本階層の量子化誤差e0(t)から減算することで、第一の付加階層の量子化誤差e1(t)が得られる。この量子化誤差e1(t)を量子化部304−3および符号化器305−3により量子化および符号化することで、第二の付加階層の符号が得られる。
【0009】
同様に、量子化部304−3の出力を逆量子化部306−3により逆量子化し、それを減算器302−4により量子化誤差e1(t)から減算することで、第二の付加階層の量子化誤差e2(t)が得られ、これを量子化部304−4および符号化器305−4により量子化および符号化することで、第三の付加階層の符号が得られる。
【0010】
一方、フレーム間予測符号化のため、逆量子化部306−1の出力をIDCT部307により逆離散コサイン変換し、加算器308により動き補償予測情報p0(t−1)を加算してフレームメモリ309に蓄える。このフレームメモリ309に蓄えられた映像信号と新たな入力映像信号とを動き検出部310で比較して映像信号内の動きを検出し、得られた動きベクトル情報を符号化器305−1に出力するとともに、動き補償部311に出力する。動き補償部311は、フレームメモリ309に蓄えられた映像信号と動き検出部310からの動きベクトル情報とに基づいて、動き補償予測情報p0(t−1)を出力する。
【0011】
復号側312では、各階層の符号を復号器313−1〜313−4によりそれぞれ復号し、逆量子化部314−1〜314−4により逆量子化して、基本階層の予測残差情報d0’(t)および各付加階層の量子化誤差en’(t)を得る。
【0012】
基本階層の予測残差情報d0’(t)をIDCT部316−1により逆離散コサイン変換し、加算器317−1により動き補償予測情報p0(t−1)を加算することで、基本階層の復号出力p0(t)が得られる。
【0013】
この復号出力p0(t)はまたフレームメモリ318に蓄えられ、動き補償部319は、このフレームメモリ318に蓄えられた映像信号と復号器313−1により復号された動きベクトル情報とから、動き補償予測情報p0(t−1)を出力する。
【0014】
下位の付加階層については、逆量子化部314−(n+1)(n=1、2または3)の出力する量子化誤差en−1’(t)に一段上位の階層の予測残差情報dn−1’(t)を加算し、得られた予測残差情報dn’(t)をIDCT部316−(n+1)により逆離散コサイン変換し、加算器317−(n+1)により動き補償予測情報p0(t−1)を加算することで、第nの付加階層の復号出力pn(t)が得られる。
【0015】
通常、符号化側で生成された階層符号化ビットストリームは、そのまま、受信クライアントまで伝送される。しかし、伝送速度を制御する必要がある中継系では階層に分かれている必要性があるが、LANなどの十分な帯域が確保できるネットワークでは無意味である。逆に、復号する階層が多い分、通常の符号化ビットストリームよりも、受信クライアントでの復号に必要な演算量が大きくなる。加えて、階層符号化ビットストリームに対応した符号機能を有する受信クライアイントが必要となる。また、もともとひとつの情報を複数に分割しているため、分割損により符号化効率も低下している。
【0016】
これらの問題点を解決する手段として、受信した階層符号化されたビットストリームを再符号化して、1つの符号化ビットストリームを生成することが考えられる(非特許文献3、4参照)。
【0017】
図4は従来例の再符号化装置を示すブロック構成図である。この従来例は、一旦、階層符号化ビットストリームを画像符号まで復号し、再度、非階層符号化方式で符号化を行うものである。付加階層数は単純化のため1とした。
【0018】
復号部401には復号器402−1、402−2、逆量子化部403−1,403−2、加算器404、IDCT部405−1、405−2、加算器406−1、406−2、フレームメモリ407および動き補償部408を備え、再符号化部409には減算器410、DCT部411、量子化部412、符号化器413、逆量子化部414、IDCT部415、加算器416、フレームメモリ417および動き補償部418を備える。
【0019】
復号部401の動作は下位階層数が異なるだけで図3の復号側312と同等であり、ここでは説明を省略する。この復号部401で復号された再生映像信号および動きベクトル情報が再符号化部409に入力される。再符号化部409では、再生映像信号に対し、減算器410により動き補償予測情報を減算され、DCT部411により離散コサイン変換を施し、量子化部412により量子化し、逆量子化部414により量子化部412の出力を逆量子化し、IDCT部415により逆離散コサイン変換し、加算器416により動き補償予測情報を加算し、フレームメモリ417に蓄え、動き補償部418により動きベクトル情報から動き補償予測情報を生成し、符号化器413により量子化部412の出力を符号化する。これにより、階層化されていないひとつの符号化ビットストリームが得られる。
【0020】
特に基本階層でフレーム間符号化を行っている場合には、一度映像信号まで復号してから再符号化を行わなければ、ドリフト現象(参照フレームの不一致により再生画像が乱れる現象)が発生する。一般的な再符号化方法では、再符号化時の演算量を削減するため、入力ビットストリームの動きベクトルなどの符号化情報を再利用する方法も提案されている。図4の例でも、基本階層の動きベクトルを再利用している。これらの技術は、一般的な再符号化方法から容易に類推できる。
【0021】
【非特許文献1】
ISO/IEC IS 13818−2, ITU−T Recommendation H.262, ”Generic coding of moving pictures and associated audio information”, Nov. 1994
【非特許文献2】
ISO/IEC IS 14496−2, ”Information technology − coding of audio/visual objects”, Jul. 2001
【非特許文献3】
H. Sun, W. Kwok, and W. Zdepski, ”Architectures for MPEG Compressed Bitstream Scaling”, IEEE Trans. Circuits Syst. video Technol., vol 6, pp.191−199, Apr. 1996
【非特許文献4】
角野、栄藤、横矢、「MPEG再符号化における再量子化パラメータの選択最適化」、信学論(D−II)、Vol.J84−D−II, No.7, pp.1389−1397, Jul. 2001
【0022】
【発明が解決しようとする課題】
上述したように、フレーム間予測符号化を用いた階層符号化ビットストリームを再符号化する場合、従来は、ドリフトを回避するために、映像信号まで復号した後に再符号化を行う必要があった。しかし、映像信号まで復号すると、再符号化時の演算量が増加する。さらに、復号部と再符号化部でそれぞれ映像信号を蓄積するためのメモリが必要となり、メモリ使用量が増加する。また、処理が複雑になることから、ハードウェアやソフトウェアで実現した場合の装置規模が大きくなる。
【0023】
本発明は、このような課題を解決し、フレーム間予測符号化を用いた階層符号化ビットストリームを少ない演算量および少ないメモリ使用量で再符号化することのできる階層符号化ビットストリームの再符号化技術を提供することを目的とする。
【0024】
【課題を解決するための手段】
本発明の第一の観点によると、映像信号が再生映像品質の異なる複数の階層に分割されて符号化された階層符号化ビットストリームを階層をもたないひとつの符号化ビットストリームに再符号化する再符号化方法において、前記複数の階層のそれぞれの符号化ビットストリームを符号化情報に復号し、復号した各階層の符号化情報から、映像信号に復号することなく、階層をもたない符号化ビットストリームを生成することを特徴とする階層符号化ビットストリームの再符号化方法が提供される(請求項1)。
【0025】
前記階層符号化ビットストリームがフレーム間予測符号化されたものである場合には、前記各階層の符号化情報から再符号化対象フレームのフレーム間予測残差情報を算出し、前記再符号化対象フレームの再符号化は、既再符号化フレームのフレーム間予測残差情報を予測信号として、前記再符号化対象フレームのフレーム間予測残差情報を符号化することにより行なうことが望ましい(請求項2)。
【0026】
本発明の第二の観点によると、映像信号が再生映像品質の異なる複数の階層に分割されて符号化された階層符号化ビットストリームを階層をもたないひとつの符号化ビットストリームに再符号化する再符号化装置において、前記複数の階層のそれぞれの符号化ビットストリームを符号化情報に復号する復号手段と、この復号手段の復号した各階層の符号化情報から、映像信号に復号することなく、階層をもたない符号化ビットストリームを生成する手段とを備えたことを特徴とする階層符号化ビットストリームの再符号化装置が提供される(請求項3)。
【0027】
前記階層符号化ビットストリームはフレーム間予測符号化されたものである場合には、前記生成する手段に、前記各階層の符号化情報から再符号化対象フレームのフレーム間予測残差情報を算出する手段と、既再符号化フレームのフレーム間予測残差情報を予測信号として、前記算出する手段により算出されたフレーム間予測残差情報を符号化することで、前記再符号化対象フレームを再符号化する手段とを備えることが望ましい(請求項4)。
【0028】
本発明は、信号処理プロセッサを前記第二の観点の再符号化装置の各手段として機能させるためのプログラムとして実施することができ(請求項5)、また、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体として実施することもできる(請求項6)。
【0029】
フレーム間予測符号化の予測残差情報を利用することで、再符号化時の演算量やメモリ使用量を削減する。また、その構成要素を簡素化できることから、ハードウェアやソフトウェアで実現した場合の装置規模を小さくできる。
【0030】
従来技術では、一旦映像信号に復号したものを再符号化していたが、本発明では、フレーム間予測符号化の予測残差情報を再符号化の対象とする。
【0031】
【発明の実施の形態】
図1は本発明実施例の再符号化装置を示すブロック構成図である。この装置は、映像信号が再生映像品質の異なる複数の階層に分割されて符号化された階層符号化ビットストリームを階層をもたないひとつの符号化ビットストリームに再符号化する再符号化装置であり、複数の階層のそれぞれの符号化ビットストリームを符号化情報に復号する復号部11と、この復号部11の復号した各階層の符号化情報から再符号化対象フレームのフレーム間予測残差情報を算出する予測残差算出部12と、既再符号化フレームのフレーム間予測残差情報を予測信号として、予測残差算出部12により算出されたフレーム間予測残差情報を符号化することで、再符号化ビットストリームを生成する再符号化部13とを備える。
【0032】
復号部11は、入力した階層符号化ビットストリームを符号化情報に復号する。このとき、基本階層では、予測残差情報の他に、動きベクトル情報などの符号化情報を算出する。他の付加階層では、量子化誤差情報を算出する。予測残差算出部12は、基本階層の予測残差情報と各階層毎の量子化誤差情報から、各階層での予測残差情報を算出し、この情報を再符号化部13の入力情報とする。再符号化部13は、この予測残差情報を再符号化して、再符号化ビットストリームを生成する。再符号化部13では、動きベクトルなどの再符号化に必要な情報は、基本階層の情報を再利用する。また、再符号化部13では、予測信号として、局所復号画像の代わりに、既再符号化フレームの予測残差情報を蓄積する。
【0033】
このようにして、階層符号化ビットストリームから、映像信号に復号することなく、符号化ビットストリームを生成することができる。
【0034】
図2は再符号化装置の具体例を示すブロック構成図である。ここでは、符号化方式として動き補償付きフレーム間予測符号化+離散コサイン変換方式を想定し、階層数を単純化のため2とする。この再符号化装置は、図1の復号部11に相当する部分として復号器201−1、201−2および逆量子化部202−1、202−2を備え、予測残差算出部12に相当する部分として加算器203を備え、再符号化部13に相当する部分として、減算器204、量子化部205、符号化器206、逆量子化部207、加算器208、減算器209、IDCT部210、フレームメモリ211、動き補償部212およびDCT部213を備える。
【0035】
入力端子には、基本階層および付加階層の符号化ビットストリームが入力される。これを復号器201−1、201−2で復号し、逆量子化部202−1、202−2で逆量子化することで、基本階層の予測残差d0’(t)と付加階層の量子化誤差e0’(t)とが算出される。これらを加算器203で加算し、付加階層での予測残差d1’(t)を、
d1’(t) = d0’(t) + e0’(t) ...(2)
により算出する。この付加階層での予測残差d1’(t)と、フレームメモリ211に蓄積された参照フレーム(既再符号化フレーム)の量子化誤差e0’(t−1) + e1r(t−1)とから、減算器204により、予測残差の差分d1r(t)を、
d1r(t) = d1’(t) − {e0’(t−1) + e1r(t−1)} ...(3)
と算出する。そして、予測残差の差分d1r(t)を量子化部205で量子化し、符号化器206で符号化する。なお、参照フレームの量子化誤差e0’(t−1) + e1r(t−1)は、フレームメモリ211に蓄積されている参照フレームの量子化誤差に対し、基本階層の動きベクトル情報を基に動き補償部212で動き補償を行った後に、DCT部213により逆離散コサイン変換を行なったものである。
【0036】
次に、次の再符号化対象フレームのために、現在の再符号化対象フレームの量子化誤差をフレームメモリ211に蓄積する。このためには、まず、量子化部205の出力を逆量子化部207で逆量子化する。逆量子化後の量子化誤差d1r’(t)は、
d1r’(t) = d1r(t) + e1r(t) = d1’(t) − {e0’(t−1) + e1r(t−1)} + e1r(t) ...(4)
となる。続いて、加算器208および減算器209により、再符号化対象フレームの量子化誤差e0’(t) + e1r(t)を、
e0’(t) + e1r(t) = d1r’ (t) + {e0’(t−1) + e1r(t−1)} − d0’(t) ...(5)
と算出する。e0’(t−1) + e1r(t−1)は参照フレームの量子化誤差、d0’(t)は基本階層の予測残差である。求めた再符号化対象フレームの量子化誤差e0’(t)+e1r(t)をフレームメモリ211に蓄積する。
【0037】
このようにして、階層符号化ビットストリームを再符号化する際、画像信号まで復号する必要がなく、再符号化にかかる処理を削減することが可能となる。なお、本実施例では動き補償後にDCTをかけていたが、その位置は任意である。
【0038】
【発明の効果】
以上説明したように、本発明によれば、階層符号化ビットストリームを階層構造をもたない符号化ビットストリームに再符号化する際、画像信号に戻すことなく再符号化が可能となる。これにより、再符号化時の演算量やメモリ使用量を抑えることが可能となる。また、その構成要素を簡素化できることから、ハードウェアやソフトウェアで実現した場合の装置規模を小さくできる。
【図面の簡単な説明】
【図1】本発明実施例の再符号化装置を示すブロック構成図。
【図2】再符号化装置の具体例を示すブロック構成図。
【図3】階層符号化方式を用いた従来例の映像符号化伝送装置を示すブロック構成図。
【図4】従来例の再符号化装置を示すブロック構成図。
【符号の説明】
11、401 復号部
12 予測残差算出部
13、409 再符号化部
201−1、201−2、313−1〜313−4、402−1、402−2 復号器
202−1、202−2、403−1、403−2 逆量子化部
203、208、308、315−2〜315−4、317−1〜317−4、404、406−1、406−2、416 加算器
204、209、302−1〜302−4、410 減算器
205、304−1〜304−4、412 量子化部
206、305−1〜305−4、413 符号化器
207、306−1〜306−3、314−1〜314−4、414 逆量子化部
210、307、316−1〜316−4、405−1、405−2、415 IDCT部
211、309、318、407、417 フレームメモリ
212、311、319、408、418 動き補償部
213、303、411 DCT部
301 符号化側
310 動き検出部
312 復号側
【発明の属する技術分野】
本発明は階層映像符号化ビットストリームの再符号化に関する。
【0002】
【従来の技術】
IPネットワークでの映像配信システムにおいて、階層符号化方式が注目されている。階層符号化方式では、映像信号をいくつかの階層にわけて符号化する。階層符号化方式を用いれば、伝送する階層数を制御することで、ユーザ環境やネットワーク帯域に応じて伝送速度を切り替えることができる。
【0003】
この階層符号化方式の中で、画品質が変化する階層符号化方式がある。この方式では、伝送速度が増すにつれて、受信映像の画質が向上する。標準符号化方式では、MPEG−2のSNR(Signal to Noise Ratio)スケーラビリティやMPEG−4のFGS(Fine Granularity Scalability)がこれにあたる(非特許文献1、2参照)。
【0004】
図3は階層符号化方式を用いた従来例の映像符号化伝送装置を示すブロック構成図であり、4階層の符号化の例を示す。この例では、下位階層の量子化誤差en(t)を量子化および符号化し、付加階層の符号としている。復号する場合、第n階層の予測残差情報dn’(t)は、基本階層の予測残差情報d0’(t)に加えて、下位階層の量子化誤差ei’(t)(i=0〜n−1)を加算することで算出でき、
dn’(t) = d0’(t) + Σei’(t) ...(1)
ただしΣはi=0〜n−1の総和
と表される。これに図3を参照して詳しく説明する。
【0005】
図3に示す構成において、符号化側301には減算器302−1〜302−4、離散コサイン変換(DCT:Discrete Cosine Transform)部303、量子化部304−1〜304−4、符号化器305−1〜305−4、逆量子化部306−1〜306−3、逆離散コサイン変換(IDCT)部307、加算器308、フレームメモリ309、動き検出部310および動き補償部311を備え、復号側312には、復号器313−1〜313−4、逆量子化部314−1〜314−4、加算器315−2〜315−4、IDCT部316−1〜316−4、加算器317−1〜317−4、フレームメモリ318および動き補償部319を備える。
【0006】
入力映像信号は、減算器302−1により動き補償予測情報p0(t−1)が減算された後、離散コサイン変換器303および量子化部304−1によりそれぞれ離散コサイン変換および量子化の処理が施され、符号化器305−1により動き検出部310の出力する動きベクトル情報とともに符号化され、基本階層の符号として出力される。
【0007】
また、量子化部304−1の出力を逆量子化部306−1により逆量子化し、それを減算器302−2によりDCT部303の出力d0(t)から減算することで、基本階層の量子化誤差e0(t)が得られる。この量子化誤差e0(t)を量子化部304−2および符号化器305−2により量子化および符号化することで、第一の付加階層の符号が得られる。
【0008】
さらに、量子化部304−2の出力を逆量子化部306−2により逆量子化し、それを減算器302−3により基本階層の量子化誤差e0(t)から減算することで、第一の付加階層の量子化誤差e1(t)が得られる。この量子化誤差e1(t)を量子化部304−3および符号化器305−3により量子化および符号化することで、第二の付加階層の符号が得られる。
【0009】
同様に、量子化部304−3の出力を逆量子化部306−3により逆量子化し、それを減算器302−4により量子化誤差e1(t)から減算することで、第二の付加階層の量子化誤差e2(t)が得られ、これを量子化部304−4および符号化器305−4により量子化および符号化することで、第三の付加階層の符号が得られる。
【0010】
一方、フレーム間予測符号化のため、逆量子化部306−1の出力をIDCT部307により逆離散コサイン変換し、加算器308により動き補償予測情報p0(t−1)を加算してフレームメモリ309に蓄える。このフレームメモリ309に蓄えられた映像信号と新たな入力映像信号とを動き検出部310で比較して映像信号内の動きを検出し、得られた動きベクトル情報を符号化器305−1に出力するとともに、動き補償部311に出力する。動き補償部311は、フレームメモリ309に蓄えられた映像信号と動き検出部310からの動きベクトル情報とに基づいて、動き補償予測情報p0(t−1)を出力する。
【0011】
復号側312では、各階層の符号を復号器313−1〜313−4によりそれぞれ復号し、逆量子化部314−1〜314−4により逆量子化して、基本階層の予測残差情報d0’(t)および各付加階層の量子化誤差en’(t)を得る。
【0012】
基本階層の予測残差情報d0’(t)をIDCT部316−1により逆離散コサイン変換し、加算器317−1により動き補償予測情報p0(t−1)を加算することで、基本階層の復号出力p0(t)が得られる。
【0013】
この復号出力p0(t)はまたフレームメモリ318に蓄えられ、動き補償部319は、このフレームメモリ318に蓄えられた映像信号と復号器313−1により復号された動きベクトル情報とから、動き補償予測情報p0(t−1)を出力する。
【0014】
下位の付加階層については、逆量子化部314−(n+1)(n=1、2または3)の出力する量子化誤差en−1’(t)に一段上位の階層の予測残差情報dn−1’(t)を加算し、得られた予測残差情報dn’(t)をIDCT部316−(n+1)により逆離散コサイン変換し、加算器317−(n+1)により動き補償予測情報p0(t−1)を加算することで、第nの付加階層の復号出力pn(t)が得られる。
【0015】
通常、符号化側で生成された階層符号化ビットストリームは、そのまま、受信クライアントまで伝送される。しかし、伝送速度を制御する必要がある中継系では階層に分かれている必要性があるが、LANなどの十分な帯域が確保できるネットワークでは無意味である。逆に、復号する階層が多い分、通常の符号化ビットストリームよりも、受信クライアントでの復号に必要な演算量が大きくなる。加えて、階層符号化ビットストリームに対応した符号機能を有する受信クライアイントが必要となる。また、もともとひとつの情報を複数に分割しているため、分割損により符号化効率も低下している。
【0016】
これらの問題点を解決する手段として、受信した階層符号化されたビットストリームを再符号化して、1つの符号化ビットストリームを生成することが考えられる(非特許文献3、4参照)。
【0017】
図4は従来例の再符号化装置を示すブロック構成図である。この従来例は、一旦、階層符号化ビットストリームを画像符号まで復号し、再度、非階層符号化方式で符号化を行うものである。付加階層数は単純化のため1とした。
【0018】
復号部401には復号器402−1、402−2、逆量子化部403−1,403−2、加算器404、IDCT部405−1、405−2、加算器406−1、406−2、フレームメモリ407および動き補償部408を備え、再符号化部409には減算器410、DCT部411、量子化部412、符号化器413、逆量子化部414、IDCT部415、加算器416、フレームメモリ417および動き補償部418を備える。
【0019】
復号部401の動作は下位階層数が異なるだけで図3の復号側312と同等であり、ここでは説明を省略する。この復号部401で復号された再生映像信号および動きベクトル情報が再符号化部409に入力される。再符号化部409では、再生映像信号に対し、減算器410により動き補償予測情報を減算され、DCT部411により離散コサイン変換を施し、量子化部412により量子化し、逆量子化部414により量子化部412の出力を逆量子化し、IDCT部415により逆離散コサイン変換し、加算器416により動き補償予測情報を加算し、フレームメモリ417に蓄え、動き補償部418により動きベクトル情報から動き補償予測情報を生成し、符号化器413により量子化部412の出力を符号化する。これにより、階層化されていないひとつの符号化ビットストリームが得られる。
【0020】
特に基本階層でフレーム間符号化を行っている場合には、一度映像信号まで復号してから再符号化を行わなければ、ドリフト現象(参照フレームの不一致により再生画像が乱れる現象)が発生する。一般的な再符号化方法では、再符号化時の演算量を削減するため、入力ビットストリームの動きベクトルなどの符号化情報を再利用する方法も提案されている。図4の例でも、基本階層の動きベクトルを再利用している。これらの技術は、一般的な再符号化方法から容易に類推できる。
【0021】
【非特許文献1】
ISO/IEC IS 13818−2, ITU−T Recommendation H.262, ”Generic coding of moving pictures and associated audio information”, Nov. 1994
【非特許文献2】
ISO/IEC IS 14496−2, ”Information technology − coding of audio/visual objects”, Jul. 2001
【非特許文献3】
H. Sun, W. Kwok, and W. Zdepski, ”Architectures for MPEG Compressed Bitstream Scaling”, IEEE Trans. Circuits Syst. video Technol., vol 6, pp.191−199, Apr. 1996
【非特許文献4】
角野、栄藤、横矢、「MPEG再符号化における再量子化パラメータの選択最適化」、信学論(D−II)、Vol.J84−D−II, No.7, pp.1389−1397, Jul. 2001
【0022】
【発明が解決しようとする課題】
上述したように、フレーム間予測符号化を用いた階層符号化ビットストリームを再符号化する場合、従来は、ドリフトを回避するために、映像信号まで復号した後に再符号化を行う必要があった。しかし、映像信号まで復号すると、再符号化時の演算量が増加する。さらに、復号部と再符号化部でそれぞれ映像信号を蓄積するためのメモリが必要となり、メモリ使用量が増加する。また、処理が複雑になることから、ハードウェアやソフトウェアで実現した場合の装置規模が大きくなる。
【0023】
本発明は、このような課題を解決し、フレーム間予測符号化を用いた階層符号化ビットストリームを少ない演算量および少ないメモリ使用量で再符号化することのできる階層符号化ビットストリームの再符号化技術を提供することを目的とする。
【0024】
【課題を解決するための手段】
本発明の第一の観点によると、映像信号が再生映像品質の異なる複数の階層に分割されて符号化された階層符号化ビットストリームを階層をもたないひとつの符号化ビットストリームに再符号化する再符号化方法において、前記複数の階層のそれぞれの符号化ビットストリームを符号化情報に復号し、復号した各階層の符号化情報から、映像信号に復号することなく、階層をもたない符号化ビットストリームを生成することを特徴とする階層符号化ビットストリームの再符号化方法が提供される(請求項1)。
【0025】
前記階層符号化ビットストリームがフレーム間予測符号化されたものである場合には、前記各階層の符号化情報から再符号化対象フレームのフレーム間予測残差情報を算出し、前記再符号化対象フレームの再符号化は、既再符号化フレームのフレーム間予測残差情報を予測信号として、前記再符号化対象フレームのフレーム間予測残差情報を符号化することにより行なうことが望ましい(請求項2)。
【0026】
本発明の第二の観点によると、映像信号が再生映像品質の異なる複数の階層に分割されて符号化された階層符号化ビットストリームを階層をもたないひとつの符号化ビットストリームに再符号化する再符号化装置において、前記複数の階層のそれぞれの符号化ビットストリームを符号化情報に復号する復号手段と、この復号手段の復号した各階層の符号化情報から、映像信号に復号することなく、階層をもたない符号化ビットストリームを生成する手段とを備えたことを特徴とする階層符号化ビットストリームの再符号化装置が提供される(請求項3)。
【0027】
前記階層符号化ビットストリームはフレーム間予測符号化されたものである場合には、前記生成する手段に、前記各階層の符号化情報から再符号化対象フレームのフレーム間予測残差情報を算出する手段と、既再符号化フレームのフレーム間予測残差情報を予測信号として、前記算出する手段により算出されたフレーム間予測残差情報を符号化することで、前記再符号化対象フレームを再符号化する手段とを備えることが望ましい(請求項4)。
【0028】
本発明は、信号処理プロセッサを前記第二の観点の再符号化装置の各手段として機能させるためのプログラムとして実施することができ(請求項5)、また、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体として実施することもできる(請求項6)。
【0029】
フレーム間予測符号化の予測残差情報を利用することで、再符号化時の演算量やメモリ使用量を削減する。また、その構成要素を簡素化できることから、ハードウェアやソフトウェアで実現した場合の装置規模を小さくできる。
【0030】
従来技術では、一旦映像信号に復号したものを再符号化していたが、本発明では、フレーム間予測符号化の予測残差情報を再符号化の対象とする。
【0031】
【発明の実施の形態】
図1は本発明実施例の再符号化装置を示すブロック構成図である。この装置は、映像信号が再生映像品質の異なる複数の階層に分割されて符号化された階層符号化ビットストリームを階層をもたないひとつの符号化ビットストリームに再符号化する再符号化装置であり、複数の階層のそれぞれの符号化ビットストリームを符号化情報に復号する復号部11と、この復号部11の復号した各階層の符号化情報から再符号化対象フレームのフレーム間予測残差情報を算出する予測残差算出部12と、既再符号化フレームのフレーム間予測残差情報を予測信号として、予測残差算出部12により算出されたフレーム間予測残差情報を符号化することで、再符号化ビットストリームを生成する再符号化部13とを備える。
【0032】
復号部11は、入力した階層符号化ビットストリームを符号化情報に復号する。このとき、基本階層では、予測残差情報の他に、動きベクトル情報などの符号化情報を算出する。他の付加階層では、量子化誤差情報を算出する。予測残差算出部12は、基本階層の予測残差情報と各階層毎の量子化誤差情報から、各階層での予測残差情報を算出し、この情報を再符号化部13の入力情報とする。再符号化部13は、この予測残差情報を再符号化して、再符号化ビットストリームを生成する。再符号化部13では、動きベクトルなどの再符号化に必要な情報は、基本階層の情報を再利用する。また、再符号化部13では、予測信号として、局所復号画像の代わりに、既再符号化フレームの予測残差情報を蓄積する。
【0033】
このようにして、階層符号化ビットストリームから、映像信号に復号することなく、符号化ビットストリームを生成することができる。
【0034】
図2は再符号化装置の具体例を示すブロック構成図である。ここでは、符号化方式として動き補償付きフレーム間予測符号化+離散コサイン変換方式を想定し、階層数を単純化のため2とする。この再符号化装置は、図1の復号部11に相当する部分として復号器201−1、201−2および逆量子化部202−1、202−2を備え、予測残差算出部12に相当する部分として加算器203を備え、再符号化部13に相当する部分として、減算器204、量子化部205、符号化器206、逆量子化部207、加算器208、減算器209、IDCT部210、フレームメモリ211、動き補償部212およびDCT部213を備える。
【0035】
入力端子には、基本階層および付加階層の符号化ビットストリームが入力される。これを復号器201−1、201−2で復号し、逆量子化部202−1、202−2で逆量子化することで、基本階層の予測残差d0’(t)と付加階層の量子化誤差e0’(t)とが算出される。これらを加算器203で加算し、付加階層での予測残差d1’(t)を、
d1’(t) = d0’(t) + e0’(t) ...(2)
により算出する。この付加階層での予測残差d1’(t)と、フレームメモリ211に蓄積された参照フレーム(既再符号化フレーム)の量子化誤差e0’(t−1) + e1r(t−1)とから、減算器204により、予測残差の差分d1r(t)を、
d1r(t) = d1’(t) − {e0’(t−1) + e1r(t−1)} ...(3)
と算出する。そして、予測残差の差分d1r(t)を量子化部205で量子化し、符号化器206で符号化する。なお、参照フレームの量子化誤差e0’(t−1) + e1r(t−1)は、フレームメモリ211に蓄積されている参照フレームの量子化誤差に対し、基本階層の動きベクトル情報を基に動き補償部212で動き補償を行った後に、DCT部213により逆離散コサイン変換を行なったものである。
【0036】
次に、次の再符号化対象フレームのために、現在の再符号化対象フレームの量子化誤差をフレームメモリ211に蓄積する。このためには、まず、量子化部205の出力を逆量子化部207で逆量子化する。逆量子化後の量子化誤差d1r’(t)は、
d1r’(t) = d1r(t) + e1r(t) = d1’(t) − {e0’(t−1) + e1r(t−1)} + e1r(t) ...(4)
となる。続いて、加算器208および減算器209により、再符号化対象フレームの量子化誤差e0’(t) + e1r(t)を、
e0’(t) + e1r(t) = d1r’ (t) + {e0’(t−1) + e1r(t−1)} − d0’(t) ...(5)
と算出する。e0’(t−1) + e1r(t−1)は参照フレームの量子化誤差、d0’(t)は基本階層の予測残差である。求めた再符号化対象フレームの量子化誤差e0’(t)+e1r(t)をフレームメモリ211に蓄積する。
【0037】
このようにして、階層符号化ビットストリームを再符号化する際、画像信号まで復号する必要がなく、再符号化にかかる処理を削減することが可能となる。なお、本実施例では動き補償後にDCTをかけていたが、その位置は任意である。
【0038】
【発明の効果】
以上説明したように、本発明によれば、階層符号化ビットストリームを階層構造をもたない符号化ビットストリームに再符号化する際、画像信号に戻すことなく再符号化が可能となる。これにより、再符号化時の演算量やメモリ使用量を抑えることが可能となる。また、その構成要素を簡素化できることから、ハードウェアやソフトウェアで実現した場合の装置規模を小さくできる。
【図面の簡単な説明】
【図1】本発明実施例の再符号化装置を示すブロック構成図。
【図2】再符号化装置の具体例を示すブロック構成図。
【図3】階層符号化方式を用いた従来例の映像符号化伝送装置を示すブロック構成図。
【図4】従来例の再符号化装置を示すブロック構成図。
【符号の説明】
11、401 復号部
12 予測残差算出部
13、409 再符号化部
201−1、201−2、313−1〜313−4、402−1、402−2 復号器
202−1、202−2、403−1、403−2 逆量子化部
203、208、308、315−2〜315−4、317−1〜317−4、404、406−1、406−2、416 加算器
204、209、302−1〜302−4、410 減算器
205、304−1〜304−4、412 量子化部
206、305−1〜305−4、413 符号化器
207、306−1〜306−3、314−1〜314−4、414 逆量子化部
210、307、316−1〜316−4、405−1、405−2、415 IDCT部
211、309、318、407、417 フレームメモリ
212、311、319、408、418 動き補償部
213、303、411 DCT部
301 符号化側
310 動き検出部
312 復号側
Claims (6)
- 映像信号が再生映像品質の異なる複数の階層に分割されて符号化された階層符号化ビットストリームを階層をもたないひとつの符号化ビットストリームに再符号化する再符号化方法において、
前記複数の階層のそれぞれの符号化ビットストリームを符号化情報に復号し、復号した各階層の符号化情報から、映像信号に復号することなく、階層をもたない符号化ビットストリームを生成する
ことを特徴とする階層符号化ビットストリームの再符号化方法。 - 前記階層符号化ビットストリームはフレーム間予測符号化された符号化ビットストリームであり、
前記各階層の符号化情報から再符号化対象フレームのフレーム間予測残差情報を算出し、
前記再符号化対象フレームの再符号化は、既再符号化フレームのフレーム間予測残差情報を予測信号として、前記再符号化対象フレームのフレーム間予測残差情報を符号化することにより行なう
請求項1記載の階層符号化ビットストリームの再符号化方法。 - 映像信号が再生映像品質の異なる複数の階層に分割されて符号化された階層符号化ビットストリームを階層をもたないひとつの符号化ビットストリームに再符号化する再符号化装置において、
前記複数の階層のそれぞれの符号化ビットストリームを符号化情報に復号する復号手段と、
この復号手段の復号した各階層の符号化情報から、映像信号に復号することなく、階層をもたない符号化ビットストリームを生成する手段と
を備えたことを特徴とする階層符号化ビットストリームの再符号化装置。 - 前記階層符号化ビットストリームはフレーム間予測符号化された符号化ビットストリームであり、
前記生成する手段は、
前記各階層の符号化情報から再符号化対象フレームのフレーム間予測残差情報を算出する手段(12)と、
既再符号化フレームのフレーム間予測残差情報を予測信号として、前記算出する手段により算出されたフレーム間予測残差情報を符号化することで、前記再符号化対象フレームを再符号化する手段(13)と
を含む
請求項3記載の階層符号化ビットストリームの再符号化装置。 - 信号処理プロセッサを請求項3または4記載の再符号化装置の各手段として機能させるためのプログラム。
- 請求項5記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003159783A JP2004363931A (ja) | 2003-06-04 | 2003-06-04 | 階層符号化ビットストリームの再符号化方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003159783A JP2004363931A (ja) | 2003-06-04 | 2003-06-04 | 階層符号化ビットストリームの再符号化方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004363931A true JP2004363931A (ja) | 2004-12-24 |
Family
ID=34052759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003159783A Pending JP2004363931A (ja) | 2003-06-04 | 2003-06-04 | 階層符号化ビットストリームの再符号化方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004363931A (ja) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008007792A1 (en) * | 2006-07-10 | 2008-01-17 | Sharp Kabushiki Kaisha | Methods and systems for combining layers in a multi-layer bitstream |
JP2008092328A (ja) * | 2006-10-03 | 2008-04-17 | Victor Co Of Japan Ltd | 動画像符号化の動き情報変換装置及び動き情報変換プログラム |
WO2008111660A1 (en) * | 2007-03-09 | 2008-09-18 | Sharp Kabushiki Kaisha | Methods and systems for scalable-to-non-scalable bit-stream rewriting |
US7760949B2 (en) | 2007-02-08 | 2010-07-20 | Sharp Laboratories Of America, Inc. | Methods and systems for coding multiple dynamic range images |
US7826673B2 (en) | 2007-01-23 | 2010-11-02 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction with color-conversion |
US7840078B2 (en) | 2006-07-10 | 2010-11-23 | Sharp Laboratories Of America, Inc. | Methods and systems for image processing control based on adjacent block characteristics |
US7885471B2 (en) | 2006-07-10 | 2011-02-08 | Sharp Laboratories Of America, Inc. | Methods and systems for maintenance and use of coded block pattern information |
US8014445B2 (en) | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
US8059714B2 (en) | 2006-07-10 | 2011-11-15 | Sharp Laboratories Of America, Inc. | Methods and systems for residual layer scaling |
US8130822B2 (en) | 2006-07-10 | 2012-03-06 | Sharp Laboratories Of America, Inc. | Methods and systems for conditional transform-domain residual accumulation |
US8194997B2 (en) | 2006-03-24 | 2012-06-05 | Sharp Laboratories Of America, Inc. | Methods and systems for tone mapping messaging |
US8233536B2 (en) | 2007-01-23 | 2012-07-31 | Sharp Laboratories Of America, Inc. | Methods and systems for multiplication-free inter-layer image prediction |
US8422548B2 (en) | 2006-07-10 | 2013-04-16 | Sharp Laboratories Of America, Inc. | Methods and systems for transform selection and management |
US8503524B2 (en) | 2007-01-23 | 2013-08-06 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction |
US8532176B2 (en) | 2006-07-10 | 2013-09-10 | Sharp Laboratories Of America, Inc. | Methods and systems for combining layers in a multi-layer bitstream |
US8665942B2 (en) | 2007-01-23 | 2014-03-04 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction signaling |
JP2014103632A (ja) * | 2012-11-22 | 2014-06-05 | Kddi Corp | 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム |
-
2003
- 2003-06-04 JP JP2003159783A patent/JP2004363931A/ja active Pending
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8014445B2 (en) | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
US8194997B2 (en) | 2006-03-24 | 2012-06-05 | Sharp Laboratories Of America, Inc. | Methods and systems for tone mapping messaging |
US8130822B2 (en) | 2006-07-10 | 2012-03-06 | Sharp Laboratories Of America, Inc. | Methods and systems for conditional transform-domain residual accumulation |
CN102685496B (zh) * | 2006-07-10 | 2014-11-05 | 夏普株式会社 | 用于组合多层比特流中的层的方法和系统 |
US8532176B2 (en) | 2006-07-10 | 2013-09-10 | Sharp Laboratories Of America, Inc. | Methods and systems for combining layers in a multi-layer bitstream |
US8422548B2 (en) | 2006-07-10 | 2013-04-16 | Sharp Laboratories Of America, Inc. | Methods and systems for transform selection and management |
WO2008007792A1 (en) * | 2006-07-10 | 2008-01-17 | Sharp Kabushiki Kaisha | Methods and systems for combining layers in a multi-layer bitstream |
US7840078B2 (en) | 2006-07-10 | 2010-11-23 | Sharp Laboratories Of America, Inc. | Methods and systems for image processing control based on adjacent block characteristics |
US7885471B2 (en) | 2006-07-10 | 2011-02-08 | Sharp Laboratories Of America, Inc. | Methods and systems for maintenance and use of coded block pattern information |
US8059714B2 (en) | 2006-07-10 | 2011-11-15 | Sharp Laboratories Of America, Inc. | Methods and systems for residual layer scaling |
JP4577292B2 (ja) * | 2006-10-03 | 2010-11-10 | 日本ビクター株式会社 | 動画像符号化の動き情報変換装置及び動き情報変換プログラム |
JP2008092328A (ja) * | 2006-10-03 | 2008-04-17 | Victor Co Of Japan Ltd | 動画像符号化の動き情報変換装置及び動き情報変換プログラム |
US7826673B2 (en) | 2007-01-23 | 2010-11-02 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction with color-conversion |
US8233536B2 (en) | 2007-01-23 | 2012-07-31 | Sharp Laboratories Of America, Inc. | Methods and systems for multiplication-free inter-layer image prediction |
US8503524B2 (en) | 2007-01-23 | 2013-08-06 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction |
US8665942B2 (en) | 2007-01-23 | 2014-03-04 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction signaling |
US9497387B2 (en) | 2007-01-23 | 2016-11-15 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction signaling |
US7760949B2 (en) | 2007-02-08 | 2010-07-20 | Sharp Laboratories Of America, Inc. | Methods and systems for coding multiple dynamic range images |
CN102638684A (zh) * | 2007-03-09 | 2012-08-15 | 夏普株式会社 | 可缩放至不可缩放的比特流重写的方法和系统 |
WO2008111660A1 (en) * | 2007-03-09 | 2008-09-18 | Sharp Kabushiki Kaisha | Methods and systems for scalable-to-non-scalable bit-stream rewriting |
US8767834B2 (en) | 2007-03-09 | 2014-07-01 | Sharp Laboratories Of America, Inc. | Methods and systems for scalable-to-non-scalable bit-stream rewriting |
JP2014103632A (ja) * | 2012-11-22 | 2014-06-05 | Kddi Corp | 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5061179B2 (ja) | 照明変化補償動き予測符号化および復号化方法とその装置 | |
US8194748B2 (en) | Apparatus for scalable encoding/decoding of moving image and method thereof | |
KR100714696B1 (ko) | 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치 | |
US8817872B2 (en) | Method and apparatus for encoding/decoding multi-layer video using weighted prediction | |
KR100694137B1 (ko) | 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체 | |
US20060280372A1 (en) | Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction | |
JP2004363931A (ja) | 階層符号化ビットストリームの再符号化方法および装置 | |
JP4703449B2 (ja) | 符号化方法 | |
JP4410245B2 (ja) | ビデオをトランスコーディングする方法 | |
JP2009532979A (ja) | 加重平均合を用いてfgs階層をエンコーディングおよびデコーディングする方法および装置 | |
KR20060135992A (ko) | 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치 | |
US8781004B1 (en) | System and method for encoding video using variable loop filter | |
CA2543947A1 (en) | Method and apparatus for adaptively selecting context model for entropy coding | |
JP2011514773A (ja) | 連続的な動き推定を利用した映像符号化並びに復号化方法及び装置 | |
KR20070090240A (ko) | 미세 입자 스케일러빌리티를 위한 디지털 비디오의 실시간트랜스코딩을 위한 시스템 및 방법 | |
JP2006279573A (ja) | 符号化装置と方法、ならびに復号装置と方法 | |
US20050265444A1 (en) | Moving image encoding/decoding apparatus and method | |
US20130128973A1 (en) | Method and apparatus for encoding and decoding an image using a reference picture | |
KR100565308B1 (ko) | 에스엔알 스케일러빌리티를 위한 동영상 부호화 및 복호화 장치 | |
EP1878252A1 (en) | Method and apparatus for encoding/decoding multi-layer video using weighted prediction | |
Slowack et al. | Distributed video coding with feedback channel constraints | |
EP1889487A1 (en) | Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction | |
US20150010083A1 (en) | Video decoding method and apparatus using the same | |
JP4169767B2 (ja) | 符号化方法 | |
US7813569B2 (en) | MPEG video decoding method and MPEG video decoder using results from analysis of motion-vector data and DCT coefficients |