JP2003258647A - デジタルデータ処理装置,およびその方法 - Google Patents

デジタルデータ処理装置,およびその方法

Info

Publication number
JP2003258647A
JP2003258647A JP2002053553A JP2002053553A JP2003258647A JP 2003258647 A JP2003258647 A JP 2003258647A JP 2002053553 A JP2002053553 A JP 2002053553A JP 2002053553 A JP2002053553 A JP 2002053553A JP 2003258647 A JP2003258647 A JP 2003258647A
Authority
JP
Japan
Prior art keywords
digital data
frequency information
series signal
data processing
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002053553A
Other languages
English (en)
Other versions
JP3537807B2 (ja
Inventor
Toshiaki Shimoda
敏章 下田
Yohei Ikeda
陽平 池田
Takayuki Hiekata
孝之 稗方
Koji Morita
孝司 森田
Hiroshi Hashimoto
裕志 橋本
Tetsuya Takahashi
哲也 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobe Steel Ltd
Original Assignee
Kobe Steel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobe Steel Ltd filed Critical Kobe Steel Ltd
Priority to JP2002053553A priority Critical patent/JP3537807B2/ja
Publication of JP2003258647A publication Critical patent/JP2003258647A/ja
Application granted granted Critical
Publication of JP3537807B2 publication Critical patent/JP3537807B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】プログラム容量を増大させる,或いは装置を大
型化させることなくバストレ処理,或いはスペアナ機能
等を具備してなる多機能なデジタルデータ処理装置を提
供すること。 【解決手段】デジタルデータを符号化或いは符号化され
たデジタルデータを復号化する際に算出される上記デジ
タルデータの周波数情報を任意に加工する加工手段を具
備し,該加工手段により任意に加工された上記周波数情
報を復号化或いは符号化することを特徴とするデジタル
データ処理装置として構成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は,デジタルデータを
符号化及び復号化するデジタルデータ処理装置或いはそ
の方法に係り,特にデジタルデータの周波数特性を利用
して符号化及び復号化するものに関する。
【0002】
【従来の技術】音楽や,画像などのデジタルデータを,
比較的小さい容量の記憶媒体に記憶したり,比較的狭い
帯域を用いて通信するには,それらのデータに符号化を
施すことが不可欠である。例えば,半導体メモリを備え
たオーディオプレーヤに音楽データを記録再生したり,
インターネット等の通信回線を介して音楽データを授受
する目的で,広く利用されるようになった符号化方式と
して,MP3(MPEG−1 AudioLayer
3)方式や,NTTサイバースペース研究所で開発され
たTwinVQ(Transform domain
Weighted INterleave Vecto
r Quantization)方式等が利用されてい
る。これらの符号化方式を利用する事により,上記デジ
タルデータは,上記MP3方式の場合には1/10程
度,上記TwinVQ方式の場合には1/18程度にま
で圧縮して記録することが可能となる。
【0003】ここで,上記デジタルデータを記録再生す
るデジタルデータ処理装置Bにおける上記デジタルデー
タの符号化及び復号化における処理の流れを,図5及び
6を用いて説明する。以下S1,S2,,は処理手順
(ステップ)の番号を示す。 (符号化)先ず,図5(a)を用いて上記デジタルデー
タの符号化の処理の流れを説明する。上記デジタルデー
タ処理装置B1に入力された時系列信号である上記デジ
タルデータは,Overlap部10により所定のウィ
ンドウ(窓関数)が掛けられ,所定のフレーム(変換ブ
ロック)長毎のフレームデータとして取り出される。こ
こで,上記ウィンドウは,隣設するフレームデータ同士
が半分づつオーバーラップするように掛けられるもので
ある(S1)。次に,上記ステップS1において取り出
された上記フレームデータは,MDCT部11によりM
DCT(Modified Discrete cos
ineTransform:変形離散コサイン変換)さ
れ,時間領域の信号である上記フレームデータから周波
数領域の信号であって,該フレームデータの各周波数帯
における音の強さを表すMDCT係数へと変換される
(S2)。最後に,上記ステップS2において取得され
たMDCT係数は,量子化・ハフマン符号化部12によ
りBark尺度毎に最適に量子化され,更には,エント
ロピー符号化の一例であるハフマン符号化され,上記デ
ジタルデータの符号化が完了する(S3)。 (復号化)次に,図5(b)を用いて上記デジタルデー
タの復号化の処理の流れを説明する。ここで,復号化は
上記符号化の逆の行程に従って実施される。則ち,先
ず,上記デジタルデータ処理装置B2に入力された時系
列信号であるデジタルデータの符号化された所定のフレ
ーム長毎のMDCT係数は,ハフマン復号化・量子化部
13によりエントロピー復号化の一例であるハフマン復
号化され,更には,Bark尺度毎に逆量子化されるこ
とによりMDCT係数へと変換される(S11)。次
に,上記ステップS11において取得されたMDCT係
数は,IMDCT部14によりIMDCT(Inver
se Modified DiscreteCosin
e Transform:逆変形離散コサイン変換)が
行われ,時間領域の信号である上記デジタルデータのフ
レームデータに変換される(S12)。最後に,上記ス
テップS12において取得されたフレームデータは,O
verlap部15によりオーバーラップしているフレ
ームデータ同士が加算され,元のデジタルデータが復元
される(S13)。ここで,図6は,上述した処理を模
式的に表したフロー図であり,図中のS1,S2,,
は,上述のS1,S2,,と対応している。このよう
に,上記デジタルデータ処理装置B1及びB2では,上
記デジタルデータの周波数情報であるMDCT係数に基
づいて符号化,復号化することが可能であり,上記デジ
タルデータを記憶するために必要な固定メモリ等の記憶
媒体を小型化することが可能となり,該デジタルデータ
を記録再生するデジタルデータ処理装置の小型軽量化,
或いは生産コストの抑制を図ることができる。
【0004】
【発明が解決しようとする課題】ここで,近年のデジタ
ルデータ処理装置においては,低周波数帯を強調するバ
スブースト及び高周波数帯を強調するトレブルブースト
(以下略してバストレ処理と称す),或いはスペクトル
アナライザ機能(以下略してスペアナ機能と称す)を搭
載しているものがある。これにより,前者を設けた場合
には,該デジタルデータ処理装置により復元される上記
デジタルデータを,ユーザの嗜好に合わせて任意に加工
することが可能となり,後者を設けた場合には,ユーザ
が,復元中のデジタルデータの周波数情報を認知するこ
とが可能となり,該デジタルデータ処理装置の多機能化
を図ることができる。 (第1の課題)しかしながら,上記バストレ処理を実現
する場合,従来公知の上記デジタルデータ処理装置B2
では,図5(d)に示すFIR(Finite Imp
ulse Response:有限長インパルス応
答),或いはIIR(Infinite Impuls
e Response:無限長インパルス応答)等の畳
み込み演算を含んで構成されるデジタルフィルタ16を
新たに付加することにより上記バストレ処理を実現して
いる。これにより,ユーザは,上記デジタルデータ処理
装置Bによって復元されるデジタルデータにおける特定
の周波数帯を任意に加工することが可能となる。ここ
で,一般的に上記バストレ処理は,上述の通り,上記デ
ジタルデータ処理装置B4においてデジタルデータを復
元する際に用いられる機能であるが,図5(c)に示す
ように該デジタルデータ処理装置B3においてデジタル
データを符号化する際に用いた形態であっても良い。こ
れにより,ユーザは,上記デジタルデータ処理装置B3
によって符号化されるデジタルデータにおける特定の周
波数帯を予め任意に加工した後に符号化することが可能
となる。このように,従来公知のデジタルデータ処理装
置B1及びB2では,該デジタルデータ処理装置にデジ
タルフィルタ16を新たに付加することにより上記バス
トレ処理を実現し,ユーザの嗜好に合わせてデジタルデ
ータにおける特定の周波数帯を任意に加工することを可
能としている。しかしながら,上記デジタルフィルタ1
6の演算は煩雑であるため,上記デジタルデータ処理装
置Bに設けられ,符号化或いは復号化の演算処理を行う
DSP(Digital Signal Proces
sor)等の演算素子で処理されるプログラム容量の増
加を招き,チップ面積或いは消費電力の増大を防止する
ことができない。 (第2の課題)一方,上記スペアナ機能を実現する場
合,従来公知のデジタルデータ処理装置Bでは,図5
(d)に示す,FFT(Fast Fourier T
ransformation:高速フーリエ変数)処理
等を含んで構成されるスペクトルアナライザ17を付加
する必要がある。この場合も上述同様に,上記スペクト
ルアナライザ17の演算は煩雑であるため,上記デジタ
ルデータ処理装置Bに設けられる上記演算素子で処理さ
れるプログラム容量の増加を招き,チップ面積の増大,
或いは消費電力の増大を防止することができない。この
ように,従来の装置では,デジタルデータ処理装置の多
機能化を図るためには,機能を追加することによるプロ
グラム容量の増大,或いは装置の大型化が避けられず,
更には,煩雑な演算処理を高速に行うことができる演算
素子を採用した場合には生産コストの押し上げや,消費
電力の増加を招来する。そこで,本発明は上記課題に鑑
みてなされたものであり,その目的とするところは,プ
ログラム容量を増大させる,或いは装置を大型化させる
ことなくバストレ処理,或いはスペアナ機能等の多機能
化を実現可能なデジタルデータ処理装置を提供すること
にある。
【0005】
【課題を解決するための手段】上記第1の課題を解決す
るために本発明は,時系列信号であるデジタルデータの
符号化された所定のフレーム長毎の周波数情報を復号化
する復号化手段と,上記復号化手段により復号化された
上記周波数情報から元の時系列信号である上記デジタル
データを復元する復元手段とを具備し,符号化された時
系列信号である上記デジタルデータを復元するデジタル
データ処理装置において,上記復号化手段により復号化
された上記周波数情報を加工する加工手段を具備し,該
加工手段により任意に加工された上記周波数情報が,上
記復元手段で復元されてなることを特徴とするデジタル
データ処理装置として構成される。このように構成する
ことによって,符号化された時系列信号である上記デジ
タルデータを復元する際に取得される該デジタルデータ
の周波数情報を任意に加工した後に,上記デジタルデー
タを復元することが可能となるため,復元される上記デ
ジタルデータのバストレ処理を実現すると共に,新たに
デジタルフィルタ等の煩雑な処理の追加によるプログラ
ム容量の増大,或いは装置の大型化を防ぐことができ
る。
【0006】また,時系列信号であるデジタルデータを
所定のフレーム長毎の周波数情報に変換する周波数変換
手段と,上記周波数変換手段により変換された上記周波
数情報を符号化する符号化手段とを具備し,時系列信号
である上記デジタルデータを符号化するデジタルデータ
処理装置において,上記周波数変換手段により変換され
た上記周波数情報を加工する加工手段を具備し,該加工
手段で任意に加工された上記周波数情報が,上記符号化
手段で符号化されてなることを特徴とするデジタルデー
タ処理装置として構成も考えうる。このように構成する
ことによって,時系列信号である上記デジタルデータを
符号化する際に取得される該デジタルデータの周波数情
報を任意に加工した後に,上記デジタルデータを符号化
することが可能となるため,符号化される上記デジタル
データをバストレ処理を実現すると共に,新たにデジタ
ルフィルタ等の煩雑な処理の追加によるプログラム容量
の増大,或いは装置の大型化を防ぐことができる。
【0007】ここで,上記加工手段は,上記周波数情報
を視覚的に表示する及び/若しくは変更することができ
る情報表示手段を含んでなり,該情報表示手段によって
上記周波数情報の少なくとも一部に所定の数値を乗算或
いは加算するものであることが望ましい。これより,ユ
ーザが誤操作することなく,該ユーザの所望する上記周
波数情報のみを容易に変更することが可能となり,デジ
タルデータ処理装置としての利便に優れる。ここで,上
記情報表示手段により表示され/若しくは変更される上
記周波数情報としては,スペクトル分布及び/若しくは
音量レベルが考えられる。
【0008】上記第2の課題を解決するために本発明
は,時系列信号であるデジタルデータの符号化された所
定のフレーム長毎の周波数情報を復号化する復号化手段
と,少なくとも高速フーリエ変換手段を含み,上記復号
化手段により復号化された上記周波数情報から元の時系
列信号である上記デジタルデータを復元する復元手段
と,上記復元手段により復元された上記デジタルデータ
の周波数情報を表示する情報表示手段とを具備し,符号
化された時系列信号である上記デジタルデータを復元し
ながら,該デジタルデータの周波数情報を上記情報表示
手段で表示するデジタルデータ処理装置において,上記
復元手段により復元された上記デジタルデータを上記高
速フーリエ変換手段へ入力する入力手段を具備すると共
に,上記情報表示手段が,上記高速フーリエ変換手段に
よって算出される復元された上記デジタルデータの周波
数情報を表示することを特徴とするデジタルデータ処理
装置とした構成される。このように構成することによっ
て,時系列信号である上記デジタルデータの周波数情報
を取得するために,FFT処理を含んで構成されるスペ
クトルアナライザ等の煩雑な処理を新たに付加すること
なく,上記デジタルデータの周波数情報を取得すること
が可能となり,プログラム容量の増大,或いは装置の大
型化を防ぐことができる。
【0009】また,請求項1に記載の上記デジタルデー
タ処理装置に適用したデジタルデータ処理方法として捉
えることによって本発明は,時系列信号であるデジタル
データの符号化された所定のフレーム長毎の周波数情報
を復号化する第1の工程と,上記第1の工程により復号
化された上記周波数情報から元の時系列信号である上記
デジタルデータを復元する第2の工程とを具備し,符号
化された時系列信号である上記デジタルデータを復元す
るデジタルデータ処理方法において,上記第1の工程に
より復号化された上記周波数情報を加工する第3の工程
を具備し,該第3の工程により任意に加工された上記周
波数情報が,上記第2の工程で復元されてなることを特
徴とするデジタルデータ処理方法となる。
【0010】同様に,請求項2に記載の上記デジタルデ
ータ処理装置に適用したデジタルデータ処理方法として
捉えることによって本発明は,時系列信号であるデジタ
ルデータを所定のフレーム長毎の周波数情報に変換する
第1の工程と,上記第1の工程により変換された上記周
波数情報を符号化する第2の工程とを具備し,時系列信
号である上記デジタルデータを符号化するデジタルデー
タ処理方法において,上記第1の工程により変換された
上記周波数情報を加工する第3の工程を具備し,該第3
の工程で任意に加工された上記周波数情報が,上記第2
の工程で符号化されてなることを特徴とするデジタルデ
ータ処理方法となる。
【0011】更に同様に,請求項7に記載の上記デジタ
ルデータ処理装置に適用したデジタルデータ処理方法と
して捉えることによって本発明は,時系列信号であるデ
ジタルデータの符号化された所定のフレーム長毎の周波
数情報を復号化する第7の工程と,少なくとも高速フー
リエ変換手段を含み,上記第7の工程により復号化され
た上記周波数情報から元の時系列信号である上記デジタ
ルデータを復元する第8の工程と,上記第8の工程によ
り復元された上記デジタルデータの周波数情報を表示す
る第9の工程とを具備し,符号化された時系列信号であ
る上記デジタルデータを復元しながら,該デジタルデー
タの周波数情報を表示するデジタルデータ処理方法にお
いて,上記第8の工程により復元された上記デジタルデ
ータを上記高速フーリエ変換手段へ入力する第10の工
程を具備すると共に,上記第9の工程により表示される
上記デジタルデータの周波数情報が,上記高速フーリエ
変換手段によって算出される周波数情報であることを特
徴とするデジタルデータ処理方法となる。
【0012】
【発明の実施の形態】以下添付図面を参照しながら,本
発明の実施の形態及び実施例について説明し,本発明の
理解に供する。尚,以下の実施の形態及び実施例は,本
発明を具体化した一例であって,本発明の技術的範囲を
限定する性格のものではない。ここに,図1は本発明の
実施の形態に係るデジタルデータ処理装置の概略構成
図,図2は本発明の実施の形態に係るデジタルデータ処
理装置によりデジタルデータを符号化(復号化)する処
理の流れを示す図,図3は本発明の実施の形態に係る加
工手段の一例を示す図,図4は本発明の実施の形態に係
るデジタルデータ処理装置によりデジタルデータをスペ
アナする処理の流れを示す図,図5は従来公知のデジタ
ルデータ処理装置によりデジタルデータを符号化(復号
化)する処理の流れを示す図,図6はデジタルデータを
符号化(復号化)する処理の流れを示すフロー図であ
る。
【0013】先ず,ここで,本発明の実施の形態に係る
デジタルデータ処理装置Aの概略構成について,図1を
用いて説明する。該デジタルデータ処理装置Aは,デー
タ入力部1と,A/D変換部2と,DSP3と,記憶部
4と,制御部5と,D/A変換部6と,データ出力部7
と,操作表示部8と,を具備して概略構成される。ここ
で,上記データ入力部1は,外部からの音楽データをア
ナログデータとして取り込むものである。上記A/D変
換部2は,上記データ入力部1から入力される上記アナ
ログデータをデジタルデータに変換するものである。上
記DSP3は,上記デジタルデータを符号化する,或い
は符号化された上記デジタルデータを復号化する演算素
子である。上記記憶部4は,符号化された上記デジタル
データを格納するためのメモリである。上記制御部5
は,不図示のMPU及びその周辺機器等によって構成さ
れ,予め記憶されたプラグラムに従って上記各部を制御
するものである。上記D/A変換部6は,上記DSP3
によって復号化された上記デジタルデータを上記アナロ
グデータに変換するものである。上記データ出力部7
は,上記D/A変換部6から入力される上記アナログデ
ータを,必要に応じて増幅などの処理を行ってから外部
に出力するものである。上記操作表示部8は,不図示の
モニタ及びキー操作部によって構成されるものであり,
例えば,復元するデジタルデータの選択操作や該デジタ
ルデータを復号化している処理状況の確認等を行うもの
である。ここで,該デジタルデータ処理装置Aを用いて
音声データを記憶する際には,先ずユーザが,上記操作
表示部8で所定の操作を行うことによって,上記制御部
5に予め記憶された所定の実行プログラムが実行され
る。これによって,外部から上記データ入力部1に入力
される音声データは,上記A/D変換部2によって音声
データからデジタルデータに変換される。続いて,該デ
ジタルデータは,上記DSP3によって符号化され,該
符号化されたデジタルデータとして記憶部4に記憶され
る。一方,該デジタルデータ処理装置Aを用いて音声デ
ータを復元する際には,上述同様に,先ずユーザが,上
記操作表示部8で所定の操作を行うことによって,上記
制御部5に予め記憶された所定の実行プログラムが実行
される。これにより,上記記憶部4から読み出される符
号化データは,上記DSP3によって復号化される。続
いて,該復号化されたデジタルデータは,上記D/A変
換部6によってデジタルデータから音声データに変換さ
れ,上記データ出力部7によって外部に出力される。ま
た,ユーザは,上述した処理の情況を上記操作表示部8
によって逐次確認する事が可能である。このように,上
記デジタルデータ処理装置Aは,入力されたデジタルデ
ータを効率的に符号圧縮して保存可能であると共に,符
号圧縮化されたデジタルデータを任意に復元することを
可能としている。このような上記デジタルデータ処理装
置Aの構成は従来公知のものである。
【0014】本発明の実施の形態に係る上記デジタルデ
ータ処理装置Aは,デジタルデータを符号化或いは復号
化する際に生成される周波数情報(本実施の形態ではM
DCT係数が該当する)を任意に加工する加工手段を具
備することを特徴とする。上記加工手段は,具体的には
上記DSP3上で実行され,該DSP3の機能を達成す
るためのプログラムである。そこで,上記デジタルデー
タ処理装置Aにおいて上記デジタルデータの符号化或い
は復号化する際に生成されるMDCT係数を任意に加工
すると共に該デジタルデータを符号化或いは復号化する
処理の流れの詳細を,図2及び6を用いて説明する。以
下S101,S102,,は処理手順(ステップ)の番
号を示す。 (符号化)先ず,上記デジタルデータ処理装置Aに入力
された時系列信号であるデジタルデータは,Overl
ap部10により所定のウィンドウ(窓関数)が掛けら
れ,所定のフレーム(変換ブロック)長毎のフレームデ
ータとして取り出される。ここで,上記ウィンドウは,
隣設するフレームデータ同士が半分づつオーバーラップ
するように掛けられるものである(S101)。次に,
上記ステップS101において取り出された上記フレー
ムデータ毎にMDCT部11(周波数変換手段の一例に
該当)によりMDCTされ,時間領域の信号である上記
フレームデータから周波数領域の信号であって,該フレ
ームデータの各周波数帯における音の強さを表すMDC
T係数へと変換される(S102)。次に,上記ステッ
プS102において取得されたMDCT係数が,上記加
工手段18により任意に加工される(S103)。加工
の具体例は後記される。最後に,上記ステップS103
において加工されたMDCT係数は,量子化・ハフマン
符号化部12(符号化手段の一例に該当)によりBar
k尺度毎に最適に量子化されると共に,エントロピー符
号化の一例であるハフマン符号化され,上記デジタルデ
ータの符号化が完了する(S104)。 (復号化)復号化は,上記符号化の逆の行程を従って実
施される。則ち,先ず,上記デジタルデータ処理装置A
に入力された時系列信号であるデジタルデータの符号化
された所定のフレーム長毎のMDCT係数は,ハフマン
復号化・逆量子化部13(復号化手段の一例に該当)に
よりエントロピー復号化の一例であるハフマン復号化さ
れ,更には,Bark尺度毎に逆量子化されることによ
りMDCT係数へと変換される(S111)。次に,上
記ステップS111において取得されたMDCT係数
は,上記加工手段18により任意に加工される(S11
2)。加工の具体例は後記される。次に,上記ステップ
S112において加工されたMDCT係数は,IMDC
T部14(復元手段の一例に該当)によりIMDCTさ
れ,時間領域の信号である上記デジタルデータのフレー
ムデータに変換される(S113)。最後に,上記ステ
ップS113において取得されたフレームデータは,O
verlap部15によりオーバーラップしているフレ
ームデータ同士が加算され,上記デジタルデータの復元
が完了する(S114)。ここで,図6は,上述した処
理を模式的に表した図であり,図中のS101,S10
2,,は,上述のS101,S102,,と対応してい
る。上述した処理の流れに従ってデジタルデータを符号
化或いは復号化することにより,上記デジタルデータ処
理装置Aに対して,新たにデジタルフィルタ等の煩雑な
処理を追加することなく,従来の構成に基づいた簡略な
構成によって符号化或いは復号化される上記デジタルデ
ータの特定の周波数帯を任意に加工(バストレ処理)す
ることができる。ここで,上述説明した処理は,上記D
SP3上で実行されるプログラムとして実現可能なもの
である。
【0015】次に,上記ステップS103及び上記ステ
ップS112において,MDCT係数を任意に加工する
上記加工手段18について図3を用いて説明する。上記
加工手段18は,図3に示すバストレ処理を行うための
バストレ部18aと,音量レベルを調整するためのボリ
ューム部18bと,上記バストレ部18aと上記ボリュ
ーム部18bのそれぞれの設定位置18dを増減させる
操作をするための操作部18cと,周波数スペクトルを
表示するスペアナ部18eとを具備して構成されるもの
であり,例えば上記操作表示部8に表示される操作パネ
ルとして実現されるものである。上記バストレ部18a
は,いわゆるグラフィックイコライザを模擬したもので
あって,バストレ処理を行うユーザが,バストレ処理す
ることを望む周波数帯に対応する上記操作部18cを操
作することによって,該周波数帯毎の操作量を選択する
ことができる。上記操作部18cの操作に応じた所定の
操作量を選択する方法の一例としては,下表1に示すよ
うな上記操作部18cの設定位置18dと,それに対応
する所定の操作量とを予め記憶したデータベースを用意
し,上記設定位置18dの位置に応じて,該データベー
スから所定の操作量を読み出すものが考えられる。ここ
で,下表1に示す操作量は一例を示すものであって,使
用目的等に応じて設定することが可能であることは言う
までも無い。
【表1】 次に,符号化方式の一例であるMP3方式により符号化
されたデジタルデータを上記加工手段18によってバス
トレ処理する場合を取り上げて,その処理の概要につい
て説明する。MP3方式は,一つのフレームデータを処
理する毎に,576個のMDCT係数が算出され,その
MDCT係数によって0Hz〜22050Hzの周波数
領域をカバーするものである。即ち,それぞれのMDC
T係数は38.28125Hz(22050Hz/57
6)毎の周波数帯における音の強さを示すものとなり,
例えば1番目のMDCT係数は0〜38.28125H
zまでの周波数領域の音量を表すものとなる。従って,
ユーザの希望に応じて操作される各周波数帯毎の上記設
定位置18dの位置に応じて,これら576個のMDC
T係数を加工することにより,ユーザの所望するバスト
レ処理を実現することが可能となる。例えば,バストレ
処理を行うことを望むユーザが,0Hz〜32Hzの周
波数帯に対応する上記操作部18cを操作し,上記設定
位置18dをデフォルト位置である0から1に上げた場
合には,576個のMDCT係数のうち,当該周波数帯
の音量を表す1番目のMDCT係数が取り出され,上表
1により選択される操作量(本実施形態では2が該当)
との乗算が実行された後に,該1番目のMDCT係数は
元のデータ位置に戻される。逆に,ユーザが,0Hz〜
32Hzの周波数帯に対応する上記操作部18cを操作
し,上記設定位置18dを0から−2に下げた場合も同
様であり,当該周波数帯に対応する1番目のMDCT係
数が取り出され,上表1により選択される操作量(本実
施形態では0.1が該当)との乗算が実行された後に,
該1番目のMDCT係数は元のデータ位置に戻される。
このように,上記加工手段18では,上記操作部18c
の操作に応じて上記設定位置18dを変位させるいう簡
略な構成によって,当該周波数帯に対応するMDCT係
数を任意に加工することが可能であり使用性に優れる。
また,上記ボリューム部18bを操作した場合には,全
て(MP3の場合は576個)のMDCT係数に対し
て,その操作量に応じた所定の操作量を適用(乗算)す
れば,上記デジタルデータ処理装置Aにおいて符号化或
いは復号化されるデジタルデータの音量レベルの調整を
実現することが可能となる。なお,上記説明では,所定
の周波数帯における上記操作部18cの位置に応じて決
定される所定の操作量を,該周波数帯に該当するMDC
T係数に乗算することによりバストレ処理を行っている
が,加算であっても同様の効果を奏する。ここで,上記
加工手段18によって決定される操作量に基づいて上記
MDCT係数を加工する処理は,上記DSP3上で実行
されるプログラムによって容易に実現可能である。
【0016】次に,本発明の実施の形態に係るデジタル
データ処理装置Aにおけるスペアナ機能について説明す
る。ここでは,先ず,時系列信号であるデジタルデータ
を符号化或いは復号化する際に取得されるMDCT係数
が,該デジタルデータの各フレームデータ毎の各周波数
帯における音の強さを表す係数であることに着目する。
従って,周波数スペクトルを表示すべき所定の周波数域
(図3では32,63,,16kHzとなる)における
各フレームデータのMDCT係数の平均値を算出するこ
とにより,上記デジタルデータにおける各周波数域毎の
周波数スペクトルを概算することが可能となり,上記平
均値を上記スペアナ部10eのスペクトル表示18fと
して表示することにより模擬的なスペアナ機能を実現す
ることができる。しかしながら,上記MDCT係数は,
所定の周波数帯における音の強さを示すものであり,厳
密には,FFT処理により算出され,各周波数毎のピン
ポイントの音の強さを示すFFT係数とは異なるため,
例えば厳密な周波数スペクトル計測を必要とする際には
適用できるものではない。そこで,本発明においては,
上記IMDCT部14の処理に,少なくともFFT処理
14aが含まれていることに着目し,該FFT処理14
aを再利用する。即ち,本発明の実施の形態に係るデジ
タルデータ処理装置Aは,厳密なスペアナ機能が要求さ
れている場合には,図4に示すように,上記デジタルデ
ータ処理装置Aで復号化されたデジタルデータを,該デ
ジタルデータ処理装置Aへと再帰させる処理を付加し,
上記IMDCT部14に含まれている上記FFT処理1
4aを再利用することを特徴とする。この結果,上記デ
ジタルデータの正確な周波数スペクトルを取得し,該周
波数スペクトルを上記加工手段18に設けられる上記ス
ペアナ部18eにより表示することが可能となり,スペ
アナ機能を実現することができる。これにより,上記デ
ジタルデータ処理装置Aに対して,新たにFFT処理等
の煩雑な処理を追加することなく,従来の構成に基づい
た簡略な構成によって復号化される上記デジタルデータ
の厳密なスペクトル計測が可能なスペアナ機能を実現可
能となる。ここで,上記デジタルデータ処理装置Aで復
号化されたデジタルデータを,該デジタルデータ処理装
置Aへと再帰させる処理は,上記DSP3上で実行され
るプログラムによって容易に実現可能である。
【0017】
【実施例】上述した本発明の実施の形態に係るデジタル
データ処理装置においては,周波数変換手段としてMD
CTを用いる符号化方式であるが,例えば,DFT(離
散フーリエ変換),DCT(離散コサイン変換),サブ
バンドフィルタバンク等の周波数変換手段を用いる符号
化方式の場合であっても,該周波数変換手段によって算
出される周波数情報を任意に加工することが可能であ
る。即ち,本発明は,MP3,TwinVQ,或いはM
PEG−AACその他周波数情報を用いることにより符
号化する符号化方式に対して適用可能なものである。更
には,該符号化手段のうち,スペクトル包絡特性を用い
て符号化する符号化方式を用いた場合には,周波数包絡
曲線を表示する及び/若しくは加工することが可能であ
る。
【0018】また,上述した本発明の実施の形態に係る
デジタルデータ処理装置においては,上記データ入力部
1を介して外部からアナログデータである音楽データを
取り込み,該デジタルデータ処理装置内でA/D変換す
る構成としたが,有線或いは無線のネットワーク経由で
配信されるデジタルデータに対しても適用可能なもので
ある。
【0019】更にまた,上述した本発明の実施の形態に
係るデジタルデータ処理装置においては,音楽データに
対する適用について説明しているが,周波数変換手段に
よって算出される周波数情報に基づいて符号化或いは復
号化されるデジタルデータであれば,音楽データ以外の
デジタルデータに対しても適用可能なものである。
【0020】
【発明の効果】以上説明したとおり,本発明は,時系列
信号であるデジタルデータの符号化された所定のフレー
ム長毎の周波数情報を復号化する復号化手段と,上記復
号化手段により復号化された上記周波数情報から元の時
系列信号である上記デジタルデータを復元する復元手段
とを具備し,符号化された時系列信号である上記デジタ
ルデータを復元するデジタルデータ処理装置において,
上記復号化手段により復号化された上記周波数情報を加
工する加工手段を具備し,該加工手段により任意に加工
された上記周波数情報が,上記復元手段で復元されてな
ることを特徴とするデジタルデータ処理装置として構成
される。このように構成することによって,符号化され
た時系列信号である上記デジタルデータを復元する際に
取得される該デジタルデータの周波数情報を任意に加工
した後に,上記デジタルデータを復元することが可能と
なるため,復元される上記デジタルデータのバストレ処
理を実現すると共に,新たにデジタルフィルタ等の煩雑
な処理の追加によるプログラム容量の増大,或いは装置
の大型化を防ぐことができる。
【0021】また,時系列信号であるデジタルデータを
所定のフレーム長毎の周波数情報に変換する周波数変換
手段と,上記周波数変換手段により変換された上記周波
数情報を符号化する符号化手段とを具備し,時系列信号
である上記デジタルデータを符号化するデジタルデータ
処理装置において,上記周波数変換手段により変換され
た上記周波数情報を加工する加工手段を具備し,該加工
手段で任意に加工された上記周波数情報が,上記符号化
手段で符号化されてなることを特徴とするデジタルデー
タ処理装置として構成も考えうる。このように構成する
ことによって,時系列信号である上記デジタルデータを
符号化する際に取得される該デジタルデータの周波数情
報を任意に加工した後に,上記デジタルデータを符号化
することが可能となるため,符号化される上記デジタル
データをバストレ処理するを実現すると共に,新たにデ
ジタルフィルタ等の煩雑な処理の追加によるプログラム
容量の増大,或いは装置の大型化を防ぐことができる。
【0022】ここで,上記加工手段は,上記周波数情報
を視覚的に表示する及び/若しくは変更することができ
る情報表示手段を含んでなり,該情報表示手段によって
上記周波数情報の少なくとも一部に所定の数値を乗算或
いは加算するものであることが望ましい。これより,ユ
ーザが誤操作することなく,該ユーザの所望する上記周
波数情報のみを容易に変更することが可能となり,デジ
タルデータ処理装置としての利便に優れる。ここで,上
記情報表示手段により表示され/若しくは変更される上
記周波数情報としては,スペクトル分布及び/若しくは
音量レベルが考えられる。
【0023】上記第2の課題を解決するために本発明
は,時系列信号であるデジタルデータの符号化された所
定のフレーム長毎の周波数情報を復号化する復号化手段
と,少なくとも高速フーリエ変換手段を含み,上記復号
化手段により復号化された上記周波数情報から元の時系
列信号である上記デジタルデータを復元する復元手段
と,上記復元手段により復元された上記デジタルデータ
の周波数情報を表示する情報表示手段とを具備し,符号
化された時系列信号である上記デジタルデータを復元し
ながら,該デジタルデータの周波数情報を上記情報表示
手段で表示するデジタルデータ処理装置において,上記
復元手段により復元された上記デジタルデータを上記高
速フーリエ変換手段へ入力する入力手段を具備すると共
に,上記情報表示手段が,上記高速フーリエ変換手段に
よって算出される復元された上記デジタルデータの周波
数情報を表示することを特徴とするデジタルデータ処理
装置とした構成される。このように構成することによっ
て,時系列信号である上記デジタルデータの周波数情報
を取得するために,FFT処理を含んで構成されるスペ
クトルアナライザ等の煩雑な処理を新たに付加すること
なく,上記デジタルデータの周波数情報を取得するする
ことが可能となり,プログラム容量の増大,或いは装置
の大型化を防ぐことができる。
【0024】また,請求項1に記載の上記デジタルデー
タ処理装置に適用したデジタルデータ処理方法として捉
えることによって本発明は,時系列信号であるデジタル
データの符号化された所定のフレーム長毎の周波数情報
を復号化する第1の工程と,上記第1の工程により復号
化された上記周波数情報から元の時系列信号である上記
デジタルデータを復元する第2の工程とを具備し,符号
化された時系列信号である上記デジタルデータを復元す
るデジタルデータ処理方法において,上記第1の工程に
より復号化された上記周波数情報を加工する第3の工程
を具備し,該第3の工程により任意に加工された上記周
波数情報が,上記第2の工程で復元されてなることを特
徴とするデジタルデータ処理方法となる。
【0025】同様に,請求項2に記載の上記デジタルデ
ータ処理装置に適用したデジタルデータ処理方法として
捉えることによって本発明は,時系列信号であるデジタ
ルデータを所定のフレーム長毎の周波数情報に変換する
第1の工程と,上記第1の工程により変換された上記周
波数情報を符号化する第2の工程とを具備し,時系列信
号である上記デジタルデータを符号化するデジタルデー
タ処理方法において,上記第1の工程により変換された
上記周波数情報を加工する第3の工程を具備し,該第3
の工程で任意に加工された上記周波数情報が,上記第2
の工程で符号化されてなることを特徴とするデジタルデ
ータ処理方法となる。
【0026】更に同様に,請求項7に記載の上記デジタ
ルデータ処理装置に適用したデジタルデータ処理方法と
して捉えることによって本発明は,時系列信号であるデ
ジタルデータの符号化された所定のフレーム長毎の周波
数情報を復号化する第7の工程と,少なくとも高速フー
リエ変換手段を含み,上記第7の工程により復号化され
た上記周波数情報から元の時系列信号である上記デジタ
ルデータを復元する第8の工程と,上記第8の工程によ
り復元された上記デジタルデータの周波数情報を表示す
る第9の工程とを具備し,符号化された時系列信号であ
る上記デジタルデータを復元しながら,該デジタルデー
タの周波数情報を表示するデジタルデータ処理方法にお
いて,上記第8の工程により復元された上記デジタルデ
ータを上記高速フーリエ変換手段へ入力する第10の工
程を具備すると共に,上記第9の工程により表示される
上記デジタルデータの周波数情報が,上記高速フーリエ
変換手段によって算出される周波数情報であることを特
徴とするデジタルデータ処理方法となる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係るデジタルデータ処理
装置の概略構成図。
【図2】本発明の実施の形態に係るデジタルデータ処理
装置によりデジタルデータを符号化(復号化)する処理
の流れを示す図。
【図3】本発明の実施の形態に係る加工手段の一例を示
す図。
【図4】本発明の実施の形態に係るデジタルデータ処理
装置によりデジタルデータをスペアナする処理の流れを
示す図
【図5】従来公知のデジタルデータ処理装置によりデジ
タルデータを符号化(復号化)する処理の流れを示す図
【図6】デジタルデータを符号化(復号化)する処理の
流れを示すフロー図
【符号の説明】
A …デジタルデータ処理装置 B …デジタルデータ処理装置 1 …データ入力部 2 …A/D変換部 3 …DSP 4 …記憶部 5 …制御部 6 …D/A変換部 7 …データ出力部 8 …操作表示部 10…Overlap部 11…MDCT部 12…量子化・ハフマン符号化部 13…ハフマン復号化・逆量子化部 14…IMDCT部 15…Overlap部 16…デジタルフィルタ 17…スペクトルアナライザ 18…加工手段 S1,S2,,…処理手順(ステップ)の番号
───────────────────────────────────────────────────── フロントページの続き (72)発明者 稗方 孝之 兵庫県神戸市西区高塚台1丁目5番5号 株式会社神戸製鋼所神戸総合技術研究所内 (72)発明者 森田 孝司 兵庫県神戸市西区高塚台1丁目5番5号 株式会社神戸製鋼所神戸総合技術研究所内 (72)発明者 橋本 裕志 兵庫県神戸市西区高塚台1丁目5番5号 株式会社神戸製鋼所神戸総合技術研究所内 (72)発明者 高橋 哲也 兵庫県神戸市西区高塚台1丁目5番5号 株式会社神戸製鋼所神戸総合技術研究所内 Fターム(参考) 5C059 MA23 ME02 SS30 UA05 5D045 DA02 DA11 5J064 AA00 BA09 BA16 BC01 BC06 BC07 BC29 BD03

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 時系列信号であるデジタルデータの符号
    化された所定のフレーム長毎の周波数情報を復号化する
    復号化手段と,上記復号化手段により復号化された上記
    周波数情報から元の時系列信号である上記デジタルデー
    タを復元する復元手段と,を具備し,符号化された時系
    列信号である上記デジタルデータを復元するデジタルデ
    ータ処理装置において,上記復号化手段により復号化さ
    れた上記周波数情報を加工する加工手段を具備し,該加
    工手段により任意に加工された上記周波数情報が,上記
    復元手段で復元されてなることを特徴とするデジタルデ
    ータ処理装置。
  2. 【請求項2】 時系列信号であるデジタルデータを所定
    のフレーム長毎の周波数情報に変換する周波数変換手段
    と,上記周波数変換手段により変換された上記周波数情
    報を符号化する符号化手段と,を具備し,時系列信号で
    ある上記デジタルデータを符号化するデジタルデータ処
    理装置において,上記周波数変換手段により変換された
    上記周波数情報を加工する加工手段を具備し,該加工手
    段で任意に加工された上記周波数情報が,上記符号化手
    段で符号化されてなることを特徴とするデジタルデータ
    処理装置。
  3. 【請求項3】 上記加工手段が,上記周波数情報の少な
    くとも一部に所定の数値を乗算或いは加算するものであ
    る請求項1或いは2のいずれかに記載のデジタルデータ
    処理装置。
  4. 【請求項4】 上記加工手段が,上記周波数情報を視覚
    的に表示する及び/若しくは変更することができる情報
    表示手段を備えてなる請求項1〜3のいずれかに記載の
    デジタルデータ処理装置。
  5. 【請求項5】 上記情報表示手段で表示され及び/若し
    くは変更される上記周波数情報が,スペクトル分布及び
    /若しくは音量レベルである請求項4に記載のデジタル
    データ処理装置。
  6. 【請求項6】 時系列信号であるデジタルデータの符号
    化された所定のフレーム長毎の周波数情報を復号化する
    復号化手段と,少なくとも高速フーリエ変換手段を含
    み,上記復号化手段により復号化された上記周波数情報
    から元の時系列信号である上記デジタルデータを復元す
    る復元手段と,上記復元手段により復元された上記デジ
    タルデータの周波数情報を表示する情報表示手段と,を
    具備し,符号化された時系列信号である上記デジタルデ
    ータを復元しながら,該デジタルデータの周波数情報を
    上記情報表示手段で表示するデジタルデータ処理装置に
    おいて,上記復元手段により復元された上記デジタルデ
    ータを上記高速フーリエ変換手段へ入力する入力手段を
    具備すると共に,上記情報表示手段が,上記高速フーリ
    エ変換手段によって算出される上記デジタルデータの周
    波数情報を表示することを特徴とするデジタルデータ処
    理装置。
  7. 【請求項7】 時系列信号であるデジタルデータの符号
    化された所定のフレーム長毎の周波数情報を復号化する
    第1の工程と,上記第1の工程により復号化された上記
    周波数情報から元の時系列信号である上記デジタルデー
    タを復元する第2の工程と,を具備し,符号化された時
    系列信号である上記デジタルデータを復元するデジタル
    データ処理方法において,上記第1の工程により復号化
    された上記周波数情報を加工する第3の工程を具備し,
    該第3の工程により任意に加工された上記周波数情報
    が,上記第2の工程で復元されてなることを特徴とする
    デジタルデータ処理方法。
  8. 【請求項8】 時系列信号であるデジタルデータを所定
    のフレーム長毎の周波数情報に変換する第4の工程と,
    上記第4の工程により変換された上記周波数情報を符号
    化する第5の工程と,を具備し,時系列信号である上記
    デジタルデータを符号化するデジタルデータ処理方法に
    おいて,上記第4の工程により変換された上記周波数情
    報を加工する第6の工程を具備し,該第6の工程で任意
    に加工された上記周波数情報が,上記第5の工程で符号
    化されてなることを特徴とするデジタルデータ処理方
    法。
  9. 【請求項9】 時系列信号であるデジタルデータの符号
    化された所定のフレーム長毎の周波数情報を復号化する
    第7の工程と,少なくとも高速フーリエ変換手段を含
    み,上記第7の工程により復号化された上記周波数情報
    から元の時系列信号である上記デジタルデータを復元す
    る第8の工程と,上記第8の工程により復元された上記
    デジタルデータの周波数情報を表示する第9の工程と,
    を具備し,符号化された時系列信号である上記デジタル
    データを復元しながら,該デジタルデータの周波数情報
    を表示するデジタルデータ処理方法において,上記第8
    の工程により復元された上記デジタルデータを上記高速
    フーリエ変換手段へ入力する第10の工程を具備すると
    共に,上記第9の工程により表示される上記デジタルデ
    ータの周波数情報が,上記高速フーリエ変換手段によっ
    て算出される周波数情報であることを特徴とするデジタ
    ルデータ処理方法。
JP2002053553A 2002-02-28 2002-02-28 デジタルデータ処理装置,およびその方法 Expired - Lifetime JP3537807B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002053553A JP3537807B2 (ja) 2002-02-28 2002-02-28 デジタルデータ処理装置,およびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002053553A JP3537807B2 (ja) 2002-02-28 2002-02-28 デジタルデータ処理装置,およびその方法

Publications (2)

Publication Number Publication Date
JP2003258647A true JP2003258647A (ja) 2003-09-12
JP3537807B2 JP3537807B2 (ja) 2004-06-14

Family

ID=28664949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002053553A Expired - Lifetime JP3537807B2 (ja) 2002-02-28 2002-02-28 デジタルデータ処理装置,およびその方法

Country Status (1)

Country Link
JP (1) JP3537807B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106867A (ja) * 2010-09-16 2020-07-09 ドルビー・インターナショナル・アーベー 信号生成システム及び信号生成方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106867A (ja) * 2010-09-16 2020-07-09 ドルビー・インターナショナル・アーベー 信号生成システム及び信号生成方法
US11355133B2 (en) 2010-09-16 2022-06-07 Dolby International Ab Cross product enhanced subband block based harmonic transposition
US11817110B2 (en) 2010-09-16 2023-11-14 Dolby International Ab Cross product enhanced subband block based harmonic transposition

Also Published As

Publication number Publication date
JP3537807B2 (ja) 2004-06-14

Similar Documents

Publication Publication Date Title
JP4444296B2 (ja) オーディオ符号化
JP3507743B2 (ja) 圧縮オーディオデータへの電子透かし方法およびそのシステム
US7698008B2 (en) Content-based audio comparisons
JP4439522B2 (ja) 離散値のシーケンスを有する信号を処理するための装置および方法
JP3814611B2 (ja) 時間離散オーディオサンプル値を処理する方法と装置
KR100804053B1 (ko) 2 이상의 입력 값을 처리하기 위한 장치 및 방법
JP2005531024A (ja) 圧縮されたマルチメディアコンテンツからのハッシュを生成する方法
CA2879823C (en) Device, method and computer program for freely selectable frequency shifts in the subband domain
CN101136203A (zh) 信号处理设备、方法、记录介质和程序
JP2011522291A (ja) オーバーラッピング変換の2つのブロック変換への因数分解
JP2008076636A (ja) オーディオ信号補間方法及びオーディオ信号補間装置
JP4429316B2 (ja) 時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号のドメイン変換を実行する装置及び媒体
TW301103B (en) The time domain alias cancellation device and its signal processing method
JP4359949B2 (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
JP2003258647A (ja) デジタルデータ処理装置,およびその方法
JP4446883B2 (ja) オーディオ符号化
JP2000132193A (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
US20050177257A1 (en) Digital signal processing method, learning method, apparatuses thereof and program storage medium
WO2003056546A1 (en) Signal coding apparatus, signal coding method, and program
Maher Wavetable synthesis strategies for mobile devices
JP3889738B2 (ja) 逆量子化装置、オーディオ復号化装置、画像復号化装置、逆量子化方法および逆量子化プログラム
JP4618823B2 (ja) 信号符号化装置及び方法
KR100349329B1 (ko) 엠펙-2 고품질 오디오 처리 알고리즘의 병렬 처리 방법
JP3778739B2 (ja) オーディオ信号再生装置およびオーディオ信号再生方法
den Brinker et al. Pure linear prediction

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040317

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080326

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090326

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100326

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100326

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110326

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110326

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120326

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120326

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 9