JP2003280675A - 残響付与方法、インパルス応答供給制御方法、残響付与装置、インパルス応答補正装置、プログラム及び該プログラムを記録した記録媒体 - Google Patents

残響付与方法、インパルス応答供給制御方法、残響付与装置、インパルス応答補正装置、プログラム及び該プログラムを記録した記録媒体

Info

Publication number
JP2003280675A
JP2003280675A JP2002081166A JP2002081166A JP2003280675A JP 2003280675 A JP2003280675 A JP 2003280675A JP 2002081166 A JP2002081166 A JP 2002081166A JP 2002081166 A JP2002081166 A JP 2002081166A JP 2003280675 A JP2003280675 A JP 2003280675A
Authority
JP
Japan
Prior art keywords
impulse response
background noise
attenuation
reverberation
frequency band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002081166A
Other languages
English (en)
Other versions
JP4019759B2 (ja
Inventor
Keimei Fujita
啓明 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2002081166A priority Critical patent/JP4019759B2/ja
Publication of JP2003280675A publication Critical patent/JP2003280675A/ja
Application granted granted Critical
Publication of JP4019759B2 publication Critical patent/JP4019759B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/08Arrangements for producing a reverberation or echo sound
    • G10K15/12Arrangements for producing a reverberation or echo sound using electronic time-delay networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

(57)【要約】 【課題】 暗騒音成分を含む実測インパルス応答を利用
して残響感を付与する場合においても、自然な残響感を
付与することが可能な残響付与方法等を提供する。 【解決手段】 残響付与装置にインパルス応答補正部3
00を設ける。帯域分割手段320は、実測インパルス
応答記憶手段310から供給される実測インパルス応答
を周波数帯域別に分割する。減衰補正手段330は、帯
域分割手段320から周波数帯域分割された各インパル
ス応答(以下、帯域別インパルス応答という)を受け取
ると、該インパルス応答の暗騒音部分を検出し、検出し
た暗騒音部分をフェードアウトする。波形再合成手段3
40は、帯域分割手段320から供給される帯域別イン
パルス応答を合成し、畳み込み演算用の係数列として畳
み込み演算部へ出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、教会やコンサー
トホール等の音場空間を再現するのに好適な残響付与方
法、インパルス応答供給制御方法、残響付与装置、イン
パルス応答補正装置、プログラム及び該プログラムを記
録した記録媒体に関する。
【0002】
【従来の技術】オーディオ信号に残響音を付与する方法
として、いわゆるインパルス応答畳み込み方式の残響音
付与方法がある。このインパルス応答畳み込み方式の残
響音付与方法は、コンサートホール等の音場空間におい
てインパルス音などの音響測定信号を発生した際に得ら
れるインパルス応答の測定データ(以下、実測インパル
ス応答と略記する)を予めメモリに記憶させ、音源ソー
スたるオーディオ信号に対し、該メモリに記憶された実
測インパルス応答を畳み込むことによって残響の付与さ
れたオーディオ信号を得るものである。この種の方法に
よれば、各種音場空間における実測インパルス応答を予
め得ておくことにより、それらの各空間に対応した多様
な残響音をオーディオ信号に付与することができる。
【0003】ところで、上記メモリに記憶される実測イ
ンパルス応答には、インパルス応答測定時の諸条件によ
り発生する、本来インパルス応答に含まれるべきではな
い定常的なノイズ成分(詳記すれば、インパルス応答を
測定するために用いるマイクロホンの性能や測定環境等
に起因して発生するノイズ成分)が含まれている。この
定常的なノイズ成分(以下、暗騒音成分という)を含む
実測インパルス応答がオーディオ信号に畳み込まれるこ
とで、一定レベルのノイズ状の響き(いわゆる、暗騒
音)が発生し、聴感上、不自然さを与えてしまうといっ
た問題が生じていた。
【0004】図14(a)は、測定により得られた暗騒
音成分を含む実測インパルス応答の実時間波形を例示し
た図であり、図14(b)は、図14(a)に示す暗騒
音成分を含む実測インパルス応答の音圧レベルをデシベ
ル(dB)表示した模式図である。図14(b)に示す
ように、実測インパルス応答は、時間の経過に伴って徐
々に減衰し、あるところから該減衰が止まってほぼ一定
の値(以下、暗騒音レベルという)を示すようになる。
ここで、該暗騒音レベルに到達する前のインパルス応答
には、暗騒音成分よりも本来の残響音成分(暗騒音成分
を除く成分)が多く含まれているため、当該インパルス
応答を残響付与に用いることで自然な残響感を与えるこ
とができる。一方、該暗騒音レベルに到達した後のイン
パルス応答には、暗騒音成分が多く含まれているため、
当該インパルス応答を残響付与に用いた場合には耳障り
な暗騒音が発生し、不自然な残響感を与えてしまう。
【0005】
【発明が解決しようとする課題】上記残響感の不自然さ
を除去する方法として、音圧レベルが暗騒音レベルに到
達した後に検出される部分(以下、暗騒音部分という)
を削除する方法があるが、該暗騒音部分を単純に削除し
た場合には、聴感上、残響が急に途切れた印象を与えて
しまう。
【0006】本発明は以上説明した事情を鑑みてなされ
たものであり、暗騒音成分を含む実測インパルス応答を
利用して残響を付与する場合においても、自然な残響感
を付与することが可能な残響付与方法、インパルス応答
供給制御方法、残響付与装置、インパルス応答補正装
置、プログラム及び該プログラムを記録した記録媒体を
提供することを目的とする。
【0007】
【課題を解決するための手段】上述した問題を解決する
ため、本発明に記載の残響付与方法は、オーディオ信号
にインパルス応答を畳み込むことにより残響付与を行う
残響付与方法であって、実測することにより得られる暗
騒音成分を含むインパルス応答を複数の周波数帯域に分
割する分割過程と、周波数帯域毎に分割された各インパ
ルス応答の減衰傾斜を求めると共に、周波数帯域毎に分
割された各インパルス応答の暗騒音部分を検出し、求め
た減衰傾斜に応じて、前記各インパルス応答における暗
騒音部分を補正する補正過程と、補正した後の各インパ
ルス応答を再合成する再合成過程と、前記オーディオ信
号に再合成した後のインパルス応答を畳み込む畳み込み
演算過程とを具備することを特徴とする。
【0008】かかる構成によれば、周波数帯域毎に分割
された各々のインパルス応答について、暗騒音部分が検
出され、検出された暗騒音部分について補正処理が施さ
れる。このように、暗騒音部分についてのみ補正処理を
施し、該補正処理後に合成したインパルス応答を畳み込
み演算用の係数列として使用することで、聴感上自然な
残響を付与することが可能となる。
【0009】また、本発明に記載のインパルス応答供給
制御方法は、サンプルデータ列としてオーディオ信号が
入力される畳み込み演算手段に、畳み込み演算用の係数
列としてインパルス応答を供給する方法であって、実測
することにより得られる暗騒音成分を含むインパルス応
答を複数の周波数帯域に分割する分割過程と、周波数帯
域毎に分割された各インパルス応答の減衰傾斜を求める
と共に、周波数帯域毎に分割された各インパルス応答の
暗騒音部分を検出し、求めた減衰傾斜に応じて、前記各
インパルス応答における暗騒音部分を補正する補正過程
と、補正した後の各インパルス応答を再合成する再合成
過程と、前記再合成した後のインパルス応答を前記畳み
込み演算手段に供給する供給過程とを具備することを特
徴とする。
【0010】また、本発明に記載の残響付与装置は、オ
ーディオ信号にインパルス応答を畳み込むことにより残
響付与を行う残響付与装置であって、実測することによ
り得られる暗騒音成分を含むインパルス応答を記憶する
記憶手段と、前記インパルス応答を複数の周波数帯域に
分割する帯域分割手段と、前記周波数帯域毎に分割され
た各インパルス応答の減衰傾斜を求めると共に、周波数
帯域毎に分割された各インパルス応答の暗騒音部分を検
出し、求めた減衰傾斜に応じて、前記各インパルス応答
における暗騒音部分を補正する減衰補正手段と、補正し
た後の各インパルス応答を再合成する再合成手段と、前
記オーディオ信号に再合成した後のインパルス応答を畳
み込む畳み込み演算手段とを具備することを特徴とす
る。
【0011】また、本発明に記載のインパルス応答補正
装置は、サンプルデータ列としてオーディオ信号が入力
される畳み込み演算手段に、畳み込み演算用の係数列と
して供給するインパルス応答を補正するインパルス応答
補正装置であって、実測することにより得られる暗騒音
成分を含むインパルス応答を記憶する記憶手段と、前記
インパルス応答を複数の周波数帯域に分割する帯域分割
手段と、前記周波数帯域毎に分割された各インパルス応
答の減衰傾斜を求めると共に、周波数帯域毎に分割され
た各インパルス応答の暗騒音部分を検出し、求めた減衰
傾斜に応じて、前記各インパルス応答における暗騒音部
分を補正する減衰補正手段と、補正した後の各インパル
ス応答を再合成する再合成手段とを具備することを特徴
とする。
【0012】また、本発明に記載のプログラムは、サン
プルデータ列としてオーディオ信号が入力される畳み込
み演算手段に、畳み込み演算用の係数列として供給する
インパルス応答を補正するためのプログラムであって、
コンピュータを、外部から入力される実測することによ
り得られた暗騒音成分を含むインパルス応答を複数の周
波数帯域に分割する分割手段と、前記周波数帯域毎に分
割された各インパルス応答の減衰傾斜を求めると共に、
周波数帯域毎に分割された各インパルス応答の暗騒音部
分を検出し、求めた減衰傾斜に応じて、前記各インパル
ス応答における暗騒音部分を補正する減衰補正手段と、
補正した後の各インパルス応答を再合成する再合成手段
として機能させることを特徴とする。
【0013】
【発明の実施の形態】A.本実施形態 (1)実施形態の構成 図1は、本実施形態に係る残響付与装置100の構成を
示すブロック図である。残響付与装置100は、残響を
付与すべきオーディオ信号をサンプルデータ列として出
力する音楽ソース200と、実測して得られたインパル
ス応答に補正処理を施し、補正処理後のインパルス応答
を畳み込み演算用の係数列として出力するインパルス応
答補正部300と、音楽ソース200から供給されるサ
ンプルデータ列とインパルス応答補正部300から供給
される係数列との畳み込み演算を行う畳み込み演算部4
00とを具備している。以下、残響付与装置100の特
徴を示すインパルス応答補正部300について、図2を
参照しながら詳細に説明する。
【0014】<インパルス応答補正部300>図2は、
インパルス応答補正部300の機能構成を示すブロック
図である。インパルス応答補正部300は、実測インパ
ルス応答記憶手段310と、帯域分割手段320と、減
衰補正手段330と、波形再合成手段340とを具備し
ている。実測インパルス応答記憶手段310は、実測し
て得られた実測インパルス応答を記憶するための記憶手
段である。かかる実測インパルス応答は、例えばホール
のステージ等に設置された音源からインパルス音などの
音響測定信号を発生させ、客席等に設置したマイクロホ
ン等を利用して測定される。実測インパルス応答記憶手
段310には、このようにして得られた実測インパルス
応答が記憶されている。
【0015】帯域分割手段320は、実測インパルス応
答記憶手段310から供給される実測インパルス応答を
周波数帯域別に切り出す(すなわち、分割する)手段で
あり、複数のフィルタ等によって構成されている。図3
は、帯域分割手段320の構成を示す図であり、図4
は、帯域分割手段320を構成するFIR型ハイパスフ
ィルタ(HPF)321−kを説明するための図であ
る。図3に示すように、帯域分割手段320は、複数の
ハイパスフィルタ321−k(1≦k≦n)と、各ハイ
パスフィルタ321−kに対応して設けられた複数の減
算器322−k(1≦k≦n)によって構成されてい
る。
【0016】各ハイパスフィルタ321−kには、実測
インパルス応答記憶手段310から供給される様々な周
波数成分を含む実測インパルス応答が入力される。これ
ら各ハイパスフィルタ321−kのカットオフ周波数
は、それぞれ異なる値に設定されており、図4に示すよ
うにハイパスフィルタ321−1のカットオフ周波数は
a(Hz)に設定され、ハイパスフィルタ321−2の
カットオフ周波数はa(Hz)よりも高いb(Hz)に
設定され、・・・ハイパスフィルタ321−nのカットオ
フ周波数はy(Hz)よりも高いz(Hz)に設定され
ている。この結果、同図に示すようにa(Hz)以上の
周波数成分を含むインパルス応答Aがハイパスフィルタ
321−1を通過し、b(Hz)以上の周波数成分を含
むインパルス応答Bがハイパスフィルタ321−2を通
過し、・・・、z(Hz)以上の周波数成分を含むインパ
ルス応答Zがハイパスフィルタ321−nを通過する。
【0017】ここで、上記ハイパスフィルタ321−k
を何段設けるか及び各ハイパスフィルタ321−kのカ
ットオフ周波数をどのように設定するかは、特に言及し
なかったが、これらはインパルス応答補正部300の設
計等に応じて適宜変更可能である。ただし、本実施形態
に係るインパルス応答補正部300は、暗騒音成分(前
掲図14(b)参照)を多く含む周波数帯域のインパル
ス応答を分離することを目的とする。従って、予め暗騒
音成分を多く含む周波数帯域(例えば、低周波帯域等)
がわかっていれば、該周波数帯域に基づいてハイパスフ
ィルタ321−kの段数及びカットオフ周波数を決定す
れば良い。
【0018】また、一般に残響時間はオクターブバンド
(或いは1/3オクターブバンド)毎に測定され、その
結果もオクターブバンド毎に異なることが知られてい
る。かかる事情に鑑み、実測インパルス応答をオクター
ブバンド(あるいは1/3オクターブバンド)毎に分割
するようにハイパスフィルタ321−kの段数及び各ハ
イパスフィルタ321−kのカットオフ周波数を決定し
ても良い。また、どのような遮断特性を有するハイパス
フィルタ321−kを用いるかは適宜変更可能である
が、遮断特性が急なフィルタを用いて周波数帯域分割し
た場合には、合成(後述)した際に周波数帯域毎の減衰
の様子が判別されてしまう。かかる問題を回避すべく、
当該フィルタの遮断特性をなだらかにすることで、隣り
合う周波数帯域が緩やかに重なり合うようにしても良
い。さらに、本実施形態では、FIR型のフィルタを用
いることでフィルタリングによる位相の反転を抑制して
いるが、かかるフィルタの種類は設計等に応じて適宜変
更可能である。
【0019】図3に戻り、各減算器322−k(減算器
322−1を除く)は、対応するハイパスフィルタ32
1−kを通過したインパルス応答と、当該ハイパスフィ
ルタ321−kの前段に設けられているハイパスフィル
タ321−(k−1)を通過したインパルス応答とを用
いて減算処理を行い、減算処理結果を出力する。各減算
器322−kの動作について具体的に説明すると、減算
器322−1にfmin(Hz)からfmax(Hz)
の帯域の周波数成分を持つ実測インパルス応答D.Cと
ハイパスフィルタ321−1を通過したインパルス応答
Aが入力されると、減算器322−1は、減算処理を行
ってfmin(Hz)〜a(Hz)の周波数成分を含む
インパルス応答を出力する(図5に示す、a参照)。同
様に、減算器322−2にハイパスフィルタ321−1
を通過したインパルス応答Aとハイパスフィルタ321
−2を通過したインパルス応答Bが入力されると、該減
算器322−2は、減算処理を行ってa(Hz)〜b
(Hz)の周波数成分を含むインパルス応答を出力する
(図5に示す、b参照)。
【0020】各減算器がこのような処理を実行すること
により、減算器322−3からb(Hz)〜c(Hz)
の周波数成分を含むインパルス応答が出力され(図5に
示す、c参照)、・・・、減算器322−nからy(H
z)〜z(Hz)の周波数成分を含むインパルス応答が
出力される(図5に示す、z参照)。なお、ハイパスフ
ィルタ321−nを通過したz(Hz)以上の周波数成
分を含むインパルス応答Zは、減算器322−nに出力
されると共に、減算器322−nを介すことなく直接減
衰補正手段330に出力される(図3参照)。
【0021】帯域分割手段320は、このようにして実
測インパルス応答D.Cを各周波数帯域毎に分割する
と、分割後の各インパルス応答(以下、帯域別インパル
ス応答という)を減衰補正手段330に出力する。図6
は、減衰補正手段330によって実行されるフェードア
ウト(補正)処理のフローチャートを示す図であり、図
7は、フェードアウト処理を説明するための図である。
なお、かかるフェードアウト処理は、帯域分割手段32
0から供給される全ての帯域別インパルス応答について
行われるが、説明の理解を容易にするために、以下では
ある特定の帯域別インパルス応答(例えば、a(Hz)
〜b(Hz)の周波数成分を含むインパルス応答等)を
例に説明を行う。
【0022】減衰補正手段330は、帯域分割手段32
0から帯域別インパルス応答を受け取ると、まず、該帯
域別インパルス応答の減衰傾斜(すなわち、残響の傾
き)を検出する(ステップS1;図7(a)参照)。次
に、減衰補正手段330は、該帯域別インパルス応答の
減衰がほぼ止まったときの音圧レベル(すなわち、暗騒
音レベル)を検出する(ステップS2;図7(b)参
照)。さらに、減衰補正手段330は、ステップS1に
おいて検出した残響の傾きを延長した直線と、ステップ
S2において検出した暗騒音レベルとの交点を求め(ス
テップS3;図7(c)参照)、求めた交点に対応する
時間よりも後の時間に検出されるインパルス応答(すな
わち、暗騒音部分)を、上記残響の傾きを延長した直線
に沿うようにフェードアウトし(ステップS4;図7
(d)参照)、フェードアウト処理を終了する。
【0023】減衰補正手段330は、帯域分割手段32
0から供給される全ての帯域別インパルス応答に対して
該フェードアウト処理を実行する。ここで、図8は、該
減衰補正手段330によってフェードアウト処理が施さ
れた後の帯域別インパルス応答波形を例示した図であ
り、図8(a)は、ある周波数帯域(便宜上、第1周波
数帯域という)の帯域別インパルス応答波形を例示し、
図8(b)は、第1周波数帯域よりも高い周波数帯域
(便宜上、第2周波数帯域という)の帯域別インパルス
応答波形を例示し、図8(c)は、第2周波数帯域より
も高い周波数帯域(便宜上、第3周波数帯域という)の
帯域別インパルス応答を例示した図である。
【0024】図8(a)〜図8(c)を比較して明らか
なように、各帯域分割インパルス応答毎に、減衰補正手
段330によって検出される残響の傾き、暗騒音レベ
ル、交点は異なっている。詳述すると、第1周波数帯域
の帯域別インパルス応答は、残響の傾きが緩やかであ
り、かつ、検出される暗騒音レベルも高く(図8(a)
参照)、第2周波数帯域の帯域別インパルス応答は、第
1周波数帯域の帯域別インパルス応答に比して、残響の
傾きが急であり、かつ、検出される暗騒音レベルも低く
(図8(b)参照)、第3周波数帯域の帯域別インパル
ス応答は、第2周波数帯域の帯域別インパルス応答に比
して、さらに残響の傾きが急であり、かつ、検出される
暗騒音レベルも低い(図8(c)参照)。このように、
各帯域別インパルス応答において検出される暗騒音レベ
ル及び暗騒音部分は異なっている。
【0025】ここで、実測インパルス応答を周波数帯域
分割することなく、フェードアウト処理を施した場合に
は、1つの減衰傾斜で全周波数特性が処理されるため、
特定の周波数帯域においてのみ自然な減衰となり、その
他の周波数帯域においては不自然な減衰となってしま
う。これに対し、本実施形態に係る減衰補正手段330
は、各帯域別インパルス応答毎に暗騒音レベル及び暗騒
音部分を検出し、検出結果に応じてフェードアウト処理
を行うため、全ての周波数帯域において自然な減衰を得
ることが可能となる。なお、減衰補正手段330によっ
て検出される残響の傾き、暗騒音レベル、交点等は、各
帯域別インパルス応答毎に異なるが、フェードアウト処
理の基本的な流れは、前掲図6を用いて同様に説明する
ことができるため、これ以上の説明は省略する。
【0026】さて、フェードアウト処理が施された各帯
域別インパルス応答は、減衰補正手段330から波形再
合成手段340へ順次供給される(図2参照)。波形再
合成手段340は、減衰補正手段330から各帯域別イ
ンパルス応答を受け取ると、これら各帯域別インパルス
応答の時間軸を揃えて足し合わせ、再合成することによ
り目的とするインパルス応答、すなわち暗騒音部分がフ
ェードアウトされたインパルス応答を得る。波形再合成
手段340は、このようにして得た合成後のインパルス
応答を畳み込み演算用の係数列として畳み込み演算部4
00に順次供給する。畳み込み演算部400は、波形再
合成手段340から供給される合成後のインパルス応答
を畳み込み演算用の係数列として用い、当該係数列と音
楽ソース200から供給されるサンプルデータ列との畳
み込み演算を行うことにより、聴感上、不自然さを感じ
させることない、すなわち自然な残響感を付与すること
が可能となる。
【0027】以上説明したように、本実施形態に係る残
響付与装置100によれば、実測インパルス応答を複数
の周波数帯域に分割し、分割後の各帯域別インパルス応
答にフェードアウト処理(図6、図7参照)を施し、合
成して得られたインパルス応答を畳み込み演算用の係数
列として用いることで、自然な残響感を付与することが
可能となる。
【0028】また、実測インパルス応答を複数の周波数
帯域に分割し、分割後の各帯域別インパルス応答にフェ
ードアウト処理を施すため、周波数帯域分割することな
くフェードアウト処理を施した場合と異なり、全ての周
波数帯域において自然な減衰を得ることが可能となる。
【0029】また、本実施形態に係る残響付与装置10
0によれば、実測インパルス応答そのものを利用して、
すなわち実測インパルス応答からパルス列を抽出して暗
騒音成分等を除去することなく、自然な残響感を付与す
ることが可能となる(なお、特開平6−351095号
公報には、実測インパルス応答からパルス列を抽出する
ことで暗騒音成分等を除去する技術が開示されている
が、本願発明はあくまで実測インパルス応答そのものを
利用し、かつ、帯域分割したインパルス応答の暗騒音分
を検出し、検出した暗騒音部分のみをフェードアウトさ
せる点に特徴があり、上記公報に開示された発明とは着
想等が異なることに留意されたい)。
【0030】また、本実施形態に係る残響付与装置10
0によれば、実測インパルス応答のうちの検出された暗
騒音部分のみをフェードアウトさせ、暗騒音部分以外の
部分については何ら処理を施さないため、フェードアウ
ト処理後に各帯域別インパルス応答を合成する場合に
は、暗騒音部分以外の部分は単に足し合わせるだけで復
元することが可能となる。また、実測インパルス応答を
周波数帯域毎に分割するハイパスフィルタ321−kに
ついて、遮断特性が緩やかなものを利用することによ
り、フェードアウトさせた暗騒音部分を合成した場合に
おいても自然な減衰を得ることが可能となる。
【0031】B.変形例 以上この発明の一実施形態について説明したが、上記実
施形態はあくまで例示であり、上記実施形態に対して
は、本発明の趣旨から逸脱しない範囲で様々な変形を加
えることができる。変形例としては、例えば以下のよう
なものが考えられる。
【0032】<変形例1>上述した本実施形態では、帯
域分割手段320が複数のハイパスフィルタ321−k
と、各ハイパスフィルタ321−kに対応して設けられ
た複数の減算器322−kによって構成されている場合
を例に説明を行ったが、複数のハイパスフィルタ321
−kの代わりに複数のローパスフィルタ321’−kを
設けることも可能である。
【0033】図9は、変形例1に係る帯域分割手段32
0’の構成を示す図であり、図10は、帯域分割手段3
20’を構成するFIR型ローパスフィルタ(LPF)
321’−kを説明するための図である。図9に示すよ
うに、帯域分割手段320’は、複数のローパスフィル
タ321’−k(1≦k≦n)と、各ローパスフィルタ
321’−kに対応して設けられた複数の減算器32
2’−k(1≦k≦n)によって構成されている。
【0034】各ローパスフィルタ321’−kには、実
測インパルス応答記憶手段310から供給される様々な
周波数成分を含む実測インパルス応答が入力される。こ
れら各ローパスフィルタ321’−kのカットオフ周波
数は、それぞれ異なる値に設定されており、図10に示
すようにローパスフィルタ321’−1のカットオフ周
波数はa(Hz)に設定され、ローパスフィルタ32
1’−2のカットオフ周波数はaよりも低いb(Hz)
に設定され、・・・ローパスフィルタ321’−nのカッ
トオフ周波数はyよりも低いz(Hz)に設定されてい
る。この結果、図10に示すようにa(Hz)以下の周
波数成分を含むインパルス応答Aがローパスフィルタ3
21’−1を通過し、b(Hz)以下の周波数成分を含
むインパルス応答Bがローパスフィルタ321’−2を
通過し、・・・、z(Hz)以下の周波数成分を含むイン
パルス応答Zがローパスフィルタ321’−nを通過す
る。
【0035】図9に戻り、各減算器322’−kは、上
述した本実施形態に係る減算器とほぼ同様の処理を実行
する。この結果、減算器322’−1からa(Hz)〜
fmax(Hz)の周波数成分を含むインパルス応答が
出力され(図11に示す、a参照)、減算器322’−
2からb(Hz)〜a(Hz)の周波数成分を含むイン
パルス応答が出力される(図11に示す、b参照)。
【0036】このような処理が各減算器によって実行さ
れることにより、減算器322’−3からb(Hz)〜
c(Hz)の周波数成分を含むインパルス応答が出力さ
れ(図11に示す、c参照)、・・・、減算器322’−
nからy(Hz)〜z(Hz)の周波数成分を含むイン
パルス応答が出力される(図11に示す、z参照)。な
お、ローパスフィルタ321’−nを通過したz(H
z)以下の周波数成分を含むインパルス応答Zは、減算
器322’−nに出力されると共に、減算器322’−
nを介すことなく直接減衰補正手段330に出力される
(図9参照)。
【0037】帯域分割手段320は、このようにして実
測インパルス応答D.Cを各周波数帯域毎に分割する
と、分割後の各インパルス応答(以下、帯域別インパル
ス応答という)を減衰補正手段330に出力する。な
お、この後の動作については、上述した本実施形態と同
様に説明することができるため、省略する。
【0038】<変形例2>また、上述したハイパスフィ
ルタ321−k若しくはローパスフィルタ321’−k
の代わりに、バンドパスフィルタを用いて帯域分割手段
を構成することも可能である。図12は、変形例2に係
る帯域分割手段320’’の構成を示す図である。図1
2に示すように、帯域分割手段320’’は、それぞれ
通過域が異なる複数のバンドパスフィルタ(BPF)3
21’’−k(1≦k≦n)によって構成されている。
【0039】バンドパスフィルタ321’’−1の低い
方のカットオフ周波数(以下、第1カットオフ周波数と
いう)はfmin(Hz)に設定され、高い方のカット
オフ周波数(以下、第2カットオフ周波数という)はa
(Hz)に設定されている。同様に、バンドパスフィル
タ321’’−2の第1カットオフ周波数はa(Hz)
に設定され、第2カットオフ周波数はb(Hz)に設定
され、・・・バンドパスフィルタ321’’−nの第1カ
ットオフ周波数はz(Hz)に設定され、第2カットオ
フ周波数はfmax(Hz)に設定されている。この結
果、上述した本実施形態とほぼ同様にfmin(Hz)
〜a(Hz)の周波数成分を含むインパルス応答がバン
ドパスフィルタ321’’−1を通過し、a(Hz)〜
b(Hz)の周波数成分を含むインパルス応答がバンド
パスフィルタ321’’−2を通過し、・・・z(Hz)
〜fmax(Hz)の周波数成分を含むインパルス応答
がバンドパスフィルタ321’’−nを通過する。
【0040】このように、ハイパスフィルタ321−k
若しくはローパスフィルタ321’−kの代わりに、バ
ンドパスフィルタ321’’−kを用いて帯域分割手段
320’’を構成することも可能である。また、帯域分
割手段では、FFTなどの手法により、実測インパルス
応答D.Cの単位時間ごとの各周波数帯域の特性を求め
て帯域別インパルス応答の周波数特性を得、それに基づ
いて本実施形態等に記載の減衰補正を行っても良い。
【0041】<変形例3>また、本実施形態に係る減衰
補正手段330は、残響の傾きを延長した直線に沿うよ
うに、暗騒音部分をフェードアウトさせる構成であった
が(図7(d)参照)、該暗騒音部分を該残響の傾きよ
りも緩やかに(若しくは急峻に)フェードアウトさせる
ことも可能である。
【0042】図13は、変形例3に係るフェードアウト
処理を説明するための図であり、図7(d)に対応する
図である。減衰補正手段は、暗騒音部分を検出すると、
残響の傾きを延長した直線(図13に示す、A参照)で
はなく、残響の傾きよりも緩やかな傾きの直線(図13
に示す、B参照)若しくは残響の傾きよりも急峻な傾き
の直線(図13に示す、C参照)に沿うように、検出し
た暗騒音部分をフェードアウトさせる。ここで、残響の
傾きよりも緩やかな傾きの直線を用いた場合は、聴感
上、より自然な残響を付与することが可能となる。な
お、かかる直線の傾きをどのような値に設定するかは、
残響付与装置100の設計等に応じて適宜変更可能であ
る。また、上記残響の傾き、および残響の傾きを延長し
た直線等に限らず、対数曲線などの任意の曲線に沿うよ
うに、検出した案騒音部分をフェードアウトさせても良
い。さらにまた、帯域分割手段320から供給される複
数の帯域別インパルス応答のうち、どの帯域別インパル
ス応答(一部の帯域別インパルス応答、全ての帯域別イ
ンパルス応答等)の暗騒音部分を残響の傾きよりも緩や
かに(若しくは急峻に)フェードアウトさせるかは、上
記と同様、残響付与装置100の設計等に応じて適宜変
更可能である。
【0043】<変形例4>また、本実施形態に係る波形
再合成手段340は、減衰補正手段330から各帯域別
インパルス応答を受け取ると、これら各帯域別インパル
ス応答の時間軸を揃えて足し合わせる構成であったが、
これら各帯域別インパルス応答の時間軸を意図的にずら
して合成し、各帯域毎に残響付与の開始タイミング若し
くは終了タイミングをずらすようにしても良い。かかる
構成によれば、非現実的な効果を奏する残響を付与する
ことが可能となる。さらに、各帯域分割インパルス応答
の振幅を適宜調整して合成すれば、既知のイコライザ
(帯域別のレベル調整、音量調整等)を使用した場合と
ほぼ同様の効果を得ることが可能となる。
【0044】<変形例5>また、上述した残響付与装置
100に係る諸機能をソフトウェアによって実現するこ
とも可能である。インパルス応答補正部300の機能を
例に説明すると、記録媒体(例えば、CD−ROM等)
から残響付与装置100にフェードアウト処理(図6等
参照)に係るプログラムをインストールする、あるいは
該ソフトウェアを備えたサーバから種々のネットワーク
(例えば、インターネット等)を介して残響付与装置1
00にインストールする。このように、上述した諸機能
をソフトウェアによって実現することも可能である。
【00045】
【発明の効果】以上説明したように、本発明によれば、
暗騒音成分を含む実測インパルス応答を利用して残響感
を付与する場合においても、自然な残響感を付与するこ
とが可能となる。
【図面の簡単な説明】
【図1】 本実施形態における残響付与装置の構成を示
すブロック図である。
【図2】 同実施形態に係るインパルス応答補正部の機
能構成を示すブロック図である。
【図3】 同実施形態に係る帯域分割手段の構成を示す
図である。
【図4】 同実施形態に係るFIR型ハイパスフィルタ
を説明するための図である。
【図5】 同実施形態に係る帯域分割手段による帯域分
割処理を説明するための図である。
【図6】 同実施形態に係るフェードアウト処理のフロ
ーチャートである。
【図7】 同実施形態に係るフェードアウト処理を説明
するための図である。
【図8】 同実施形態に係るフェードアウト処理後にお
ける各帯域別インパルス応答波形を例示した図である。
【図9】 変形例1に係る帯域分割手段の構成を示す図
である。
【図10】 同変形例に係るFIR型ローパスフィルタ
を説明するための図である。
【図11】 同変形例に係る帯域分割手段による帯域分
割処理を説明するための図である。
【図12】 変形例2に係る帯域分割手段の構成を示す
図である。
【図13】 変形例3に係るフェードアウト処理を説明
するための図である。
【図14】 (a)は、暗騒音成分を含むインパルス応
答の実時間波形を例示した図であり、(b)は、(a)
に示す暗騒音成分を含むインパルス応答をデシベル(d
B)表示した模式図である。
【符号の説明】
100・・・残響付与装置、200・・・音楽ソース、
300・・・インパルス応答補正部、400・・・畳み
込み演算部、310・・・実測インパルス応答記憶手
段、320、320’、320’’・・・帯域分割手
段、330・・・減衰補正手段、340・・・波形再合
成手段、321・・・ハイパスフィルタ、321’・・
・ローパスフィルタ、321’’・・・バンドパスフィ
ルタ、322、322’・・・減算器。

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 オーディオ信号にインパルス応答を畳み
    込むことにより残響付与を行う残響付与方法であって、 実測することにより得られる暗騒音成分を含むインパル
    ス応答を複数の周波数帯域に分割する分割過程と、 周波数帯域毎に分割された各インパルス応答の減衰傾斜
    を求めると共に、周波数帯域毎に分割された各インパル
    ス応答の暗騒音部分を検出し、求めた減衰傾斜に応じ
    て、前記各インパルス応答における暗騒音部分を補正す
    る補正過程と、 補正した後の各インパルス応答を再合成する再合成過程
    と、 前記オーディオ信号に再合成した後のインパルス応答を
    畳み込む畳み込み演算過程とを具備することを特徴とす
    る残響付与方法。
  2. 【請求項2】 前記再合成過程は、補正した後の各イン
    パルス応答の時間軸をずらして再合成することを特徴と
    する請求項1に記載の残響付与方法。
  3. 【請求項3】 前記補正過程は、周波数帯域毎に分割さ
    れた各インパルス応答の減衰傾斜を求めると共に、周波
    数帯域毎に分割された各インパルス応答の減衰がほぼ止
    まった後の部分を暗騒音部分として検出し、前記各イン
    パルス応答における暗騒音部分を前記求めた減衰傾斜に
    沿うように補正することを特徴とする請求項1または2
    に記載の残響付与方法。
  4. 【請求項4】 前記補正過程は、前記各インパルス応答
    における暗騒音部分のうち、一部のインパルス応答にお
    ける暗騒音部分を、前記求めた減衰傾斜とは異なる減衰
    傾斜に沿うように補正することを特徴とする請求項3に
    記載の残響付与方法。
  5. 【請求項5】 前記異なる減衰傾斜は、前記求めた減衰
    傾斜よりも緩やかな傾斜であることを特徴とする請求項
    4に記載の残響付与方法。
  6. 【請求項6】 サンプルデータ列としてオーディオ信号
    が入力される畳み込み演算手段に、畳み込み演算用の係
    数列としてインパルス応答を供給する方法であって、 実測することにより得られる暗騒音成分を含むインパル
    ス応答を複数の周波数帯域に分割する分割過程と、 周波数帯域毎に分割された各インパルス応答の減衰傾斜
    を求めると共に、周波数帯域毎に分割された各インパル
    ス応答の暗騒音部分を検出し、求めた減衰傾斜に応じ
    て、前記各インパルス応答における暗騒音部分を補正す
    る補正過程と、 補正した後の各インパルス応答を再合成する再合成過程
    と、 前記再合成した後のインパルス応答を前記畳み込み演算
    手段に供給する供給過程とを具備することを特徴とする
    インパルス応答供給制御方法。
  7. 【請求項7】 オーディオ信号にインパルス応答を畳み
    込むことにより残響付与を行う残響付与装置であって、 実測することにより得られる暗騒音成分を含むインパル
    ス応答を記憶する記憶手段と、 前記インパルス応答を複数の周波数帯域に分割する帯域
    分割手段と、 前記周波数帯域毎に分割された各インパルス応答の減衰
    傾斜を求めると共に、周波数帯域毎に分割された各イン
    パルス応答の暗騒音部分を検出し、求めた減衰傾斜に応
    じて、前記各インパルス応答における暗騒音部分を補正
    する減衰補正手段と、 補正した後の各インパルス応答を再合成する再合成手段
    と、 前記オーディオ信号に再合成した後のインパルス応答を
    畳み込む畳み込み演算手段とを具備することを特徴とす
    る残響付与装置。
  8. 【請求項8】 前記再合成手段は、補正した後の各イン
    パルス応答の時間軸をずらして再合成することを特徴と
    する請求項7に記載の残響付与装置。
  9. 【請求項9】 前記減衰補正手段は、周波数帯域毎に分
    割された各インパルス応答の減衰傾斜を求めると共に、
    周波数帯域毎に分割された各インパルス応答の減衰がほ
    ぼ止まった後の部分を暗騒音部分として検出し、前記各
    インパルス応答における暗騒音部分を前記求めた減衰傾
    斜に沿うように補正することを特徴とする請求項7また
    は8に記載の残響付与装置。
  10. 【請求項10】 前記減衰補正手段は、前記各インパル
    ス応答における暗騒音部分のうち一部のインパルス応答
    における暗騒音部分を、前記求めた減衰傾斜に沿うよう
    に補正することを特徴とする請求項9に記載の残響付与
    装置。
  11. 【請求項11】 前記異なる減衰傾斜は、前記求めた減
    衰傾斜よりも緩やかな傾斜であることを特徴とする請求
    項10に記載の残響付与装置。
  12. 【請求項12】 サンプルデータ列としてオーディオ信
    号が入力される畳み込み演算手段に、畳み込み演算用の
    係数列として供給するインパルス応答を補正するインパ
    ルス応答補正装置であって、 実測することにより得られる暗騒音成分を含むインパル
    ス応答を記憶する記憶手段と、 前記インパルス応答を複数の周波数帯域に分割する帯域
    分割手段と、 前記周波数帯域毎に分割された各インパルス応答の減衰
    傾斜を求めると共に、周波数帯域毎に分割された各イン
    パルス応答の暗騒音部分を検出し、求めた減衰傾斜に応
    じて、前記各インパルス応答における暗騒音部分を補正
    する減衰補正手段と、 補正した後の各インパルス応答を再合成する再合成手段
    とを具備することを特徴とするインパルス応答補正装
    置。
  13. 【請求項13】 サンプルデータ列としてオーディオ信
    号が入力される畳み込み演算手段に、畳み込み演算用の
    係数列として供給するインパルス応答を補正するための
    プログラムであって、 コンピュータを、 外部から入力される実測することにより得られる暗騒音
    成分を含むインパルス応答を複数の周波数帯域に分割す
    る分割手段と、 前記周波数帯域毎に分割された各インパルス応答の減衰
    傾斜を求めると共に、周波数帯域毎に分割された各イン
    パルス応答の暗騒音部分を検出し、求めた減衰傾斜に応
    じて、前記各インパルス応答における暗騒音部分を補正
    する減衰補正手段と、 補正した後の各インパルス応答を再合成する再合成手段
    として機能させるためのプログラム。
  14. 【請求項14】 サンプルデータ列としてオーディオ信
    号が入力される畳み込み演算手段に、畳み込み演算用の
    係数列としてインパルス応答を供給するためのプログラ
    ムであって、 コンピュータを、 外部から入力される実測することにより得られる暗騒音
    成分を含むインパルス応答を複数の周波数帯域に分割す
    る分割手段と、 前記周波数帯域毎に分割された各インパルス応答の減衰
    傾斜を求めると共に、周波数帯域毎に分割された各イン
    パルス応答の暗騒音部分を検出し、求めた減衰傾斜に応
    じて、前記各インパルス応答における暗騒音部分を補正
    する減衰補正手段と、 補正した後の各インパルス応答を再合成する再合成手段
    と、 前記再合成した後のインパルス応答を前記畳み込み演算
    手段に供給する供給手段として機能させるためのプログ
    ラム。
  15. 【請求項15】 請求項13または14に記載のプログ
    ラムを記録したことを特徴とするコンピュータ読み取り
    可能な記録媒体。
JP2002081166A 2002-03-22 2002-03-22 残響付与方法、インパルス応答供給制御方法、残響付与装置、インパルス応答補正装置、プログラム及び該プログラムを記録した記録媒体 Expired - Fee Related JP4019759B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002081166A JP4019759B2 (ja) 2002-03-22 2002-03-22 残響付与方法、インパルス応答供給制御方法、残響付与装置、インパルス応答補正装置、プログラム及び該プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002081166A JP4019759B2 (ja) 2002-03-22 2002-03-22 残響付与方法、インパルス応答供給制御方法、残響付与装置、インパルス応答補正装置、プログラム及び該プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2003280675A true JP2003280675A (ja) 2003-10-02
JP4019759B2 JP4019759B2 (ja) 2007-12-12

Family

ID=29229914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002081166A Expired - Fee Related JP4019759B2 (ja) 2002-03-22 2002-03-22 残響付与方法、インパルス応答供給制御方法、残響付与装置、インパルス応答補正装置、プログラム及び該プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP4019759B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1775996A1 (en) * 2004-06-30 2007-04-18 Pioneer Electronic Corporation Reverberation adjustment device, reverberation adjustment method, reverberation adjustment program, recording medium containing the program, and sound field correction system
JP2007174223A (ja) * 2005-12-21 2007-07-05 Chiba Inst Of Technology フィルタ設計方法、フィルタ設計システム
KR100769990B1 (ko) 2004-07-20 2007-10-25 재단법인서울대학교산학협력재단 입체음향의 공간감 및 거리감 제어를 위한 공간 임펄스응답 제어 장치
JP2008503793A (ja) * 2004-06-08 2008-02-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 残響サウンド信号のコーディング
US9094752B2 (en) 2009-09-07 2015-07-28 Samsung Electronics Co., Ltd. Apparatus and method for generating directional sound
US10339907B2 (en) 2017-03-15 2019-07-02 Casio Computer Co., Ltd. Signal processing apparatus
US11694663B2 (en) 2020-03-25 2023-07-04 Casio Computer Co., Ltd. Effect addition device, effect addition method and storage medium

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008503793A (ja) * 2004-06-08 2008-02-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 残響サウンド信号のコーディング
EP1775996A1 (en) * 2004-06-30 2007-04-18 Pioneer Electronic Corporation Reverberation adjustment device, reverberation adjustment method, reverberation adjustment program, recording medium containing the program, and sound field correction system
EP1775996A4 (en) * 2004-06-30 2011-08-10 Pioneer Corp REVERB-SETTING DEVICE, REVERB-SETTING METHOD, REVERB-SETTING PROGRAM, RECORDING MEDIUM CONTAINING THE PROGRAM, AND SOUND FIELD CORRECTION SYSTEM
US8041046B2 (en) 2004-06-30 2011-10-18 Pioneer Corporation Reverberation adjusting apparatus, reverberation adjusting method, reverberation adjusting program, recording medium on which the reverberation adjusting program is recorded, and sound field correcting system
KR100769990B1 (ko) 2004-07-20 2007-10-25 재단법인서울대학교산학협력재단 입체음향의 공간감 및 거리감 제어를 위한 공간 임펄스응답 제어 장치
JP2007174223A (ja) * 2005-12-21 2007-07-05 Chiba Inst Of Technology フィルタ設計方法、フィルタ設計システム
US9094752B2 (en) 2009-09-07 2015-07-28 Samsung Electronics Co., Ltd. Apparatus and method for generating directional sound
US10339907B2 (en) 2017-03-15 2019-07-02 Casio Computer Co., Ltd. Signal processing apparatus
US11694663B2 (en) 2020-03-25 2023-07-04 Casio Computer Co., Ltd. Effect addition device, effect addition method and storage medium

Also Published As

Publication number Publication date
JP4019759B2 (ja) 2007-12-12

Similar Documents

Publication Publication Date Title
KR101118922B1 (ko) 음향 가상 현실 엔진 및 전달 사운드 확장을 위한 향상된 기술들
US8750538B2 (en) Method for enhancing audio signals
JP5409377B2 (ja) 高域補間装置および高域補間方法
JP5042823B2 (ja) 音声信号反響除去
JP2008197284A (ja) フィルタ係数算出装置、フィルタ係数算出方法、制御プログラム、コンピュータ読み取り可能な記録媒体、および、音声信号処理装置
CN105393554A (zh) 利用正弦函数的音频滤波器
US20100189283A1 (en) Tone emphasizing device, tone emphasizing method, tone emphasizing program, and recording medium
JP4019759B2 (ja) 残響付与方法、インパルス応答供給制御方法、残響付与装置、インパルス応答補正装置、プログラム及び該プログラムを記録した記録媒体
JP3979133B2 (ja) 音場再生装置、プログラム及び記録媒体
JP2007329631A (ja) 音響補正装置
JPH09205345A (ja) オーディオ信号のフィルタリングのための方法及び装置
JP5136396B2 (ja) ハウリング抑制装置
JP3786036B2 (ja) 残響付与装置、残響付与方法、プログラムおよび記録媒体
US10477314B2 (en) Dynamic audio enhancement using an all-pass filter
JP5762797B2 (ja) 信号処理装置及び信号処理方法
JPH11327569A (ja) 自動音場補正を用いたゲーム装置の制御方法
WO2023032472A1 (ja) 信号処理システム、信号処理方法、および信号処理プログラム
JP2005338453A (ja) 音響シミュレーション装置、音響シミュレーションプログラム及び記録媒体
JP2008065232A (ja) ディジタル信号処理装置
WO2023032471A1 (ja) 信号処理システム、信号処理方法、および信号処理プログラム
US20050259833A1 (en) Frequency responses, apparatus and methods for the harmonic enhancement of audio signals
WO2023032470A1 (ja) 適応フィルタ装置、適応フィルタ方法、および適応フィルタプログラム
JP3918808B2 (ja) 音声信号の効果付与方法、音声信号の効果付与装置およびプログラム
JP6289041B2 (ja) イコライザ
JPH06351095A (ja) 残響音生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070917

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131005

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees