JP2012083768A - 複合波形の倍音変更方法 - Google Patents

Abstract

【課題】倍音および部分音振動数を振幅と振動数の両方が全時間に亙って移動する目標とみなし、振幅と周波数の両方において変更子を動かすことにより移動目標を調節することによって複合波形を操作する方法。
【解決手段】倍音振動数の操作および倍音振動数の合成は倍音ランクに基づく。変更子はランクに基づき振動数の動きと共に移動する。倍音変換は、ランク別に、波形を一方のソースから別の、即ち目標ソースへ変える。倍音および他の部分音強調は各々の振動数および隣接振動数に対する関係ならびに固定または移動しきい値を識別し、適切な調節を行う。自然倍音を模倣するモデル同様に補間も開示される。
【選択図】図４

Description

本発明は、複合波形の倍音変更方法に関する。

（クロス・リファレンス）
本出願は引用によりここに組み込まれている１９９８年１０月２９日提出の仮特許出願第６０／１０６，１５０号に関し、かつ、その恩典を請求する。

（用語集、背景、および、発明の概要）
本発明は一般的にオーディオ信号の処理と波形の処理、及び、周期的オーディオ信号の倍音成分（ハーモニック・コンテント）の修正に関し、更に詳細には、サウンドまたはサウンドの知覚を変えるために、この種信号の倍音成分を動的に変更する方法に関する。

本特許において用いられる多くの用語はこのセクションに集められて、定義される。

ヒトの耳に連続的に衝撃を与える多数の種類のサウンドの中で、或る１つのサウンドは、振幅と音色（タンバ）と音高（ピッチ）の特性が当該サウンドのものであると耳でわかるのに充分な長さと安定性のある特徴によって区別される。この種類のサウンドは楽音（トーン）と呼ばれる。

周波数およびラウドネス（音量）すなわち振幅が同じ音から或る特定の音を区別可能にする特性は、当該楽音（トーン）の品質すなわち音色（タンバ）である。あまり技術的でない用語を用いると、楽器に認職可能な個性すなわち性質を与える要因は、その大部分が或る時間に亙る当該サウンドの倍音成分であると表現される。

いくつかの楽器は、数百サイクルが発生するに十分な期間に相当する少なくとも２、３秒間に亙って特性が変化しない状態を維持することのできる安定した楽音（トーン）を生成する。この種の音を周期的(periodic)であると称する。

楽器を含む大部分の音源は、振幅と周波数が種々異なるサイン（正弦）波の混合体である複合波形を生成する。複合音に関与する個々のサイン波は、当該音の部分音(partial tone)または単に部分(partial)と呼ばれる。部分音または部分周波数は、限定的なエネルギ周波数帯域として定義され、倍音または倍音周波数は、例えばストリング（弦）などの機械的物体または空気柱（エアコラム）を整数個の節（ノード）で区分したような整数関係に基づく現象に従って生成される部分音として定義される。或る特定の複合音の音質すなわち音色は、その分割された部分音の音量、周波数、及び、振幅、特にそれら相互の振幅割合および相互の相対周波数（即ち、これらの要素が組み合わされるか又は混合される仕方）によって決定される。楽器で演奏される楽音は同一楽器で演奏される別の楽音に類似した音色を持つので、周波数のみでは決定要因にはならない。サウンドを扱う具体化されたシステムにおいて、部分音は実際に小さい周波数帯域におけるエネルギを表し、かつ、サンプリングレートおよび当該サンプリングシステムと関連する不確定イシューによって支配される。

オーディオ信号、特に楽器またはヒトの音声に関係するオーディオ信号は、信号がどのようにサウンドを出すかを定める特有の倍音成分を持つ。各信号は、基本周波数およびそれよりも高い倍音周波数によって構成される。組合わされたこれらサイクルの各々に関する図形的パターンは波形である。複合波の詳細な波形は、部分的には、複数の倍音の相対振幅に依存する。複数の倍音の間の振幅関係、周波数関係、または、位相関係を変えると、音の音楽的性質に関する耳での聞こえ方が変化する。

基本周波数（第１倍音またはｆ_１とも称する）およびより高位の倍音（ｆ_２からｆ_ｎまで）は、一般的に数学的に関係がある。一般的な楽器によって生成されるサウンドにおいて、高い倍音は殆どの場合、当該基本周波数の整数倍であるが、これに限られない。すなわち、第２倍音は基音の２倍の周波数であり、第３倍音は基音の３倍の周波数、等々である。これらの倍数は、しばしば高さ（ランキングナンバ又はランク）と呼ばれる。一般に、本特許において用いられる用語「倍音」は、基音を含む全ての倍音を表す。

各倍音は、基本周波数に対して振幅、周波数、および、位相の観点から或る関係を持ち、これらの関係は、聞こえるサウンドを変えるように操作可能である。周期的複合音はその構成要素（基音およびより高位の倍音）に分割される。この解析の図形表現はスペクトルと呼ばれる。従って、或る音特有の音色はスペクトルプロファイルにおいて図形的に表される。

一般的な楽器は、主として整倍数または整倍数に近い複数の倍音を含む音を生成することが多いが、様々な他の楽器および音源（ソース）は、基音およびより高位の倍音の間で更に複雑な関係を持つサウンドを生成する。多くの楽器は、整数倍でない部分音を生成する。これらの音は不調和音（非倍音）と呼ばれる。

現代の均等平均律（または西洋音楽の音階）は、オクターブ当たり１２個の均等間隔半音音程によって構成されるように音階を調節する方法である。任意の半音の周波数は当該半音の直前半音の周波数の２の１２乗根倍すなわち１．０５９４６３１倍である。これは、全てのオクターブ音程の周波数が比率１：２であるような音階を生じる。これらのオクターブは調和音程のみに限られ、全ての他の音程は不調和である。

音階本来の妥協性（中間性）により、例えばピアノは、全てのキーで演奏可能である。ただし、大部分の自動楽器（mechanical instrument）における倍音は厳密な倍数ではなく、「耳でわかる程度」であり、従って幾らかの楽器ではその調律が「ストレッチされ」、すなわち単純な数学的論式によって規制されるピッチ（調子）から調律がずれるので、平均律に正確に調律（チューニング）された、例えばピアノなどの楽器は、ヒトの耳には、高音域において完全に平坦に聞こえる。これらの偏りは、単純な数学公式によって規定された音に対して、わずかにシャープであるか、或いは、わずかにフラットであるかどちらかである。ストレッチチューニングにおいて、音と倍音の間の数学的な関係は依然として存在するが、しかし、これらの関係は更に複雑である。楽器を含む多くのクラスの発信／発振装置によって生成される倍音周波数間の関係は次の関数によってモデル化される
ｆ_ｎ＝ｆ_１ｘＧ（ｎ）
ここで、ｆ_ｎはｎ次倍音の周波数であり、ｎは倍音の高さを表す正の整数である。この種の関数の例を次に示す
ａ）ｆ_ｎ＝ｆ_１ｘｎ
ｂ）ｆ_ｎ＝ｆ_１ｘｎｘ［１＋（ｎ^２−１）β］^１／２
ここで、βは、楽器、または、多弦装置の弦に依存し、演奏されている音の周波数音域に依存することもある定数である。

オーディオ即ち楽音の感知される音高（ピッチ）は一般に（ただし常にではなく）周期信号における基音または最低周波数である。以前に言及したように、楽音は、種々異なる振幅関係、周波数関係、および、位相関係の倍音を含む。これらの倍音を重ねると、複合時間領域信号が作られる。信号に含まれる倍音の量および振幅はその音色または音楽的個性を最も強く表現する。

楽器の感知される楽音または特性の他のアスペクト（側面）は、楽器のデザイン、大きさ、材料、構成の詳細、特徴、及び操作方法によって強調または強化される可聴スペクトルの或る特定の区分または部分である共振帯を含む。これらの共振帯は、可聴スペクトルの他の区分に比較して更に音量が大きく感知される。

この種の共振帯は、周波数が固定されており、その楽器で別の異なる音が演奏される際にも一定である。これらの共振帯は、当該楽器で演奏される別の異なる音に対して移動（シフト）しない。これらは、任意の所与時間に演奏される特定の音でなく楽器の物理的性質によって決定される。

倍音成分と共振帯の間の主な差異は、基音周波数に対する関係が異なることである。倍音は、基音周波数の変化と共にシフトし、（すなわち、倍音は演奏される基音と直接的に連結されて周波数が移動し）、従って、基音に対して常に相対的である。基音が別の新たな基音にシフトすると、それら基音の倍音はそれら基音と共に変化する。

これとは対照的に、楽器の共振帯は周波数が固定され、移動する基音の関数として線形移動しない。

音自体の倍音構造および楽器自体の共振帯は別として、楽器の感知される音または音楽的特徴に関連する他の要因は、倍音成分が楽音の継続時間に亙っての変化の仕方を必要とする。楽音の継続期間、すなわち「ライフスパン」は、そのアタック（当該音が初めに打たれるか又は鳴らされる特徴的な方法）、サステイン（ある時間に亙って鳴らされる音の持続特性）、及び、ディケイ（音が終了する特徴的方法、例えば、突然のカットオフ対漸進的なフェード）がこの順序で特徴づけられる。

３段階、即ち、アタック、サステイン、及び、ディケイの期間全体に亙る音の倍音成分は、音の主な音質に関してヒトの耳に対する重要な知覚のヒントを与える。基音を含む複合時間領域信号における各倍音は、音の時間における音色の規定を助けるそれ自身の特徴的なアタック及びディケイ特性を有する。

倍音の相対振幅レベルは基音の振幅に関して当該音のライフスパン中に変化（場合により、強調または弱調される）するので、それに応じて、特定音の音色は当該音の継続時間に亙って変化する。弾かれるか、或いは、打たれる（ピアノ及びギターのように）楽器において、高位倍音は低位倍音よりも早くディケイ（減衰）する。これとは対照的に、管楽器（例えばフルート）および弓楽器（例えばバイオリン）を含む連続的に演奏される楽器においては、倍音は連続的に生成される。

例えば、ギターの場合には、知覚される音色を形成する２つの最も影響力の強い要因は、（１）ストリングによって生成されるコア倍音、および、（２）ギターボディの共振帯特性である。

一旦、ストリングが、基本周波数およびそれに関連する倍音のコアセットを生成すると、ボディ、ブリッジ、および、他の構成要素が、非線形であってかつ周波数に依存するその共振特性によって、まず音色を更に形成するように演奏される。ギターは共振帯または、１つの音の幾つかの倍音が基音の周波数に関係なく強められる領域を有する。

ギタリストは、ストリング及びフレット位置の異なる組合わせを用いてネック上の６箇所すべてにおいて正確に同じ音（同じ周波数または同じ音高）を演奏できる。ただし、基音とその倍音の間の関係が異なるので、６種のバージョンの各々は全く異なるサウンドを出す。従って、これらの差異は、ストリングの構成および設計、ストリングの直径、及び／又は、ストリングの長さにおける変化に起因する。ここで、「長さ」は必ずしも全ストリング長さでなく、音楽の高さを生じる振動する部分のみ、即ち、フレットされた位置からブリッジまでの距離を意味する。ボディ自体の共振特性は変化しないが、ストリングの直径、及び／又は、長さがこのように変化するので、異なるバージョンは、音高が同じでも知覚できるほど異なるサウンドを出す。

多くの場合、楽器の音色に変化を与えることが望ましい。現代的および伝統的な両方法は、固定帯域電子式イコライザと呼ばれる一種のフィルタを用いて基本的な形式で実施される。固定帯域電子式イコライザは、所定区分よりも大きい周波数スペクトル内における１つ又は複数の所定区分または帯域に影響する。望ましい強調（「ブースト」）または弱調（「カット」）は所定帯域内においてのみ発生する。１つ又は複数の帯域の外側に所在する音または倍音は影響されない。

与えられた周波数は、変化する基音との関係によって任意の倍音高さを持つことができる。共振帯フィルタすなわちイコライザは、周波数についてその固定帯域の内側にあるかまたは外側にあるかのみを認識し、周波数の倍音高さは認識または応答しない。イコライザは、入力される周波数が基音、第２倍音、第３倍音、等のいずれであるかを区別できない。従って、固定帯域イコライザの影響によっては、周波数の高さに関して変化またはシフトしない。等化は固定されたままであり、基音に対するそれらの倍音関係に関係なく、指定された周波数に影響を及ぼす。等化は、知覚される音色に著しく影響する倍音のレベルに影響するが、音、音声、楽器、または、他のオーディオ信号の固有「コア」倍音成分は変更しない。一旦調節されれば、固定帯域イコライザが影響するかどうかは、入力される音すなわち信号の周波数自体にのみ依存し、当該周波数が基音（第１倍音）、第２倍音、第３倍音、または他の高さであるかには依存しない。

今日の幾らかのイコライザはそれらのフィルタを動的に変更する能力を有するが、この場合の変更は倍音高さ情報でなくて時間的要素にのみ拘束される。これらのイコライザは、ユーザ入力コマンドによる定義に従ってフィルタの設置位置を変えることによってそれらのフィルタ作用を即座に調節する能力を持つ。本発明の方法の１つは、１０００帯域以上のグラフィックイコライザとして見ることもできるが、振幅および対応する影響を受けた周波数の、周波数および振幅が瞬時に変化すること、及び／又は、当該音の倍音エネルギ成分を修正するように周波数および振幅に対して非常に速く移動すること、及び、欠落倍音および変化に関して設定された倍音に関連した周波数の全ての後続および先行周波数を付加するシンセサイザと調和して作動することにおいて異なる。

ヒトの音声は、他の楽器類に見られるような、多くの同じ質および特性を備えた楽器とみなすことが可能である。ヒトの音声は、圧力のかかった空気によって作動するので、基本的には管楽器であるが、周波数発生の観点からは、多重倍音振動が複数の組織片によって生成されるが、組織片の振動周波数はそのテンション（張力）によって変更できるという点において、音声は弦楽器に類似する。固定共振チャンバを備えたアコースティックギターボディとは異なり、単一音の継続時間内に何度も共振空洞の或る種の態様は話し手によって変更可能であるので、音声の共振帯域は即座に調節可能な場合もある。共振は鼻腔および口腔の構成、舌の位置、および、全体的に声管と呼ばれる他の態様によって影響される。

（従来の技術）
Ｍａｔｓｕｍｏｔｏへ許可された米国特許第５，８４７，３０３号は、ヒト音声入力の周波数スペクトルを変える音声処理装置を開示する。この特許は、音声信号を別の人の音声（例えばプロの歌手の音声）のように聞こえるようにするために、入力音声信号を等化する幾つかの処理および演算ステップを具体化する。更に、この特許は、歌手の知覚される性別を変えることを可能とするクレームも開示する。

松本特許の周波数スペクトル修正は、原音声を解析することによって声管または共振子の形状をシミュレートする伝統的な共振帯域フィルタリングを用いることによって達成される。コンプレッサ（圧縮器）／エキスパンダ（膨張器）、及び、フィルタ（濾過器）に関連する係数は装置のメモリ又はディスクに記憶され、固定される（エンドユーザによって選択不可能）。Ｍａｔｓｕｍｏｔｏ特許の周波数追随効果は、入力された音声からの基本周波数情報を使用して音声をオフセットし、「適切な」または「正しい」音高（ピッチ）に調律することである。音高の変更は、声管内のフォーマット周波数をシフトする電子クロックレート操作を介して達成される。続いて、この情報は、完全な波形を合成する電子装置に供給される。特定の倍音は合成されず、基音周波数に関して個別に調節されることなく、信号全体が同じに扱われる。

類似の松本特許５，７５０，９１２は、モデル音声をエミュレートするために、単一音声を修正する装置である。アナライザーは、集められた歌声を順次解析し、その歌声を生成するために物理的に活性化された歌い手の独自の音声オルガンの反響特性を示す実際のフォーマットデータをそこから抽出する。シーケンサーは、モデル音声の音声品質を示す順次供給され、歌声の進行にマッチするようにアレンジされた参照フォーマットデータのために、歌声の進行に同期して動作する。比較器は、実際のフォーマットデータと参照フォーマットとを順次互いに比較し、歌声の進行の間にこれらの違いを検出する。イコライザーは、モデル音声の音声品質を抽出するために、検出された違いに基づき、集められた歌声の振動特性を修正する。イコライザーは、調整可能な中心周波数と調整可能な増加量を有するバンドパスフィルタを備えている。このバンドパスフィルタは、フォーマットのピーク周波数、ピーク周波数及びピークレベルに基づく個々の周波数特性を有する。

セラー等に与えられた米国特許５，５３６，９０２は、サウンドパラメーターを抽出し、制御することによってサウンドを解析し、合成する方法及び装置を開示している。これは、スペクトルモデリング合成方法（ＳＭＳ）を採用している。解析データは、オリジナルサウンド波形を作り上げる複数の要素を示す。解析データは、所定の要素に関する特性を得るために解析（分解）され、その後、そのデータは、得られた特性がサウンド又は音楽パラメータとして抽出されることを示す。抽出された音楽パラメータに対応する特性は、解析データから除去され、オリジナルサウンド波形は、このように修正された解析データと音楽パラメータとの組み合わせによって表現される。これらのデータはメモリに保持される。ユーザーは、これらの音楽パラメータは自在に制御できる。制御された音楽パラメータに対応する特性は、解析データに加えられる。このように、サウンド波形は、制御された特性が既に付加された解析データに基づいて合成される。解析タイプのこのようなサウンド合成技術において、自由な制御を与えることによって、フォーマットやビブラートのようなサウンド要素を修正することができる。

セタレスに与えられた米国特許５，５０４，２７０は、周波数（周波数）や振幅によって可聴入力信号の部分音を特定することにより、電子可聴入力信号の不協和音を解析し、減少又は増加させる方法を開示している。入力部分音の不協和音は、ここに開示された手順による参照部分音のセットに関して、算出される。１つ以上の入力部分音はその後シフトされ、不協和音が再計算される。不協和音が所望の方法で変化したら、シフトされた部分音は、それが演繹された入力部分音と置き換わるかもしれない。出力信号は、シフトされた入力部分音を含むように生成され、要求の通り、出力信号は大きめの不調和音又は少な目の不調和音となる。入力信号と参照部分音は、各々、例えば、パフォーマーと伴奏のような別々のソースから出てくる事もでき、その結果、出力信号は、参照部分音のソースに関しては、入力信号よりも大きな不調信号又は小さな不調信号となる。代替えとして、入力信号の本質的な不協和音を減らすために、参照部分音を入力信号から選択してもよい。

Ｇｒｏｂ−Ｄａ Ｖｅｉｇａに許可された米国特許第５，２１８，１６０は、低音または高音を生成することによって弦楽器音を強化する方法を開示する。この発明は、基音周波数を抽出し、倍音的に関係する低音および高音を生成するために当該周波数に整数または小さい分数を乗じる方法を用いる。従って、低音および高音は基音周波数（周波数）から直接導出される。

Ｓｌａｎｅｙへ許可された米国特許第５，７４９，０７３号はオーディオ情報の自動モーフィングを扱う。オーディオモーフィングは、それぞれ認識可能な特性を備えた複数のサウンドを混合して、両方の元の音源が合成された特性を備える新たなサウンドにする処理である。

Ｓｌａｎｅｙは多重ステップ技法を使用する。最初に、２つの異なる入力サウンドは解析（分解）可能な形式に変換され、倍音（調和）関係および不調和（非倍音）関係を見分ける種々の点で一致可能となる。一旦、入力が変換されると、ピッチ及びフォルマント周波数は２つの元のサウンドを一致させるために用いられる。一旦、一致すると、これらのサウンドはクロスフェード（即ち、合計されるか、または、事前に選択された割合で混合）され、次に、２つのサウンドの組合わせである１つの新たなサウンドを作るように変換される。用いられる方法は、音高の変化およびフィルタリングによるスペクトルプロファイル操作を用いる。以前に言及した特許におけると同様に、これらの方法は共振フィルタリングおよびフォーマット情報の操作を必要とする。

Ｅ．Ｔｅｌｌｍａｎ、Ｌ．ＨａｋｅｎおよびＢ．Ｈｏｌｌｏｗａｙによる論文「Ｔｉｍｂｒｅ Ｍｏｒｐｈｉｎｇ ｏｆ Ｓｏｕｎｄｓ ｗｉｔｈ Ｕｎｅｑｕａｌ Ｎｕｍｂｅｒｓ ｏｆ Ｆｅａｔｕｒｅｓ」（同じ個数でない特徴を備えたサウンドの音色モーフィング）（Ｊｏｕｒｎａｌ ｏｆ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ，Ｖｏｌ．４３，Ｎｏ．９，Ｓｅｐｔ．１９９５）に開示された技術はＳｌａｎｅｙ特許と密接に関連する。この技術は、Ｌｅｍｕｒ解析および合成を用いてサウンド間をモーフィングするアルゴリズムを必要とする。Ｔｅｌｌｍａｎ／Ｈａｋｅｎ／Ｈｏｌｌｏｗａｙによる「音色モーフィングコンセプト（概念）はタイムスケール修正」（通過の速度低下または速度上昇）、ならびに、個別正弦波（サイン波を基調とする）構成要素の振幅および周波数の修正に関係する。

Ｒｏｂｅｒｔ Ａ．Ｍｏｏｇによる米国特許４，０５０，３４３号は電子音楽シンセサイザに関する。音情報はユーザによって押される鍵盤キーから導出される。押された鍵盤キーは、電圧／被制御されるオシレータであって、その出力がバンドパスフィルタ、ローパスフィルタ、及び、出力増幅器を制御するオシレータを制御する。バンドパスフィルタの中心周波数および帯域幅は制御電圧を印加することによって調節される。ローパスフィルタのローパスカットオフ周波数は制御電圧の印加によって調節され、増幅器の利得は制御電圧によって調節される。

アイオナイザ［Ａｒｂｏｒｅｔｕｍ Ｓｙｓｔｅｍｓ社］と呼ばれる製品において、ノイズのみの特徴を示す信号に含まれるノイズのスペクトルを得るための方法は「事前解析」を用いることによって開始する。テープヒス、録音プレーヤノイズ、ハム、及び、バズ音は再発型ノイズであるので、これは、オーディオシステムにおいて実際に非常に有用である。サウンドプリントを得ることにより、これは、「アンチ‐ノイズ」を作成し、それを音源信号から差し引く（必ずしも直接とは限らない）ための基準として用いられる。プログラムの音響設計（Ｓｏｕｎｄ Ｄｅｓｉｇｎ）部分内の通路において「ピーク検出（ｐｅａｋ ｆｉｎｄｉｎｇ）」を使用することにより、５１２帯域のゲートＥＱ（イコライザ）を実装し、これによって、個別の倍音を引き抜くか、又は、或る特定のサウンド要素を除去するための非常に急峻な「ブリックウォール（煉瓦壁体）」フィルタを作ることができる。これらは、動的フィルタの作成を可能にするスレショルド（閾値）機能を実装する。しかし、この場合にも、ここで用いられる方法は基本周波数に対して追随または追跡せず、倍音除去は周波数帯域内において実行しなければならず、従って、楽器に関する全通路は追跡されない。

Ｋｙｍａ−５は、Ｓｙｍｂｏｌｉｃ Ｓｏｕｎｄ社によって開発されたソフトウェアとハードウェアの組合わせである。Ｋｙｍａ−５は、カピバラ（Ｃａｐｙｂａｒａ）ハードウェアプラットホームによって加速されるソフトウェアである。Ｋｙｍａ−５は本来合成ツールであるが、入力は既存の記録された音響ファイルから得ることも可能である。Ｋｙｍａ−５はリアルタイム処理能力を持つが、本来静的ファイル処理ツールである。Ｋｙｍａ−５の一態様（アスペクト）は、音通路のスペクトルディスプレイから部分音を図形的に選択し、処理を適用する能力である。Ｋｙｒｍａ−５は視覚的に部分音の選択に近づき、倍音の高さの位数を用いることなく周波数帯域内スペクトルディスプレイの「接続された」ドットを識別する。倍音は、手動で設定された帯域内に在れば選択できる。Ｋｙｍａ−５は、静的ファイルの倍音を解析し、加算合成を含む様々な合成アルゴリズムを適用することによって当該静的ファイルからサウンドまたは通路を再合成できる。ただし、継続時間全体に亙って音が変化する場合に、基本音に対して倍音を追跡する自動的な処理は行われない。Ｋｙｍａ−５は、ユーザが１つの基本周波数を選択することを可能にする。Ｋｙｍａスペクトル解析ツール上の点を識別することによって厳密に非倍音（インハーモニシティー）である点を識別できる。最終的に、Ｋｙｍａはサウンドにストレッチ定数を適用しない。

米国特許第５，８４７，３０３号 米国特許第５，７５０，９１２号 米国特許第５，５３６，９０２号 米国特許第５，５０４，２７０号 米国特許第５，２１８，１６０号 米国特許第５，７４９，０７３号 米国特許第４，０５０，３４３号

（発明の方法および結果）
本発明は、複合オーディオ信号が時間経過とともに進行するにつれて各々のあらゆる基音、及び／又は、音の特定の倍音を、ユーザが規定した方法で修正することにより、信号、波形、音、または、任意の音源によって生成される他の信号の音質または音色に作用する。例えば、楽音（または、他の信号波形）の倍音に適用されるユーザが決定した変更は、時間経過と共に音楽が通過するにつれて、その次の音または信号、および、またその後の音および信号、および、あらゆる後続する音または信号にも適用され得る。本発明の全ての態様は、時間の経過とともに目標の振幅と周波数の両方が移動するにつれて音、サウンド、部分音、倍音、音色、非倍音、信号、等を調査し、かつ時間経過とともに振幅および周波数が調節可能な修正子を移動させることによって移動目標を調節することに留意することが重要である。

本発明が具現する方法を次に示す。
＊ 複合波形のあらゆる倍音（ｆ_１からｆ_∞まで）のエネルギを動的および個別に変更する。
＊ あらゆる他の倍音に対して定義された振幅および位相関係を有する新たな倍音（例えば、望ましいサウンドから「欠落」している倍音）を作成する。
＊ 整数や、ｆ_ｎ＝ｆ_１ｘｎｘＳ^ｌｏｇ _２ ^ｎなどのユーザ定義の倍音関係に基づいて、合成サウンド内に自然発生する倍音を識別および模倣する。
＊ 倍音を抽出し、修正して、音内に再度挿入する。
＊ 周波数、振幅、及び／又は、他のパラメータに応じて信号を補間して、選択された音の倍音構造を調節可能とし、次に、ユーザ調節点の一方から他方の点までの音楽レンジ全体に亙り、ユーザによって規定された幾つかの曲線または音調曲線のいずれかに従って信号の倍音構造をシフトする。
＊ 倍音のアタックレート、ディケイレート、及び／又は、サステインパラメータを動的に変更する。
＊ 種々のタイプを処理するために複合信号からあらゆる倍音を分離する。
＊ 信号内の部分音の周波数および振幅に基づき、信号内の部分音のレベルを変える。
＊ 倍音の高さ及び振幅に基づき、複合信号の倍音のレベルを連続的に変える。
＊ 選択された通路全体にわたるか、又は、通路の任意の部分において、固定量または可変量だけ倍音を増大または減少させる。
＊ 記録処理において、または、情報が記録された磁気または他の元の媒体の劣化のいずれかにより喪失、損傷、または、修正された可能性のある音源信号の特性情報を復元する。
＊ ストレッチ関数ｆ_ｎ＝ｆ_１ｘｎｘＳ^ｌｏｇ _２ ^（ｎ）を用いて部分音および倍音の位置を計算する。
＊ 倍音調節および倍音合成の前述実施形態の組合わせを用いて、あるサウンド信号を他の信号タイプのサウンド信号に一致し、類似し、または、部分的に類似するように倍音的に変換する。
＊ 新型を含むがこれに限定されることなく、ギターシンセサイザ、バスシンセサイザ、ギター、バス、ピアノ、キーボード、スタジオ音修正装置、マスタリング音修正装置、新規スタイルの等化デバイス、及び、音、サウンド、または、信号を修正する前述の方法と関係のある新規オーディオデジタルハードウェア及びソフトウェア技術を含む新規楽器に関する基本を提供する。

＊ 音声、楽器音、または、他のオーディオ信号の混合体から、音声、楽器音、楽音、部分音、倍音、サイン波、その他のサウンドまたは信号（又は、サウンドまたは信号の部分）を分離または隔離する。
＊ 他のこの種混合体内の聞き取りにくい音声、楽器音、楽音、倍音、部分音、他のサウンドまたは信号、サウンドまたは信号の部分を前以てハイライトする。
＊ ノイズをキャンセルするか、又は、ノイズを軽減する。
＊ この種の他の信号の混合体内の強すぎる、すなわち目立ちすぎる音声、楽器音、楽音、倍音、部分音、他のサウンドまたは信号、又は、サウンドまたは原音の部分を前以て平滑化または減衰させる。
＊ 低音量を強調し、及び／又は、比較的高音量の音、部分音、倍音、非倍音、または音楽の通路内の他の信号や他の複合時間領域信号を減衰させ、又は弱化させる。
＊ 比較的低レベル情報が一層容易に見分けられ、かつ／または、処理され得るように、部分音の或る特定振幅レンジを除去する。
＊ 音声、楽器音、楽音、倍音、部分音、その他のサウンドまたは信号、又は、サウンドまたは信号の部分の更に望ましい平衡を一般的に実施する。

（方法の概要）
本処理は、伝統的な楽器に制限されることなく、あらゆる入力ソース信号波形または構成要素に対して、その知覚される質を修正し、音色の特定態様を強化し、または、特定態様を弱調するために適用される。これは、所与信号に関するスペクトルの個別倍音、及び／又は、部分音の操作によって達成される。本発明によれば、倍音または部分音の調節は或る特定の限定期間に亙って実施される。これは、不確定期間に亙って維持される総称的固定帯域等化とは異なる。

割り当てられた処理は、倍音（又は、倍音のグループ）のエネルギレベルを操作するか、または、新たな倍音（又は、倍音のグループ）、または、部分音を生成するか、または、倍音（又は、倍音のグループ）、または、部分音を完全に除去することによって達成される。操作はあらゆる他の倍音の応答に結び付け可能であり、或いは、操作は任意の周波数または倍音の高さまたはユーザが選択した他のパラメータに結び付け可能である。また、調節は既存の倍音とは無関係に生成可能である。方法の任意の組み合わせを使用する多重操作が用いられる場合もある。倍音または倍音のグループが、種々の手段により、個別処理されるために分離される場合もある。更に、部分音が強調または弱調される場合もある。

倍音操作の好ましい実施形態はデジタル信号処理（ＤＰＳ）技法を用いる。フィルタリングおよび解析方法はコンピュータ（例えば、ＤＳＰまたは他のマイクロプロセッサ）によりデジタルデータ表現に関して実施される。デジタルデータは、サンプリングされ、アナログ電気波形からデジタルデータに変換されたアナログ信号または複合波形を表す。処理が完了すると、データはアナログ電気信号へ変換し戻される。また、データは、デジタル形式で他のシステムへ伝送され、同様に、何等かの形の磁気または他の記憶媒体に局所的に記憶される。信号源はデジタルオーディオフォーマットにおいてほぼリアルタイム又は事前記録され、ソフトウェアは所要演算および操作を実施するために用いられる。

本発明の前述以外の目的、利点、および、新規の特徴は、添付図面と共に考察すれば本発明に関する次の詳細な記述から明白になるはずである。

振動数対振幅目盛りにおける４つの楽音および４つのグラフを示す図である。これらは相互に関係し合い、倍音のアコーディオン効果を生じる。 振動数対振幅目盛り上の特定時点における楽音の倍音内容のグラフである。 本発明の原理が組み込まれた図２の個別振動数および合成振動数の調節を示す図である。 本発明に従って振幅および振動数追従フィルタ方法を用いた図３に示す方法を実施するシステムの第１実施形態を示す概略図である。 本発明に従うバケツリレー方法を用いた図３の方法を実施するシステムの構成図ある。 振動数（Ｘ軸）、時間（Ｙ軸）、大きさ（Ｚ軸）の関数としての４４０ヘルツピアノ鍵盤の単一指弾から発生する複合波形のスペクトルプロファイルグラフである。 倍音および他の部分音強調、及び／又は、倍音変換の原理に従って変更された信号のグラフである。 フルートとピアノの同一楽音の早期および後期両時限における倍音変換に関するスペクトル内容を示す図である。 本発明に従った強調方法を実施するポテンシャルしきい値曲線を示すグラフである。 図９Ａと共に用いられる調節方法のポテンシャル低レベルを示す図である。 倍音および他の部分音強調のためのポテンシャル固定しきい値方法を示すグラフである。 倍音および他の部分音強調方法に関する振動数帯域動的しきい値例曲線を示すグラフである。 本発明の操作を実施するシステムの構成図である。 本発明の原理が組込まれたソフトウェア又は方法段階の構成図である。

（倍音調節）
倍音調節および合成の目標は、倍音の特性を当該倍音それぞれの高さの位数に基づいて個別に操作することにある。この操作は、特定音の振幅が維持される継続期間全体に亙る。倍音は、その周波数を中心周波数とするフィルタを適用することにより調節される。本発明全体を通じて、フィルタはイコライザ（等化器）、数式モデル、またはアルゴリズムの形式であっても差し支えない。フィルタは、他のいずれかの倍音に対する、当該倍音の周波数、振幅、および、時間における位置に基づいて計算される。再び、本発明においては、倍音を移動する周波数目標および振幅目標として扱う。

本発明においては、入力されようとしている信号をシフトする全ての仕方を予測し、演算およびユーザの入力および制御に対応する。ほぼリアルタイムに「予測すること」は実際に、例えば適切な処理を始動するために、入来データ（即ち、オーディオ信号）の適切な特性が認識可能であるような最小量の時間に亙るデータ収集を必要とする。この情報は、必要な態様が確認されるまで、遅延バッファに記憶される。遅延バッファは、新しいデータによって絶えず満たされ、不必要なデータは、それがもう必要でない時、バッファの「最古」端部から除去される。これは、ほぼリアルタイム状況においていかに小さい待ち時間が発生するかを意味する。

ほぼリアルタイムとは、最大約６０ミリ秒の微細な遅延を意味する。それは、映画フィルムにおけるフレーム２個以下の継続時間としてしばしば表現される。ただし、フレーム１個の遅延が好ましい。

本発明において、処理フィルタは倍音の移動を予想し、倍音が第１倍音（ｆ_１）に対して移動するのにつれて移動する。指定された倍音（又は、「振幅調節にための倍音集合」）は、倍音高さに関連して数学的に固定された量だけ周波数がシフトする。例えば、第１倍音（ｆ_１）が１００Ｈｚから１１０Ｈｚに変化すれば、第４波倍音（ｆ_４）に関する本発明の倍音調節フィルタは４００Ｈｚから４４０Ｈｚにシフトする。

図１は、一連の音４個、および、所定の時点における各音の４個の倍音の特徴的な倍音成分を示す。この仮説的シーケンスは、倍音およびフィルタが基音、倍音、および、相互に対してどのように移動するかを示す。これらの移動する倍音の振幅および周波数両方を時間経過と共に追跡することは、ここに具体化される処理方法における重要な要素（キーエレメント）である。

周波数間の間隔または距離（フィルタ間の感覚に対応する）は、基音の周波数が上昇するにつれて膨張し、基音の周波数が低下するにつれて収縮する。図形的に説明すれば、本明細書において、この処理は「アコーデオン効果」として知られている。

本発明は、振幅調節のために設定された信号の、非静止の（周波数の変化する）倍音と共に移動するフィルタを用いて、時間経過における倍音の振幅を調節するように設計されている。

具体的には、個別の倍音はパラメータ的にフィルタリング、及び／又は、増幅される。これによって、（従来型装置を用いて現在行なわれているように）その中に当該倍音が現れる周波数帯域に基づくことなく、倍音の高さ及び、どの倍音の高さの位数がフィルタリングされるものとして設定されているかに基づき、演奏されている個々の音のスペクトルにおける様々の倍音の相対振幅が増大および減少する。これは、例えば、音楽または複合波形の記録の後でオフラインに実施されてもよいし、または、ほぼリアルタイムに実施されてもよい。これがほぼリアルタイムに実施されるためには、個別に演奏された音の倍音周波数は、周知の周波数検出法または高速基音検出（Fast Find Fundamental）方法を用いて決定され、次に、決定された音に対して倍音別のフィルタリングが実施される。

倍音はこの独特の仕方において操作されるので、１つ又は複数の固定された共振帯域に割り当てられた従来型フィルタを用いるとスペクトルの断片にのみ作用するのとは対照的に、精密に選択された個別倍音に関して楽器の全体的音色が影響される。

説明を容易にするために、図１−３に示す倍音関係のモデルはｆ_ｎ＝ｆ_１ｘｎとする。

例えば、次の２つの音（図１の音１と音３）の第４倍音は周波数レンジが異なるが、この形式のフィルタは４００Ｈｚである第４倍音を、２４００Ｈｚの第４倍音をフィルタリングするのと同じ方法でフィルタリングするする。本発明のこの適用は、従来型周波数帯域毎の等化装置に対する補足として、及び／又は、代替物として有用なはずである。出力するために、演奏された音のこれらの個別にフィルタリングされた倍音を混合することについては、図４及び５に関して検討することとする。

図２は一時点におけるある信号の倍音成分の一例を示す。基音周波数（ｆ_１）は１００Ｈｚである。従って、１００Ｈｚの倍数において、この信号の倍音は２００Ｈｚ（ｆ_２＝ｆ_１ｘ２）、３００Ｈｚ（ｆ_３＝ｆ_１ｘ３）、４００Ｈｚ（ｆ_４＝ｆ_１ｘ４）、等々である。説明のために、この例には合計１０個の倍音を示すが、実際の信号は更に多くの倍音を持つ場合が多い。

図３は、本発明によって実施可能な図２に示す幾つかの倍音の調節修正を示す。２００Ｈｚ（第２倍音）、４００Ｈｚ（第４倍音）、５００Ｈｚ（第５）、及び、１０００Ｈｚ（第１０）に位置する倍音のエネルギ成分および振幅は上方調節される。６００Ｈｚ（第６倍音）、７００Ｈｚ（第７倍音）、８００Ｈｚ（第８）、及び、９００Ｈｚ（第９）における倍音のエネルギ成分および振幅は下方調節される。

本発明を用いると、倍音は、種々の方法により、振幅が増大または減少させられる、（ここでは、「振幅調整機能」と称する）。現代的一方法は、対象とするタイムフレーム全体に亙って具体的に計算されたデジタルフィルタを適用することである。これらのフィルタは調節されつつある倍音の周波数の移動に応じてフィルタの振幅および周波数を調節する。更に、別の方法でも、デジタル信号処理を用いて、例えば、シヌソイド（正弦曲線）の位相を対象とする倍音に一致させ、次に、（Ａ）減少させるためには、元の信号に反転波形を加えることにより、所要量を減算し、又は（Ｂ）強化するためには、基準化されたバージョンの波形（すなわち、所望の係数が乗じられる波形）を加算する。

他の実施形態においては、周波数が隣接する一連のフィルタ又は一連の固定周波数フィルタを使用する。この場合、１つの倍音があるフィルタレンジから次のフィルタレンジに移動する際に、処理工程は「バケツリレー」方式で手渡される。

図４は実装実施形態を示す。ピックアップ、マイクロホン、または、事前記憶されたデータからの入力１０における信号は倍音信号検出ＨＳＤ１２、および、フィルタのバンク１４に供給される。バンク１４における各フィルタは倍音検出信号の特定の倍音周波数に関してプログラム可能であり、ｆ_１、ｆ_２、ｆ_３．．．ｆ_Ｎによって表される。コントローラ１６は各フィルタの周波数を、当該倍音の高さに関する倍音信号検出器１２によって検出された倍音周波数に一致する周波数に合わせる。個別倍音の所要の修正は、ユーザ入力に基づいてコントローラ１６によって制御される。フィルタのバンク１４の出力はミキサ１８において入力１０からの入力信号と組合わされ、使用される所定のアルゴリズムに依存する出力２０に、組み合わせ出力信号として供給される。以下に、図３に関して検討するように、コントローラ１６は、ミキサ１８においてイコライザバンク１４および入力１０からの信号と組合わされるべき合成倍音も同様に供給する。

図５は交互バケツリレー方式を実施するように修正されたシステムを示す。イコライザバンク１４’はフィルタのバンクを有し、それぞれのフィルタはＦａ、Ｆｂ、Ｆｃ、等々によって表される固定周波数隣接帯域幅を有する。コントローラ１６は、倍音信号検出器１２によって識別される倍音信号を受け取ると、検出された倍音信号の特性と一致するように、１４’の固定帯域幅フィルタの特性の信号修正を調節する。ここで、図４のバンク１４内フィルタの各々の周波数は所要倍音に調節され、修正特性は所要倍音用に固定される。図５のバンク１４’のイコライザは各々周波数が固定され、それらの修正特性は検出された倍音信号に応じて変えられる。

アコーデオン周波数および振幅調節可能移動フィルタ法が使用されても、これらの方法の後に行なわれるか、これらの方法と組み合わされる予想周波数のバケツリレー法が使用されても、フィルタリング効果は振幅変化用に選択された倍音を用いて、信号の周波数ばかりでなくその倍音高さ及び振幅に応答して周波数を移動させる。

倍音信号検出器１２はコントローラ１６とは別に図示されているが、両者は共通のＤＳＰまたはマイクロコンピュータのソフトウェアであってもよい。

フィルタ１４はデジタルであることが好ましい。デジタルフィルタリングの利点は、位相歪みと呼ばれる元の信号と処理された信号の間の望ましくない位相シフトを最小限にできることである。本発明の一方法においては、所要目標に応じて２つのデジタルフィルタリング方法、即ち有限インパルス応答（ＦＩＲ）方法、または無限インパルス応答（ＩＩＲ）方法のどちらでも使用可能である。有限インパルス応答方法は振幅調節及び位相補償のために、分離された個別のフィルタを使用する。振幅調節フィルタは、所要応答が入力信号の周波数の関数となるように設計されてもよい。デジタルフィルタは、その振幅応答特性が本質的にデータアレの位相特性に影響して、これを歪めるように設計される。

その結果、振幅調節フィルタには直列配置された位相補償フィルタとしての第２フィルタが後続する。位相補償フィルタは単位利得デバイスであり、振幅調節フィルタによって導入された位相歪みに対抗する（逆らう）。

フィルタ及び他のサウンドプロセッサは、２つのタイプの入力オーディオ信号、即ちリアルタイムまたは非リアルタイム（固定または静的）のどちらにも適用可能である。リアルタイム信号には、プライベートな設定場所、公共アリーナ、又は、録音スタジオのいずれかにおいて行われる生の演奏が含まれる。一旦、複合波形がデジタル形式で磁気テープ又はその他の媒体に録音されると、当該波形は固定すなわち静的であるとみなされ、さらなる処理が可能である。

入力信号にデジタル処理が適用可能となる前に、当該入力信号自体がデジタル情報に変換されなければならない。アレイは信号のデジタル表現を示す数列である。フィルタは、アレイの始めから終わりに向かって前進方向に適用されるか、又は、終わりからはじめに向かって後退方向に適用される。

第２のデジタルフィルタリング方法、即ち無限インパルス応答（ＩＩＲ）において、対象とするデータアレイに亙って両方向にフィルタを適用することにより、ゼロ位相フィルタリングが非リアルタイム（固定、静的）信号を用いて達成される。位相歪みは両方向において等しいので、フィルタが両方向に実行されるときにおける正味効果は、このような歪みが相殺されることである。この方法は静的な（固定され、記録された）データに限定される。本発明の一方法においては、高速デジタル計算デバイス、ならびに、ディジタル化された音楽を定量化する方法が用いられ、高速フーリエ、及び／又は、ウェーブレット解析に対する付加物として数学的アルゴリズムを改良する。デジタルデバイスは既存の音楽を解析し、倍音の音量または振幅を所要レベルに調節する。この方法は、倍音と共に周波数が移動し、所要倍音レベルが図４に示すように変化する非常に急速に変化する複合ピンポイントデジタル等化ウィンドウを用いて達成される。

本発明は、ギター、バス、ピアノ、等化およびフィルタリングデバイス、記録に用いられるマスタリングデバイス、電子キーボード、オルガン、楽器音修正器、および、他の波形修正器に適用可能であるが、これらに限られない。

（倍音合成）
楽音または他のオーディオ信号の倍音成分のエネルギレベルを調節することが望まれる多くの状況において、倍音成分が断続的であるか、または、事実上存在しないならば、前記の調節を実施することは不可能である。これは、倍音がソース信号のノイズ「フロア」（認識可能な最小エネルギレベル）を下回るようにフェードしたときに発生する。本発明を用いれば、これらの欠落またはフロアを下回る倍音は「スクラッチから」生成可能、即ち、電子的に合成される。更に、ソースに対する整数乗数関係または非整数乗数関係のいずれかを用いて、完全に新しい倍音、非倍音、または、分周音（基音より低い周波数の倍音）をすべて一緒に作ることも同様に望ましい。再び、この創作または生成処理は合成の一タイプである。自然に発生する倍音のように、合成された倍音は一般にそれらの基音の周波数に数学的に関係する。

倍音調節の場合のように、本発明によって生成される合成倍音の周波数は非静止であり、合成倍音は他の倍音に対して移動する。合成倍音は任意の個別倍音（ｆ_１を含む）に対して合成され、音の周波数が変化すると、その変化が倍音シンセサイザを正しく調節することが予想しつつ、合成倍音の周波数が移動する。

図２に示すように、元の信号の倍音成分は１０００Ｈｚ（１００Ｈｚ音の第１０倍音）までの周波数を含み、第１１または第１２の倍音は存在しない。図３は、倍音合成によって生成されることによってこれらの欠落倍音が存在する場合を示す。従って、新たな倍音スペクトルには１２００Ｈｚ（第１２倍音）までの倍音が含まれる。

楽器は、可聴スペクトルにおける倍音の相対レベルのみならず音に対する倍音の位相（時間経過と共に変化する関係）によっても定義される。従って、倍音合成は、振幅的に相互関係を持ち、かつ位相的に位置合わせされた（即ち、任意にではなく一貫的に基音に対して一致、又は、関連する）倍音の創造も可能にする。フィルタのバンク１４及び１４’は、同様にデジタルサイン波生成器でもあるデジタルデバイスであることが好ましく、合成倍音は、ｆ_ｎ＝ｆ_１ｘｎ以外の関数を用いて生成されることが好ましい。新たな倍音を生成するための好ましい関係はｆ_ｎ＝ｆ_１ｘｎｘＳ^ｌｏｇ _２ ^（n）である。Ｓは１より大きい数、例えば１．００２である。

（倍音調節および合成）
倍音調節と倍音合成の組み合わせは,「欠落している」とみなされる倍音を含めて１つの音に含まれる全ての倍音の振幅をそれらの倍音高さに基づいて動的に制御する能力を具体化する。倍音を制御するこの能力は、種々様々の音または信号の音色をユーザの好みに合わせて操作する大きい融通性をユーザに与える。本方法は、特定の入力信号の倍音レベルに基づいて種々異なる操作が望まれることを認識する。この方法は倍音調節および倍音合成を具体化する。既に存在するスペクトルの断片にのみ作用する場合と対照的に、楽器全体の音色が影響される。

倍音がソース信号のノイズ「フロア」を下回るようにフェードアウトする場合のように、倍音成分が断続的であるか、又は、事実上存在しないならば、信号の倍音成分のエネルギレベルを調節することは不可能である。本発明をもちいると、これらの欠落したまたはフロアを下回る倍音は「スクラッチから」生成され、すなわち、電子的に合成されることが可能であり、その後で、元の信号、及び／又は、倍音的に調節された信号に混合し直される。

これに関しては、ソース信号の全倍音応答を修正するために、倍音調節と関連して倍音合成も使用可能である。例えば、図６に示すように、エレキギターの第１０倍音は、倍音高さがより低い倍音よりはるかに迅速に衰微する。音の初期部分における当該倍音のレベルをブーストするためだけでなく、当該倍音のレベルを当該音が存在する全期間に亙って維持するためにも合成を使用することは興味深い。合成は、選択された区分または通路における全ての音に対して実施される。従って、既存の倍音は、その倍音が或る閾値を越える部分的期間中に調節され、その後、当該音の残りの部分的期間中に（その調節された形において）合成される（図７参照）。

幾つかの倍音に関してこれを達成することが望まれることもあり得る。この場合、当該倍音は、所要閾値に振幅を維持するために所要の位相位置合わせを用いて合成される。位相位置合わせは任意の設定を起点とすることもできるし、又は、位相は何等かの方法によりユーザが選択した倍音に位置合わせすることもできる。この方法においては、非常に高速で周波数、及び、振幅が変化し、及び／または、音の倍音エネルギ成分を変えるように非常に高速で移動し、所要の欠落倍音を加えるようにシンセサイザと調和して作用する。これらの倍音および合成された倍音は音量においてデジタルデバイスのソフトウェアに設定された百分率における設定倍音の振幅に比例する。新たな倍音を生成するためには、関数ｆ_ｎ＝ｆ_１ｘｎｘ（Ｓ）^ｌｏｇ _２ ^（ｎ）が用いられることが好ましい。

存在しない倍音をブーストしようとする試行を回避するために、本発明は、検出アルゴリズムを使用して保証された調節を行うために十分な部分音が存在することを示す。一般に、この種の検出方法は、部分音エネルギ（または振幅）が、任意に定義された或る期間に亙って或る閾値以上である限り、存在するものと見なされるように、部分音のエネルギに基づく。

（倍音変換）
倍音変換は、１つのサウンドまたは信号（変換対象のファイル）と他のサウンドまたは信号（第２ファイル）とを比較し、その後、倍音調節および倍音合成を使用して変換対象の信号を調節し、それによって当該信号が音色において第２ファイルに一層近く類似するか、或いは、第２ファイルと全く同じにする。これらの方法は、既に言及した発明の幾つかの態様を組み合わせることにより、オーディオサウンドを組み合わせるという目的、又は、あるサウンドを別のサウンドにより近づけるという目的を達成する。実際、録音された楽器または音声のサウンドを他の楽器または音声のサウンドにほとんど精確に似せるために、これを使用することができる。

楽器または音声によって生成された或る音を、時間に対する、その倍音の周波数成分の観点から観察した場合（図６）、各倍音がアタック特性（当該倍音の初期部分が時間においてどのくらい速く立ち上がり、どのようにそのピークに達したか）、サステイン特性（アタック部分の後で、倍音構造がどのように動くか）、および、ディケイ特性（音の終わりの部分において倍音がどのように停止または衰微するか）を持つことが分かる。音自体が終了する以前に、特定の倍音が完全に衰微している場合もある。

１つのタイプの楽器の異なる例（例えば、２台のピアノ）は、多くの点において異なる。その一つのバリエーションは、特定の複合時間領域信号の倍音成分ある。例えば、１台のピアノで出したミドル「Ｃ」音は、別のピアノで出した同じ音と、非常に異なった倍音成分を持つ。

２台のピアノが異なり得る別の点は、時間経過に対する倍音成分である。２台の異なるピアノで演奏された同じ音は、倍音構造が異なるばかりでなく、これらの構造は時間経過と共に異なる仕方で動作する。１つの音の或る倍音は、別のピアノで出した同じ音の倍音構造の時間経過に対するふるまいと比較して、非常に異なる仕方でサステインまたはフェードアウトする。

録音された楽器によって生成される各信号の倍音を個々に操作することによって、当該楽器の応答を別の異なる楽器の応答に密接に類似させるか、又は、一致させることが出来る。この技法は倍音変換と呼ばれる。この技法は、各音内の倍音エネルギレベルを動的に変更し、時間経過におけるそれらのエネルギ応答を別の楽器の倍音エネルギレベルに密接に一致させるように調整する。これは、倍音ランキングに関係する周波数帯域比較によって達成される。第１ファイル（倍音的に変換されるべきファイル）の倍音が、第２ファイルのアタック、サステイン、および、ディケイ特性と一致するように、第１ファイルの倍音は目標とするサウンドファイルと比較される。

倍音は一対一に対応しないので、調節用規則を設定するために、アルゴリズムによる比較解析が必要とされる。この処理は、一般的な処理に際して、ユーザからの入力によって援助されることも可能である。

この種の操作の一例はフルートとピアノに見られる。図８ａから８ｄまでは、特定の時点におけるピアノ及びフルートに関するスペクトル成分のプロットを示す。図８ａは、一般的なフルートの初期の音におけるスペクトル成分を示す。図８ｂは同一音の非常に後期におけるフルートの倍音成分を示す。図８ｃは一般的なピアノからの図８ａと同じ相対的時点における同一音を示す。これらの時点において、大量の高倍音エネルギが存在する。ただし、時間経過の後、各音の相対倍音成分は非常に変化した。図８ｄは、同一相対時点における、図８ｂと同じであるがピアノから出た音を示す。ピアノの高倍音成分は、音における、この時点のフルートの倍音成分よりはるかに希薄である。

１つのサウンドファイルは他のサウンドソースの広大なアレイに更に密接に類似させることが可能であるので、情報は第２のサウンドファイルから直接入力される必要はない。モデルは様々な手段によって作ることができる。一方法は、他のサウンドをその時間経過におけるふるまいに基づいて全体的に特性化し、特徴的な倍音または部分音成分のふるまいに注目することである。従って、変えようとするサウンドファイルの各倍音の処理を導くための、種々の数学的または他の論理的規則を作成可能である。モデルファイルは、他のサウンドファイルから作成され、完全な理論的モデルであってもよいし、又は、実際には、ユーザによって任意に定義してもよい。

ユーザがピアノの音をフルートに類似させようとするものと仮定すれば、この処理は、両楽器の相対的特性の考察を必要とする。ピアノは、音の開始時にその倍音内に大きいエネルギバーストを持ち、その後エネルギ成分は急激に落下する。これに比べて、フルートの初期アタックはそれほど顕著でなく、非倍音性を持つ。本発明を用いると、ピアノの各倍音は、全ての音のこの段階においてフルートの対応する倍音および欠落部分音に近似させるか、又は、必要に応じてこれらを合成するように適宜調節される。

ピアノの出す音のサステイン部分においては、その高倍音エネルギ成分は迅速に消滅するのに対し、フルートの出す音においては、高倍音エネルギ成分は当該音の継続期間全体に亙って存在する。従って、この部分の期間中、ピアノの倍音を連続して動的に調節することが必要である。実際、或る点においては、倍音がかなり低レベルまで降下すると、倍音成分を置き換えるために合成が要求される。最終的に、これらの２つの楽器においては、音のディケイもわずかに異なり、フルートに一致させるには再び適切な調節が必要とされる。

これは、組み合わせて使用され、音周波数を含めて、対象とする信号または音の種々様々な態様のシフトと共に移動するか、又は、これら態様におけるシフトを予想するデジタルフィルタ、調節パラメータ、閾値、および、サイン波シンセサイザの使用によって達成される。

（倍音および他の部分音の強調）
本発明において、倍音および他の部分音の強調は、関連周波数レンジ内の他の信号の振幅に関係するそれらの振幅に基づいて、サイン波、部分音、非倍音性、倍音、または、他の信号を調節する方法を提供する。フィルタ振幅位置ガイド又は判定基準として倍音ランキングを置き換えることは、周波数レンジ内の振幅を用いて倍音調節を変更することである。また、倍音調節の場合と同様に、部分音は周波数ならびに振幅が移動するので、部分音の周波数はガイドを調節するフィルタ周波数である。音楽通路に一般的な多くのオーディオエレメント又は他の複合オーディオ信号の中で、本発明を用いた場合に、弱いものは他のものに対してブースト可能であり、ユーザの選択に従ってそれらの動的レンジを圧縮するか、又は、圧縮することなく、強いものは他のものに対してカット可能である。

本発明は（１）比較的静かなサウンドまたは信号を分離するか或いはハイライトし、（２）とりわけ背景雑音、歪み、または、混乱、競合、または、ユーザによって好ましくないとみなされるオーディオ信号を含む、比較的大音量の、または他の選択されたサウンドまたは信号を減少させ、（３）より明瞭な、又は、そうでなければ、より望ましい部分音、音声、楽音、倍音、正弦波、その他のサウンドまたは信号、または、サウンドまたは信号の部分の混合を実施する。

従来型電子コンプレッサ及びエキスパンダは、本発明によって考慮対象とされる極めて少数のパラメータのみであって、決して全体でないパラメータに従って作動する。更に、この種の圧縮／拡張デバイスの動作は、本発明のこの種のデバイスとは基本的に異なる。強調を用いる場合には、信号の調節はその振幅のみに基づくことなく、その周波数レンジ内の他の信号の振幅に対するその相対振幅によっても調節可能である。例えば、床の上で足を引きずる音は、聞き取るために調節する必要がある場合も又はない場合もあり得る。それ以外には静かな部屋においては、サウンドの調節を必要としないが、強烈に競合している部分音、サウンド、または、信号の背景音に対して同一振幅の同一サウンドが発生している場合には聞き取るために強調を必要とする。本発明はこの種の決定を行い、それに従って動作することができる。

本発明の一方法においては、１つの音楽がディジタル化されて、振幅修正して静かな部分音を強調する。現行技術は、当該音楽を固定周波数レンジ内に圧縮することによってこれを達成するが、それによって信号全体がその動的レンジ全体に基づいて影響される。正味の効果は、より静かな通路を増幅することによってより静かな区分を強調することにある。本発明のこの態様は異なる原理で作用する。コンピュータソフトウェアは、複合波形のスペクトルレンジを調査し、特定の設定閾値レベルを下回る個別部分音のレベルを引き上げる。同様に、特定の閾値を上回る部分音のレベルは振幅において引き下げられる。ソフトウェアは複合波形内の全ての部分音周波数を時間経過に対して調査し、変化に関して設定された閾値内の部分音周波数だけを修正する。この方法において、アナログ及びデジタルのハードウェア及びソフトウェアは音楽をデジタル化し、それを何等かの形式のメモリに記憶する。複合波形は、高速フーリエ変換、ウェーブレット、及び／又は、他の適切な解析方法を用いて高い精度において調査される。関連ソフトウェアは経過時間に対して計算された部分音の振幅、周波数、およびタイムスレショルド（時間限界値）、及び／又は、パラメータを比較し、いずれの部分音周波数が振幅修正に関するスレショルド内に所在するかを決定する。これらのスレショルドは動的であり、かつ、どちらかの側の指定された或る周波数レンジ内における調節用に予定された部分音を囲む競合する部分音に依存する。

本発明のこの部分は、洗練された周波数選択的等化またはフィルタリングデバイスとして作用し、この場合における選択可能な周波数の数はほとんど無制限である。デジタル等化ウィンドウが生成されて消去され、それによって、聞き取り難かったサウンド内の部分音の始め、ピーク、および、終わりの振幅を変えることによって、聴取者にとってより明瞭になる。

対象とされる振幅を持つ信号が他の信号の振幅に対してシフトするにつれて、本発明の融通性は、（１）連続的に変化するように、又は、（２）固定的であって非連続的に変化するように、のいずれかで調節が実施される。実用的効果は、調節を必要とするオーディオ信号の部分を精確に指摘し、その調節を実施するばかりでなく、これらを必要に応じて必要とされる時に限り実施する能力である。フィルタ変化が毎秒約３０サイクルより速ければ、フィルタ変化はそれら自身の音を生成する。従って、低音サウンドがフィルタリングによって除去できない限り、これより速い速度の変化は提案されない。

本発明の第１の方法（又は、その組み合わせ）は、特定の時点において特定の部分音（または、その断片）に所要の調節を実施するために何が必要とされるかに従って、周波数および振幅が移動するフィルタを用いる。

本発明の第２の方法においては、振幅調節用に設定された部分音が１つのフィルタレンジからその次のフィルタレンジへ移動するときに、「バケツリレー」方式で処理が手渡される。

本発明は、周波数、時間経過に対する周波数、時間経過に対する周波数帯域内の競合部分音、振幅、および、時間経過に対する振幅を調査することができる。次に、周波数および振幅を調節可能なフィルタ、数式モデル、または、アルゴリズムを使用して、上述の目標、結果、または、効果を達成するための必要性に応じて、これら部分音、倍音、または、他の信号（またはその部分）の振幅を動的に調節する。両方の方法において、部分音、他の信号、または、その部分の周波数および振幅を評価した後で、本発明は、信号を上方または下方調節するか、または、全然調節しないかを、閾値に基づいて決定する。

強調は、振幅閾値、及び、調節曲線に従う。本発明において、所要の結果を達成するために、閾値および調節を実施する３つの方法がある。第１の方法は、複合波形の全エネルギに基づいて振幅閾値を動的に調節する閾値を利用する。エネルギ閾値は一貫性のある周波数依存性を維持する（即ち、閾値曲線の勾配が全てのエネルギ変化に対して一貫している）。第２の方法は、調節されようとしている部分音の周りの周波数帯域内の補間された閾値曲線を実現する。閾値は動的であり、この部分音の周りの周波数領域に限定される。また、調節も同一周波数帯域において動的であり、振幅が変化する領域変化内における周りの部分音と同様に変化する。部分音は周波数が移動するので、閾値および調節周波数帯域も周波数において動的であり、調節されようとしている部分音が移動すると、これと共に移動する。第３の方法は固定した閾値レベルを利用する。振幅が閾値を上回る部分音は下方へ調節される。振幅が閾値を下回るがノイズフロアを上回る部分音は振幅において上方調節される。これら３つの方法について以下に検討することとする。

３つの方法全てにおいて、調節レベルは「基準化（スケーリング）関数」に依存する。倍音または部分音が閾値を超えるか、または、それを下回るように降下すると、閾値を超えた量またはそれを下回った量が調節の大きさを決定する。例えば、上側閾値をかろうじて超過する部分音は極少量だけ下方調節されるが、閾値を更に超過すると、更に大量の調節が発生する。調節量の遷移は連続関数である。最も単純なこの種の関数は線形関数であるが、任意の基準化関数が適用される。いかなる数学関数を用いる場合でも、閾値を超えるまたはそれを下回るように降下する部分音の調節レンジは基準化されるか或いはオフセットされる。基準化関数の効果が基準化されると、閾値が変化したかどうかには関係なしに、部分音が閾値を超過すると同量の調節が発生する。例えば、既に示した第１の方法において、波形内に更に多くのエネルギが存在するときには閾値が変化する。基準化関数は、依然として、調節されるべき部分音の０％から２５％までの間で変動するが、波形内に更に多くのエネルギが存在する場合には比較的小さい範囲で変動する。これの代替操作は、基準化関数を幾らかのパーセンテージだけオフセットすることである。従って、信号内に更に多くのエネルギが存在する場合には、レンジは同じでないはずであり、例えば、この場合、０％から１０％のみにまで変化する。しかし、調節量の変化は、閾値を超過した部分音のエネルギ量に対して一貫したものである。

第１の閾値および調節方法に従い、振幅の最小および最大限度を画定することにより、信号の部分音成分の一部分に作用することが望ましい。この種の処理においては、２つの閾値の境界、即ち上限または天井と、下限またはフロアとの間に信号が保持されることが理想的である。部分音の振幅は、設定された期間よりも長期に亙って、上側閾値を超え、または、下側閾値を下回るように降下することは許容されない。これらの閾値は、図９Ａに示すように、周波数に依存する。ノイズフロアは、実際に単なる低レベルノイズに過ぎない部分音の調節を防止するように確立されなければならない。ノイズフロアは強調のために全体的な下限として作用し、手動により、又は、解析手順を介して確立される。各入力される部分音は２つの閾値曲線と比較されてから、上方（エネルギがブーストされる）または下方（エネルギが低減される）調節されるか、或いは、全然調節されない。ブースト又はカットは部分音周波数レンジにおける全信号振幅に関連するので、閾値曲線は同様に所与の時点における全信号エネルギに依存して変化する。調節量は、部分音のレベルに従って変化する。上述したように、調節は基準化関数に基づいて発生する。従って、調節されるべき部分音が閾値を超えるか、または、閾値を下回るように降下するエネルギ量に依存して調節が変化する。

第２閾値および調節方法において、部分音は、当該部分音の継続時間において、調節されようとしている当該部分音の周りの周波数帯域における「競合する」部分音と比較される。この周波数帯域は幾つかの特徴を持つ。これらを図９Ｄに示す。１）帯域幅は所要の結果に応じて修正され得る。２）閾値及び調節領域の形状は連続的な曲線であり、曲線全体の「線形」部分に適合するように滑らかになる。曲線の線形部分はこの部分音に関する比較および調節領域の外側周波数を表す。ただし、曲線の線形部分の全「オフセット」は波形内における全エネルギに依存する。従って、閾値のオフセットにおける全シフトが観察されるが、調節はそれ自体の周波数領域における部分音に依存するので、特定の部分音の調節は変化しない。比較される周波数帯域における上側閾値は競合する部分音と共に増加する。閾値線を上回る部分音の調節に用いられる基準化関数は同様にシフト又は再基準化（リスケール）する。比較周波数帯域における下側閾値は競合部分音と共に下降する。再び、部分音の調節に用いられる基準化関数は同様にシフト又は再基準化する。３）部分音が閾値を上回るか、又は、閾値を下回るように降下すると、調節は振幅が閾値をどれだけ上回る、または、閾値をどれだけ下回るかに依存する。調節量は、後続部分音の周りの競合部分音内エネルギ分同様にオフセットされる連続的なパラメータである。例えば、部分音が上側閾値をかろうじて上回る場合には、その振幅は、例えば、僅かに５％だけ下方調節される。その振幅が比較的大量に閾値を上回る場合には、部分音が２５％だけ調節される更に極端な場合が観察される。ただし、全信号エネルギが異る場合には、閾値オフセットにおける全シフトに対して幾らかのパーセンテージだけこの調節量はオフセットされる。４）実際に低レベルノイズであるに過ぎない部分音の調節を防止するようにノイズフロアが確立されなければならない。ノイズフロアは強調条件に関する全体的な下側限界として作用し、手動または解析手順を介して確立される。

第３閾値および調節方法においては、全て同じ調節方法が用いられるが、単一固定閾値に関して比較が行われる。図９ｃはこの種の閾値の一例を示す。部分音が閾値を上回る、又は、それを下回るように降下した場合には、その調節は、振幅が閾値を上回るまたはそれを下回るように降下する量に依存する。調節量は、部分音内エネルギ分同様にオフセット又は再基準化される連続的なパラメータである。ここでも、上述の方法において述べたように、実際には単に低レベルノイズに過ぎない部分音の調節を防止するようにノイズフロアが確立されなければならない。

ヒトの耳自体が平坦ではないので、全ての閾値および調節方法において、閾値（単一閾値または別々の上側および下側閾値）が平坦であるとは限らない。耳は、可聴レンジ全体に亙る均一または線形状態の振幅を認識しない。我々の聴覚応答は周波数依存である（幾らかの周波数では他の周波数よりも多量のエネルギを持つように知覚される）ので、本発明におけるエネルギ調節も周波数依存である。

最大と最小振幅調節量間の振幅調節量を補間することにより、更に連続的かつ一貫性のある調節が達成可能である。例えば、その振幅が最大レベルに近い（クリッピングに近い）部分音は、その振幅が下側調節閾値をかろうじて上回る部分音の場合よりも下方調節されるエネルギ量が多いはずである。時間的閾値（タイムスレショルド）は、設定された周波数レンジにおいて競合する部分音が限界を持つように設定される。閾値曲線および調節曲線は、ユーザ希望定義とヒトの耳に基づいた経験的な知覚曲線との組み合わせを表す。

図９Ａは標本閾値（サンプルスレショルド）曲線を示し、図９Ｂは閾値及び調節方法１に関連するサンプル調節曲線を表す。閾値（スレショルド）は、全信号エネルギに依存する（例えば、下側全エネルギは閾値を低下させる）。入力される部分音の振幅が上側エネルギ閾値曲線または図９Ａの上昇限度（天井）を上回る場合には、部分音は、図９Ｂの当該周波数に関連する調節曲線によって定義された量だけ部分音のエネルギがカットされる（下方調節される）。同様に、部分音の振幅が下側エネルギ閾値曲線すなわちフロア（床）を下回るように降下すると、そのエネルギは、当該周波数に対して関連する調節関数によって定義される量だけ再びブーストされる（上方調節される）。振幅の増加量、及び／又は、減少量は事前決定された量であってもよい。

図９Ｂの調節関数は所与の周波数において実施される最大調節量を画定する。部分音の振幅への歪みの導入を防止する目的で、最大調節まで滑らかな遷移が実施されるように、調節量は時間経過と共に先細にされる。遷移は任意の関数によって定義され、線形パターンと同程度に単純なものであってもよい。漸進的なテーパ（先細り）なしでは、波形調節は速過ぎるか、または、不連続性を生じ、それによって、調節された信号に不必要、かつ／または、好ましくない歪みを生じる。同様に、部分音を上方調節する場合にもテーパリング（先細にすること）が適用される。

図９Ｃは、第２の閾値および調節方法に関係する一例を示す。

信号継続時間全体に亙って、当該信号の倍音／部分音の振幅は、かなり一定であることも変動することもあり、場合によっては、かなり変動する。これらの態様は周波数及び時間に依存し、或る特定の倍音の振幅およびディケイ特性は、競合する部分音に関して或る特定の形でふるまう。

倍音（個別倍音または倍音のグループのどちらか）の最大振幅および最小振幅を制御するための閾値に関する前述の検討とは別に、ユーザによって設定される時間を基調とする閾値（スレショルド）も存在する。本発明が部分音を調節していくには、これらの閾値が適合しなければならない。

本発明が作動開始するためには、振幅閾値がユーザによって指定された期間において適合するように、時間を基調とする閾値は、指定された調節に関する開始時間、継続時間、および、終了時間を設定しなければならない。例えば、振幅閾値が超過されても、その状態がユーザによって指定された期間に亙って維持されなければ、振幅調節は処理されない。例えば、次に示す条件のいずれかに適合する最小閾値を下回るように降下する信号は調節されない、即ち、（１）当該閾値に一旦適合したが、その後で、それを下回るように降下した場合、または（２）最初から一度も当該閾値に適合しない場合。ソフトウェアが、信号調節におけるこの種の差異を認識し、しかもユーザによって調節可能であれば有用である。

（補間）
一般的な意味において、補間とは、所与量および既知変数の間の関係に基づいて２つの所与量間の未知量を推定または計算する方法である。本発明において、補間は倍音調節、倍音の調節と合成、部分音変換、及び、倍音変換に適用される。これは、楽器またはヒトの音声いずれかによって出された音の或る特定点における倍音構造をユーザが調節する方法を意味する。ユーザによって調節されたこれらの点の１つから他の点まで音楽レンジ全体に亙る倍音構造のシフト（移動）は、ユーザによって規定された幾つかの曲線または音調曲線または補間関数に従い、本発明の影響を受ける。このように、演奏された音の倍音成分の修正は連続的な方法で制御される。

音声または楽器のサウンドは音域（レジスタ）の関数として変化可能である。異なる音域においてサウンドを変えたいというように願望が変化するため、歌手またはミュージシャンは、別の音域における音を出している状態において、ある１つの音域の特徴または音色を維持することを希望することがある。本発明において、補間は、彼らの願望を叶えるばかりでなく、ユーザによって調節された一方の点から別の点まで音楽スペクトル全体に亙って制御可能な仕方で、音の倍音構造を自動的に調節することも可能にする。

ユーザは、高音域の音における第３倍音を強調したいが、中間音域における第１０倍音は強調したくないものと仮定することとする。一旦、ユーザがこれらのパラメータを希望通りに設定すれば、本発明は、ユーザによって制御可能な変換特性を用いて、これらの点間における音の倍音構造のシフト（移動）を自動的に実施する。

簡単に表現すれば、ユーザが或る特定点における倍音を設定すれば、補間作用はこれら「設定点」間の全てを自動的に調節する。更に具体的には、次に示す２項目が達成される。
＊ 第１に、ユーザは、音声または楽器レンジ内の異なる点における当該音声または楽器の音（又は、選択されたレンジ内における音のグループ）の倍音構造を調節することができる。その際、ユーザは、当該サウンド内において知覚された不足音を訂正したり、または、特別な効果を生成するようにサウンドを調節したり、または、望ましいと思われる倍音を強調したり、または望ましくないと思われる倍音を減少させるか又は削除したり、または、場合によりあらゆることを実施したりできる。
＊ 第２に、ユーザが、選択されたこれらの音または音域のサウンドの調節を一旦完了すると、本発明は、設定点間の音楽スペクトル全体に亙って、全ての音および知覚された全ての倍音の倍音構造をユーザによって事前に選択された公式に従ってシフトまたは変換する。

補間関数（すなわち、一方の設定点の倍音構造からもう一方までシフトする特性または曲線）は線形であっても、対数的であっても、または、ユーザによって選択された他の音調曲線であってもよい。

周波数目盛りは種々様々な音、倍音、部分音、または、他の信号の位置を図に表すことができる。例えば、１目盛りは１オクターブ離れた位置の周波数を図に表してもよい。本発明がユーザ設定点の間の全ての倍音構造を調節する仕方は当該ユーザによって選択可能である。

（自然倍音の模倣）
倍音周波数の良好なモデルは、広い共振帯域内において近似自然「シャープ化」に設定可能であるので、ｆ_n＝ｎｘｆ_１ｘＳ^ｌｏｇ _２ ^ｎである。例えば、ｆ_１＝１８５Ｈｚの第１０倍音は、１０ｘ１８５を用いる１８５０Ｈｚの代わりに１８６２．３Ｈｚである。更に重要なことは、その式が協和倍音、例えば、倍音１は倍音２と、倍音２は倍音４と、倍音３は倍音４と、倍音４は倍音５と、倍音４は倍音８と、倍音６は倍音８と、倍音８は倍音１０と、倍音９は１２と、等々のように協和する。これらの倍音が、倍音生成に用いられると、自然倍音の場合よりも更に強められて鳴る（ｒｉｎｇ）。これは、倍音調節および合成、および、自然倍音にも用いられる。この関数またはモデルは、より高い倍音を「シャープ化」する楽器によって生成され、近く一致する倍音を見付ける良好な方法である。このようにして、ストレッチ関数は自然倍音模倣ＩＮＨに使用できる。

関数ｆ_ｎ＝ｆ_１ｘｎｘ（Ｓ）^ｌｏｇ _２ ^ｎはｎが増大するにつれて次第にシャープ化する倍音をモデル化するために用いられる。Ｓはシャープ化定数であり、一般に１と１．００３の間に設定され、ｎは正の整数１、２、３，．．．，Ｔであり、ここで、Ｔは一般に１７に等しい。この関数を用いると、Ｓの値はシャープ化する範囲を決定する。それがモデル化する倍音は、ｆ_ｎ＝ｎｘｆ_１である場合に倍音が協和すると同じ方法で協和する。即ち、ｆ_ｎ及びｆ_ｍが１つの音のｎ番およびｍ番倍音であるならば、ｆ_ｎ／ｆ_ｍ＝ｆ_２ｎ／ｆ_２ｍ＝ｆ_３ｎ／ｆ_３ｍ＝．．．＝ｆ_ｋｎ／ｆ_ｋｍである。

例えば、高速基音検出方法、又は、フィルタバンクを介した明白な周波数位置決め技法、又は、自動相関技法などの基音および倍音の周波数を決定するために利用可能な多数の方法がある。特定の演算に必要とされる精度および速度の程度はユーザによって定義され、適切な周波数発見アルゴリズムを選択する助けとなる。

（特殊効果のための倍音分離）
本発明およびその方法の更なる拡張はオーディオの独特な操作、及び、オーディオ処理の他の分野への本発明の応用を可能にする。対象とされる倍音はユーザによって選択され、次に、以前に言及した可変デジタルフィルタの使用によって元のデータから分離される。信号を分離するために使われるフィルタリング方法は任意の方法でよいが、特に適用可能な方法は、係数が入力データに基づいて再計算可能なデジタルフィルタである。

次に、分離された倍音は他の信号処理ユニット（例えば、残響、コーラス、フランジ、等々の楽器用エフェクト）に供給され、最終的に、ユーザによって選択されるブレンド又は比率で元の信号へ混合して戻される。

（具体化）
具体化される１つの変形例には、例えば、デスクトップパソコン２４等のホストコンピュータシステムであって、追加機能を実施するために、システム内にインストールされる幾つかの増設カードを有するホストコンピュータシステムへ接続されたオーディオ信号２２のソース（供給源）が含まれる。ソース３２は生の演奏であっても、記憶されたファイルから得られてもよい。これらのカードには、アナログ−デジタル変換カード２６及びデジタル−アナログ変換カード２８、並びに、高速で計算およびフィルタリング処理を行なうために用いられる追加デジタル信号処理カードが含まれる。ホストコンピュータシステムは主にユーザインタフェース処理を制御する。ただし、汎用パソコンのプロセッサは、デジタル信号プロセッサカードをインストールすることなしに、全ての計算を単独で実行する。

入力されるオーディオ信号は、電気サウンド信号をデジタル表現に変換するアナログ−デジタル変換ユニット２６へ供給される。一般的な用途において、アナログ−デジタル変換は２０から２４ビットのコンバータを用いて実施され、４８ｋＨｚ−９６ｋＨｚ［および、おそらくは更に高い］サンプルレートで作動する。パソコンのサンプルレートは、一般に、１６ビットのコンバータでサポートされる８ｋＨｚ−４４．１ｋＨｚである。これらは、幾らかの用途には十分である。ただし、例えば、２０ビット、２４ビット、３２ビットなどの大きいワードサイズである方が更に良好な結果が得られる。また、サンプルレートが高ければ、変換された信号の品質が改良される。デジタル表現は、数の長いストリームであり、ハードディスク３０に記憶される。ハードディスクは、例えば高性能取外し可能ディスク型媒体などのような独立型ディスクドライブであってもよいし、コンピュータ用の他のデータ及びプログラムが存在する同一ディスクであってもよい。性能および融通性に観点から、ディスクは取外し可能型である。

一旦、ディジタル化されたオーディオデータがディスク３０に記憶されると、信号の所要操作を実施するために、プログラムが選択される。プログラムは、実際には、所要の目標を達成するための一連のプログラムで構成される。この処理アルゴリズムは、処理アルゴリズムによって制御されたランダムアクセスメモリ（ＲＡＭ）に記憶されているコンピュータデータを、可変サイズユニット内のディスク３２から読み取る。処理が完成すると、処理されたデータはコンピュータディスク３０で再び記憶される。

本発明において、ディスクに対する読み取り及び書き込み処理は、読み取りと書き込みが混合され得るように、又、データセクションが多数回読み書き可能であるように双方向的、及び／又は、再帰的であってもよい。ディスクによるデジタルオーディオ信号のアクセス及び記憶は、システムを遅延させるので、オーディオ信号のリアルタイム処理においては最小限化される必要があることが多い。ＲＡＭのみを利用するか、または、キャッシュメモリを利用することによって、システムの性能は、幾らかの処理がリアルタイム又はほぼリアルタイム方式で実施され得る点まで向上可能である。リアルタイムとは、ユーザが感知可能な待ち時間が殆ど無いか、又は、一切無しに結果が得られるような速さで処理が発生することを意味する。処理の型およびユーザの好みに応じて、処理されたデータは上書きされるか、または、元のデータと混合される。新たなファイルへ一緒に書き込まれても、書き込まれなくてもよい。

処理が完了すると、再度聴くため、又は、更なる外部処理３４のために、データがコンピュータディスク又はメモリ３０から読み取られる。ディジタル化されたデータはディスク３０から読み取られ、デジタル−アナログ変換ユニット２８へ書き込まれる。このユニットは、コンピュータ３４外で使用するためにディジタル化されたデータをアナログ信号に変換し戻す。あるいは、ディジタル化されたデータは、（例えば、ＡＥＳ／ＥＢＵ、または、ＳＰＤＩＦデジタルオーディオインタフェースフォーマット又は代替形式など）様々な手段を介して、直接デジタル形式で、外部デバイスへ書き出してもよい。外部デバイスには、記録システム、マスタリングデバイス、オーディオ処理ユニット、放送ユニット、コンピュータ、等々が含まれる。

処理は、ユーザが感知可能な待ち時間が殆ど無いか、又は、一切無しに結果が得られるような速さで発生する。処理の型およびユーザの好みに応じて、処理されたデータは上書きされるか、または、元のデータと混合される。新たなファイルへ一緒に書き込まれても、書き込まれなくてもよい。

処理が完了すると、再度聴くため、又は、更なる外部処理３４のために、データがコンピュータディスク又はメモリ３０から読み取られる。ディジタル化されたデータはディスク３０から読み取られ、デジタル−アナログへ変換ユニット２８へ書き込まれる。このユニットは、コンピュータ３４外で使用するためにディジタル化されたデータをアナログ信号に変換し戻す。あるいは、ディジタル化されたデータは、（例えば、ＡＥＳ／ＥＢＵ、または、ＳＰＤＩＦデジタルオーディオインタフェースフォーマット又は代替形式など）様々な手段を介して、直接デジタル形式で、外部デバイスへ書き出してもよい。外部デバイスには、記録システム、マスタリングデバイス、オーディオ処理ユニット、放送ユニット、コンピュータ、等々が含まれる。

（高速基音検出）
本明細書に開示された具体例は、例えば高速基音検出方法などのような技術も利用する。この高速検出方法技術は、リアルタイムに実施される必要な後続のアルゴリズムが、顕著な待ち時間無しに（又は、大きくない待ち時間と共に）実施可能であるような非常に迅速な方法において、更に高い倍音の倍音関係からオーディオ信号の基音周波数を推定するためのアルゴリズムを使用する。高速検出アルゴリズムは、倍音処理が迅速かつ能率的に実施されるように、検出された高い倍音及び振動数のランキング数と、未検出の高い倍音のランキング数を推定することができる。また、このような処理は、基本振動数を知ることなく又は推測することなく行う事ができる。

本方法は当該信号内の少なくとも２つの候補周波数を選択することを含む。次に、候補振動数のセットの構成要素が、ある倍音関係を持つ適当な倍音周波数のグループであるかどうかが決定される。各倍音振動数のランキング数が決定される。最終的に、音周波数が、適当な周波数から推定される。

この方法の１つのアルゴリズムにおいて、検出された部分音間の関係が、全てのメンバーが適当な倍音周波数である場合に有効な類似の関係と比較される。比較される関係には、周波数比、周波数の差、これらの差の比率、および、倍音周波数が整変数の関数によってモデル化されるという事実から得られる一意的関係が含まれる。また、候補者周波数はまた、当該信号のソース（音源）によって生成可能な音周波数、及び／又は、より高位の倍音周波数の下側および上側限界を用いて選別される。

このアルゴリズムは、より高い倍音間の関係、選択を限定する条件、より高い倍音が基音に対して有する関係、および、可能性のある基音周波数のレンジを使用する。ｆ_ｎがｎ番目の倍音の振動数、ｆ_１が基本振動数、ｎが正の整数とし、ｆ_ｎ＝ｆ_１ｘｎｘＧ（ｎ）が倍音振動数をモデル化すると、同じ根元に由来する正当な倍音振動数である場合に優勢であるべき部分音周波数の間の関係の例は以下のようになる。
ａ）候補振動数ｆ_Ｈ，ｆ_Ｍ，ｆ_Ｌの比率は、倍音のモデルにおけるそれらのランキング数Ｒ_Ｈ、Ｒ_M、Ｒ_Ｌを置き換えることによって得られる比率にほぼ等しくなくてはならない。すなわち、ｆ_Ｈ÷ｆ_Ｍ≒Ｇ（Ｒ_Ｈ）÷Ｇ（Ｒ_Ｍ）｝、および、ｆ_Ｍ÷ｆ_Ｌ≒Ｇ（Ｒ_Ｍ）÷Ｇ（Ｒ_Ｌ）。
ｂ）候補振動数間の差の比率はモデル化された振動数の差の比率と合致しなければならない。即ち、（Ｒ_Ｈ−Ｒ_Ｍ）÷（Ｒ_Ｍ−Ｒ_Ｌ）≒｛Ｇ（Ｒ_Ｈ）−Ｇ（Ｒ_Ｍ）｝÷｛Ｇ（Ｒ_Ｍ）｝÷Ｇ（Ｒ_Ｌ）］。
ｃ）候補周波数部分音ｆ_Ｈ、ｆ_Ｍ、ｆ_Ｌは、ソース又は楽器によって生成可能な周波数レンジ内に所在しなければならない。
ｄ）倍音の高さの位数Ｒ_Ｈ、Ｒ_Ｍ、Ｒ_Ｌは、ソース又は楽器によって生成可能な基音周波数レンジ内、即ち、Ｆ_Ｌを下回るかＦ_Ｈを上回る基音周波数を意味してはならない。
ｅ）可能性のある３個の倍音の高さの位数を得るように整数可変比率を一致させる場合に、例えば、整数比率Ｒ_Ｈ／Ｒ_Ｍにおける整数Ｒ_Ｍは、整数比率Ｒ_Ｍ／Ｒ_Ｌにおける整数Ｒ_Ｍと同じでなければならない。この関係は、倍音の高さの位数の組｛Ｒ_Ｈ、Ｒ_Ｍ｝および｛Ｒ_Ｍ、Ｒ_Ｌ｝を可能性のある３個の位数（Ｒ_Ｈ、Ｒ_Ｍ、Ｒ_Ｌ）に結合するために用いられる。

他のアルゴリズムは、倍音関係の中の測定された部分音振動数のセットと、それらに由来する個々の振動数及び基本振動数のランキング数を即座に特定するための擬似されたスライド規則を使う。この方法は、関数ｆｎ＝ｆ１×Ｇ（ｎ）のＧ（ｎ）に対応する倍音乗数値がマークされる目盛りを具体化する。マークされた乗数の各々は、対応するｎの値に付けられる。計測された部分音の振動数は、同様の目盛りでマークされ、これらの目盛りはそれらの相対位置変化と比較され、乗数のセットとマッチする部分音の振動数のセットを分離する。ランキング数は、乗数目盛りから直接読むことが出来る。これらは、ｎの対応する値である。

ランキング数と振動数は、その後、どのセットが正当な倍音であるかを求めるために使用され、対応する基本振動数も乗数目盛りから直接読み出すことができる。

上述したアルゴリズムと他の関係するアルゴリズムの総合的な説明のために、ＰＣＴ国際出願ＰＣＴ／ＵＳ９９／２５２９４、高速基音発見方法、ＷＯ ００／２６８９６、２０００年５月１１日出願、を参照する。

（他の具体化）
本発明の原理に従って複合波形を変更するための各種システムおよび方法の潜在的相互関係を図１１に示す。入力信号は複合波形として音響ファイルへ供給される。次に、この情報は高速発見基音方法または回路へ供給され得る。これは、複合波形の基音振動数を迅速に決定するため、または、更なる倍音調節、及び／又は、合成のために情報を提供するための先駆者として、使用可能である。分析がほぼリアルタイムで実施されなければならない場合には、これは、とりわけ真である。

倍音調節、及び／又は、合成は、移動する目標、または、振幅および振動数に関して調節可能な変化するデバイスに基づく。オフライン態様において、倍音調節／合成は、その入力を音響ファイルから直接受け取るはずである。出力は倍音調節／合成から直接可能である。

その代りに、特殊効果用倍音の分離、補間、または、自然倍音模倣のいずれかと、ここで示した方法によって組合わされた倍音調節及び合成信号は、出力信号として供給可能である。

移動目標に基づく倍音及び部分音強調は、複合波形の音響ファイルの入力から直接オフラインの入力信号を受け取るか、又は、出力として倍音調節、及び／又は、合成を形成する。それ（倍音強調）は、システムから出力信号を供給するか、または、倍音変換へ入力として供給する。倍音変換は、移動目標に基づき、かつ、目標ファイル、補間、および、自然倍音模倣を含む。

本発明は、当該記述が主題の実例を示すような表現によって記述された。本記述は限定的意味を持つことなく本発明について記述することを意図するものである。上述の方法には、多くの改変、組合わせ、及び、変更が可能である。従って、本発明は、ここに明確に記述した以外の方法において実行可能であることを理解されたい。

１０ 入力
１２ 信号ディテクタＨＳＤ
１４ フィルタバンク
１６ コントローラ
１８ ミキサ
２０ 出力
２４ コンピュータ
２２ オーディオ信号
２６ Ａ／Ｄ変換
３０ コンピュータハードディスク
３２ 信号処理およびアルゴリズム
２８ Ｄ／Ａ変換
３４ 外部処理または記録デバイス

Claims (42)

1. 複合波形として検出されたトーンスペクトル内の、倍音の振幅を修正する方法において、
   検出された部分音のエネルギに基づき、動的エネルギしきい値を周波数の関数として決定するステップと、
   倍音のそれぞれのランク毎に、前記動的エネルギしきい値に応じた振幅修正値を連続的に決定するステップと、
   前記トーンスペクトルの倍音ランク別に選択された各倍音に対し、振幅修正関数を用いて前記振幅修正値を適用するステップと含み、
   前記選択された倍音を含む前記検出済みトーンスペクトルの周波数が時間経過と共に変化するのに従って、各振幅修正関数に対応する周波数を、前記倍音ランクに対応する周波数に連続的に設定することを特徴とする方法。
2. 前記振幅修正関数は、周波数および振幅の少なくとも一方に対して調節可能であることを特徴とする請求項１に記載の方法。
3. 倍音ランクを各振幅修正関数に割り当てるステップと、
   該倍音の周波数が変化するのに従って、前記振幅修正関数の周波数を当該ランクの倍音の周波数に設定するステップとを含むことを特徴とする請求項１に記載の方法。
4. 振幅変化分を各振幅修正関数に割り当てるステップを含むことを特徴とする請求項３に記載の方法。
5. 前記振幅修正関数は固定周波数に対して設定され、
   振幅修正関数の周波数と選択された倍音とが対応する場合に、前記振幅修正関数を選択された倍音に適用するステップと、
   選択された倍音のランクの関数として、前記振幅修正関数の振幅修正値を調節するステップと、を更に含むことを特徴とする請求項１に記載の方法。
6. 前記検出されたトーンスペクトルの前記倍音の周波数のランクを決定するために、高速基音検出（Fast Find Fundamental）方法を用いるステップを含むことを特徴とする請求項１に記載の方法。
7. 前記高速基音検出方法を用いて、いずれの部分音がトーンスペクトルにおける倍音か、及び該倍音のランクを決定するステップを含むことを特徴とする請求項１に記載の方法。
8. 前記振幅修正関数の振幅および周波数は、時間経過と共に変化することを特徴とする請求項１に記載の方法。
9. 前記振幅修正関数により、前記選択されたランクの倍音の振幅を所定の値だけ調節することを特徴とする請求項１に記載の方法。
10. 選択された第１の倍音の振幅を、同じ音スペクトル内の選択された第２の倍音の振幅と比較するステップと、
    前記第１の倍音の振幅を、前記比較結果およびランクに基づいて、選択された前記第２の倍音の振幅に対して調節するステップと、を含むことを特徴とする請求項１に記載の方法。
11. 前記振幅修正関数を使用して、選択されたランクの倍音を合成するステップと、
    合成された倍音の周波数を前記複合波形に加えるステップとを有することを特徴とする請求項１に記載の方法。
12. Ｓを１より大きい定数、ｎを倍音のランクとした場合に、複数の倍音は、モデル化関数ｎ×Ｓ^ｌｏｇ _２ ^ｎを用いて合成されることを特徴とする請求項１１に記載の方法。
13. 前記振幅修正関数を用いて、選択された複数の非倍音（インハーモニシティー）を合成するステップと、
    合成された非倍音を前記複合波形に加えるステップと、を含むことを特徴とする請求項１に記載の方法。
14. 前記振幅修正関数は、前記複合波形において検出された複数の部分音について、周波数と、振幅と、時間位置と、倍音ランクとを修正するステップを含み、これによって第２音源複合波形に類似させることを特徴とする請求項１に記載の方法。
15. 前記振幅修正関数は、第２音源複合波形に類似させるために、周波数と、振幅と、時間位置と、倍音とによって、前記複合波形において選択された複数の部分音を合成するステップをことを特徴とする含む請求項１に記載の方法。
16. ２以上の、周波数に基づくパラメータを設定するステップと、
    補間関数を選択するステップと、
    前記周波数に基づくパラメータと補間関数とに基づいて、前記複数の倍音の振幅を調節するステップと、を含むことを特徴とする請求項１に記載の方法。
17. ノイズフロア閾値を周波数の関数として設定するステップと、
    スケーリング関数を用いて、前記動的エネルギー閾値及び前記ノイズフロア閾値に応じて各部分音の振幅の修正値を連続的に決定するステップと、を含むことを特徴とする請求項１に記載の方法。
18. 複合波形に含まれる部分音の振幅を修正する方法であって、
    検出された、部分音のエネルギに基づき、動的エネルギ閾値を周波数の関数として決定するステップと、
    ノイズフロア閾値を周波数の関数として設定するステップと、
    スケーリング関数を用いて、前記閾値に応じて各部分音の振幅修正値を連続的に決定するステップと、
    振幅修正関数を用いて、決定された前記修正値を前記部分音に対して適用するステップと、を含むことを特徴とする方法。
19. 前記ノイズフロア閾値は、周波数の関数として連続的に設定される（１６，２４）ことを特徴とする請求項１７又は１８に記載の方法。
20. 前記ノイズフロア閾値は、時間の関数として設定されることを特徴とする請求項１９に記載の方法。
21. 部分音の周波数が時間経過とともに変化するに従い、当該部分音の振幅修正値が部分音の周波数と共に変化することを特徴とする請求項１又は１８に記載の方法。
22. 部分音の周波数が時間経過とともに変化する間、各振幅修正関数の前記周波数は、当該部分音の周波数に連続的に設定されることを特徴とする請求項１又は１８に記載の方法。
23. 前記動的エネルギ閾値は、検出された、隣接する部分音のエネルギに基づいて決定されることを特徴とする請求項１又は１８に記載の方法。
24. 前記動的エネルギ閾値は、ある期間内に検出された、部分音のエネルギおよび周波数に基づいて決定されることを特徴とする請求項１又は１８に記載の方法。
25. 前記動的エネルギ閾値は、検出された、全ての部分音のエネルギの合計として決定されることを特徴とする請求項１又は１８に記載の方法。
26. 前記動的エネルギ閾値は、ある期間内における部分音の周波数帯域内のエネルギに基づき、各部分音毎に決定されることを特徴とする請求項１又は１８に記載の方法。
27. 部分音の振幅修正値は、前記期間における当該部分音の振幅と、該振幅の前記閾値との関係によって決定されることを特徴とする請求項１又は１８に記載の方法。
28. 部分音のエネルギが前記動的エネルギ閾値より大きい場合、該部分音はスケーリング関数を用いて調節されることを特徴とする請求項１又は１８に記載の方法。
29. 部分音のエネルギが前記動的エネルギ閾値より小さい場合、該部分音はスケーリング関数を用いて調節されることを特徴とする請求項１又は１８に記載の方法。
30. 第２動的エネルギ閾値を、検出された部分音のエネルギに基づいて、周波数の関数として決定するステップを含むことを特徴とする請求項１又は１８に記載の方法。
31. 最大クリッピング閾値を設定するステップを含むことを特徴とする請求項１又は１８に記載の方法。
32. 前記閾値レベルが変化する場合に、前記スケーリング関数が定められることを特徴とする請求項１８に記載の方法。
33. 部分音の振幅が前記ノイズフロア閾値より小さい場合、該部分音の振幅を調節しないステップを含むことを特徴とする請求項１又は１８に記載の方法。
34. 部分音の振幅が調節されるより前に、設定された期間中に該部分音のエネルギが振幅閾値に合致することを特徴とする請求項１又は１８に記載の方法。
35. 前記期間は変化することを特徴とする請求項３４に記載の方法。
36. 倍音ランクに基づいて選択された各倍音に振幅修正関数を適用することにより、複合波形内の検出されたトーンスペクトルの倍音の振幅を修正するステップを含み、
    各振幅修正関数の周波数は、選択された倍音を含む前記検出されたトーンスペクトルの周波数が時間経過とともに変化するのに従って、該倍音のランクに一致する周波数に連続的に設定されるステップを含むことを特徴とする請求項１８に記載の方法。
37. 部分音の前記振幅修正関数は、周波数および振幅を調節可能なデジタルフィルタリング方法を用いて実行されることを特徴とする請求項１又は１８に記載の方法。
38. 部分音の前記振幅修正関数は、固定周波数可変振幅フィルタ処理方法を用いて実行されることを特徴とする請求項１又は１８に記載の方法。
39. 前記方法をデジタル信号プロセッサ内に命令として記憶するステップを含むことを特徴とする請求項１乃至３８の何れか１項に記載の方法。
40. 前記検出されたトーンスペクトルを、遅延バッファに通すステップを含むことを特徴とする請求項３９に記載の方法。
41. 前記複合波形を、まずＡ／Ｄコンバータに通すステップを含むことを特徴とする請求項３９に記載の方法。
42. 前記複合波形を記憶するステップと；時間経過とともに前記音スペクトルおよびその倍音の周波数、振幅、および倍音のランクを決定するステップとを含むことを特徴とする請求項１乃至３８のいずれか１つに記載の方法。

Images