JP2022550746A - 音響空間のモード残響効果 - Google Patents

Abstract

オーディオ信号の変更された残響技法を実行する方法及びシステムが記載されている。本方法は、オーディオ信号と、このオーディオ信号に適用されるモード残響効果と、複数の周波数の表示とを受信することを伴うことができる。残響効果によってシミュレーションされる空間の振動モードを、入力に含まれる周波数のセットと、入力に含まれない周波数のセットとに分離することができる。モード残響効果は、振動モードの分離したセットを個別に調整することによって変更することができる。そして、変更された効果をオーディオ信号に適用することができる。【選択図】図２

Description

［関連出願の相互参照］
本出願は、２０１９年９月２７日に出願された米国特許出願第１６／５８５，０３６号の継続出願であり、その開示内容は引用することにより本明細書の一部をなすものとする。

オーディオ技術者、音楽家、更には一般大衆（「ユーザ」と総称する）にとって、オーディオ信号の生成及び操作は手慣れたものとなっている。例えば、オーディオ技術者は、モノラルのオーディオ信号をステレオフィールド内に位置決めするパン（pan）及びゲイン（gain）等の効果を使用してモノラルのオーディオ信号を互いにミキシングすることによってステレオ信号を編集する。ユーザは、効果を得るために、マルチバンド処理用のクロスオーバネットワーク等のマルチバンド構造を使用した処理を行って、オーディオ信号の個々の成分に対しても操作を行う。加えて、音楽家及びオーディオ技術者は、圧縮や歪みや遅延や反響（reverberation）等のオーディオ効果を定期的に使用して、音響的に快い音、及び場合によっては不快な音を作成する。オーディオ信号操作は、通常、特殊化されたソフトウェア又はハードウェアを使用して行われる。オーディオ信号を操作するのに使用されるハードウェア及びソフトウェアのタイプは、一般にユーザの意向に依存する。ユーザは、オーディオ信号を作成及び操作する新たな方法を絶えず探している。

残響（リバーブ：reverb）は、ユーザがオーディオ信号に適用する最も一般的な効果のうちの１つである。残響効果は、特定の部屋又は音響空間の反響をシミュレーションし、したがって、オーディオ信号は、特定のインパルス応答を有する部屋において記録されたかのように響く。

残響をオーディオ信号に適用する１つの方法は、畳み込みと呼ばれる技法を使用することである。畳み込み残響は、所与の音響空間のインパルス応答をオーディオ信号に適用し、その結果、オーディオ信号は、その所与の空間において生成されたかのように響く。しかしながら、畳み込み残響のパラメータを操作する技法は、比較的制限されている。例えば、畳み込み残響を使用すると、オーディオ信号内の単一の周波数の共鳴音を分離及び操作することが可能でない場合がある。加えて、畳み込み残響を使用すると、シミュレーションされた物理空間の単一の特性（例えば、空間の長さ、空間の幅）を調整又は操作することも可能でない場合がある。

残響をオーディオ信号に適用する代替の方法は、モード残響（modal reverb）と呼ばれる技法を使用することである。畳み込み残響と異なり、モード残響は、所与の空間のインパルス応答を解析し、この解析に基づいて所与の空間における振動モードを特定し、そして、空間の個々の振動モードを合成する。その結果、残響の個々の周波数を分離して編集することができ、モード残響のパラメータを操作する技法は、畳み込み残響技法のパラメータを操作する技法よりもロバストである。

オーディオ制作における１つの課題は、多くの楽器が反響と同時に演奏しているオーディオ信号において生じる。反響は、オーディオ信号が録音された状況の特性である場合もあるし、オーディオ工学によって付加されたものである場合もある。いずれの場合も、特に複数のオーディオ信号源が残響を有するときは、これらの様々な信号源を互いにバランスさせることが困難となる場合がある。

オーディオ信号の操作及び等化のための現在利用可能な製品は、ユーザが入力信号又は出力信号のいずれかを等化することを可能にする。いくつかの場合には、オーディオ信号に適用されるインパルス応答を等化することができる。しかしながら、全てのそのような場合において、複数のオーディオ信号源の間の重複が、既知のイコライザがオーディオ信号源をバランスさせる能力を妨げる。

本技術は、オーディオ信号に適用される残響効果の特性を制御するシステムに関する。本技術は、結果の信号を改良するとともに、任意選択的に、残響効果及び結果の信号に対するより多くの制御をユーザに与えるためにユーザとインタフェースするようにそのようなシステムを管理するソフトウェアアプリケーションにも関する。これは、単数又は複数のオーディオ信号源が反響することが知られている特定の周波数を個別に制御することによって既知の残響技法を改良することができる。いくつかの場合には、残響効果が適用されるときに、適用される残響がオーディオ源と不調和を起こすのではなく信号を強めるように、それらの特定の周波数におけるオーディオ信号のエネルギーを選択的に削減することができる。それ以外の場合には、残響効果が適用されるときに、特定の周波数におけるエネルギーを選択的に増強して、平均律に調律されたオーディオ源の印象を与えることができる。他の例示の効果が本明細書において説明される。

本技術は、電子デバイス上のアプリケーションと通信するサーバ又は電子デバイス上のソフトウェア又は機械命令の形態でコンピュータ又はコンピュータのネットワーク上で実施することができる。コンピュータ又はコンピュータのネットワークは、１つ以上のプロセッサと、これらの１つ以上のプロセッサによって実行されるように構成される１つ以上のプログラムを記憶するメモリとを含むことができる。メモリは、１つ以上のプログラムを実行する際に使用されるデータを更に記憶することができる。動作中、１つ以上のプログラムは、オーディオ信号と、ユーザからの入力とを受信することができ、オーディオ信号に適用される残響効果の特性をユーザ入力に基づいて調整することができる。

モード残響効果がオーディオ信号に適用される場合に、モード残響効果は、音響空間のインパルス応答の解析から音響空間の個々の振動モードを計算することによって生成することができる。各振動モードは、モード周波数及びモード形状を含むことができる。１つ以上のプログラムは、その場合に、ユーザ入力によって示された周波数に対応する特定の振動モードのモード形状を調整することができる。モード形状を調整することは、ユーザが所望する効果に応じて、モード残響効果における特定の振動モードのエネルギーを削減すること又は増加させることを伴うことができる。そして、変更されたモード残響効果を、オーディオ信号に適用することができる。

同様の概念は、オーディオ信号に適用される畳み込み残響効果を変更するのに適用することができる。畳み込み残響効果の場合には、音響空間を周波数領域において表すために、音響空間のインパルス応答を、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を使用して変換することができる。そして、ユーザ入力の１つ以上の周波数に対応する周波数領域信号の部分を調整することができる。

ユーザ入力は、１つ以上の周波数を含むことができる。それらの周波数は、録音において再生されるノート（note）の集合体の周波数に対応することができる。ノートの集合体は、録音の調性（key）、音階（scale）、又は録音において再生される１つ以上の楽器とすることができる。いくつかの場合には、１つ以上の周波数は、ノートの高調波（例えば、２次高調波等）と、ノートの不協和周波数とを含むことができる。

動作中、本システムを使用すると、オーディオ信号においていくつかの楽器と調和しないエネルギーを追加することなく、オーディオ信号の残響効果を達成することができる。例えば、ユーザが、（いくつかの楽器及び／又は音の中でも特に）ピアノが演奏されているオーディオ録音に残響効果を適用したい場合には、ユーザは、そのオーディオ録音をシステムに提供し、所望の残響効果を選択し、「ピアノ」をユーザ入力として更に選択することができる。そして、上記プログラムは、選択された残響効果を、「ピアノ」入力に関連付けられた特定の周波数（例えば、ピアノのノート、高調波等）に基づいて変更することができる。選択された残響効果は、録音における他の楽器の音と干渉しないように、ユーザ入力の特定の周波数において又はその周波数付近で減衰させることができる。これによって、録音に適用される残響効果が達成されるが、他の楽器との不調和を起こすことなくピアノの音を包んで強めるように達成される。

別の例では、特定の楽器を選択する代わりに、ユーザは、ハ長調等の調性を選択することができる。この場合には、選択された残響効果のエネルギーを、ハ長調の調性に関連した周波数において又はその周波数付近で減衰させることができる一方、残りの周波数における残響効果のエネルギーを維持することができる。

他の例では、選択された残響効果のエネルギーを特定の周波数において減衰させる代わりに、平均律に調律された楽器又は音響空間の効果を生み出すために、エネルギーを特定の周波数において増強することができる。

本開示の１つの態様は、オーディオ信号を受信するステップと、前記オーディオ信号に適用されるモード残響効果を受信するステップであって、該モード残響効果は、所与の音響空間の１つ以上の振動モードを含み、各振動モードは、対応するモード周波数を有する、ステップと、前記モード残響効果を変更する複数の周波数を求めるステップと、前記モード残響効果の前記１つ以上の振動モードから、振動モードの第１のセット及び第２のセットを生成するステップであって、前記第１のセットに含まれる各振動モードは、前記複数の周波数のうちの１つに対応するモード周波数を有し、前記第２のセットに含まれる各振動モードは、前記複数の周波数のうちのいずれにも対応しないモード周波数を有する、ステップと、前記モード残響効果の前記振動モードの第２のセットから分離して前記モード残響効果の前記振動モードの第１のセットを調整することによって、前記モード残響効果を変更するステップと、前記変更されたモード残響効果を前記オーディオ信号に適用するステップとを含んでなる、１つ以上のプロセッサによって実行される方法を提供する。

いくつかの例では、前記複数の周波数は、指定された範囲内の半音階（chromatic scale）のノートの前記周波数に対応することができる。いくつかの例では、前記複数の周波数は、微分音階のノートに対応する２つ以上の周波数を含むことができる。いくつかの例では、前記複数の周波数は、半音階のノートの前記周波数のサブセットに対応することができる。前記モード残響効果を変更する複数の周波数を求めるステップは、前記１つ以上のプロセッサによって、音楽の調性又は音楽の音階を示す入力を受信することを伴うことができ、前記複数の周波数のそれぞれは、前記音楽の調性又は前記音楽の音階に含まれるノートの周波数に対応する。加えて、又は代わりに、前記モード残響効果を変更する複数の周波数を求めるステップは、前記１つ以上のプロセッサによって、１つ以上の楽器を示す入力を受信することを伴うことができ、前記複数の周波数は、前記１つ以上の楽器に関連付けられている。前記１つ以上の楽器は、複数の鍵を有するピアノであって、各鍵は周波数に対応し、前記複数の周波数は前記鍵の前記対応する周波数を含む、ピアノと、複数の弦を有するギターであって、各弦は複数のフレットを有し、各弦の各フレットは周波数に対応し、前記複数の周波数は前記フレットの前記対応する周波数を含む、ギターとのうちの任意の一方又は組み合わせを含むことができる。

いくつかの例では、前記複数の周波数は、１つ以上の基本周波数と、該基本周波数の高調波とを含むことができる。いくつかの例では、前記モードの第１のセットを調整することは、前記モードの第１のセットに含まれる各モードのモード形状を調整すること、例えば、前記１つ以上のプロセッサによって、前記モードの第１のセットに含まれる各モードのエネルギーを削減すること、又は、前記１つ以上のプロセッサによって、前記モードの第１のセットに含まれる各モードのエネルギーを増加させること等を伴うことができる。

いくつかの例では、前記モード残響効果を変更する複数の周波数を求めるステップは、前記１つ以上のプロセッサによって、前記オーディオ信号の解析から前記複数の周波数を導出することを伴うことができる。

本開示の別の態様は、１つ以上の処理デバイスと、前記１つ以上の処理デバイスによって実行されるように構成される１つ以上のプログラムを記憶するメモリとを備えるシステムを提供する。前記１つ以上のプログラムは、オーディオ信号を受信することと、前記オーディオ信号に適用されるモード残響効果を受信することであって、該モード残響効果は、所与の音響空間の１つ以上の振動モードを含み、各振動モードは、対応するモード周波数を有するものである、受信することと、前記モード残響効果を変更する複数の周波数を求めることと、前記モード残響効果の前記１つ以上の振動モードから、振動モードの第１のセット及び第２のセットを生成することであって、前記第１のセットに含まれる各振動モードは、前記複数の周波数のうちの１つに対応するモード周波数を有し、前記第２のセットに含まれる各振動モードは、前記複数の周波数のうちのいずれにも対応しないモード周波数を有するものである、振動モードの第１のセット及び第２のセットを生成することと、前記モード残響効果の前記振動モードの第２のセットから分離して前記モード残響効果の前記振動モードの第１のセットを調整することによって、前記モード残響効果を変更することと、前記変更されたモード残響効果を前記オーディオ信号に適用することと、を前記１つ以上の処理デバイスによって実行する命令を含むことができる。

いくつかの例では、前記複数の周波数は、指定された範囲内の半音階のノートの前記周波数に対応することができる。いくつかの例では、前記複数の周波数は、微分音階のノートに対応する２つ以上の周波数を含むことができる。前記複数の周波数は、半音階のノートの前記周波数のサブセットに対応することができる。前記１つ以上の処理デバイスは、音楽の調性又は音楽の音階を示す入力を受信するように構成することができ、前記複数の周波数のそれぞれは、前記音楽の調性又は前記音楽の音階に含まれるノートの周波数に対応する。加えて、又は代わりに、前記１つ以上の処理デバイスは、１つ以上の楽器を示す入力を受信するように構成することができ、前記複数の周波数は、前記１つ以上の楽器に関連付けられている。前記１つ以上の楽器は、複数の鍵を有するピアノであって、各鍵は周波数に対応し、前記複数の周波数は、前記鍵の前記対応する周波数を含む、ピアノと、複数の弦を有するギターであって、各弦は複数のフレットを有し、各弦の各フレットは周波数に対応し、前記複数の周波数は前記フレットの前記対応する周波数を含む、ギターとのうちの任意の一方又は組み合わせを含むことができる。

いくつかの例では、前記複数の周波数は、１つ以上の基本周波数と、該基本周波数の高調波とを含むことができる。

いくつかの例では、前記１つ以上の処理デバイスは、例えば、前記モード形状を調整して前記モードの第１のセットに含まれる各モードのエネルギーを削減することによって、又は、前記モード形状を調整して前記モードの第１のセットに含まれる各モードのエネルギーを増加させることによって、前記モードの第１のセットに含まれる各モードの前記モード形状を調整するように構成することができる。

いくつかの例では、前記１つ以上の処理デバイスは、前記オーディオ信号を解析することと、前記解析に基づいて前記オーディオ信号の調性、音階又は楽器のうちの少なくとも１つを求めることとを行うように構成することができる。前記モード残響効果を変更する前記求められた複数の周波数は、前記求められた調性、音階又は楽器の周波数に対応することができる。

本発明の上記態様、特徴及び利点は、例示的な実施形態の以下の説明及び添付図面を参照して検討すると更に理解される。添付図面において、同様の参照符号は同様の要素を表している。図面に示された本発明の実施形態の説明では、明瞭にするために特定の術語が使用される場合がある。しかしながら、本発明の態様は、使用される特定の用語に限定されることを意図していない。

本開示の一態様による一例示のシステムのブロック図である。 本開示の一態様による一例示の方法のフロー図である。

図１は、本出願において説明されるモード残響技法を実行する一例示のシステム１００を示している。システム１００は、一組の命令又は実行可能プログラムを実行するように構成される１つ以上の処理デバイス１１０を含むことができる。プロセッサは、汎用ＣＰＵ、又は特定用途向け集積回路（「ＡＳＩＣ」：application specific integrated circuit）等の専用の構成要素とすることもできるし、他のハードウェアベースのプロセッサとすることもできる。必須ではないが、特定の計算プロセスをより高速且つより効率的に実行する特殊化されたハードウェア構成要素を含めることができる。例えば、本開示の動作は、並列処理能力を備えた複数のコアを有するコンピュータアーキテクチャ上で並列に行うことができる。図中の各要素は単数の場合も複数の場合もある。

命令が、図２のフロー図に関してより詳細に説明される。システムは、１つ以上のプロセッサ１１０によって実行される命令１３０及びプログラムを記憶する１つ以上の記憶デバイス又はメモリ１２０を更に含むことができる。加えて、メモリ１２０は、１つ以上のオーディオ信号１４２、及びこれらのオーディオ信号に適用することができる１つ以上の残響効果１４４等のデータ１４０を記憶するように構成することができる。例えば、残響効果１４４は、オーディオ信号が異なる音響空間において録音されたかのようにオーディオ信号を響かせるように選ぶことができる。いくつかの残響効果は、畳み込みを適用することができる一方、他の残響効果は、選択されたインパルス応答（ＩＲ）の様々な振動モードを特定して合成することによって機能することができる。

システム１００は、データの入力及び出力用のインタフェース１５０を更に含むことができる。例えば、オーディオ信号及び選択された残響効果を、インタフェース１５０を介してシステムに入力することができる。加えて、以下でより詳細に説明するように、選択された残響効果に対する変更も、インタフェース１５０を介してシステムに入力することができる。システムは、変更された残響効果又は変更されていない残響効果が適用されたオーディオ信号を、インタフェース１５０を介して出力することもできる。他のパラメータ及び命令を、インタフェース１５０を介してシステムに又はシステムから提供することができる。

いくつかの例では、システム１００は、ユーザのパーソナルコンピュータ、ラップトップ、タブレット、又は他のコンピューティングデバイスを含むことができ、その内部には、プロセッサ及びメモリの双方が収容される。システムによって実行される動作は、図２のルーチンに関してより詳細に説明される。

図２は、一例示のルーチン２００を示すフロー図である。

ブロック２１０において、システムは、オーディオ信号を受信することができる。オーディオ信号は、楽器等の１つ以上のオーディオ源を有する録音されたオーディオファイルとすることができる。

ブロック２２０において、システムは、オーディオ信号に適用される選択されたモード残響効果を受信することができる。いくつかの例では、モード残響効果は、所与の音響空間の１つ以上の振動モードを含むことができ、それによって、モード残響をオーディオ信号に適用すると、オーディオ信号は、その所与の音響空間に録音されたかのように響くことができる。各振動モードは、その形状及び周波数等のそのそれぞれの特性によって特徴付けることができる。振動モードの周波数は、そのモードの中心にある周波数又はそのモードのエネルギーの最大量が集中している周波数とすることができる。各所与の周波数のモードの形状は、選択されたモード残響効果が、対応する所与の周波数に位置するオーディオ信号の部分にどのように影響を及ぼすのかを規定することができる。

ブロック２３０において、システムは、１つ以上の選択された周波数を示す入力を受信することができる。選択された周波数は、オーディオ信号への残響効果の適用を個別に制御することが必要とされ得るいくつかのモードの周波数に対応することができる。例えば、１つ以上の楽器からの音楽を含むオーディオ信号の場合に、選択される周波数は、音楽の調性若しくは音階、１つ以上の楽器において演奏することができるノート、他の因子、又はそれらの任意の組み合わせに基づいて選択することができる。

ブロック２４０において、システムは、選択されたモード残響効果の特定の振動モードを第１のセット及び第２のセットに分離することができる。第１のセットは、選択された複数の周波数に含まれるモード周波数に対応する振動モードを含むことができる。第２のセットは、複数の選択された周波数に含まれないモード周波数に対応する振動モードを含むことができる。

ブロック２５０において、システムは、振動モードの第１のセット及び第２のセットを個別に制御することによって、選択されたモード残響効果を変更することができる。例えば、振動モードの第１のセットのエネルギーを、振動モードの第２のセットのエネルギーとは別個に変更（例えば、増加、削減）することができる。その結果、オーディオ信号に適用されたときに、オーディオ信号に含まれる異なるオーディオ源の間で残響効果の不調和を起こすことなく残響をもたらすことができる変更されたモード残響効果を得ることができる。ブロック２６０において、システムは、変更されたモード残響効果をオーディオ信号に適用することができる。

図２のルーチン２００の１つの例示の実施形態において、オーディオ信号は、いくつかの楽器の録音とすることができ、複数の選択された周波数は、事前に選択したものとすることができ、したがって、手動入力は必要とされない。事前に選択された周波数は、指定された範囲（例えば可聴周波数）内の半音階（chromatic scale）に含まれるノートの周波数に対応することができる。録音では、楽器が、録音におけるそれらの楽器音源からのオーディオ信号内のエネルギーの大部分が半音階のノートの周波数付近に集中するような半音階のノートを主として演奏することを予想することができる。したがって、それらの周波数においてモード残響効果のエネルギーを追加することが、技術者がオーディオ信号において楽器を等化するか又はバランスさせる能力を妨げる重複を引き起こすことも予想することができる。それらの周波数を分離することによって、モード残響効果を他の周波数において強調することができ、したがって、望ましくない重複が回避される。

別の例では、半音階のノートに対応する全ての周波数を選択する代わりに、周波数のサブセットを選択又は事前に選択することができる。これは、オーディオ録音が既知の調性又は音階にある場合、又はオーディオ録音が比較的限られた数のノートを再生することが可能ないくつかの楽器を含むことが分かっている場合に好ましい場合がある。

例えば、オーディオ録音がハ長調で再生されることが分かっている場合には、ハ長調の調性のノートに対応する周波数のみにおけるモード残響効果のエネルギーを削減することが、望ましくない重複を回避するのに十分であることを合理的に予想することができる。これらの概念は、他の調性又は五音音階等の音階に適用することができる。

更なる例として、オーディオ録音が特定の楽器を含むことが分かっている場合には、複数の選択された周波数は、その楽器によって生成されるノートの中心周波数に対応することができる。例示として、オーディオ録音がピアノを含む場合には、それらのノートは、ピアノの鍵によって演奏されるノートとすることができる。

いくつかの例では、楽器のノートの選択と、音楽の調性又は音階のノートの選択とを互いに組み合わせることができる。ピアノの例を再び取ると（ただし、この例は他の任意の楽器に同じく適用することができる）、オーディオ録音におけるピアノ及び他の楽器は、特定の調性又は音楽の音階において曲を演奏している場合がある。したがって、複数の選択された周波数は、その調性又は音階に含まれる特定のノート、及びピアノのノートの中心周波数に対応することができる。このように、調性及びピアノのノートの双方を考慮に入れることができる。例えば、選択された周波数は、ピアノのノートと、調性又は音階のノートとの双方である周波数に対応することができる。

上記の例のいずれにおいても、選択されたノートにおける残響が録音における楽器間で不調和を起こすことを回避するために、選択された周波数におけるエネルギーを削減することができる。しかしながら、各楽器の音色（timbre）に起因して、それらの楽器によって放射される周波数は、選択されたノートに限定されず、そのため、選択されたノートの周囲にある他の周波数にエネルギーが引き続き存在するので、残響は除去されないことになる。その結果、残りのエネルギーは、オーディオ録音の他の楽器のバランスを妨げることなく各楽器のノートを包むか（envelop）又は和らげる（sweeten）ことができる。

例示として、同様の効果をギターについて生み出すことができることが予想される。ギターの場合に、ギターの各弦は、ギターのフレットボード上のフレットによって規定される複数のノートを演奏するのに使用することができる。複数の選択された周波数は、その場合に、弦及びフレットによって生成することができるノートの全ての中心周波数に対応することができる。ピアノ又は他の任意の楽器と同様に、複数の選択された周波数は、所与の録音の特定の調性又は音階に含まれるノートの中心周波数に更に限定することができる。そして、選択された周波数におけるエネルギーは、ギターの残響が録音における他の楽器と不調和を起こすことを回避するために削減することができる。ギターの音色に起因して、ギターによって放射される周波数は、選択されたノートに限定されず、そのため、選択されたノートの周囲の周波数にエネルギーが引き続き存在するので、残響は除去されないことになる。その結果、残りのエネルギーは、他の楽器のバランスを妨げることなくギターのノートを包むか又は和らげることができる。

一方、ギターは、本開示のルーチンを使用して残響効果を操作することについて別の面を示す。ユーザは、演奏している間にギターの弦を曲げることによってギターにおけるノートの周波数を調整することができる。これによって、より多くのエネルギーが、選択された周波数の周囲の周波数付近に集中し、その結果、残響効果は突然大量に現れる。残響は、選択された周波数に存在しないので、録音における他の楽器のバランスを妨げないことを予想することができる。

上記例は、楽器間の不調和を回避するために、所与の周波数付近でエネルギーを減少させることを記載している。一方、他の例では、選択された周波数におけるエネルギーを増加させることができる。これは、選択された周波数におけるノートの音源が平均律に調律されているという印象を与えることができる一方、周囲の環境の残響効果を抑制することができる。

上記例は、周波数の単一のセットを選択し、そして、それらの周波数におけるエネルギーを、選択されたモード残響効果に含まれる他の振動モードから分離して削減するか又は増加させることを一般的に記載している。同じ概念は、選択された周波数を個々のセットに分割し、それらのセットを個別に制御するのに使用することができる。この点に関して、第１の楽器（例えば、ピアノ）のノートを第１のセットに指定することができ、第２の楽器（例えば、ギター）のノートを第２のセットに指定することができる。同様の点に関して、オーディオ録音は、調性を変化させる場合があり、それによって、第１の調性のノートの周波数は、選択された周波数の第１のセットに対応することができ、その後に演奏される第２の調性のノートの周波数は、選択された周波数の第２のセットに対応することができる。そして、残響効果は、その場合に、録音の各部分において演奏している楽器、調性又はそれらの任意の組み合わせに応じて、オーディオ録音の異なる部分ごとに調整することができる。

いくつかの例では、選択された周波数は、楽器又はオーディオ録音のノートの優位周波数に対応する周波数だけでなく、それらの優位周波数の高調波又は不協和周波数も含むことができる。選択された周波数がノートの優位周波数に対応する場合に、高調波は、そのノートよりも高いオクターブ及び低いオクターブに対応することができる。同じ又は同様の原理は、他の周波数に適用することができ、所与の優位周波数の任意の数の高調波（第２高調波、第３高調波等）又は不協和周波数に更に適用することができる。

いくつかの例では、選択された周波数は、半音階のノートに対応しない周波数を含むことができる。１つのそのような例では、オーディオ録音は、微分音階で再生することができ、それによって、選択された周波数は、微分音階のノートに対応する周波数とすることができる。

図２のルーチンは、手動で、自動的に、又はそれらの組み合わせで適用することができる。手動変更の場合には、ユーザは、所望の残響設定及び選択された周波数のセット（これは、調性、音階、楽器、又はそれらの或る組み合わせに対応することができる）を入力することができ、残響信号は、入力された情報に基づいて変更することができる。自動変更の場合には、１つ以上のプロセッサは、オーディオ源の特定のノートを求めるために、オーディオ録音又は別のオーディオ録音を解析することができる。そのような解析は、録音の調性又は音階を特定することを伴うことができる。いくつかの場合には、解析は、録音において演奏されている楽器のタイプを求めることを伴うことができる。さらに、録音の楽器、調性又は音階が録音中に変化した場合には、解析は、変化が起こった時点を特定することができ、オーディオ録音を個別の部分に、各部分におけるメイン周波数に基づいて分離することができ、個別の部分のそれぞれについて異なる変更を残響効果に適用することができる。システムは、手動入力及び自動入力の双方の組み合わせを提供するために、自動化された決定に対する手動変更を更に受信可能とすることができる。

例えば、オーディオ録音が第１の楽器（例えば、ピアノ）及び第２の楽器（例えば、ギター）のそれぞれを含む場合に、この録音を解析して、第１の楽器のノートの周波数を特定し、それらの周波数の残響効果をあまり強調しないようにすることができる。これは、その結果、第１の楽器のノートの周波数と異なる第２の楽器のノートの周波数の残響効果を強調する効果を有することができる。同様に、当業者であれば、複数のオーディオ録音を組み合わせて、組み合わされたオーディオ録音を制作することができることを認識するであろう。したがって、或る録音の残響効果を別の録音の周波数に基づいて制御することは、例えば、それらの２つの録音を互いに組み合わせることが期待又は所望される場合に有用であり得る。

上記例は、図２のルーチンをモード残響効果に適用することを一般的に説明している。モード残響を使用することは、モード残響が、シミュレーションされた音響空間又は実際の音響空間のいくつかの振動モードから構成され、選択された周波数が、振動モードの選択グループの周波数に対応することができるので特に有益である。ただし、同様の原理は、畳み込み残響を変更するのに使用することができる。例えば、空間のインパルス応答を周波数領域において表すために、高速フーリエ変換（ＦＦＴ）をシミュレーションされた空間のインパルス応答に適用することができる。インパルス応答の周波数領域表現の特定の周波数におけるエネルギーは、その場合に、変更されたインパルス応答を導出するために、上述したものと同じ又は同様の方法で増加又は減少させることができる。そして、変更されたインパルス応答は、畳み込み残響を使用してオーディオ録音に適用することができ、したがって、その結果、変更された残響効果が得られる。

全体から見て、本開示は、オーディオ源をバランスさせるユーザの能力を妨げることなく、ユーザが、複数のオーディオ源を含むオーディオ録音の反響効果をより効果的に操作することを可能にすることができる。ユーザは、いくつかの楽器のオーディオ録音から始めることができ、その録音において演奏されているノートを手動で又は自動的に特定することができ、それらのノートの振動モードを選択されたモード残響効果における他の振動モードから分離することができる。そして、モード残響は、特定の識別されたノートにおいてユーザの好みに応じて強調又は消音することができ、その結果、オーディオ録音に異なる音をもたらすことができる。

本発明は特定の実施形態を参照しながら本明細書において説明されてきたが、これらの実施形態は本発明の原理及び応用形態を例示するにすぎないことは理解されたい。それゆえ、添付の特許請求の範囲によって規定されるような本発明の趣旨及び範囲から逸脱することなく、例示的な実施形態に数多くの変更を加えることができること、及び他の構成を考案することができることは理解されたい。

Claims (26)

1. オーディオ信号を受信するステップと、
   前記オーディオ信号に適用されるモード残響効果を受信するステップであって、該モード残響効果は、所与の音響空間の１つ以上の振動モードを含み、各振動モードは、対応するモード周波数を有するものである、受信するステップと、
   前記モード残響効果を変更する複数の周波数を求めるステップと、
   前記モード残響効果の前記１つ以上の振動モードから、振動モードの第１のセット及び第２のセットを生成するステップであって、前記第１のセットに含まれる各振動モードは、前記複数の周波数のうちの１つに対応するモード周波数を有し、前記第２のセットに含まれる各振動モードは、前記複数の周波数のうちのいずれにも対応しないモード周波数を有するものである、振動モードの第１のセット及び第２のセットを生成するステップと、
   前記モード残響効果の前記振動モードの第２のセットから分離して前記モード残響効果の前記振動モードの第１のセットを調整することによって、前記モード残響効果を変更するステップと、
   前記変更されたモード残響効果を前記オーディオ信号に適用するステップと
   を含んでなる、１つ以上のプロセッサによって実行される方法。
2. 前記複数の周波数は、指定された範囲内の半音階のノートの前記周波数に対応する、請求項１に記載の方法。
3. 前記複数の周波数は、微分音階のノートに対応する２つ以上の周波数を含む、請求項１に記載の方法。
4. 前記複数の周波数は、半音階のノートの前記周波数のサブセットに対応する、請求項１に記載の方法。
5. 前記モード残響効果を変更する複数の周波数を求めるステップは、前記１つ以上のプロセッサによって、音楽の調性又は音楽の音階を示す入力を受信することを含み、前記複数の周波数のそれぞれは、前記音楽の調性又は前記音楽の音階に含まれるノートの周波数に対応する、請求項４に記載の方法。
6. 前記モード残響効果を変更する複数の周波数を求めるステップは、前記１つ以上のプロセッサによって、１つ以上の楽器を示す入力を受信することを含み、前記複数の周波数は、前記１つ以上の楽器に関連付けられている、請求項４に記載の方法。
7. 前記１つ以上の楽器は、複数の鍵を有するピアノを含み、各鍵は周波数に対応し、前記複数の周波数は、前記鍵の前記対応する周波数を含む、請求項６に記載の方法。
8. 前記１つ以上の楽器は、複数の弦を有するギターを含み、各弦は複数のフレットを有し、各弦の各フレットは周波数に対応し、前記複数の周波数は前記フレットの前記対応する周波数を含む、請求項６に記載の方法。
9. 前記複数の周波数は、１つ以上の基本周波数と、該基本周波数の高調波とを含む、請求項１に記載の方法。
10. 前記モードの第１のセットを調整することは、前記モードの第１のセットに含まれる各モードのモード形状を調整することを含む、請求項１に記載の方法。
11. 前記モードの第１のセットを調整することは、前記１つ以上のプロセッサによって、前記モードの第１のセットに含まれる各モードのエネルギーを削減することを含む、請求項７に記載の方法。
12. 前記振動モードの第１のセットを調整することは、前記１つ以上のプロセッサによって、前記モードの第１のセットに含まれる各モードのエネルギーを増加させることを含む、請求項７に記載の方法。
13. 前記モード残響効果を変更する複数の周波数を求めるステップは、前記１つ以上のプロセッサによって、前記オーディオ信号の解析から前記複数の周波数を導出することを含む、請求項１に記載の方法。
14. １つ以上の処理デバイスと、
    前記１つ以上の処理デバイスによって実行されるように構成される１つ以上のプログラムを記憶するメモリと
    を備えてなるシステムであって、
    前記１つ以上のプログラムは、
    オーディオ信号を受信することと、
    前記オーディオ信号に適用されるモード残響効果を受信することであって、該モード残響効果は、所与の音響空間の１つ以上の振動モードを含み、各振動モードは、対応するモード周波数を有する、受信することと、
    前記モード残響効果を変更する複数の周波数を求めることと、
    前記モード残響効果の前記１つ以上の振動モードから、振動モードの第１のセット及び第２のセットを生成することであって、前記第１のセットに含まれる各振動モードは、前記複数の周波数のうちの１つに対応するモード周波数を有し、前記第２のセットに含まれる各振動モードは、前記複数の周波数のうちのいずれにも対応しないモード周波数を有する、振動モードの第１のセット及び第２のセットを生成することと、
    前記モード残響効果の前記振動モードの第２のセットから分離して前記モード残響効果の前記振動モードの第１のセットを調整することによって、前記モード残響効果を変更することと、
    前記変更されたモード残響効果を前記オーディオ信号に適用することと
    を前記１つ以上の処理デバイスによって実行する命令を含む、システム。
15. 前記複数の周波数は、指定された範囲内の半音階のノートの前記周波数に対応する、請求項１４に記載のシステム。
16. 前記複数の周波数は、微分音階のノートに対応する２つ以上の周波数を含む、請求項１４に記載のシステム。
17. 前記複数の周波数は、半音階のノートの前記周波数のサブセットに対応する、請求項１４に記載のシステム。
18. 前記１つ以上の処理デバイスは、音楽の調性又は音楽の音階を示す入力を受信するように構成され、前記複数の周波数のそれぞれは、前記音楽の調性又は前記音楽の音階に含まれるノートの周波数に対応する、請求項１７に記載のシステム。
19. 前記１つ以上の処理デバイスは、１つ以上の楽器を示す入力を受信するように構成され、前記複数の周波数は、前記１つ以上の楽器に関連付けられている、請求項１７に記載のシステム。
20. 前記１つ以上の楽器は、複数の鍵を有するピアノを含み、各鍵は周波数に対応し、前記複数の周波数は、前記鍵の前記対応する周波数を含む、請求項１９に記載のシステム。
21. 前記１つ以上の楽器は、複数の弦を有するギターを含み、各弦は複数のフレットを有し、各弦の各フレットは周波数に対応し、前記複数の周波数は前記フレットの前記対応する周波数を含む、請求項１９に記載のシステム。
22. 前記複数の周波数は、１つ以上の基本周波数と、該基本周波数の高調波とを含む、請求項１４に記載のシステム。
23. 前記１つ以上の処理デバイスは、前記モードの第１のセットに含まれる各モードのモード形状を調整するように構成される、請求項１４に記載のシステム。
24. 前記１つ以上の処理デバイスは、前記モード形状を調整して前記モードの第１のセットに含まれる各モードのエネルギーを削減することによって、前記モード残響効果の前記振動モードを調整するように構成される、請求項２３に記載のシステム。
25. 前記１つ以上の処理デバイスは、前記モード形状を調整して前記モードの第１のセットに含まれる各モードのエネルギーを増加させることによって、前記モード残響効果の前記振動モードを調整するように構成される、請求項２３に記載のシステム。
26. 前記１つ以上の処理デバイスは、
    前記オーディオ信号を解析することと、
    前記解析に基づいて前記オーディオ信号の調性、音階又は楽器のうちの少なくとも１つを求めることと
    を行うように構成され、
    前記モード残響効果を変更する前記求められた複数の周波数は、前記求められた調性、音階又は楽器の周波数に対応するものである、請求項１４に記載のシステム。

Images