JP2016177146A - オーディオ再生装置及びオーディオ再生プログラム - Google Patents

Abstract

【課題】音楽の再生を一時停止したときの音の発生態様が自然に感じられるオーディオ再生装置を提供する。【解決手段】電子楽器は、音楽の音響波形を表すオーディオ信号に基づいて音楽を再生する再生手段であって、オーディオ信号のいずれかのタイミングにおいてオーディオ信号に基づく音楽の再生を一時停止可能な再生手段と、音楽の一時停止タイミング以前の区間における周波数特性の変化に基づいて、オーディオ信号の各周波数成分の減衰特性を推定する推定手段と、を備える。再生手段は、減衰特性に基づいて、一時停止タイミングより後の区間において各周波数成分が減衰していく様子を表す減衰音を再生する減衰音再生手段を備える。【選択図】図２

Description

本発明は、音響波形を表わすオーディオデータに基づいて音楽（楽曲、伴奏など）を再生するオーディオ再生装置及びオーディオ再生プログラムに関する。

従来から、例えば、特許文献１に記載されているように、鍵盤演奏の練習機能を備えた電子楽器（例えば、電子ピアノ）は知られている。この電子楽器は、楽曲の演奏を表す楽曲データを記憶している。楽曲データは、所謂ＭＩＤＩデータである。すなわち、楽曲データは、鍵番号及び押鍵（離鍵）強さを含むノート情報、及び押鍵（離鍵）するタイミングを表すタイミング情報を含む。楽曲データは、各演奏パートに対応した複数のトラックデータからなる。この電子楽器は複数の鍵からなる鍵盤装置と、前記複数の御鍵にそれぞれ対応して設けられた複数のガイドランプを有する。練習モードにおいて、ユーザが主旋律パートを演奏すると、この電子楽器の制御部（音源回路）は、前記楽曲データを構成する伴奏パートのトラックデータに基づいて、伴奏パートの演奏を再生する。さらに、前記制御部は、前記楽曲データを構成する主旋律パートのトラックデータに基づいて、各タイミングにおいて、ユーザが押鍵すべき鍵に対応したガイドランプを発光させる。発光したガイドランプに対応する鍵が押されない場合、前記制御部は、前記楽曲データの再生を一時停止する。これにより、伴奏パートの演奏が一時停止する。そして、ユーザが前記発光したガイドランプに対応する鍵を押すと、前記制御部は、前記楽曲データの再生を再開する。

また、従来から、例えば、特許文献２及び３に記載されているように、演奏者による主旋律パートの演奏進行度に同期して、伴奏パートの演奏を再生する電子楽器は知られている。この電子楽器の制御部は、伴奏パートの演奏を表す伴奏データに基づいて、伴奏パートの演奏を再生する。伴奏データは、所謂オーディオデータである。つまり、伴奏データは、楽器（例えば、ドラム、ベース、ギターなど）を演奏して発せられた音（フレーズ）を所定のサンプリング周期でサンプリングして得られた複数のサンプル値から構成されている。前記制御部は、前記サンプル値を順次読み出して、音響信号に変換することにより、伴奏パートの演奏を再生する。

さらに、この電子楽器は、前記主旋律パートの楽譜に相当する主旋律データを有している。主旋律データは、所謂ＭＩＤＩデータである。主旋律データは、複数のノートデータからなる。ノートデータは、押鍵（離鍵）する鍵の番号を表す鍵番号及び押鍵（離鍵）するタイミングを表すタイミング情報を含む。主旋律データが表す主旋律パートのテンポは、伴奏パートのテンポに一致している。前記制御部は、主旋律データと伴奏データを同時に再生する。具体的には、前記制御部は、前記所定のサンプリング周期で前記サンプル値を順次読み出して、音響信号に変換するとともに、前記タイミング情報に基づいてノート情報を順次選択する。そして、前記制御部は、前記選択したノート情報に対応する鍵が所定の時間内に押されない（離されない）場合、伴奏データの一部の区間を繰り返し再生する。このようにして、前記制御部は、主旋律パートの演奏進行度と、伴奏パートの演奏進行度を同期させる。

また、音響波形を表すオーディオデータに基づいて音楽（楽曲）を再生するオーディオ再生装置（例えば、ＣＤプレーヤ）は知られている。従来のオーディオ再生装置においては、音楽の再生を一時停止させることができる。

特開２００４−１０１９７９号公報 特開２０１３−４７７１３号公報 特開２０１２−２２０５９３号公報

複数の演奏者がアコースティック楽器を演奏する場合、各演奏者は他の演奏者の演奏を聴きながら自分の演奏の進行度（又はテンポ）を調整する。例えば、楽曲の演奏を練習する際、一人の演奏者が演奏途中で一時的に演奏を停止した場合、他の演奏者も一時的に演奏を停止し、一時停止した演奏進行位置（例えば、一時停止した小節の冒頭）から練習を再開することがある。この場合、例えば打楽器の演奏者が前記打楽器を打奏した直後にその演奏を一時停止したとしても、演奏者が前記打楽器の打面の振動を意図的に静止（チョーク奏法）させない限り、打奏音は、減衰してその音量が「０」になるまで発せられ続ける。

特許文献１の電子楽器の制御部は、発光させたガイドランプに対応する鍵が押されない場合、前記楽曲データの再生を一時停止する。ここで、１つのノート情報が音源回路に供給されることにより楽音の発生が開始され、その直後に前記楽曲データの再生が一時停止されたという状況を想定する。前記楽音が所定の減衰速度で減衰するように設定されていれば、制御部（音源回路）は、前記楽音をすぐに消音するのではなく、前記所定の減衰速度で減衰させる。したがって、この場合、アコースティック楽器（減衰音を発する楽器）の演奏を一時停止した際の音の発生態様を模擬できる。

これに対し、特許文献２及び３の電子楽器の制御部は、主旋律の演奏が一時停止されたとしても、伴奏データの再生を一時停止させるのではなく、伴奏データのうちの一部の区間を繰り返し再生する。つまり、演奏者が主旋律の演奏を一時停止したとしても、伴奏音は減衰することなく発生され続ける。伴奏データのうちの一部の区間が繰り返されることにより発生される音は、アコースティック楽器では発生され得ない音であることが多い。そのため、演奏者は、伴奏音の発生態様が不自然であると感じることがある。

また、上記従来のオーディオ再生装置では、音が減衰している途中（例えば、打楽器を打奏して発せられた音のアタック部分を経過した後の区間であって、音量が徐々に小さくなっていく区間）でその再生を一時停止したとき、図６Ｂに破線で示すように、一時停止を指示した瞬間に音量が「０」になる。そして、音楽の再生を再開したとき、前記一時停止した箇所から音楽が再生される。つまり、同図に示すように、前記音が少し減衰した部分から再生される。このように、上記従来のオーディオ再生装置において音楽の再生を一時停止したとき及び音楽の再生を再開したときの音の発生態様は、アコースティック楽器（減衰音を発する楽器）の演奏を一時停止したとき及びその演奏を再開したときの音の発生態様とは異なる。したがって、演奏者は、上記従来のオーディオ再生装置による音楽の再生の一時停止時及び再開時の音の発生態様が不自然であると感じることがある。

本発明は上記問題に対処するためになされたもので、その目的は、音楽の再生を一時停止したときの音の発生態様が自然に感じられるオーディオ再生装置を提供することにある。なお、下記本発明の各構成要件の記載においては、本発明の理解を容易にするために、実施形態の対応箇所の符号を括弧内に記載しているが、本発明の各構成要件は、実施形態の符号によって示された対応箇所の構成に限定解釈されるべきものではない。

上記目的を達成するために、本発明の特徴は、音楽の音響波形を表すオーディオ信号に基づいて音楽を再生する再生手段であって、前記オーディオ信号のいずれかのタイミングにおいて前記オーディオ信号に基づく音楽の再生を一時停止可能な再生手段（ＲＤ、ＷＦ、ＴＲ、ＳＧ、ＳＷ、ＩＴ、ＳＹ、１６、１７）と、前記音楽の一時停止タイミング以前の区間における周波数特性の変化に基づいて、前記オーディオ信号の各周波数成分の減衰特性を推定する推定手段（ＥＳ）と、を備え、前記再生手段は、前記減衰特性に基づいて、前記一時停止タイミングより後の区間において前記各周波数成分が減衰していく様子を表す減衰音を再生する減衰音再生手段（ＤＧ、ＳＷ、ＩＴ、ＳＹ、１６、１７）を備えたオーディオ再生装置（１０）としたことにある。なお、再生手段は、所定のトリガ条件が満たされたとき、音楽の再生を一時的に停止するとよい。例えば、ユーザのマニュアル演奏に同期して伴奏パターンを再生する装置において、前記マニュアル演奏が一時的に停止されているとき、再生手段は音楽の再生を一時的に停止するとよい。また、例えば、オーディオ信号が再生手段に逐次供給される装置において、オーディオ信号の供給が一時的に滞っているとき、再生手段は音楽の再生を一時的に停止するとよい。

上記のように構成したオーディオ再生装置は、音楽の再生の一時停止期間中において、前記一時停止した箇所の直前に発音開始した音を減衰させる。これにより、アコースティック楽器（減衰音を発する楽器）の演奏を一時停止した際の音の発生態様を模擬できる。

また、本発明の他の特徴は、前記再生手段は、前記一時停止を解除して前記音楽の再生を再開するとき、前記減衰特性、及び前記減衰音の長さに応じて、前記オーディオ信号における前記一時停止タイミングより後の区間を修正する修正手段（ＳＧ）を有することにある。

これによれば、一時停止期間中に発生された減衰成分が、前記音楽の再生を再開した際にもう一度再生されてしまうことを防止できる。したがって、再生再開時の音の発生態様が自然に感じられる。なお、一時停止期間が比較的長く、前記一時停止した箇所の直前に発音開始した楽音が完全に減衰した場合には、前記音楽の再生を再開する際、前記オーディオデータのうち、前記音楽の再生を一時停止した箇所の直後の区間に相当する部分から、前記一時停止した箇所の直前の区間において発音開始した楽音の減衰成分が削除される。

また、本発明の他の特徴は、前記再生制御手段は、前記減衰特性の推定誤差に基づいて、前記一時停止タイミングを決定する決定手段（ＣＴ）を有することにある。

これによれば、一時停止位置に適した再生進行位置が検出されるまで、一時停止の開始を延期させることができる。すなわち、例えば、音の立ち上がり部分（アタック）のように、各周波数成分が激しく変動していて、減衰速度を決定し難い部分（誤差が大きい部分）にて一時停止を開始することを防止できる。

なお、本発明は、オーディオ再生装置としての実施に限られず、オーディオ再生装置が備えるコンピュータに適用されるコンピュータプログラム（オーディオ再生プログラム）としても実施可能である。

本発明の一実施形態に係るオーディオ再生装置が適用された電子楽器の構成を示すブロック図である。 コンピュータ部がオーディオ再生装置として機能した状態を示すブロック図である。 オーディオデータから切り出されたフレームに対して実行される窓掛け処理を示す概念図である。 各フレームの振幅特性を表すグラフである。 オーディオデータの１つの周波数ビンに関する振幅の変動と、その変動を最も尤もらしく表す近似曲線を示すグラフである。 オーディオデータの１つの周波数ビンに関する振幅の変動を示すグラフである。 再生信号の１つの周波数ビンに関する振幅の変動を示すグラフである。

本発明の一実施形態に係るオーディオ再生装置が適用された電子楽器１０について説明する。まず、電子楽器１０の概略について説明する。電子楽器１０は、複数種類の楽曲にそれぞれ対応した複数の楽曲データを記憶している。楽曲データは、楽曲の主旋律パートの楽譜に相当する主旋律データと、伴奏パートの演奏音の音響波形を表す伴奏データからなる。主旋律データは、所謂ＭＩＤＩデータである。つまり、主旋律データは、複数のノートデータからなる。ノートデータは、押鍵（離鍵）する鍵の番号を表す鍵番号及び押鍵（離鍵）するタイミングを表すタイミング情報を含む。伴奏データは、所謂オーディオデータである。つまり、各伴奏データは、伴奏パートの楽器（例えば、ドラム、ベース及びギター）を演奏して発せられた音を所定のサンプリング周期（例えば、１／４４１００秒）でサンプリングして得られた複数のサンプル値からなる。なお、前記演奏において、複数の楽音が同時に発音されていても良い。主旋律データが表す主旋律パートのテンポは、伴奏パートのテンポに一致している。なお、伴奏データは本発明のオーディオ信号に相当する。

電子楽器１０は、演奏操作子（例えば鍵盤装置）及び設定操作子を備える。ユーザは、設定操作子を操作して、楽曲データを１つ選択し、伴奏パートの再生を開始させるとともに、鍵盤装置を操作して、主旋律パートを演奏（手動演奏）する。電子楽器１０は、前記タイミング情報を参照して、主旋律データを構成するノートデータのうち、現在のタイミング（演奏進行度）に対応するノートデータを選択する。そして、電子楽器１０は、前記選択したノートデータの鍵番号に対応する鍵が所定の時間内（例えば、１秒以内）に押されない（離されない）場合、ユーザによる手動演奏が一時停止されたと判定し、伴奏パートの再生を一時停止する。その際、電子楽器１０は、すぐに伴奏パートの音量を「０」にするのではなく、伴奏パートの楽音が減衰していく様子を再現する。具体的には、電子楽器１０は、伴奏データのうちの前記一時停止した箇所の直前の区間（複数のフレーム）を構成する複数のサンプル値に基づいて、伴奏パートの楽音が減衰していく様子を表す減衰成分を推定し、前記推定した減衰成分を再生する。

また、電子楽器１０は、ユーザによる手動演奏が再開されたことを検出して、前記一時停止した箇所から伴奏パートの演奏の再生を再開する。その際、伴奏データをそのまま用いて伴奏パートの演奏の再生を再開した場合には、図６Ｂに破線で示すように、前記一時停止した箇所の直前に発音開始した楽音の途中（減衰成分の途中）から再生されてしまう。電子楽器１０は、伴奏パートの演奏の再生を一時停止したとき、減衰成分を推定して再生するので、伴奏データをそのまま用いて伴奏パートの再生を再開した場合には、演奏者（又は聴取者）は、減衰成分が２度再生されたように感じる。そこで、電子楽器１０は、減衰成分が２度再生されないように、伴奏データのうち、前記一時停止した箇所の直後の区間のデータを修正する。言い換えれば、電子楽器１０は、伴奏パートの再生を再開する際、伴奏データのうち、伴奏パートの再生を一時停止した箇所の直後の区間に相当する部分を、前記一時停止した箇所の直前の区間において発音開始した楽音が前記一時停止期間中に減衰した状態を表すように修正する。そして、電子楽器１０は、前記修正した伴奏データに基づいて伴奏パートの再生を再開する。

つぎに、電子楽器１０の具体的構成について説明する。電子楽器１０は、図１に示すように、入力操作子１１、コンピュータ部１２、表示器１３、記憶装置１４、外部インターフェース回路１５、及び音源回路１６を備えており、これらがバスＢＵＳを介して接続されている。また、音源回路１６には、波形メモリＷＭ及びサウンドシステム１７が接続されている。

入力操作子１１は、設定操作子及び演奏操作子を含む。設定操作子は、オン・オフ操作に対応したスイッチ、回転操作に対応したボリューム又はロータリーエンコーダ、スライド操作に対応したボリューム又はリニアエンコーダ、マウス、タッチパネルなどから構成される。これらの設定操作子は、例えば、楽曲データを選択する際に用いられる。演奏操作子は、鍵盤装置、ペダル装置などから構成される。演奏者が入力操作子１１を操作すると、その操作内容を表す操作情報がバスＢＵＳを介して、次に説明するコンピュータ部１２に供給される。

コンピュータ部１２は、バスＢＵＳにそれぞれ接続されたＣＰＵ１２ａ、ＲＯＭ１２ｂ、ＲＡＭ１２ｃ及びタイマー１２ｄを有する。ＣＰＵ１２ａは、各種プログラムをＲＯＭ１２ｂから読み出して実行する。例えば、ＣＰＵ１２ａは、演奏者によって押された鍵に関するノート情報（鍵番号、押鍵強さなど）を、後述する音源回路１６に供給して楽音を発生させる手動演奏プログラムを実行する。また、ＣＰＵ１２ａは、伴奏パートを再生する伴奏再生プログラムを実行する。ＣＰＵ１２ａが伴奏再生プログラムを実行することにより、電子楽器１０がオーディオ再生装置として機能する。伴奏パートの再生シーケンスについては後述する。ＲＯＭ１２ｂには、前記各種プログラムに加えて、初期設定パラメータ、表示器１３に表示される画像を表わす表示データを生成するための図形データ、文字データなどが記憶されている。ＲＡＭ１２ｃには、各種プログラムの実行時に、各種データが一時的に記憶される。タイマー１２ｄは、時間を計測するカウンタ回路を備える。タイマー１２ｄは、例えば、音源回路１６にノート情報を供給するタイミング、伴奏データを構成するサンプル値を読み出すタイミングなどを決定する際に用いられる。

表示器１３は、液晶ディスプレイ（ＬＣＤ）によって構成される。コンピュータ部１２は、図形データ、文字データなどを用いて表示すべき内容を表わす表示データを生成して表示器１３に供給する。表示器１３は、コンピュータ部１２から供給された表示データに基づいて画像を表示する。例えば、現在選択されている楽曲データの名称が表示される。

また、記憶装置１４は、ＨＤＤ、ＣＤ、ＤＶＤなどの大容量の不揮発性記録媒体と、各記録媒体に対応するドライブユニットから構成されている。上記の伴奏データは、記憶装置１４に記憶されている。

外部インターフェース回路１５は、電子楽器１０を他の電子楽器、パーソナルコンピュータなどの外部機器に接続可能とする接続端子を備えている。電子楽器１０は、外部インターフェース回路１５を介して、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどの通信ネットワークにも接続可能である。

波形メモリＷＭには、ピアノ、オルガン、バイオリン、トランペットなどの楽音の音響波形をそれぞれ表す複数の音色波形データが記憶されている。音源回路１６は、ＣＰＵ１２ａから指定された音色波形データを波形メモリＷＭから読み出して、前記読み出した音色波形データを用いてノート情報に対応する楽音の音響波形を表す音響波形データを生成し、サウンドシステム１７に供給する。また、音源回路１６は、ＣＰＵ１２ａから音響波形データを取得し、前記ノート情報に対応する音響波形データと重畳加算してサウンドシステム１７に供給するミキシング回路を備えている。

サウンドシステム１７は、ディジタル音信号をアナログ音信号に変換するＤ／Ａ変換器、前記変換したアナログ音信号を増幅するアンプ、及び増幅されたアナログ音信号を音響信号に変換して出力する左右一対のスピーカを備えている。なお、サウンドシステム１７は、各種楽音にリバーブ、コーラスなどの効果を付与する効果回路を含んでもよい。

つぎに、上記のように構成された電子楽器１０による伴奏パートの再生シーケンスについて説明する。とくに、伴奏パートの再生を一時停止させる際のコンピュータ部１２の動作、及び前記一時停止を解除して伴奏パートの再生を再開する際のコンピュータ部１２の動作について説明する。ＣＰＵ１２ａが伴奏再生プログラムを実行することにより、図２に示すように、コンピュータ部１２は、読み出し部ＲＤ、窓掛け部ＷＦ、変換部ＴＲ、バッファ部ＢＦ、推定部ＥＳ、減衰信号生成部ＤＧ、再生信号生成部ＳＧ、切り替え部ＳＷ、逆変換部ＩＴ、再合成部ＳＹ及び再生制御部ＣＴを含む伴奏再生装置（オーディオ再生装置）として機能する。

読み出し部ＲＤは、伴奏データを構成するサンプル値を記憶装置１４から順次読み出して、窓掛け部ＷＦに供給する。ただし、読み出し部ＲＤは、後述する再生制御部ＣＴから一時停止信号ｐｓが供給されると、サンプル値の読み出し処理及び供給処理を一時停止する。これにより、伴奏パートの再生が一時停止する。また、読み出し部ＲＤは、再生制御部ＣＴから再生開始信号ｓｓが供給されると、サンプル値の読み出し処理及び供給処理を再開する。

窓掛け部ＷＦは、読み出し部ＲＤから供給されたサンプル値を、それらの供給順に記憶する。窓掛け部ＷＦは、所定数（例えば、５１２個）のサンプル値が供給されるごとに、直近の所定数（例えば、２０４８個）のサンプル値を選択する。つまり、窓掛け部ＷＦは、図３に示すように、伴奏データの一部を切り出す。以下、前記切り出された部分をフレームＦＲと呼ぶ。以下、各フレームを区別して説明する必要があるときは、フレーム番号ｔ（＝１，２，・・・）を用いて、「フレームＦＲ_ｔ」と記載する。フレーム番号ｔは、伴奏の再生進行位置に相当する。フレームＦＲの切り出し位置は、順次後方（伴奏データの末尾側）へシフトする。以下、フレームＦＲの切り出し位置をシフトする周期をフレーム周期と呼ぶ。フレームＦＲ_ｔ＝ｎの先頭側の部分（例えば、フレームＦＲ_ｔ＝ｎの４分の３に相当する部分）は、その１つ前のフレームＦＲ_{ｔ＝ｎ−１}の末尾側の部分（例えば、フレームＦＲ_{ｔ＝ｎ−１}の４分の３に相当する部分）と重なっている。窓掛け部ＷＦは、フレームＦＲを切り出すごとに、前記切り出したフレームＦＲに窓掛け処理を実行（窓関数（例えば、ハニング窓）を適用）し、その演算結果を変換部ＴＲへ供給する。なお、フレーム周期及び１つのフレームの長さ（つまり、フレームを構成するサンプル数）は、上記の例に限られない。

変換部ＴＲは、窓掛け部ＷＦから供給されたフレームＦＲをフーリエ変換（ＦＦＴ）して、バッファ部ＢＦ及び再生信号生成部ＳＧへ供給する。つまり、変換部ＴＲは、各周波数ビンｆに関する振幅Ｘ及び位相φを計算して、バッファ部ＢＦ及び再生信号生成部ＳＧへ供給する（図４参照）。なお、「ｆ」は周波数ビンのインデックスである。つまり、「周波数ビンｆ」は、周波数自体を表しているのではなく、周波数特性図における複数の周波数ビンのうち、周波数が最も低い（又は最も高い）周波数ビンから数えて「ｆ」番目の周波数ビンであることを表す。以下の説明において、振幅Ｘ及び位相φの周波数ビンｆ及びフレーム番号ｔを区別して説明する必要があるときは、「振幅Ｘ（ｆ，ｔ）」、「位相φ（ｆ，ｔ）」と表記する。つまり、「振幅Ｘ（ｆ，ｔ）」及び「位相（ｆ，ｔ）」は、伴奏データの先頭から数えて「ｔ」番目のフレームの周波数特性図における低周波側から数えて「ｆ」番目の周波数ビンに関する、振幅の大きさ及び位相をそれぞれ表す。

バッファ部ＢＦは、変換部ＴＲから供給された振幅Ｘ及び位相φを一時的に（所定数（例えば５０個）のフレームの処理時間だけ）記憶する。バッファ部ＢＦは、後述するように、振幅Ｘ及び位相φを推定部ＥＳへ供給する。例えば、バッファ部ＢＦは、各フレームにおいて（１つのフレームに関する振幅Ｘ及び位相φが新たに供給されたとき）、直近の５０個のフレームに関する振幅Ｘ及び直近の２個のフレームに関する位相φを推定部ＥＳへ供給する。つまり、現在のフレーム番号ｔの値が「ｎ」であるとき、バッファ部ＢＦは、フレームＦＲ_ｔ＝ｎ，ＦＲ_{ｔ＝ｎ−１}，・・・，ＦＲ_{ｔ＝ｎ−４９}の各周波数ビンｆに関する振幅Ｘ及びフレームＦＲ_ｔ＝ｎ，ＦＲ_{ｔ＝ｎ−１}に関する位相φを推定部ＥＳへ供給する。

推定部ＥＳは、各フレームにおいて、各周波数ビンｆに関する振幅Ｘの減衰速度を推定する。具体的には、推定部ＥＳは、図５に示すように、現在のフレーム番号ｔの値が「ｎ」であるとき、バッファ部ＢＦから取得したフレームＦＲ_ｔ＝ｎ，ＦＲ_{ｔ＝ｎ−１}，・・・，ＦＲ_{ｔ＝ｎ−４９}間における振幅Ｘの変動を最も尤もらしく表す近似曲線を推定する。なお、図５においては、観測値としてのフレームＦＲ_ｔ＝ｎ，ＦＲ_{ｔ＝ｎ−１}，・・・，ＦＲ_{ｔ＝ｎ−４９}間における周波数ビンｆ（＝ｋ）の振幅Ｘの変動を破線で示す。また、同図において、前記近似曲線を実線で示す。本実施形態では、振幅Ｘの減衰の態様が指数関数的であるとみなす。したがって、近似曲線Ｆ（ｆ，ｔ）は、周波数ビンｆに関する減衰係数ａ（ｆ）及びゲインｇ（ｆ）を用いて、下記の式（１）のように表される。

推定部ＥＳは、回帰分析法を用いて、減衰係数ａ（ｆ）及びゲインｇ（ｆ）を計算する。この減衰係数ａ（ｆ）が、振幅Ｘの減衰速度に相当する。推定部ＥＳは、減衰係数ａ（ｆ）を減衰信号生成部ＤＧ、再生信号生成部ＳＧ及び再生制御部ＣＴへ供給する。また、推定部ＥＳは、ゲインｇ（ｆ）を再生制御部ＣＴへ供給する。なお、減衰係数ａ（ｆ）の計算において、「ａ（ｆ）＞０」という制約を課すとよい。

また、推定部ＥＳは、各フレームにおいて、直近の２つのフレームの各周波数ビンｆに関する位相φをバッファＢＦから取得し、前記直近の２つのフレーム間の位相差Δφ（ｆ）を計算する。現在のフレーム番号ｔの値が「ｎ」であるとき、位相差Δφ（ｆ）は、下記の式（２）のように表される。

推定部ＥＳは、位相差Δφ（ｆ）を減衰信号生成部ＤＧ及び再生信号生成部ＳＧへ供給する。

減衰信号生成部ＤＧは、推定部ＥＳから供給された最新の減衰係数ａ（ｆ）に基づいて、伴奏パートの再生が一時停止している期間中の各フレームに関する振幅Ｘ´を計算して、切り替え部ＳＷへ供給する。具体的には、フレーム番号ｔの値が「ｎ」であるときに一時停止を開始した場合、減衰信号生成部ＤＧは、各周波数ビンｆに関する振幅Ｘ（ｆ，ｎ）を推定部ＥＳから取得する。そして、減衰信号生成部ＤＧは、一時停止開始からの経過時間がフレーム周期にフレーム数ｍを乗算した時間に相当するとき（つまり、一時停止開始から数えて「ｍ」番目のフレーム）の各周波数ビンｆに関する振幅Ｘ´（ｆ，ｎ＋ｍ）を、下記の式（３）に基づいて計算する。

また、減衰信号生成部ＤＧは、推定部ＥＳから供給された最新の位相差Δφ（ｆ）に基づいて、伴奏パートの再生が一時停止している期間中の各フレームに関する位相φ´（ｆ，ｔ）を計算して、切り替え部ＳＷへ供給する。減衰信号生成部ＤＧは、一時停止開始からの経過時間がフレーム周期にフレーム数ｍを乗算した時間に相当するとき（つまり、一時停止開始から数えて「ｍ」番目のフレーム）の各周波数ビンｆに関する位相φ´（ｆ，ｎ＋ｍ）を、下記の式（４）に基づいて計算する。

減衰信号生成部ＤＧは、前記計算した振幅Ｘ´及び位相φ´を切り替え部ＳＷへ供給する。

再生信号生成部ＳＧは、一時停止が解除されている期間の各フレームに関する振幅Ｘ´を計算する。ここで、原波形データ（つまり、伴奏データ）における、フレーム番号ｔの値が「ｔ_１」である第１フレームとフレーム番号ｔの値が「ｔ_２」である第２フレームについて考察する（図６Ａ参照）。第２フレームは第１フレームよりも後のフレームである。すると、第２フレームの周波数ビンｆの振幅Ｘ（ｆ，ｔ_２）は、第１フレームの周波数ビンｆの振幅Ｘ（ｆ，ｔ_１）及び第１フレームにおける減衰係数ａ（ｆ）を用いて、下記の式（５）のように表される。

なお、式（５）において、第１フレームから第２フレームに至るまでの間に、減衰係数ａ（ｆ）に相当する速度で振幅Ｘが減衰すると仮定している。すなわち、式（５）の右辺第２項は、減衰後の振幅に相当する。「ｓ（ｆ，ｔ_２）」は、前記右辺第２項が表す振幅と、実際の振幅（伴奏データから切り出したフレームをフーリエ変換して得られる振幅）との差分である。

つぎに、第１フレームにおいて一時停止を開始した場合について考察する（同図参照）。一時停止開始からの経過時間がフレーム周期にフレーム数ｍを乗算した時間に相当するとき、再生を再開すると仮定する。この場合、原波形データの第２フレームに至るまで（つまり、第２フレームを構成する全てのサンプル値が読み出されるまで）に、振幅Ｘは、一時停止しない場合に比べて、一時停止中に減衰した分だけ大きく減衰している（図６Ｂ参照）。したがって、伴奏パートの再生を再開するとき、下記の式（６）に示すような、振幅Ｘ´（ｆ，ｔ_２＋ｍ）が生成されれば良い。

すると、式（５）及び式（６）から、差分ｓ（ｆ，ｔ_２）に依存しない式（７）が導かれる。

再生信号生成部ＳＧは、式（７）に基づいて振幅Ｘ´（ｆ，ｔ_２＋ｍ）を計算する。なお、後述するように、一時停止した期間の長さを表すフレーム数ｍは、再生制御部ＣＴから再生信号生成部ＳＧに供給される。前記計算した振幅Ｘ´（ｆ，ｔ_２＋ｍ）の値が「０」より小さい場合、再生信号生成部ＳＧは、振幅Ｘ´（ｆ，ｔ_２＋ｍ）の値を「０」に設定する。再生信号生成部ＳＧは、振幅Ｘ´（ｆ，ｔ_２＋ｍ）を切り替え部ＳＷに供給する。

また、再生信号生成部ＳＧは、変換部ＴＲから供給された位相φを位相φ´として、切り替え部ＳＷへ供給する。

切り替え部ＳＷは、一時停止中（一時停止信号ｐｓが供給されてから再生開始信号ｓｓが供給されるまでの間）において、減衰信号生成部ＤＧから供給された振幅Ｘ´及び位相φ´を逆変換部ＩＴへ供給する。一方、切り替え部ＳＷは、再生中（再生開始信号ｓｓが供給されてから一時停止信号ｐｓが供給されるまでの間）において、再生信号生成部ＳＧから供給された振幅Ｘ´及び位相φ´を逆変換部ＩＴへ供給する。

逆変換部ＩＴは、切り替え部ＳＷから供給された振幅Ｘ´及び位相φ´を逆フーリエ変換して、１つのフレームに対応する音響波形データ（複数のサンプル値）を生成する。

再合成部ＳＹは、逆変換部ＩＴから順次供給された直近の所定数のフレームの音響波形データを、フレーム周期に相当するサンプル数だけずらして重畳加算する。そして、前記重畳加算して得られた音響波形データのうち、前記重畳加算に用いた全てのフレームが重なった部分を音源回路１６のミキシング回路へ供給する。例えば、各フレームが２０４８個のサンプル値から構成され、フレーム周期に相当するサンプル数が５１２個である場合、直近の４つのフレーム（ＦＲ_{ｔ＝ｎ−３}，ＦＲ_{ｔ＝ｎ−２}，ＦＲ_{ｔ＝ｎ−１}，ＦＲ_ｔ＝ｎ，）を５１２サンプルずつずらして重畳加算する。そして、前記重畳加算して得られた音響波形データのうち、上記の４つのフレームが重なった部分を音源回路１６のミキシング回路へ供給する。音源回路１６は、再合成部ＳＹから供給された音響波形データと、他の音響波形データ（例えば、ノート情報に対応する楽音を表す音響波形データ）とを重畳加算して、サウンドシステム１７へ供給する。

再生制御部ＣＴは、上記のように、ユーザによる手動演奏が、一時停止されたか否か、及び再開されたか否かを判定する。ユーザによる手動演奏が一時停止されたとき、現在の伴奏パートの再生進行位置（現在のフレーム）が一時停止するのに適しているか否かを判定する。具体的には、再生制御部ＣＴは、推定誤差εを下記の式（８）に基づいて計算する。なお、例えば、「ｉ」の範囲は「０」〜「５」である。すなわち、現在のフレームから５個前のフレームまでの区間に関する推定誤差を計算する。

推定誤差εが所定の閾値（例えば、「１．０」）より小さければ、現在のフレームの近傍は、各周波数成分がある程度定常的であると考えられる。この場合、再生制御部ＣＴは、現在のフレーム（実際には、現在のフレームと次のフレームとの境界のタイミング）が伴奏パートの再生を一時停止するのに適していると判定し、一時停止信号ｐｓを読み出し部ＲＤ、減衰信号生成部ＤＧ及び切り替え部ＳＷへ供給する。そして、再生制御部ＣＴは、１つのフレーム周期が経過するごとに、フレーム数ｍをカウントアップする。一方、推定誤差εが前記所定の閾値以上であれば、現在のフレームの近傍は各周波数成分が激しく変動していると考えられる。この場合、再生制御部ＣＴは、伴奏パートの再生進行位置を後続のフレームへ進め、推定誤差εが前記所定の閾値よりも小さいフレームにて、一時停止信号ｐｓを読み出し部ＲＤ、減衰信号生成部ＤＧ及び切り替え部ＳＷへ供給する。上記のようにして、再生制御部ＣＴは、一時停止するフレーム（タイミング）を決定する。なお、再生制御部ＣＴは、本発明の決定手段に相当する。

ユーザによる手動演奏が再開されたとき、再生制御部ＣＴは、フレーム数ｍのカウントを終了する。そして、再生制御部ＣＴは、再生開始信号ｓｓを読み出し部ＲＤ、減衰信号生成部ＤＧ及び切り替え部ＳＷへ供給するとともに、フレーム数ｍを再生信号生成部ＳＧへ供給する。

上記のように、電子楽器１０は、伴奏パートの一時停止期間中において、前記一時停止した箇所の直前に発音開始した楽音を減衰させる。これにより、アコースティック楽器（減衰音を発する楽器）の演奏を一時停止した際の音の発生態様を模擬できる。

また、一時停止位置に適した再生進行位置が検出されるまで、一時停止の開始が延期される。すなわち、ユーザによる手動演奏が一時停止されたと判定された瞬間に伴奏パートが一時停止して減衰音が生成され始めるとは限られず、僅かに遅れて伴奏パートが一時停止して減衰音が生成され始めることもある。これによれば、より適切な位置で伴奏パートが一時停止されて減衰音が生成され始める。言い代えれば、例えば、音の立ち上がり部分（アタック）のように、各周波数成分が激しく変動していて、前記近似曲線（式（１））を決定し難い部分にて一時停止を開始することを防止できる。

また、再生再開時に、伴奏データのうち、伴奏パートの再生を一時停止した箇所の直後の区間に相当する部分が、前記一時停止した箇所の直前の区間において発音開始した楽音が前記一時停止期間中に減衰した状態を表すように修正される。なお、一時停止期間が比較的長く、前記一時停止した箇所の直前に発音開始した楽音が完全に減衰した場合には、伴奏パートの再生を再開する際、伴奏データのうち、前記伴奏パートの再生を一時停止した箇所の直後の区間に相当する部分から、前記一時停止した箇所の直前の区間において発音開始した楽音の減衰成分が削除される。これによれば、一時停止期間中に発生された減衰成分が、伴奏パートの再生を再開した際にも再生されてしまうことを防止できる。したがって、再生再開時の音の発生態様が自然に感じられる。

さらに、本発明の実施にあたっては、上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。

例えば、入力操作子１１の１つとして伴奏パートの再生を一時停止するスイッチを設けてもよい。この場合、再生制御部ＣＴは、伴奏パートの再生中に前記スイッチが押されたことを検出して、一時停止信号ｐｓを読み出し部ＲＤ、切り替え部ＳＷなどに供給すればよい。また、再生制御部ＣＴは、伴奏パートの一時停止中に前記スイッチが押されたことを検出して、再生開始信号ｓｓを読み出し部ＲＤ、切り替え部ＳＷなどに供給すればよい。

また、電子楽器１０は、楽曲の全体（つまり、主旋律パートも含む全ての演奏パートの演奏）を表すオーディオデータを記憶していて、前記オーディオデータに基づいて前記楽曲を再生しても良い。この場合も、上記実施形態と同様に、電子楽器１０は、前記楽曲の再生の一時停止及び再生の再開を実行すればよい。

また、上記実施形態においては、バッファ部ＢＦは、直近の所定数のフレーム（つまり、現在のフレーム及び過去の数フレーム）に関する振幅Ｘ及び位相φを記憶している。しかし、現在再生中のフレーム（音響波形データを生成して音源回路１６へ供給するフレーム）よりも後の数フレームに関する振幅Ｘ及び位相φを事前に計算し、それらをバッファ部ＢＦに一時的に記憶してもよい。例えば、読み出し部ＲＤが再生中のフレームから５個後のフレームまで事前に読み出し、それらを窓掛け部ＷＦ及び変換部ＴＲにて処理することにより得られた振幅Ｘ及び位相φをバッファ部ＢＦに一時的に記憶するとよい。この場合、フレームＦＲ_{ｔ＝ｎ＋５}，ＦＲ_{ｔ＝ｎ＋４}，・・・，ＦＲ_ｔ＝ｎ，・・・，ＦＲ_{ｔ＝ｎ−４４}に関する振幅Ｘ及び位相φがバッファ部ＢＦに記憶されるとよい。そして、再生制御部ＣＴは、再生中のフレームＦＲ_ｔ＝ｎの前後に位置する所定数のフレームに関する振幅Ｘに基づいて、再生中のフレームが一時停止するのに適しているか否かを判定しても良い。すなわち、上記式（８）において、「ｉ」の範囲を「−５」〜「＋５」に設定してもよい。なお、この場合であっても、推定部ＥＳによる減衰係数ａ（ｆ）、ゲインｇ（ｆ）及び位相差Δφ（ｆ）の計算方法は、上記実施形態と同様である。すなわち、推定部ＥＳは、現在再生中のフレーム以前のフレームに関する振幅Ｘ及び位相φを用いて、減衰係数ａ（ｆ）、ゲインｇ（ｆ）及び位相差Δφ（ｆ）を計算する。

また、上記実施形態においては、直近の２つのフレームの位相差Δφを計算し、この位相差Δφを用いて、一時停止した後の各フレームの位相を推定している。しかし、これに代えて、一時停止タイミング以前のフレームであって、上記実施形態より多くのフレーム間における位相の推移の態様に基づいて、一時停止した後の各フレームの位相を推定しても良い。また、一時停止するフレーム（タイミング）を再生制御部ＣＴが決定する際、直近の複数のフレームからなる区間において位相の進む速度が激しく変化している場合には一時停止を延期するように構成してもよい。

また、上記実施形態においては、再生制御部ＣＴは、推定誤差εが所定の閾値より小さい場合に、一時停止信号ｐｓを出力する。しかし、これに代えて、推定誤差εを評価した区間のパワーに所定の定数（例えば０．０１）を乗算した値よりも推定誤差εが大きい場合（下記の式（９）参照）に、一時停止信号ｐｓを出力してもよい。

また、上記実施形態においては、処理対象としてのオーディオ信号（伴奏データ）が記憶装置１４に記憶されている。しかし、処理対象としてのオーディオ信号が外部インターフェース回路１５を介して外部機器から読み出し部ＲＤに逐次供給されてもよい。この場合、再生制御部ＣＴは、読み出し回路ＲＤ又は外部インターフェース回路１５の動作状態に基づいて、一時停止信号ｐｓ及び再生開始信号ｓｓを出力しても良い。例えば、再生制御部ＣＴは、通信障害によってオーディオ信号の供給が中断されたことを検出して、一時停止信号ｐｓを出力してもよい。そして、再生制御部ＣＴは、前記オーディオ信号の供給が再開されたことを検出して、再生開始信号ｓｓを出力してもよい。

また、上記実施形態においては、読み出した複数のサンプル値からなるフレームに窓掛け処理を実行してフーリエ変換することにより、振幅Ｘ及び位相φを計算している。しかし、これに代えて、所謂フィルタバンク分析を用いても良い。例えば、複数の双２次フィルタを用いてフィルタバンクを構成し、各フィルタに対応する帯域ごとに振幅Ｘ及び位相φを取得しても良い。また、定Ｑフィルタバンク分析、ウェーブレット分析を用いても良い。また、上記実施形態においては、切り替え部ＳＷから出力された振幅Ｘ及び位相φを逆フーリエ変換し、その結果を重畳加算することにより、再生用のオーディオ信号を合成している。しかし、これに代えて、オシレータバンク再合成により、再生用のオーディオ信号を合成しても良い。

また、本発明は、電子楽器に限られず、音響信号を再生する装置であれば、何れの装置にも適用可能である。例えば、インターネットを介して配信される音楽データを逐次受信して再生する装置（ストリーミング再生装置）において、前記音楽データの配信が中断された場合に、音楽データの再生を一時停止する際、減衰音を推定して再生しても良い。また、音楽データの再生を再開する際、一時停止期間中に再生した減衰音が再び再生されないように、音楽データを修正すればよい。また、デジタルオーディオワークステーション（ＤＡＷ）、ＤＪ機器などにおいて、ドラムパートを含む音楽データの長さを所定の時間長に変更する機能の一部に本発明を利用しても良い。また、波形データを繰り返し再生する際の周期を変更する機能の一部に本発明を利用しても良い。

１０・・・電子楽器、１１・・・入力操作子、１２・・・コンピュータ部、１３・・・表示器、１４・・・記憶装置、１５・・・外部インターフェース回路、１６・・・音源回路、１７・・・サウンドシステム、ａ・・・減衰係数、ＢＦ・・・バッファ部、ＢＵＳ・・・バス、ＣＴ・・・再生制御部、ＤＧ・・・減衰信号生成部、ＥＳ・・・推定部、ｆ・・・周波数ビン、ＦＲ・・・フレーム、ｇ・・・ゲイン、ＩＴ・・・逆変換部、ｍ・・・フレーム数、ｐｓ・・・一時停止信号、ＲＤ・・・読み出し部、ｓ・・・差分、ＳＧ・・・再生信号生成部、ｓｓ・・・再生開始信号、ＳＷ・・・切り替え部、ＳＹ・・・再合成部、ｔ・・・フレーム番号、ＴＲ・・・変換部、ＷＦ・・・窓掛け部、ＷＭ・・・波形メモリ、Ｘ・・・振幅、Δφ・・・位相差、ε・・・推定誤差、φ・・・位相

Claims (4)

1. 音楽の音響波形を表すオーディオ信号に基づいて音楽を再生する再生手段であって、前記オーディオ信号のいずれかのタイミングにおいて前記オーディオ信号に基づく音楽の再生を一時停止可能な再生手段と、
   前記音楽の一時停止タイミング以前の区間における周波数特性の変化に基づいて、前記オーディオ信号の各周波数成分の減衰特性を推定する推定手段と、を備え、
   前記再生手段は、前記減衰特性に基づいて、前記一時停止タイミングより後の区間において前記各周波数成分が減衰していく様子を表す減衰音を再生する減衰音再生手段を備えたオーディオ再生装置。
2. 請求項１に記載のオーディオ再生装置において、
   前記再生手段は、前記一時停止を解除して前記音楽の再生を再開するとき、前記減衰特性、及び前記減衰音の長さに応じて、前記オーディオ信号における前記一時停止タイミングより後の区間を修正する修正手段を有する、オーディオ再生装置。
3. 請求項１又は２に記載のオーディオ再生装置において、
   前記減衰特性の推定誤差に基づいて、前記一時停止タイミングを決定する決定手段を有する、オーディオ再生装置。
4. コンピュータを、
   音楽の音響波形を表すオーディオ信号に基づいて音楽を再生する再生手段であって、前記オーディオ信号のいずれかのタイミングにおいて前記オーディオ信号に基づく音楽の再生を一時停止可能な再生手段と、
   前記音楽の一時停止タイミング以前の区間における周波数特性の変化に基づいて、前記オーディオ信号の各周波数成分の減衰特性を推定する推定手段と、を備え、
   前記再生手段は、前記減衰特性に基づいて、前記一時停止タイミングより後の区間において前記各周波数成分が減衰していく様子を表す減衰音を再生する減衰音再生手段と、を備えたオーディオ再生装置として機能させる、コンピュータプログラム。

Images