JP2016218346A - 音素材処理装置および音素材処理プログラム - Google Patents

Abstract

【課題】音素材を適切な処理方式で処理することが可能な音素材処理装置および音素材処理プログラムを提供する。【解決手段】音素材入力部１２０は音素材を取得する。パラメータ値設定部２００は、処理に関するパラメータＰＡの値を設定する。好適性情報取得部１６１は、パラメータＰＡの値に対する各処理方式の好適性を表すパラメータ値好適性情報を取得する。処理方式決定部１６０は、パラメータ値設定部２００により設定されたパラメータＰＡの値および好適性情報取得部１６１により取得されたパラメータ値好適性情報に基づいて各音素材の処理に用いる処理方式を決定する。処理方式決定部１６０により決定された処理方式に対応する処理モジュール１４０に音素材が入力される。処理モジュール１４０は、入力された音素材を処理する。【選択図】図２

Description

本発明は、音素材処理装置および音素材処理プログラムに関する。

音響データ（オーディオデータ）に所定の処理を行うために、複数の処理方式が存在する場合がある。例えば、音響データの音高を変更せずにテンポを変更するタイムストレッチの処理方式として、スライス方式およびフェーズボコーダ方式等がある。

特許文献１に記載された楽曲処理装置およびプログラムでは、高速かつ低音質の処理方式である第１の時間軸圧伸処理と低速かつ高音質の処理方式である第２の時間軸圧伸処理とが用いられる。再生指示に応じて、第１の時間軸圧伸処理の結果得られる楽音データが出力され、第２の時間軸圧伸処理の結果得られた楽音データが充分な数に達したことを契機として、第１の時間軸圧伸処理の代わりに、第２の時間軸圧伸処理の結果得られた楽音データが出力される。

特許第５３５９２０３号公報

上記のように音素材の処理方式が複数ある場合、処理に用いるパラメータの値によって適切な処理方式は異なる。例えば、処理として音素材のタイムストレッチを行う場合、ストレッチ比（処理前の音素材の再生時間に対する処理後の音素材の再生時間の比）によって適切な処理方式は異なる。複数の処理方式から対象の音素材に好適な処理方式を選択するためには、複数の処理方式について豊富な知識および経験が必要となる。

本発明の目的は、音素材を適切な処理方式で処理することが可能な音素材処理装置および音素材処理プログラムを提供することである。

（１）第１の発明に係る音素材処理装置は、音素材を取得する音素材取得手段と、取得された音素材に行うべき予め定められた処理に関するパラメータの値を取得するパラメータ値取得手段と、処理を行うための複数の処理方式に関して、パラメータの値に対する好適性を表す好適性情報を取得する好適性情報取得手段と、取得されたパラメータの値および取得された好適性情報に基づいて、複数の処理方式のうち、取得されたパラメータの値に適した処理方式を決定する処理方式決定手段と、決定された処理方式を用いて、取得された音素材に取得されたパラメータの値に対応するように処理を行う処理手段とを備える。

この音素材処理装置においては、取得されたパラメータの値および好適性情報に基づいて、複数の処理方式のうち、取得されたパラメータの値に適した処理方式が決定され、その処理方式を用いて音素材に処理が行われる。それにより、各処理方式についての知識および経験が乏しいユーザであっても、音素材を適切な処理方式で処理することができる。また、複数の異なるパラメータの値で複数の音素材に連続的に処理が行われる場合でも、処理方式の切り替えのためのユーザの煩雑な操作を必要とせず、各音素材を適切な処理方式で処理することができる。

（２）パラメータは、処理により音素材を変化させるべき程度を表してもよい。この場合、各音素材を、その変化の程度に応じた適切な処理方式で処理することができる。

（３）処理方式決定手段は、取得された音素材の処理による音質の劣化が最も抑制される処理方式を音素材に適した処理方式として決定してもよい。この場合、各音素材の音質を維持しつつ各音素材を適切に処理することができる。

（４）処理はタイムストレッチであり、パラメータは、タイムストレッチにおけるストレッチ比であってもよい。この場合、各音素材の音質を維持しつつ各音素材のタイムストレッチを適切に行うことができる。

（５）第２の発明に係る音素材処理プログラムは、音素材を取得するステップと、取得された音素材に行うべき予め定められた処理に関するパラメータの値を取得するステップと、処理を行うための複数の処理方式に関して、パラメータの値に対する好適性を表す好適性情報を取得するステップと、取得されたパラメータの値および取得された好適性情報に基づいて、複数の処理方式のうち、取得されたパラメータの値に適した処理方式を決定するステップと、決定された処理方式を用いて、取得された音素材に取得されたパラメータの値に対応するように処理を行うステップとを、コンピュータに実行させる。

この音素材処理プログラムによれば、各処理方式についての知識および経験が乏しいユーザであっても、音素材を適切な処理方式で処理することができる。また、複数の異なるパラメータの値で複数の音素材に連続的に処理が行われる場合でも、各音素材を適切な処理方式で処理することができる。

本発明によれば、音素材を適切な処理方式で処理することが可能となる。

本発明の実施の形態に係る音素材処理装置を含む電子音楽装置の構成を示すブロック図である。 本発明の実施の形態に係る音素材処理装置の機能的な構成を示すブロック図である。 パラメータ値好適性情報の例について説明するための図である。 図１および図２の音素材処理装置により行われる複数の音素材の処理を示すフローチャートである。 図１および図２の音素材処理装置により行われる複数の音素材の処理を示すフローチャートである。 音素材処理装置による複数の音素材の処理の一例を示すタイミング図である。 ディストーションエフェクトの処理方式について説明するための模式図である。

以下、本発明の実施の形態に係る音素材処理装置および音素材処理プログラムについて図面を用いて詳細に説明する。

（１）電子音楽装置の構成
図１は本発明の実施の形態に係る音素材処理装置を含む電子音楽装置の構成を示すブロック図である。図１の電子音楽装置１によれば、ユーザは演奏および楽曲の制作等を行うことができる。また、ユーザは、電子音楽装置１により各種音素材の処理を行い、処理された音素材を再生することができる。

電子音楽装置１は、演奏データ入力部２、入力Ｉ／Ｆ（インタフェース）３、設定操作子４、検出回路５、タッチパネルディスプレイ６、検出回路７および表示回路８を備える。演奏データ入力部２は、鍵盤等の音高指定操作子またはマイク等を含み、入力Ｉ／Ｆ３を介してバス１９に接続される。ユーザの演奏操作に基づく演奏データが演奏データ入力部２により入力される。設定操作子４は、オンオフ操作されるスイッチ、回転操作されるロータリエンコーダ、またはスライド操作されるリニアエンコーダ等を含み、検出回路５を介してバス１９に接続される。この設定操作子４は、音量の調整、電源のオンオフおよび各種設定を行うために用いられる。

タッチパネルディスプレイ６は、検出回路７および表示回路８を介してバス１９に接続される。タッチパネルディスプレイ６には、各種情報が表示される。ユーザは、タッチパネルディスプレイ６を操作することにより各種操作を指示することができる。

電子音楽装置１は、ＲＡＭ（ランダムアクセスメモリ）９、ＲＯＭ（リードオンリメモリ）１０、ＣＰＵ（中央演算処理装置）１１、タイマ１２および記憶装置１３をさらに備える。ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１および記憶装置１３はバス１９に接続され、タイマ１２はＣＰＵ１１に接続される。外部記憶装置１５等の外部機器が通信Ｉ／Ｆ（インタフェース）１４を介してバス１９に接続されてもよい。ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１およびタイマ１２がコンピュータを構成する。

ＲＡＭ９は、例えば揮発性メモリからなり、ＣＰＵ１１の作業領域として用いられるとともに、各種データを一時的に記憶する。ＲＯＭ１０は、例えば不揮発性メモリからなり、システムプログラムおよび音素材処理プログラム等のコンピュータプログラムを記憶する。ＣＰＵ１１は、ＲＯＭ１０に記憶された音素材処理プログラムをＲＡＭ９上で実行することにより後述する音素材の処理を行う。タイマ１２は、現在時刻等の時間情報をＣＰＵ１１に与える。

記憶装置１３は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含む。この記憶装置１３には、１または複数の音素材が記憶される。ユーザにより楽曲を構成する音素材が選択される。各音素材は、音の波形を示すサンプリングデータ列からなる音響データ（オーディオデータ）である。音とは、音楽的な音に限るものではなく、音声またはその他の任意の音を含む。音素材は、任意の長さを有し、１拍もしくは複数拍に相当する長さまたは１拍に満たない１発音分の長さを有してもよく、楽曲の１小節または複数小節に相当する長さを有してもよい。また、記憶装置１３には、自動演奏データおよび自動伴奏データが記憶される。上記の音素材処理プログラムが記憶装置１３に記憶されてもよい。

外部記憶装置１５は、記憶装置１３と同様に、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含み、楽曲データ等の各種データまたは音素材処理プログラムを記憶してもよい。

なお、本実施の形態における音素材処理プログラムは、コンピュータが読み取り可能な記録媒体に格納された形態で提供され、ＲＯＭ１０または記憶装置１３にインストールされてもよい。また、通信Ｉ／Ｆ１４が通信網に接続されている場合、通信網に接続されたサーバから配信された音素材処理プログラムがＲＯＭ１０または記憶装置１３にインストールされてもよい。

電子音楽装置１は、音源１６、効果回路１７およびサウンドシステム１８をさらに備える。音源１６および効果回路１７はバス１９に接続され、サウンドシステム１８は効果回路１７に接続される。音源１６は、演奏データ入力部２から入力される演奏データまたは記憶装置１３から与えられる自動演奏データまたは自動伴奏データに基づいて楽音信号を生成する。効果回路１７は、音源１６により生成される楽音信号またはＣＰＵ１１から与えられる音素材に音響効果を付与する。

サウンドシステム１８は、デジタルアナログ（Ｄ／Ａ）変換回路、増幅器およびスピーカを含む。このサウンドシステム１８は、音源１６から効果回路１７を通して与えられる楽音信号またはＣＰＵ１１から効果回路１７を通して与えられる音素材をアナログ音信号に変換し、アナログ音信号に基づく音を発生する。それにより、楽音信号または音素材が再生される。電子音楽装置１において、主としてタッチパネルディスプレイ６、ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１、タイマ１２および記憶装置１３が音素材処理装置１００を構成する。

（２）音素材処理装置１００の機能的な構成
図２は本発明の実施の形態に係る音素材処理装置１００の機能的な構成を示すブロック図である。図２に示すように、音素材処理装置１００は、再生指示部１１０、音素材入力部１２０、複数の遅延部１３０、複数の処理モジュール１４０および音素材出力部１５０を含む。また、音素材処理装置１００は、処理方式決定部１６０、好適性情報取得部１６１、処理モジュール選択部１７０、差分遅延量算出部１８０、処理遅延量取得部１９０、パラメータ値設定部２００および処理モジュール登録部２１０を含む。図２の音素材処理装置１００の各ブロックの機能は、ＣＰＵ１１がＲＯＭ１０または記憶装置１３に記憶された音素材処理プログラムを実行することにより実現される。本例では、複数の音素材が連続的に処理および再生される。

以下、複数の遅延部１３０の各々を区別する場合には、複数の遅延部１３０をそれぞれ遅延部１３０ａ〜１３０ｄと呼ぶ。また、複数の処理モジュール１４０の各々を区別する場合には、複数の処理モジュール１４０をそれぞれ処理モジュール１４０ａ〜１４０ｄと呼ぶ。

複数の処理モジュール１４０ａ〜１４０ｄは、それぞれ異なる処理方式Ａ〜Ｄで音素材に予め定められた処理を行う。予め定められた処理は、同じ目的または類似の目的の処理であり、厳密に同じ処理を意味するものではない。

本実施の形態では、処理はタイムストレッチである。タイムストレッチとは、音響データを時間軸上で圧縮または伸張することを意味する。本実施の形態では、処理方式Ａ〜Ｄは、それぞれ異なるタイムストレッチ方式である。複数の処理モジュール１４０ａ〜１４０ｄは、それぞれ処理方式Ａ〜Ｄのパラメータ値好適性情報ＰＰａ〜ＰＰｄを保有する。パラメータ値好適性情報ＰＰａ〜ＰＰｄは、後述のパラメータＰＡの複数の値に対する処理方式Ａ〜Ｄの好適性の程度を示す。各処理方式による音素材の処理に要する時間を処理遅延量と呼ぶ。処理遅延量は、音素材が各処理モジュール１４０に入力されてから出力されるまでの時間である。処理モジュール１４０ａ〜１４０ｄは、処理遅延量ＤＬａ〜ＤＬｄを保有する。本実施の形態では、処理モジュール１４０ａ〜１４０ｄを構成するプログラム中にパラメータ値好適性情報ＰＰａ〜ＰＰｄおよび処理遅延量ＤＬａ〜ＤＬｄが記述されている。

処理遅延量取得部１９０は、複数の処理モジュール１４０ａ〜１４０ｄからそれぞれ処理遅延量ＤＬａ〜ＤＬｄを取得する。差分遅延量算出部１８０は、処理遅延量ＤＬａ〜ＤＬｄの最大値以上の値を基準遅延量として算出し、処理遅延量ＤＬａ〜ＤＬｄと基準遅延量との差分を差分遅延量ΔＤａ〜ΔＤｄとして算出する。また、差分遅延量算出部１８０は、算出した差分遅延量ΔＤａ〜ΔＤｄをそれぞれ処理モジュール１４０ａ〜１４０ｄに対応する遅延部１３０ａ〜１３０ｄに設定する。

パラメータ値設定部２００は、ユーザによる図１のタッチパネルディスプレイ６の操作に基づいて処理モジュール１４０ａ〜１４０ｄの処理に関する可変のパラメータＰＡの値を設定する。本実施の形態では、パラメータはストレッチ比である。ストレッチ比は、タイムストレッチ前の音素材の再生時間に対するタイムストレッチ後の音素材の再生時間の比である。パラメータＰＡの値に依存して処理モジュール１４０ａ〜１４０ｄの処理遅延量ＤＬａ〜ＤＬｄが変化する。

処理モジュール登録部２１０は、ユーザによる図１のタッチパネルディスプレイ６の操作に基づいて複数の処理モジュール１４０ａ〜１４０ｄのうち複数の音素材の処理に用いる処理モジュール１４０を登録する。全ての処理モジュール１４０が登録された場合には全ての処理モジュール１４０を、一部の処理モジュール１４０が登録された場合には登録された処理モジュール１４０のみを各音素材の処理に用いることが可能となる。

音素材入力部１２０は、ユーザによるタッチパネルディスプレイ６の操作に基づいて図１の記憶装置１３に記憶される複数の音素材を入力する。複数の音素材は、一の楽曲データから連続的または不連続に選択された複数の音素材、または複数の楽曲データから不連続に選択された複数の音素材であってもよい。音素材入力部１２０への複数の音素材の入力順序は予め定められている。本実施の形態では、Ｎ個の音素材ＳＩ_１〜ＳＩ_Ｎが入力される。Ｎは２以上の自然数である。

好適性情報取得部１６１は、複数の処理モジュール１４０ａ〜１４０ｄからパラメータ値好適性情報ＰＰａ〜ＰＰｄを取得する。処理方式決定部１６０は、パラメータ値設定部２００により設定されたパラメータＰＡの値および好適性情報取得部１６１により取得されたパラメータ値好適性情報ＰＰａ〜ＰＰｄに基づいて各音素材の処理に用いる処理方式を決定する。本実施の形態では、Ｎ個の音素材ＳＩ_１〜ＳＩ_Ｎの各々の処理に用いる処理方式が音素材の再生前に予め決定される。

音素材の再生時には、再生指示部１１０は、ユーザによる図１のタッチパネルディスプレイ６の操作に基づいて複数の音素材の再生を指示する。それにより、音素材入力部１２０は、複数の音素材ＳＩ_１〜ＳＩ_Ｎを順に入力する。この場合、入力する音素材の間に休符区間が入ってもよい。また、各音素材が再生開始予定時刻付きでまたは再生開始予定時刻が算出されて入力されてもよい。処理モジュール選択部１７０は、音素材の入力ごとに処理方式決定部１６０により決定された処理方式に対応する処理モジュール１４０を選択し、選択した処理モジュール１４０への音素材の入力を音素材入力部１２０に指示し、かつ選択した処理モジュール１４０により処理された音素材の出力を音素材出力部１５０に指示する。

音素材入力部１２０は、処理モジュール選択部１７０により指示された処理モジュール１４０に遅延部１３０を通して各音素材を入力する。このとき、遅延部１３０は、予め設定された差分遅延量の遅延を音素材に与える。選択された処理モジュール１４０は、入力された音素材を処理する。音素材出力部１５０は、処理モジュール選択部１７０により指示された処理モジュール１４０により処理された音素材を出力する。本実施の形態では、音素材出力部１５０は、音素材ＳＩ_１〜ＳＩ_Ｎにタイムストレッチを行うことにより得られた音素材ＳＯ_１〜ＳＯ_Ｎを順に出力する。

本例では、各遅延部１３０により各音素材に差分遅延量の遅延が付与されるが、複数の遅延部１３０を設けることなく音素材入力部１２０が各処理モジュール１４０に音素材を入力する時点を調整することにより各音素材に差分遅延量の遅延が付与されてもよい。

（３）処理方式の決定方法
タイムストレッチのための複数の処理方式としては、例えば、スライス方式、ＰＳＯＬＡ（ピッチ同期重畳加算）方式、フェーズボコーダ方式、および波形クロスフェード方式がある。

スライス方式は、ストレッチ比が例えば１／４以下である場合に各種の音素材に対して好適である。再生速度が高い場合、音素材の種類（特徴）に拘わらず、アタック部のみを抽出して出力することにより、不自然さが目立たない。そのため、再生速度が高い場合にはスライス方式が選択肢の一つとなる。ＰＳＯＬＡ方式は、他の方式に比べて広いストレッチ比の範囲で良好な音質を得ることができる。フェーズボコーダ方式は、ストレッチ比が例えば１／２以上２以下である場合に好適である。ただし、原音からの変化が大きいほど音質の劣化が大きい。波形クロスフェード方式は、ストレッチ比が１に近い場合（例えば、０．９以上１．１以下の範囲）にフェーズボコーダ方式よりも好適である。以上が、ストレッチ比の観点における主なタイムストレッチ方式の処理の傾向である。処理方式として、ＰＩＣＯＬＡ（Pointer Interval Controlled OverLap and Add）方式等の他の方式が用いられてもよい。

図３は、パラメータ値好適性情報の例について説明するための図である。図３（ａ）〜図３（ｄ）が、パラメータ値好適性情報ＰＰａ〜ＰＰｄをそれぞれ示す。図３（ａ）〜図３（ｄ）において、横軸がストレッチ比を表し、縦軸が好適性を表す。図３の例では、好適性が、“０”以上“５”以下の数値（以下、好適値と呼ぶ）で表される。好適値が大きいほど、好適性が高い。ストレッチ比は百分率で表される。

例えば、ストレッチ比が５０パーセントである場合、処理方式Ａ、処理方式Ｂ、処理方式Ｃおよび処理方式Ｄの好適値は、それぞれ“３”、“２”、“０”、“２”である。それにより、図２のパラメータ値設定部２００により設定されるストレッチ比が５０パーセントである場合、処理方式決定部１６０は音素材の処理に用いる処理方式を処理方式Ａに決定する。また、ストレッチ比が４００パーセントである場合、処理方式Ａ、処理方式Ｂ、処理方式Ｃおよび処理方式Ｄの好適値は、それぞれ“２”、“１”、“３”、“１”である。それにより、図２のパラメータ値設定部２００により設定されるストレッチ比が４００パーセントである場合、処理方式決定部１６０は、音素材の処理に用いる処理方式を処理方式Ｃに決定する。パラメータ値好適性情報の各好適値は、ユーザにより適宜変更可能であってもよい。また、処理モジュール１４０の数（処理方式の数）は、上記の例に限定されず、適宜変更可能である。

また、処理方式の決定の際に、処理すべき音素材の特徴が考慮されてもよい。音素材の特徴は、例えば、音素材がピッチ音であるか無ピッチ音であるか、音素材がピッチ音である場合に単一音であるか混合音であるか、または音素材に無音区間が存在するか否かである。ピッチ音は、人が音高を明確に知覚可能な音であり、無ピッチ音は、人が音高を明確に知覚することができない音である。単一音は、人が１つの音として知覚する音であり、混合音は、複数の単一音が混合された音である。

例えば、スライス方式は、無音区間が存在する音素材（例えば、パーカッション演奏等）に関して、広いストレッチ比の範囲（例えば、１／８以上８以下）で好適である。ＰＳＯＬＡ方式は、単一音には広いストレッチ比の範囲で好適であるが、混合音には適さない。また、ＰＳＯＬＡ方式は、持続音系に適しており、ノイズ成分にも適切に処理可能である。フェーズボコーダ方式は、打楽器音等の鋭いアタック音および無ピッチ音では音質の劣化が目立ち、適さない。波形クロスフェード方式は、単一音および混合音の両方に関して、一定の音質を得ることができ、かつ無音区間が少なく継続して音が発せられる音素材に関して、不自然な音の途切れを抑制することができる。そのため、波形クロスフェード方式は、混合音に関して、ＰＳＯＬＡ方式よりも好適であり、無音区間が少ない音素材に関して、スライス方式よりも好適である。

図２の処理方式決定部１６０は、パラメータＰＡの値、パラメータ値好適性情報および音素材の特徴を表す情報に基づいて、各音素材の処理に用いる処理方式を決定してもよい。音素材の特徴を表す情報は、各音素材に関連付けられて記憶装置１３に記憶されていてもよく、再生の直前に自動解析等により取得されてもよい。あるいは、ユーザが当該情報を入力してもよい。また、例えば数秒以上の長さを有する音素材においては、途中で特徴が変化する場合がある。そのような音素材の処理では、途中で処理方式が変更されてもよい。

（４）音素材処理装置１００の動作
図４および図５は図１および図２の音素材処理装置１００により行われる複数の音素材の処理を示すフローチャートである。また、図６は音素材処理装置１００による複数の音素材の処理の一例を示すタイミング図である。図４および図５の複数の音素材の処理は、図１のＣＰＵ１１がＲＯＭ１０または記憶装置１３に記憶された音素材処理プログラムを実行することに行われる。以下、図２の音素材処理装置１００の各部の動作と関連付けて複数の音素材の処理を説明する。

本例では、図２の処理モジュール登録部２１０により複数の音素材の処理に使用可能な処理モジュール１４０として処理モジュール１４０ａ〜１４０ｄが登録されているものとする。複数の処理モジュール１４０ａ〜１４０ｄのパラメータＰＡの値がパラメータ値設定部２００により設定される。

まず、図２の音素材入力部１２０は、ユーザの操作に基づいて、図１の記憶装置１３に記憶される複数の音素材から再生対象となるＮ個の音素材ＳＩ_１〜ＳＩ_Ｎを取得する（ステップＳ１）。次に、処理方式決定部１６０は、音素材入力部１２０により取得されたＮ個の音素材ＳＩ_１〜ＳＩ_Ｎの処理に用いる処理方式をそれぞれ決定する（ステップＳ２）。本例では、音素材ＳＩ_１〜ＳＩ_４の処理にそれぞれ処理方式Ａ〜Ｄが用いられるものとする。

その後、処理遅延量取得部１９０は、決定された各処理方式に対応する処理モジュール１４０ａ〜１４０ｄから処理遅延量ＤＬａ〜ＤＬｄを取得する（ステップＳ３）。本例では、処理遅延量ＤＬａ〜ＤＬｄは、ＤＬａ＜ＤＬｂ＜ＤＬｃ＜ＤＬｄの関係を有する。

差分遅延量算出部１８０は、処理遅延量取得部１９０により取得された処理遅延量ＤＬａ〜ＤＬｄに基づいて基準遅延量ＤＲを決定する（ステップＳ４）。本例では、基準遅延量ＤＲは処理遅延量ＤＬａ〜ＤＬｄのうち最大の処理遅延量ＤＬｄに決定される。また、差分遅延量算出部１８０は、基準遅延量ＤＲと各処理モジュール１４０ａ〜１４０ｄの処理遅延量ＤＬａ〜ＤＬｄとの差を差分遅延量ΔＤａ〜ΔＤｄとして算出する（ステップＳ５）。さらに、差分遅延量算出部１８０は、各処理モジュール１４０ａ〜１４０ｄに対応する遅延部１３０ａ〜１３０ｄにそれぞれ差分遅延量ΔＤａ〜ΔＤｄを設定する（ステップＳ６）。

次に、処理方式決定部１６０は、音素材入力部１２０による各音素材ＳＯ_１〜ＳＯ_Ｎの出力開始時刻を決定する（ステップＳ７）。出力開始時刻は、各音素材の再生が開始される時刻に相当する。各音素材の出力開始時刻と次の音素材の出力開始時刻との間の時間差は、処理後の各音素材の再生時間により決定される。本例では、入力される音素材が休符区間を含まないが、入力される音素材が休符区間を含む場合には、再生時間に休符区間が加算される。図６には、処理後の音素材ＳＯ_１〜ＳＯ_５の出力開始時刻ｒ１〜ｒ５が示される。

また、処理方式決定部１６０は、音素材入力部１２０による各音素材ＳＩ_１〜ＳＩ_Ｎの入力開始時刻を決定する（ステップＳ８）。この場合、各入力開始時刻は、対応する出力開始時刻よりも基準遅延量ＤＲだけ前の時点に決定される。図６には、音素材ＳＩ_１〜ＳＩ_５の入力開始時刻ｔ１〜ｔ５が示される。

ユーザの操作に基づいて、再生指示部１１０が複数の音素材の再生の開始を指示する（ステップＳ９）。また、再生指示部１１０は図１のタイマ１２を起動する（ステップＳ１０）。処理モジュール選択部１７０は、変数ｉを１に設定する（ステップＳ１１）。次に、処理モジュール選択部１７０は、ｉ番目（１番目）の音素材の処理に用いる処理モジュール１４０を現在の処理モジュール１４０とする（ステップＳ１２）。本例では、処理モジュール１４０ａが現在の処理モジュール１４０となる。

その後、処理モジュール選択部１７０は、図１のタイマ１２の出力に基づいて、ｉ番目（１番目）の入力開始時刻ｔ１が到来したか否かを判定する（ステップＳ１３）。ｉ番目（１番目）の入力開始時刻ｔ１が到来した場合には、処理モジュール選択部１７０は、現在の処理モジュール１４０ａへ遅延部１３０ａを通してｉ番目（１番目）の音素材ＳＩ_１の入力を開始するように音素材入力部１２０を制御する（ステップＳ１４）。この場合、図６に示すように、遅延部１３０ａにより音素材ＳＩ_１に差分遅延量ΔＤａが付与される。それにより、音素材ＳＩ_１は、入力開始時刻ｔ１から差分遅延量ΔＤａの経過後に処理モジュール１４０ａに入力される。処理モジュール１４０ａは、入力された音素材ＳＩ_１の処理を開始し、処理遅延量ＤＬａの経過後に処理された音素材ＳＯ_１の出力が可能となる。

その後、処理モジュール選択部１７０は、図１のタイマ１２の出力に基づいて、ｉ番目（１番目）の出力開始時刻ｒ１が到来したか否かを判定する（ステップＳ１５）。ｉ番目（１番目）の出力開始時刻ｒ１が到来した場合には、処理モジュール選択部１７０は、現在の処理モジュール１４０ａにより処理された音素材ＳＯ_１を出力するように音素材出力部１５０を制御する（ステップＳ１６）。図６の例では、音素材出力部１５０は、出力開始時刻ｒ１において、処理モジュール１４０ａにより処理された１番目の音素材ＳＯ_１をフェードインさせながら出力する。

次に、処理モジュール選択部１７０は、ユーザの操作に基づいて、再生指示部１１０により再生の終了が指示されたか否かを判定する（ステップＳ１７）。再生の終了が指示されていない場合、処理モジュール選択部１７０は、変数ｉに１を加算する（ステップＳ１８）。次に、処理モジュール選択部１７０は、ｉ番目（２番目）の音素材ＳＩ_２の処理に用いる処理モジュール１４０を次の処理モジュール１４０とする（ステップＳ１９）。本例では、処理モジュール１４０ｂが次の処理モジュール１４０となる。

その後、処理モジュール選択部１７０は、図１のタイマ１２の出力に基づいて、ｉ番目（２番目）の入力開始時刻ｔ２が到来したか否かを判定する（ステップＳ２０）。ｉ番目（２番目）の入力開始時刻ｔ２が到来した場合には、処理モジュール選択部１７０は、次の処理モジュール１４０ｂへ遅延部１３０ｂを通してｉ番目（２番目）の音素材ＳＩ_２の入力を開始するように音素材入力部１２０を制御する（ステップＳ２１）。この場合、図６に示すように、遅延部１３０ｂにより音素材ＳＩ_２に差分遅延量ΔＤｂが付与される。それにより、音素材ＳＩ_２は、入力開始時刻ｔ２から差分遅延量ΔＤｂの経過後に処理モジュール１４０ｂに入力される。処理モジュール１４０ｂは、入力された音素材ＳＩ_２の処理を開始し、処理遅延量ＤＬｂの経過後に処理された音素材ＳＯ_２の出力が可能となる。

その後、処理モジュール選択部１７０は、図１のタイマ１２の出力に基づいて、ｉ番目（２番目）の出力開始時刻ｒ２が到来したか否かを判定する（ステップＳ２２）。ｉ番目（２番目）の出力開始時刻ｒ２が到来した場合には、処理モジュール選択部１７０は、現在の処理モジュール１４０ａにより処理された音素材ＳＯ_１の出力を停止するように音素材出力部１５０を制御する（ステップＳ２３）。図６の例では、音素材出力部１５０は音素材ＳＯ_１をフェードアウトさせる。

次に、処理モジュール選択部１７０は、次の処理モジュール１４０ｂを現在の処理モジュール１４０とする（ステップＳ２４）。処理モジュール選択部１７０は、現在の処理モジュール１４０ｂにより処理された音素材ＳＯ_２を出力するように音素材出力部１５０を制御する（ステップＳ２５）。図６の例では、出力開始時刻ｒ２において、音素材出力部１５０が処理モジュール１４０ｂにより処理された音素材ＳＯ_２をフェードインさせる。

その後、処理モジュール選択部１７０は、ステップＳ１７に戻り、ステップＳ１７〜Ｓ２５を繰り返す。これにより、図６の例では、入力開始時刻ｔ３で３番目の音素材ＳＩ_３が遅延部１３０ｃを通して処理モジュール１４０ｃに入力され、差分遅延量ΔＤｃの経過後に音素材ＳＩ_３の処理が開始される。さらに、処理遅延量ＤＬｃの経過後の出力開始時刻ｒ３で、２番目の音素材ＳＯ_２がフェードアウトされ、処理モジュール１４０ｃにより処理された３番目の音素材ＳＯ_３がフェードインされる。同様に、入力開始時刻ｔ４で４番目の音素材ＳＩ_４が遅延部１３０ｄを通して処理モジュール１４０ｄに入力され、差分遅延量ΔＤｄの経過後に音素材ＳＩ_４の処理が開始される。さらに、処理遅延量ＤＬｄの経過後の出力開始時刻ｒ４で、３番目の音素材ＳＯ_３がフェードアウトされ、処理モジュール１４０ｄにより処理された４番目の音素材ＳＯ_４がフェードインされる。

ステップＳ１７で、再生の終了が指示された場合、処理モジュール選択部１７０はタイマ１２を停止させる（ステップＳ２６）、また、処理モジュール選択部１７０は、現在の処理モジュール１４０への音素材の入力を停止するように音素材入力部１２０を制御し（ステップＳ２７）、現在の処理モジュール１４０により処理された音素材の出力を停止するように音素材出力部１５０を制御する（ステップＳ２８）。

本例では、処理方式の切り替わり時に先行する音素材がフェードアウトしかつ後続する音素材がフェードインすることによりクロスフェードが行われるので、聴感上自然な再生音が得られる。

上記の複数の音素材の処理において、パラメータ値設定部２００によりパラメータＰＡの値が変更された場合には、各処理方式の処理遅延量が変化する。そのため、各音素材の出力開始時刻および入力開始時刻も変更される必要がある。本実施の形態では、パラメータがストレッチ比であるため、ストレッチ比の値が変更されると、各処理モジュール１４０の処理遅延量および処理後の音素材の再生時間も変更される。この場合、ステップＳ３に戻り、処理遅延量取得部１９０により変更後のパラメータＰＡの値に応じた処理遅延量が取得され、ステップＳ４〜Ｓ８において各音素材の出力開始時刻および入力開始時刻が再度決定される。その後、ステップＳ９〜Ｓ２８が実行される。

（５）実施の形態の効果
本実施の形態に係る音素材処理装置１００によれば、設定されたパラメータＰＡの値および各処理方式のパラメータ値好適性情報に基づいて、設定されたパラメータＰＡの値に適した処理方式が決定される。それにより、各処理方式についての知識および経験が乏しいユーザであっても、各音素材を適切な処理方式で処理することができる。また、複数の異なるパラメータの値で複数の音素材に連続的に処理が行われる場合でも、処理方式の切り替えのためのユーザの煩雑な操作を必要とせず、各音素材を適切な処理方式で処理することができる。

また、本実施の形態では、処理モジュール１４０ａ〜１４０ｄへの音素材の入力から音素材の出力までの時間が基準遅延量ＤＲと等しくなるように音素材に遅延が与えられる。それにより、処理方式Ａ〜Ｄの切り替え時に音ずれが生じない。この場合、ユーザは、各処理方式の処理遅延量および楽音の信号処理を考慮する必要がない。その結果、各処理方式および楽音の信号処理についての知識および経験が乏しいユーザであっても、各音素材を適切な処理方式で処理するとともに処理後の複数の音素材の連続性を容易に確保することが可能となる。

（６）他の処理の例
上記実施の形態では、処理としてタイムストレッチが行われるが、他の処理が行われてもよい。他の処理の例として、ディストーションエフェクトがある。ディストーションエフェクトでは、音素材が増幅され、増幅後の音素材が一定のクリップレベルでクリップされることにより、音素材が意図的に歪まされる。以下、音素材の振幅を信号レベルと呼ぶ。ディストーションエフェクトのパラメータとして、歪み度が設定される。歪み度は、クリップレベルに対する増幅後の信号レベルの比率である。処理前における信号レベルがＳＬであり、増幅の比率（増幅度）がｋであり、歪み度がｄであり、かつクリップレベルがＣＬである場合、ｋ＝ｄ・ＣＬ／ＳＬとなる。

ディストーションエフェクトの処理方式として、例えば、処理方式Ｅ、処理方式Ｆおよび処理方式Ｇがある。図７は、ディストーションエフェクトの処理方式について説明するための模式図である。図７（ａ）には、処理前の音素材が示される。図７（ｂ）〜図７（ｄ）には、処理方式Ｅ〜Ｇによる処理後の音素材が示される。図７（ａ）〜図７（ｄ）において、横軸は時間を示し、縦軸は変位を示す。図７の例では、処理前の信号レベルがＳＬであり、増幅後の信号レベルがｋ・ＳＬである。

図７（ｂ）の処理方式Ｅでは、増幅後の音素材にハードクリップ処理が施される。具体的には、増幅後の音素材において、ＣＬよりも大きい変位がＣＬに変換され、−ＣＬよりも小さい変位が−ＣＬに変換される。増幅後の音素材において、−ＣＬ以上ＣＬ以下の変位はそのまま維持される。図７（ｃ）の処理方式Ｆでは、増幅後の音素材にソフトクリップ処理が施される。処理方式Ｆが処理方式Ｅと異なる点は、変位がＣＬまたは−ＣＬに変換される部分と、その前後の部分とが、緩やかな曲線を描くように連続することである。図７（ｄ）の処理方式Ｇでは、オーバーサンプリング後にクリップ処理が施される。具体的には、増幅後の音素材が元のサンプリング周波数よりも高い周波数でオーバーサンプリングされ、得られた信号に上記のソフトクリップ処理またはハードクリップ処理が施される。クリップ処理後の信号からローパスフィルタにより高周波数成分が除去される。高周波数成分の除去後の信号が元のサンプリング周波数にダウンサンプリングされる。このような処理により、折り返しノイズの発生を抑制しつつ音素材をクリップさせることができる。

処理方式Ｅ〜Ｇのうち、処理方式Ｅの処理負荷が最も小さく、処理方式Ｇの処理負荷が最も大きい。また、歪み度が大きいほど、折り返しノイズが生じやすい。そのため、歪み度が比較的小さい（例えば、１．０以上１．２未満）場合、処理負荷の小さい処理方式Ｅが好適である。一方、歪み度が比較的大きい（例えば、２．０以上）場合、折り返しノイズの発生が抑制される処理方式Ｇが好適である。また、歪み度がこれらの中間（例えば、１．２以上２．０未満）である場合、処理方式Ｇより処理負荷が小さく、かつ比較的良好なエフェクトが得られる処理方式Ｆが好適である。このように、上記実施の形態と同様に、設定されたパラメータ（歪み度）の値、およびパラメータの値に対する各処理方式の好適性を表すパラメータ値好適性情報に基づいて、設定されたパラメータの値に適した処理方式を決定することができる。したがって、各音素材を適切な処理方式で処理することができる。

（７）他の実施の形態
上記実施の形態では、記憶装置１３に複数の音素材が記憶されるが、複数の音素材が通信Ｉ／Ｆ１４により通信網を経由して取得されてもよい。また、演奏データ入力部２または外部から入力される音響データから複数の音素材が取得されてもよい。さらに、処理の種類によっては、各音素材の処理方式が決定されつつ各音素材が処理および再生されてよく、またはマイク等の入力装置により入力される音響データから複数の音素材が取得されつつ各音素材についての処理方式の決定、決定された処理方式での処理および再生が順次行われてもよい。

上記実施の形態では、複数の音素材に差分遅延量の遅延が付与されつつ複数の音素材の処理および再生が順次行われるが、本発明はこれに限らない。例えば、複数の音素材の処理が予め行われ、処理後の音素材が順次再生されてもよい。また、複数ではなく１つの音素材の処理および再生のみが行われてもよい。また、上記実施の形態では、１つの音素材に関して１つのパラメータの値が設定されるが、１つの音素材に関して複数のパラメータの値が設定されてもよい。その場合、設定された複数のパラメータの値に基づいて処理方式が決定されてもよい。

上記実施の形態では、音素材処理装置１００が電子音楽装置１に設けられているが、音素材処理装置１００がパーソナルコンピュータ、スマートデバイス（smart device）、ゲーム機器等の電子機器に適用されてもよい。上記実施の形態に係る音素材処理装置１００は、ＣＰＵ１１等のハードウエアおよび音素材処理プログラム等のソフトウエアにより実現されるが、図２の音素材処理装置１００の各構成要素が電子回路等のハードウエアにより実現されてもよい。

（８）請求項の各構成要素と実施の形態の各部との対応
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることができる。

上記実施の形態では、音素材入力部１２０が音素材取得手段の例であり、パラメータ値設定部２００がパラメータ値取得手段の例であり、好適性情報取得部１６１が好適性情報取得手段の例であり、パラメータ値好適性情報ＰＰａ〜ＰＰｄが好適性情報の例であり、処理方式決定部１６０が処理方式決定手段の例であり、処理モジュール１４０が処理手段の例である。

本発明は、複数の音素材を処理するため等に利用することができる。

１…電子音楽装置，６…タッチパネルディスプレイ，９…ＲＡＭ，１０…ＲＯＭ，１１…ＣＰＵ，１２…タイマ，１３…記憶装置，１５…外部記憶装置，１８…サウンドシステム，１９…バス，１００…音素材処理装置，１１０…再生指示部，１２０…音素材入力部，１３０，１３０ａ〜１３０ｄ…遅延部，１４０，１４０ａ〜１４０ｄ…処理モジュール，１５０…音素材出力部，１６０…処理方式決定部，１６１…好適性情報取得部，１７０…処理モジュール選択部，１８０…差分遅延量算出部，１９０…処理遅延量取得部，２００…パラメータ値設定部，２１０…処理モジュール登録部

Claims (5)

1. 音素材を取得する音素材取得手段と、
   取得された音素材に行うべき予め定められた処理に関するパラメータの値を取得するパラメータ値取得手段と、
   前記処理を行うための複数の処理方式に関して、前記パラメータの値に対する好適性を表す好適性情報を取得する好適性情報取得手段と、
   取得されたパラメータの値および取得された好適性情報に基づいて、前記複数の処理方式のうち、前記取得されたパラメータの値に適した処理方式を決定する処理方式決定手段と、
   決定された処理方式を用いて、前記取得された音素材に前記取得されたパラメータの値に対応するように前記処理を行う処理手段とを備える、音素材処理装置。
2. 前記パラメータは、前記処理により音素材を変化させるべき程度を表す、請求項１記載の音素材処理装置。
3. 前記処理方式決定手段は、前記取得された音素材の処理による音質の劣化が最も抑制される処理方式を前記音素材に適した処理方式として決定する、請求項１または２記載の音素材処理装置。
4. 前記処理はタイムストレッチであり、
   前記パラメータは、タイムストレッチにおけるストレッチ比である、請求項１〜３のいずれか一項に記載の音素材処理装置。
5. 音素材を取得するステップと、
   取得された音素材に行うべき予め定められた処理に関するパラメータの値を取得するステップと、
   前記処理を行うための複数の処理方式に関して、前記パラメータの値に対する好適性を表す好適性情報を取得するステップと、
   取得されたパラメータの値および取得された好適性情報に基づいて、前記複数の処理方式のうち、前記取得されたパラメータの値に適した処理方式を決定するステップと、
   決定された処理方式を用いて、前記取得された音素材に前記取得されたパラメータの値に対応するように前記処理を行うステップとを、
   コンピュータに実行させる、音素材処理プログラム。

Images