JP2009223078A - 音処理装置およびプログラム - Google Patents

Abstract

【課題】音響信号のピッチを安定的に正規化する。
【解決手段】ピッチ検出部４６は、音響信号ＳINのピッチＰを検出する。範囲設定部７２は、複数の音高（ノートナンバ）の各々について正規化範囲Ｒを設定する。音高特定部７４は、ピッチ検出部４６の検出したピッチＰが属する正規化範囲Ｒに対応した音高を順次に特定する。音高特定部７４が新たな音高を特定すると、範囲設定部７２は、当該音高に対応した正規化範囲Ｒを拡大するとともに当該正規化範囲Ｒを拡大前の範囲まで経時的に縮小する。
【選択図】図１

Description

本発明は、音響信号のピッチを複数の音高の何れかに正規化する技術に関する。

人間の発声音や楽器の演奏音を収音した音響信号のピッチから複数の音高の何れかを特定する（すなわち音響信号のピッチを正規化する）ための各種の技術が従来から提案されている。例えば特許文献１には、音響信号のピッチを調音階（鍵盤楽器の白鍵に対応する音高の集合）や１２音階（白鍵および黒鍵に対応する音高の集合）の各構成音に変換する技術が開示されている。
特開２００３−１２２３５１号公報

ピッチの正規化には、複数の音高の各々について固定的に設定された範囲が利用される。すなわち、複数の音高のうち音響信号のピッチが属する範囲に対応した音高が正規化の結果として特定される。しかし、音響信号が不安定でピッチが微妙に変動する場合、以上の技術においては、正規化後の音高が短時間で刻々と変化するという問題がある。例えば、音高Ｃと音高Ｃ#との範囲の境界値の付近で音響信号のピッチが変動すると、正規化後の音高は、音高Ｃおよび音高Ｃ#の一方から他方に短時間で不安定に変動する。以上の事情に鑑みて、本発明は、音響信号のピッチを安定的に正規化することをひとつの目的とする。

以上の課題を解決するために、本発明の音処理装置は、音響信号のピッチを検出するピッチ検出手段と、複数の音高の各々について正規化範囲を設定する範囲設定手段と、ピッチ検出手段の検出したピッチが属する正規化範囲に対応した音高を順次に特定する音高特定手段とを具備し、音高特定手段が新たな音高を特定すると、範囲設定手段は、当該音高に対応した正規化範囲を一時的に拡大する。以上の構成によれば、音高特定手段が新たに特定した音高の正規化範囲が一時的に拡大するから、音響信号のピッチが不安定に変動する場合であっても、音高特定手段が特定する音高の変化を抑制することが可能である。

本発明の好適な態様において、音高特定手段が新たな音高を特定すると、範囲設定手段は、当該音高に対応した正規化範囲を拡大するとともに当該正規化範囲を拡大前の範囲まで経時的に縮小する。以上の態様によれば、例えば拡大後の正規化範囲が所定の時間にわたって維持される構成（例えば図９のように正規化範囲Ｒを制御する構成）と比較して、新たな音高の特定から時間が経過するほど他の音高の特定される可能性が高まるという利点がある。例えば人間の発声音や楽器の演奏音は発生の開始時に特に音高が不安定となるという傾向を考慮すれば、正規化範囲の縮小量が経時的に減少するように拡大後の正規化範囲を縮小する構成（例えば図８のように正規化範囲を制御する構成）が好適である。

本発明の好適な態様において、複数の構成音で構成されるスケールを指定する制御手段を具備し、音高特定手段は、制御手段が指定するスケールの複数の構成音のなかからピッチに対応した音高を特定する。以上の態様においては、例えば特定のスケールの楽曲の演奏や歌唱において音楽的に適切な音高のみを特定することが可能である。さらに、ピッチ検出手段の検出したピッチが属する正規化範囲に対応した音高がスケールの構成音に該当しない場合に音高特定手段が当該音高を調整する構成（例えば図４や図５のステップＳB3からステップＳB8を実行する構成）によれば、音響信号のピッチが不正確な場合であっても、音楽的に適切な音高を特定することができる。

本発明の好適な態様において、範囲設定手段は、ピッチベンドの利用が指示された場合には正規化範囲の拡大を実行しない。以上の態様においては、ピッチベンドの利用が指示された場合には正規化範囲が拡大されないから、音高を変化させる音楽的な表現を実現することも可能である。

以上の各態様に係る音処理装置は、入力音の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、音響信号のピッチを検出するピッチ検出処理と、ピッチ検出処理にて検出したピッチが属する正規化範囲に対応した音高を順次に特定する音高特定処理と、複数の音高の各々について正規化範囲を設定する処理であって、音高特定手段が新たな音高を特定すると、当該音高に対応した正規化範囲を一時的に拡大する範囲設定処理とをコンピュータに実行させる。本発明のプログラムによれば、以上の各態様に係る音処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

図１は、本発明の実施の形態に係る音処理装置のブロック図である。図１に示すように、音処理装置１００にはＡ/Ｄ変換器１４と出力処理装置２２とが接続される。Ａ/Ｄ変換器１４は、収音機器１２から供給される電気信号をデジタル形式の音響信号ＳINに変換して音処理装置１００に出力する。音響信号ＳINは、収音機器１２が採取した入力音（例えば利用者の歌唱音や楽器の演奏音）の波形を表す信号である。

音処理装置１００は、音響信号ＳINから音楽データＤNを生成する（すなわち音響信号ＳINを符号化する）。本形態の音楽データＤNは、MIDI（Musical Instrument Digital Interface）規格に準拠したデータである。さらに詳述すると、音処理装置１００は、複数の音高のなかから音響信号ＳIN（入力音）のピッチに応じた音高を特定する。すなわち、音処理装置１００は音響信号ＳINのピッチを複数の音高に正規化（量子化）する。音楽データＤNは、例えば音響信号ＳINのピッチから特定された音高をノートナンバとして指定するノートオンイベントである。

出力処理装置２２は、音楽データＤNに対して所定の処理を実行することで出力信号ＳOUTを生成する。出力信号ＳOUTは、音楽データＤNが指定するノートナンバに対応した音高の音響（楽音や音声）を表す信号である。例えばMIDI音源などの音源回路が出力処理装置２２として好適に採用される。出力信号ＳOUTが放音機器２４（例えばスピーカ装置）に供給されることで、音楽データＤNが指定するノートナンバに対応した音高の再生音（すなわち入力音のピッチを特定の音高に量子化した再生音）が放音される。

図１に示すように、音処理装置１００は、制御装置３２と記憶装置３４とを具備するコンピュータシステムで実現される。制御装置３２は、プログラムを実行することで複数の要素（特徴抽出部４０，正規化部５０，データ生成部６２，制御部６４）として機能する演算処理装置である。記憶装置３４は、制御装置３２が実行するプログラムや制御装置３２が使用する各種のデータを記憶する。半導体記憶装置や磁気記憶装置などの公知の記録媒体が記憶装置３４として任意に利用される。

図１の特徴抽出部４０は、音響信号ＳINを時間軸上で区分した複数の区間（以下「単位区間」という）の各々について音響信号ＳINの特徴量を抽出する。本形態の特徴抽出部４０は、平均強度検出部４２とピーク強度検出部４４とピッチ検出部４６とで構成される。平均強度検出部４２は、各単位区間における音響信号ＳINの強度の平均値（実効値）を平均強度ＱAとして算定する。ピーク強度検出部４４は、各単位区間内における音響信号ＳINのピークの強度（単位区間内における強度の最大値）をピーク強度ＱBとして算定する。ピッチ検出部４６は、音響信号ＳINのピッチ（基本周波数）Ｐ[Ｈz]を単位区間毎に算定する。ピッチＰの検出には自己相関法や零交差法といった公知の技術が任意に採用される

正規化部５０は、特徴抽出部４０が抽出した各特徴量を正規化する。本形態の正規化部５０は、平均強度正規化部５２とピーク強度正規化部５４とピッチ正規化部５６とで構成される。平均強度正規化部５２は、各単位区間の平均強度ＱAをｎ段階（例えばｎ＝128）の何れかの数値ＱnAに正規化する。ピーク強度正規化部５４は、各単位区間のピーク強度ＱBをｎ段階の何れかのピーク強度ＱnBに正規化する。ピッチ正規化部５６は、各単位区間のピッチＰに対応したノートナンバ（音高）Ｎを単位区間毎に特定する。ノートナンバＮは、ｎ段階のなかからピッチＰに応じて選択された数値（Ｎ＝０〜127）である。正規化部５０による正規化後の平均強度ＱnAとピーク強度ＱnBとノートナンバＮとはデータ生成部６２に供給される。

データ生成部６２は、平均強度ＱnAとピーク強度ＱnBとノートナンバＮとから音楽データＤNを生成する。なお、音楽データＤNの生成の具体例については後述する。制御部６４は、制御装置３２の各要素を制御する。例えば、制御部６４は、複数種のスケールのうちのひとつのスケール（以下では特に「選択スケール」という）を例えば利用者からの指示に応じて選択する。また、制御部６４は、音楽データＤNの生成にピッチベンドを利用するか否かを例えば利用者からの指示に応じて選択する。

図１に示すように、ピッチ正規化部５６は、範囲設定部７２と音高特定部７４とで構成される。範囲設定部７２は、ｎ段階の音高（ノートナンバ）の各々について所定の範囲（以下「正規化範囲」という）Ｒを設定する。各ノートナンバに対応する正規化範囲Ｒは相互に重複しないように設定される。

音高特定部７４は、ピッチ検出部４６が検出したピッチＰからひとつのノートナンバＮを特定する。さらに詳述すると、音高特定部７４は、第１に、範囲設定部７２が設定したｎ個の正規化範囲Ｒのうちピッチ検出部４６が検出したピッチＰの属する正規化範囲Ｒに対応したノートナンバＮ0を単位区間毎に特定（正規化）する。第２に、音高特定部７４は、制御部６４が指定する選択スケールの複数の構成音のうちノートナンバＮ0に対応した構成音のノートナンバＮを単位区間毎に特定（量子化）する。

ピッチベンドを利用する場合とピッチベンドを利用しない場合とに区分してピッチ正規化部５６によるノートナンバＮ0の特定を以下に説明する。図２および図３は、ピッチ検出部４６が検出したピッチＰ（縦軸）と音高特定部７４が特定するノートナンバＮ0との経時的な変化を例示する概念図である。図２および図３におけるひとつの白丸がひとつの単位区間の音響信号ＳINから抽出されたピッチＰを意味する。図２においてはピッチベンドの利用が指示された場合を想定し、図３においてはピッチベンドの利用が指示されない場合を想定する。

［１］ピッチベンドを利用する場合
図２に示すように、範囲設定部７２は、ｎ種類のノートナンバ（図２においては音高Ｂから音高Ｃ#までの３種類のノートナンバのみが図示されている）の各々について正規化範囲Ｒを設定する。例えば、下限値ｐ0_Bから上限値ｐ0_Cまでの範囲が音高Ｂの正規化範囲Ｒ_Bとして設定され、下限値ｐ0_Cから上限値ｐ0_C#までの範囲が音高Ｃの正規化範囲Ｒ_Cとして設定され、下限値ｐ0_C#から上限値ｐ0_Dまでの範囲が音高Ｃ#の正規化範囲Ｒ_C#として設定される。ピッチベンドの利用が制御部６４から指示された場合、正規化範囲Ｒは所定の範囲（以下「初期範囲」という）ｒ0に固定される（すなわち経時的に変化しない）。なお、図２や図３においては各音高の初期範囲ｒ0の広さが共通する場合を便宜的に例示したが、実際には初期範囲ｒ0の広さは音高毎に個別に設定される。

音高特定部７４は、各単位区間のピッチＰを包含する正規化範囲Ｒに対応したノートナンバＮ0を特定する。例えば、音高特定部７４は、ピッチＰが正規化範囲Ｒ_Cに属する単位区間については音高ＣのノートナンバＮ0を特定し、ピッチＰが正規化範囲Ｒ_C#に属する単位区間については音高Ｃ#のノートナンバＮ0を特定する。したがって、音高特定部７４が特定するノートナンバＮ0の時系列にはピッチＰの変動（ピッチベンド）が精緻に反映される。例えば、正規化範囲Ｒ_Cと正規化範囲Ｒ_C#との境界値ｐ0_C#の近傍にてピッチＰが変動すると、音高特定部７４が特定するノートナンバＮ0は、音高Ｃおよび音高Ｃ#の一方から他方に頻繁に変化する。

［２］ピッチベンドを利用しない場合
ピッチベンドの利用が制御部６４から指示されない場合、範囲設定部７２は、図３に示すように、ｎ種類のノートナンバの各々について正規化範囲Ｒを初期範囲ｒ0に設定する一方、音高特定部７４が新たなノートナンバＮ0を特定するたびに、当該ノートナンバＮ0に対応した正規化範囲Ｒを拡大したうえで初期範囲ｒ0まで経時的に縮小する。さらに詳述すると以下の通りである。

図３に示すように、正規化範囲Ｒ_C（初期範囲ｒ0）に属するピッチＰが時点ｔ1の単位区間にて検出され始めると、音高特定部７４は、時点ｔ1の単位区間について新たなノートナンバＮ0（音高Ｃ）を特定する。以上のように音高特定部７４が新たなノートナンバＮ0を特定すると、範囲設定部７２は、次以降の各単位区間（時刻ｔ2）のピッチＰの正規化で使用する正規化範囲Ｒ_Cを初期範囲ｒ0から一時的に拡大する。さらに詳述すると、正規化範囲Ｒ_Cは、時点ｔ2の単位区間において、初期範囲ｒ0の下限値ｐ0_Cを下回る下限値ｐE_Cから初期範囲ｒ0の上限値ｐ0_C#を上回る上限値ｐE_C#までの範囲に拡大される。正規化範囲Ｒ_Cの各境界値以外の境界値（例えば境界値ｐ0_Bや境界値ｐ0_D）は変化しないから、音高Ｃに隣接する音高（Ｂ，Ｃ#）の正規化範囲Ｒは縮小する。

さらに、範囲設定部７２は、時点ｔ2の単位区間にて拡大した正規化範囲Ｒ_Cを複数の単位区間にわたって経時的に初期範囲ｒ0まで縮小する。本形態の範囲設定部７２は、拡大後の正規化範囲Ｒ_Cを一定の割合で縮小する。すなわち、正規化範囲Ｒ_Cの上限値は、時点ｔ2（拡大の直後）における上限値ｐE_C#から所定の時間Δをかけて直線的に減少して初期範囲ｒ0の上限値ｐ0_C#に到達し、正規化範囲Ｒ_Cの下限値は、時点ｔ2における下限値ｐE_Cから時間Δをかけて直線的に増加して初期範囲ｒ0の上限値ｐ0_Cに到達する。時間Δは、複数の単位区間に相当する時間長である。

範囲設定部７２による正規化範囲Ｒの拡大は、音高特定部７４が新たなノートナンバＮ0を特定するたびに実行される。例えば、図３に示すように、正規化範囲Ｒ_Cが初期範囲ｒ0まで縮小した以後の時点ｔ3にてピッチＰが音高Ｃ#の正規化範囲Ｒ_C#内に変化して音高特定部７４が音高Ｃ#のノートナンバＮ0を新たに特定すると、範囲設定部７２は、音高Ｃ#に対応した正規化範囲Ｒ_C#を次回の単位区間（時点ｔ4）にて拡大したうえで時間Δをかけて経時的に縮小する。

以上のように、ノートナンバＮ0の特定の直後の単位区間から時間Δにわたる期間内では、初期範囲ｒ0から拡大した正規化範囲ＲがノートナンバＮ0の特定に適用される。したがって、正規化範囲Ｒを固定した場合（例えば図２のようにピッチベンドを利用する場合）と比較すると、ピッチＰに多少の変動があっても、音高特定部７４が特定するノートナンバＮ0（音高Ｃ）は変化しない可能性が高まる。すなわち、本形態によれば、音高特定部７４の特定するノートナンバＮ0を安定化することが可能である。

次に、図４は、ピッチベンドを利用しない場合（図３の場合）におけるピッチ正規化部５６の具体的な動作を示すフローチャートである。ステップＳA1からステップＳA9までの処理は、ピッチ検出部４６が検出したピッチＰに対応するノートナンバＮ0を特定する（すなわちピッチＰを正規化する）ための処理に相当し、ステップＳB1からステップＳB8までの処理は、ステップＳA1からステップＳA8までの処理で特定したノートナンバＮ0から選択スケールの構成音のノートナンバＮを特定する（すなわちノートナンバＮ0を選択スケールの各構成音に量子化する）ための処理に相当する。

図４の処理を開始すると、ピッチ正規化部５６は、ピッチ検出部４６が検出したピッチＰ[Ｈz]を、セント[cent]を単位とするピッチＰCに変換する（ステップＳA1）。さらに、音高特定部７４は、範囲設定部７２が設定するｎ種類の正規化範囲ＲのうちステップＳA1の変換後のピッチＰCを包含する正規化範囲Ｒに対応したノートナンバＮ0を特定する（ステップＳA2）。図３に例示したように、入力音が発生していない状態では正規化範囲Ｒは初期範囲ｒ0に設定される。

次いで、ピッチ正規化部５６は、ステップＳA2にて特定したノートナンバＮ0が複数の単位区間にわたって継続中であるか否かを判定する（ステップＳA3）。ステップＳA3の結果が否定である場合（今回の単位区間にて新たな音高が発生し始めた場合）、ピッチ正規化部５６は、ステップＳA4からステップＳA9（正規化範囲Ｒの更新）を実行せずに処理をステップＳB1に移行する。

ステップＳB1において、音高特定部７４は、今回の単位区間についてステップＳA2からステップＳA9までの処理で特定したノートナンバＮ0が選択スケールの構成音のノートナンバに該当するか否か（すなわちピッチＰが選択スケールの各構成音に量子化されるか否か）を判定する。

ステップＳB1の結果が肯定である場合、音高特定部７４は、今回の単位区間について特定したノートナンバＮ0をノートナンバＮとして確定した（ステップＳB2）うえで処理をステップＳA10に移行する。一方、ステップＳB1の結果が否定である場合、音高特定部７４は、今回の単位区間について特定したノートナンバＮ0に対応したピッチ（ノートナンバＮ0から逆算されるピッチ）ＰN[cent]が、ステップＳA1で算定したピッチＰCを上回るか否かを判定する（ステップＳB3）。

ステップＳB3の結果が肯定である場合、音高特定部７４は、ノートナンバＮ0を単位量（例えば１）だけ減少させる（ステップＳB4）。一方、ステップＳB3の結果が否定である場合、音高特定部７４は、ノートナンバＮ0を単位量だけ増加させる（ステップＳB5）。すなわち、音高特定部７４は、選択スケールの構成音のノートナンバに近づくようにノートナンバＮ0を調整する。

次いで、音高特定部７４は、ステップＳB4またはステップＳB5における調整後のノートナンバＮ0が選択スケールの構成音のノートナンバに該当するか否かを判定する（ステップＳB6）。ステップＳB6の結果が肯定である場合、音高特定部７４は、ステップＳB4またはステップＳB5における調整後のノートナンバＮ0をノートナンバＮとして確定する（ステップＳB7）。一方、ステップＳB6の結果が否定である場合（すなわちステップＳB4またはステップＳB5での調整によってもノートナンバＮ0が選択スケールの構成音に該当しない場合）、音高特定部７４はノートナンバＮを特定しない（ステップＳB8）。すなわち、音響信号ＳINのうち今回の単位区間の入力音を無視する。ステップＳB7またはステップＳB8が完了すると処理はステップＳA10に移行する。

ステップＳA10において、音高特定部７４は、今回の単位区間についてステップＳB2またはステップＳB7で確定したノートナンバＮが直前の単位区間のノートナンバＮと相違するか否か（すなわち、今回の単位区間について新たなノートナンバＮを特定したか否か）を判定する。ステップＳA10の結果が肯定である場合、範囲設定部７２は、図３を参照して前述したように、今回の単位区間について特定したノートナンバＮに対応する正規化範囲Ｒを拡大する（ステップＳA11）。さらに、範囲設定部７２は、記憶装置３４に格納された範囲拡大フラグＦをオンに設定した（ステップＳA12）うえで処理をステップＳA13に移行する。範囲拡大フラグＦは、正規化範囲Ｒの拡大中にオンに設定されるフラグである。

一方、ステップＳA10の結果が否定である場合（すなわち、直前の単位区間からノートナンバＮが変化していない場合）、範囲設定部７２は、ステップＳA11（正規化範囲Ｒの拡大）およびステップＳA12（範囲拡大フラグＦの設定）を実行せずに処理をステップＳA13に移行する。

ステップＳA13において、ピッチ正規化部５６は、ピッチＰの正規化を終了するか否かを判定する。音処理装置１００の動作の終了が利用者から指示された場合にはステップＳA13の結果が肯定となり、図４の処理は終了する。一方、ステップＳA13の結果が否定である場合、ピッチ正規化部５６は、今回の単位区間に後続する別の単位区間についてステップＳA1以後の処理を実行する。

以上のように入力音の開始後の単位区間については、ステップＳA11における拡大後の正規化範囲ＲがステップＳA2におけるピッチＰの正規化に適用される。そして、ノートナンバＮが共通する入力音が継続することでステップＳA3の結果が肯定になると、ピッチ正規化部５６は、範囲拡大フラグＦがオンに設定されているか否か（すなわち正規化範囲Ｒの拡大中であるか否か）を判定する（ステップＳA4）。

音高特定部７４による新たなノートナンバＮの特定を契機として正規化範囲Ｒの拡大（ステップＳA11）と範囲拡大フラグＦの設定（ステップＳA12）とが実行され、かつ、当該ノートナンバＮの音響が今回の単位区間でも継続している場合、ステップＳA3およびステップＳA4の双方の結果が肯定となってステップＳA5からステップＳA9までの処理が実行される。

ステップＳA5において、範囲設定部７２は、現段階の正規化範囲Ｒと比較して縮小するように正規化範囲Ｒを更新する。例えば、範囲設定部７２は、現段階の正規化範囲Ｒの上限値から所定値を減算した数値を上限値とし、現段階の正規化範囲Ｒの下限値に所定値を加算した数値を下限値とする範囲を更新後の正規化範囲Ｒとして算定する。

次いで、ピッチ正規化部５６は、ステップＳA5における更新後の正規化範囲Ｒが初期範囲ｒ0に充分に近づいたか否かを判定する（ステップＳA6）。さらに詳述すると、ピッチ正規化部５６は、更新後の正規化範囲Ｒの上限値と初期範囲ｒ0の上限値との差分値（または各範囲の下限値の差分値）が所定値を下回るか否かを判定する。ステップＳA6の結果が肯定である場合（すなわち、拡大後の正規化範囲Ｒが初期範囲ｒ0に充分に近づくまで縮小した場合）、範囲設定部７２は、正規化範囲Ｒを初期範囲ｒ0に設定するとともに範囲拡大フラグＦをオフに設定した（ステップＳA7）うえで処理をステップＳB1に移行する。したがって、過去の単位区間にて発生した音高が今回の単位区間で継続している場合（ステップＳA3：YES）であっても、当該音高の発生から所定の時間Δが経過した段階では、ステップＳA4の結果が否定となるから、初期範囲ｒ0に設定された正規化範囲ＲがステップＳA2におけるノートナンバＮ0の特定に利用される。

ステップＳA6の結果が否定である場合（正規化範囲Ｒが初期範囲ｒ0と比較して大きい場合）、音高特定部７４は、ステップＳA1で算定したピッチＰCを、ステップＳA5における更新後の正規化範囲Ｒに基づいて正規化し直す（ステップＳA8およびステップＳA9）。さらに詳述すると、音高特定部７４は、ステップＳA8において、ステップＳA1で算定したピッチＰCが更新後の正規化範囲Ｒ内にあるか否か（すなわち更新後の正規化範囲Ｒの上限値を下回るとともに下限値を上回るか否か）を判定する。そして、ステップＳA8の結果が肯定である場合、音高特定部７４は、ステップＳA2で特定したノートナンバＮ0を、過去の単位区間から継続しているノートナンバＮ0に変更した（ステップＳA9）うえで処理をステップＳB1に移行する。

一方、ステップＳA8の結果が否定である場合（ピッチＰCが更新後の正規化範囲Ｒに含まれない場合）、ピッチ正規化部５６は、ステップＳA9を実行せずに処理をステップＳB1に移行する。すなわち、ステップＳA2にて特定した結果がノートナンバＮ0として確定する。以上がピッチベンドを利用しない場合におけるピッチ正規化部５６の具体的な動作である。

図５は、ピッチベンドを利用する場合におけるピッチ正規化部５６の具体的な動作を示すフローチャートである。図５に示すように、制御部６４からピッチベンドの利用が指示された場合、ピッチ正規化部５６は、図４の処理と同様にピッチＰからピッチＰC[cent]とノートナンバＮ0とを特定した（ステップＳA1およびステップＳA2）うえで、図４のステップＳB1からステップＳB8と同様に、ノートナンバＮ0を選択スケールの複数の構成音に量子化するための処理を実行する。すなわち、ピッチベンドの利用が指示された場合、範囲設定部７２は正規化範囲Ｒの拡大や範囲拡大フラグＦの設定を実行しない。以上がピッチ正規化部５６の具体的な動作である。

図１のデータ生成部６２は、以上の手順で特定されたノートナンバＮを平均強度ＱNAおよびピーク強度ＱnBとともに利用して音楽データＤNを生成する。例えば、入力音の発生に伴なって音高特定部７４が新たなノートナンバＮを特定すると、データ生成部６２は、当該ノートナンバＮについて発音を指示するノートオンイベントを音楽データＤNとして生成する。また、入力音の音高の変化に伴なって音高特定部７４が新たなノートナンバＮを特定すると、データ生成部６２は、直前のノートナンバＮについて消音を指示するノートオフイベントと変更後のノートナンバＮについて発音を指示するノートオンイベントとを音楽データＤNとして生成する。また、入力音の消音に伴なって音高特定部７４によるノートナンバＮの特定が停止すると、データ生成部６２は、直前のノートナンバＮについて消音を指示するノートオフイベントを音楽データＤNとして生成する。

データ生成部６２が生成するノートオンイベント内のベロシティ（音量）は正規化後のピーク強度ＱnBに応じて設定される。図６は、ピーク強度ＱnB（横軸）とベロシティ（縦軸）との関係を示すグラフである。図６に示すように、記憶装置３４にはピーク強度ＱnBとベロシティとについて複数の関係ＣB（ＣB1，ＣB2，……）が記憶される。データ生成部６２は、記憶装置３４に保持された複数の関係ＣBのうち利用者からの指示に応じた関係ＣBを選択し、当該関係ＣBにおいてピーク強度ＱnBに対応するベロシティをノートオンイベントに設定する。したがって、再生音（音響信号ＳOUT）の音量を利用者の意図に応じて多様に設定することが可能である。

また、データ生成部６２は、平均強度ＱnAが変化するたびにエクスプレッションイベントを音楽データＤNとして生成する。エクスプレッションイベントは、再生音の音量や音色を可変に制御するためのデータである。エクスプレッションイベント内のエクスプレッション値（典型的には音量）は変化後の平均強度ＱnAに応じて設定される。図７に示すように、平均強度ＱnA（横軸）とエクスプレッション値（縦軸）とについて複数の関係ＣA（ＣA1，ＣA2，……）が記憶装置３４に保持される。データ生成部６２は、記憶装置３４に保持された複数の関係ＣAのうち利用者からの指示に応じた関係ＣAを選択し、当該関係ＣAにおいて平均強度ＱnAに対応するエクスプレッション値をエクスプレッションイベントに設定する。したがって、再生音の音量や音色を利用者の意図に応じて多様に設定することが可能である。

制御部６４からピッチベンドの利用が指示された場合、データ生成部６２は、ピッチＰに応じたピッチベンドイベントを音楽データＤNとして生成する。ピッチベンドイベントは、再生音のピッチを可変に制御するためのデータである。ピッチベンドイベント内のピッチベンド値はピッチＰ（さらに詳細には正規化後のピッチＰC）の変化量に応じて設定される。ピッチベンドイベントは、ピッチＰの変化量（ピッチベンド値）が変化するたびに生成される。

以上に説明したように、本形態においては、音高特定部７４が新たに特定した音高の正規化範囲Ｒが一時的に拡大するから、音響信号ＳIN（入力音）のピッチＰが不安定に変動する場合であってもノートナンバＮの変化を抑制することが可能である。したがって、安定的な再生音が生成されるという利点がある。一方、ピッチベンドの利用が指示されると正規化範囲Ｒの拡大が禁止されるから、再生音の音高を変化させる音楽的な表現（ピッチベンド）を音高の安定性に優先させて実現することも可能である。すなわち、利用者の意図を反映した多様な再生音を生成できるという利点がある。

さらに、選択スケールの複数の構成音のなかからピッチＰに対応したノートナンバＮが特定されるから、例えば特定のスケールの楽曲の演奏や歌唱において音楽的に適切な音高のみを特定することができる。特に、選択スケールの構成音に該当しないノートナンバＮ0が構成音の音高に接近するように調整されるから、音響信号ＳINのピッチＰが不正確な場合や不安定な場合であっても、音楽的に適切な音高の再生音を生成できるという利点がある。また、ステップＳA1およびステップＳA2にてピッチＰからピッチＰCを介して特定されるノートナンバＮ0に誤差がある場合であっても、ノートナンバＮ0を調整することで誤差の影響を抑制することが可能である。

＜変形例＞
以上の形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から２以上の態様を任意に選択して組合わせてもよい。

（１）変形例１
正規化範囲Ｒを一時的に拡大する方法は任意である。例えば、人間の発声音や楽器の演奏音は発生の開始の直後に特に不安定になり易いという傾向を考慮して、図８に示すように、正規化範囲Ｒの単位時間あたりの縮小量が経時的に減少する（すなわち正規化範囲Ｒが初期範囲ｒ0に漸近する）ように正規化範囲Ｒの上限値および下限値を範囲設定部７２が曲線的に変化させる構成も好適である。

もっとも、正規化範囲Ｒを連続的に変化させる構成は本発明において必須ではない。例えば、図９に示すように、拡大の直後の正規化範囲Ｒを時間Δにわたって維持するとともに拡大時から時間Δが経過した段階で正規化範囲Ｒを初期範囲ｒ0に設定するという構成によっても、音高特定部７４が特定する音高（ノートナンバＮ）の頻繁な変化を抑制するという所期の効果は実現される。ただし、図３や図８のように新たな音高の正規化範囲Ｒを徐々に縮小する構成（すなわち、新たな音高に隣接する他の音高の正規化範囲Ｒが徐々に拡大する構成）によれば、新たな音高の指定後に他の音高を利用者が指定し易いという利点がある。

（２）変形例２
音響信号ＳINのピッチＰを選択スケールの複数の構成音に量子化する構成は本発明において必須ではない。すなわち、図４や図５におけるステップＳB1からステップＳB8を省略し、ステップＳA2やステップＳA9にて特定したノートナンバＮ0を音楽データＤNに設定する構成も好適である。

（３）変形例３
以上の形態においては音高特定部７４が特定したノートナンバＮを音楽データＤNにて指定したが、ノートナンバＮをさらに調整したうえで音楽データＤNの生成に利用してもよい。例えば、オクターブを指定するオクターブシフト量を制御部６４が音高特定部７４に指定する構成においては、ステップＳB2やステップＳB7で特定されたノートナンバＮをオクターブシフト量に応じてシフトすることで確定的なノートナンバＮが特定される。

（４）変形例４
以上の形態においては音楽データＤNを出力処理装置２２に出力したが、音楽データＤNの利用の方法は本発明において任意である。例えば、音楽データＤNの時系列を記憶装置３４（または他の記憶媒体）に格納する構成や、音楽データＤNの時系列を通信網に送信する構成が採用される。

本発明の実施の形態に係る音処理装置のブロック図である。 ピッチベンドを利用する場合におけるピッチとノートナンバとの関係を示す概念図である。 ピッチベンドを利用しない場合におけるピッチとノートナンバとの関係を示す概念図である。 ピッチベンドを利用しない場合におけるピッチ正規化部の動作を示すフローチャートである。 ピッチベンドを利用する場合におけるピッチ正規化部の動作を示すフローチャートである。 ピーク強度とベロシティとの関係を示すグラフである。 平均強度とエクスプレッション値との関係を示すグラフである。 変形例における正規化範囲の変化を示す概念図である。 変形例における正規化範囲の変化を示す概念図である。

符号の説明

１００……音処理装置、１２……収音機器、１４……Ａ/Ｄ変換器、２２……出力処理装置、２４……放音機器、３２……制御装置、３４……記憶装置、４０……特徴抽出部、４２……平均強度検出部、４４……ピーク強度検出部、４６……ピッチ検出部、５０……正規化部、５２……平均強度正規化部、５４……ピーク強度正規化部、５６……ピッチ正規化部、６２……データ生成部、６４……制御部、７２……範囲設定部、７４……音高特定部、ＳIN……音響信号、Ｐ……ピッチ、Ｎ……ノートナンバ、ＤN……音楽データ、ＳOUT……出力信号、Ｒ（Ｒ_B，Ｒ_C，Ｒ_C#）……正規化範囲、ｒ0……初期範囲。

Claims (6)

1. 音響信号のピッチを検出するピッチ検出手段と、
   複数の音高の各々について正規化範囲を設定する範囲設定手段と、
   前記ピッチ検出手段の検出したピッチが属する正規化範囲に対応した音高を順次に特定する音高特定手段とを具備し、
   前記音高特定手段が新たな音高を特定すると、前記範囲設定手段は、当該音高に対応した正規化範囲を一時的に拡大する
   音処理装置。
2. 前記音高特定手段が新たな音高を特定すると、前記範囲設定手段は、当該音高に対応した正規化範囲を拡大するとともに当該正規化範囲を拡大前の範囲まで経時的に縮小する
   請求項１の音処理装置。
3. 複数の構成音で構成されるスケールを指定する制御手段を具備し、
   音高特定手段は、前記制御手段が指定するスケールの複数の構成音のなかから前記ピッチに対応した音高を特定する
   請求項１または請求項２の音処理装置。
4. 前記音高特定手段は、前記ピッチ検出手段の検出したピッチが属する正規化範囲に対応した音高が前記スケールの構成音に該当しない場合に当該音高を調整する
   請求項３の音処理装置。
5. 前記範囲設定手段は、ピッチベンドの利用が指示された場合には正規化範囲の拡大を実行しない
   請求項１から請求項４の何れかの音処理装置。
6. 音響信号のピッチを検出するピッチ検出処理と、
   前記ピッチ検出処理にて検出したピッチが属する正規化範囲に対応した音高を順次に特定する音高特定処理と、
   複数の音高の各々について前記正規化範囲を設定する処理であって、前記音高特定手段が新たな音高を特定すると、当該音高に対応した正規化範囲を一時的に拡大する範囲設定処理と
   をコンピュータに実行させるプログラム。
   

Images