JP2010217543A - 音処理装置およびプログラム - Google Patents

Abstract

【課題】原音の調波構造を有効に維持したまま高域成分や低域成分を補充または補強する。
【解決手段】ピッチ検出部３６は、音響信号ＶINのピッチＦ0を検出する。成分区分部４４は、音響信号ＶINの周波数スペクトルＳAを局所的ピークＰQ毎に単位成分Ｑに区分する。成分付加部６２は、
ピッチ検出部３６が検出したピッチＦ0の整数倍の周波数ｆRに局所的ピークＰRが位置する付加成分Ｒを単位成分Ｑから生成して周波数スペクトルＳAに付加する。振幅調整部６４２は付加成分Ｒの振幅を調整し、位相調整部６４４は付加成分Ｒの位相を調整する。
【選択図】図１

Description

本発明は、音声や楽音などの音響を表す音響信号を処理する技術に関する。

電話網などの通信網による伝送時やＣＤなどの記録媒体に対する収録時に帯域が制限された音響信号について高域成分や低域成分を補充（補完）する技術が従来から提案されている。例えば特許文献１には、オーバーサンプリング後の音響信号から非線形回路およびハイパスフィルタで生成した高域成分を音響信号に混合する技術が開示されている。

特開２００３−１５６９５号公報

しかし、特許文献１の技術のもとで生成される高域成分と原音の音響信号とでは調波構造（倍音構造）が相違するから、原音の特性を維持したまま高域成分や低域成分を補充することは困難である。以上の事情に鑑みて、本発明は、原音の調波構造を有効に維持したまま高域成分や低域成分を補充または補強することを目的とする。

以上の課題を解決するために、本発明に係る音処理装置は、音響信号のピッチを検出するピッチ検出手段と、音響信号の周波数スペクトルを局所的ピーク毎に単位成分に区分する成分区分手段と、ピッチ検出手段が検出したピッチの整数倍の周波数に局所的ピークが位置する付加成分を単位成分から生成して周波数スペクトルに付加する成分付加手段とを具備する。例えば、音響信号が所定の制限帯域に制限されている場合、成分付加手段は、制限帯域の高域側および低域側の少なくとも一方に付加成分を付加する。

以上の構成においては、音響信号のピッチの整数倍の周波数に局所的ピークが位置する付加成分が音響信号の周波数スペクトルに付加されるから、音響信号の調波構造を有効に維持しながら音響信号の特定の成分（典型的には高域成分や低域成分）を補充（補完）または補強（強調）することが可能である。また、付加成分は、音響信号の周波数スペクトルを局所的ピーク毎に区分した単位成分を利用して生成されるから、音響信号とは無関係の成分（例えば正弦波成分）を音響信号の周波数スペクトルに付加する構成と比較して、音響信号の特性に類似する周波数スペクトルを付加成分の付加で生成できるという利点もある。

本発明の好適な態様において、成分付加手段は、ピッチ検出手段が検出したピッチの整数倍にあたる複数の周波数の各々に付加成分を付加する。以上の態様においては、音響信号の周波数スペクトルに複数の付加成分が付加されるから、音響信号の調波構造を維持するという効果は格別に顕著となる。

本発明の好適な態様に係る音処理装置は、局所的ピークの周波数が高い付加成分ほど局所的ピークの振幅が小さくなるように複数の付加成分の各々の振幅を調整する振幅調整手段を具備する。以上の態様においては、高域側の付加成分の局所的ピークほど小さい振幅に設定されるから、高域側ほど振幅が減少するという音響の一般的な傾向を反映した自然な周波数スペクトルを生成することが可能である。更に好適な態様において、振幅調整手段は、音響信号の周波数スペクトルの複数の局所的ピークのうち周波数が最高または最低の局所的ピークを通過する直線または曲線の線上に各付加成分の局所的ピークが位置するように、複数の付加成分の各々の振幅を調整する。以上の態様においては、音響信号の周波数スペクトルの局所的ピークを通過する包絡線の線上に各付加成分の局所的ピークが位置するから、単位成分が分布する帯域と付加成分が付加された帯域とにわたって包絡線を連続させることが可能である。

本発明の好適な態様に係る音処理装置は、単位成分の局所的ピークの周波数と当該単位成分に対応する付加成分の局所的ピークの周波数との差異（周波数軸上における単位成分の移動量）に応じて当該付加成分の位相を調整する位相調整手段を具備する。以上の態様においては、単位成分と付加成分との周波数の差異に応じて付加成分の位相が調整されるから、付加成分の局所的ピークにて位相が連続する自然な音響を生成することが可能である。

本発明の好適な態様に係る音処理装置は、音響信号が調波音および非調波音の何れに該当するかを判定する判定手段を具備し、成分区分手段は、調波音の周波数スペクトルについては局所的ピーク毎に単位成分を特定し、非調波音の周波数スペクトルについては所定の帯域内の非調波成分を特定し、成分付加手段は、調波音の周波数スペクトルには、音響信号のピッチの整数倍の周波数に局所的ピークが位置する付加成分を単位成分から生成して付加し、非調波音の周波数スペクトルには非調波成分を付加する。以上の態様においては、音響信号が調波音と非調波音とに判別され、非調波音については音響信号の周波数スペクトルの調波構造（局所的ピーク）を前提としない方法で特定された非調波成分が音響信号の周波数スペクトルに付加されるから、音響信号に調波音の区間と非調波音の区間とが混在する場合であっても適切に処理できるという利点がある。

また、以上の各態様に係る音処理装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、音響信号のピッチを検出するピッチ検出処理と、音響信号の周波数スペクトルを局所的ピーク毎に単位成分に区分する成分区分処理と、ピッチ検出処理出検出したピッチの整数倍の周波数に局所的ピークが位置する付加成分を単位成分から生成して周波数スペクトルに付加する成分付加処理とをコンピュータに実行させる。以上のプログラムによれば、本発明に係る音処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

本発明の第１実施形態に係る音処理装置のブロック図である。 音処理装置の動作を説明するための概念図である。 振幅調整部の動作を説明するための概念図である。 位相調整部の動作を説明するための概念図である。 本発明の第２実施形態に係る音処理装置のブロック図である。 第２実施形態の動作のフローチャートである。 第２実施形態の動作を説明するための概念図である。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音処理装置１００Aのブロック図である。図１に示すように、音処理装置１００Aには信号供給装置１２と放音機器１４とが接続される。信号供給装置１２は、音声や楽音などの音響の時間波形を表す音響信号ＶINを音処理装置１００Aに供給する。例えば、記録媒体（例えば光ディスク）から音響信号ＶINを取得する再生装置や、電話網などの通信網から音響信号ＶINを受信する通信装置（電話機）が、信号供給装置１２として採用される。

音響信号ＶINの帯域は所定の範囲に制限（帯域制限）されている。図２の部分(A)には原音（音響信号ＶINの生成前）の周波数スペクトルＳ0が例示され、図２の部分(B)には音響信号ＶINの周波数スペクトルＳAが例示されている。図２の部分(A)に示すように、原音のうち周波数ｆa_Lをを下回る成分と周波数ｆa_Hを上回る成分とが抑制または除去されたうえで音響信号ＶINが生成される。すなわち、音響信号ＶINの周波数スペクトルＳAが分布する帯域は、周波数ｆa_Lから周波数ｆa_Hまでの帯域（以下「制限帯域」という）Ｂaに制限される。具体的には、信号供給装置１２が再生装置である場合、音響信号ＶINの制限帯域Ｂaは例えば０Hzから22.05kHzまでの範囲に制限され、信号供給装置１２が通信装置である場合、音響信号ＶINの制限帯域Ｂaは、例えば300Hzから3500Hzまでの範囲に制限される。

音処理装置１００Aは、制限帯域Ｂaの外側の成分（低域成分および高域成分）を音響信号ＶINに付加（補充）することで、制限帯域Ｂaよりも広い帯域（以下「拡張帯域」という）Ｂbに分布する音響信号ＶOUTを生成する装置（帯域拡張装置）である。図２の部分(C)に示すように、帯域Ｂbは、周波数ｆb_Lから周波数ｆb_Hにわたる周波数帯域である。周波数ｆb_Lは制限帯域Ｂaの下限の周波数ｆa_Lを下回り、周波数ｆb_Hは制限帯域Ｂaの上限の周波数ｆa_Hを上回る。音処理装置１００Aが生成した音響信号ＶOUTは、放音機器１４（例えばスピーカやヘッドホン）に供給されることで音波として再生される。

図１に示すように、音処理装置１００Aは、演算処理装置２２と記憶装置２４とで構成されるコンピュータシステムである。記憶装置２４は、演算処理装置２２が実行するプログラム２６や演算処理装置２２が使用するデータを記憶する。半導体記録媒体や磁気記録媒体などの公知の記録媒体が記憶装置２４として任意に採用される。

演算処理装置２２は、記憶装置２４に格納されたプログラム２６を実行することで、音響信号ＶINから音響信号ＶOUTを生成するための複数の機能（オーバーサンプリング部３２，周波数分析部３４，ピッチ検出部３６，ピーク検出部４２，成分区分部４４，成分付加部６２，調整部６４，逆変換部６６）を実現する。なお、演算処理装置２２の各要素を複数の集積回路に分散的に搭載した構成や、音響信号ＶINの処理に専用される電子回路（ＤＳＰ）が各要素を実現する構成も採用される。

オーバーサンプリング部３２は、周波数ｆs0でサンプリングされた音響信号ＶINを周波数ｆs1（ｆs1＞ｆs0）でオーバーサンプリングする。周波数ｆs1は、音響信号ＶOUTに要求される帯域の上限値（図２の部分(C)の周波数ｆb_H）の２倍を上回る周波数に設定される。図１の周波数分析部３４は、オーバーサンプリング部３２による処理後の音響信号ＶINを時間軸上で区分した複数のフレームの各々について周波数スペクトルＳA（振幅スペクトルおよび位相スペクトル）を生成する。周波数スペクトルＳAの生成には、高速フーリエ変換などの公知の技術が任意に採用される。図２の部分(B)に例示したように、周波数スペクトルＳAは制限帯域Ｂa内に分布する。

図１のピッチ検出部３６は、周波数スペクトルＳAを利用して音響信号ＶINのピッチ（基本周波数）Ｆ0をフレーム毎に検出する。ピッチＦ0の検出には公知の技術が任意に採用される。なお、ピッチ検出部３６が音響信号ＶINからピッチＦ0を検出する構成（ピッチＦ0の検出に周波数スペクトルＳAを利用しない構成）も採用され得る。

人間の音声や楽器の演奏音（楽音）は、調波構造（倍音構造）を持つ音響（以下「調波音」という）である。図２の部分(B)に示すように、調波音を表す音響信号ＶINの周波数スペクトルＳA（複数の周波数ビンの集合）のうちピッチＦ0の整数倍にあたる各周波数（倍音の周波数）ｆQには、振幅が極大となる複数（Ｍ個）の局所的ピークＰQが存在する。図１のピーク検出部４２は、各フレームの周波数スペクトルＳAから複数の局所的ピークＰQを検出する。局所的ピークＰQの検出には公知の技術が任意に採用される。例えば、相隣接する複数（例えば４個）の周波数ビンのうち振幅が最大のピークを局所的ピークＰQとして特定する方法が好適である。

図１の成分区分部４４は、周波数スペクトルＳAを周波数軸上で局所的ピークＰQ毎に複数（Ｍ個）の単位成分Ｑに区分する。図２の部分(B)に示すように、各単位成分Ｑは、ピーク検出部４２が検出した局所的ピークＰQの周波数ｆQと当該周波数ｆQの前後の周波数とを含む帯域内のスペクトル成分（振幅スペクトルおよび位相スペクトル）である。例えば、周波数軸上で隣合う２個の局所的ピークＰQの中点を境界として単位成分Ｑが画定される。

図１の成分付加部６２は、図２の部分(C)に示すように、単位成分Ｑから生成した複数の付加成分Ｒ（ＲL，ＲH）を音響信号ＶINの周波数スペクトルＳAに付加することで各フレームの周波数スペクトルＳBを生成する。付加成分Ｒは、単位成分Ｑを複製したスペクトル成分（振幅スペクトルおよび位相スペクトル）である。したがって、付加成分Ｒは、単位成分Ｑの局所的ピークＰQに対応する局所的ピークＰRを含む。

具体的には、成分付加部６２は、図２の部分(C)に示すように、周波数スペクトルＳAのうち制限帯域Ｂaの高域側の帯域（周波数ｆa_Hから周波数ｆb_Hまでの帯域）ＢH内にｍH個の付加成分ＲHを付加し、制限帯域Ｂaの低域側の帯域（周波数ｆa_Lから周波数ｆb_Lまでの帯域）ＢL内にｍL個の付加成分ＲLを付加する。したがって、周波数ｆb_Lから周波数ｆb_Hまでの拡張帯域Ｂbにわたってスペクトル成分（単位成分Ｑおよび付加成分Ｒ）が分布する周波数スペクトルＳBが生成される。

付加成分Ｒ（ＲL，ＲH）は、周波数スペクトルＳAの単位成分Ｑを周波数軸に沿って移動させた成分である。具体的には、成分付加部６２は、図２の部分(C)に矢印で示すように、周波数スペクトルＳAのＭ個の単位成分Ｑのうち高域側から計数してｍH個（図２では３個）の単位成分Ｑを高域側に移動させたｍH個の付加成分ＲHを生成し、Ｍ個の単位成分Ｑのうち低域側から計数してｍL個（図２では２個）の単位成分Ｑを低域側に移動させたｍL個の付加成分ＲLを生成する。

付加成分Ｒは、ピッチ検出部３６が検出したピッチＦ0の整数倍（ｎ倍）の各周波数ｆRに当該付加成分Ｒの局所的ピークＰRが位置するように配置される（ｆR＝ｎ・Ｆ0）。具体的には、成分付加部６２は、制限帯域Ｂaの高域側の帯域ＢHのうちピッチＦ0の整数倍にあたるｍH個の周波数ｆRの各々に局所的ピークＰRが位置するようにｍH個の付加成分ＲHを配置する。付加成分ＲHの個数ｍHは、帯域ＢH内に存在する周波数ｆRの個数に相当する。同様に、成分付加部６２は、制限帯域Ｂaの低域側の帯域ＢLのうちピッチＦ0の整数倍にあたるｍL個の周波数ｆRの各々に局所的ピークＰRが位置するようにｍL個の付加成分ＲLを配置する。付加成分ＲLの個数ｍLは、帯域ＢL内に存在する周波数ｆRの個数に相当する。図２に示すように、付加成分ＲLがピッチＦ0の基音成分に相当する場合（ｎ＝１）もある。

図１の調整部６４は、各付加成分Ｒを調整する。図１に示すように、調整部６４は、振幅調整部６４２と位相調整部６４４とを含んで構成される。振幅調整部６４２は、各付加成分Ｒの振幅（振幅スペクトル）を調整する。具体的には、振幅調整部６４２は、局所的ピークＰRの周波数ｆRが高い付加成分Ｒほど局所的ピークＰRの振幅（強度）が低くなるように各付加成分Ｒの振幅を調整する。

図３は、振幅調整部６４２による処理を説明するための概念図である。図３には、振幅調整部６４２による処理前の付加成分Ｒの振幅スペクトルＡM0が破線で図示され、振幅調整部６４２による処理後の付加成分Ｒの振幅スペクトルＡM1が実線で図示されている。図２の部分(C)や図３に示すように、振幅調整部６４２は、包絡線Ｅ（ＥH，ＥL）の線上に各付加成分Ｒの局所的ピークＰRが位置するように各付加成分Ｒの振幅を調整する。例えば、調整前の振幅スペクトルＡM0の局所的ピークＰRの振幅α0と、当該局所的ピークＰRの周波数ｆRにおける直線Ｅ上の振幅（すなわち、調整後の局所的ピークＰRの振幅）α1との差分（以下「振幅調整量」という）Δαを想定すると（Δα＝α1−α0）、振幅調整部６４２は、調整前の付加成分Ｒの振幅スペクトルＡM0における各周波数での振幅αに振幅調整量Δαを加算することで、当該周波数での調整後の振幅αNEWを算定する（αNEW＝α＋Δα）。

包絡線Ｅは、周波数の増加とともに数値（振幅）が減少するように選定された直線または曲線である。例えば、周波数が１オクターブだけ増加すると振幅が６dBだけ低下するように傾きを選定した直線が包絡線Ｅ（ＥH，ＥL）として好適である。図２の部分(C)に示すように、包絡線ＥHは、周波数スペクトルＳAのＭ個の局所的ピークＰQのうち周波数が最大の局所的ピークＰQを通過するように設定される。したがって、単位成分Ｑが存在する制限帯域Ｂa内と付加成分Ｒが存在する帯域ＢH内とで包絡線（ＥH）を連続させる（ひいては聴感的に自然な音響を生成する）ことが可能である。同様に、包絡線ＥLは、Ｍ個の局所的ピークＰQのうち周波数が最小の局所的ピークＰQを通過するように設定される。したがって、帯域ＢL内と制限帯域Ｂa内とで包絡線（ＥL）を連続させることが可能である。

図１の位相調整部６４４は、付加成分Ｒの位相（位相スペクトル）を調整する。図４は、位相調整部６４４による処理を説明するための概念図である。図４には、位相調整部６４４による調整前の付加成分Ｒの位相スペクトル（すなわち、単位成分Ｑの位相スペクトル）ＰH0が破線で図示され、位相調整部６４４による調整後の付加成分Ｒの位相スペクトルＰH1が実線で図示されている。図４に示すように、位相調整部６４４は、調整前の位相スペクトルＰH0における各周波数での位相Ψに位相調整量ΔΨを加算することで位相スペクトルＰH1の当該周波数での位相ΨNEWを算定する（ΨNEW＝Ψ＋ΔΨ）。

位相調整量ΔΨは、単位成分Ｑの局所的ピークＰQの周波数ｆQと当該単位成分Ｑを移動した付加成分Ｒの局所的ピークＰRの周波数ｆRとの差分（すなわち、周波数軸上における単位成分Ｑの移動量）に応じて設定される。具体的には、位相調整部６４４は、以下の数式(1)の演算で付加成分Ｒ毎に位相調整量ΔΨを算定する。なお、数式(1)の記号Δｔは、フレームの周期（相前後するフレームの時間差）を意味する。
ΔΨ＝２π（ｆR−ｆQ）Δｔ ……(1)
以上のように周波数ｆQと周波数ｆRとの差分（ｆR−ｆQ）に応じて位相調整量ΔΨを算定すれば、付加成分Ｒの局所的ピークＰRの周波数にて位相を連続させることが可能である。

成分付加部６２は、振幅調整部６４２および位相調整部６４４による調整後の付加成分Ｒを各周波数ｆRに付加した周波数スペクトルＳBをフレーム毎に生成して順次に図１の逆変換部６６に出力する。逆変換部６６は、成分付加部６２が生成した各フレームの周波数スペクトルＳBを逆フーリエ変換で時間領域の信号に変換し、相前後する各フレームの変換後の信号を時間軸上で連結することで音響信号ＶOUTを生成する。

以上の形態においては、音響信号ＶINのピッチＦ0の整数倍の周波数ｆRに局所的ピークＰRが位置する付加成分Ｒが音響信号ＶINの周波数スペクトルＳAに付加されるから、音響信号ＶIN（原音）の調波構造を有効に維持しながら制限帯域Ｂaを拡張帯域Ｂbに拡張することが可能である。

また、付加成分Ｒは、音響信号ＶINの周波数スペクトルＳAを区分した単位成分Ｑを利用して生成されるから、音響信号ＶINとは無関係の成分（例えば正弦波成分）を音響信号ＶINの周波数スペクトルＳAに付加する構成と比較して、音響信号ＶINと音響信号ＶOUTとの特性の乖離を抑制する（音響信号ＶINの特性が維持された音響信号ＶOUTを生成する）ことが可能である。更に、所定の帯域幅にわたって分布する単位成分Ｑが処理の単位とされるから、局所的ピークＰQに加えて局所的ピークＰQの周囲の帯域の成分も付加成分Ｒに反映される。音響信号ＶINの特徴（例えば声質）は局所的ピークＰQの周囲の帯域の成分に現れる場合がある。したがって、音響信号ＶINの特徴を忠実に維持した音響信号ＶOUTを生成できるという格別の効果も実現される。

＜Ｂ：第２実施形態＞
第１実施形態では音響信号ＶINが調波音（調波構造を持つ音響）を表す場合を想定したが、実際の音響信号ＶINには、調波音の区間と非調波音の区間とが混在し得る。本発明の第２実施形態は、調波音および非調波音の双方について制限帯域Ｂaを適切に拡張するための形態である。なお、以下の各態様において作用や機能が第１実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。

図５は、第２実施形態に係る音処理装置１００Bのブロック図である。音処理装置１００Bは、第１実施形態の音処理装置１００Aに判定部７２を追加した構成である。判定部７２は、音響信号ＶINが調波音および非調波音の何れに該当するかをフレーム毎に判定する。非調波音は、明確な調波構造を持たない音響（例えば、空調設備の動作音や人混み内での雑踏音などの暗騒音）である。判定部７２による判定の方法は任意である。例えば、判定部７２は、ピッチ検出部３６がピッチＦ0を検出できたフレームを調波音と判定し、有意なピッチＦ0が検出されないフレーム（すなわち、調波構造の基音が明確に特定できないフレーム）を非調波音と判定する。なお、判定部７２による判定の周期は任意である。

図６は、音処理装置１００Bによる処理（判定部７２による処理に関連する部分）のフローチャートである。図６の処理はフレーム毎に順次に実行される。図６の処理が開始すると、判定部７２は、今回のフレームの音響信号ＶINが調波音および非調波音の何れに該当するかを判定する（ステップＳ1）。

音響信号ＶINが調波音に該当すると判定部７２が判定した場合には、第１実施形態と同様の動作で拡張帯域Ｂbの音響信号ＶOUTが生成される。すなわち、ピーク検出部４２による局所的ピークＰQの検出後に成分区分部４４が周波数スペクトルＳAを局所的ピークＰQ毎に単位成分Ｑに区分し（ステップＳ2）、単位成分Ｑに応じた付加成分Ｒを調整部６４による処理後に周波数スペクトルＳAに付加することで成分付加部６２が周波数スペクトルＳBを生成する（ステップＳ3）。したがって、第１実施形態と同様の効果が実現される。

他方、音響信号ＶINが非調波音に該当すると判定部７２が判定した場合には、調波音とは異なる処理で周波数スペクトルＳBが生成される（ステップＳ4，ステップＳ5）。図７は、非調波音について周波数スペクトルＳBを生成する方法の概念図である。図７の部分(A)には、制限帯域Ｂaに制限された音響信号ＶINの周波数スペクトルＳAが図示され、図７の部分(B)には、ステップＳ5で生成される周波数スペクトルＳBが図示されている。

図７の部分(A)に示すように、成分区分部４４は、周波数スペクトルＳAのうち所定の帯域幅にわたるスペクトル成分（周波数スペクトルＳAの部分または全部）を非調波成分Ｕ（ＵL，ＵH）として特定する（ステップＳ4）。例えば、成分区分部４４は、周波数スペクトルＳAのうち制限帯域Ｂaの上限の周波数ｆa_Hから低域側にわたる所定の帯域幅ｗHのスペクトル成分を非調波成分ＵHとして特定し、周波数スペクトルＳAのうち制限帯域Ｂaの下限の周波数ｆa_Lから高域側わたる所定の帯域幅ｗLのスペクトル成分を非調波成分ＵLとして特定する。

帯域幅ｗHや帯域幅ｗLの選定の方法は任意であるが、例えば、制限帯域Ｂaの高域側に付加される帯域ＢHの帯域幅を非調波成分ＵHの帯域幅ｗHとする構成や、制限帯域Ｂaの低域側に付加される帯域ＢLの帯域幅を非調波成分ＵLの帯域幅ｗLとする構成が好適である。図７の部分(A)から把握されるように非調波音の周波数スペクトルＳAには局所的ピークＰQが現れないから、非調波成分Ｕ（ＵL，ＵH）は周波数スペクトルＳAの特徴点（例えば局所的ピークＰQ）とは無関係に選定される。

図７の部分(B)に示すように、成分付加部６２は、成分区分部４４が特定した非調波成分Ｕ（ＵL，ＵH）を周波数スペクトルＳAに付加することで、周波数ｆb_Lから周波数ｆb_Hまでの拡張帯域Ｂbに分布する周波数スペクトルＳBを生成する（ステップＳ5）。すなわち、成分付加部６２は、非調波成分ＵHを制限帯域Ｂaの高域側（帯域ＢH）に付加し、非調波成分ＵLを制限帯域Ｂaの低域側（帯域ＢL）に付加する。また、振幅調整部６４２は、非調波成分ＵHの振幅を包絡線ＥHに沿うように調整し、非調波成分ＵLの振幅を包絡線ＥLに沿うように調整する。包絡線ＥHは、周波数の増加とともに数値（振幅）が減少するように選定された直線または曲線であり、包絡線ＥLは、周波数の増加とともに数値が増加するように選定された直線または曲線である。非調波音は調波構造を持たないから、非調波音について位相調整部６４４による位相の調整は実行されない。

以上の形態においては、音響信号ＶINが調波音と非調波音とに判別され、非調波音については調波構造（局所的ピークＰQや単位成分Ｑ）を前提としない方法で周波数スペクトルＳBが生成される。したがって、音響信号ＶINに調波音の区間と非調波音の区間とが混在する場合であっても、拡張帯域Ｂbにわたる周波数スペクトルＳBを双方の区間について適切に生成できるという利点がある。

＜Ｃ：変形例＞
以上に例示した各形態は様々に変形され得る。変形の具体的な態様を以下に例示する。なお、以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）変形例１
付加成分Ｒの生成に利用される単位成分Ｑの選定の方法は任意である。例えば、付加成分Ｒが配置される周波数ｆRの１／ｋ倍（ｋは２以上の自然数）の周波数の近傍に局所的ピークＰQが位置する単位成分Ｑを当該付加成分Ｒの生成に利用する構成や、制限帯域Ｂa内の低域側から選択された単位成分Ｑを高域側の付加成分ＲHの生成に利用する構成（あるいは制限帯域Ｂa内の高域側の単位成分Ｑを付加成分ＲLの生成に利用する構成）も採用される。また、１個の単位成分Ｑから１個の付加成分Ｒが生成される構成は本発明において必須ではない。例えば、１個の単位成分Ｑを複製することで複数の付加成分Ｒを生成する構成や、複数の単位成分Ｑを混合することで１個の付加成分Ｒを生成する構成も採用される。

（２）変形例２
振幅調整部６４２や位相調整部６４４は適宜に省略される。すなわち、単位成分Ｑを複製しただけの付加成分ＲをピッチＦ0の整数倍の周波数ｆRに配置することで周波数スペクトルＳBを生成する構成も本発明の範囲に含まれる。また、単位成分Ｑから付加成分Ｒを生成する方法は任意である。例えば、単位成分Ｑに所定の処理（例えばフィルタ処理）を実行することで付加成分Ｒを生成する構成も採用される。

（３）変形例３
以上の各形態においては複数の付加成分ＲHと複数の付加成分ＲLとを周波数スペクトルＳAに付加したが、制限帯域Ｂaの高域側の帯域ＢH内に１個の付加成分ＲHのみを付加する構成や、低域側の帯域ＢL内に１個の付加成分ＲLのみを付加する構成も採用される。また、帯域ＢHおよび帯域ＢLの一方のみに付加成分Ｒを付加する構成も本発明の範囲に含まれる。

（４）変形例４
付加成分Ｒの付加の方法は適宜に変更される。例えば、周波数スペクトルＳAのうち制限帯域Ｂaの外側に微小なスペクトル成分が残存している場合に、当該スペクトル成分を除去ないし抑圧したうえで周波数ｆRの近傍に付加成分Ｒを付加する構成も採用される。

（５）変形例５
包絡線Ｅ（ＥH，ＥL）を設定する方法は任意である。例えば、音響信号ＶINの制限帯域Ｂa内の包絡線を拡張（高帯域化）することで包絡線Ｅが設定され得る。制限帯域Ｂa内の包絡線（狭帯域スペクトル包絡）の広帯域化には線形写像が好適に利用される。包絡線の線形写像については、例えば、中藤良久，津島峰生，則松武志，“スペクトル線形写像による帯域制限音声の広帯域化”，電子情報通信学会論文誌 Ｄ-II Vol.J83-D-II No.11 p.2246-2254，2000年11月に開示された方法を利用できる。

（６）変形例６
周波数分析部３４や逆変換部６６は適宜に省略される。例えば、記憶装置２４に格納された周波数スペクトルＳAや通信網から受信した周波数スペクトルＳAから拡張帯域Ｂbの周波数スペクトルＳBを生成する構成や、成分付加部６２が生成した周波数スペクトルＳBを音処理装置１００とは別個の装置の逆変換部６６に提供することで音響信号ＶOUTを生成する構成も採用される。

（７）変形例７
以上の各形態においては、制限帯域Ｂaに制限された音響信号ＶINを音処理装置１００（１００A，１００B）で処理したが、音響信号ＶINの帯域が制限されていること（あるいは、音処理装置１００による処理で帯域が拡大すること）は本発明において必須ではない。例えば、帯域が制限されていない音響信号ＶINのうち低域側の帯域ＢLや広域側の帯域ＢHに付加成分Ｒを付加することで、音響信号ＶINのうちの低域側や広域側の成分を強調することが可能である。すなわち、音響信号ＶINの所定の帯域内の成分を補強する装置（エンハンサ，エキサイタ）としても本発明の音処理装置を利用できる。

１００A，１００B……音処理装置、１２……信号供給装置、１４……放音機器、２２……演算処理装置、２４……記憶装置、３２……オーバーサンプリング部、３４……周波数分析部、３６……ピッチ検出部、４２……ピーク検出部、４４……成分区分部、６２……成分付加部、６４……調整部、６４２……振幅調整部、６４４……位相調整部、６６……逆変換部、７２……判定部。

Claims (5)

1. 音響信号のピッチを検出するピッチ検出手段と、
   前記音響信号の周波数スペクトルを局所的ピーク毎に単位成分に区分する成分区分手段と、
   前記ピッチ検出手段が検出したピッチの整数倍の周波数に局所的ピークが位置する付加成分を前記単位成分から生成して前記周波数スペクトルに付加する成分付加手段と
   を具備する音処理装置。
2. 前記成分付加手段は、前記ピッチ検出手段が検出したピッチの整数倍にあたる複数の周波数の各々に付加成分を付加し、
   局所的ピークの周波数が高い付加成分ほど局所的ピークの振幅が小さくなるように、複数の付加成分の各々の振幅を調整する振幅調整手段
   を具備する請求項１の音処理装置。
3. 前記単位成分の局所的ピークの周波数と当該単位成分に対応する付加成分の局所的ピークの周波数との差異に応じて当該付加成分の位相を調整する位相調整手段
   を具備する請求項１または請求項２の音処理装置。
4. 前記音響信号が調波音および非調波音の何れに該当するかを判定する判定手段を具備し、
   前記成分区分手段は、調波音の周波数スペクトルについては局所的ピーク毎に単位成分を特定し、非調波音の周波数スペクトルについては所定の帯域内の非調波成分を特定し、
   前記成分付加手段は、調波音の周波数スペクトルには、前記音響信号のピッチの整数倍の周波数に局所的ピークが位置する付加成分を前記単位成分から生成して付加し、前記非調波音の周波数スペクトルには前記非調波成分を付加する
   請求項１から請求項３の何れかの音処理装置。
5. 音響信号のピッチを検出するピッチ検出処理と、
   前記音響信号の周波数スペクトルを局所的ピーク毎に単位成分に区分する成分区分処理と、
   前記ピッチ検出処理出検出したピッチの整数倍の周波数に局所的ピークが位置する付加成分を前記単位成分から生成して前記周波数スペクトルに付加する成分付加処理と
   をコンピュータに実行させるプログラム。
   

Images