JP2007272059A - オーディオ信号処理装置，オーディオ信号処理方法，プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】 偶数次の高調波を付加することにより，音声圧縮によって欠落した倍音成分を補完し，聴感上好ましい音声を得ることが可能となる。
【解決手段】 本発明によるオーディオ信号処理装置は，デジタルオーディオ信号の帯域を制限する帯域フィルタ１１２と，帯域が制限されたデジタルオーディオ信号から，偶数次高調波を生成する高調波生成部１１６と，生成された偶数次高調波のゲインをそれぞれ調整する高調波ゲイン調整部１１８と，デジタルオーディオ信号を遅延させ，高調波と位相を合わせる主信号遅延部１２０と，遅延したデジタルオーディオ信号のゲインを調整する主信号ゲイン調整部１２２と，ゲインが調整された偶数次高調波とゲインが調整されたデジタルオーディオ信号とを加算する信号加算部１２４と，を備えることを特徴としている。
【選択図】 図１

Description

本発明は，デジタルオーディオ信号を加工処理するオーディオ信号処理装置，オーディオ信号処理方法，プログラムおよび記憶媒体に関する。

コンピュータの処理速度の高速化およびメモリの記憶容量の増大化により，近年，アナログオーディオ信号を一旦デジタル化して，様々な加工を施し，所望するデジタルオーディオ信号を生成することが可能となった。

その一例として，デジタル化されたデジタルオーディオ信号から高調波を生成し，そのデジタルオーディオ信号に重ねることで，デジタルオーディオ信号の高域成分を再現する技術が知られている（例えば，特許文献１，２）。

しかし，上記の技術は，デジタルオーディオ信号の周波数帯域を単に拡張することを目的とし，デジタルオーディオ信号以上の周波数を持つ高調波を付加しているだけで，デジタルオーディオ信号の周波数帯域内にある高調波成分を付加していない。

このような技術の下では，圧縮音声において省略されたデジタルオーディオ信号の周波数帯域内の倍音成分を復活することができず，対象となる音声によっては，聴感上好ましくなるという効果を得ることができなかった。

他にも，デジタルオーディオ信号の周波数帯域内にある高調波成分を付加して，周波数帯域を広げ，高音成分を増幅する技術が知られている（例えば，特許文献３）。かかる技術では，高調波の生成に起因する信号遅延が考慮されていないので，位相のずれが生じ，良好な音質を維持できない問題があった。

特開平２−３１１００６号公報 特開２００５−３３２４５号公報 特開平５−２６６５８２号公報

本発明は，従来のデジタルオーディオ信号処理技術が有する上記問題点に鑑みてなされたものであり，本発明の目的は，偶数次の高調波を付加することにより，音声圧縮によって欠落した倍音成分を補完し，聴感上好ましい音声を得ることが可能な，新規かつ改良されたオーディオ信号処理装置，オーディオ信号処理方法，プログラムおよび記憶媒体を提供することである。

上記課題を解決するために，本発明のある観点によれば，デジタルオーディオ信号の帯域を制限する１または２以上の帯域フィルタ（ＢＰＦ：Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒ）と；上記帯域が制限されたデジタルオーディオ信号から，次数が異なる偶数次高調波を生成する１または２以上の高調波生成部と；上記生成された偶数次高調波のゲインをそれぞれ調整する１または２以上の高調波ゲイン調整部と；上記デジタルオーディオ信号を遅延させ，上記高調波と位相を合わせる主信号遅延部と；上記遅延したデジタルオーディオ信号のゲインを調整する主信号ゲイン調整部と；上記ゲインが調整された偶数次高調波と，上記ゲインが調整されたデジタルオーディオ信号とを加算する信号加算部と；を備えることを特徴とする，オーディオ信号処理装置が提供される。

本発明では，帯域フィルタによりエイリアシングノイズの発生を防止しつつ，デジタルオーディオ信号の周波数帯域内の成分をも含む偶数次高調波を，元となるデジタルオーディオ信号に付加しているので，音声圧縮により欠落した倍音成分を補完し，聴感上好ましい音声を得ることが可能となる。

また，帯域フィルタ，高調波生成部，高調波ゲイン調整部の高調波生成ラインをそれぞれ他と独立して設けることにより，単一のラインで複数の高調波を生成する場合と比較して，各高調波の比を任意に設定できるといったように自由度を高くすることができ，聴感上さらに好ましい音声を得ることが可能となる。

上記デジタルオーディオ信号のサンプル語長を拡張して上記帯域フィルタおよび上記主信号遅延部に送信する語長拡張部と；上記信号加算部からの信号のサンプル語長を縮小する語長縮小部と；をさらに備えるとしてもよい。

語長拡張部は，入力されたデジタルオーディオ信号のサンプル語長（ビット長）を拡張する。こうしてデジタルオーディオ信号の分解能が上がり，フィルタ処理や高調波生成処理の演算精度を向上することができる。また，語長縮小部においてサンプル語長を縮小しているので，最終的には必要とされる出力のサンプル語長に合わせることができる。

上記帯域が制限されたデジタルオーディオ信号を遅延させ，並行する他の偶数次高調波と位相を合わせる１または２以上の帯域遅延部をさらに含むとしてもよい。

帯域フィルタおよび高調波生成部が複数並列して動作する場合，そのタップ数や処理構成により位相遅延が生じ，その遅延量はそれぞれ異なる。帯域遅延部は，信号加算部に入力される全ての偶数次高調波の位相が揃うように，それぞれの遅延量を調整する。

上記デジタルオーディオ信号をアップサンプルして上記帯域フィルタおよび上記主信号遅延部に送信するアップサンプラと；上記信号加算部からの信号をダウンサンプルするダウンサンプラと；をさらに備えるとしてもよい。

アップサンプラは，元のサンプリング周波数を整数倍に上げる。逆にダウンサンプラは，周波数を整数倍に下げる。上記アップサンプラとダウンサンプラの構成により，当該オーディオ信号処理装置内では高いサンプリング周波数に基づいた処理が可能となり，帯域フィルタで通過させるべき周波数帯域を拡張することができる。

上記高調波生成部は，当該高調波の次数Ｎに基づいて，上記帯域が制限されたデジタルオーディオ信号を１／Ｎに間引きする信号間引き部と；上記間引きされ波形長さが１／Ｎになった信号をＮ個並置する信号並置部と；上記並置された波形間を平滑化する信号平滑部と；を備えるとしてもよい。また，信号平滑部は，クロスフェード技術を利用して波形間を平滑化するとしてもよい。

ここでは，間引きしたデジタルオーディオ信号を複数繋げるだけで，偶数次高調波を生成している。従って，複雑なフィルタ処理を行わずとも，単純な構成によって所望する偶数次高調波を得ることができ，低コスト化，高速処理が図れる。

上記高調波生成部は，非線形フィルタにより形成されるとしてもよい。かかる構成により，フーリエ変換等を介さずに，簡易なフィルタのみで所望する偶数次高調波を得ることができる。

上記帯域フィルタの低域遮断周波数は，５００Ｈｚ〜１ｋＨｚの任意の周波数であるとしてもよい。

かかる構成により，低周波成分の高調波が楽音の主たる周波数帯域に干渉するのを回避しつつ，音声圧縮により欠落したデジタルオーディオ信号の周波数帯域内の倍音成分を補完することが可能となる。

上記オーディオ信号処理装置は，複数の構成要素の集合体で表されるが，各構成要素が単体の装置に属する必要はない。また，上記構成要素は，電気回路もしくはコンピュータ上の機能モジュールとして機能するとしてもよい。さらに，上記構成要素間の接続は，直接接続に加え，他の構成要素を介して間接的に接続されている場合を含む。

コンピュータを，上記オーディオ信号処理装置として機能させるプログラムや，そのプログラムを記憶した，コンピュータで読み取り可能な記憶媒体も提供される。

また，上記オーディオ信号処理装置を利用して，デジタルオーディオ信号の帯域をそれぞれ制限する帯域制限ステップと；上記帯域が制限されたデジタルオーディオ信号から，次数が異なる偶数次高調波をそれぞれ生成する高調波生成ステップと；上記生成された偶数次高調波のゲインをそれぞれ調整する高調波ゲイン調整ステップと；上記デジタルオーディオ信号を遅延させ，上記高調波と位相を合わせる主信号遅延ステップと；上記遅延したデジタルオーディオ信号のゲインを調整する主信号ゲイン調整ステップと；上記ゲインが調整された偶数次高調波と，上記ゲインが調整されたデジタルオーディオ信号とを加算する信号加算ステップと；を含むことを特徴とする，オーディオ信号処理方法も提供される。

上述したオーディオ信号処理装置における従属項に対応する構成要素やその説明は，オーディオ信号処理方法，プログラムおよびその記憶媒体にも適用可能である。

以上説明したように本発明によれば，高調波，特に偶数次の高調波を元のデジタルオーディオ信号に付加することにより，音声圧縮によって欠落した倍音成分を補完でき，聴感上好ましい音声を得ることが可能となる。

以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。

「「MPEG digital audio coding」Noll, P.;(Signal Processing Magazine, IEEE, Volume 14,Issue 5,Sept.1997Page(s):59〜81)」に示されているように，ＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）等の不可逆圧縮音声においては，知覚符号化処理であるＡｕｄｉｔｏｒｙ ＭａｓｋｉｎｇやＰｅｒｃｅｐｔｕａｌ Ｃｏｄｉｎｇ等の処理によって，音圧の低い高調波成分が省略される。

また，これら圧縮音声は，「「Perceptual analysis related to MPEG1-layer3 coding system」Alarcon, S.S.;(Web Delivering of Music, 2002. WEDELMUSIC 2002. Proceedings. Second International Conference on9~11 Dec. 2002, IEEE, Page(s):230）」に示されるように，ＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）等の非圧縮音声に比べ，特に「オーディオファイル」と呼ばれる音楽の専門家等から，音質的に劣るという評価を受けている。

一方，従来の真空管アンプ等の聴感評価は高く，偶数次高調波，特に２次高調波を多く含んだ音声が聴感上好ましい効果をもたらすことが知られている。例えば，「「The cool sound of tubes [vacuum tube musical applications]」Barbour, E.;(Spectrum, IEEE Volume 35, Issue 8, Aug. 1998 Page(s):24〜35)」によると，上記のような偶数次高調波を含んだ音声は，「音がクリーンである」「音がなめらかである」等の評価を受けている。

このような背景から，元となるデジタルオーディオ信号から高調波を生成し，そのデジタルオーディオ信号に重ねることにより，デジタルオーディオ信号の聴感上の音声を改善することが検討されている。

しかし，デジタルオーディオ信号の周波数帯域を単に拡張することを目的とした処理では，生成された高調波のうち，デジタルオーディオ信号の周波数帯域以上の周波数（例えば１６ｋＨｚ以上）の高調波のみが付加され，デジタルオーディオ信号の周波数帯域内にある高調波の周波数成分は付加されない。

例えば，デジタルオーディオ信号のサンプリング周波数を４４．１ｋＨｚとした場合において，基音２ｋＨｚのバイオリンの音の倍音（２次高調波）成分は４ｋＨｚであり，デジタルオーディオ信号の周波数帯域以上の周波数の高調波のみを付加する上記の技術では，この周波数成分は付加されずに除去されてしまう。圧縮音声においては，このようなデジタルオーディオ信号の周波数帯域内の倍音成分も往々にして省略されるので，結局，倍音成分は残らず，バイオリンの聴感上の音声の改善を図ることはできない。

また，デジタルオーディオ信号の周波数帯域内にある高調波成分を付加して，周波数帯域を広げ，高音成分を増幅する技術も知られている。しかし，これらの技術では，高調波の生成に起因する信号遅延が考慮されていないので，位相のずれが生じ，良好な音質を維持できないという問題がある。

本発明の実施形態では，デジタルオーディオ信号の周波数帯域内の成分をほぼ全て含む偶数次高調波を，元となるデジタルオーディオ信号に付加することによって，音声圧縮により欠落した倍音成分を補完し，聴感上好ましい音声を得ることが可能となる。以下，本実施形態のオーディオ信号処理装置を詳述する。

（第１の実施形態：オーディオ信号処理装置１００）
図１は，第１の実施形態によるオーディオ信号処理装置１００の概略的な構成を示した機能ブロック図である。上記オーディオ信号処理装置１００は，語長拡張部１１０と，２次用帯域フィルタ１１２と，２次高調波生成部１１６と，高調波ゲイン調整部１１８と，主信号遅延部１２０と，主信号ゲイン調整部１２２と，信号加算部１２４と，語長縮小部１２６とを含んで構成される。

当該オーディオ信号処理装置１００は，デジタルオーディオ信号を入力し，偶数次高調波を付与する処理を施して出力する。かかるデジタルオーディオ信号は，ＣＤ，ＭＤ，ＭＰ３プレーヤー等のデジタルオーディオプレーヤー，または任意のデジタルオーディオ信号処理回路から出力される音声信号である。また，デジタルオーディオ信号は，上記の信号に限らず，アナログレコードプレーヤーやカセットデッキ等のアナログ音声出力，あるいはデジタルオーディオプレーヤーのアナログ音声出力によるアナログ信号をＡ／Ｄ変換した音声であってもよい。

上記語長拡張部１１０は，当該オーディオ信号処理装置１００の外部から入力されたデジタルオーディオ信号のサンプル語長を拡張して２次用帯域フィルタ１１２および主信号遅延部１２０に送信する。例えば，入力されたデジタルオーディオ信号が１６ビットで形成される場合，その語長を例えば３２ビットに拡張する。こうしてデジタルオーディオ信号の分解能が上がり，後段の帯域フィルタ処理や高調波生成処理の演算精度を向上することができる。

上記２次用帯域フィルタ１１２は，２次高調波生成部１１６の前段に設けられる帯域フィルタであり，デジタルオーディオ信号の帯域を制限する。ここでは，聴感上有益でない低周波成分を除去するために低周波数成分を制限し，また，エイリアシングノイズの発生を防止するために高周波成分を除去している。

例えば，後段の２次高調波生成部１１６が当該２次用帯域フィルタ１１２を介さずに２次の高調波を生成した場合，生成された信号は，ナイキストリミットを越えてしまい，そのままエイリアシングノイズとなってしまう。従って，２次用帯域フィルタ１１２から出力される信号の最高周波数は，有効な周波数ｆ_ｓ（サンプリング周波数）／２を，その次数で除算した周波数ｆ_ｓ／４に制限する必要がある。

また，かかる２次用帯域フィルタ１１２により低周波数帯域を制限しているのは，低周波成分から高調波を生成したとしても，その周波数帯域は低域や中域にとどまるので，高域の倍音成分となって聴感上の音声の改善に寄与することはないからである。さらには，楽音の主たる周波数帯域に干渉し，主信号の明瞭性を妨げることになりかねないからである。

従って，当該２次用帯域フィルタ１１２の低域遮断周波数（低域カットオフ周波数）の目安として，その２次高調波が通常の楽音の主たる帯域の１ｋＨｚ辺りに相当する，５００Ｈｚ程度を選択する。また，その低域遮断周波数は，５００Ｈｚ〜１ｋＨｚの間の任意の値を選択することができる。こうして，低周波成分の高調波が楽音の主たる周波数帯域に干渉するのを防げるので，オリジナルの楽音の明瞭性を保持することができる。

このように５００Ｈｚ以下の周波数成分は，２次用帯域フィルタ１１２により取り除かれるものの，それ以上の成分は残っており，また，その成分自体の高調波も生成されるため，音声圧縮により欠落した倍音成分を補完することが可能となる。

また，２次用帯域フィルタ１１２の後段に，位相を遅延させ，元となるデジタルオーディオ信号（主信号）と位相を合わせる遅延部を設けてもよいが，後述する主信号遅延部１２０によって相殺することができるので，ここでは，遅延部を省略している。

上記２次高調波生成部１１６は，上記帯域が制限されたデジタルオーディオ信号から，２次の高調波を生成する。かかる２次の高調波を生成する方法としては，信号の間引き，並置，波形間の平滑化によるピッチシフト演算の他，非線形の増幅曲線を使用する方法，半波整流を用いる方法，フーリエ変換を用いる方法等，様々な演算を取り入れることができる。上記ピッチシフト演算および非線形の増幅曲線を使用する方法は，後で詳述する。

上記高調波ゲイン調整部１１８は，２次高調波生成部１１６で生成された偶数次高調波のゲインを，元となるデジタルオーディオ信号（主信号）に対して適切なゲインとなるように調整する。

上記主信号遅延部１２０は，デジタルオーディオ信号を，２次用帯域フィルタ１１２や２次高調波生成部１１６による位相遅延分だけ遅延させ，高調波信号と位相を合わせる。

上記主信号ゲイン調整部１２２は，主信号遅延部１２０から入力されたデジタルオーディオ信号のゲインを調整する。かかる調整は，当該主信号ゲイン調整部１２２から出力された信号と，高調波ゲイン調整部１１８から出力された信号が加算されたときに，少なくともゲインオーバが生じないようになされる。

上記信号加算部１２４は，高調波ゲイン調整部１１８でゲインが調整された偶数次高調波と，主信号ゲイン調整部１２２でゲインが調整されたデジタルオーディオ信号とを加算する。このように，デジタルオーディオ信号の周波数帯域内の成分を含む偶数次高調波を，元となるデジタルオーディオ信号に付加することによって，音声圧縮により欠落した倍音成分を補完し，聴感上好ましい音声を得ることが可能となる。

上述したように，語長拡張部１１０は，当該オーディオ信号処理装置１００の外部から入力されたデジタルオーディオ信号のサンプル語長を拡張している。従って，オーディオ信号処理装置１００内で処理されているサンプル語長と，必要とされる出力のサンプル語長が相違する場合がある。上記語長縮小部１２６は，出力フォーマットに合わせて，信号加算部１２４からの信号のサンプル語長を縮小する。また，出力先が拡張したサンプル語長を許容する場合，当該語長縮小部１２６を省略することもできる。

上述した各構成要素は，電気回路（ハードウェア）で形成されてもよいし，コンピュータ上の機能モジュール（ソフトウェア）として機能するとしてもよい。また，コンピュータをオーディオ信号処理装置１００として機能させるプログラムやそのプログラムを記憶した，コンピュータで読み取り可能な記憶媒体も提供される。

（オーディオ信号処理方法）
また，上述したオーディオ信号処理装置１００を利用して，デジタルオーディオ信号を加工処理するオーディオ信号処理方法も提供される。

図２は，オーディオ信号処理方法の処理の流れを示したフローチャートである。まず，オーディオ信号処理装置１００は，入力されたデジタルオーディオ信号のサンプル語長を拡張して２次用帯域フィルタ１１２および主信号遅延部１２０に送信する（Ｓ２００）。

そして，２次用帯域フィルタ１１２は，サンプル語長が拡張されたデジタルオーディオ信号の帯域をそれぞれ所定の範囲に制限し（Ｓ２０２），この帯域が制限されたデジタルオーディオ信号から，次数が異なる１または２以上の偶数次高調波をそれぞれ生成する（Ｓ２０４）。このように生成された偶数次高調波は，高調波ゲイン調整部１１８によってゲインが調整される（Ｓ２０６）。

上記のステップ（Ｓ２０２，Ｓ２０４，Ｓ２０６）とシーケンシャルにまたは並行して，主信号遅延部１２０は，サンプル語長が拡張されたデジタルオーディオ信号を遅延させ，高調波ゲイン調整部１１８を介して信号加算部１２４に入力される偶数次高調波と位相を合わせ（Ｓ２１０），このように遅延されたデジタルオーディオ信号のゲインを調整する（Ｓ２１２）。そして，信号加算部１２４は，ゲインが調整された偶数次高調波と，ゲインが調整されたデジタルオーディオ信号とを加算し（Ｓ２１４），語長縮小部１２６は，信号加算部１２４からの信号のサンプル語長を縮小する（Ｓ２１６）。

かかるオーディオ信号処理方法によっても，偶数次の高調波を元のデジタルオーディオ信号に付加することで，音声圧縮によって欠落した倍音成分を補完でき，聴感上好ましい音声を得ることが可能となる。

（第２の実施形態：オーディオ信号処理装置１５０）
第１の実施形態では，２次の高調波のみを付与する構成を述べた。第２の実施形態では，偶数次かつ高次の４次，６次，…，２ｎ次といった高調波も同時に付加することによって，「音がクリーンである」「音がなめらかである」等の聴感上好ましい効果をさらに向上することができる。

図３は，第２の実施形態によるオーディオ信号処理装置１５０の概略的な構成を示した機能ブロック図である。上記オーディオ信号処理装置１００は，語長拡張部１１０と，帯域フィルタ１１２，１３２，１４２と，帯域遅延部１１４，１３４，１４４と，高調波生成部１１６，１３６，１４６と，高調波ゲイン調整部１１８，１３８，１４８と，主信号遅延部１２０と，主信号ゲイン調整部１２２と，信号加算部１２４と，語長縮小部１２６とを含んで構成される。ここでは，任意の次数までの偶数次高調波を同時に付加することができる。

第１の実施形態における構成要素として既に述べた語長拡張部１１０と，主信号遅延部１２０と，主信号ゲイン調整部１２２と，信号加算部１２４と，語長縮小部１２６とは，実質的に機能が同一なので重複説明を省略し，ここでは，構成が相違する帯域フィルタ１１２，１３２，１４２と，帯域遅延部１１４，１３４，１４４と，高調波生成部１１６，１３６，１４６と，高調波ゲイン調整部１１８，１３８，１４８とを主に説明する。

上記帯域フィルタは，後段の高調波生成部１１６，１３６，１４６の次数に応じて，それぞれ２次用帯域フィルタ１１２，４次用帯域フィルタ１３２，６次用帯域フィルタ１４２として機能する。また，さらなる高次の高調波生成部，例えば，８次以降の高調波生成部がある場合，当然にして，それぞれに適応した帯域フィルタが設けられる。この帯域フィルタから出力される信号の最高周波数，即ち，高域遮断周波数は，後段の高調波生成部１１６，１３６，１４６の次数に応じて決定される。例えば，高調波生成部が４次の高調波を生成する場合，有効な周波数ｆ_ｓ（サンプリング周波数）／２の１／４，即ちｆ_ｓ／８に制限され，６次の高調波を生成する場合ｆ_ｓ／２の１／６，即ちｆ_ｓ／１２に制限される。

上記帯域遅延部１１４，１３４，１４４は，各帯域フィルタ１１２，１３２，１４２により帯域が制限されたデジタルオーディオ信号を遅延させ，並行する他の偶数次高調波と位相を合わせる。帯域フィルタ１１２，１３２，１４２および高調波生成部１１６，１３６，１４６が複数並列して動作する場合，そのフィルタ（例えばＦＩＲ）のタップ数や高調波生成の処理構成により位相遅延が生じ，その遅延量は，一般的にタップ数が多いほど（次数が高いほど）大きくなる。帯域遅延部１１４，１３４，１４４は，信号加算部１２４に入力される全ての偶数次高調波の位相が揃うようにそれぞれの遅延量を調整する。

かかる位相の遅延量は，まず，元のデジタルオーディオ信号（主信号）および並行する他の偶数次高調波から遅延量が一番多い信号を抽出し，その信号ラインの帯域遅延部の遅延量を「０」とする。その他のラインは，遅延量が一番多い信号の遅延量との差分を遅延量とする。従って，高調波生成側では，遅延量が「０」となる少なくとも１つの帯域遅延部を省略することが可能である。

上記高調波生成部１１６，１３６，１４６は，各帯域遅延部１１４，１３４，１４４から受信したデジタルオーディオ信号から，それぞれ次数が異なる偶数次高調波を生成する。ここでは，２次，４次，６次の高調波をそれぞれ生成する２次高調波生成部１１６，４次高調波生成部１３６，６次高調波生成部１４６が形成されている。

上記高調波ゲイン調整部１１８，１３８，１４８は，高調波生成部１１６，１３６，１４６で生成された偶数次高調波のゲインを，元となるデジタルオーディオ信号（主信号）に対して適切なゲインとなるようにそれぞれ調整する。

このように，それぞれ独立したラインを設けて高調波を生成する構成では，確実に，不要な奇数次の高調波を除き，偶数次の高調波を生成できる。また，各帯域フィルタを個々に設定することにより，各高調波がエイリアシングノイズとならない最大の周波数領域でデジタルオーディオ信号を有効に活用できる。さらに，各高調波ゲイン調整部を他の高調波ゲイン調整部とは独立に設定できるので，付加する高調波の比率を自由に選択することができる。従って，単一のラインで複数の高調波を生成する場合と比較すると，設定の自由度が高く，原信号を有効に活用できるので，聴感上さらに好ましい音声を得ることが可能となる。

（第３の実施形態：オーディオ信号処理装置３００）
第３の実施形態では，オーディオ信号処理装置３００の内部処理におけるサンプリング周期を高くして，フィルタ処理等の計算処理精度を高める。

図４は，第３の実施形態によるオーディオ信号処理装置３００の概略的な構成を示した機能ブロック図である。上記オーディオ信号処理装置３００は，語長拡張部１１０と，アップサンプラ３１０と，２次用帯域フィルタ１１２と，２次高調波生成部１１６と，高調波ゲイン調整部１１８と，主信号遅延部１２０と，主信号ゲイン調整部１２２と，信号加算部１２４と，ダウンサンプラ３１２と，語長縮小部１２６とを含んで構成される。

第１の実施形態における構成要素として既に述べた語長拡張部１１０と，２次用帯域フィルタ１１２と，２次高調波生成部１１６と，高調波ゲイン調整部１１８と，主信号遅延部１２０と，主信号ゲイン調整部１２２と，信号加算部１２４と，語長縮小部１２６とは，実質的に機能が同一なので重複説明を省略し，ここでは，アップサンプラ３１０と，ダウンサンプラ３１２とを主に説明する。

上記アップサンプラ３１０は，語長拡張部１１０からのデジタルオーディオ信号をアップサンプルして２次用帯域フィルタ１１２および主信号遅延部１２０に送信する。

このアップサンプラ３１０により，当該オーディオ信号処理装置３００内では，高いサンプリング周波数に基づいた処理が可能となる。例えば，アップサンプラによって２倍にアップサンプルすると，サンプリング周期ｆ_ｓは，２×ｆ_ｓとなる。従って，エイリアシングノイズを生じない範囲において，帯域フィルタで通過させるべき周波数帯域を拡張することができる。

例えば，アップサンプラ３１０が無い場合，２次用帯域フィルタは，最高周波数をサンプリング周波数ｆ_ｓの１／４に制限しなければならないが，周波数２倍のアップサンプラ３１０を備える場合，サンプリング周期自体が２倍となるので，制限すべき最高周波数はｆ_ｓ×（１／４）×２となり元の信号の有効な周波数ｆ_ｓ／２と等しくなる。従って，２次用帯域フィルタ１１２を省略することも可能となる。

上記ダウンサンプラ３１２は，信号加算部１２４からの信号をダウンサンプルする。当該オーディオ信号処理装置３００がデジタルオーディオ信号の中継装置として機能する場合，入力と出力のサンプリング周期およびサンプル語長は等しくなければならないからである。ここで，当該オーディオ信号処理装置３００の出力フォーマットがこのような高いサンプリング周期を許容できる場合，必要に応じてダウンサンプラ３１２を省略することも可能である。

（オーディオ信号処理装置３５０）
このようなアップサンプラ３１０およびダウンサンプラ３１２の構成は，第２の実施形態に示したオーディオ信号処理装置１５０にも適用可能である。

図５は，第３の実施形態におけるアップサンプラ３１０の構成を第２の実施形態に適用した場合のオーディオ信号処理装置３５０の概略的な構成を示した機能ブロック図である。上記オーディオ信号処理装置３５０は，語長拡張部１１０と，アップサンプラ３１０と，帯域フィルタ１１２，１３２，１４２と，帯域遅延部１１４，１３４，１４４と，高調波生成部１１６，１３６，１４６と，高調波ゲイン調整部１１８，１３８，１４８と，主信号遅延部１２０と，主信号ゲイン調整部１２２と，信号加算部１２４と，ダウンサンプラ３１２と，語長縮小部１２６とを含んで構成される。ここでは，任意の次数までの偶数次高調波を同時に付加することができる。

上述した構成要素は，本実施形態および第２の実施形態で既に述べた構成要素と，実質的に機能が同一なので重複説明を省略する。

（第４の実施形態：高調波生成部４００）
高調波生成部４００における高調波の生成方法としては，信号の間引き，並置，波形間の平滑化によるピッチシフト演算の他，フーリエ変換を用いる方法，非線形の増幅曲線を使用する方法等様々な演算を取り入れることができる。第４の実施形態では，上記ピッチシフト演算および非線形の増幅曲線を使用する方法について詳述する。

図６は，高調波生成部４００の概略的な構成を示した機能ブロック図である。上記Ｎ次の高調波生成部４００は，信号間引き部４１０と，信号並置部４１２と，信号平滑部４１４とを含んで構成される。

上記信号間引き部４１０は，当該高調波生成部４００が生成する高調波の次数Ｎに基づいて，帯域フィルタで帯域が制限されたデジタルオーディオ信号を１／Ｎに間引きする。以下ではＮ＝２の場合を挙げて説明するが，かかる場合に限られず，次数に応じて２以上の整数を選ぶことができる。

図７は，信号間引き部４１０の動作を説明するための説明図である。信号間引き部４１０は，高調波生成部４００の次数２に応じて，２回のサンプリング毎に１回のサンプル値を抽出し，他のサンプル値は削除する。かかる処理により，図７に示すように，１周期のサンプル数は１／２に減り，１周期の時間間隔ａも半分のａ／２になる。

上記信号並置部４１２は，信号間引き部４１０により間引きされ，波形長さがａ／２になった信号を２個並置する。

図８は，信号並置部４１２の動作を説明するための説明図である。信号並置部４１２は，信号間引き部４１０によって時間間隔がａ／２になったサンプル群を，元の時間間隔に埋めるため２個繋げて並べる。こうして波形の時間間隔を，元となるデータと等しいａにすることができる。しかし，信号並置部４１２は，複数のサンプル群を単純に繋げているだけなので，つなぎ目には不連続な部分４５０が生じる。

上記信号平滑部４１４は，並置された波形間の不連続な部分４５０を平滑化する。

図９は，信号平滑部４１４の動作を説明するための説明図である。高調波生成部４００で生成された高調波は，サンプル群間のつなぎ目の不連続な部分４５０よりノイズが発生する。かかる信号平滑部４１４のクロスフェード処理等によってこのような不連続領域を除去することができる。

図１０は，上記クロスフェードの処理手順を詳細に説明した説明図である。ここでは，波形長さ１／２の信号を２個繋げて並べた信号（図１０（ａ））と，位相を１８０゜ずらして取得した，波形長さ１／２の信号を２個繋げて並べた信号（図１０（ｂ））とを準備する。次に，各信号に重み付けを行う。ここでは，図１０（ａ）におけるつなぎ目の不連続な部分の重み付けを０％とし，その部分に相当する図１０（ｂ）の同箇所の重み付けを１００％としている。かかる重み付けを実現しつつ，その連続性を維持するため，図１０（ａ），（ｂ）への重み付けは，図１０（ｃ），（ｄ）において曲線で示された比率を適用する。

図１０（ａ），（ｂ）に対して，図１０（ｃ），（ｄ）の重み付けを乗算すると，図１０（ｅ），（ｆ）に示す波形を得ることができ，それぞれを加算することで図１０（ｇ）に示した最終的な信号を得ることができる。

本実施形態における高調波生成部４００は，基本的にはデジタルフィルタとメモリのみで構成できるため，フーリエ変換を使用する場合に比べ，大幅に少ない処理量で偶数次高調波を生成することができる。

また，高調波生成部４００における高調波の他の生成方法としては，非線形フィルタを利用することもできる。例えば，入力ｘに対する出力ｙ＝ｘ｛（１−δ）＋δｘ｝からなる２次の非線形フィルタを適用することで，２次の高調波を生成することができる。かかる２次の非線形フィルタは，乗算器２個と加算器１個という単純な構成で実現される。

図１１は，２次の非線形フィルタを利用したときの周波数−ゲイン特性を示した説明図である。デジタルオーディオ信号は，２次用帯域フィルタ１１２を通過することにより，周波数帯域がｆ_１〜ｆ_２に制限される（図１１（ａ））。そして，ｙ＝ｘ｛（１−δ）＋δｘ｝の非線形フィルタにより周波数帯域がｆ_１〜２ｆ_２に拡張される（図１１（ｂ））。ここで，出力される最高周波数が２倍になっているが，予め２次用帯域フィルタが高域遮断周波数を下げているので，エイリアシングノイズは生じない。

また，従来では，デジタルオーディオ信号以上の周波数を持つ高調波のみが付加され，デジタルオーディオ信号の周波数帯域内にある高調波成分は付加されなかったが，本実施形態は，デジタルオーディオ信号の周波数帯域内の高調波成分も付加されるので，加算時の重み付けを検討する必要がでてくる。かかる重み付けは，高調波ゲイン調整部１１８と主信号ゲイン調整部１２２とによって実施されるが，単に一定のゲインを乗算するだけでなく，例えば，低周波領域では，主信号ゲイン調整部１２２の重み付けを高く，高周波領域では，高調波ゲイン調整部１１８の重み付けを高くする等，周波数に応じてゲインを変化させることもできる。

また，高調波生成部４００として，半波整流を用いる方法，フーリエ変換を用いる方法等当業者にとって自明な様々な方法を用いることもできる。上記半波整流を用いる方法は，平坦な部分を有する波形が，フーリエ級数展開した際に高次の高周波成分を多く含むことを利用している。また，フーリエ変換を用いる方法は，音声データを周波数データに変換し，その周波数軸をシフトした後，逆フーリエ変換を用いることで，ピッチシフトされた音声データを得ることができる。周波数軸上で２倍シフトすれば２次高調波が得られ，４倍シフトすれば４次高調波が得られる。こうして任意の偶数次高調波を生成できる。

上述した第１〜４の実施形態によるオーディオ信号処理装置では，デジタルオーディオ信号に偶数次高調波が付加され，これによって，音声圧縮によって失われた倍音成分が補完される。このような処理によって生成されたデジタルオーディオ信号は，聴感上好ましくなる効果，例えば，「音がクリーンである」「音がなめらかである」等の効果を得ることができる。また，デジタルオーディオ信号が圧縮音声でなかったとしても，上記偶数次高調波を付加する構成により，聴感上好ましくなる効果が得られる。

また，上述した実施形態のオーディオ信号処理装置は，基本的に，デジタルフィルタとメモリのみで構成することができるため，フーリエ変換を利用するような複雑なアルゴリズムを適用する場合に比べ，少ない処理量で目的を達成することができ，必要とされるシステム資源，実装コストの点でも非常に有利である。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば，上述した実施形態においては，フィルタ処理を高速で実現可能なコンピュータを例に挙げているが，ポータブルオーディオプレーヤーやシステムステレオ等の比較的小型で安価なデジタルオーディオ機器でも本実施形態を適用することが可能である。この場合，高価かつ容積をとる真空管アンプ等を用いなくても，比較的小規模のデジタル回路の追加のみで，「クリーン」「なめらか」といった真空管アンプに類似した好ましい特徴の音色を得ることができる。その他にも，原理上全てのデジタルオーディオを用いた機器に適用できるため，カーオーディオ，デジタルテレビ，ホームシアターシステム等，極めて広い範囲の電子機器に応用することができる。

なお，本明細書のオーディオ信号処理方法における各工程は，必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく，並列的あるいは個別に実行される処理（例えば，並列処理あるいはオブジェクトによる処理）も含むとしても良い。

第１の実施形態によるオーディオ信号処理装置の概略的な構成を示した機能ブロック図である。 オーディオ信号処理方法の処理の流れを示したフローチャートである。 第２の実施形態によるオーディオ信号処理装置の概略的な構成を示した機能ブロック図である。 第３の実施形態によるオーディオ信号処理装置の概略的な構成を示した機能ブロック図である。 第３の実施形態におけるアップサンプラの構成を第２の実施形態に適用した場合のオーディオ信号処理装置の概略的な構成を示した機能ブロック図である。 高調波生成部の概略的な構成を示した機能ブロック図である。 信号間引き部の動作を説明するための説明図である。 信号並置部の動作を説明するための説明図である。 信号平滑部の動作を説明するための説明図である。 クロスフェードの処理手順を詳細に説明した説明図である。 ２次の非線形フィルタを利用したときの周波数−ゲイン特性を示した説明図である。

符号の説明

１００，１５０，３００，３５０ オーディオ信号処理装置
１１０ 語長拡張部
１１２，１３２，１４２ 帯域フィルタ
１１４，１３４，１４４ 帯域遅延部
１１６，１３６，１４６，４００ 高調波生成部
１１８，１３８，１４８ 高調波ゲイン調整部
１２０ 主信号遅延部
１２２ 主信号ゲイン調整部
１２４ 信号加算部
１２６ 語長縮小部
３１０ アップサンプラ
３１２ ダウンサンプラ
４１０ 信号間引き部
４１２ 信号並置部
４１４ 信号平滑部

Claims (11)

1. デジタルオーディオ信号の帯域を制限する１または２以上の帯域フィルタと；
   前記帯域が制限されたデジタルオーディオ信号から，次数が異なる偶数次高調波を生成する１または２以上の高調波生成部と；
   前記生成された偶数次高調波のゲインをそれぞれ調整する１または２以上の高調波ゲイン調整部と；
   前記デジタルオーディオ信号を遅延させ，前記偶数次高調波と位相を合わせる主信号遅延部と；
   前記遅延したデジタルオーディオ信号のゲインを調整する主信号ゲイン調整部と；
   前記ゲインが調整された偶数次高調波と，前記ゲインが調整されたデジタルオーディオ信号とを加算する信号加算部と；
   を備えることを特徴とする，オーディオ信号処理装置。
2. 前記デジタルオーディオ信号のサンプル語長を拡張して前記帯域フィルタおよび前記主信号遅延部に送信する語長拡張部と；
   前記信号加算部からの信号のサンプル語長を縮小する語長縮小部と；
   をさらに備えることを特徴とする，請求項１に記載のオーディオ信号処理装置。
3. 前記帯域が制限されたデジタルオーディオ信号を遅延させ，並行する他の偶数次高調波と位相を合わせる１または２以上の帯域遅延部をさらに含むことを特徴とする，請求項１に記載のオーディオ信号処理装置。
4. 前記デジタルオーディオ信号をアップサンプルして前記帯域フィルタおよび前記主信号遅延部に送信するアップサンプラと；
   前記信号加算部からの信号をダウンサンプルするダウンサンプラと；
   をさらに備えることを特徴とする，請求項１に記載のオーディオ信号処理装置。
5. 前記高調波生成部は，
   当該高調波の次数Ｎに基づいて，前記帯域が制限されたデジタルオーディオ信号を１／Ｎに間引きする信号間引き部と；
   前記間引きされ波形長さが１／Ｎになった信号をＮ個並置する信号並置部と；
   前記並置された波形間を平滑化する信号平滑部と；
   を備えることを特徴とする，請求項１に記載のオーディオ信号処理装置。
6. 前記信号平滑部は，クロスフェード技術を利用して波形間を平滑化することを特徴とする，請求項５に記載のオーディオ信号処理装置。
7. 前記高調波生成部は，非線形フィルタにより形成されることを特徴とする，請求項１に記載のオーディオ信号処理装置。
8. 前記帯域フィルタの低域遮断周波数は，５００Ｈｚ〜１ｋＨｚの任意の周波数であることを特徴とする，請求項１に記載のオーディオ信号処理装置。
9. コンピュータを，
   デジタルオーディオ信号の帯域を制限する１または２以上の帯域フィルタと；
   前記帯域が制限されたデジタルオーディオ信号から，次数が異なる偶数次高調波を生成する１または２以上の高調波生成部と；
   前記生成された偶数次高調波のゲインをそれぞれ調整する１または２以上の高調波ゲイン調整部と；
   前記デジタルオーディオ信号を遅延させ，前記偶数次高調波と位相を合わせる主信号遅延部と；
   前記遅延したデジタルオーディオ信号のゲインを調整する主信号ゲイン調整部と；
   前記ゲインが調整された偶数次高調波と，前記ゲインが調整されたデジタルオーディオ信号とを加算する信号加算部と；
   して機能させることを特徴とする，プログラム。
10. コンピュータを，
    デジタルオーディオ信号の帯域を制限する１または２以上の帯域フィルタと；
    前記帯域が制限されたデジタルオーディオ信号から，次数が異なる偶数次高調波を生成する１または２以上の高調波生成部と；
    前記生成された偶数次高調波のゲインをそれぞれ調整する１または２以上の高調波ゲイン調整部と；
    前記デジタルオーディオ信号を遅延させ，前記偶数次高調波と位相を合わせる主信号遅延部と；
    前記遅延したデジタルオーディオ信号のゲインを調整する主信号ゲイン調整部と；
    前記ゲインが調整された偶数次高調波と，前記ゲインが調整されたデジタルオーディオ信号とを加算する信号加算部と；
    して機能させるプログラムを記憶した，記憶媒体。
11. デジタルオーディオ信号の帯域をそれぞれ制限する帯域制限ステップと；
    前記帯域が制限されたデジタルオーディオ信号から，次数が異なる偶数次高調波をそれぞれ生成する高調波生成ステップと；
    前記生成された偶数次高調波のゲインをそれぞれ調整する高調波ゲイン調整ステップと；
    前記デジタルオーディオ信号を遅延させ，前記偶数次高調波と位相を合わせる主信号遅延ステップと；
    前記遅延したデジタルオーディオ信号のゲインを調整する主信号ゲイン調整ステップと；
    前記ゲインが調整された偶数次高調波と，ゲインが調整されたデジタルオーディオ信号とを加算する信号加算ステップと；
    を含むことを特徴とする，オーディオ信号処理方法。
    

Images