JP2012019454A - 音声信号処理装置、方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】２チャネル分の音声信号から、臨場感を高める音声信号成分を分離して減圧または増圧することが可能な音声信号処理装置を提供する。
【解決手段】音声信号処理装置（音声信号処理部２０で例示）は、２つのチャネルの入力音声信号から信号間の無相関信号を抽出する信号抽出部（信号分離抽出部２３で例示）と、信号抽出部で抽出された信号を増加または減少させる無相関信号増減部（ゲイン調整部２５ａ，２５ｂで例示）と、無相関信号増減部で増加または減少させた信号を、入力音声信号に加算する音声信号加算部とを備える。
【選択図】図２

Description

本発明は、複数のスピーカで再生するための音声信号を処理する音声信号処理装置、方法、プログラム、及び記録媒体に関する。

従来から、音楽の再生時において臨場感を高めるための音響信号処理方法が提案されている（例えば、特許文献１を参照）。
特許文献１に記載の技術は、残響成分を人工的に生成してそれを付加することによって、残響音の割合を大きくしている。この技術により、音楽コンテンツによっては、例えばホールで聴いているかのような残響感が付加されることによって、臨場感を高めることができる。

特開平６−４３８９０号公報

特許文献１に記載の技術を、テレビ番組の視聴に適用することを考える。テレビ番組のコンテンツの種類は、音楽番組だけでなく、スポーツ番組やニュース番組、ドラマ、映画など多岐に亘る。それらのテレビ番組のコンテンツに対し、残響音を生成し付加したとしても臨場感は高まらないことは、例えば屋外スポーツに残響音が付加されることを考えても明らかである。すなわち、特許文献１に代表されるような残響生成付加による技術は、テレビ番組の視聴において臨場感を高める手段としては非常に限定的な効果しか奏しない。

また、従来から提案されている音響再生方式には、ステレオ（２ｃｈ）方式、５.１ｃｈサラウンド方式（ＩＴＵ−Ｒ ＢＳ.７７５−１）、７.１ｃｈ、９.１ｃｈ、２２.２ｃｈなどがあるが、現在、音声や楽音コンテンツとして最も普及しているチャネル数は２ｃｈ（ステレオ）方式であって、一般的に、テレビコンテンツの音声信号もステレオ（２ｃｈ）である場合が殆どである。そして、残響成分や、あるいはそのほかの臨場感を高める要素としての音声信号は、ステレオ音声信号の中に混ざって入っている。

本発明は、上述のような実状に鑑みてなされたものであり、その目的は、ステレオ記録された音声または楽音コンテンツなどに含まれる２チャネル分の音声信号から、臨場感を高める音声信号成分を分離して減圧または増圧することが可能な音声信号処理装置、方法、プログラム、及び記録媒体を提供することにある。

上述したような課題を解決するために、本発明の第１の技術手段は、２つのチャネルの無相関信号を増減させる音声信号処理装置であって、２つのチャネルの入力音声信号から信号間の無相関信号を抽出する信号抽出部と、該信号抽出部で抽出された無相関信号を増加または減少させる無相関信号増減部と、該無相関信号増減部で増加または減少させた信号を、前記入力音声信号に加算する音声信号加算部とを備えたことを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記無相関信号増減部における増加または減少の度合いを変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って、前記増加または減少の度合いを示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記ユーザインタフェースは、前記無相関信号増減部における減少の度合いを負の値で表現し、増加の度合いを正の値で表現することを特徴としたものである。

第４の技術手段は、２つのチャネルの無相関信号を増減させる音声信号処理方法であって、信号抽出部が、２つのチャネルの入力音声信号から信号間の無相関信号を抽出する抽出ステップと、無相関信号増減部が、前記抽出ステップで抽出された無相関信号を増加または減少させる増減ステップと、音声信号加算部が、前記増減ステップで増加または減少させた信号を、前記入力音声信号に加算する加算ステップと、を有することを特徴としたものである。

第５の技術手段は、コンピュータに、２つのチャネルの入力音声信号から信号間の無相関信号を抽出する抽出ステップと、該抽出ステップで抽出された無相関信号を増加または減少させる増減ステップと、該増減ステップで増加または減少させた信号を、前記入力音声信号に加算する加算ステップと、を実行させるためのプログラムである。
第６の技術手段は、第５の技術手段におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、ステレオ記録された音声または楽音コンテンツなどに含まれる２チャネル分の音声信号から、臨場感を高める音声信号成分を分離して減圧または増圧することが可能になる。

本発明に係る音声信号処理装置を備えた音声データ再生装置の一構成例を示すブロック図である。 図１の音声データ再生装置における音声信号処理部の一構成例を示すブロック図である。 図２の音声信号処理部において音声データをバッファに蓄える様子を示す図である。 図１のユーザインタフェース制御部により表示デバイスに表示させるグラフィカルユーザインタフェース（ＧＵＩ）画面の一例を示す図である。 図２の後処理部に入力される音声信号の波形の一部を拡大した図である。 左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を説明するための模式図である。 図２の後処理部で施される不連続点除去処理の一例を説明するための模式図である。 図５の音声信号に対し、図７の不連続点除去処理を施した結果を示す図である。

本発明に係る音声信号処理装置は、相関がない信号が臨場感を表していることを利用し、２つの音声信号中の無相関信号を抽出して増加または減少させる装置であって、音声データ再生装置に組み込むことができる。なお、音声信号とは、当然、いわゆる音声を記録した信号に限ったものではなく、音響信号とも呼べる。

以下、図面を参照しながら、本発明に係る音声信号処理装置の構成例及び処理例について説明する。図１は、本発明に係る音声信号処理装置を備えた音声データ再生装置の一構成例を示すブロック図で、図２は、図１の音声データ再生装置における音声信号処理部の一構成例を示すブロック図である。また、図３は、図２の音声信号処理部において音声データをバッファに蓄える様子を示す図である。

図１で例示する音声データ再生装置１０は、デコーダ１１、音声信号抽出部１２、音声信号処理部１３、Ｄ／Ａコンバータ１４、増幅器１５、スピーカ１６、パラメータ制御部１７、ユーザインタフェース制御部１８、表示デバイス１９ａ、及び入力デバイス１９ｂから構成される。本発明に係る音声信号処理装置は、主に音声信号処理部１３で構成され、好ましい構成例ではパラメータ制御部１７、ユーザインタフェース制御部１８、表示デバイス１９ａ、及び入力デバイス１９ｂを備える。

デコーダ１１は、音声のみあるいは音声付き映像のコンテンツを復号化し、信号処理可能な形式に変換し音声信号抽出部１２に出力する。そのコンテンツは、放送局から送信されたデジタル放送のコンテンツや、ネットワークを介してディジタルコンテンツを配信するサーバからインターネットからダウンロードしたり、あるいは外部記憶装置等の記録媒体から読み込んだりすることによって取得する。このように、図１では図示しないが、音声データ再生装置１０は、マルチチャネルの入力音声信号を含むディジタルコンテンツを入力するディジタルコンテンツ入力部を備える。デコーダ１１は、ここで入力されたディジタルコンテンツを復号化することになる。音声信号抽出部１２では、得られた信号から音声信号を分離、抽出する。ここではそれは２ｃｈステレオ信号とする。その２チャネル分の信号を音声信号処理部１３に出力する。

ユーザインタフェース制御部１８では、ユーザが例えば表示デバイス１９ａに表示するＧＵＩ（Graphical User Interface）を介し、入力デバイス１９ｂであるマウスやキーボード、リモートコントローラ、タッチパネル、あるいはボタン操作などによって入力した入力信号を取得し、パラメータ制御部１７に出力する。パラメータ制御部１７では入力された信号を、音声信号処理部１３での処理に関するパラメータ群に変換し、それらを音声信号処理部１３に出力する。

音声信号処理部１３では、２チャネル信号から無相関信号を抽出し、その無相関信号について、パラメータ制御部１７から入力されたパラメータを用いて、無相関信号の増圧または減圧（抑圧）の度合いを調整する。なお、増圧（または減圧）の度合いとは、無相関信号を増加（または減少）させる度合いを指す。

そして、（Ｉ）無相関信号に対して増圧または減圧を実行した結果として得られた音声信号に、元の入力音声信号を加算して、Ｄ／Ａコンバータ１４に出力するようにしてもよい。同等の処理として、（ＩＩ）無相関信号に対して増圧または減圧を実行した結果として得られた音声信号に、抽出（分離）により残った信号（つまり相関信号）を加算して、Ｄ／Ａコンバータ１４に出力するようにしてもよい。また、同等の処理として、（ＩＩＩ）無相関信号への増圧または減圧する分（増圧分または減圧分）の音声信号に、元の入力音声信号を加算して、Ｄ／Ａコンバータ１４に出力してもよい。

上記（Ｉ）の例では、加算する入力音声信号に元々無相関信号が含まれることを考慮して、増圧または減圧しておけばよい。以下の説明では上記（Ｉ）の処理を採用した例を示すが、上記（Ｉ）〜（ＩＩＩ）の処理は、いずれも、増圧または抑圧を元の入力音声信号に反映させており、単にパラメータの値が違うだけとも言えるため、同義である。

Ｄ／Ａコンバータ１４では得られた信号をアナログ信号に変換し、左右それぞれの信号を増幅器１５に出力する。各増幅器１５では入力されたアナログ信号を拡声し各スピーカ１６に伝送し、各スピーカ１６から空間中に音として出力される。

図１における音声信号処理部１３の詳細な構成を、図２を参照しながら説明する。本発明に係る音声信号処理装置は、２つのチャネルの無相関信号を増減させる装置である。そのために、本発明に係る音声信号処理装置（音声信号処理部２０で例示）は、次の信号抽出部及び無相関信号増減部を備える。図２で例示する音声信号処理部２０は、前処理部２１、離散フーリエ変換部２２、信号分離抽出部２３、ゲイン調整部２５ａ，２５ｂ、合成部２６、離散フーリエ逆変換部（逆離散フーリエ変換部）２７、そして後処理部２８から構成される。

前処理部２１では音声データを読み込み、窓関数演算を行う。離散フーリエ変換部２２ではその信号を時間領域の表現から周波数領域の表現に変換する。上述した信号抽出部は、２つのチャネルの入力音声信号から２つのチャネル間の無相関信号を分離する部位であり、無相関信号抽出部とも言え、信号分離抽出部２３で例示できる。信号分離抽出部２３では、音声信号を相関信号と左右チャネルそれぞれから分離される無相関信号に分離する。ゲイン調整部２５ａ，２５ｂは、左チャネル無相関信号、右チャネル無相関信号それぞれについてスケーリング処理（ゲイン係数乗算処理）を行う。この例ではゲイン調整部２５ａ，２５ｂは、増加または減少させた結果を出力する。ゲイン調整部２５ａ，２５ｂは上述の無相関信号増減部の一例である。

合成部２６は、ゲイン調整部２５ａ，２５ｂ及び離散フーリエ変換部２２からの出力を、チャネル毎に全て合成し、チャネル毎の再割り当て後の信号として、離散フーリエ逆変換部２７に出力する。なお、合成部２６は、３つの音声信号を加算処理（つまり重ね合わせ処理）するため、加算部あるいは重ね合わせ部とも言える。離散フーリエ逆変換部２７は、入力されたスケーリング後の音声信号を再び時間領域に戻し、後処理部２８へ出力する。後処理部２８は、ノイズ除去を施して信号を図１のＤ／Ａコンバータ１４に出力する。

以下、音声信号処理部２０における各部について、具体的な処理例を説明する。
まず、前処理部２１は、１セグメントの半分の長さの音声データを、図１における音声信号抽出部１２から読み出す。ここで、音声データとは、例えば４８ｋＨｚなどの標本化周波数で標本化された２チャネルの離散音声信号波形を指すものとする。そして、セグメントとは、ある一定の長さの標本点群からなる音声データ区間であり、ここでは後ほど離散フーリエ変換の対象となる区間長を指すものとする。その値は例えば１０２４とする。この例では、１セグメントの半分の長さである５１２点の音声データが読み出し対象となる。

読み出した５１２点の音声データは図３で例示するようなバッファ３０に蓄えられる。このバッファは、直前の１セグメント分の音声信号波形を保持しておけるようになっており、それより過去のセグメントは捨てていく。直前の半セグメント分のデータと最新の半セグメント分のデータを繋げて１セグメント分の音声データを作成し、その信号に対し、窓関数演算を行う。すなわち、全ての標本データは窓関数演算に２回読み込まれることになる。

窓関数演算では、従来提案されている次のＨａｎｎ窓を１セグメント分の音声データに乗算する。

ここで、ｍは自然数、Ｍは１セグメント長で偶数とする。ステレオの入力信号をそれぞれｘ_Ｌ（ｍ）、ｘ_Ｒ（ｍ）とすると、窓関数乗算後の音声信号ｘ′_Ｌ（ｍ）、ｘ′_Ｒ（ｍ）は、

ｘ′_Ｌ（ｍ）＝ｗ（ｍ）ｘ_Ｌ（ｍ） 、
ｘ′_Ｒ（ｍ）＝ｗ（ｍ）ｘ_Ｒ（ｍ） (2)
と計算される。このＨａｎｎ窓を用いると、例えば標本点ｍ_０（ただし、Ｍ／２≦ｍ_０＜Ｍ）の入力信号ｘ_Ｌ（ｍ_０）にはｓｉｎ^２（（ｍ_０／Ｍ）π）が乗算される。そして、その次の回の読み込みではその同じ標本点がｍ_０−Ｍ／２として読み込まれるので、

が乗算される。ここで、ｓｉｎ^２（（ｍ_０／Ｍ）π）＋ｃｏｓ^２（（ｍ_０／Ｍ）π）＝１であるから、もし、何も修正を加えずに読み込んだ信号を半セグメントずつずらして加算すれば、元の信号が完全に復元されることになる。

離散フーリエ変換部２２について説明する。離散フーリエ変換部２２は、そうして得られた音声データを次の数式(3)のように離散フーリエ変換し、周波数領域の音声データを得る。ここで、ＤＦＴは離散フーリエ変換を表し、ｋは自然数で、０≦ｋ＜Ｍである。Ｘ_Ｌ（ｋ）、Ｘ_Ｒ（ｋ）は複素数となる。
Ｘ_Ｌ（ｋ）＝ＤＦＴ（ｘ′_Ｌ（ｎ）） 、
Ｘ_Ｒ（ｋ）＝ＤＦＴ（ｘ′_Ｒ（ｎ）） (3)

次に、信号分離抽出部２３での処理について説明する。まず、得られた周波数領域の音声データを小さい帯域に分割する。分割方法についてはEquivalent Rectangular Bandwidth（ＥＲＢ）を用い、ＥＲＢの帯域幅で０Ｈｚから標本化周波数の１／２の周波数までの間を分割する。ここで、ＥＲＢにより、与えられた周波数の上限ｆ_ｍａｘ［Ｈｚ］までをいくつに分割するか、すなわちＥＲＢで分割した各帯域の索引の最大値Ｉは次式によって与えられる。
Ｉ＝ｆｌｏｏｒ（２１.４ｌｏｇ_１０（０.００４３７ｆ_ｍａｘ＋１）） (4)
ただし、ｆｌｏｏｒ（ａ）はフロア関数で、実数ａを越えない整数の最大値を表す。

そして、それぞれのＥＲＢ幅の帯域（以下、小帯域）の中心周波数Ｆ_ｃ ^（ｉ）（１≦ｉ≦Ｉ）［Ｈｚ］は次式によって与えられる。

また、その時のＥＲＢの帯域幅ｂ^（ｉ）［Ｈｚ］は次式によって求められる。
ｂ^（ｉ）＝２４.７（０.００４３７Ｆ_ｃ ^（ｉ）＋１） (6)
よって、その中心周波数から低域側と高域側にそれぞれＥＲＢ／２の周波数幅だけシフトすることによりｉ番目の小帯域の両側の境界周波数Ｆ_Ｌ ^（ｉ）、Ｆ_Ｕ ^（ｉ）を求めることができる。したがって、ｉ番目の小帯域には、Ｋ_Ｌ ^（ｉ）番目の線スペクトルからＫ_Ｕ ^（ｉ）番目の線スペクトルが含まれる。ここで、Ｋ_Ｌ ^（ｉ）、Ｋ_Ｕ ^（ｉ）はそれぞれ次の数式(7)、(8)で表される。
Ｋ_Ｌ ^（ｉ）＝ｃｅｉｌ（２１.４ｌｏｇ_１０（０.００４３７Ｆ_Ｌ ^（ｉ）＋１）） (7)
Ｋ_Ｕ ^（ｉ）＝ｆｌｏｏｒ（２１.４ｌｏｇ_１０（０.００４３７Ｆ_Ｕ ^（ｉ）＋１）） (8)
ただし、ｃｅｉｌ（ａ）は天井関数で、実数ａより小さくならない整数の最小値を表す。また、離散フーリエ変換した後の線スペクトルは、直流成分すなわち例えばＸ_Ｌ（０）を除いて、Ｍ／２（ただし、Ｍは偶数）を境に対称となっている。すなわち、Ｘ_Ｌ（ｋ）とＸ_Ｌ（Ｍ−ｋ）は０＜ｋ＜Ｍ／２の範囲で複素共役の関係になる。したがって、以下ではＫ_Ｕ ^（ｉ）≦Ｍ／２の範囲を分析の対象として考え、ｋ＞Ｍ／２の範囲については複素共役の関係にある対称の線スペクトルと同じ扱いとする。

これらの具体例を示す。例えば、標本化周波数が４８０００Ｈｚの場合、Ｉ＝４９となり、４９の小帯域に分割することとなる。ただし、直流成分は分割の対象とせず、どの小帯域にも含まないこととする。なぜならば、以下の方式では左右チャネルの正規化相関係数を求めるが、直流成分は複素数の実部しか持たないために正規化相関係数が１となるため、左右チャネルの直流成分が全て相関係数に割り当てられるという不適当な処理になってしまうからである。また、最も高い小帯域区間よりもさらに上の周波数に相当する線スペクトル成分も存在するが、それらは聴感上の影響も殆ど無く、さらに通常は値が微小であるため、それらは最も高い小帯域区間に含めることとして差し支えない。

次に、このようにして決定される各小帯域において、左チャネルと右チャネルの正規化相関係数を次式で求めることで、相関係数を取得する。

この正規化相関係数ｄ^（ｉ）は左右のチャネルの音声信号にどれだけ相関があるかを表すものであり、０から１の間の実数の値をとる。全く同じ信号同士であれば１、そして全く無相関の信号同士であれば０となる。ここで、左右のチャネルの音声信号の電力Ｐ_Ｌ ^（ｉ）とＰ_Ｒ ^（ｉ）の両方が０である場合、その小帯域に関して相関信号と無相関信号の抽出は不可能とし、処理を行わず次の小帯域の処理に移ることとする。また、Ｐ_Ｌ ^（ｉ）とＰ_Ｒ ^（ｉ）のいずれか片方が０である場合、数式(9)では演算不可能であるが、正規化相関係数ｄ^（ｉ）＝０とし、その小帯域の処理を続行する。

次に、信号分離抽出部２３は、この正規化相関係数ｄ^（ｉ）を用いて、左右チャネルの音声信号から左右の無相関信号を分離抽出するための変換係数を求め、それぞれの変換係数を用いて、左右チャネルの音声信号から無相関信号を分離抽出する。無相関信号は、いずれも推定した音声信号として抽出すればよい。

ここで、左右チャネルそれぞれの信号は、無相関信号と相関信号から構成され、相関信号については左右から同じ信号が出力されるものとするモデルを採用する。そして、左右から出力される相関信号によって合成される音像は、その相関信号の左右それぞれの音圧のバランスによって方向が決定されるものとする。そのモデルに従うと、入力信号ｘ_Ｌ（ｎ）、ｘ_Ｒ（ｎ）は、
ｘ_Ｌ（ｍ）＝ ｓ（ｍ）＋ｎ_Ｌ（ｍ）、
ｘ_Ｒ（ｍ）＝αｓ（ｍ）＋ｎ_Ｒ（ｍ） (13)
と表される。ここで、ｓ（ｍ）は左右の相関信号、ｎ_Ｌ（ｍ）は左チャネルの音声信号から相関信号ｓ（ｍ）を減算したものであって（左チャネルの）無相関信号として定義できるもの、ｎ_Ｒ（ｍ）は右チャネルの音声信号から相関信号ｓ（ｍ）を減算したものであって（右チャネルの）無相関信号として定義できるものである。また、αは相関信号の左右音圧バランスの程度を表す正の実数である。

数式(13)により、数式(2)で前述した窓関数乗算後の音声信号ｘ′_Ｌ（ｍ）、ｘ′_Ｒ（ｍ）は、次の数式(14)で表される。ただし、ｓ′（ｍ）、ｎ′_Ｌ（ｍ）、ｎ′_Ｒ（ｍ）はそれぞれｓ（ｍ）、ｎ_Ｌ（ｍ）、ｎ_Ｒ（ｍ）に窓関数を乗算したものである。
ｘ′_Ｌ（ｍ）＝ｗ（ｍ）｛ ｓ（ｍ）＋ｎ_Ｌ（ｍ）｝＝ ｓ′（ｍ）＋ｎ′_Ｌ（ｍ）、
ｘ′_Ｒ（ｍ）＝ｗ（ｍ）｛αｓ（ｍ）＋ｎ_Ｒ（ｍ）｝＝αｓ′（ｍ）＋ｎ′_Ｒ（ｍ）
(14)

数式(14)を離散フーリエ変換することによって、次の数式(15)を得る。ただし、Ｓ（ｋ）、Ｎ_Ｌ（ｋ）、Ｎ_Ｒ（ｋ）はそれぞれｓ′（ｍ）、ｎ′_Ｌ（ｍ）、ｎ′_Ｒ（ｍ）を離散フーリエ変換したものである。
Ｘ_Ｌ（ｋ）＝ Ｓ（ｋ）＋Ｎ_Ｌ（ｋ）、
Ｘ_Ｒ（ｋ）＝αＳ（ｋ）＋Ｎ_Ｒ（ｋ） (15)

したがって、ｉ番目の小帯域における音声信号Ｘ_Ｌ ^（ｉ）（ｋ）、Ｘ_Ｒ ^（ｉ）（ｋ）は、
Ｘ_Ｌ ^（ｉ）（ｋ）＝ Ｓ^（ｉ）（ｋ）＋Ｎ_Ｌ ^（ｉ）（ｋ）、
Ｘ_Ｒ ^（ｉ）（ｋ）＝α^（ｉ）Ｓ^（ｉ）（ｋ）＋Ｎ_Ｒ ^（ｉ）（ｋ）
ただし、Ｋ_Ｌ ^（ｉ）≦ｋ≦Ｋ_Ｕ ^（ｉ） (16)
と表現される。ここで、α^（ｉ）はｉ番目の小帯域におけるαを表す。以後、ｉ番目の小帯域における相関信号Ｓ^（ｉ）（ｋ）、無相関信号Ｎ_Ｌ ^（ｉ）（ｋ）、Ｎ_Ｒ ^（ｉ）（ｋ）をそれぞれ、
Ｓ^（ｉ）（ｋ）＝Ｓ（ｋ）、
Ｎ_Ｌ ^（ｉ）（ｋ）＝Ｎ_Ｌ（ｋ）、
Ｎ_Ｒ ^（ｉ）（ｋ）＝Ｎ_Ｒ（ｋ）
ただし、Ｋ_Ｌ ^（ｉ）≦ｋ≦Ｋ_Ｕ ^（ｉ） (17)
とおくこととする。

数式(16)から、数式(12)の音圧Ｐ_Ｌ ^（ｉ）とＰ_Ｒ ^（ｉ）は、
Ｐ_Ｌ ^（ｉ）＝Ｐ_Ｓ ^（ｉ）＋Ｐ_Ｎ ^（ｉ）、
Ｐ_Ｒ ^（ｉ）＝［α^（ｉ）］^２Ｐ_Ｓ ^（ｉ）＋Ｐ_Ｎ ^（ｉ） (18)
と表される。ここで、Ｐ_Ｓ ^（ｉ）、Ｐ_Ｎ ^（ｉ）はｉ番目の小帯域におけるそれぞれ相関信号、無相関信号の電力であり、

と表される。ここで、左右の無相関信号の音圧は等しいと仮定している。

また、数式(10)〜(12)より、数式(9)は、

と表すことができる。ただし、この算出においてはＳ（ｋ）、Ｎ_Ｌ（ｋ）、Ｎ_Ｒ（ｋ）が互いに直交し、かけ合わされたときの電力は０と仮定している。

数式(18)と数式(20)を解くことにより、次の式が得られる。

これらの値を用いて、各小帯域における無相関信号を推定する。ｉ番目の小帯域における左チャネルの無相関信号Ｎ_Ｌ ^（ｉ）（ｋ）に対する推定値est（Ｎ_Ｌ ^（ｉ）（ｋ））を、媒介変数μ_１、μ_２を用いて、
est（Ｎ_Ｌ ^（ｉ）（ｋ））＝μ_１Ｘ_Ｌ ^（ｉ）（ｋ）＋μ_２Ｘ_Ｒ ^（ｉ）（ｋ） (23)
とおくと、推定誤差εは、
ε＝est（Ｎ_Ｌ ^（ｉ）（ｋ））−Ｎ_Ｌ ^（ｉ）（ｋ） (24)
と表される。ここで、est（Ａ）はＡの推定値を表すものとする。そして二乗誤差ε^２が最少になるとき、εとＸ_Ｌ ^（ｉ）（ｋ）、Ｘ_Ｒ ^（ｉ）（ｋ）はそれぞれ直交するという性質を利用すると、
Ｅ［ε・Ｘ_Ｌ ^（ｉ）（ｋ）］＝０ 、 Ｅ［ε・Ｘ_Ｒ ^（ｉ）（ｋ）］＝０ (25)
という関係が成り立つ。数式(16)、(19)、(21)〜(24)を利用すると、数式(25)から次の連立方程式が導出できる。
（μ_１＋μ_２α^（ｉ））Ｐ_Ｓ ^（ｉ）＋（μ_１−１）Ｐ_Ｎ ^（ｉ）＝０
α^（ｉ）（μ_１＋μ_２α^（ｉ））Ｐ_Ｓ ^（ｉ）＋μ_２Ｐ_Ｎ ^（ｉ）＝０
(26)

この数式(26)を解くことによって、各媒介変数が次のように求まる。

さらに、ｉ番目の小帯域における右チャネルの無相関信号Ｎ_Ｒ ^（ｉ）（ｋ）に対する推定値est（Ｎ_Ｒ ^（ｉ）（ｋ））も、媒介変数μ_３、μ_４を用いて、
est（Ｎ_Ｒ ^（ｉ）（ｋ））＝μ_３Ｘ_Ｌ ^（ｉ）（ｋ）＋μ_４Ｘ_Ｒ ^（ｉ）（ｋ） (28)
とおくことができ、媒介変数μ_３、μ_４は、媒介変数μ_１、μ_２と同様にして次のように求まる。

ここで、このようにして求まる推定値est（Ｎ_Ｌ ^（ｉ）（ｋ））、est（Ｎ_Ｒ ^（ｉ）（ｋ））について、電力Ｐ_est（Ｎ） ^（ｉ）が、数式(23)、(28)の両辺を二乗して求まる次の式
Ｐ_est（Ｎ） ^（ｉ）＝（μ_１＋α^（ｉ）μ_２）^２Ｐ_Ｓ ^（ｉ）＋（μ_１ ^２＋μ_２ ^２）Ｐ_Ｎ ^（ｉ）
＝（μ_３＋α^（ｉ）μ_４）^２Ｐ_Ｓ ^（ｉ）＋（μ_３ ^２＋μ_４ ^２）Ｐ_Ｎ ^（ｉ） (30)
を満たす必要があるため、これらの式から推定値を次式のようにスケーリングする。なお、est′（Ａ）はＡの推定値をスケーリングしたものを表す。

以上のように、信号分離抽出部２３は、上記変換係数として、数式(27)、(29)で示した各媒介変数μ_１〜μ_４及び数式(31)、(32)で示したスケーリングの係数で構成される変換係数を用いて、演算（数式(23)、(28)）により推定することで、右チャネルの無相関信号、左チャネルの無相関信号を分離し、出力する。出力について具体的に説明すると、信号分離抽出部２３は、左チャネルより分離された無相関信号est′（Ｎ_Ｌ ^（ｉ）（ｋ））を左チャネル用のゲイン調整部２５ａに出力し、右チャネルより分離された無相関信号est′（Ｎ_Ｒ ^（ｉ）（ｋ））を右チャネル用のゲイン調整部２５ｂに出力する。

ゲイン調整部２５ａ，２５ｂにおける増減の処理は、デフォルト値に基づく増減処理であってもよいが、ユーザインタフェースによるユーザ操作に基づいて設定したパラメータを用いた処理と同様であり、後述するユーザ操作に基づいた具体例を援用すれば理解できるため、デフォルト値に基づく増減処理についての説明は省略する。

以下、デフォルト値の代わりに、より好ましい例として、無相関信号が増圧または減圧すべき信号であるかどうかを、ユーザが入力した値に基づいて判断する場合を挙げて説明する。

まず、図１におけるユーザインタフェースとパラメータ制御部１７について、図４を参照しながら詳細に説明する。図４は、図１のユーザインタフェース制御部１８により表示デバイス１９ａに表示させるグラフィカルユーザインタフェース（ＧＵＩ）画面の一例を示す図である。以下に説明するユーザインタフェースは、表示デバイス１９ａ、入力デバイス１９ｂ、及びユーザインタフェース制御部１８でなり、以下に説明するようなユーザインターフェースの各種処理は、ユーザインタフェース制御部１８が表示デバイス１９ａ及び／または入力デバイス１９ｂを制御することで施される。

図４で例示するＧＵＩ画面４０は、ユーザインタフェース制御部１８が、表示デバイス１９ａに表示する画面の一例を示したものである。ＧＵＩ画面４０は、例えばユーザが設定メニューから音質調整の項目を、リモコンなどを操作することによって選択した際に表示されるものとする。ＧＵＩ画面４０は、高音を調整するためのスライダ４１、低音を調整するためのスライダ４２、左右のバランスを調整するためのスライダ４３、及び背景効果音の増減を調整するためのスライダ４４を含んでいる。各スライダ４１，４２，４３，４４にはそれぞれ調整用のツマミ４１ａ，４２ａ，４３ａ，４４ａが移動可能に表示されている。

ユーザはリモコンなどの上下キーを操作することによって、背景効果音のスライダ４４をハイライト表示させ、その際に同じくリモコンなどの左右キーを操作することのよって、ツマミ４４ａを左右に移動させる。この例ではその可変段階を−１５から１５までの３１段階としており、背景効果音の下には現在設定されている数字が表示される。その数字を上げるほど、すなわちツマミ４４ａを右側に移動するほど上述の無相関信号成分を増加させる。逆にその数字を下げるほど、すなわちツマミ４４ｂを左側に移動するほど無相関信号成分を減少させる。

このように、ユーザインタフェースは、無相関信号増減部における減少の度合いを負の値で表現し、増加の度合いを正の値で表現することが好ましい。ＧＵＩ画面４０では、スライダ４１〜４３も含めた例を示したが、当然これらのスライダ４１〜４３がなくてもよい。また、ＧＵＩ画面４０のスライダ４４において、左右両端の数字は単に調整ステップの段階数を表しているものであるが、デシベル表示などを用いてもよい。

このようにして入力されたツマミ４４ａの値を、音声信号処理部１３（２０）で使用する、無相関信号の増減の程度を表すためのゲイン値に変換する。ツマミの値をｒとし、変換後のゲイン値をｒ′とすると、例えばツマミの上下を聴感上の音量の程度に比例させるために、次式を採用してもよい。ここで、κは自然数でここでは例えば１５である。

このようにして、ｇ_Ｎを求める。パラメータ制御部１７は以上のように、音声信号処理部１３に必要なパラメータを算出し、音声信号処理部１３に出力する。

音声信号処理部１３では、左右チャネルの信号を生成する。数式(33)で求めたｇ_Ｎを無相関信号の割り当てゲインとし、次式のようにｉ番目の小帯域における出力音声信号Ｙ_Ｌ ^（ｉ）（ｋ）、Ｙ_Ｒ ^（ｉ）（ｋ）を求める。
Ｙ_Ｌ ^（ｉ）（ｋ）＝Ｘ_Ｌ ^（ｉ）（ｋ）＋ｇ_ＮＮ_Ｌ ^（ｉ）（ｋ）
Ｙ_Ｒ ^（ｉ）（ｋ）＝Ｘ_Ｒ ^（ｉ）（ｋ）＋ｇ_ＮＮ_Ｒ ^（ｉ）（ｋ） (34)

これから分かるように、ゲインｇ_Ｎの値に応じて左右チャネルの音声信号に対し、無相関信号が増減される。数式(33)を用いる場合、ゲインｇ_Ｎの値の範囲は−１≦ｇ_Ｎ≦１となるので、数式(16)から無相関信号成分の項がそれぞれ０≦ｇ_ＮＮ_Ｌ ^（ｉ）（ｋ）≦２Ｎ_Ｌ ^（ｉ）（ｋ）、０≦ｇ_ＮＮ_Ｒ ^（ｉ）（ｋ）≦２Ｎ_Ｒ ^（ｉ）（ｋ）の範囲をとる。すなわち、ツマミ５４ａの値によって、無相関信号が０まで減圧されるところから、２倍に増圧されるところまで変化させることが可能となる。なお、数式(34)では、Ｘ_Ｌ ^（ｉ）（ｋ）にＮ_Ｌ ^（ｉ）（ｋ）が、Ｘ_Ｒ ^（ｉ）（ｋ）にＮ_Ｒ ^（ｉ）（ｋ）がそれぞれ値として含まれているため、０〜２倍になる。

以上のようにして、ｉ番目の小帯域における、左右チャネルの無相関信号の増圧処理または抑圧処理後の再割り当てが行われる。これを全ての小帯域について行う。この再割り当ては、左チャネルについて、ゲイン調整部２５ａによりゲインとスケーリング係数が乗算されることで割り当てられた信号と元の左チャネルの信号である離散フーリエ変換部２２からの出力信号とを合成部２６で合成し、右チャネルについて、ゲイン調整部２５ｂによりゲインとスケーリング係数が乗算されることで割り当てられた信号と元の右チャネルの信号である離散フーリエ変換部２２からの出力信号とを合成部２６で合成することでなされる。その結果、両チャネルそれぞれについて小帯域ごとの音声信号を加算することによって、左右チャネルに対する周波数領域の出力音声信号Ｙ_Ｌ（ｋ）、Ｙ_Ｒ（ｋ）が求まり、合成部２６はそれらの信号を離散フーリエ逆変換部２７に出力する。

そして、離散フーリエ逆変換部２７において、各チャネルを離散フーリエ逆変換することによって、時間領域の出力音声信号ｙ′_Ｌ（ｍ）、ｙ′_Ｒ（ｍ）が求まる。ここで、ＤＦＴ^−１は離散フーリエ逆変換（逆離散フーリエ変換）を表す。
ｙ′_Ｌ（ｍ）＝ＤＦＴ^−１（Ｙ_Ｌ（ｋ））
ｙ′_Ｒ（ｍ）＝ＤＦＴ^−１（Ｙ_Ｒ（ｋ）） (35)
ここで、数式(3)で説明したように、離散フーリエ変換した信号は、窓関数乗算後の信号であったため、逆変換して得られた信号ｙ′_Ｌ（ｍ）、ｙ′_Ｒ（ｍ）も窓関数が乗算された状態となっている。窓関数は数式(1)に示すような関数であり、読み込みは半セグメント長ずつずらしながら行ったため、前述した通り、１つ前に処理したセグメントの先頭から半セグメント長ずつずらしながら出力バッファに加算していくことにより変換後のデータを得る。

次に、後処理部２８について説明する。後処理部２８はノイズ除去処理を行う。図５を参照して、ノイズ除去の対象となるノイズについて説明する。図５は、図２の後処理部２８に入力される音声信号の波形の一部を拡大した図である。図５に示す音声信号５０は、中央付近５１にあるように不連続点が生じている。このような不連続点は、信号分離抽出部２３を経ることにより後処理部２８に入力されるデータに多数含まれてしまうため、それらが再生時に耳障りなノイズとして知覚されてしまうことになる。このような不連続点は、この音声信号処理方式が直流成分を無視して処理するため、すなわち直流成分の線スペクトルを考慮しないために生じる。

図６はそれを模式的に示した波形のグラフである。より詳細には、図６は、左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を説明するための模式図である。図６に示すグラフ６０において、横軸は時間を表しており、例えば（Ｍ−２）^（ｌ）という記号は、ｌ番目のセグメントのＭ−２番目の標本点であることを示している。グラフ６０の縦軸は、それらの標本点に対する出力信号の値である。このグラフ６０から分かるように、ｌ番目のセグメントの最後から（ｌ＋１）番目のセグメントの最初にかけての部分で不連続点が生じてしまう。

この問題に対し、ノイズ除去処理を行う。この処理は、波形の不連続点をなくすことによってノイズを除去できる方法であればどのようなものでもよいが、ここでは図７及び図８を参照して、図６で説明したような問題を解決するためのこのような処理の一例について具体的に説明する。図７は、図２の後処理部２８で施される不連続点除去処理の一例を説明するための模式図で、左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を除去する方法を説明するための模式図である。また、図８は、図５の音声信号に対し、図７の不連続点除去処理を施した結果を示す図である。

後処理部２８で施される不連続点除去処理の例では、図７のグラフ７０で図６のグラフ６０に対する除去例を示すように、ｌ番目のセグメントの最後の波形の微分値と（ｌ＋１）番目のセグメントの先頭の微分値が一致するようにする。具体的には後処理部２８が、ｌ番目のセグメントの最後の２点による傾きが維持されるような（ｌ＋１）番目のセグメントの先頭の値となるよう、（ｌ＋１）番目のセグメントの波形に直流成分（バイアス）を加える。その結果、処理後の出力音声信号ｙ″_ｊ（ｍ）は、
ｙ″_ｊ（ｍ）＝ｙ′_ｊ（ｍ）＋Ｂ (36)
となる。Ｂはバイアスを表す定数であり、１回前の出力音声信号と今回の処理の出力音声信号が出力バッファで加算された後、図７のグラフ７０のように波形が連続するように決定される。

このように、後処理部２８は、処理セグメントの境界において波形の微分値を維持させるように離散フーリエ逆変換後の音声信号に直流成分を加算することで、不連続点を除去することが好ましい。なお、この例ではマイナスのバイアスをかけているが、当然、上記微分値を一致させるためにはプラスのバイアスをかける場合もある。また、後処理部２８で処理対象となる離散フーリエ逆変換後の音声信号は、各数式で例示したように、無相関信号に対して、時間領域あるいは周波数領域においてスケーリング処理を行い、そのスケーリング処理後の音声信号とする。つまり、無相関信号に対しスケーリング処理を施し、スケーリング処理後の無相関信号に対し、不連続点の除去を行う。

また、図７で説明した不連続点除去処理のみでは、バイアス成分が蓄積してしまい、波形の振幅がオーバフローしてしまうことがある。
したがって、次式のように、加算するバイアス成分（直流成分）の振幅の大きさを時間的に減少させることにより収束させることが好ましい。なお、「時間的に減少させる」とは、加算時点からの経過時間、例えば処理セグメント毎の開始点や不連続点の開始点からの経過時間に比例して減少させることを意味する。
ｙ″_ｊ（ｍ）＝ｙ′_ｊ（ｍ）＋Ｂ×（（Ｍ−ｍσ）／Ｍ） (37)
ただし、σはその減少の程度を調整するパラメータであり、例えば０.５などとする。なお、減少のためにはＢ，σはいずれも正とする。さらに、加算用に求めたバイアスの値の絶対値がある一定以上となった場合には、その値に応じてσを動的に増減させるなどしてもよい。増減させるタイミングは次の処理セグメントでよい。これに限らず、減少させるための比例定数に相当するσを、バイアス値の絶対値（直流成分の振幅の大きさ）に応じて変更する（変化させる）ようにしておけば、フィードバック機能が働き、同様の効果が得られる。ただ、これらの方法では音声波形の振幅がオーバフローしないことを保障するものではない。

よって、例えばバイアス値がある一定（所定値）以上の値になった場合には、数式(37)の第二項のバイアス項を加算しないようにする処理を安全弁の機能として加えてもよい。つまり、後処理部２８は、加算するために求めた直流成分の振幅が所定値未満である場合のみ、直流成分の加算を実行する（不連続点の除去を実行する）ことが好ましい。この方法を採用することにより、バイアス成分が蓄積しないようになる。

また、例えば音声の子音部分など、音声信号がホワイトノイズに近いような場合、音声信号波形の変化が激しく元の波形が既に不連続に近いような状態になっているものがある。このような音声信号に上述した不連続点除去処理を適用すると、逆に波形を歪ませてしまう場合もある。つまり、元の波形が不連続に近いような状態の音声信号に対し、上述した不連続点除去処理を適用すると、この処理がそのような元々不連続の状態に近い波形を無理矢理連続にしようとするため、逆に波形を歪ませてしまう可能性がある。

この問題を解消するために、後処理部２８では次に示す方法で不連続点除去処理（ノイズ除去処理）を行うことが好ましい。それは、音声の子音部分など信号がホワイトノイズに近いような場合、入力音声信号の波形が所定時間内（例えば処理セグメント内やその半分内）で０を交差する回数が、その他の部分に比べて極端に増加することを利用する。なお、０をどこに採るようにするかは任意に決めておけば済む。よって、出力音声信号（少なくとも離散フーリエ逆変換後の音声信号）が半セグメント長の中で０を交差する回数をカウントし、それが一定の値（所定回数）以上である場合には、その次のセグメントを所定回数以上存在する箇所とみなし、その次のセグメント処理において、数式(36)や数式(37)における右辺第二項のバイアス項を加算しないこととする。つまり、それ以外の箇所でのみ不連続点除去処理を実行する。なお、カウントは、セグメント境界とは関係なく一定時間の音声波形について実行してもよいし、複数のセグメント処理分の音声波形について実行してもよく、いずれの場合にもそのカウント結果から次のセグメント処理でバイアス項を加算するか否かを決めればよい。

図５の音声信号５０における不連続点の箇所（中央付近５１）は、上述したようなノイズ除去処理により、図８の音声信号８０で示す通り、不連続点が解消され連続になっていることが分かる。このように不連続点を無くし、ノイズを除去できる。

また、放送コンテンツや音楽コンテンツにおいて、本発明を用いて抽出される無相関信号は通常、残響音や背景音成分であることが多い。この性質を利用して、上述のように無相関信号の抽出レベルを相対的に相関信号の抽出レベルよりも上げることによって、例えばスポーツ番組の観客の声援を強調し、臨場感を向上させて番組を視聴することが可能となる。この調整方法を、プリセット機能の１つとしてテレビに搭載することにより、テレビに臨場感向上機能を付加することができる。そして、リモコン操作によってツマミを水平方向にずらすと、その位置に応じて無相関信号のレベルを増圧または減圧するように制御するなどすればよい。

以上説明したように、本発明によれば、ステレオ記録された音声または楽音コンテンツなどに含まれる２チャネル分の音声信号から、臨場感を高める音声信号成分を分離して減圧または増圧することが可能になる。そして、無相関信号を増加及び／または減少させることにより、放送コンテンツや音楽コンテンツの臨場感をユーザの好みに応じて向上させることができる。

以上、本発明に係る音声信号処理装置における処理について説明したが、次に、上述した各例にさらに適用可能な応用例について説明する。
上述した各例においては、このようにして本発明により増圧または抑圧が施された音声信号を左右のスピーカだけで再生させることを前提に説明したが、マルチチャネル再生方式より広いスイートスポットが得られる波面合成再生方式で再生することが、増圧または抑圧の効果が狭い聴取エリアに限られず広がることから好ましい。なお、波面合成再生方式とは、直線状または面状に並べたスピーカ群によって音の波面を合成する再生方式であり、例えばWave Field Synthesis（ＷＦＳ）方式は直線状に並べたスピーカ群（スピーカアレイ）を用いる現実的な実装方法の１つとして近年盛んに研究されている。ＷＦＳ方式によって提供される音響空間内においてスピーカアレイと対面して音を聴いている受聴者は、実際にはスピーカアレイから放射される音が、スピーカアレイの後方に仮想的に存在する音源（仮想音源）から放射されているかのような感覚を受ける。したがって、このような方式では、広い聴取エリアで本発明に係る増圧または抑圧の効果を享受でき、例えば横に並んだ複数の聴取者が同時に増圧または抑圧の効果を享受できる。本発明に係る音声信号処理は、マルチチャネル再生方式での再生であっても波面合成再生方式での再生であっても基本的に同じである。

上述した各例では、本発明に係る音声信号処理について、入力音声信号が２ｃｈの音声信号である場合、つまりステレオで記録されているコンテンツについてのみ説明したが、より多くのチャネルをもつマルチチャネルの音声信号であっても適用可能である。ステレオ以外に普及している方式としては、５.１ｃｈ、７.１ｃｈ、９.１ｃｈ、２２.２ｃｈなどがある。これらの方式も全て複数のスピーカによる組み合わせで合成音像を作る方式であるため、本発明に係る無相関信号の増圧処理または抑圧処理が適用できる。

具体的にマルチチャネルの音声信号への適用について説明すると、着目するチャネルを２つ選び、その２つに対して上述したような増圧処理または抑圧処理を行う。これらの方式では、前方の左チャネルと右チャネル間に相関の高い信号が割り当てられることが多いため、その相関を強調するまたは目立たなくするために前方の左チャネルと右チャネルに本発明に係る抑圧処理または増圧処理を適用して出力し、前方センターチャネルはそのまま出力（ここでもゲイン調整してもよい）すればよい。

また、例えば５.１ｃｈの入力音声信号である場合には、前方左右の２チャネルのみから音源抽出を行って無相関信号の増減を行って出力し、後方左右の２チャンネルのみから音源抽出を行って無相関信号の増減を行って出力し、センターチャネルについてはそのまま出力することもできる。

また、上述した各例においては、無相関信号の分離について離散フーリエ空間で行う例を挙げたが、これに限ったものではなく、本発明では分離が可能であればよい。本発明の主たる特徴は無相関信号を抽出してその無相関信号について増加または減少させることで増圧または抑圧することにある。

次に、本発明に係る音声信号処理装置の実装について説明する。
本発明に係る音声信号処理装置は、例えばパーソナルコンピュータ（ＰＣ）や光ディスク再生装置、音楽再生機能付きの携帯情報端末、テレビ装置、プロジェクタ、あるいは小型の音声処理専用装置など、音声データ再生装置や音声データ再生装置付きの装置に利用できる。ＰＣでは入力デバイスはマウスなどとなるが、携帯情報端末ではボタン操作やタッチパッドなどとなる。また、光ディスク再生装置や小型の処理専用装置では、本体に設置してあるボタン操作や、あるいはＧＵＩ画面をモニタ装置やテレビ装置などの表示デバイスに出力させるとともにリモートコントローラなどによって操作してもよい。また、この音声データ再生装置は、音声のみを取り扱う装置として構成することができるだけでなく、テレビ装置やプロジェクタ等で例示したように、映像の伴う装置に組み込むこともできる。

また、例えば図２で例示した音声信号処理部２０における各構成要素など、本発明に係る音声信号処理装置の各構成要素やその装置を備えた音声データ再生装置の各構成要素は、例えばマイクロプロセッサ（またはＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部または全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路／ＩＣチップセットとして搭載することも可能である。

また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、音声信号処理装置となる汎用コンピュータ等の装置に供給し、その装置内のマイクロプロセッサまたはＤＳＰによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体（外部記録媒体や内部記憶装置）であっても、そのコードを制御側が読み出して実行することで、本発明を構成することができる。外部記録媒体としては、例えばＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭなどの光ディスクやメモリカード等の不揮発性の半導体メモリなど、様々なものが挙げられる。内部記憶装置としては、ハードディスクや半導体メモリなど様々なものが挙げられる。また、プログラムコードはインターネットからダウンロードして実行することや、放送波から受信して実行することもできる。

以上、本発明に係る音声信号処理装置について説明したが、処理の流れを説明したように、本発明は、２つのチャネルの無相関信号を増減させる音声信号処理方法としての形態も採り得る。この音声信号処理方法は、次の抽出ステップ、増減ステップ、及び加算ステップを有する。抽出ステップは、信号抽出部が、２つのチャネルの入力音声信号から信号間の無相関信号を抽出するステップである。増減ステップは、無相関信号増減部が、抽出ステップで抽出された無相関信号を増加または減少させるステップである。加算ステップは、音声信号加算部が、増減ステップで増加または減少させた信号を、入力音声信号に加算するステップである。その他の応用例については、音声信号処理装置について説明した通りであり、その説明を省略する。

なお、上記プログラムコード自体は、換言すると、この音声信号処理方法をコンピュータに実行させるためのプログラムである。すなわち、このプログラムは、コンピュータに、２つのチャネルの入力音声信号から信号間の無相関信号を抽出する抽出ステップと、抽出ステップで抽出された無相関信号を増加または減少させる増減ステップと、増減ステップで増加または減少させた信号を、入力音声信号に加算する加算ステップと、を実行させるためのプログラムである。その他の応用例については、音声信号処理装置について説明した通りであり、その説明を省略する。

１０…音声データ再生装置、１１…デコーダ、１２…音声信号抽出部、１３，２０…音声信号処理部、１４…Ｄ／Ａコンバータ、１５…増幅器、１６…スピーカ、１７…パラメータ制御部、１８…ユーザインタフェース制御部、１９ａ…表示デバイス、１９ｂ…入力デバイス、２１…前処理部、２２…離散フーリエ変換部、２３…信号分離抽出部、２５ａ，２５ｂ…ゲイン調整部、２６…合成部、２７…離散フーリエ逆変換部、２８…後処理部。

上述したような課題を解決するために、本発明の第１の技術手段は、２つのチャネルの無相関信号を増減させる音声信号処理装置であって、２つのチャネルの入力音声信号から信号間の相関信号を抽出し、一方のチャネルの入力音声信号から前記相関信号を差し引くことで一方のチャネルの無相関信号を抽出し、他方のチャネルの入力音声信号から前記相関信号に２つのチャネルの音圧バランスの程度を表す正の実数を乗算したものを差し引くことで他方のチャネルの無相関信号を抽出する信号抽出部と、該信号抽出部で抽出された各チャネルの無相関信号を増加または減少させる無相関信号増減部と、チャネル毎に、前記無相関信号増減部で増加または減少させた信号を前記入力音声信号に加算する音声信号加算部とを備えたことを特徴としたものである。

第４の技術手段は、２つのチャネルの無相関信号を増減させる音声信号処理方法であって、信号抽出部が、２つのチャネルの入力音声信号から信号間の相関信号を抽出し、一方のチャネルの入力音声信号から前記相関信号を差し引くことで一方のチャネルの無相関信号を抽出し、他方のチャネルの入力音声信号から前記相関信号に２つのチャネルの音圧バランスの程度を表す正の実数を乗算したものを差し引くことで他方のチャネルの無相関信号を抽出する抽出ステップと、無相関信号増減部が、前記抽出ステップで抽出された各チャネルの無相関信号を増加または減少させる増減ステップと、音声信号加算部が、チャネル毎に、前記増減ステップで増加または減少させた信号を前記入力音声信号に加算する加算ステップと、を有することを特徴としたものである。

第５の技術手段は、コンピュータに、２つのチャネルの入力音声信号から信号間の相関信号を抽出し、一方のチャネルの入力音声信号から前記相関信号を差し引くことで一方のチャネルの無相関信号を抽出し、他方のチャネルの入力音声信号から前記相関信号に２つのチャネルの音圧バランスの程度を表す正の実数を乗算したものを差し引くことで他方のチャネルの無相関信号を抽出する抽出ステップと、該抽出ステップで抽出された各チャネルの無相関信号を増加または減少させる増減ステップと、チャネル毎に、前記増減ステップで増加または減少させた信号を前記入力音声信号に加算する加算ステップと、を実行させるためのプログラムである。
第６の技術手段は、第５の技術手段におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。

ここで、左右チャネルそれぞれの信号は、無相関信号と相関信号から構成され、相関信号については左右から同じ信号が出力されるものとするモデルを採用する。そして、左右から出力される相関信号によって合成される音像は、その相関信号の左右それぞれの音圧のバランスによって方向が決定されるものとする。そのモデルに従うと、入力信号ｘ_Ｌ（ｎ）、ｘ_Ｒ（ｎ）は、
ｘ_Ｌ（ｍ）＝ ｓ（ｍ）＋ｎ_Ｌ（ｍ）、
ｘ_Ｒ（ｍ）＝αｓ（ｍ）＋ｎ_Ｒ（ｍ） (13)
と表される。ここで、ｓ（ｍ）は左右の相関信号、ｎ_Ｌ（ｍ）は左チャネルの音声信号から相関信号ｓ（ｍ）を減算したものであって（左チャネルの）無相関信号として定義できるもの、ｎ_Ｒ（ｍ）は右チャネルの音声信号から相関信号ｓ（ｍ）にαを乗算したものを減算したものであって（右チャネルの）無相関信号として定義できるものである。また、αは相関信号の左右音圧バランスの程度を表す正の実数である。

このようにして入力されたツマミ４４ａの値を、音声信号処理部１３（２０）で使用する、無相関信号の増減の程度を表すためのゲイン値に変換する。ツマミの値をｒとし、変換後のゲイン値をｇ _Ｎ とすると、例えばツマミの上下を聴感上の音量の程度に比例させるために、次式を採用してもよい。ここで、κは自然数でここでは例えば１５である。

Claims (6)

1. ２つのチャネルの無相関信号を増減させる音声信号処理装置であって、２つのチャネルの入力音声信号から信号間の無相関信号を抽出する信号抽出部と、該信号抽出部で抽出された無相関信号を増加または減少させる無相関信号増減部と、該無相関信号増減部で増加または減少させた信号を、前記入力音声信号に加算する音声信号加算部とを備えたことを特徴とする音声信号処理装置。
2. 前記無相関信号増減部における増加または減少の度合いを変更するユーザ操作を受け付けるためのユーザインタフェースと、該ユーザインタフェースで受け付けられたユーザ操作に従って、前記増加または減少の度合いを示すパラメータを変更するパラメータ制御部とをさらに備えたことを特徴とする請求項１に記載の音声信号処理装置。
3. 前記ユーザインタフェースは、前記無相関信号増減部における減少の度合いを負の値で表現し、増加の度合いを正の値で表現することを特徴とする請求項２に記載の音声信号処理装置。
4. ２つのチャネルの無相関信号を増減させる音声信号処理方法であって、
   信号抽出部が、２つのチャネルの入力音声信号から信号間の無相関信号を抽出する抽出ステップと、
   無相関信号増減部が、前記抽出ステップで抽出された無相関信号を増加または減少させる増減ステップと、
   音声信号加算部が、前記増減ステップで増加または減少させた信号を、前記入力音声信号に加算する加算ステップと、
   を有することを特徴とする音声信号処理方法。
5. コンピュータに、２つのチャネルの入力音声信号から信号間の無相関信号を抽出する抽出ステップと、該抽出ステップで抽出された無相関信号を増加または減少させる増減ステップと、該増減ステップで増加または減少させた信号を、前記入力音声信号に加算する加算ステップと、を実行させるためのプログラム。
6. 請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images