JP2013242498A - 音声信号変換装置、方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】マルチチャネル方式用の音声信号を、不連続点に起因するノイズを発生させることなく変換可能な音声信号変換装置を提供する。
【解決手段】音声信号変換装置（音声信号処理部７３で例示）は、２つのチャネルの入力音声信号のそれぞれについて、処理セグメントの長さの１／４ずつずらしながら読み出し、読み出した処理セグメントの音声信号に対し、Ｈａｎｎ窓関数を乗算した後、離散フーリエ変換を施す変換部と、離散フーリエ変換後の２つのチャネルの音声信号について直流成分を無視して相関信号を抽出する抽出部と、抽出部で抽出された相関信号またはそれから生成された音声信号に対して離散フーリエ逆変換を施す逆変換部と、離散フーリエ逆変換後の音声信号のうち処理セグメントの音声信号に対し、再びＨａｎｎ窓関数を乗算し、処理セグメントの長さの１／４だけずらして、前の処理セグメントの音声信号に加算する窓関数乗算部８３とを備える。
【選択図】図８

Description

本発明は、マルチチャネル再生方式用の音声信号を変換するための音声信号変換装置、方法、プログラム、及び記録媒体に関する。

従来から提案されている音響再生方式には、ステレオ（２ｃｈ）方式、５.１ｃｈサラウンド方式（ＩＴＵ−Ｒ ＢＳ.７７５−１）などがあり広く民生用として普及している。２ｃｈ方式とは、図１で模式的に図示したように、左スピーカ１１Ｌと右スピーカ１１Ｒから異なる音声データを発生させる方式である。５.１ｃｈサラウンド方式とは、図２で模式的に図示したように、左フロントスピーカ２１Ｌ、右フロントスピーカ２１Ｒ、それらの間に配置するセンタースピーカ２２Ｃ、左リアスピーカ２３Ｌ、右リアスピーカ２３Ｒ、及び図示しない低音域（一般的に２０Ｈｚ〜１００Ｈｚ）専用のサブウーファーに対し、それぞれ異なる音声データを入力して出力する方式である。

また、２ｃｈ方式や５.１ｃｈサラウンド方式の他にも、７.１ｃｈ、９.１ｃｈ、２２.２ｃｈなどさまざまな音響再生方式が提案されている。上述した方式はいずれも、聴取者（受聴者）を中心とする円周上または球面上に各スピーカを配置し、理想的には各スピーカから等距離にある聴取位置（受聴位置）、いわゆるスイートスポットで聴くことが好ましいとされている。例えば２ｃｈ方式ではスイートスポット１２で、５.１ｃｈサラウンド方式ではスイートスポット２４で聴くことが好ましい。スイートスポットで聴くと、音圧のバランスによる合成音像が製作者の意図するところに定位する。逆に、スイートスポット以外の位置で聴くと、一般的に、音像・音質が劣化する。以下、これらの方式を総称してマルチチャネル再生方式と呼ぶ。

一方、マルチチャネル再生方式とは別に、音源オブジェクト指向再生方式もある。この方式は、全ての音が、いずれかの音源オブジェクトが発する音であるとする方式であり、各音源オブジェクト（以下、「仮想音源」と呼ぶ。）が自身の位置情報と音声信号とを含んでいる。音楽コンテンツを例にとると、各仮想音源は、それぞれの楽器の音と楽器が配置されている位置情報とを含む。
そして、音源オブジェクト指向再生方式は、通常、直線状あるいは面状に並べたスピーカ群によって音の波面を合成する再生方式（すなわち波面合成再生方式）により再生される。このような波面合成再生方式のうち、非特許文献１に記載のＷａｖｅ Ｆｉｅｌｄ Ｓｙｎｔｈｅｓｉｓ（ＷＦＳ）方式は、直線状に並べたスピーカ群（以下、スピーカアレイという）を用いる現実的な実装方法の１つとして近年盛んに研究されている。

このような波面合成再生方式は、上述のマルチチャネル再生方式とは異なり、図３で模式的に図示したように、並べられたスピーカ群３１の前のどの位置で聴いている受聴者に対しても、良好な音像と音質を両方同時に提示することができるという特長を持つ。つまり、波面合成再生方式でのスイートスポット３２は図示するように幅広くなっている。
また、ＷＦＳ方式によって提供される音響空間内においてスピーカアレイと対面して音を聴いている受聴者は、実際にはスピーカアレイから放射される音が、スピーカアレイの後方に仮想的に存在する音源（仮想音源）から放射されているかのような感覚を受ける。

この波面合成再生方式では、仮想音源を表す入力信号を必要とする。そして、一般的に、１つの仮想音源には１チャネル分の音声信号とその仮想音源の位置情報が含まれることを必要とする。上述の音楽コンテンツを例にとると、例えば楽器毎に録音された音声信号とその楽器の位置情報ということになる。ただし、仮想音源それぞれの音声信号は必ずしも楽器毎である必要はないが、コンテンツ製作者が意図するそれぞれの音の到来方向と大きさが、仮想音源という概念を用いて表現されている必要がある。

ここで、前述のマルチチャネル方式の中でも最も広く普及している方式はステレオ（２ｃｈ）方式であるため、ステレオ方式の音楽コンテンツについて考察する。図４に示すように２つのスピーカ４１Ｌ，４１Ｒを用いて、ステレオ方式の音楽コンテンツにおけるＬ（左）チャネルとＲ（右）チャネルの音声信号を、それぞれ左に設置したスピーカ４１Ｌ、右に設置したスピーカ４１Ｒで再生する。このような再生を行うと、図４に示すように、各スピーカ４１Ｌ，４１Ｒから等距離の地点、すなわちスイートスポット４３で聴く場合にのみ、ボーカルの声とベースの音が真ん中の位置４２ｂから聞こえ、ピアノの音が左側の位置４２ａ、ドラムの音が右側の位置４２ｃなど、製作者が意図したように音像が定位して聞こえる。
このようなコンテンツを波面合成再生方式で再生し、波面合成再生方式の特長である、どの位置の受聴者に対してもコンテンツ製作者の意図通りの音像定位を提供することを考える。そのためには、図５で示すスイートスポット５３のように、どの視聴位置からでも図４のスイートスポット４３内で聴いたときの音像が知覚できなければならない。つまり、直線状あるいは面状に並べられたスピーカ群５１によって、広いスイートスポット５３で、ボーカルの声とベースの音が真ん中の位置５２ｂから聞こえ、ピアノの音が左側の位置５２ａ、ドラムの音が右側の位置５２ｃなど、製作者が意図したように音像が定位して聞こえなければならない。

その課題に対し、例えば、図６のようにＬチャネルの音、Ｒチャネルの音をそれぞれ仮想音源６２ａ，６２ｂとして配置した場合を考える。この場合、Ｌ／Ｒチャネルそれぞれが単体で１つの音源を表すのではなく２つのチャネルによって合成音像を生成するものであるから、それを波面合成再生方式で再生したとしても、やはりスイートスポット６３が生成されてしまい、スイートスポット６３の位置でしか、図４のような音像定位はしない。つまり、そのような音像定位を実現するには、２ｃｈのステレオデータから、何らかの手段によって音像毎の音声に分離し、各音声から仮想音源データを生成することが必要となる。

この課題に対し、特許文献１に記載の方法では、２ｃｈステレオデータを周波数帯域毎に信号のパワーの相関係数を基に相関信号と無相関信号とに分離し、相関信号については合成音像方向を推定し、それらの結果から仮想音源を生成し、その際に生じる波形の不連続点を除去する処理を行っている。

特許第４８１０６２１号公報

A. J. Berkhout，D. de Vries，and P. Vogel，"Acoustic control by wave field synthesis"，J. Acoust. Soc. Am. Volume 93(5)，アメリカ合衆国、Acoustical Society of America，May 1993，pp. 2764-2778

しかしながら、特許文献１に記載の方法では、人間の音声以外の信号に対しても、ゼロ交差回数を数えることによって子音部分であるか否かの判定処理を行い、子音部分以外に対して波形が連続するようにバイアス値を加えている。ここで、楽音信号などは、子音部分のようにホワイトノイズに近いような成分と、それ以外の成分が混ざり合っているのが普通である。また、喩え人間の音声であっても、濁音など、子音と母音の間のような特性を持つ部分も沢山ある。この方法では、そのような音声信号を、ゼロ交差回数だけで、バイアス値を加算するか否かの判定を行うため、当然、誤判定が生じ、その部分については生成した音声信号波形に不連続点が含まれ、ノイズとして知覚されてしまう。

本発明は、上述のような実状に鑑みてなされたものであり、その目的は、２ｃｈや５.１ｃｈ等のマルチチャネル方式用の音声信号を、不連続点に起因するノイズを発生させることなく変換することが可能な音声信号変換装置、方法、プログラム、及び記録媒体を提供することにある。

上述したような課題を解決するために、本発明の第１の技術手段は、マルチチャネルの入力音声信号を、スピーカ群によって再生させるための音声信号に変換する音声信号変換装置であって、２つのチャネルの入力音声信号のそれぞれについて、処理セグメントの長さの１／４ずつずらしながら読み出し、読み出した処理セグメントの音声信号に対し、Ｈａｎｎ窓関数を乗算した後、離散フーリエ変換を施す変換部と、該変換部で離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出する相関信号抽出部と、該相関信号抽出部で抽出された相関信号または該相関信号及び無相関信号に対して、もしくは前記相関信号から生成された音声信号に対して、もしくは前記相関信号及び前記無相関信号から生成された音声信号に対して、離散フーリエ逆変換を施す逆変換部と、該逆変換部で離散フーリエ逆変換後の音声信号のうち処理セグメントの音声信号に対し、再びＨａｎｎ窓関数を乗算し、処理セグメントの長さの１／４だけずらして、前の処理セグメントの音声信号に加算する窓関数乗算部と、を備えたことを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記窓関数乗算部で処理対象となる前記離散フーリエ逆変換後の音声信号は、前記相関信号または前記相関信号及び前記無相関信号に対して、時間領域あるいは周波数領域においてスケーリング処理が施された後の音声信号とすることを特徴としたものである。

第３の技術手段は、マルチチャネルの入力音声信号を、スピーカ群によって再生させるための音声信号に変換する音声信号変換方法であって、変換部が、２つのチャネルの入力音声信号のそれぞれについて、処理セグメントの長さの１／４ずつずらしながら読み出し、読み出した処理セグメントの音声信号に対し、Ｈａｎｎ窓関数を乗算した後、離散フーリエ変換を施す変換ステップと、相関信号抽出部が、前記変換ステップで離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出する抽出ステップと、逆変換部が、前記抽出ステップで抽出された相関信号または該相関信号及び無相関信号に対して、もしくは前記相関信号から生成された音声信号に対して、もしくは前記相関信号及び前記無相関信号から生成された音声信号に対して、離散フーリエ逆変換を施す逆変換ステップと、窓関数乗算部が、前記逆変換ステップで離散フーリエ逆変換後の音声信号のうち処理セグメントの音声信号に対し、再びＨａｎｎ窓関数を乗算し、処理セグメントの長さの１／４だけずらして、前の処理セグメントの音声信号に加算する窓関数乗算ステップと、を有することを特徴としたものである。

第４の技術手段は、コンピュータに、２つのチャネルの入力音声信号のそれぞれについて、処理セグメントの長さの１／４ずつずらしながら読み出し、読み出した処理セグメントの音声信号に対し、Ｈａｎｎ窓関数を乗算した後、離散フーリエ変換を施す変換ステップと、該変換ステップで離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出する抽出ステップと、該抽出ステップで抽出された相関信号または該相関信号及び無相関信号に対して、もしくは前記相関信号から生成された音声信号に対して、もしくは前記相関信号及び前記無相関信号から生成された音声信号に対して、離散フーリエ逆変換を施す逆変換ステップと、該逆変換ステップで離散フーリエ逆変換後の音声信号のうち処理セグメントの音声信号に対し、再びＨａｎｎ窓関数を乗算し、処理セグメントの長さの１／４だけずらして、前の処理セグメントの音声信号に加算する窓関数乗算ステップと、を実行させるためのプログラムである。

第５の技術手段は、第４の技術手段におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、２ｃｈや５.１ｃｈ等のマルチチャネル方式用の音声信号を、不連続点に起因するノイズを発生させることなく変換することが可能になる。

２ｃｈ方式を説明するための模式図である。 ５.１ｃｈサラウンド方式を説明するための模式図である。 波面合成再生方式を説明するための模式図である。 ボーカル、ベース、ピアノ、及びドラムの音がステレオ方式で記録された音楽コンテンツを、左右２つのスピーカを用いて再生する様子を示す模式図である。 図４の音楽コンテンツを波面合成再生方式で再生した際の、理想的なスイートスポットの様子を示す模式図である。 図４の音楽コンテンツにおける左／右チャネルの音声信号をそれぞれ左／右スピーカの位置に仮想音源を設定して波面合成再生方式で再生した際の、実際のスイートスポットの様子を示す模式図である。 本発明に係る音声信号変換装置を備えた音声データ再生装置の一構成例を示すブロック図である。 図７の音声データ再生装置における音声信号処理部（本発明に係る音声信号変換装置）の一構成例を示すブロック図である。 図８の音声信号処理部における音声信号処理の一例を説明するためのフロー図である。 図８の音声信号処理部において音声データをバッファに蓄える様子を示す図である。 Ｈａｎｎ窓関数を示す図である。 図９の音声信号処理における最初の窓関数乗算処理において、１／４セグメントにつき１回乗算される窓関数を示す図である。 受聴者と左右のスピーカと合成音像との位置関係の例を説明するための模式図である。 波面合成再生方式で使用するスピーカ群と仮想音源との位置関係の例を説明するための模式図である。 図１４の仮想音源と受聴者及び合成音像との位置関係の例を説明するための模式図である。 左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を説明するための模式図である。 本発明に係る不連続点除去処理を施す離散フーリエ逆変換後のセグメントを示す図である。 入力された音声信号の波形のグラフの一例を示す図である。 図１８の音声信号に対し、Ｈａｎｎ窓関数による１回目の乗算処理を施した後の波形のグラフの一例を示す図である。 図１９の音声信号に対し、離散フーリエ逆変換を施した波形のグラフの一例を示す図である。 図２０の音声信号に対し、Ｈａｎｎ窓関数による２回目の乗算処理を施した後の波形のグラフの一例を示す図である。 ずらし幅が１／２で窓関数演算を１回のみ施す場合の処理を説明するための模式図である。 ずらし幅が１／４で窓関数演算を２回施す場合の処理を説明するための模式図である。 ５.１ｃｈの音声信号を波面合成再生方式で再生する際に、使用するスピーカ群と仮想音源との位置関係の例を説明するための模式図である。 図７の音声データ再生装置を備えたテレビ装置の構成例を示す図である。 図７の音声データ再生装置を備えたテレビ装置の他の構成例を示す図である。 図７の音声データ再生装置を備えたテレビ装置の他の構成例を示す図である。 図７の音声データ再生装置を備えた映像投影システムの構成例を示す図である。 図７の音声データ再生装置を備えた映像投影システムの他の構成例を示す図である。 図７の音声データ再生装置を備えたテレビボードとテレビ装置とでなるシステムの構成例を示す図である。 図７の音声データ再生装置を備えた自動車の例を示す図である。 図７の音声データ再生装置における再生対象のスピーカの例を示す図である。

本発明に係る音声信号変換装置は、マルチチャネル再生方式用の音声信号を、チャネル数の同じまたは異なるスピーカ群で再生するための音声信号や波面合成再生方式用の音声信号などに変換する装置であって、音声信号処理装置、音声データ変換装置などとも呼べ、音声データ再生装置に組み込むことができる。なお、音声信号とは、当然、いわゆる音声を記録した信号に限ったものではなく、音響信号とも呼べる。また、波面合成再生方式とは、上述したように直線状または面状に並べたスピーカ群によって音の波面を合成する再生方式である。

以下、図面を参照しながら、本発明に係る音声信号変換装置の構成例及び処理例について説明する。また、以下の説明では、まず、本発明に係る音声信号変換装置が、変換により波面合成再生方式用の音声信号を生成する例を挙げる。
図７は、本発明に係る音声信号変換装置を備えた音声データ再生装置の一構成例を示すブロック図で、図８は、図７の音声データ再生装置における音声信号処理部（本発明に係る音声信号変換装置）の一構成例を示すブロック図である。

図７で例示する音声データ再生装置７０は、デコーダ７１、音声信号抽出部７２、音声信号処理部７３、Ｄ／Ａコンバータ７４、増幅器群７５、そしてスピーカ群７６から構成される。デコーダ７１は、音声のみあるいは音声付き映像のコンテンツを復号化し、信号処理可能な形式に変換し音声信号抽出部７２に出力する。そのコンテンツは、放送局から送信されたデジタル放送のコンテンツや、ネットワークを介してディジタルコンテンツを配信するサーバからインターネットからダウンロードしたり、あるいは外部記憶装置等の記録媒体から読み込んだりすることによって取得する。このように、図７では図示しないが、音声データ再生装置７０は、マルチチャネルの入力音声信号を含むディジタルコンテンツを入力するディジタルコンテンツ入力部を備える。デコーダ７１は、ここで入力されたディジタルコンテンツを復号化することになる。音声信号抽出部７２では、得られた信号から音声信号を分離、抽出する。ここではそれは２ｃｈステレオ信号とする。その２チャネル分の信号を音声信号処理部７３に出力する。

音声信号処理部７３では、得られた２チャネル信号から、３チャネル以上で且つ入力音声信号とは異なるマルチチャネルの音声信号（以下の例では、仮想音源数分の信号として説明する）を生成する。つまり入力音声信号を別のマルチチャネルの音声信号に変換する。音声信号処理部７３は、その音声信号をＤ／Ａコンバータ７４に出力する。仮想音源の数は、ある一定以上の数があれば予め決めておいても性能上差し支えはないが、仮想音源数が多くなるほど演算量も多くなる。そのため実装する装置の性能を考慮してその数を決定することが望ましい。ここの例では、その数を５として説明する。

Ｄ／Ａコンバータ７４では得られた信号をアナログ信号に変換し、それぞれの信号を増幅器７５に出力する。各増幅器７５では入力されたアナログ信号を拡声し各スピーカ７６に伝送し、各スピーカ７６から空間中に音として出力される。

この図における音声信号処理部の詳細な構成を図８に示す。音声信号処理部７３は、窓関数乗算部８１、音声信号分離抽出部８２、窓関数乗算部８３、及び音声出力信号生成部８４から構成される。

窓関数乗算部８１は、２チャンネルの音声信号を読み出してＨａｎｎ窓関数を乗算し、音声信号分離抽出部８２に出力する。音声信号分離抽出部８２は、２チャネルの信号から各仮想音源に対応する音声信号を生成し、それを窓関数乗算部８３に出力する。窓関数乗算部８３では、得られた音声信号波形から知覚上ノイズとなる部分を除去し、ノイズ除去後の音声信号を音声出力信号生成部８４に出力する。このように、窓関数乗算部８３は雑音除去部として機能する。音声出力信号生成部８４では、得られた音声信号から各スピーカに対応するそれぞれの出力音声信号波形を生成する。音声出力信号生成部８４では、波面合成再生処理などの処理が施され、例えば、得られた各仮想音源用の音声信号を各スピーカに割り当て、スピーカ毎の音声信号を生成する。波面合成再生処理の一部は音声信号分離抽出部８２で担ってもよい。

次に、図９に従って、窓関数乗算部８１、音声信号分離抽出部８２、及び窓関数乗算部８３での音声信号処理例を説明する。図９は、図８の音声信号処理部における音声信号処理の一例を説明するためのフロー図で、図１０は、図８の音声信号処理部において音声データをバッファに蓄える様子を示す図である。図１１は、Ｈａｎｎ窓関数を示す図で、図１２は、図９の音声信号処理における最初の窓関数乗算処理（窓関数乗算部８１での窓関数乗算処理）において、１／４セグメントにつき１回乗算される窓関数を示す図である。

まず、窓関数乗算部８１は、１セグメントの１／４の長さの音声データを、図７における音声信号抽出部７２での抽出結果から読み出す（ステップＳ１）。ここで、音声データとは、例えば４８ｋＨｚなどの標本化周波数で標本化された離散音声信号波形を指すものとする。そして、セグメントとは、ある一定の長さの標本点群からなる音声データ区間であり、ここでは後ほど離散フーリエ変換の対象となる区間長を指すものとし、処理セグメントとも呼ぶ。その値は例えば１０２４とする。この例では、１セグメントの１／４の長さである２５６点の音声データが読み出し対象となる。

読み出した２５６点の音声データは図１０で例示するようなバッファ１００に蓄えられる。このバッファは、直前の１セグメント分の音声信号波形を保持しておけるようになっており、それより過去のセグメントは捨てていく。直前の３／４セグメント分のデータ（７６８点）と最新の１／４セグメント分のデータ（２５６点）を繋げて１セグメント分の音声データを作成し、窓関数演算（ステップＳ２）に進む。すなわち、全ての標本データは窓関数演算に４回読み込まれることになる。

次に、窓関数乗算部８１は、従来提案されている次のＨａｎｎ窓を１セグメント分の音声データに乗算する窓関数演算処理を実行する（ステップＳ２）。このＨａｎｎ窓は図１１に窓関数１１０として図示したものである。

ここで、ｍは自然数、Ｍは１セグメント長で偶数とする。ステレオの入力信号をそれぞれｘ_L（ｍ）、ｘ_R（ｍ）とすると、窓関数乗算後の音声信号ｘ′_L（ｍ）、ｘ′_R（ｍ）は、

ｘ′_L（ｍ）＝ｗ（ｍ）ｘ_L（ｍ） 、
ｘ′_R（ｍ）＝ｗ（ｍ）ｘ_R（ｍ） (2)
と計算される。このＨａｎｎ窓を用いると、例えば標本点ｍ₀（ただし、０≦ｍ₀＜Ｍ／４）の入力信号ｘ_L（ｍ₀）にはｓｉｎ²（（ｍ₀／Ｍ）π）が乗算される。そして、その次の回の読み込みではその同じ標本点がｍ₀＋Ｍ／４として、その次にはｍ₀＋Ｍ／２として、その次にはｍ₀＋（３Ｍ）／４として読み込まれる。さらに、詳細は後述するが、この窓関数を、最後に再度演算する。したがって、上述の入力信号ｘ_L（ｍ₀）にはｓｉｎ⁴（（ｍ₀／Ｍ）π）が乗算されることになる。これを窓関数として図示すると図１２に示す窓関数１２０のようになる。この窓関数１２０が、１／４セグメント毎にシフトされながら合計４回加算されるので、

が乗算されることになる。この式を変形すると、値が３／２（一定値）となるので、もし、何も修正を加えずに、読み込んだ信号にＨａｎｎ窓を２回乗算し、上の３／２の逆数の２／３をかけ、それを１／４セグメントずつずらして加算すれば（あるいは、１／４セグメントずつずらして加算後に２／３をかければ）、元の信号が完全に復元されることになる。

そうして得られた音声データを、次の数式(3)のように離散フーリエ変換し、周波数領域の音声データを得る（ステップＳ３）。なお、ステップＳ３〜Ｓ１０の処理は、音声信号分離抽出部８２が行えばよい。ここで、ＤＦＴは離散フーリエ変換を表し、ｋは自然数で、０≦ｋ＜Ｍである。Ｘ_L（ｋ）、Ｘ_R（ｋ）は複素数となる。
Ｘ_L（ｋ）＝ＤＦＴ（ｘ′_L（ｎ）） 、
Ｘ_R（ｋ）＝ＤＦＴ（ｘ′_R（ｎ）） (3)

次に、得られた周波数領域の音声データを、各線スペクトルについてステップＳ５〜Ｓ８の処理を実行する（ステップＳ４ａ，Ｓ４ｂ）。具体的に個々の処理について説明する。なお、ここでは線スペクトル毎に相関係数を取得するなどの処理を行う例を挙げて説明するが、特許文献１に記載のように、Equivalent Rectangular Band（ＥＲＢ）を用いて分割した帯域（小帯域）毎に相関係数を取得するなどの処理を実行してもよい。

ここで、離散フーリエ変換した後の線スペクトルは、直流成分すなわち例えばＸ_L（０）を除いて、Ｍ／２（ただし、Ｍは偶数）を境に対称となっている。すなわち、Ｘ_L（ｋ）とＸ_L（Ｍ−ｋ）は０＜ｋ＜Ｍ／２の範囲で複素共役の関係になる。したがって、以下ではｋ≦Ｍ／２の範囲を分析の対象として考え、ｋ＞Ｍ／２の範囲については複素共役の関係にある対称の線スペクトルと同じ扱いとする。

次に、各線スペクトルに対し、左チャネルと右チャネルの正規化相関係数を次式で求めることで、相関係数を取得する（ステップＳ５）。

この正規化相関係数ｄ⁽ⁱ⁾は左右のチャネルの音声信号にどれだけ相関があるかを表すものであり、０から１の間の実数の値をとる。全く同じ信号同士であれば１、そして全く無相関の信号同士であれば０となる。ここで、左右のチャネルの音声信号の電力Ｐ_L ⁽ⁱ⁾とＰ_R ⁽ⁱ⁾の両方が０である場合、その線スペクトルに関して相関信号と無相関信号の抽出は不可能とし、処理を行わず次の線スペクトルの処理に移ることとする。また、Ｐ_L ⁽ⁱ⁾とＰ_R ⁽ⁱ⁾のいずれか片方が０である場合、数式(4)では演算不可能であるが、正規化相関係数ｄ⁽ⁱ⁾＝０とし、その線スペクトルの処理を続行する。

次に、この正規化相関係数ｄ⁽ⁱ⁾を用いて、左右チャネルの音声信号から相関信号と無相関信号をそれぞれ分離抽出するための変換係数を求め（ステップＳ６）、ステップＳ６で取得したそれぞれの変換係数を用いて、左右チャネルの音声信号から相関信号と無相関信号を分離抽出する（ステップＳ７）。相関信号及び無相関信号は、いずれも推定した音声信号として抽出すればよい。

ステップＳ６，Ｓ７の処理例を説明する。ここで、特許文献１と同様、左右チャネルそれぞれの信号は、無相関信号と相関信号から構成され、相関信号については、左右からゲインのみ異なる信号波形（つまり同じ周波数成分からなる信号波形）が出力されるものとするモデルを採用する。ここで、ゲインは、信号波形の振幅に相当し、音圧に関連する値である。そして、このモデルでは、左右から出力される相関信号によって合成される音像は、その相関信号の左右それぞれの音圧のバランスによって方向が決定されるものとする。そのモデルに従うと、入力信号ｘ_L（ｎ）、ｘ_R（ｎ）は、
ｘ_L（ｍ）＝ ｓ（ｍ）＋ｎ_L（ｍ）、
ｘ_R（ｍ）＝αｓ（ｍ）＋ｎ_R（ｍ） (8)
と表される。ここで、ｓ（ｍ）は左右の相関信号、ｎ_L（ｍ）は左チャネルの音声信号から相関信号ｓ（ｍ）を減算したものであって（左チャネルの）無相関信号として定義できるもの、ｎ_R（ｍ）は右チャネルの音声信号から相関信号ｓ（ｍ）にαを乗算したものを減算したものであって（右チャネルの）無相関信号として定義できるものである。また、αは相関信号の左右音圧バランスの程度を表す正の実数である。

数式(8)により、数式(2)で前述した窓関数乗算後の音声信号ｘ′_L（ｍ）、ｘ′_R（ｍ）は、次の数式(9)で表される。ただし、ｓ′（ｍ）、ｎ′_L（ｍ）、ｎ′_R（ｍ）はそれぞれｓ（ｍ）、ｎ_L（ｍ）、ｎ_R（ｍ）に窓関数を乗算したものである。
ｘ′_L（ｍ）＝ｗ（ｍ）｛ｓ（ｍ）＋ｎ_L（ｍ）｝＝ｓ′（ｍ）＋ｎ′_L（ｍ）、
ｘ′_R（ｍ）＝ｗ（ｍ）｛αｓ（ｍ）＋ｎ_R（ｍ）｝＝αｓ′（ｍ）＋ｎ′_R（ｍ）
(9)

数式(9)を離散フーリエ変換することによって、次の数式(10)を得る。ただし、Ｓ（ｋ）、Ｎ_L（ｋ）、Ｎ_R（ｋ）はそれぞれｓ′（ｍ）、ｎ′_L（ｍ）、ｎ′_R（ｍ）を離散フーリエ変換したものである。
Ｘ_L（ｋ）＝ Ｓ（ｋ）＋Ｎ_L（ｋ）、
Ｘ_R（ｋ）＝αＳ（ｋ）＋Ｎ_R（ｋ） (10)

したがって、ｉ番目の線スペクトルにおける音声信号Ｘ_L ⁽ⁱ⁾（ｋ）、Ｘ_R ⁽ⁱ⁾（ｋ）は、
Ｘ_L ⁽ⁱ⁾（ｋ）＝Ｓ⁽ⁱ⁾（ｋ）＋Ｎ_L ⁽ⁱ⁾（ｋ）、
Ｘ_R ^（ｉ）（ｋ）＝α^（ｉ）Ｓ^（ｉ）（ｋ）＋Ｎ_R ^（ｉ）（ｋ） (11)
と表現される。ここで、α⁽ⁱ⁾はｉ番目の線スペクトルにおけるαを表す。以後、ｉ番目の線スペクトルにおける相関信号Ｓ⁽ⁱ⁾（ｋ）、無相関信号Ｎ_L ⁽ⁱ⁾（ｋ）、Ｎ_R ⁽ⁱ⁾（ｋ）をそれぞれ、
Ｓ⁽ⁱ⁾（ｋ）＝Ｓ（ｋ）、
Ｎ_L ⁽ⁱ⁾（ｋ）＝Ｎ_L（ｋ）、
Ｎ_R ⁽ⁱ⁾（ｋ）＝Ｎ_R（ｋ） (12)
とおくこととする。

数式(11)から、数式(7)の音圧Ｐ_L ^（ｉ）とＰ_R ^（ｉ）は、
Ｐ_L ⁽ⁱ⁾＝Ｐ_S ⁽ⁱ⁾＋Ｐ_N ⁽ⁱ⁾、
Ｐ_R ⁽ⁱ⁾＝［α⁽ⁱ⁾］²Ｐ_S ⁽ⁱ⁾＋Ｐ_N ⁽ⁱ⁾ (13)
と表される。ここで、Ｐ_S ⁽ⁱ⁾、Ｐ_N ⁽ⁱ⁾はｉ番目の線スペクトルにおけるそれぞれ相関信号、無相関信号の電力であり、

と表される。ここで、左右の無相関信号の音圧は等しいと仮定している。

また、数式(5)〜(7)より、数式(4)は、

と表すことができる。ただし、この算出においてはＳ（ｋ）、Ｎ_L（ｋ）、Ｎ_R（ｋ）が互いに直交し、かけ合わされたときの電力は０と仮定している。

数式(13)と数式(15)を解くことにより、次の式が得られる。

これらの値を用いて、各線スペクトルにおける相関信号と無相関信号を推定する。ｉ番目の線スペクトルにおける相関信号Ｓ⁽ⁱ⁾（ｋ）の推定値ｅｓｔ（Ｓ⁽ⁱ⁾（ｋ））を、媒介変数μ₁、μ₂を用いて、
ｅｓｔ（Ｓ⁽ⁱ⁾（ｋ））＝μ₁Ｘ_L ⁽ⁱ⁾（ｋ）＋μ₂Ｘ_R ⁽ⁱ⁾（ｋ） (18)
とおくと、推定誤差εは、
ε＝ｅｓｔ（Ｓ⁽ⁱ⁾（ｋ））−Ｓ⁽ⁱ⁾（ｋ） (19)
と表される。ここで、ｅｓｔ（Ａ）はＡの推定値を表すものとする。そして二乗誤差ε²が最少になるとき、εとＸ_L ⁽ⁱ⁾（ｋ）、Ｘ_R ⁽ⁱ⁾（ｋ）はそれぞれ直交するという性質を利用すると、
Ｅ［ε・Ｘ_L ⁽ⁱ⁾（ｋ）］＝０、Ｅ［ε・Ｘ_R ⁽ⁱ⁾（ｋ）］＝０ (20)
という関係が成り立つ。数式(11)、(14)、(16)〜(19)を利用すると、数式(20)から次の連立方程式が導出できる。
（１−μ₁−μ₂α⁽ⁱ⁾）Ｐ_S ⁽ⁱ⁾−μ₁Ｐ_N ⁽ⁱ⁾＝０
α⁽ⁱ⁾（１−μ₁−μ₂α⁽ⁱ⁾）Ｐ_S ⁽ⁱ⁾−μ₂Ｐ_N ⁽ⁱ⁾＝０
(21)

この数式(21)を解くことによって、各媒介変数が次のように求まる。

ここで、このようにして求まる推定値ｅｓｔ（Ｓ⁽ⁱ⁾（ｋ））の電力Ｐ_est(S) ⁽ⁱ⁾が、数式(18)の両辺を二乗して求まる次の式
Ｐ_est(S) ⁽ⁱ⁾＝（μ₁＋α⁽ⁱ⁾μ₂）²Ｐ_S ⁽ⁱ⁾＋（μ₁ ²＋μ₂ ²）Ｐ_N ⁽ⁱ⁾ (23)
を満たす必要があるため、この式から推定値を次式のようにスケーリングする。なお、ｅｓｔ′（Ａ）はＡの推定値をスケーリングしたものを表す。

そして、ｉ番目の線スペクトルにおける左右チャネルの無相関信号Ｎ_L ⁽ⁱ⁾（ｋ）、Ｎ_R ⁽ⁱ⁾（ｋ）に対する推定値ｅｓｔ（Ｎ_L ⁽ⁱ⁾（ｋ））、ｅｓｔ（Ｎ_R ⁽ⁱ⁾（ｋ））はそれぞれ、
ｅｓｔ（Ｎ_L ⁽ⁱ⁾（ｋ））＝μ₃Ｘ_L ⁽ⁱ⁾（ｋ）＋μ₄Ｘ_R ⁽ⁱ⁾（ｋ） (25)
ｅｓｔ（Ｎ_R ⁽ⁱ⁾（ｋ））＝μ₅Ｘ_L ⁽ⁱ⁾（ｋ）＋μ₆Ｘ_R ⁽ⁱ⁾（ｋ） (26)
とおくことにより、上述の求め方と同様にして、媒介変数μ₃〜μ₆は、

と求めることができる。このようにして求めた推定値ｅｓｔ（Ｎ_L ⁽ⁱ⁾（ｋ））、ｅｓｔ（Ｎ_R ⁽ⁱ⁾（ｋ））も上述と同様に、次の式によってそれぞれスケーリングする。

数式(22)、(27)、(28)で示した各媒介変数μ₁〜μ₆及び数式(24)、(29)、(30)で示したスケーリングの係数が、ステップＳ６で求める変換係数に該当する。そして、ステップＳ７では、これらの変換係数を用いた演算（数式(18)、(25)、(26)）により推定することで、相関信号と無相関信号（右チャネルの無相関信号、左チャネルの無相関信号）とを分離抽出する。

次に、仮想音源への割り当て処理を行う（ステップＳ８）。まず、この割り当て処理では前処理として、線スペクトル毎に推定した相関信号によって生成される合成音像の方向を推定する。この推定処理について、図１３〜図１５に基づき説明する。図１３は、受聴者と左右のスピーカと合成音像との位置関係の例を説明するための模式図、図１４は、波面合成再生方式で使用するスピーカ群と仮想音源との位置関係の例を説明するための模式図、図１５は、図１４の仮想音源と受聴者及び合成音像との位置関係の例を説明するための模式図である。

いま、図１３に示す位置関係１３０のように、受聴者から左右のスピーカ１３１Ｌ，１３１Ｒの中点にひいた線と、同じく受聴者１３３からいずれかのスピーカ１３１Ｌ／１３１Ｒの中心までひいた線がなす見開き角をθ₀、受聴者１３３から推定合成音像１３２の位置までひいた線がなす見開き角をθとする。ここで、左右のスピーカ１３１Ｌ，１３１Ｒから同じ音声信号を、音圧バランスを変えて出力した場合、その出力音声によって生じる合成音像１３２の方向は、音圧バランスを表す前述のパラメータαを用いて次の式で近似できることが一般的に知られている（以下、立体音響におけるサインの法則と呼ぶ）。

ここで、２ｃｈステレオの音声信号を波面合成再生方式で再生できるようにするために、図８に示す音声信号分離抽出部８２が２ｃｈの信号を複数チャネルの信号に変換する。例えば変換後のチャネル数を５つとした場合、それを図１４で示す位置関係１４０のように、波面合成再生方式における仮想音源１４２ａ〜１４２ｅと見做し、スピーカ群（スピーカアレイ）１４１の後方に配置する。なお、仮想音源１４２ａ〜１４２ｅにおける隣り合う仮想音源との間隔は均等とする。したがって、ここでの変換は、２ｃｈの音声信号を仮想音源数の音声信号に変換することになる。既に説明したように、音声信号分離抽出部８２は、まず２ｃｈの音声信号を、線スペクトル毎に１つの相関信号と２つの無相関信号に分離する。音声信号分離抽出部８２では、さらにそれらの信号をどのように仮想音源数の仮想音源（ここでは５つの仮想音源）に割り当てるかを事前に決めておかなければならない。なお、割り当ての方法については複数の方法の中からユーザ設定可能にしておいてもよいし、仮想音源数に応じて選択可能な方法を変えてユーザに提示するようにしてもよい。

割り当て方法の１つの例として、次のような方法を採る。それは、まず、左右の無相関信号については、５つの仮想音源の両端（仮想音源１４２ａ，１４２ｅ）にそれぞれ割り当てる。次に、相関信号によって生じる合成音像については、５つのうちの隣接する２つの仮想音源に割り当てる。隣接するどの２つの仮想音源に割り当てるかについては、まず、前提として、相関信号によって生じる合成音像が５つの仮想音源の両端（仮想音源１４２ａ，１４２ｅ）より内側になるものとし、すなわち、２ｃｈステレオ再生時の２つのスピーカによってなす見開き角内におさまるように５つの仮想音源１４２ａ〜１４２ｅを配置するものとする。そして、合成音像の推定方向から、その合成音像を挟むような隣接する２つの仮想音源を決定し、その２つの仮想音源への音圧バランスの割り当てを調整して、その２つの仮想音源によって合成音像を生じさせるように再生する、という割り当て方法を採る。

そこで、図１５で示す位置関係１５０のように、受聴者１５３から両端の仮想音源１４２ａ，１４２ｅの中点にひいた線と、端の仮想音源１４２ｅにひいた線とがなす見開き角をθ₀、受聴者１５３から合成音像１５１にひいた線とがなす見開き角をθとする。さらに、受聴者１５３から合成音像１５１を挟む２つの仮想音源１４２ｃ，１４２ｄの中点にひいた線と、受聴者１５３から両端の仮想音源１４２ａ，１４２ｅの中点にひいた線（受聴者１５３から仮想音源１４２ｃにひいた線）とがなす見開き角をφ₀、受聴者１５３から合成音像１５１にひいた線とがなす見開き角をφとする。ここで、φ₀は正の実数である。数式(31)で説明したようにして方向を推定した図１３の合成音像１３２（図１５における合成音像１５１に対応）を、これらの変数を用いて仮想音源に割り当てる方法について説明する。

まず、ｉ番目の合成音像の方向θ⁽ⁱ⁾が数式(31)によって推定され、例えばθ⁽ⁱ⁾＝π／１５［ｒａｄ］であったとする。そして、仮想音源が５つの場合、図１５に示すように合成音像１５１は左から数えて３番目の仮想音源１４２ｃと４番目の仮想音源１４２ｄの間に位置することになる。また、仮想音源が５つである場合、３番目の仮想音源１４２ｃと４番目の仮想音源１４２ｄの間について、三角関数を用いた単純な幾何的計算により、φ₀≒０.１２１［ｒａｄ］となり、ｉ番目の線スペクトルにおけるφをφ⁽ⁱ⁾とすると、φ⁽ⁱ⁾＝θ⁽ⁱ⁾−φ₀≒０.０８８［ｒａｄ］となる。このようにして、各線スペクトルにおける相関信号によって生じる合成音像の方向を、それを挟む２つの仮想音源の方向からの相対的な角度で表す。そして上述したように、その２つの仮想音源１４２ｃ，１４２ｄでその合成音像を生じさせることを考える。そのためには、２つの仮想音源１４２ｃ，１４２ｄからの出力音声信号の音圧バランスを調整すればよく、その調整方法については、再び数式(31)として利用した立体音響におけるサインの法則を用いる。

ここで、ｉ番目の線スペクトルにおける相関信号によって生じる合成音像を挟む２つの仮想音源１４２ｃ，１４２ｄのうち、３番目の仮想音源１４２ｃに対するスケーリング係数をｇ₁、４番目の仮想音源１４２ｄに対するスケーリング係数をｇ₂とすると、３番目の仮想音源１４２ｃからはｇ₁・ｅｓｔ′（Ｓ⁽ⁱ⁾（ｋ））、４番目の仮想音源１４２ｄからはｇ₂・ｅｓｔ′（Ｓ⁽ⁱ⁾（ｋ））の音声信号を出力することになる。そして、ｇ₁、ｇ₂は立体音響におけるサインの法則により、

を満たせばよい。

一方、３番目の仮想音源１４２ｃと４番目の仮想音源１４２ｄからの電力の合計が、元の２ｃｈステレオの相関信号の電力と等しくなるようにｇ₁、ｇ₂を正規化すると、
ｇ₁ ²＋ｇ₂ ²＝１＋［α⁽ⁱ⁾］² (33)
となる。

これらを連立させることで、

と求められる。この数式(34)に上述のφ⁽ⁱ⁾、φ₀を代入することによって、ｇ₁、ｇ₂を算出する。このようにして算出したスケーリング係数に基づき、上述したように３番目の仮想音源１４２ｃにはｇ₁・ｅｓｔ′（Ｓ⁽ⁱ⁾（ｋ））の音声信号を、４番目の仮想音源１４２ｄからはｇ₂・ｅｓｔ′（Ｓ⁽ⁱ⁾（ｋ））の音声信号を割り当てる。そして、これも上述したように、無相関信号は両端の仮想音源１４２ａ，１４２ｅに割り当てられる。すなわち、１番目の仮想音源１４２ａにはｅｓｔ′（Ｎ_L ⁽ⁱ⁾（ｋ））を、５番目の仮想音源１４２ｅにはｅｓｔ′（Ｎ_R ⁽ⁱ⁾（ｋ））を割り当てる。

この例とは異なり、もし合成音像の推定方向が１番目と２番目の仮想音源の間であった場合には、１番目の仮想音源にはｇ₁・ｅｓｔ′（Ｓ⁽ⁱ⁾（ｋ））とｅｓｔ′（Ｎ_L ⁽ⁱ⁾（ｋ））の両方が割り当てられることになる。また、もし合成音像の推定方向が４番目と５番目の仮想音源の間であった場合には、５番目の仮想音源にはｇ₂・ｅｓｔ′（Ｓ⁽ⁱ⁾（ｋ））とｅｓｔ′（Ｎ_R ⁽ⁱ⁾（ｋ））の両方が割り当てられることになる。

以上のようにして、ステップＳ８における、ｉ番目の線スペクトルについての左右チャネルの相関信号と無相関信号の割り当てが行われる。これをステップＳ４ａ，Ｓ４ｂのループにより全ての線スペクトルについて行う。例えば、２５６点の離散フーリエ変換を行った場合は１〜１２７番目の線スペクトルまで、５１２点の離散フーリエ変換を行った場合は１〜２５５番目の線スペクトルまで、セグメントの全点（１０２４点）について離散フーリエ変換を行った場合は１〜５１１番目の線スペクトルまで、となる。その結果、仮想音源の数をＪとすると、各仮想音源（出力チャネル）に対する周波数領域の出力音声信号Ｙ₁（ｋ），・・・，Ｙ_J（ｋ）が求まる。

そして、得られた各出力チャネルについて、ステップＳ１０〜Ｓ１２の処理を実行する（ステップＳ９ａ，Ｓ９ｂ）。以下、ステップＳ１０〜Ｓ１２の処理について説明する。

まず、各出力チャネルを離散フーリエ逆変換することによって、時間領域の出力音声信号ｙ′_J（ｍ）を求める（ステップＳ１０）。ここで、ＤＦＴ^-1は離散フーリエ逆変換を表す。
ｙ′_J（ｍ）＝ＤＦＴ^-1（Ｙ_J（ｋ）） （１≦ｊ≦Ｊ） (35)
ここで、数式(3)で説明したように、離散フーリエ変換した信号は、窓関数乗算後の信号であったため、逆変換して得られた信号ｙ′_J（ｍ）も窓関数が乗算された状態となっている。窓関数は数式(1)に示すような関数であり、読み込みは１／４セグメント長ずつずらしながら行ったため、前述した通り、１つ前に処理したセグメントの先頭から１／４セグメント長ずつずらしながら出力バッファに加算していくことにより変換後のデータを得る。

しかし、このままでは、従来技術として上述した通り、不連続点が変換後のデータに多数含まれてしまい、それらが再生時にノイズとなって知覚される。このような不連続点は、直流成分の線スペクトルを考慮しないことによるものであることは前述した通りである。図１６はそれを模式的に示した波形のグラフである。より詳細には、図１６は、左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を説明するための模式図である。図１６に示すグラフ１６０において、横軸は時間を表しており、例えば（０）^(l)という記号は、ｌ番目のセグメントの１番目の標本点であることを示し、（Ｍ−１）^(l)という記号は、ｌ番目のセグメントのＭ番目の標本点であることを示している。グラフ１６０の縦軸は、それらの標本点に対する出力信号の値である。このグラフ１６０から分かるように、（ｌ−１）番目のセグメントの最後からｌ番目のセグメントの最初にかけての部分で不連続点が生じてしまう。

図１６で説明したような問題を解決するために、本発明に係る音声信号変換装置は、次のように構成する。すなわち、本発明に係る音声信号変換装置は、変換部、相関信号抽出部、逆変換部、及び窓関数乗算部を備える。変換部は、２つのチャネルの入力音声信号のそれぞれについて、処理セグメントの長さの１／４ずつずらしながら読み出し、読み出した処理セグメントの音声信号に対し、Ｈａｎｎ窓関数を乗算した後、離散フーリエ変換を施す。相関信号抽出部は、変換部で離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出する。つまり、相関信号抽出部は、２つのチャネルの入力音声信号の相関信号を抽出する。

逆変換部は、（ａ１）相関信号抽出部で抽出された相関信号に対して、または（ａ２）その相関信号及び無相関信号（その相関信号を除く信号）に対して、もしくは（ｂ１）その相関信号から生成された音声信号、または（ｂ２）その相関信号及びその無相関信号から生成された音声信号に対して、離散フーリエ逆変換を施す。なお、ここでの例では、逆変換部が上記（ｂ２）の音声信号の例である、波面合成再生方式用の仮想音源への割り当て後の音声信号に対して、不連続点を除去した例を挙げているが、これに限らない。例えば、上記（ａ１）または（ａ２）の例である仮想音源への割り当て前の音声信号に対して、すなわち抽出された相関信号または抽出された相関信号及び無相関信号に対して、不連続点を除去し、その後、割り当てを行うようにしてもよい。

そして、窓関数乗算部は、逆変換部で離散フーリエ逆変換後の音声信号（つまり、相関信号またはそれから生成された音声信号）のうち、処理セグメントの音声信号に対し、再びＨａｎｎ窓関数を乗算し、処理セグメントの長さの１／４だけずらして、前の処理セグメントの音声信号に加算することにより、逆変換部で離散フーリエ逆変換後の音声信号から波形の不連続点を除去する。ここで、前の処理セグメントとは、以前の処理セグメントであって、実際には１／４ずつずらすため、１つ前、２つ前、及び３つ前の処理セグメントを指す。

図８における音声信号処理部７３の例では、上述の変換部は窓関数乗算部８１及び音声信号分離抽出部８２に含まれ、上述の相関信号抽出部及び逆変換部は音声信号分離抽出部８２に含まれることになり、上述の窓関数乗算部は窓関数乗算部８３で例示できる。

図１７〜図２１を併せて参照し、図１６で説明したような問題を解決するための、このような不連続点除去処理について具体的に説明する。図１７は、本発明に係る不連続点除去処理を施す離散フーリエ逆変換後のセグメントを示す図である。また、図１８は、入力された音声信号の波形のグラフの一例を示す図、図１９は、図１８の音声信号に対し、Ｈａｎｎ窓関数による１回目の乗算処理を施した後の波形のグラフの一例を示す図、図２０は、図１９の音声信号に対し、離散フーリエ逆変換を施した波形のグラフの一例を示す図、図２１は、図２０の音声信号に対し、Ｈａｎｎ窓関数による２回目の乗算処理を施した後の波形のグラフの一例を示す図である。

本発明における不連続点除去処理では、図１７に示すような離散フーリエ逆変換後のセグメント（処理セグメント）１７０の波形の最初の値と、波形の最後の値との平均値を、波形の各値から減算する。これは、前述した通り、離散フーリエ変換を行う前にＨａｎｎ窓を演算していることに起因している。すなわち、Ｈａｎｎ窓の両端点の値は０であるため、もし離散フーリエ変換後、どのスペクトル成分も値を変更せず、再び離散フーリエ逆変換を行えば、そのセグメントの両端点は０となり、セグメント間の不連続点は発生しない。しかし実際は、離散フーリエ変換後の周波数領域において、上述したように各スペクトル成分を変更するため、離散フーリエ逆変換後のセグメントの両端点は０とならず、セグメント間の不連続点が発生する。

したがって、その両端点を０にするため、前述したように、再度Ｈａｎｎ窓を演算する。この２回目のＨａｎｎ窓関数による乗算処理がどのように機能するかについて、最初の入力音声信号から２回目のＨａｎｎ窓関数による乗算処理が施されるまでの過程を、簡略化した入力波形に基づき説明する。まず、図１８に示すグラフ１８０のような音声信号の波形が入力されたとすると、まず最初のＨａｎｎ窓関数演算によって図１９に示すグラフ１９０のような音声信号の波形が生成され、図９のステップＳ３の離散フーリエ変換処理に進む。そして、演算処理の結果、図９のステップＳ１０の離散フーリエ逆変換処理の結果の音声信号の波形が図２０に示すグラフ２００のように、両端点が０からずれていたとする。

このままでは、両端点部分が不連続点となってノイズとして知覚されてしまうため、図９のステップＳ１１のように再度、Ｈａｎｎ窓関数を演算すると、図２１に示すグラフ２１０のように、両端点が０となることが保証された音声信号の波形になる。したがって、２回目のＨａｎｎ窓関数の乗算処理により、不連続点が生じないことが保証される。これにより、図１７の処理セグメント１７０の波形は、図１６のグラフ１６０のような不連続点が生じず、グラフ１６０で不連続点であった部分（セグメント境界の部分）は、値が０となって連続となり、その傾き（微分値）も一致するようになる。

その後は、前述したように、２回目のＨａｎｎ窓関数乗算処理後の処理セグメントに対し、３／２の逆数である２／３を乗じ、それを前の処理セグメントの音声信号に（実際には１つ前、２つ前、３つ前の処理セグメントの音声信号のそれぞれに）加算すれば、元の波形が完全に復元できる。実際にはこの時点で、３つ前の処理セグメントの音声信号の波形まで完全に復元できる。このように、２／３を乗じた２回目のＨａｎｎ窓関数乗算処理後の処理セグメントを、１／４セグメントずつずらしながら加算していけば、元の波形が完全に復元できる。もしくは、２回目のＨａｎｎ窓関数乗算処理後の処理セグメントに対し、１／４セグメントずつずらしながら加算し、加算が全て完了した処理セグメント（上記３つ前の処理セグメント）について２／３を乗じれば、元の信号が完全に復元されることになる。無論、この２／３を乗算する処理については実行しなくても、振幅が大きくなるだけであるので構わない。

次に、図２２及び図２３を参照しながら、本発明による不連続点除去の効果について、単純なサイン波を例に挙げて模式的に説明する。図２２は、ずらし幅が１／２セグメントで窓関数演算を１回のみ施す場合の処理を説明するための模式図で、図２３は、本発明の処理（ずらし幅が１／４セグメントで窓関数演算を２回施す場合の処理）を説明するための模式図である。

図２２に示すように、入力波形２２１に対して、ずらし幅が１／２セグメントで窓関数演算を１回施して、離散フーリエ変換、音声信号分離抽出、離散フーリエ逆変換を施すと、処理後の各セグメント波形２２２，２２３は、図２０のグラフ２００と同様に、直流成分によって両端が０になっていない。出力波形２２４は、これらのセグメント波形２２２，２２３を加算したものとなるため、不連続点２２４ａ，２２４ｂが生じる。

これに対し、本発明の処理では、図２３に示すように、入力波形２２１と同じ入力波形２３１に対して、ずらし幅が１／４セグメントで１回目の窓関数演算を施して、離散フーリエ変換、音声信号分離抽出、離散フーリエ逆変換を施した後、２回目の窓関数演算を施す。このように離散フーリエ逆変換後の各セグメント波形に対して２回目の窓関数演算を施した各セグメント波形２３２，２３３，２３４，２３５は、その両端が、図２１のグラフ２１０でも示したように、必ず０となる。ここで、セグメント波形２３５を現在の処理セグメントとすると、セグメント波形２３４，２３３，２３２はそれぞれ１，２，３つ前の処理セグメントの波形に相当する。出力波形２３６は、これらのセグメント波形２３２，２３３，２３４，２３５を加算したものとなるため、加算によっても出力波形２３６には不連続点が生じない。

このように、本発明に係る不連続点除去処理では、２回目のＨａｎｎ窓関数乗算処理を施すことで、離散フーリエ逆変換後の音声信号から波形の不連続点を除去する。そのため、本発明によれば、２ｃｈや５.１ｃｈ等のマルチチャネル方式用の音声信号を、不連続点に起因するノイズを発生させることなく、波面合成再生方式で再生させるための音声信号に変換することが可能になる。特に、本発明によれば、特許文献１に記載の方法とは異なり、子音部分のようにホワイトノイズに近いような成分とそれ以外の成分が混ざり合った楽音信号や、人間の音声のうち子音と母音の間のような特性を持つ濁音などの音声信号などに対しても、不連続点に起因するノイズを発生させることはない。

そして、本発明によれば、ノイズを発生させずに波面合成再生方式で再生させるための音声信号に変換することができるため、波面合成再生方式の特長である、どの位置の受聴者に対してもコンテンツ製作者の意図通りの音像定位を提供するという効果を享受できる。

また、窓関数乗算部８３で処理対象となる離散フーリエ逆変換後の音声信号は、各数式で例示したように、相関信号または相関信号及び無相関信号に対して、時間領域あるいは周波数領域においてスケーリング処理を行い、そのスケーリング処理後の音声信号としてもよい。つまり、相関信号や無相関信号に対しスケーリング処理を施し、スケーリング処理後の相関信号や無相関信号に対し、Ｈａｎｎ窓関数の乗算によって不連続点の除去を行うようにしてもよい。

以上、本発明に係る音声信号変換処理について、入力音声信号が２ｃｈの音声信号である例を挙げて説明したが、次に他のマルチチャネルの音声信号であっても適用可能であることを説明する。ここでは、図２４を参照しながら５.１ｃｈの入力音声信号を例に挙げるが、他のマルチチャネルの入力音声信号についても同様に適用できる。

図２４は、５.１ｃｈの音声信号を波面合成再生方式で再生する際に、使用するスピーカ群と仮想音源との位置関係の例を説明するための模式図である。５.１ｃｈの入力音声に本発明に係る音声信号変換処理を適用することを考える。５.１ｃｈのスピーカの配置方法については一般的に図２のように配置されることが多く、受聴者の前方には３つのスピーカ２１Ｌ，２２Ｃ，２１Ｒが並んでいる。そして、映画などのコンテンツでは特に、前方中央のいわゆるセンターチャネルは人の台詞音声などの用途で使用されることが多い。つまり、センターチャネルと左チャネル、あるいはセンターチャネルと右チャネルの間で合成音像を生じさせるような音圧制御がされている箇所はあまり多くない。

この性質を利用して、図２４で示す位置関係２４０のように、５.１ｃｈの前方左右のスピーカ２４２ａ，２４２ｃへの入力音声信号を本方式（本発明に係る音声信号変換処理）によって変換し、例えば５つの仮想音源２４３ａ〜２４３ｅに割り当てた後、真ん中の仮想音源２４３ｃにセンターチャネル（センタースピーカ用のチャネル）の音声信号を加算する。そのようにして、出力音声信号を仮想音源に対する音像として波面合成再生方式でスピーカアレイ２４１により再生する。そして後方左右のチャネル用の入力音声信号については、後方に５.１ｃｈと同じくスピーカ２４２ｄ，２４２ｅを設置し、そこから何も手を加えずに出力するなどすればよい。

このように、マルチチャネルの入力音声信号が３つ以上のチャネルの入力音声信号であることを前提とし、マルチチャネルの入力音声信号のうちいずれか２つの入力音声信号に対して、本発明に係る上述のような音声信号変換処理を行って、波面合成再生方式で再生させるための音声信号を生成し、生成された音声信号に残りのチャネルの入力音声信号を加算して出力するようにしてもよい。この加算は、例えば音声出力信号生成部８４において加算部を設けておけば済む。

次に、本発明の実装について簡単に説明する。本発明は、例えばテレビなど映像の伴う装置に利用できる。本発明を適用可能な装置の様々な例について、図２５〜図３１を参照しながら説明する。図２５〜図２７は、それぞれ図７の音声データ再生装置を備えたテレビ装置の構成例を示す図で、図２８及び図２９は、それぞれ図７の音声データ再生装置を備えた映像投影システムの構成例を示す図、図３０は、図７の音声データ再生装置を備えたテレビボードとテレビ装置とでなるシステムの構成例を示す図、図３１は、図７の音声データ再生装置を備えた自動車の例を示す図である。なお、図２５〜図３１のいずれにおいても、スピーカアレイとしてＬＳＰ１〜ＬＳＰ８で示す８個のスピーカを配列した例を挙げているが、スピーカの数は複数であればよい。

本発明に係る音声信号変換装置やそれを備えた音声データ再生装置はテレビ装置に利用できる。テレビ装置におけるこれらの装置の配置は自由に決めればよい。図２５で示すテレビ装置２５０のように、テレビ画面２５１の下方に、音声データ再生装置におけるスピーカＬＳＰ１〜ＬＳＰ８を直線状に並べたスピーカ群２５２を設けてもよい。図２６で示すテレビ装置２６０のように、テレビ画面２６１の上方に、音声データ再生装置におけるスピーカＬＳＰ１〜ＬＳＰ８を直線状に並べたスピーカ群２６２を設けてもよい。図２７で示すテレビ装置２７０のように、テレビ画面２７１に、音声データ再生装置における透明のフィルム型スピーカＬＳＰ１〜ＬＳＰ８を直線状に並べたスピーカ群２７２を埋め込んでもよい。

また、本発明に係る音声信号変換装置やそれを備えた音声データ再生装置は、映像投影システムに利用できる。図２８で示す映像投影システム２８０のように、映像投射装置２８１ａで映像を投射する投射用スクリーン２８１ｂに、スピーカＬＳＰ１〜ＬＳＰ８のスピーカ群２８２を埋め込むようにしてもよい。図２９で示す映像投影システム２９０のように、映像投射装置２９１ａで映像を投射する音透過型のスクリーン２９１ｂの後ろに、スピーカＬＳＰ１〜ＬＳＰ８を並べたスピーカ群２９２を配置してもよい。そのほか、本発明に係る音声信号変換装置やそれを備えた音声データ再生装置は、テレビ台（テレビボード）に埋め込むこともできる。図３０で示すシステム（ホームシアターシステム）３００のように、テレビ装置３０１を搭載するためのテレビ台３０２ａにスピーカＬＳＰ１〜ＬＳＰ８を並べたスピーカ群３０２ｂを埋め込むようにしてもよい。さらに、本発明に係る音声信号変換装置やそれを備えた音声データ再生装置は、カーオーディオに適用することもできる。図３１で示す自動車３１０のように、車内のダッシュボードにスピーカＬＳＰ１〜ＬＳＰ８を曲線状に並べたスピーカ群３１２を埋め込むようにしてもよい。

また、図２５〜図３１を参照して説明したような装置などに本発明に係る音声信号変換処理を適用した際、受聴者はこの変換処理（図７や図８の音声信号処理部７３における処理）を行うか行わないかについて、装置本体に備えられたボタン操作やあるいはリモートコントローラ操作などでなされたユーザ操作により切り替える切替部を設けることもできる。この変換処理を行わない場合、２ｃｈ音声データの再生には、図６に示したように仮想音源を配置して波面合成再生方式で再生してもよい。あるいは図３２に示す位置関係３２０のように、アレイスピーカ３２１の両端のスピーカ３２１Ｌ，３２１Ｒのみを用いて再生してもよい。５.１ｃｈ音声データについても同様に、３つの仮想音源に割り当ててもよいし、あるいは両端と真ん中の１つか２つのスピーカのみを用いて再生してもよい。

また、本発明で適用可能な波面合成再生方式としては、上述したようにスピーカアレイ（複数のスピーカ）を備えて仮想音源に対する音像としてそれらのスピーカから出力するようにする方式であればよく、非特許文献１に記載のＷＦＳ方式の他、人間の音像知覚に関する現象としての先行音効果（ハース効果）を利用した方式など様々な方式が挙げられる。ここで、先行音効果とは、同一の音声を複数の音源から再生し、音源それぞれから聴取者に到達する各音声に小さな時間差がある場合、先行して到達した音声の音源方向に音像が定位する効果を指し示したものである。この効果を利用すれば、仮想音源位置に音像を知覚させることが可能となる。ただし、その効果だけで音像を明確に知覚させることは難しい。ここで、人間は音圧を最も高く感じる方向に音像を知覚するという性質も持ち合わせている。したがって、音声データ再生装置において、上述の先行音効果と、この最大音圧方向知覚の効果とを組み合わせ、これにより、少ない数のスピーカでも仮想音源の方向に音像を知覚させることが可能になる。

以上、本発明に係る音声信号変換装置が、マルチチャネル方式用の音声信号に対して波面合成再生方式で再生させるための音声信号に変換することを前提にして説明したが、本発明は、同じくマルチチャネル方式用（チャネル数は同じでも異なってもよい）の音声信号に変換する場合などにも同様に適用できる。変換後の音声信号としては、配置は問わないが少なくとも複数のスピーカからなるスピーカ群によって再生させるための音声信号であればよい。それは、このような変換の場合にも上述のような離散フーリエ変換・逆変換を施し且つ相関信号を得るために直流成分を無視することがあるためである。このように変換された音声信号の再生方法としては、例えば１つ１つの仮想音源用に抽出した信号に対し、それぞれ１つずつスピーカを対応させて波面合成再生方式ではなく普通に出力再生させることが考えられる。さらに、両側の無相関信号はそれぞれ別の、側方や後方に設置するスピーカに割り当てるような再生方法など、様々な再生方法が考えられる。

また、例えば図８で例示した音声信号処理部７３における各構成要素など、本発明に係る音声信号変換装置の各構成要素やその装置を備えた音声データ再生装置の各構成要素は、例えばマイクロプロセッサ（またはＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部または全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路／ＩＣチップセットとして搭載することも可能である。

また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、音声信号変換装置となる汎用コンピュータ等の装置に供給し、その装置内のマイクロプロセッサまたはＤＳＰによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体（外部記録媒体や内部記憶装置）であっても、そのコードを制御側が読み出して実行することで、本発明を構成することができる。外部記録媒体としては、例えばＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭなどの光ディスクやメモリカード等の不揮発性の半導体メモリなど、様々なものが挙げられる。内部記憶装置としては、ハードディスクや半導体メモリなど様々なものが挙げられる。また、プログラムコードはインターネットからダウンロードして実行することや、放送波から受信して実行することもできる。

以上、本発明に係る音声信号変換装置について説明したが、処理の流れをフロー図で例示したように、本発明は、マルチチャネルの入力音声信号をスピーカ群によって再生させるための音声信号に変換する音声信号変換方法としての形態も採り得る。

この音声信号変換方法は、次の変換ステップ、抽出ステップ、逆変換ステップ、及び窓関数乗算ステップを有する。変換ステップは、変換部が、２つのチャネルの入力音声信号のそれぞれについて、処理セグメントの長さの１／４ずつずらしながら読み出し、読み出した処理セグメントの音声信号に対し、Ｈａｎｎ窓関数を乗算した後、離散フーリエ変換を施すステップである。抽出ステップは、相関信号抽出部が、変換ステップで離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出するステップである。逆変換ステップは、逆変換部が、抽出ステップで抽出された相関信号または相関信号及び無相関信号に対して、もしくは相関信号から生成された音声信号に対して、もしくは相関信号及び無相関信号から生成された音声信号に対して、離散フーリエ逆変換を施すステップである。窓関数乗算ステップは、窓関数乗算部が、逆変換ステップで離散フーリエ逆変換後の音声信号のうち処理セグメントの音声信号に対し、再びＨａｎｎ窓関数を乗算し、処理セグメントの長さの１／４だけずらして、前の処理セグメントの音声信号に加算するステップである。その他の応用例については、音声信号変換装置について説明した通りであり、その説明を省略する。

なお、上記プログラムコード自体は、換言すると、この音声信号変換方法をコンピュータに実行させるためのプログラムである。すなわち、このプログラムは、コンピュータに、２つのチャネルの入力音声信号のそれぞれについて、処理セグメントの長さの１／４ずつずらしながら読み出し、読み出した処理セグメントの音声信号に対し、Ｈａｎｎ窓関数を乗算した後、離散フーリエ変換を施す変換ステップと、変換ステップで離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出する抽出ステップと、抽出ステップで抽出された相関信号または相関信号及び無相関信号に対して、もしくは相関信号から生成された音声信号に対して、もしくは相関信号及び無相関信号から生成された音声信号に対して、離散フーリエ逆変換を施す逆変換ステップと、逆変換ステップで離散フーリエ逆変換後の音声信号のうち処理セグメントの音声信号に対し、再びＨａｎｎ窓関数を乗算し、処理セグメントの長さの１／４だけずらして、前の処理セグメントの音声信号に加算する窓関数乗算ステップと、を実行させるためのプログラムである。その他の応用例については、音声信号変換装置について説明した通りであり、その説明を省略する。

７０…音声データ再生装置、７１…デコーダ、７２…音声信号抽出部、７３…音声信号処理部、７４…Ｄ／Ａコンバータ、７５…増幅器、７６…スピーカ、８１…窓関数乗算部、８２…音声信号分離抽出部、８３…窓関数乗算部、８４…音声出力信号生成部。

Claims (5)

1. マルチチャネルの入力音声信号を、スピーカ群によって再生させるための音声信号に変換する音声信号変換装置であって、
   ２つのチャネルの入力音声信号のそれぞれについて、処理セグメントの長さの１／４ずつずらしながら読み出し、読み出した処理セグメントの音声信号に対し、Ｈａｎｎ窓関数を乗算した後、離散フーリエ変換を施す変換部と、
   該変換部で離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出する相関信号抽出部と、
   該相関信号抽出部で抽出された相関信号または該相関信号及び無相関信号に対して、もしくは前記相関信号から生成された音声信号に対して、もしくは前記相関信号及び前記無相関信号から生成された音声信号に対して、離散フーリエ逆変換を施す逆変換部と、
   該逆変換部で離散フーリエ逆変換後の音声信号のうち処理セグメントの音声信号に対し、再びＨａｎｎ窓関数を乗算し、処理セグメントの長さの１／４だけずらして、前の処理セグメントの音声信号に加算する窓関数乗算部と、
   を備えたことを特徴とする音声信号変換装置。
2. 前記窓関数乗算部で処理対象となる前記離散フーリエ逆変換後の音声信号は、前記相関信号または前記相関信号及び前記無相関信号に対して、時間領域あるいは周波数領域においてスケーリング処理が施された後の音声信号とすることを特徴とする請求項１に記載の音声信号変換装置。
3. マルチチャネルの入力音声信号を、スピーカ群によって再生させるための音声信号に変換する音声信号変換方法であって、
   変換部が、２つのチャネルの入力音声信号のそれぞれについて、処理セグメントの長さの１／４ずつずらしながら読み出し、読み出した処理セグメントの音声信号に対し、Ｈａｎｎ窓関数を乗算した後、離散フーリエ変換を施す変換ステップと、
   相関信号抽出部が、前記変換ステップで離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出する抽出ステップと、
   逆変換部が、前記抽出ステップで抽出された相関信号または該相関信号及び無相関信号に対して、もしくは前記相関信号から生成された音声信号に対して、もしくは前記相関信号及び前記無相関信号から生成された音声信号に対して、離散フーリエ逆変換を施す逆変換ステップと、
   窓関数乗算部が、前記逆変換ステップで離散フーリエ逆変換後の音声信号のうち処理セグメントの音声信号に対し、再びＨａｎｎ窓関数を乗算し、処理セグメントの長さの１／４だけずらして、前の処理セグメントの音声信号に加算する窓関数乗算ステップと、
   を有することを特徴とする音声信号変換方法。
4. コンピュータに、
   ２つのチャネルの入力音声信号のそれぞれについて、処理セグメントの長さの１／４ずつずらしながら読み出し、読み出した処理セグメントの音声信号に対し、Ｈａｎｎ窓関数を乗算した後、離散フーリエ変換を施す変換ステップと、
   該変換ステップで離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出する抽出ステップと、
   該抽出ステップで抽出された相関信号または該相関信号及び無相関信号に対して、もしくは前記相関信号から生成された音声信号に対して、もしくは前記相関信号及び前記無相関信号から生成された音声信号に対して、離散フーリエ逆変換を施す逆変換ステップと、
   該逆変換ステップで離散フーリエ逆変換後の音声信号のうち処理セグメントの音声信号に対し、再びＨａｎｎ窓関数を乗算し、処理セグメントの長さの１／４だけずらして、前の処理セグメントの音声信号に加算する窓関数乗算ステップと、
   を実行させるためのプログラム。
5. 請求項４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images