JP2006235102A - 音声処理装置および音声処理方法 - Google Patents

Abstract

【課題】 話者の声質に応じて好適な音声補正処理を行う。
【解決手段】 話者の音声が入力部１１から入力されると、解析部１２はフーリエ変換等の周波数変換処理を行って入力音声信号の特徴スペクトルを算出する。続いて、記憶部１３から男性用参照スペクトルと女性用参照スペクトルとを読み出し、それぞれについて差分スペクトルを算出する。そして、差分スペクトルから当該音声と標準音声の類似度を決定し、類似度の高い方の参照スペクトルから得られた差分スペクトルを後段の処理に使用することを決定し、当該差分スペクトルを補正処理部１４へ供給する。補正処理部１４は、供給された差分スペクトルに従って当該音声信号を補正する。出力部１５は、補正後の音声信号に従って放音処理を行う。
【選択図】図１

Description

本発明は、音声信号を補正処理する技術に関する。

話者の声の聞き取りを補助することを目的として、話者の音声をマイクで拾って所定の増幅率で増幅を行なった後スピーカから放音する音響装置が広く使用されている。しかしながら、声質や声量には個人差があるので、聴取者に聞き取りやすい音声が届くように、話者に応じてその都度音響装置を調整する必要が生じる場合がある。例えば小声で話す話者の場合は、マイクを話者に近づける、手動で増幅率を変更する、といった作業を行う必要がある。そこで、各話者の声量に応じて、再生する音量のレベルを自動的に調節する技術が提案されている（例えば、特許文献１および２を参照）。

しかしながら、上記技術で補正できるのは音量（すなわち音声信号の振幅）のみであって、声質（音声信号の周波数特性）を変更することはできない。従って、各話者の声質に応じて適切に再生音声を補正することはできない。例えば、声量が十分であっても、口の開け方が少なくもごもごとした話し方をする話者に対しては、その音量レベルを上げる処理を行っても、再生される音声が明瞭化されるわけではない。これでは、聴取者の聞き取りを適切に補助することにはならない。
特開平０７−１３１７７４号公報 特開平０９−１４９１３３号公報

本発明は、上述した背景に鑑みてなされたものであり、話者の声質に応じてその音声を好適に補正することにより、聴取者に聞き取りやすい音声を提供することのできる装置及び方法を提供することを目的とする。

上記課題を解決するため、本発明の音響装置は、音声信号を入力する入力手段と、複数の参照スペクトルを記憶する記憶部と、前記入力手段にて入力された音声信号の周波数特性を解析する解析手段と、前記解析手段にて解析された周波数特性と前記複数の参照スペクトルとの類似度を判定して、最も類似度の高い参照スペクトルを選択する選択手段と、前記選択手段にて選択された参照スペクトルと前記解析手段にて解析された周波数特性とに基づいて、補正内容を決定する決定手段と、前記決定手段にて決定された補正内容に従って前記音声信号を補正する補正手段と、前記補正手段にて補正された音声信号を出力する出力手段とを備えたことを特徴とする。本発明の音響装置によれば、話者に応じて好適な周波数補正処理が行なわれるので、聴取者に聞き取りやすい音声を提供することができる。

好ましい態様において、本発明の音響装置は、音声信号を入力する入力手段と、話者ごとに音声信号の周波数特性と補正内容とを対応付けて記憶する記憶部と、前記入力手段にて入力された音声信号の周波数特性を解析する解析手段と、前記解析手段にて解析された周波数特性に対応する補正内容を前記記憶部から抽出する抽出手段と、前記抽出手段にて抽出された補正内容に従って、前記音声信号を補正する補正手段と、前記補正手段にて補正された音声信号を出力する出力手段とを備えたことを特徴とする。本態様によれば、話者の補正内容を登録しておけば、好適な補正内容を特定するための処理を省略することができるので、演算処理の高速化やプロセッサ負荷の低減が図られる。

本発明は、他の観点において、複数の参照スペクトルを記憶部に記憶するステップと、入力された音声信号の周波数特性を解析する解析ステップと、前記解析ステップにおいて解析された周波数特性と前記複数の参照スペクトルとの類似度を判定して、最も類似度の高い参照スペクトルを選択する選択ステップと、前記選択ステップにおいて選択された参照スペクトルと前記解析ステップにて解析された周波数特性とに基づいて、補正内容を決定する決定ステップと、前記決定ステップにおいて決定された補正内容に従って前記音声信号を補正する補正ステップとを有する音声処理方法を提供する。

好ましい態様において、本発明の音声処理方法は、話者ごとに音声信号の周波数特性と補正内容とを対応付けて記憶部に記憶するステップと、入力された音声信号の周波数特性を解析する解析ステップと、前記解析ステップにおいて解析された周波数特性に対応する補正内容を前記記憶部から抽出する抽出ステップと、前記抽出ステップにおいて抽出された補正内容に従って前記音声信号を補正する補正ステップとを有することを特徴とする。

（構成）
図１は、本発明に係る音声処理装置１の機能構成を表す図である。同図に示すように、音声処理装置１は、制御部１０、入力部１１、解析部１２、記憶部１３、補正処理部１４、出力部１５、および各部を接続するバス１６から構成される。

制御部１０は、ＣＰＵ等のプロセッサを有し、音声処理装置１の各部を制御する。入力部１１は、マイクロフォン等の音声入力装置であって、音声を取り込んで電気信号に変換する装置である。入力された音声信号は、制御部１０の指示の下、解析部１２および補正処理部１４へ供給される。解析部１２は、ＤＳＰ（Digital signal processor）等の音声信号処理プロセッサ等を有し、時系列の入力音声信号の所定の部分を切り出してフーリエ変換等の周波数変換処理を行うことにより、入力された音声の特徴を表すスペクトルデータ（以下、特徴スペクトルデータという）を取得する機能を有している他、得られたスペクトルデータと記憶部１３に記憶されているスペクトルデータ（以下、参照スペクトルデータという）とを比較する機能を有する。具体的には、図２の（ａ）〜（ｃ）に示すように、周波数領域ごとに入力音声信号の特徴スペクトルと参照スペクトルとの差分を計算して差分スペクトルを求め、この差分スペクトルに基づき特徴スペクトルと参照スペクトルの類似度を決定する。得られた差分スペクトルは、さらに後段の補正処理部１４へ供給される。

補正処理部１４は、イコライザ１４１とエキサイタ１４２とから構成され、解析部１２から供給された差分スペクトルデータに基づいて変換処理の内容を決定し、入力部１１から供給された音声信号に対し決定した変換内容に従った変換処理を施す。イコライザ１４１は、音声信号の所定の周波数領域のゲインを所定の割合で増減させることにより、入力された音声の音量および音質を制御する回路である。具体的には、入力された音声信号に対し、解析部１２から供給される差分スペクトルに相当する周波数ゲインを入力音声信号に加算または減算する。これにより、入力音声の特性（音量および音質を含む）を標本音声の特性に近づけることができる。エキサイタ１４２は、入力音声の整数倍音の音声信号を生成する信号処理回路であって、イコライザ１４１の後段に設けられる。エキサイタ１４２は、イコライザ１４１では補正しきれない音声を補正することを目的とするものである。具体的には、入力信号のゲインがある周波数領域においてゼロであるためにその周波数領域をイコライザ１４１にて補正できない場合があるが、このような場合に、エキサイタ１４２によって、例えば入力信号の所定の周波数領域の成分を抽出して所定の周波数領域の信号成分を生成する処理が行われる。この生成処理の一例としては、音声の明瞭性を向上させることを目的として、入力音声の整数倍音（２倍音、３倍音等）の音声信号を付加する処理がある。このようにして補正処理部１４にて補正された音声信号は、出力部１５へ供給される。出力部１５はスピーカやＤ／Ａ変換回路等を有しており、入力音声信号に応じた楽音を発生させる装置である。

（動作）
（１）第１実施形態
以下、話者となりうる複数の参加者が１つの部屋に集まって会議を開いている場合において、その部屋に音声処理装置１を設置し、話者（発言者）の発した音声を補正して他の参加者（聴取者）に提供する場合を例にとって説明する。図３は、音声処理装置１の動作を表すフロー図であって、ある話者の音声が入力されてから補正後の音声が出力されるまでの動作を示したものである。図４は、音声処理装置１の動作を説明するためのブロック図であって、音声信号処理の流れを説明するためのチャートである。以下、図３および図４を参照しつつ、音声処理装置１の動作例について説明する。

本実施形態においては、記憶部１３には、男性話者の音声に対して適用される参照スペクトル（以下、標準男性スペクトルという）と女性話者の音声に対して適用される参照スペクトル（以下、標準女性スペクトルという）の２つが予め記憶されている。この参照スペクトルは、例えばアナウンサー等の音声（以下、標準音声という）から算出された周波数特性であって、いわば最も明瞭度の高い声質の特性を表したものといえる。男性用と女性用が存在するのは、性別による声帯構造等の違いに起因する声質（主に音高）の違いを考慮したものである。

さて、話者が音声を発し、この音声が入力部１１から入力されると（ステップＳ１０）、解析部１２は、フーリエ変換等の周波数変換処理を行って入力音声信号の特徴スペクトルＣを算出する（ステップＳ１２）。続いて、記憶部１３から標準男性スペクトルＳｍと標準女性スペクトルＳｆとを読み出し（ステップＳ１４）、それぞれについて差分スペクトルＤｍ、Ｄｆを算出する。そして、差分スペクトルから入力された音声と標準音声の類似度を決定し、類似度の高いほうの参照スペクトルから得られた差分スペクトルを後段の処理に使用することを決定し、この差分スペクトルを補正処理部１４へ供給する（ステップＳ１６）。すなわち、このステップにおいては、音声の主が男性であるか女性であるかが判定され、それに応じた参照スペクトルが決定される。図４においては、話者が男性であって差分スペクトルＤｍが選択された場合が示されている。補正処理部１４は差分スペクトルの供給を受けると、差分スペクトルに従って上述した補正処理を行う（ステップＳ１８）。なお、差分スペクトルの特性によっては、エキサイタ１４２による処理が省略される場合もある。出力部１５は、補正処理後の信号に従って放音処理を行う（ステップＳ２０）。以後、ステップＳ１０〜Ｓ２０の処理を逐次繰り返す。この結果、当該話者の発する音声の周波数特性が標本音声に基づいて、随時、自動的に補正されて出力される。このようにして、話者の肉声に比べて聞き取りやすい音声が聴取者に提供される。

なお、例えば話者が男性から女性に交替した場合、入力される音声信号に対して選択される参照スペクトルも標準男性スペクトルから標準女性スペクトルに変更されることになる。これにより、話者の音声に応じた補正処理が行われて音量および音質が調整されるので、話者が変更するたびに手入力で話者や補正方法等を指定し直すといった煩わしい作業を行う必要がない。

（２）第２実施形態
第１実施形態においては、入力される音声信号に対し、逐次、差分スペクトルを算出することにより、当該音声信号に対して行うべき補正処理の内容を決定したが、本実施形態においては、差分スペクトルの逐次計算を省略することを特徴とする。なお、音声処理装置の機能構成は第１実施形態と同様であるため、以下では、第１実施形態と異なる点を中心に説明する。

本実施形態においては、予め、上述した参照スペクトルに加えて、各話者に対応する差分データを記憶部１３に登録しておく。具体的には、まず、音声処理装置１のユーザ（会議等の参加者全員）に所定の例文を読ませ、音声信号を入力部１１から入力する。そして、解析部１２にてこの入力音声信号に対し上述した解析処理を行って特徴スペクトルを算出し、さらに記憶部１３に格納されている標準男性スペクトルまたは標準女性スペクトルの好適な方を用いて差分スペクトルを算出する。そして、算出した特徴スペクトルと差分スペクトルとを対応付けて記憶部１３に格納する。これにより、話者の音声と特徴と当該音声の補正内容とが一意に対応付けられたことになる。

続いて、図５を用いて本実施形態の動作を説明する。第１実施形態と同様、ステップＳ１０にて音声信号が入力されると、解析部１２にて当該音声信号から特徴スペクトルが算出される。（ステップＳ１２）。すると、解析部１２は記憶部１３に格納されている参照スペクトルの各々と算出した特徴スペクトルを比較し、一致する参照スペクトルが記憶部１３に存在するか否かを判定する（ステップＳ１３）。この一致・不一致の判定は、例えば、差分スペクトルの全周波数領域に亙る積分値が所定値以下となる場合に一致すると判定し、そうでない場合は一致しないと判定することができる。一致する参照スペクトルが見つからなかった、すなわち当該音声が登録されていない場合は（ステップＳ１３；Ｎｏ）、第１実施形態と同様に、男性用または女性用の参照スペクトルのうち類似度の高い方を用いて差分スペクトルを求める（ステップＳ１４およびＳ１６）。一方、一致する参照スペクトルが見つかった、すなわち当該音声が登録済みである場合は（ステップＳ１３；Ｙｅｓ）、当該特徴音声に対応した差分スペクトルを記憶部１３から読み出す（ステップＳ１５）。このステップ以後の補正処理部における動作は第１実施形態と同様であるので、説明を省略する。このように本実施形態によれば、一度特徴データと差分スペクトルとを登録しておけば、入力音声信号に対して逐一差分スペクトルを算出する必要がないので、音声処理に掛かる時間を短縮することができる。

（３）その他の実施形態
上述した実施形態においては、差分スペクトルを生成するために用いられる参照スペクトルは男性用および女性用の２つのみであった。しかしながら、この参照スペクトルとは理想的な音声特性を示したものであって、これが必ずしも全ての話者の音声の補正処理に対して有効に作用するとは限らない。例えば、男性でも声が高い人もいるし、あるいは使用する言語によって理想的な参照スペクトルは異なり得る。そこで、複数の参照スペクトルを記憶部１３に格納しておき、話者の声質を補正するのに最も適した参照スペクトルを選択してもよい。こうすれば、話者の声量や声質等に応じてよりきめ細やかに補正を行うことができる。また、第２実施形態において話者の特徴スペクトルを登録するにあたって、音声処理装置１にメモリカードのリード・ライト装置を設け、各話者は音声処理装置１を使用する前に、自己の音声の特徴データが書き込まれたメモリカードを音声処理装置１に読み込ませてもよい。

また、上記実施形態においては、補正処理部１４にて用いられる差分スペクトル、すなわち補正処理の内容を規定するスペクトルは、参照スペクトルと特徴スペクトルの単純な差分により求めていたが、これに限らず、例えば、解析部１２にて得られた差分値に周波数領域ごとに所定の重み係数を乗じて得られたスペクトルデータを補正処理部１４へ供給してもよい。要は、解析部１２にて得られた入力音声の特徴に応じた補正処理内容を決定することができればよい。

音声処理装置１は、一例としては、会議室やホール等の多数の聴取者が一堂に会する場所に設置することが考えられるが、音声処理装置１の設置場所や補正の対象となる音声については、これらに限らない。例えば、音声処理装置１を地理的に離れた参加者によって行われるテレビ会議システムの音声制御に適用することが可能である。テレビ会議システムとは、各参加者のいる場所に端末を設け、参加者の発した音声信号を参加者を撮像して得られた映像信号とともに当該端末から通信回線を通じて管理装置へ送信し、管理装置は当該音声信号と映像信号とを各端末へ送信することによって、各参加者に全参加者の映像および音声を提供するというものである。このようなテレビ会議システムにおいて、上記各端末に音声処理装置１の機能を実装すれば、各参加者の声量、声質、あるいは参加者のいる部屋の音響環境等のために聞き取りづらくなっている音声が当該端末に入力された場合であっても、入力された音声に応じて好適に補正処理がなされる。この結果、各参加者に明瞭な音声を提供することができるので、相手に発言内容を聴き返すといったことをしなくて済むので、会議の進行を円滑にすることができる。あるいは、音声処理装置１の機能を各端末ではなく管理装置に実装してもよい。この場合は、通信回線の状態によって歪んでしまった音声信号を、管理装置において補正処理を行うことによりその音質を改善することができる。あるいは、音声処理装置１を固定電話機や携帯電話機の送話口または受話口に取り付けて、通話音声を明瞭化する処理を行うことも可能である。また、音声処理装置１からマイクおよびスピーカ機能を省略してもよい。この場合、外部の装置から音声信号を受け取ると、上述した補正処理を行い、補正後の音声信号を外部の装置に提供することもできる。

第１実施形態においては、複数の話者の音声が混在する場合、例えば男性と女性の音声が混ざって入力された場合、どちらかの参照スペクトルを必ず選択することとしているが、最適ではない参照スペクトルを選択して補正処理を行うよりも却って補正処理をしないほうが聴取者には聞き取りやすい、という場合もあり得る。よって、解析部１２にて同時に話している話者が複数であるか否かを判定し、複数である場合は、参照スペクトルではなく汎用の参照スペクトル（例えば男性用と女性用の標準スペクトルの特徴をあわせた特徴を持つスペクトル）を用いてもよいし、算出した差分スペクトルのパワーに所定の係数を乗じて補正量を抑えてもよいし、あるいは補正処理を停止する信号を補正処理部１４に供給して補正処理を行わないこととしてもよい。なお、複数の話者の音声が混在した入力音声信号から各話者の音声信号成分を分離することのできる音声処理回路を入力部１１に設ければ、分離後の音声信号に対してそれぞれ話者に応じた処理を行うことができることは言うまでもない。

上記実施形態においては、入力音声信号は、その特徴スペクトルが参照スペクトルと全く一致するものでない限り、全て補正の対象となったが、これに限らず、例えば所定の条件を満たす音声信号のみを補正処理の対象としてもよい。具体的には、求めた差分スペクトルの全領域に亙る積分値が所定値以下である場合は、理想的に音声に近く十分明瞭で聞き取りやすいと推定されるから、あえて補正処理を行わないと決定してもよい。あるいは、第２実施形態において話者の音声を登録する際に、参照スペクトルの特性に十分に近い特性を持った音声については、その差分スペクトルに替えて、補正の必要がないという情報を当該話者の特徴スペクトルに対応付けて記憶部１３に格納しておいてもよい。入力音声がこの音声であると解析部１２にて判定されると、例えば、制御部１０は補正処理部１４に対して補正処理を停止する信号を供給する。このような構成によれば、実質的に聞き取りに支障のある音声に限って補正処理が行われるから、音声処理プロセッサに掛かる負荷を低減することができる。

本発明に係る音声処理装置１の機能ブロック図である。 音声解析処理の具体例を説明するための図である。 本発明の第１実施形態に係る動作を表すフロー図である。 同実施形態における信号処理の流れを表すチャート図である。 本発明の第２実施形態に係る動作を表すフロー図である。

符号の説明

１・・・音声処理装置、１０・・・制御部、１１・・・入力部、１２・・・解析部、１３・・・記憶部、１４・・・補正処理部、１５・・・出力部、１６・・・バス、１４１・・・イコライザ、１４２・・・エキサイタ。

Claims (5)

1. 音声信号を入力する入力手段と、
   複数の参照スペクトルを記憶する記憶部と、
   前記入力手段にて入力された音声信号の周波数特性を解析する解析手段と、
   前記解析手段にて解析された周波数特性と前記複数の参照スペクトルとの類似度を判定して、最も類似度の高い参照スペクトルを選択する選択手段と、
   前記選択手段にて選択された参照スペクトルと前記解析手段にて解析された周波数特性とに基づいて、補正内容を決定する決定手段と、
   前記決定手段にて決定された補正内容に従って前記音声信号を補正する補正手段と、
   前記補正手段にて補正された音声信号を出力する出力手段と、
   を備えた音声処理装置。
2. 音声信号を入力する入力手段と、
   話者ごとに音声信号の周波数特性と補正内容とを対応付けて記憶する記憶部と、
   前記入力手段にて入力された音声信号の周波数特性を解析する解析手段と、
   前記解析手段にて解析された周波数特性に対応する補正内容を前記記憶部から抽出する抽出手段と、
   前記抽出手段にて抽出された補正内容に従って、前記音声信号を補正する補正手段と、
   前記補正手段にて補正された音声信号を出力する出力手段と、
   を備えた音声処理装置。
3. 前記記憶部に記憶される参照スペクトルは、男性話者の標準的な音声の周波数特性スペクトルと、女性話者の標準的な音声の周波数特性スペクトルとを含む
   ことを特徴とする請求項１に記載の音声処理装置。
4. 複数の参照スペクトルを記憶部に記憶するステップと、
   入力された音声信号の周波数特性を解析する解析ステップと、
   前記解析ステップにおいて解析された周波数特性と前記複数の参照スペクトルとの類似度を判定して、最も類似度の高い参照スペクトルを選択する選択ステップと、
   前記選択ステップにおいて選択された参照スペクトルと前記解析ステップにて解析された周波数特性とに基づいて、補正内容を決定する決定ステップと、
   前記決定ステップにおいて決定された補正内容に従って前記音声信号を補正する補正ステップと、
   を有する音声処理方法。
5. 話者ごとに音声信号の周波数特性と補正内容とを対応付けて記憶部に記憶するステップと、
   入力された音声信号の周波数特性を解析する解析ステップと、
   前記解析ステップにおいて解析された周波数特性に対応する補正内容を前記記憶部から抽出する抽出ステップと、
   前記抽出ステップにおいて抽出された補正内容に従って前記音声信号を補正する補正ステップと、
   を有する音声処理方法。

Images