JP2011141540A - 音声信号処理装置、テレビジョン受像機、音声信号処理方法、プログラム、および、記録媒体 - Google Patents

Abstract

【課題】インパルス等の試験用音源を用いることなく、実際の発話音声である入力された音声信号における音声の明瞭度に応じて、自動的に発話音声の強調度合いを変更する音声信号処理装置を提供する。
【解決手段】音声信号処理装置１は、入力された音声信号における、音声の明瞭度を算出する類似度算出部５２と、類似度算出部５２が算出した明瞭度に応じて、上記音声信号における音声を強調するように上記音声のミキシング割合または上記音声の周波数特性を変更する制御部５３とを備えている。
【選択図】図１

Description

本発明は、テレビ受信装置またはラジオ受信装置などに設けられ、放送中の番組などの音声信号における音声を強調する音声信号処理装置、テレビジョン受像機、音声信号処理方法、プログラム、および、記録媒体に関するものである。

リビングまたは台所などにおいてテレビ放送などのコンテンツを視聴する場合には、音量が小さくても、台詞などの人の声が正確に認識できることが要求される。また、音声（人の声）を聞き取り易くするため、騒音または効果音については強調されないことが好ましい。

以上のことから、放送中、または再生中のコンテンツにおいて、状況に応じて音声のみを強調して、騒音や音楽などを抑制する必要がある。

この音声における音声明瞭度の評価方法としてＳＴＩ（Speech Transmission Index）等が周知となっている。ＳＴＩは、ホールの音響設計などの空間特性を把握するための指標として用いられる。ＳＴＩは、音源位置において発せられた音声波形の包絡線が、受音位置においてどのくらい保たれているかに着目した明瞭度評価指標によって表現される。ＳＴＩの測定には、実際の音声信号ではなく、帯域ノイズに正弦波変調を掛け合わせたインパルス等の試験信号が用いられる。受音位置におけるこの試験信号の波形が、ホールの残響または騒音等により変化する度合い、すなわち変調度（正弦波の振幅の比）が変化する度合いによりＳＴＩは求められる。また、ＳＴＩは、伝送系のインパルス応答から求められることも周知となっている。

また、特許文献１には、発話音声の明瞭度を評価する明瞭度評価装置が開示されている。具体的には、入力された音声信号を有音部と無音部とに分離し、その各々に対して位相相関分析をする。次に、有音部に対する位相相関分析結果と無音部に対する位相相関分析結果との類似度に基づいて、発話音声の位相相関関数ＰＣＩを求め、このＰＣＩに基づいて発話音声の明瞭度を評価する。

また、特許文献２には、電話のマイクロホンを通して暗騒音レベルを測定し、この測定結果に基づいて、低周波数を強調するイコライザの動作を変更する電話装置が開示されている。

また、特許文献３には、音楽シーン、音声シーンなどを、各種の音の特性に基づいて精度よく判別する音楽検出装置、および音声検出装置が開示されている。

また、特許文献４には、主に人の声を表す音声信号である共通成分を抽出し、左右チャンネルから当該共通成分を減算して得られる人の声以外の周囲の音（雑音、背景音楽、または効果音）を生成し、人の声と効果音等との周波数特性またはレベルを調整する音声信号変換装置が開示されている。

特開２００６−３２３２６５号公報（公開日：２００６年１１月３０日） 特開平９−１３５１９４号公報（公開日：１９９７年５月２０日） 特開２００９−６９４２５号公報（公開日：２００９年４月２日） 特開２００９−１９３０３１号公報（公開日：２００９年８月２７日）

しかし、上述した従来技術には次のような問題がある。

ＳＴＩは、上述したように、実際の音声信号ではなくインパルス等の試験用音源といった試験信号を用いる。このため、入力されたコンテンツまたは再生機における実際の音声信号の明瞭度を評価し、その評価結果に応じてコンテンツまたは再生機の音声信号における音声を強調することができない。したがって、ＳＴＩは実用性に欠けている。

また、特許文献１に記載の技術においては、ＰＣＩに基づいて発話音声の明瞭度を評価する。そして、明瞭度を評価し、明瞭度に応じて音声の出力レベルを制御するといった用途に利用可能との記載はあるが、その具体的方法は示されていない。

また、特許文献２に記載の技術は、暗騒音レベルの測定結果に基づいて、低周波数を強調するイコライザの動作を変更するものではある。しかしながら、暗騒音の増幅を抑えるものであり、明瞭度を高めるようにコンテンツに含まれる音声信号そのものを強調することはできない。

また、特許文献３に記載の技術は、音楽シーン、音声シーンなどを、各種の音の特性に基づいて精度よく判別できる。しかしながら、判別結果に応じて音声信号における音声を強調することはできない。

また、特許文献４に記載の技術は、左右チャンネルから主に人の声を表すスペクトルの共通成分を抽出し、当該共通成分の周波数特性またはレベルを調整する。しかしながら、特許文献４に記載の技術においては、抽出する共通成分に対する重み付け、すなわち人の声を聞こえ易くするための、共通成分を乗算する乗数の値が固定値であり、またイコライザの周波数特性も固定値である。したがって、共通成分の特性例えば標準音声との類似度に応じて音声信号における音声を強調するといったことはできない。

本発明は上記の問題に鑑みてなされたものであり、その目的は、インパルス等の試験用音源を用いることなく、実際の発話音声である入力された音声信号における音声の明瞭度に応じて、自動的に発話音声の強調度合いを変更する音声信号処理装置を提供することにある。

上記課題を解決するために、本発明に係る音声信号処理装置は、入力された音声信号における、音声の明瞭度を算出する算出手段と、上記算出手段が算出した明瞭度に応じて上記音声信号における音声を強調するように上記音声のミキシング割合または上記音声の周波数特性のうち少なくともいずれか一方を変更する制御手段とを備えていることを特徴としている。

上記の構成によれば、本発明の音声信号処理装置は、実際の発話音声である入力された音声信号を一定時刻毎に解析し、音声信号における音声の明瞭度を算出する。次に、算出した明瞭度の値に応じて音声信号における音声を強調するように音声のミキシング割合または音声の周波数特性のうち少なくともいずれか一方を変更する。したがって、実際の発話音声である入力された音声信号における音声の明瞭度に応じて音声信号における音声を強調するため、インパルス等の試験用音源を用いる必要がない。このため、即座に音声信号における音声を強調できる。また、入力された音声信号における音声の明瞭度に応じて、自動的に当該音声信号の強調度合いを変更できる。例えば、音声の明瞭度が高い場合、すなわち音声信号における音声を強調する必要がない場合に無駄に音声信号における音声を強調することを防止できる。また、音声の明瞭度がより低い場合に、音声信号における音声をより大きく強調することができる。以上のように、音声信号処理装置は、インパルス等の試験用音源を用いることなく、実際の発話音声である入力された音声信号における音声の明瞭度に応じて、自動的に発話音声の強調度合いを変更することによって、音声信号における音声を強調できるという効果を奏する。

上記課題を解決するために、本発明に係る音声信号処理方法は、入力された音声信号における、音声の明瞭度を算出する工程と、上記算出した明瞭度に応じて、上記音声信号における音声を強調するように上記音声のミキシング割合または上記音声の周波数特性のうち少なくともいずれか一方を変更する工程とを含んでいることを特徴としている。

上記の構成によれば、本発明に係る音声信号処理装置と同様の作用効果を奏する。

本発明に係る音声信号処理装置は、上記音声信号における音声区間を検出する音声区間検出手段をさらに備え、上記算出手段は、上記音声区間における音声の明瞭度を算出することが好ましい。

上記の構成によれば、上記音声信号処理装置は、上記音声信号における音声区間を検出することができる。したがって、算出手段は、入力された音声信号における音声区間における音声を確実に検出することができるという更なる効果を奏する。

また、上記音声信号処理装置は、音声を含んだ区間の明瞭度を算出するため、音声信号における全ての区間の明瞭度を算出する場合と比べ、省電力効果を得ることができる。

本発明に係る音声信号処理装置における上記算出手段は、上記音声信号における音声と標準音声との類似度を算出することによって、上記明瞭度を算出することが好ましい。

上記の構成によれば、算出手段は、実際の発話音声である入力された音声信号を一定時刻毎に解析し、音声信号における音声と標準音声との類似度を算出する。次に、算出した類似度の値に応じて音声信号における音声を強調する。したがって、実際の発話音声である入力された音声信号の類似度に応じて音声信号における音声を強調するため、インパルス等の試験用音源を用いる必要がない。このため、音声信号における音声をより確実に強調できる。また、入力された音声信号の類似度に応じて、自動的に当該音声信号の強調度合いを変更できる。例えば、標準音声との類似度が高い場合、すなわち音声信号における音声を強調する必要がない場合に無駄に音声信号における音声を強調することを防止できる。また、類似度がより低い場合に、音声信号における音声をより大きく強調することができる。以上のように、音声信号処理装置は、インパルス等の試験用音源を用いることなく、実際の発話音声である入力された音声信号を一定時刻毎に解析し、音声信号における音声と標準音声との類似度に応じて、自動的に発話音声の強調度合いを変更することによって、音声信号における音声を強調できるという効果を奏する。

本発明に係る音声信号処理装置は、上記音声信号の基本周波数を抽出する基本周波数抽出手段をさらに備えており、上記算出手段は、上記基本周波数抽出手段によって抽出された基本周波数に対応する、予め定められた所定周波数を複数抽出する所定周波数抽出手段と、上記予め定められた所定周波数各々に対応する、期待値として予め定められた複数の振幅各々と、上記音声信号の上記予め定められた所定周波数各々における実際の振幅各々との比率を上記所定周波数ごとに算出する比率算出手段と、上記算出された複数の比率に基づいて類似度を算出する比率処理手段とを備えていることが好ましい。

上記の構成によれば、上記基本周波数抽出手段は、入力された音声信号の基本周波数を抽出する。上記所定周波数抽出手段は、抽出された基本周波数に対応する、予め定められた所定周波数を複数抽出する。上記比率算出手段は、上記予め定められた所定周波数各々に対応する、期待値として予め定められた複数の振幅各々と、上記音声信号の上記予め定められた所定周波数各々における実際の振幅各々との比率を上記所定周波数ごとに算出する。上記比率処理手段は、上記算出された複数の比率に基づいて類似度を算出する。したがって、上記類似度算出手段は、入力された音声信号の周波数を測定することによって類似度を算出できるという更なる効果を奏する。

本発明に係る音声信号処理装置における上記比率処理手段は、上記算出された複数の比率の標準偏差を算出することによって、類似度を算出することが好ましい。

上記の構成によれば、上記比率処理手段は、上記算出された複数の比率の標準偏差を算出することによって、入力された音声信号の類似度を算出できるという更なる効果を奏する。

本発明に係る音声信号処理装置における上記予め定められた所定周波数は、ホルマント周波数であることが好ましい。

上記の構成によれば、上記類似度算出手段は、ホルマント周波数を用いて、入力された音声信号の類似度を算出できるという更なる効果を奏する。

本発明に係る音声信号処理装置は、右チャンネルに対応する右側音声信号のスペクトルおよび左チャンネルに対応する左側音声信号のスペクトルに共通して含まれている共通成分を抽出する共通成分抽出手段をさらに備えていることが好ましい。

上記の構成によれば、上記音声信号処理装置の上記共通成分抽出手段は、上記右側音声信号および上記左側音声信号に共通に含まれる共通成分を抽出する。共通成分とは、右側音声信号のスペクトルと左側音声信号のスペクトルとに共通して含まれるスペクトル成分である。つまり、共通成分とは、全ての周波数帯域において、右側音声信号のスペクトルと左側音声信号のスペクトルのうち、絶対値が小さい方のスペクトル成分を抽出したものである。したがって、音声信号処理装置は共通成分として、右側音声信号および左側音声信号に共通して含まれている主として人の声を表す音声信号の成分を抽出できるという更なる効果を奏する。

本発明に係る音声信号処理装置は、上記右側音声信号のスペクトルに第１の乗数を乗じる第１の乗算手段、上記左側音声信号のスペクトルに第２の乗数を乗じる第２の乗算手段、および上記共通成分のスペクトルに第３の乗数を乗じる第３の乗算手段をさらに備えており、上記制御手段は、上記第３の乗数を１より大きくするか、上記第１の乗数を１より小さくするか、または上記第２の乗数を１より小さくするように、上記第１、第２および第３の乗算手段の少なくとも１つを制御することが好ましい。

上記の構成によれば、上記音声信号処理装置の上記制御手段は、上記音声区間検出手段が検出した音声区間において、共通成分のスペクトルに乗じる第３の乗数を１より大きくするように第３の乗算手段を制御する。これにより、共通成分のスペクトルすなわち主に人の声に対応する音声信号における音声を強調する。または、上記制御手段は、上記音声区間において、第１の乗数を１より小さくするように第１の乗算手段を制御する。これにより、右側音声信号のスペクトルすなわち周囲の音に対応する音声信号を減衰することによって、相対的に主に人の声に対応する音声信号における音声を強調する。または、上記制御手段は、上記音声区間において、第２の乗数を１より小さくする第２の乗算手段を制御する。これにより、左側音声信号のスペクトルすなわち周囲の音に対応する音声信号を減衰することによって、相対的に主に人の声に対応する音声信号における音声を強調する。

以上のことから、上記音声信号処理装置は、入力された音声信号における音声区間において、乗算手段の少なくとも１つを制御することによって主に人の声に対応する音声信号における音声を強調できるという更なる効果を奏する。

本発明に係る音声信号処理装置は、上記右チャンネルに対応するイコライザである第１のレベル調整手段、上記左チャンネルに対応するイコライザである第２のレベル調整手段、および上記共通成分に対応する中央チャンネルに対応するイコライザである第３のレベル調整手段をさらに備えており、上記制御手段は、上記第３のレベル調整手段が音声信号を増幅するか、上記第１のレベル調整手段が音声信号を減衰するか、または上記第２のレベル調整手段が音声信号を減衰するように、上記第１、第２および第３のレベル調整手段の少なくとも１つを制御することが好ましい。

上記の構成によれば、上記音声信号処理装置の上記制御手段は、上記音声区間検出手段が検出した音声区間において、主に人の声を出力する中央チャンネルに対応する第３のレベル調整手段の音声信号を増幅する。これにより、主に人の声に対応する音声信号における音声を強調する。または、上記制御手段は、上記音声区間において、第１のレベル調整手段の音声信号すなわち周囲の音に対応する音声信号を減衰する。これにより、相対的に主に人の声に対応する音声信号における音声を強調する。または、上記制御手段は、上記音声区間において、第２のレベル調整手段の音声信号すなわち周囲の音に対応する音声信号を減衰する。これにより、相対的に主に人の声に対応する音声信号における音声を強調する。

以上のことから、上記音声信号処理装置は、入力された音声信号における音声区間において、レベル調整手段の少なくとも１つを制御することによって主に人の声に対応する音声信号における音声を強調できるという更なる効果を奏する。

本発明に係る音声信号処理装置は、上記共通成分における音声区間を検出する音声区間検出手段をさらに備え、上記制御手段は、上記音声区間検出手段が検出した音声区間以外の区間である非音声区間において、上記第１、第２および第３の乗数を１とすることが好ましい。

上記の構成によれば、上記音声信号処理装置の上記制御手段は、上記音声区間検出手段が検出した音声区間以外の区間である非音声区間において、上記第１、第２および第３の乗数を１とする。したがって、上記非音声区間において、無駄に音声信号における音声を強調する処理をしないという更なる効果を奏する。

また、上記音声信号処理装置を備えたテレビジョン受像機も本発明の範疇に含まれる。

なお、上記音声信号処理装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記音声信号処理装置をコンピュータにおいて実現するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明に係る音声信号処理装置は、入力された音声信号における、音声の明瞭度を算出する算出手段と、上記算出手段が算出した明瞭度に応じて上記音声信号における音声を強調するように上記音声のミキシング割合または上記音声の周波数特性のうち少なくともいずれか一方を変更する制御手段とを備えている。したがって、インパルス等の試験用音源を用いることなく、実際の発話音声である入力された音声信号を一定時刻毎に解析し、音声信号における音声の明瞭度に応じて、自動的に発話音声の強調度合いを変更できる。

また、本発明に係る音声信号処理方法は、入力された音声信号における、音声の明瞭度を算出する工程と、上記算出した明瞭度に応じて、上記音声信号における音声を強調するように上記音声のミキシング割合または上記音声の周波数特性のうち少なくともいずれか一方を変更する工程とを含んでいる。したがって、インパルス等の試験用音源を用いることなく、実際の発話音声である入力された音声信号を一定時刻毎に解析し、音声信号における音声の明瞭度に応じて、自動的に発話音声の強調度合いを変更できる。

本発明に係る音声信号処理装置の構成を示すブロック図である。 共通成分を説明するための図であり、（ａ）は右側音声信号スペクトル（Ｒチャンネル）と左側音声信号スペクトル（Ｌチャンネル）との共通成分を示す図であり、（ｂ）は共通成分のみを示す図である。 右側音声信号スペクトル（Ｒチャンネル）、および、左側音声信号スペクトル（Ｌチャンネル）から共通成分スペクトルを除いた残りの成分を示す図であり、（ａ）は左成分スペクトルＸＬ’（ｋ）を示す図であり、（ｂ）は右成分スペクトルＸＲ’（ｋ）を示す図である。 右成分出力スペクトルＸＲ”（ｋ）、および、左成分出力スペクトルＸＬ”（ｋ）を示す図であり、（ａ）は図３（ａ）に示す右成分スペクトルに所定の乗数を乗じて算出された右成分出力スペクトルＸＲ”（ｋ）を示す図であり、（ｂ）は図３（ｂ）に示す左成分スペクトルに所定の乗数を乗じて算出された左成分出力スペクトルＸＬ”（ｋ）を示す図である。 略２ｋＨｚをピークとした人の声の帯域を強調するパラメトリックイコライザの周波数特性例を示す図である。 等ラウドネス曲線に基づいて作成した略４ｋＨｚを最小値とするパラメトリックイコライザの周波数特性例を示す図である。 ロビンソンらが測定した等ラウドネス曲線を示す図である。 本発明に係る音声信号処理装置の構成を示すブロック図である。 本発明に係る音声検出装置の音声区間検出部、類似度算出部、および制御部の構成を示すブロック図である。 ある音声における所定の周波数を示す図である。 本発明に係る音声信号処理装置１ａの構成を示すブロック図である。 本発明に係る音声信号処理装置１ｂの構成を示すブロック図である。 テレビジョン受像機に本発明の音声信号処理装置を適用した場合の一例を示すブロック図である。

〔実施形態１〕
本発明に係る音声信号処理装置１の一実施形態について、図１〜図１０を参照して以下に説明する。

（音声信号処理装置１）
図１は、本発明に係る音声信号処理装置１の構成を示すブロック図である。本発明に係る音声信号処理装置１は、スペクトル変換部２と共通成分抽出部３（共通成分抽出手段）と乗算部４と逆変換部５とパラメトリックイコライザ（ＰＥＱ；Parametric Equalizer）部６と減算器７、８と入力端子１２と出力端子１３と音声区間検出部（音声区間検出手段）５１と類似度算出部（算出手段）５２と制御部（制御手段）５３とを備えている。

スペクトル変換部２は、スペクトル変換部２ａ、および２ｂを含んで構成される。乗算部４は、乗算部４ａ（左右成分低減手段、左右成分増幅手段）、乗算部４ｂ（中央音声出力信号増幅手段、中央音声出力信号低減手段）、および乗算部４ｃ（左右成分低減手段、左右成分増幅手段）を含んで構成される。逆変換部５は、逆変換部５ａ（左右音声出力信号生成手段）、逆変換部５ｂ（中央音声出力信号生成手段）、および逆変換部５ｃ（左右音声出力信号生成手段）を含んで構成される。ＰＥＱ部６は、ＰＥＱ部６ａ（左右レベル調整手段）、ＰＥＱ部６ｂ（中央レベル調整手段）、およびＰＥＱ部６ｃ（左右レベル調
整手段）を含んで構成される。入力端子１２は、入力端子１２ａ、および１２ｂを含んで構成される。出力端子１３は、出力端子１３ａ、および１３ｂ、１３ｃを含んで構成される。

音声信号処理装置１は、テレビ受信装置などに実装され、放送中の番組の音声信号における音声を強調する装置である。ここで、音声とは、台詞やボーカルなどの人の声を指し、人の声以外の音（例えば、周囲の雑音やＢＧＭや効果音など）と区別する。つまり、音声信号処理装置１は、放送番組中の人の声を強調する装置である。なお、音声信号と表現した場合、番組中の音声と音声以外の音も含めた全ての音を表す信号を指す。

本実施の形態では、音声信号処理装置１には、ＰＣＭ（Pulse Code Modulation）によってデジタル符号化された２チャンネルの音声信号が入力される。通常、ステレオ放送などでは、入力された２チャンネルの音声信号に基づいて、テレビに備えられている左右のスピーカに異なる音声信号が供給され、左右のスピーカからは異なる音声が出力される。

以下では、通常のステレオ放送において左右のスピーカに供給される音声信号を、それぞれ、左側音声信号（左チャンネルに対応する左側音声信号）、および右側音声信号（右チャンネルに対応する右側音声信号）と呼ぶ。右側音声信号、および、左側音声信号は、それぞれ、入力端子１２ａ、および、入力端子１２ｂを介して音声信号処理装置１に入力される。

また、本実施の形態では、音声信号処理装置１は、上記の右側音声信号と左側音声信号との２チャンネルの音声信号に基づいて、左右、および、中央の３つのスピーカを介して音声を出力する。つまり、音声信号処理装置１は、入力された２チャンネルの音声信号を、左チャンネル、右チャンネル、および、中央チャンネルの３チャンネルの音声出力信号に変換し、各スピーカに供給する構成である。

以下に、図１に示す音声信号処理装置１における音声強調の処理について説明する。

スペクトル変換部２は、各チャンネルの音声信号のスペクトルを算出するための各種の処理を行う。スペクトル変換部２について詳細に説明すれば次のとおりである。

まず、スペクトル変換部２ａは、入力端子１２ａを介して入力された右側音声信号を、１フレームあたり１０２４サンプルに分割する。音声信号のサンプリング周波数が４４．１ｋＨｚの場合、１フレームあたりの時間は、２３ｍｓ（＝（１÷４４１００）×１０２４）となる。

次に、スペクトル変換部２ａは、フレーム分割された音声信号に対し、ハニング窓などの窓関数を掛ける。窓関数を適用することにより、フレーム分割された音声信号についての周波数解析の誤差を低減できる。本実施の形態では、窓関数としてハニング窓を用いているが、ハニング窓以外の窓関数であってもよく、特に限定はされない。

次に、スペクトル変換部２ａは、フレームごとに、窓関数が適用された音声信号に対して高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行い、時間領域の音声信号を周波数領域のデータ、すなわち、スペクトル（以下では、右側音声信号スペクトルと呼ぶ）に変換して、共通成分抽出部３と減算器７とに出力する。

ここで、右側音声信号をｘｒ（ｎ）、右側音声信号スペクトルをＸＲ（ｋ）、窓関数ｗ（ｎ）とすると、スペクトル変換部２ａは、次式によって右側音声信号スペクトルＸＲ（ｋ）を算出する。なお、ｎはサンプリング番号である。本実施の形態においては、上述したとおり、１フレームに１０２４サンプルが含まれており、スペクトル変換部２ａは１０２４ポイントのＦＦＴを行う。

本実施の形態では、音声信号から周波数スペクトルを算出するためにＦＦＴを行っているが、修正離散コサイン変換（ＭＤＣＴ：Modified Discrete Cosine Transform）によって周波数スペクトルを算出する構成であってもよく、特に限定はされない。

また、スペクトル変換部２ｂは、スペクトル変換部２ａと同様の処理により、入力端子１２ｂを介して入力された左側音声信号のスペクトル（以下では、左側音声信号スペクトルと呼ぶ）を算出し、共通成分抽出部３と減算器８とに出力する。ここで、左側音声信号をｘｌ（ｎ）、左側音声信号スペクトルをＸＬ（ｋ）、窓関数ｗ（ｎ）とすると、スペクトル変換部２ａは、次式によって左側音声信号スペクトルＸＬ（ｋ）を算出する。

共通成分抽出部３は、右側音声信号スペクトルと左側音声信号スペクトルとの共通成分を抽出する。図２は、共通成分を説明するための図であり、（ａ）は右側音声信号スペクトル（Ｒチャンネル）と左側音声信号スペクトル（Ｌチャンネル）との共通成分を示す図であり、（ｂ）は共通成分のみを示す図である。

共通成分抽出部３は、共通成分スペクトルＣ（ｋ）をＣ（ｋ）＝ＭＩＮ（ＸＬ（ｋ），ＸＲ（ｋ））によって算出し、減算器７、８および音声区間検出部５１に出力する。つまり、共通成分抽出部３は、ＸＲ（ｋ）とＸＬ（ｋ）との小さいほうのスペクトルを共通成分として抽出する。

上述したとおり、本発明の音声信号処理装置１には、ステレオ放送の番組などにおける２チャンネルの入力信号が入力される。一般的なステレオ放送の番組では、音声は音声収録用の１チャンネルマイクによって収録され、ボーカルを除くＢＧＭや効果音等は、予め左右の２つのマイク（ステレオ）で収録されている。これら３つのマイクによって録音された番組を２チャンネルでステレオ放送する場合、３チャンネルの信号を２チャンネルにダウンミックスすることになる。すなわち、音声収録用の１チャンネルマイクによって録音された人の声の信号は、左右の２つのマイクによって録音された周囲の音の信号とミックスされて、２チャンネルの音声信号が送出されることになる。このとき、人の声の信号と周囲の音の信号とをミックスする比率は、放送局において設定される。この場合、上記の右側音声信号は右マイク、および、音声収録用の１チャンネルマイクによって録音された音声をミックスした音声信号である。また、上記の左側音声信号は、左マイク、および、音声収録用の１チャンネルマイクによって録音された音声をミックスした音声信号である。そのため、この場合にも、人の声を表す音声信号は、左側音声信号、および、右側音声信号に共通して含まれる。なお、ボーカルを含む音楽は、同様にボーカルが、音声収録用の１チャンネルマイクによって収録され、楽器音は左右の２つのマイク（ステレオ）で収録されたのち、レコーディングエンジニアによって２チャンネルにダウンミックスされている。前述のような背景を利用してダウンミックスされた２チャンネルの音声信号を、元のダウンミックス前の３チャンネルにおおよそ復元する。ここで、おおよそとは、予め左右の２つのマイク（ステレオ）で収録された信号にも共通成分があり、完全に復元するものではないことを意味する。

つまり、共通成分抽出部３は、右側音声信号、および、左側音声信号に共通して含まれている主として人の声を表す音声信号の成分を、共通成分として抽出する。

減算器７は、スペクトル変換部２ａから出力された右側音声信号スペクトルＸＲ（ｋ）から、共通成分抽出部３から出力された共通成分スペクトルＣ（ｋ）を減算して、右成分スペクトルＸＲ’（ｋ）を算出し、乗算部４ａに出力する。つまり、減算器７は、ＸＲ’（ｋ）＝ＸＲ（ｋ）−Ｃ（ｋ）の演算を行う。

減算器８は、スペクトル変換部２ｂから出力された左側音声信号スペクトルＸＬ（ｋ）から、共通成分抽出部３から出力された共通成分スペクトルＣ（ｋ）を減算して、左成分スペクトルＸＬ’（ｋ）を算出し、乗算部４ｃに出力する。つまり、減算器８は、ＸＬ’（ｋ）＝ＸＬ（ｋ）−Ｃ（ｋ）の演算を行う。

図３は、右側音声信号スペクトル（Ｒチャンネル）、および、左側音声信号スペクトル（Ｌチャンネル）から共通成分スペクトルを除いた残りの成分を示す図であり、（ａ）は左成分スペクトルＸＬ’（ｋ）を示す図であり、（ｂ）は右成分スペクトルＸＲ’（ｋ）を示す図である。

ここで、左成分スペクトルＸＬ’（ｋ）、および、右成分スペクトルＸＲ’（ｋ）は、主として人の声以外の音（ＢＧＭや効果音や雑音などの周囲の音）を表す成分である。

乗算部４ａは、減算器７から出力されたＸＲ’（ｋ）に乗数Ｍ１（０≦Ｍ１≦１）を乗じてＸＲ”（ｋ）（＝Ｍ１×ＸＲ’（ｋ））を算出し、逆変換部５ａに出力する。また、乗算部４ｂは、共通成分抽出部３から出力されたＣ（ｋ）に乗数Ｍ２（０≦Ｍ２≦１）を乗じてＣ”（ｋ）（＝Ｍ２×Ｃ（ｋ））を算出し、逆変換部５ｂに出力する。さらに、乗算部４ｃは、減算器８から出力されたＸＬ’（ｋ）に乗数Ｍ１を乗じてＸＬ”（ｋ）（＝Ｍ１×ＸＬ’（ｋ））を算出し、逆変換部５ｃに出力する。

以下では、ＸＲ”（ｋ）、Ｃ”（ｋ）、および、ＸＬ”（ｋ）を、それぞれ、右成分出力スペクトル、共通成分出力スペクトル、および、左成分出力スペクトルと称する。

図４は、右成分出力スペクトルＸＲ”（ｋ）、および、左成分出力スペクトルＸＬ”（ｋ）を示す図であり、（ａ）は図３（ａ）に示す右成分スペクトルに乗数Ｍ１を乗じて算出された右成分出力スペクトルＸＲ”（ｋ）を示す図であり、（ｂ）は図３（ｂ）に示す左成分スペクトルに乗数Ｍ１を乗じて算出された左成分出力スペクトルＸＬ”（ｋ）を示す図である。

左成分出力スペクトルＸＬ”（ｋ）、および、右成分出力スペクトルＸＲ”（ｋ）は、周囲の音（人の声以外の音）を表す音声信号の成分である。

逆変換部５ａは、周波数領域の情報である右成分出力スペクトルＸＲ”（ｋ）を逆ＦＦＴによって時間領域の信号波形に変換して右のスピーカに出力する音声出力信号（右チャンネルに対応する右側音声出力信号）を生成し、ＰＥＱ部６ａに出力する。また、逆変換部５ｂは、逆変換部５ａと同様の処理を行い、周波数領域の情報である共通成分出力スペクトルＣ”（ｋ）を逆ＦＦＴによって時間領域の信号波形に変換して中央のスピーカに出力する音声出力信号（中央チャンネルに対応する中央音声出力信号）を生成し、ＰＥＱ部
６ｂに出力する。逆変換部５ｃは、逆変換部５ａと同様の処理を行い、周波数領域の情報である左成分出力スペクトルＸＬ”（ｋ）を逆ＦＦＴによって時間領域の信号波形に変換して左のスピーカに出力する音声出力信号（左チャンネルに対応する左側音声出力信号）を生成し、ＰＥＱ部６ｃに出力する。

なお、時間波形をＦＦＴして周波数領域に変換し、上記共通成分抽出等を行った後、逆ＦＦＴにより再度時間軸の信号波形に戻す場合、フレームのつなぎ目で発生する歪み（高調波成分）を軽減するため、ＦＦＴ処理前の時間波形の切り出しの始めと終わりの部分を、滑らかに０に近づける窓関数をかける。本実施の形態では、フレームの切り出し時間をｔとすると、切り出し時間を１／２ｔだけずらして、切り出した夫々の波形にハニング窓関数を掛け、逆ＦＦＴ後のデータに前後１／２ｔのオーバーラップを行って加算し、連続する時間波形に戻す。本実施の形態では、ハニング窓の形状にあわせて、１／２ｔのオーバーラップを行っているが、窓の形状に応じたオーバーラップ長を設定すればよく、特に限定はされない。

臨場感を高めたい場合、すなわち、周囲の音を強調したい場合、ＰＥＱ部６ａは、逆変換部５ａから出力される右チャンネルの音声出力信号に対し、等ラウドネス曲線の特性のパラメトリックイコライザを施し、出力端子１３ａを介して右チャンネルのスピーカに出力する。あるいは、乗算部４ａにおいて、減算された右側音声信号に対し、１より大きい乗数を乗じることによっても臨場感を高めることができる。

図５は、略２ｋＨｚをピークとした人の声の帯域を強調するパラメトリックイコライザの周波数特性例を示す図であり、図６は、等ラウドネス曲線に基づいて作成した略４ｋＨｚを最小値とするパラメトリックイコライザの周波数特性例を示す図である。また、図７はロビンソンらが測定した等ラウドネス曲線を示す図である。

人の声を聞こえ易くしたい場合、すなわち、人の声を強調したい場合、ＰＥＱ部６ｂは、逆変換部５ｂから出力される中央チャンネルの音声出力信号に対し、図５の如く、２ｋＨｚをピークとした音声帯域を強調するパラメトリックイコライザを施し、出力端子１３ｂを介して中央チャンネルのスピーカに出力する。あるいは、乗算部４ｂにおいて、抽出された共通成分に対し、１より大きい乗数を乗じることによっても人の声を聞こえ易くできる。

また、ＰＥＱ部６ｃは、ＰＥＱ部６ａと同様、臨場感を高めたい場合、すなわち、周囲の音を強調したい場合、逆変換部５ｃから出力される左チャンネルの音声出力信号に対し、図６の如く、等ラウドネス曲線の特性のパラメトリックイコライザを施し、出力端子１３ｃを介して左チャンネルのスピーカに出力する。あるいは、乗算部４ｃにおいて、減算された左側音声信号に対し、１より大きい乗数を乗じることによっても臨場感を高めることができる。

ここで、ラウドネスとは、人間の音の感じ方を感覚量として表した数値である。ラウドネスは、音の強度を表す物理量である音圧とは区別される。一般的に人間の聴覚は４ｋＨｚ付近（赤ちゃんの鳴き声など）において最も感度がよく、そこから低周波または高周波になるにつれ、感度が悪くなる。そのため、同じ音の大きさに聞こえた場合であっても、実際の物理的な音圧レベルは異なる。また、音圧が２倍になったとしても、人は音の大きさが２倍大きくなったと感じるわけではない。そして、等ラウドネス曲線とは、１ｋＨｚの基準音と等しいラウドネスに聞こえた他の周波数の音圧をプロットしたものであり、図７の如く、４ｋＨｚ付近において最小値をとる略Ｖ字の曲線となる。また、等ラウドネス曲線は、音圧が高くなるにつれて特性が平坦に近づくため、図６で示すパラメトリックイコライザの特性も入力音声信号の入力レベルに応じて変更することが好ましい。

また、パラメトリックイコライザは、オーディオ周波数帯域を数分割することによって、それぞれの帯域ごとに通過レベルのゲイン（１以下を含む）等を調整できるイコライザであり、「中心周波数」、「ゲイン」、「Ｑ（Quality factor）」という３つのパラメータにより、通過帯域の中心周波数や周波数帯域幅を独立に変更調節することができる。ここでＱ値とは、中心周波数のレベルから３dＢ減衰した、または増幅された周波数帯域幅
（Δω）と中心周波数ω０の比Ｑ＝ω０／Δωで表される。

つまり、上述したＰＥＱ部６ａ、および、ＰＥＱ部６ｃでは、等ラウドネス曲線の特性、すなわち、４ｋＨｚにおいて通過レベルが最小となる略Ｖ字の特性を示すように「中心周波数」と「ゲイン」と「Ｑ（Quality factor）」とが設定されたイコライザが施される。

なお、本実施の形態では、２ｋＨｚをピークとした音声帯域を強調する手段として、ＰＥＱ部６ｂを使用したが、ＰＥＱ以外のフィルタと増幅器の組み合わせを用いて実現されてもよい。また、ＦＦＴ後のスペクトルに対して、乗算部４ｂを用い、２ｋＨｚをピークとする重み付けを直接行っても良い。また、周囲の音を強調する手段として、ＰＥＱ部６ａとＰＥＱ部６ｃを使用したが、ＰＥＱ以外のフィルタと増幅器の組み合わせを用いて実現されてもよい。また、ＦＦＴ後のスペクトルに対して、乗算部４ａと乗算部４ｃを用いて、等ラウドネス曲線の特性の重み付けを行っても良く、特に限定されない。

また、ＰＥＱ部６はパラメトリックイコライザに限定されず、パラメトリックイコライザ以外のイコライザを使用してもよい。例えば、グラフィックイコライザなど、他のイコライザを用いて実現されてもよい。

本発明に係る音声信号処理装置１では、左成分スペクトルＸＬ’（ｋ）と右成分スペクトルＸＲ’（ｋ）とに乗じる乗数Ｍ１を小さくすれば音声信号における音声を強調することができる。例えば、共通成分スペクトルに乗じる乗数を１として共通成分スペクトルを生成し、右成分スペクトルと左成分スペクトルとに１未満の乗数を乗じて、左成分出力スペクトル、および右成分出力スペクトルを小さくした場合、人の声に対応する音声出力信号の大きさは変化せず、周囲の音に対応する音声出力信号のみが小さくなるため、共通成分出力スペクトル、左成分出力スペクトル、および右成分出力スペクトルから生成された各音声出力信号に基づいてスピーカから出力される音声は、人の声が強調される。また、右成分スペクトルと左成分スペクトルとに乗数として０を乗じれば、より人の声を強調できる。

一方、共通成分スペクトルの大きさを変化させることなく、左成分スペクトルＸＬ’（ｋ）と右成分スペクトルＸＲ’（ｋ）とに乗じる乗数Ｍ１を大きくすれば、周囲の音に対応する音声出力信号が大きくなり、スピーカから出力される周囲の音が大きくなるため、臨場感を高めることができる。

また、右成分スペクトルと左成分スペクトルの大きさを変化させることなく、共通成分スペクトルＣ（ｋ）に乗じる乗数を大きくすれば音声信号における音声を強調することができる。一方、共通成分スペクトルＣ（ｋ）に乗じる乗数を小さくすれば臨場感を高めることができる。さらに、共通成分スペクトルに乗数として０を乗じれば、より臨場感を高めることができる。

本実施の形態では、右成分出力スペクトルＸＲ”（ｋ）、共通成分出力スペクトルＣ”（ｋ）、および、左成分出力スペクトルＸＬ”（ｋ）を算出する場合、右成分スペクトルＸＲ’（ｋ）、共通成分スペクトルＣ（ｋ）、および、左成分スペクトルＸＬ’（ｋ）に、乗数Ｍ１、Ｍ２として０〜１の間の数値を乗じる構成だが、１以上の乗数を乗じる構成であってもよく、特に限定はされない。また、左成分スペクトルＸＬ’（ｋ）と右成分スペクトルＸＲ’（ｋ）とに、それぞれ、異なる乗数を乗じる構成であってもよく、特に限定はされない。

なお、本実施の形態では、左成分スペクトルＸＬ’（ｋ）、右成分スペクトルＸＲ’（ｋ）、および共通成分スペクトルＣ（ｋ）にＭ１（０〜１の乗数）を乗じることによって、最終的に左チャンネル、右チャンネル、および中央チャンネルに出力される音声出力信号のレベルバランスを変化させる構成であるが、左成分スペクトルＸＬ’（ｋ）、右成分スペクトルＸＲ’（ｋ）、および共通成分スペクトルＣ（ｋ）に乗数を乗じることなく逆ＦＦＴを施して時間波形に変換し、変換により得られた左チャンネル、右チャンネル、および中央チャンネルに対応する音声出力信号を乗数Ｍ１、Ｍ２と同じ入出力特性となる増幅、減衰器によってそれぞれ増幅、減衰して、各音声出力信号のレベルバランスを変化させる構成であってもよく、特に限定はされない。

すなわち、乗算部４は、スペクトル成分に乗数を乗じる構成のほか、スペクトル成分に逆ＦＦＴなどを施して時間波形を表す音声信号に変換した後、減衰器によって減衰させる構成、あるいは、増幅器によって増幅させる構成によって実現されてもよく、特に限定はされない。

また、乗算部４は、加減算器によって構成されることは周知の事実である。このように、乗算部４は、乗算器に限定されず、加算器、減算器、または除算器、或いは、これらの組み合わせによって実現される構成であってもよい。

また、この音声出力信号のレベルバランスを変化させる処理は、ＰＥＱ部６において実現されてもよいし、ＰＥＱ部６以外のフィルタと増幅器の組み合わせを用いて実現されてもよく、特に限定はされない。例えば、ＰＥＱ部６ｂにおいて主に人の声に対応する音声信号を増幅すれば、人の声を強調する構成を実現できる。また、ＰＥＱ部６ａまたは６ｃにおいて周囲の音に対応する音声信号を増幅すれば、臨場感を高める構成を実現できる。

次に、音声信号処理装置１において、乗算部４の乗数Ｍ１および乗数Ｍ２、またはＰＥＱ部６の音声信号の増幅を、実際の音声の類似度に基づき変化させることによって、音声出力信号のレベルバランスを変化させる処理の概要を図１を参照して説明する。

音声区間検出部５１は、共通成分抽出部３の出力から実際に人の声が発音されている、すなわち発話中の時刻間を検出する。次に、音声区間検出部５１は、検出した時刻間に基づいて、共通成分のうちの音声区間のデータそのものを類似度算出部５２に出力する。類似度算出部５２は、この音声区間のデータにおける類似度を算出する。次に、制御部５３は、類似度算出部５２が算出した類似度に基づいて、乗算部４の乗数を変更するか、ＰＥＱ部６の特性を変化させる。これにより、音声信号処理装置１は、音声出力信号のレベルバランスを変化させる。

次に、音声区間検出部５１、類似度算出部５２、および制御部５３における処理について、図８〜図１０を参照して詳細に説明する。

図８は、音声区間検出部５１の構成を示すブロック図である。音声区間検出部５１は、フレーム分割部３７、窓掛け部３８、スペクトル変換部３９、および音声検出部４０を備えている。音声検出部４０はさらに、対数スペクトル算出部４１、ケプストラム算出部４２、基本周波数抽出部４３、基本周波数保存部４４、ローパスフィルタ部４５、フレーズ成分解析部４６、アクセント成分解析部４７、および音楽／非音声判定部４８を備えている。

フレーム分割部３７は、共通成分抽出部３から入力された主として音声信号である共通成分をフレーム分割し、窓かけ部３６に出力する。本実施の形態では、フレーム分割部３７は、１フレームあたり１０２４サンプルに分割する。共通成分のサンプリング周波数が４４．１ｋＨｚの場合、１フレームあたりの時間は、２３ｍｓ（＝（１÷４４１００）×１０２４）となる。

窓掛け部３８は、フレーム分割された共通成分に対しハニング窓などの窓関数を掛けて、スペクトル変換部３９に出力する。窓掛け部３８において窓関数を適用することにより、フレーム分割された共通成分についての周波数解析の誤差を低減できる。

スペクトル変換部３９は、窓掛け部３８から出力された共通成分に対してＦＦＴ（Fast Fourier Transform）を行い、時間領域の共通成分を周波数領域のデータ、すなわち、スペクトルに変換して、音階スペクトル算出部に出力する。スペクトル変換部３９では、フレーム単位にＦＦＴが行われることになる。本実施の形態においては、上述したとおり、１フレームには１０２４サンプルが含まれており、スペクトル変換部３９は、１０２４ポイントのＦＦＴを行う。

対数スペクトル算出部４１は、スペクトル変換部３９から受け取るフレームごとのスペクトル（以下では、入力スペクトルと呼ぶ）を基底１０の対数に変換する。つまり、対数スペクトル算出部４１は、入力スペクトルをｓｐとするとｌｏｇ１０｜ｓｐ｜を算出する。以下では、ｌｏｇ１０｜ｓｐ｜を対数スペクトルと呼ぶ。そして、対数スペクトル算出部４１は、対数スペクトルをケプストラム算出部４２に出力する。

ケプストラム算出部４２は、対数スペクトル算出部４１から出力される対数スペクトルに対して１０２４ポイントのＩＦＦＴ（Inverse Fast Fourier Transform）を施し、時間領域のデータであるケプストラムに変換する。そして、ケプストラム算出部４２は、算出したケプストラムを、基本周波数抽出部４３に出力する。

基本周波数抽出部４３は、ケプストラム算出部４２から出力されるケプストラムの高次側（約ｆｓ／８００以上）の最大ケプストラムを抽出し、最大ケプストラムとなるケフレンシーの逆数を基本周波数（Ｆ０）として算出する。基本周波数抽出部４３は、基本周波数（Ｆ０）を基本周波数保存部４４とローパスフィルタ部４５とに出力する。

なお、基本周波数抽出部４３が基本周波数を抽出する方法は、上述した方法に限定されない。例えば、基本周波数抽出部４３は、調波成分の瞬時周波数を求めることによって、基本周波数を算出してもよい。

基本周波数保存部４４は、基本周波数抽出部４３から出力される基本周波数（Ｆ０）を記憶する。つまり、基本周波数保存部４４は、全てのフレームについて基本周波数（Ｆ０）を履歴データとして記憶している。

ローパスフィルタ部４５は、基本周波数抽出部４３から出力された基本周波数（Ｆ０）、すなわち、現在フレームの基本周波数（Ｆ０）を低域濾過して、フレーズ成分解析部４６に出力する。また、ローパスフィルタ部４５は、基本周波数保存部４４から、過去フレームについて基本周波数（Ｆ０）を取り出し、現在フレームの基本周波数（Ｆ０）と同様に、低域濾過して、フレーズ成分解析部４６に出力する。ローパスフィルタ部４５において低域の基本周波数（Ｆ０）、すなわち、ノイズとなるような基本周波数（Ｆ０）の情報についてはフレーズ成分解析部４６やアクセント成分解析部４７に出力されずに、除去される。ローパスフィルタ部４５における低域濾過の結果、現在フレームの基本周波数（Ｆ０）が出力されない場合、現在フレームについて音声シーンであるか否かの判定は行われない。

本実施の形態では、ローパスフィルタ部４５は、基本周波数保存部４４から、時間的に現在フレームに近い順に、順次、過去フレームの基本周波数（Ｆ０）を取り出して低域濾過して出力する処理を繰り返す。この処理は、４つの基本周波数（Ｆ０）がフレーズ成分解析部４６に出力されるまで繰り返される。最終的に、ローパスフィルタ部４５は、現在フレームと４つの過去フレームとの合計５つのフレームについて、基本周波数（Ｆ０）をフレーズ成分解析部４６に出力する。

フレーズ成分解析部４６は、ローパスフィルタ部４５から出力された５つのフレームの基本周波数（Ｆ０）について、基本周波数（Ｆ０）が単調減少、または、単調増加しているか（すなわち、単調に変化しているか）を解析する。そして、フレーズ成分解析部４６は、上記の５つのフレーム間における基本周波数（Ｆ０）の単調減少、または、単調増加が、所定の周波数の範囲内（例えば、１００Ｈｚ〜４００Ｈｚの間）にあるか否かを判定する。さらに、フレーズ成分解析部４６は、上記の５つのフレーム間における基本周波数（Ｆ０）の単調減少、または、単調増加（すなわち、単調に変化していること）を検出した場合、その単調減少、または、単調増加における基本周波数（Ｆ０）の変化の幅が所定の範囲内（例えば、１２０Ｈｚ以内）にあるか否かを判定する。

フレーズ成分解析部４６は、上記の５つのフレーム間における基本周波数（Ｆ０）の単調減少、または、単調増加が、所定の周波数の範囲内（例えば、１００Ｈｚ〜４００Ｈｚの間であり、特許請求の範囲における予め定められた周波数の範囲内）にあり、かつ、その単調減少、または、単調増加の変化の幅が所定の範囲内（例えば、１２０Ｈｚ以内であり、特許請求の範囲における予め定められた周波数の幅）にあった場合、その単調減少、または、単調増加を、人の声によるフレーズを表すフレーズ成分であると判定する。そして、フレーズ成分解析部４６は、フレーズ成分が含まれているか否かを表すフレーズ解析結果情報をアクセント成分解析部４７に出力する。また、本実施の形態においては、フレーズ成分解析部４６は、ローパスフィルタ部４５からの５つのフレームの基本周波数（Ｆ０）を、フレーズ解析結果情報とともにアクセント成分解析部４７に出力する。

アクセント成分解析部４７は、フレーズ成分解析部４６から出力された５つのフレームの基本周波数（Ｆ０）について、基本周波数（Ｆ０）が単調増加からフラットへの遷移（変化なし）または、単調減少からフラットへの遷移（変化なし）であるか（すなわち、単調変化から一定周波数へ変化）を解析する。また、アクセント成分解析部４７は、フラット（変化なし）から単調減少への遷移、または、フラット（変化なし）から単調増加への遷移であるか（すなわち、一定周波数から単調変化へ変化）を解析する。そして、アクセント成分解析部４７は、上記の５つのフレーム間における基本周波数（Ｆ０）の単調増加からフラットへの遷移、単調減少からフラットへの遷移、フラットから単調減少への遷移、または、フラットから単調増加への遷移が、所定の周波数の範囲内（例えば、１００Ｈｚ〜４００Ｈｚの間であり、特許請求の範囲における予め定められた周波数の範囲内）にあるか否かを判定する。さらに、アクセント成分解析部４７は、上記の５つのフレーム間における基本周波数（Ｆ０）の単調増加からフラットへの遷移、単調減少からフラットへの遷移、フラットから単調減少への遷移、または、フラットから単調増加への遷移を検出した場合、その基本周波数（Ｆ０）の変化の幅が所定の範囲内（例えば、１２０Ｈｚ以内であり、特許請求の範囲における予め定められた周波数の幅）にあるか否かを判定する。

アクセント成分解析部４７は、上記の５つのフレーム間における基本周波数（Ｆ０）の単調増加からフラットへの遷移、単調減少からフラットへの遷移、フラットから単調減少への遷移、または、フラットから単調増加への遷移が、所定の周波数の範囲内（例えば、１００Ｈｚ〜４００Ｈｚの間）にあり、かつ、その変化の幅が所定の範囲内（例えば、１２０Ｈｚ以内）にあった場合、人の声によるアクセントを表すアクセント成分であると判定する。そして、アクセント成分解析部４７は、アクセント成分が含まれているか否かを表すアクセント解析結果情報を音声／非音声判定部４８に出力する。また、本実施の形態においては、アクセント成分解析部４７は、フレーズ成分解析部４６からのフレーズ解析結果情報を、アクセント解析結果情報とともに音声／非音声判定部４８に出力する。

音声／非音声判定部４８は、アクセント解析結果情報とフレーズ解析情報とに基づいて、アクセント成分、または、フレーズ成分のいずれかが含まれているか否かを判定し、アクセント成分、または、フレーズ成分のいずれかが含まれている場合には、音声シーン（音響信号に音声が含まれているシーン）と判定する。すなわち、音声を検出する。一方、アクセント成分、および、フレーズ成分のいずれも含まれていない場合には、非音声シーンであると判定する。以上により、音声区間検出部５１は、共通成分における音声シーンすなわち音声区間と、非音声シーンすなわち非音声区間とを検出する。

以上により、音声区間検出部５１は共通成分における実際に人の声が発音されている、すなわち発話中の時刻間すなわち音声区間を検出する。換言すれば、音声が発せられている時間を検出する。次に、音声区間検出部５１は、この検出した時刻間に基づいて、音声区間における共通成分のデータそのものを類似度算出部５２に送る。類似度算出部５２は、音声区間における共通成分のデータを一定時刻毎に解析する。具体的には、標準音声との類似度を算出する。

次に、類似度算出部５２の処理を図９を参照して説明する。類似度算出部５２は、ホルマント周波数抽出部６１、比率算出部６２、および比率処理部６３を備えている。ホルマント周波数抽出部６１は、基本周波数抽出部４３が算出した基本周波数に対応する第１、第２、および第３のホルマント周波数を抽出する。これを、図１０を参照して説明する。図１０は、ある一定数の人の測定の平均に基づいた、音声における期待される周波数を示す図である。なお、本発明は、図１０における数値に限定されるものではない。すなわち、音声において期待される一般的な周波数に基づいて本発明を実現することができる。

一例として、図１０は、女性が発する音声「オ」における期待される第２ホルマント周波数が「１２５０Ｈｚ（ヘルツ）」であることを示している。また、Ｌ_１は、基本周波数の振幅を０ｄＢとした場合に、期待される第１ホルマントの振幅が何ｄＢ減衰するかをマイナスで示している。同様に、Ｌ_２、およびＬ_３各々は、基本周波数の振幅を０ｄＢとした場合に、期待される第２ホルマントおよび第３ホルマント各々の振幅が、何ｄＢ減衰するかを示している。

まず、ホルマント周波数抽出部６１は、基本周波数抽出部４３が算出した音声の基本周波数が「１９０Ｈｚ」である場合に、図１０に示す表に基づいて、この音が男性の「ア」であると判定する。次に、音「ア」における予め定められている第１のホルマント周波数「７００Ｈｚ」、第２のホルマント周波数「１３００Ｈｚ」、および第３のホルマント周波数「２７５０Ｈｚ」を抽出する。ホルマント周波数抽出部６１は、基本周波数が図１０に示す基本周波数の期待値と一致しない場合は、最も近い値である期待値を選択する。また、基本周波数が、２つの期待値の丁度中間値である場合、例えば男性の「ア（１９０Ｈｚ）」と女性の「ア（２３０Ｈｚ）」との中間である「２１０Ｈｚ」である場合は、後述する標準偏差値を各々求め、求めた標準偏差値が、最終的に標準偏差の期待値と近い方を選択する。

次に、比率算出部６２は、この抽出した第１、第２、および第３のホルマント周波数各々に対応する予め定められているホルマント振幅各々を期待値として抽出する。すなわち、音声「ア」に対応するホルマント振幅「−１ｄＢ（デシベル）」、「−１０ｄＢ」、および「−２７ｄＢ」を抽出する。次に、比率算出部６２は、抽出した第１、第２、および第３のホルマント周波数各々における、音声区間検出部５１から送られた実際の共通成分のデータにおけるホルマント振幅を測定する。すなわち、基本周波数の振幅から周波数「７００Ｈｚ」、「１３００Ｈｚ」、および「２７５０Ｈｚ」の振幅が何ｄＢ減衰しているかを算出する。なお、周波数の振幅は、音量の大きさに影響されることはない。

次に比率算出部６２は、このホルマント周波数「７００Ｈｚ」、「１３００Ｈｚ」、および「２７５０Ｈｚ」各々において、期待値であるホルマント振幅、すなわち「−１ｄＢ」、「−１０ｄＢ」、および「−２７ｄＢ」を分母とし、実際のデータから測定したホルマント振幅を分子として比率を算出する。

次に、比率処理部６３は、比率算出部６２が算出した第１、第２、および第３のホルマント周波数各々における比率の標準偏差σ（ｆ）を算出する。この値は、予め定められている標準偏差の期待値と完全に一致する場合に０となる。すなわち、この値は類似度が最も高い場合に０となる。ここで、ホルマント周波数をｆ、またホルマント周波数の振幅をＬ（ｆ）とすると、比率処理部６３は、２つの次式によって比率の標準偏差σ（ｆ）を算出できる。

制御部５３は、比率処理部６３が算出したこの値が予め定められている所定値の範囲外である場合、例えば０．０１以上である場合に、乗算部４の乗数を変更するか、ＰＥＱ部６の特性を変化させることによって、音声信号を大きくする処理をする。すなわち、制御部５３は、この算出した値に応じて、自動的に音声信号における音声を強調する。なお、所定値の範囲内である場合、例えば０．０１未満である場合は、標準偏差が実質的に０であるため類似度は極めて高い。したがって、音声信号における音声を大きくする必要はない。音声信号における音声を大きくする処理は、具体的には、上述したように、乗算部４ｂが乗じる乗数を１より大きくするか、乗算部４ａと乗算部４ｃが乗じる乗数を１より小さくする。これにより、音声信号における音声を強調する。また、ＰＥＱ部６ｂにおいて音声帯域を強調するパラメトリックイコライザを施し、音声信号における音声を増幅するか、または、ＰＥＱ部６ａまたは６ｃにおいて周囲の音に対応する音声信号（つまり、非音声）を減衰することによって、相対的に人の声を強調する。なお、乗算部４の乗数は、人が音声を認識する際に違和感を覚えない程度に徐々に変化させることが好ましい。例えば、ｄＢ単位において６スケールに分割して１スケールずつ徐々に変化させるようにしてもよい。このように乗数を徐々に変化させることにより、波形の不連続を原因としたノイズを防止できる。

さらに、制御部５３は、算出した値の程度に応じて音声信号における音声を強調する度合いを変更するようにしてもよい。例えば、算出した値が０．０１以上かつ０．０２未満である場合に乗算部４ｂに１．３を乗じるようにし、０．０２以上である場合に乗算部４ｂに１．５を乗じるようにしてもよい。このように、音声信号処理装置１は、標準音声との類似度の程度に応じて適切に音声信号における音声を強調できる。

一方、音声が発せられていると音声区間検出部５１が検出した音声区間以外の時刻間（非音声区間）においては、制御部５３は、乗算部４各々に乗算する乗数を１とする。なお、本実施形態においては、類似度を判定するためにホルマント周波数を用いたが、本発明はこれに限定されない。例えば、ＳＴＩを用いて類似度を判定してもよい。

また、比率処理部６３は、比率算出部６２が算出した第１、第２、および第３のホルマント周波数各々における比率を加算することによって類似度を算出してもよい。すなわち、上述した例すなわち音が男性の「ア」である場合には、比率算出部６２は、期待値である第１ホルマント周波数のホルマント振幅「−１ｄＢ」を仮に分母とし、第１ホルマント周波数「７００Ｈｚ」における実際のデータから測定したホルマント振幅を仮に分子として比率を算出する。同様に、第２ホルマント周波数のホルマント振幅「−１０ｄＢ」を仮に分母とし、第２ホルマント周波数「１３００Ｈｚ」における実際のデータから測定したホルマント振幅を仮に分子として比率を算出する。また、第３ホルマント周波数のホルマント振幅「−２７ｄＢ」を仮に分母とし、第３ホルマント周波数「２７５０Ｈｚ」における実際のデータから測定したホルマント振幅を仮に分子として比率を算出する。

この比率各々は、１より大きい場合もあるし、１以下となる場合もある。すなわち、分母となる期待値が、分子となる実際のデータから測定した値以上である場合には１以下となり、一方、実際のデータから測定した値が期待値より大きい場合には１より大きくなる。ここで、比率処理部６３は、実際のデータから測定した値が期待値より大きい場合には、分母と分子とを逆転させる。すなわち、逆数を算出することによって、この比率各々の値が全て１以下となるようにする。次に、比率処理部６３は、この各々の値を加算する。すなわち、この比率各々が０．７、０．７および１．０である場合には、２．４を算出する。

制御部５３は、この比率を加算した値２．４が、予め定められている所定値の範囲外例えば２．５未満である場合に、自動的に乗算部４の乗数を変更するか、ＰＥＱ部６の特性を変化させることによって、音声信号における音声を大きくする処理をする。なお、所定値の範囲内である場合、例えば２．５以上である場合は、類似度は極めて高い。したがって、この場合には音声信号における音声を大きくする必要はない。以上のように、制御部５３は、この算出した値に応じて発話音声の強調度合いを変更することによって、自動的に音声信号における音声を強調できる。なお、音声信号における音声を大きくする具体的な処理は、上述した標準偏差を用いた処理と同様のため、説明は省略する。

また、比率処理部６３は、この比率各々の値が１からどの程度ずれているかを算出することによって、類似度を算出してもよい。すなわち、第１のホルマント周波数における比率が１．３であれば０．３を算出する。同様に、第２のホルマント周波数における比率が０．７であれば０．３を算出し、また、第３のホルマント周波数における比率が１であれば０を算出する。次に、比率処理部６３は、この各々の値を加算する。すなわち、この場合には、０．３と０．３と０とを加算して、０．６を算出する。

制御部５３は、この比率を加算した値０．６が、予め定められている所定値の範囲外例えば０．５以上である場合に、自動的に乗算部４の乗数を変更するか、ＰＥＱ部６の特性を変化させることによって、音声信号を大きくする処理をする。なお、所定値の範囲内である場合、例えば０．５未満である場合は、類似度は極めて高い。したがって、この場合には音声信号を大きくする必要はない。なお、音声信号を大きくする具体的な処理は、上述した標準偏差を用いた処理と同様のため、説明は省略する。

以上説明したように、音声信号処理装置１は、実際の発話音声である入力された音声信号の類似度に応じて音声信号における音声のミキシング割合または音声の周波数特性のうち少なくともいずれか一方変更することにより音声を強調するため、インパルス等の試験用音源を用いる必要がない。このため、即座に音声信号における音声を強調できる。また、入力された音声信号を一定時刻毎に解析し、標準音声との類似度に応じて発話音声の強調度合いを変更することによって、自動的に音声信号における音声を強調できる。例えば、標準音声との類似度が高い場合、すなわち音声信号における音声を強調する必要がない場合に無駄に音声信号における音声を強調することを防止できる。以上のことから、音声信号処理装置１は、入力された音声信号における音声を、標準音声との類似度に応じて即座に強調できる。

なお、本実施形態では、入力された音声信号における音声と標準音声との類似度を算出することによって、音声の明瞭度の算出することを説明したが、本発明はこれに限定されない。音声の明瞭度の算出は、例えば、特許文献１に記載されているようにＰＣＩに基づいて明瞭度を算出してもよい。

なお、上述したように、本実施形態においては、類似度を判定するためにホルマント周波数を用いたが、本発明はこれに限定されない。

なお、本実施形態において、音声区間検出部５１は、共通成分のうちの音声区間を検出することに限定されない。音声区間検出部５１は、例えば、入力された音声信号における音声区間を検出してもよい。これにより、音声信号処理装置１は、音声を含んだ区間の明瞭度を算出するため、音声信号における全ての区間の明瞭度を算出する場合と比べ、省電力効果を得ることができる。

〔実施の形態２〕
以下では、図１１〜１２を参照して、人の声をより強調することが可能な音声信号処理装置１ａ、１ｂについて説明する。

音声信号処理装置１ａ、１ｂは、音声信号処理装置１と同様、テレビ受信装置などに実装され、放送中の番組の音声信号における音声を強調する装置である。ここで、音声とは、台詞やボーカルなどの人の声を指し、人の声以外の音（例えば、周囲の雑音やＢＧＭや効果音など）と区別する。つまり、音声信号処理装置１ａは、放送番組中の人の声を強調する装置である。なお、音声信号と表現した場合、番組中の音声と音声以外の音も含めた全ての音を表す信号を指す。

本実施の形態では、音声信号処理装置１ａ、１ｂには、ＰＣＭ（Pulse Code Modulation）によってデジタル符号化された２チャンネルの音声信号が入力される。通常、ステレオ放送などでは、入力された２チャンネルの音声信号に基づいて、テレビに備えられている左右のスピーカに異なる音声信号が供給され、左右のスピーカからは異なる音声が出力される。

以下では、通常のステレオ放送において左右のスピーカに供給される音声信号を、それぞれ、左側音声信号（左チャンネルに対応する左側音声信号）、および右側音声信号（右チャンネルに対応する右側音声信号）と呼ぶ。右側音声信号、および、左側音声信号は、それぞれ、入力端子１２ａ、および、入力端子１２ｂを介して音声信号処理装置１ａ、１ｂに入力される。

本実施の形態に係る音声信号処理装置１ａ、１ｂは、いずれも、入力される右側音声信号および左側音声信号について、高域成分の音声信号と低域成分の音声信号とに分けて、右側音声信号の高域成分（以下では、右側音声高域信号と称す）と左側音声信号の高域成分（以下では、左側音声高域信号と称する）について、共通成分を抽出する構成である。ここで、共通成分は、主としてボーカルや台詞などの人の声に対応しているが、厳密には、楽器の低音や騒音等も含んでいる。そこで、共通成分を、例えば、人の声に相当する１００Ｈｚ以上の高域成分について抽出すれば、共通成分から人の声以外の成分をより厳密に除去することができる。これにより、人の声をより正確に強調することが可能となる。以下に、音声信号処理装置１ａ、１ｂにおける音声強調の処理について、より詳細に説明する。

（音声信号処理装置１ａ）
本発明に係る音声信号処理装置１ａについて、図１１を参照して説明すれば、以下のとおりである。音声信号処理装置１ａは、上記の右側音声信号と左側音声信号との２チャンネルの音声信号に基づいて、左右、および、中央の３つのスピーカを介して音声を出力する。つまり、音声信号処理装置１ａは、入力された２チャンネルの音声信号を、左チャンネル、右チャンネル、および、中央チャンネルの３チャンネルの音声出力信号に変換し、各スピーカに供給する構成である。

図１１は、本発明に係る音声信号処理装置１ａの構成を示すブロック図である。音声信号処理装置１ａは、スペクトル変換部２と共通成分抽出部（共通成分抽出手段）３と乗算部４と逆変換部（共通信号生成手段、音声出力信号生成手段）５とパラメトリックイコライザ（ＰＥＱ；Parametric Equalizer）部６と減算器７、８と入力端子１２と出力端子１３と、遅延部（高域信号生成手段）２１、２３と減算器（高域信号生成手段）２７、２８と低域通過フィルタ部（低域信号生成手段）２２、２４と加算器（音声出力信号生成手段）２５、２６と音声区間検出部（音声区間検出手段）５１と類似度算出部（算出手段）５２と制御部（制御手段）５３とを備えている。

右側音声信号、および、左側音声信号は、それぞれ、入力端子１２ａ、および、入力端子１２ｂを介して音声信号処理装置１ａに入力される。そして、入力端子１２ａに入力された右側音声信号は、遅延部２１と低域通過フィルタ部２２（例えばローパスフィルタ）とに入力される。また、入力端子１２ｂに入力された左側音声信号は、遅延部２３と低域通過フィルタ部２４とに入力される。

低域通過フィルタ部２２は、入力された右側音声信号を低域濾波して、加算器２５と減算器２７とに出力する。すなわち、右側音声信号の低域成分（以下では、右側音声低域信号と称する）のみを通過させる。本実施の形態においては、上記低域濾波の遮断周波数は略１００Ｈｚである。しかしながら、遮断周波数は、要求される精度に応じて１００Ｈｚ以外の遮断周波数であってもよく、特に限定はされない。

遅延部２１は、入力された右側音声信号を遅延させて、減算器２７に出力する。ここで、遅延部２１における遅延量は、低域通過フィルタ部２２における遅延量（すなわち、入力された右側音声信号が低域濾波されて右側音声低域信号として出力されるまでに要する時間）と同じであることが好ましい。これにより、遅延部２１からの遅延した右側音声信号と低域通過フィルタ部２２からの右側音声低域信号の位相を合わせることができる。

減算器２７は、遅延部２１からの遅延した右側音声信号から、低域通過フィルタ部２２からの右側音声低域信号を減算して、スペクトル変換部２ａに出力する。上述のとおり、遅延部２１からの遅延した右側音声信号と低域通過フィルタ部２２からの右側音声低域信号の位相は同期しているため、減算器２７からは、右側音声信号の高域成分（以下では、右側音声高域信号と称する）が出力される。

なお、本実施の形態においては、低域通過フィルタ部２２と遅延部２１および減算器２７との組み合わせによって低域信号および高域信号を出力する構成であるが、高域通過フィルタ部と遅延部および減算器との組み合わせによって高域信号および低域信号を出力する構成であってもよく特に限定はされない。

スペクトル変換部２ａは、ＦＦＴなどによって、右側音声高域信号から周波数スペクトル（以下では、右側音声高域信号スペクトルＸＲ（ｋ）と呼ぶ）を算出し、共通成分抽出部３と減算器７とに出力する。なお、スペクトル変換部２の処理は、音声信号処理装置１における処理と同じであるため、詳細な説明は省略する。

また、入力端子１２ｂに入力された左側音声信号は、入力端子１２ａに入力された右側音声信号と同様に、遅延部２３と低域通過フィルタ部２４とに入力され、それぞれ、遅延した左側音声信号と左側音声信号の低域成分（以下では、左側音声低域信号と称する）とを減算器２８に出力する。ここで、遅延部２３における遅延量は、低域通過フィルタ部２４における遅延量と同じであることが好ましい。なお、低域通過フィルタ部２４は、左側音声低域信号を加算器２６にも出力する。そして、減算器２８は、遅延部２３からの遅延した左側音声信号から、低域通過フィルタ部２４からの左側音声低域信号を減算して、左側音声信号の高域成分（以下では、左側音声高域信号と称する）をスペクトル変換部２ｂに出力する。そして、スペクトル変換部２ｂは、ＦＦＴなどによって、左側音声高域信号から周波数スペクトル（以下では、左側音声高域信号スペクトルＸＬ（ｋ）と呼ぶ）を算出し、共通成分抽出部３と減算器８とに出力する。なお、スペクトル変換部２の処理は、音声信号処理装置１における処理と同じであるため、詳細な説明は省略する。

共通成分抽出部３は右側音声高域信号スペクトルＸＲ（ｋ）と左側音声高域信号スペクトルＸＬ（ｋ）との小さいほうのスペクトルを共通成分として抽出する。つまり、共通成分抽出部３は、右側音声高域信号、および、左側音声高域音声信号に共通して含まれている主として人の声を表す音声信号の成分を、高域共通成分Ｃ（ｋ）として抽出する。なお、共通成分抽出部３の処理は、音声信号処理装置１における処理と同じであるため、詳細な説明は省略する。

減算器７は、スペクトル変換部２ａから出力された右側音声高域信号スペクトルＸＲ（ｋ）から、共通成分抽出部３から出力された高域共通成分スペクトルＣ（ｋ）を減算して、右高域成分スペクトルＸＲ’（ｋ）を算出し、乗算部４ａに出力する。つまり、減算器７は、ＸＲ’（ｋ）＝ＸＲ（ｋ）−Ｃ（ｋ）の演算を行う。

減算器８は、スペクトル変換部２ｂから出力された左側音声高域信号スペクトルＸＬ（ｋ）から、共通成分抽出部３から出力された高域共通成分スペクトルＣ（ｋ）を減算して、左高域成分スペクトルＸＬ’（ｋ）を算出し、乗算部４ｃに出力する。つまり、減算器８は、ＸＬ’（ｋ）＝ＸＬ（ｋ）−Ｃ（ｋ）の演算を行う。

ここで、左高域成分スペクトルＸＬ’（ｋ）、および、右高域成分スペクトルＸＲ’（ｋ）は、主として人の声以外の音（ＢＧＭや効果音や雑音などの周囲の音）を表す成分である。

乗算部４ａは、減算器７から出力されたＸＲ’（ｋ）に乗数Ｍ１（０≦Ｍ１≦１）を乗じてＸＲ”（ｋ）（＝Ｍ１×ＸＲ’（ｋ））を算出し、逆変換部５ａに出力する。また、乗算部４ｂは、共通成分抽出部３から出力されたＣ（ｋ）に乗数Ｍ２（０≦Ｍ２≦１）を乗じてＣ”（ｋ）（＝Ｍ２×Ｃ（ｋ））を算出し、逆変換部５ｂに出力する。さらに、乗算部４ｃは、減算器８から出力されたＸＬ’（ｋ）に乗数Ｍ１を乗じてＸＬ”（ｋ）（＝Ｍ１×ＸＬ’（ｋ））を算出し、逆変換部５ｃに出力する。

以下では、ＸＲ”（ｋ）、Ｃ”（ｋ）、および、ＸＬ”（ｋ）を、それぞれ、右高域成分出力スペクトル、高域共通成分出力スペクトル、および、左高域成分出力スペクトルと称する。

左高域成分出力スペクトルＸＬ”（ｋ）、および、右高域成分出力スペクトルＸＲ”（ｋ）は、周囲の音（人の声以外の音）を表す音声信号の成分である。

逆変換部５ａは、周波数領域の情報である右高域成分出力スペクトルＸＲ”（ｋ）を逆ＦＦＴによって時間領域の信号波形に変換して、加算器２５に出力する。また、逆変換部５ｂは、逆変換部５ａと同様の処理を行い、周波数領域の情報である共通成分出力スペクトルＣ”（ｋ）を逆ＦＦＴによって時間領域の信号波形に変換して、中央のスピーカに出力する音声出力信号（中央チャンネルに対応する中央音声出力信号）を生成し、ＰＥＱ部６ｂに出力する。逆変換部５ｃは、逆変換部５ａと同様の処理を行い、周波数領域の情報である左高域成分出力スペクトルＸＬ”（ｋ）を逆ＦＦＴによって時間領域の信号波形に変換して、加算器２６に出力する。

また、上述のとおり、加算器２５には、低域通過フィルタ部２２から左側音声低域信号が入力されており、加算器２６には、低域通過フィルタ部２４から右側音声低域信号が入力されている。

加算器２５は、右高域成分出力スペクトルＸＲ”（ｋ）を逆ＦＦＴして得られる信号と右側音声低域信号とを加算して、右チャンネルに対応する右側音声出力信号を生成し、ＰＥＱ部６ａに出力する。また、加算器２６は、左高域成分出力スペクトルＸＬ”（ｋ）を逆ＦＦＴして得られる信号と左側音声低域信号とを加算して、左チャンネルに対応する左側音声出力信号を生成し、ＰＥＱ部６ｃに出力する。

ＰＥＱ部６ａは、加算器２５から出力される右側音声出力信号に対し、等ラウドネス曲線の特性のパラメトリックイコライザを施し、出力端子１３ａを介して右チャンネルのスピーカに出力する。また、ＰＥＱ部６ｂは、逆変換部５ｂから出力される中央チャンネルの音声出力信号に対し、２ｋＨｚをピークとした音声帯域を強調するパラメトリックイコライザを施し、出力端子１３ｂを介して中央チャンネルのスピーカに出力する。また、ＰＥＱ部６ｃは、加算器２６から出力される左側音声出力信号に対し、等ラウドネス曲線の特性のパラメトリックイコライザを施し、出力端子１３ｃを介して左チャンネルのスピーカに出力する。

音声区間検出部５１は、共通成分抽出部３から人の声を表す音声信号として出力された共通成分における実際の音声が出力されている時刻を検出し、検出した時刻に基づいて、共通成分のうちの音声区間のデータそのものを類似度算出部５２に出力する。類似度算出部５２は、この音声区間のデータにおける類似度を一定時刻毎に算出する。制御部５３は、類似度算出部５２が算出した類似度に基づいて、乗算部４の乗数を変更するか、ＰＥＱ部６の特性を変化させる。

これにより、音声信号処理装置１ａは、入力された音声信号における音声と、標準音声との類似度の値に応じて音声信号における音声を強調する。実際の発話音声である入力された音声信号の類似度に応じて音声信号における音声を強調するため、インパルス等の試験用音源を用いる必要がない。このため、即座に音声信号における音声を強調できる。また、入力された音声信号を一定時刻毎に解析し、標準音声との類似度に応じて発話音声の強調度合いを変更することによって、自動的に音声信号における音声を強調できる。例えば、標準音声との類似度が高い場合、すなわち音声信号における音声を強調する必要がない場合に無駄に音声信号における音声を強調することを防止できる。なお、音声区間検出部５１、類似度算出部５２、および制御部５３における処理は、音声信号処理装置１と同様のため、詳しい説明は省略する。

以上のとおり、音声信号処理装置１ａは入力された左右の音声信号の高域成分について共通成分を抽出する構成であるため、人の声を表す成分と人の声以外の成分とを、より厳密に分離することが可能となる。したがって、より厳密に人の声に対応する音声出力信号と周囲の音に対応する音声出力信号とが生成される。これにより、より正確に人の声に対応する音声出力信号と周囲の音に対応する音声出力信号とのレベルバランスを変化させることができるため、人の声を強調する場合においても精度を高めることができるようになる。

なお、本実施の形態では、遅延部２１、２３において遅延させた入力信号から、低域通過フィルタ部２２、２４において低域濾波して得られた右側音声低域信号および左側音声低域信号を減算して、右側音声高域信号および左側音声高域信号を生成する構成であるが、高域通過フィルタ部をさらに備えている構成であってもよい。すなわち、遅延部において遅延させた入力信号から、高域通過フィルタ部において高域濾波して得られた右側音声高域信号および左側音声高域信号を減算して右側音声低域信号および左側音声低域信号を生成する構成であってもよく、特に限定はされない。

（音声信号処理装置１ｂ）
本発明に係る音声信号処理装置１ｂについて、図１２を参照して説明すれば、以下のとおりである。音声信号処理装置１ｂは、上記の右側音声信号と左側音声信号との２チャンネルの音声信号に基づいて、左右、および、中央の３つのスピーカを介して音声を出力する。つまり、音声信号処理装置１ｂは、入力された２チャンネルの音声信号を、左チャンネル、右チャンネル、および、中央チャンネルの３チャンネルの音声出力信号に変換し、各スピーカに供給する構成である。

図１２は、本発明に係る音声信号処理装置１ｂの構成を示すブロック図である。音声信号処理装置１ａは、スペクトル変換部２と共通成分抽出部（共通成分抽出手段）３と乗算部（成分低減手段）４と逆変換部（共通信号生成手段、音声出力信号生成手段）５とパラメトリックイコライザ（ＰＥＱ；Parametric Equalizer）部６と減算器７、８と入力端子１２と出力端子１３と、高域通過フィルタ部（高域信号生成手段）３１、３３と低域通過フィルタ部（低域信号生成手段）３２、３４と加算器（音声出力信号生成手段）３５、３６と音声区間検出部（音声区間検出手段）５１と類似度算出部（算出手段）５２と制御部（制御手段）５３とを備えている。

音声信号処理装置１ｂは、高域通過フィルタ部３１、３３および低域通過フィルタ部３２、３４以外の各部については、音声信号処理装置１ａと同様の構成のため、以下では、音声信号処理装置１ａと異なる構成についてのみ説明する。

右側音声信号、および、左側音声信号は、それぞれ、入力端子１２ａ、および、入力端子１２ｂを介して音声信号処理装置１ａに入力される。そして、入力端子１２ａに入力された右側音声信号は、高域通過フィルタ部３１（例えばハイパスフィルタ）と低域通過フィルタ部３２とに入力される。また、入力端子１２ｂに入力された左側音声信号は、高域通過フィルタ部３３と低域通過フィルタ部３４とに入力される。

高域通過フィルタ部３１は、入力された右側音声信号を高域濾波して、スペクトル変換部２ａに出力する。すなわち、右側音声信号の高域成分（以下では、右側音声高域信号と称する）のみを通過させる。同様に、高域通過フィルタ部３３は、入力された右側音声信号を高域濾波して、スペクトル変換部２ｂに出力する。すなわち、左側音声信号の高域成分（以下では、左側音声高域信号と称する）のみを通過させる。本実施の形態においては、上記低域濾波の遮断周波数は略１００Ｈｚである。しかしながら、遮断周波数は、要求される精度に応じて１００Ｈｚ以外の遮断周波数であってもよく、特に限定はされない。

低域通過フィルタ部３２は、入力された右側音声信号を低域濾波して、加算器３５に出力する。すなわち、右側音声信号の低域成分（以下では、右側音声低域信号と称する）のみを通過させる。同様に、低域通過フィルタ部３４は、入力された左側音声信号を低域濾波して、加算器３６に出力する。すなわち、左側音声信号の低域成分（以下では、左側音声低域信号と称する）のみを通過させる。本実施の形態においては、上記低域濾波の遮断周波数は略１００Ｈｚである。しかしながら、遮断周波数は、要求される精度に応じて１００Ｈｚ以外の遮断周波数であってもよく、特に限定はされない。ここで、高域通過フィルタ部３１、３３における遅延量と低域通過フィルタ部３２、３４における遅延量とは、同じであることが好ましい。

音声信号処理装置１ａは、遅延部２１、２３と低域通過フィルタ部２２、２４とを用い、入力された音声信号の低域成分について直接抽出し、高域成分については原信号から低域成分を減算して抽出する構成であるのに対して、音声信号処理装置１ｂは、高域通過フィルタ部３１、３３と低域通過フィルタ部３２、３４とを用いることによって、入力された音声信号から、直接、高域成分と低域成分とを抽出する構成であり、この点においてのみ、音声信号処理装置１ａと異なる。音声信号処理装置１ｂを構成する他の各部の動作については、音声信号処理装置１ａと同様であり、説明は省略する。

また、音声信号処理装置１ｂは、音声信号処理装置１ａと同様に音声区間検出部５１、類似度算出部５２、および制御部５３を備えている。これにより、音声信号処理装置１ｂは、入力された音声信号における音声と、標準音声との類似度の値に応じて音声信号における音声を強調する。実際の発話音声である入力された音声信号の類似度に応じて音声信号における音声を強調するため、インパルス等の試験用音源を用いる必要がない。このため、即座に音声信号における音声を強調できる。また、入力された音声信号を一定時刻毎に解析し、標準音声との類似度に応じて発話音声の強調度合いを変更することによって、自動的に音声信号における音声を強調できる。例えば、標準音声との類似度が高い場合、すなわち音声信号における音声を強調する必要がない場合に無駄に音声信号における音声を強調することを防止できる。

（テレビジョン受像機１１０）
次に、本発明における音声信号処理装置１をテレビジョン受像機１１０に適応した場合について図１３を参照して説明する。図１３はテレビジョン受像機１１０に音声信号処理装置１を適用した場合の一例を示すブロック図である。

本発明の音声信号装置１は、図１３のテレビジョン受像機１１０における、音声出力変換部１２７、音声区間検出部５１、類似度算出部５２、及び制御部５３に相当する。なお、音声出力変換部１２７は、音声信号装置１のスペクトル変換部２、共通成分抽出部３、乗算部４、逆変換部５、ＰＥＱ部６、減算器７、減算器８、入力端子１２、及び出力端子１３に相当する。

ここで、制御部５３は、テレビ受像機１１０を包括的に制御してもよい。このようにテレビジョン受像機１１０を制御する制御部５３は、音声出力変換部１２７を制御し、音声を出力する。

従って、本発明における音声信号処理装置１は、テレビジョン受像機１１０に好適に利用することができる。

また、本発明における音声信号処理装置１は、出力装置１３ｂを介して、中央チャンネルのスピーカに音声を出力する。テレビジョン受像機１１０が大型である場合、左チャンネルのスピーカと右チャンネルのスピーカが離れて配置されるため、このように中央チャンネルのスピーカに音声を出力する構成の音声信号処理装置１は、好適にテレビジョン受像機１１０に利用することができる。

（プログラムおよび記憶媒体）
最後に、音声信号処理装置１に含まれている各ブロックは、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いてソフトウェアによって実現してもよい。

すなわち音声信号処理装置１は、各機能を実現する制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録していればよい。音声信号処理装置１（またはＣＰＵやＭＰＵ）が、供給された記録媒体に記録されているプログラムコードを読み出し、実行すればよい。

プログラムコードを音声信号処理装置１に供給する記録媒体は、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。

また音声信号処理装置１は、通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して音声信号処理装置１に供給する。この通信ネットワークは、音声信号処理装置１にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、移動体通信網、衛星通信網等であればよい。

この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）回線などの有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

（付記事項）
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、例えば、以下のように表現することもできる。

１．音声区間と非音声区間を算出し、さらに、音声区間の明瞭度を算出し、前記算出した音声区間と非音声区間及び明瞭度に基づいて、複数のチャンネルの乗数を変更する手段を有することを特徴とする音声信号処理装置。

なお、音声区間とは、音声（人の声）が含まれることを要件とするものであって、この区間に音声以外の音（例えば、周囲の雑音やＢＧＭや効果音など）があっても、無くてもよい。また、非音声区間とは、音声が含まれていない区間であって、音声以外の音がある、または、何も音が無い区間である。

２．前記複数のチャンネルは、Ｌ／Ｒ成分と中央定位成分（センター成分）であることを特徴とする１に記載の音声信号処理装置。

３．前記明瞭度が低い場合には、中央定位成分の乗数を大きくすることを特徴とする１、２に記載の音声信号処理装置。

本発明に係る音声信号処理装置は、放送中または再生中のコンテンツのボーカルやセリフなどの人の声を強調することができるため、テレビ受信装置またはラジオ受信装置などにおいて好適に利用できる。

１ 音声信号処理装置
２ スペクトル変換部
３ 共通成分抽出部（共通成分抽出手段）
４ 乗算部（乗算手段）
４ａ 乗算部（第１の乗算手段）
４ｂ 乗算部（第３の乗算手段）
４ｃ 乗算部（第２の乗算手段）
５ 逆変換部
５ａ 逆変換部
５ｂ 逆変換部
５ｃ 逆変換部
６ ＰＥＱ部（レベル調整手段）
６ａ ＰＥＱ部（第１のレベル調整手段）
６ｂ ＰＥＱ部（第３のレベル調整手段）
６ｃ ＰＥＱ部（第２のレベル調整手段）
７ 減算器
８ 減算器
１２ 入力端子
１３ 出力端子
２１、２３ 遅延部
２２、２４ 低域通過フィルタ部
２５、２６ 加算器
２７、２８ 減算器
３１、３３ 高域通過フィルタ部
３２、３４ 低域通過フィルタ部
３５、３６ 加算器
３７ フレーム分割部
３８ 窓掛け部
３９ スペクトル変換部
４０ 音声検出部
４１ 対数スペクトル算出部
４２ ケプストラム算出部
４３ 基本周波数抽出部（基本周波数抽出手段）
４４ 基本周波数保存部
４５ ローパスフィルタ部
４６ フレーズ成分解析部
４７ アクセント成分解析部
４８ 音声／非音声判定部
５１ 音声区間検出部（音声区間検出手段）
５２ 類似度算出部（算出手段）
５３ 制御部（制御手段）
６１ ホルマント周波数抽出部（所定周波数抽出手段）
６２ 比率算出部（比率算出手段）
６３ 比率処理部（比率処理手段）

Claims (14)

1. 入力された音声信号における、音声の明瞭度を算出する算出手段と、
   上記算出手段が算出した明瞭度に応じて上記音声信号における音声を強調するように上記音声のミキシング割合または上記音声の周波数特性のうち少なくともいずれか一方を変更する制御手段とを備えていることを特徴とする音声信号処理装置。
2. 上記音声信号における音声区間を検出する音声区間検出手段をさらに備え、
   上記算出手段は、上記音声区間における音声の明瞭度を算出することを特徴とする請求項１に記載の音声信号処理装置。
3. 上記算出手段は、上記音声信号における音声と標準音声との類似度を算出することによって、上記明瞭度を算出することを特徴とする請求項１又は２に記載の音声信号処理装置。
4. 上記音声信号の基本周波数を抽出する基本周波数抽出手段をさらに備えており、
   上記算出手段は、
   上記基本周波数抽出手段によって抽出された基本周波数に対応する、予め定められた所定周波数を複数抽出する所定周波数抽出手段と、
   上記予め定められた所定周波数各々に対応する、期待値として予め定められた複数の振幅各々と、上記音声信号の上記予め定められた所定周波数各々における実際の振幅各々との比率を上記所定周波数ごとに算出する比率算出手段と、
   上記算出された複数の比率に基づいて類似度を算出する比率処理手段とを備えていることを特徴とする請求項３に記載の音声信号処理装置。
5. 上記比率処理手段は、上記算出された複数の比率の標準偏差を算出することによって、類似度を算出することを特徴とする請求項４に記載の音声信号処理装置。
6. 上記予め定められた所定周波数は、ホルマント周波数であることを特徴とする請求項４または５に記載の音声信号処理装置。
7. 右チャンネルに対応する右側音声信号のスペクトルおよび左チャンネルに対応する左側音声信号のスペクトルに共通して含まれている共通成分を抽出する共通成分抽出手段をさらに備えていることを特徴とする請求項３から６のいずれか１項に記載の音声信号処理装置。
8. 上記右側音声信号のスペクトルに第１の乗数を乗じる第１の乗算手段、上記左側音声信号のスペクトルに第２の乗数を乗じる第２の乗算手段、および上記共通成分のスペクトルに第３の乗数を乗じる第３の乗算手段をさらに備えており、
   上記制御手段は、上記第３の乗数を１より大きくするか、上記第１の乗数を１より小さくするか、または上記第２の乗数を１より小さくするように、上記第１、第２および第３の乗算手段の少なくとも１つを制御することを特徴とする請求項７に記載の音声信号処理装置。
9. 上記右チャンネルに対応するイコライザである第１のレベル調整手段、上記左チャンネルに対応するイコライザである第２のレベル調整手段、および上記共通成分に対応する中央チャンネルに対応するイコライザである第３のレベル調整手段をさらに備えており、
   上記制御手段は、上記第３のレベル調整手段が音声信号を増幅するか、上記第１のレベル調整手段が音声信号を減衰するか、または上記第２のレベル調整手段が音声信号を減衰するように、上記第１、第２および第３のレベル調整手段の少なくとも１つを制御することを特徴とする請求項７または８に記載の音声信号処理装置。
10. 上記共通成分における音声区間を検出する音声区間検出手段をさらに備え、
    上記制御手段は、上記音声区間検出手段が検出した音声区間以外の区間である非音声区間において、上記第１、第２および第３の乗数を１とすることを特徴とする請求項８または９に記載の音声信号処理装置。
11. 請求項１から１０のいずれか１項に記載の音声信号処理装置を備えたテレビジョン受像機。
12. 入力された音声信号における、音声の明瞭度を算出する工程と、
    上記算出した明瞭度に応じて、上記音声信号における音声を強調するように上記音声のミキシング割合または上記音声の周波数特性のうち少なくともいずれか一方を変更する工程とを含んでいることを特徴とする音声信号処理方法。
13. 請求項１から１０のいずれか１項に記載の音声信号処理装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。
14. 請求項１３に記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
    
    

Images