JP2002507291A

JP2002507291A - 音声通信システムにおける音声強調方法およびその装置

Info

Publication number: JP2002507291A
Application number: JP50665899A
Authority: JP
Inventors: チャンス・ロバート・ジェイムス; マックロウリン・イアン・ビンス
Original assignee: シムコ・インターナショナル・リミテッド
Priority date: 1997-07-02
Filing date: 1998-07-01
Publication date: 2002-03-05
Also published as: GB9814279D0; CA2235455A1; DE69804310D1; EP0993670B1; ZA985607B; GB9714001D0; GB2327835B; PL337717A1; CN1265217A; GB2327835A; ATE214832T1; WO1999001863A1; KR20010014352A; EP0993670A1; AU8227798A

Abstract

(57)【要約】音声通信システムは、音声データを受信し該データを用いて音声（１５）を出力する受信装置（１４）を含んでなる。復号装置によって受信された音声の特徴は、聞き手の現在の背景騒音の分析に基づいて、処理装置（１０）によって変更され、その後、音声が出力されて聞き手に対する理解度を向上させる。分析器（１２）はマイクロホン（１３）を用いて背景騒音の種類とレベルを判定する。次に判定装置（１１）が、現在受信され再生された音声が、その現在の背景騒音の中にいる平均的聞き手にとって理解容易か否かを判定する。もし判定装置（１１）が音声は容易に理解可能であると判定すれば、処理は必要なく、処理装置（１０）は送られてきた音声を変更しない。しかし、もし判定装置（１１）が音声が理解不能であると判定すれば、処理が必要となり、処理装置（１０）は出力前に音声を変更し、その音声をより理解容易にする。この装置を操作する方法もまた説明される。特に好ましい実施の形態において、音声の特徴は、音声を表わす線スペクトル対データを変更することにより変更される。

Description

【発明の詳細な説明】音声通信システムにおける音声強調方法およびその装置本発明は、音声通信システムにおける音声強調のための方法と装置に関し、特に騒々しい環境において、聞き手により良く理解できるように音声を強調させるための方法と装置に関する。携帯電話やラジオ等の音声通信システムは、しばしば、車両内等の騒々しい環境下で用いられる。更にこの環境騒音は会話の最中に変化する。環境騒音が変化すると、聞き手は、電話やラジオからの音声を理解するのが、非常に困難になる。本発明の１つの態様によれば、音声通信システムによって、該システムを用いる聞き手に対して出力される音声の理解度を向上させる方法であって、音声通信システムの現在の背景騒音を分析し、その背景騒音分析の結果を用いて、聞き手に対して出力される音声が、現在の背景騒音において聞き手にとって理解容易であるか否かを判定し、その判定に基づいて、音声通信システムによって出力される音声の特徴を変更して、変更された音声が、現在の背景騒音下において、聞き手に対して理解度を高めたものとなるようにすることを特徴とする方法が提供される。本発明の第２の態様によれば、音声通信システムであって、該システムの現在の背景騒音環境を分析する手段と、その背景騒音分析の結果を用いて、音声通信システムによって出力される音声が、現在の背景騒音環境において聞き手にとって理解容易であるか否かを判定する手段と、この判定手段の出力に従って、音声通信システムによって出力される音声の特徴を変更し、現在の背景騒音の中にいる聞き手に対して、音声の理解度を強調させる手段とを含んでなる音声通信システムが提供される。本発明はこのように、音声通信システムが用いられる背景騒音（即ち、聞き手の近傍の外部環境の騒音）をモニタし、その音声通信システムによって聞き手に対して出力される音声の特徴を調整して、音声をその現在の背景騒音においても理解容易にすることが出来る。従って本発明は、騒々しい環境において用いられた場合、例えばスピーカや携帯電話機の受話口、あるいはラジオから、出力される音声の理解度を高めるシステムを提供する。更に、本発明は現在の背景騒音を分析するので、背景騒音の変化に注目して音声を強調させることが出来る。従って本発明においては、背景騒音は好ましくは連続的に分析され、音声はその分析に基づいて連続的に変更される。これにより音声の動的強調がもたらされ、とりわけ、例えば車両内等の、背景騒音が連続的に著しく変化しうる環境において有利である。背景にある環境騒音は、当該分野において公知なように、様々な技術によって分析することが出来る。騒音は、例えば音声通信システム（例えば携帯電話やラジオ）の使用者の音声を捕捉する一般的なマイク、または分離型マイクを用いて、捕捉したりサンプリングしたりすることが出来る。背景騒音分析システムとしては、一例を挙げれば、（例えばマイクロホン信号における）使用者の音声を（一定の時間内におけるすべての入力騒音値を加算してこれらを閾値と比較する等の、多くの一般的技法の１つを用いて）検出し、背景騒音を、発声期間の間隙の間に分析するという方法がある。サンプル騒音を次に（恐らく線形予測を用いて）分析して、そのスペクトルの内容と振幅を判定する。線形予測分析の結果得られるＬＰＣ（線形予測係数）値は、十分なスペクトル情報を含み、また利得パラメータは、このＬＰＣパラメータの相対振幅値を絶対振幅値に結び付けるのに用いられる。現在の背景騒音がある中で、音声通信システムによって出力される音声がどの程度理解できるか（理解度）は、その音声が、現在の騒音の中で、一般的な聞き手に理解容易であるか否かを判定する公知の様々な標準的技術（即ち、その騒音が聞き手の音声認識力に与える影響を査定するのに適切な種々の技術）を用いて判定することができる。好ましくは、スペクトル分析と振幅換算係数（利得）の形態を用い、音声と背景騒音の記述が比較されて、その騒音の中で音声が聞き手に聴取可能か否かが判定される。好ましい実施の形態では、音声は、最初に２つまたはそれ以上のカテゴリに分類され、１つまたはそれ以上の周波数の音声カテゴリの１つの振幅が、それらの周波数における騒音振幅と比較される。そのような比較処理の１つにおいて、音声の内容を最初に、非音声、有声音声、または無声音声に分類することが可能である。非音声（恐らく言葉と言葉の間の休止）が存在する時は、その可聴性は重要ではなく、従ってそれは無視できる。有声音声が存在する時は、その理解度を判定する必要がある。これは好ましくは、有声音声における１つまたはそれ以上の、最も好ましくは各々のスペクトルピークの振幅および／または１つまたはそれ以上の、最も好ましくは各々のフォルマントの振幅を（当該分野において公知であるように、有声音声は、フォルマントと呼ばれる変化する周波数の、一連の共振ピークを含み、該フォルマントは多量の情報を伝達し、該フォルマントに音声のスペクトル図におけるスペクトルピークが対応する）、そのピークまたはフォルマントの周波数における騒音振幅と比較することにより行われる。１つ以上のピークまたはフォルマントを考察する場合には、各ピークまたはフォルマントの振幅を、その各ピークまたはフォルマントの周波数における騒音の振幅と比較しなければならない。最も好ましくは、もしいかなるフォルマント周波数またはスペクトルピーク、あるいは特定数のフォルマントまたはスペクトルピーク周波数における騒音振幅が、対応するフォルマントまたはスペクトルピークの振幅を越えている場合、その音声は理解不能と判定される。音声におけるスペクトルピークおよびフォルマントと背景騒音との相対振幅を比較することは、音声の理解度を示す良好な指針となる。こうした比較は、人間の聞き手をモデルとして、音声の理解度を効果的に判定するからである。即ちその比較は、人間の聞き手の音声に対する実際の理解力に近似のモデルを用いた手法により、音声の理解度を査定する。周知の音響心理学理論で述べられるように、所定の周波数の音は、類似の周波数の第２の同時発生音によってマスキングされ、もし第２の音が十分に大きい場合には、前者の音は聞き取れない。そこで、本出願の発明者は、音声の場合には、音声におけるフォルマントまたはスペクトルピークの周波数に類似の周波数を有する大きな騒音は、音声をマスキングすることを認識した。このように、音声における１つまたはそれ以上、または各々のフォルマント、あるいは１つまたはそれ以上、または各々のスペクトルピークを、対応する１つまたは複数の周波数における騒音振幅と比較することは、その（またはそれらの）フォルマントまたはスペクトルピークの可聴性に関する良好な指針をもたらし、従って人間の聞き手にとっての音声の理解度に関する良好な指針をもたらすことになろう。必要に応じて、他の音声分類とカテゴリを用いることも出来る。例えば、音声は母音と子音（または他の音声）に分類可能である。好ましくは、理解度を判定するのに有用なまたは適切な分類を用いる。このように好ましくは、上述の例におけるように、その分類は音声のフォルマント（好ましくはフォルマントのみ）を含むカテゴリを含み、そのカテゴリを騒音と比較する。好ましくは、その分類はフォルマント包含カテゴリ、および非フォルマント包含カテゴリである。一旦音声の理解度が判定されると、その判定に従って、音声をより理解容易にするために変更することが出来る。もし音声が理解不能であると判定された場合には、他に方法がなければ、例えば音声の特徴を変更する。音声の特徴の変更は、当該分野で公知の様々の方法で行うことが出来る。好ましくは音量（振幅）を増加させることにより、および／または音声要素の周波数、とりわけ音声のフォルマントおよび／またはスペクトルピークの周波数を変更することにより行われる。特に好ましい装置においては、音声スペクトル図におけるフォルマントおよび／またはスペクトルピークの位置を調整することにより、音声の特徴を変更する。そのような変更は、人間の聞き手にとっての音声を認識可能とする効果をもたらし、従って音声の理解度を高めるのに、特に効果的である。例えば、１つまたはそれ以上のピークまたはフォルマントの周波数を上方または下方に移動させたり、１つまたはそれ以上のピークまたはフォルマントの振幅を増加させたり（帯域幅を低減することに対応）、または１つまたはそれ以上のピークまたはフォルマントの帯域幅を増加させたりすることが出来る（振幅を低減させることに対応）。このようにして、例えばフォルマントの音量を、背景騒音よりも聞き取れるように増大することが可能である。しかしながらこれは音声の特徴を変更するには望ましくない方法である。なぜなら、とりわけ騒々しい自動車内といった状況下においては、音声を理解容易とするためには、（もしそれが耐え得るならば）聴力損失を起こすほどの音量レベルが要求されることもあるからである。従って好ましくは、音声スペクトルのフォルマントまたはピーク等の音声要素の周波数を調整する。これは好ましくは、これらの音声要素を騒音レベルがより低い位置にある周波数に移動させ、その周波数においては、例えばピークまたはフォルマント等の要素が可聴となる（即ち、騒音より大きな振幅を有する）ようにして行われる。音声の特徴の変更は、好ましくは背景騒音の分析の結果に応じて行なわれ、騒音の現在または過去の値に基づいて行われてもよい。騒音の現在値を用いることによって直接的比較が行なわれて、音声の特徴に対する変更が行われる。過去の値を用いることによって、予測的変更が可能となる。例えば騒音分析の指摘により、騒音振幅が特定の周波数においては、現在聞こえていないフォルマントが聞こえるレベルまで低下することがわかれば、音声の特徴を変更して、そのフォルマントの周波数をその特定の周波数に変化させることが出来る。音声特徴の実際の変更は、当該分野で公知のように、多くの方法によって行うことが出来る。例えば音声信号を、知覚誤り重み付けフィルタ（ＣＨＥＮ，Ｊ．Ｈ．，ＣＯＫ，Ｅ．Ｖ．，ＬＩＮ，Ｙ．，ＪＡＹＡＮＴ，Ｎ．，およびＭＩＥＣＨＥＲ，Ｍ．Ｊ．の「ＣＣＩＴＴ１６ｋｂ／ｓ音声符号化規格のための低遅延ＣＥＬＰ符号器」ＩＥＥＥＪ．Ｓｃｌ．ＡｔｅａｓＣｏｍｍｕｎ．１９９２，１０．（５）．８３０−８４９頁）等の適応フィルタを通過させ、フォルマントの帯域幅を狭めたり広げたりすることが出来る。あるいは、振幅ピークをクリッピングして、音声の無声部分のエネルギーが、全音声エネルギーのより重要な部分となるようにすることも出来る。この方法は理解度を高めるが、音質の犠牲において行われる。特に好ましい実施の形態においては、音声の特徴は、音声を表わす線スペクトル対（ＬＳＰ）データを変更することにより変更される。当該分野で公知のように、線スペクトル対は音の持続期間に引き出された線形予測パラメータを表わしたものである。音が音声である場合、音声の共振周波数またはフォルマントは線形予測スペクトルに記録される。ＬＳＰ値は普通、線形予測スペクトルの中のそのような共振またはフォルマントの位置に一義的に関連する。このようにＬＳＰデータを音声を表わすのに用いることができ、このＬＳＰデータを変更することによって、音声におけるフォルマントの周波数および振幅等の特徴を調整できるということを、本願の発明者は認識した。これにより、音声の特徴を比較的容易に、聞き手が音声を認識するその時に、簡単に音を変化させるように、かつ例えば適応フィルタリングを用いるよりもずっと低い計算オーバーヘッドで、調整することが出来る。また、そのような調整は音声スペクトルの一部を削除するのではなく、修正するのである。更に、携帯電話や最新のデジタルラジオ装置に用いられる音声符号／復号装置等の多くの音声通信システムは、音声の線形予測モデルを用い、それを伝達用のＬＳＰ表示に変換する。ＬＳＰ表示は、情報保護と伝達効率の理由から、そのような音声システムにおいて広く用いられている。このように、本発明の本実施の形態は、音声通信の目的でＬＳＰを用いるシステムにおいてはとりわけ有利である。なぜなら伝達されるＬＳＰ情報は、受信された時に音声通信システムにおいて変更され、音声の理解度を高めるからである。この変更されたＬＳＰデータは次に線形予測パラメータに再変換され、音声として再構築されて音として出力されるが、その特徴は変更されている。音声通信システムの音声を表わすＬＳＰを調整して、そのシステムから出力される音声の特徴を変えることは、本質的に有利であると考えられる。このように、本発明の別の態様において、音声通信システムにおける、聞き手に対して出力される音声の特徴を変更する方法において、該音声通信システムにおいては、該システムによって処理され出力される音声データは線スペクトル対データを含み、音声データの線スペクトル対データを変更することを特徴とする方法が提供される。本発明の更に別の態様としては、音声通信システムによって処理される音声データが線スペクトル対データを含む音声通信システムにおいて、該システムによって処理される音声データの線スペクトル対データを変更して、聞き手によって聞き取られる処理音声の特徴を変化させる手段を含んでなるシステムが提供される。本発明のこれらの態様においては、音声データにおけるＬＳＰデータの変更は、騒々しい環境において聞き取られる出力音声の理解度を向上させる目的で用いられる（が、例えば話し手の声を隠蔽するような、聞き手が耳にする音声の特徴を変更したい他の状況においても用いることが出来る）。このように、本発明のこれらの態様は好ましくは、システムの（即ち聞き手の）背景騒音環境の分析に基づいて、音声データにおいて発見されたＬＳＰの値を調整する技術を含んでなる。好ましくは、この音声において見出された、例えばフォルマントといった特定の周波数領域の周波数、または出力と帯域幅を、上記の手法で変更する。ＬＳＰ変更は上述したように、再構築された音声に特殊な方法で作用し、特に、背景騒音に対して音声の理解度を向上させるように設定することが出来る。例えば、１つのフォルマントに関連する特定の線スペクトル対（ＬＳＰ）を割り出して、その離間距離（または間隔）を広げたり狭めたりして、フォルマントの帯域幅を増加させたり減少させたりすることが出来る。選択的に、またはそれに加えて、線クペクトル対の周波数を上方または下方に移動させて、特定のフォルマントの周波数を増加させたり減少させたりすることも出来る。ＬＳＰ情報は好ましくは、音声スペクトルの１つまたはそれ以上のＬＳＰ（またはＬＳＰ線）に値を加算したり減算したりして変更される。あるいは１つまたはそれ以上のＬＳＰ（またはＬＳＰ線）を移動して変更される。その値は背景騒音の分析に従って判定されてもよいし、現在または過去のＬＳＰ値に基づいて判定されてもよい。騒音の現在値を用いることによって、周辺騒音との直接的比較が行なわれて、ＬＳＰデータに対する変更が行われる。過去の値を用いることによって、予測的変更が可能となる。そのような特に好ましい装置において、本発明は、音声を規定する幾つかのまたはすべてのＬＳＰ（またはＬＳＰ線）の組み合わせの値を、数値的に増加または減少させることを含む。このように各ＬＳＰまたはＬＳＰグループは移動して、１つまたはそれ以上のスペクトルピークまたはフォルマントの周波数を（上方かまたは下方に）移動させるか、あるいは１つまたはそれ以上のスペクトルピークまたはフォルマントの振幅を変更する（振幅を増加させる（帯域を減少させる）か、振幅を減少させる（帯域を増加させる））。例えば、２つまたはそれ以上の組み合わせのＬＳＰ線（最も好ましくは１対のＬＳＰ線）の値の間の離隔を、狭めたり広げたりして、音声周波数スペクトルの中で見出された周波数特徴（スペクトルピークまたはフォルマント）を狭めたり広げたりすることが出来る。選択的にまたはそれに加えて、２つまたはそれ以上の組み合わせのＬＳＰ線（最も好ましくは１対のＬＳＰ線）の値を、最も好ましくは等しい値（定数項でもそれらの元の値のパーセンテージでもよい）で増加させたり減少させたりして、音声の周波数スペクトルの中で見出された特徴（スペクトルピークまたはフォルマント）の中心周波数を調整することが出来る。特に好ましい実施の形態においては、線スペクトル対の周波数を、音声データの特定のピークまたはフォルマントの中心周波数を変更するように変換する。上述したように、これは、例えば聞き手によって聞き取られる音声の特徴を変更し、背景騒音に対して理解度を高めるとりわけ有利な方法である。背景騒音の挙動を、そのスペクトル内容のこれまでの変化の分析から予測し、より迅速で適切にＬＳＰを調整することができる。この方法は、とりわけパトカーや消防車、救急車のサイレン等の反復的騒音に応用出来る。干渉騒音の周波数が変化する方向についての知識は、フォルマント周波数をどの方向に移動させるかについての判断に影響を与えるであろう。上述のどの調整でも、またはすべての調整を独自にまたは組み合わせて用いて、聞き手の背景騒音の分析に従って、音声通信システムによって出力される音声の特徴を変更し、音声通信システムによって出力される音声を聞き手に対して、より理解容易にすることが出来る。本発明は、携帯電話やラジオ等の音声通信システムに関連づけて説明した。この際には、例えば携帯電話や携帯ラジオなどに見られる音声復号器に用いることが特にふさわしい。しかしながら、音声符号器によって伝達される使用者の入力音声の特徴を変更することが求められる音声符号器において（例えば話し手の背景騒音に対して理解度を高めるために）用いることも可能である（特にＬＳＰ変更に関連する態様は、適用可能である）。また本発明は、聞き手に対して音声を放送するラジオ受信機やテレビ、または他の装置にも適用可能である。また本発明は、特に音声の理解度の向上について説明してきたが、音楽などの他の音の理解度を高めるのに用いることも出来る。本発明の好ましい実施の形態を、単に一例として、添付の図面を参照して詳述する。図面においては、図１は、一般的なＣＥＬＰ符復号器の構成を示す。図２は、本発明の代表的な音声通信システムのブロック図を示す。図３は、音の持続期間の周波数スペクトルを、番号を付したその音のＬＳＰ値を垂直線として重ね合わせて示す。図４は、図３のＬＳＰ値に一定の変更を施して引き出された音の持続期間の周波数スペクトルを示す。その音の変更後のＬＳＰ値は垂直線として重ね合わされている。本発明は、とりわけ携帯電話やラジオ装置において用いられる音声符復号装置での利用に適している。そのような符復号器の一例を、一般的ＣＥＬＰ符号器の形態で、図１に示す。一般的なＣＥＬＰ（符号励起線形予測）構造は１９８５年に導入され（例えばシュレーダー（Shroeder）MR、アタル(Atal)BSの「符号励起線形予測（ＣＥＬＰ）：超低ビットレートでの高品質音声」ICASSP、９３７−９４０ページ（１９８５年）参照）、それ以来多くの改良がなされてきた。一般的なＣＥＬＰ符復号器２２の構成を、図１に示す。図１は、入力音声２１が、線形予測分析器（装置）２によって分析されて、線形予測（ＬＰＣ）パラメータ３になる様子を示す。線形予測によっては記述できない入力信号の残りの部分は、例えば音声の利得と音高（ピッチ）を表わすパラメータを生成する音高フィルタ・ＶＱ復号部４へと送られる。これらの処理は本発明にとっては重要ではなく、相異するＣＥＬＰの具体例において、詳細な点で広範な変形例が可能である。しかしながら、これらの処理の結果、他の様々なパラメータが生成され、これらはＬＰＣパラメータと共に入力音声を記述することになる。入力音声を記述するＬＰＣパラメータ３および他のパラメータ（たとえば利得や音高）５は、量子化器６によって量子化され、（伝達パラメータ７として）ＣＥＬＰ復号器１４に伝達され、該ＣＥＬＰ復号器は逆量子化器８を用いてこれらのパラメータを逆量子化する。これらの逆量子化された値は次に、聞き手にとっての音として出力される音声１５を再現するのに用いられる。（逆量子化器８はＬＰＣパラメータ３および他のパラメータ５を、それぞれＬＰＣシンセサイザ３０および音高フィルタ・ＶＱ復号部３１によって再生する。これらのパラメータは音声を音１５として出力する。）選択的に、ＬＰＣパラメータを符号器で量子化するのに先立ち、相異する形態に変換してもよい（また逆量子化の後ＬＰＣ係数に再変換してもよい）。そのような形態としては、ログ面積比、ＰＡＲＣＯＲ（反射係数）および線スペクトル対などが知られている。用いられるＬＰＣパラメータの表示における相異、および音高フィルタおよびベクトル量子化器（ＶＱ）の型（または用法）の相異は、ＣＥＬＰについて多くの変形例を可能とする。その例を少し挙げれば、ＭＥＬＰ（混合励起線形予測）、ＶＳＥＬＰ（可変勾配励起線形予測）、ＳＢ−ＣＥＬＰ（副帯ＣＥＬＰ）、ＬＤ−ＣＥＬＰ（低遅延ＣＥＬＰ）、ＲＥＬＰ（残留励起線形予測）、ＰＲＥ−ＬＰ（残留パルス励起線形予測）、その他である。上述したように、多くのそのような符復号器において、ＬＰＣパラメータはＬＳＰとして伝達される。「ＬＳＰ」という用語は、スガワラおよびイタクラによる論文に記載されるように、線スペクトル対近似を用いて線形予測係数を変換することによって生成されるパラメータを指す（スガワラＮ、イタクラＦの「ＮＴＴのＥＣＬにおいて開発した音声分析および合成方法−ＬＰＣからＬＳＰへ−」スピーチコミュニケーション第５巻、１９９−２１３ページ、１９８６年）。線形予測係数自体は、マコール（Makhoul）Jの「線形予測：チュートリアル評論(tutorial review) 」(Proc.IEEE第６３巻、No．４，５６１−５８０ページ、１９７５年)に記載されるような、データ（音声）の組み合わせを操作する種々の定評のある分析方法によって生成される。ＬＳＰは数学的変形によってＬＰＣから生成され、同一の情報を有するが、相異する形態である。ＬＰＣからの他の多くの数学的変形も定量されているが、その結果生じるパラメータはいずれも、ＬＳＰや本発明に記載されるような手法で変更されたものではない。線スペクトル対パラメータを、「線スペクトル周波数」と称してもよいが、この用語はＬＳＰに限定して適用されるものではない。数学的にいえば、ＬＳＰパラメータは以下のように定義される：逆線形予測多項式の係数の特殊な再配列によって形成された２つの多項式の根（解）。これらの２つの多項式はＰおよびＱと称され、線形予測係数Ａｐのセットを用いて形成され（ここでｐは通常０からフィルタ次数ｐまで続く配列の指数）、以下の再帰的関係を有する：Ｐ(ｚ^-1)=Ａｐ(ｚ^-1)-ｚ^(p+1)Ａｐ(ｚ) Ｑ(ｚ^-1)=Ａｐ(ｚ^-1)-ｚ^(p+1)Ａｐ(ｚ) 多項式ＰおよびＱを解いて得られる根は、線スペクトル対と呼ばれる線スペクトル周波数パラメータを提供する。これらの根を決定するのに、例えば上述のスガワラおよびイタクラによる論文に説明されるように、多くの方法が存在する。方法の選択は本発明の目的とは関連しない。ＬＳＰのセットはしばしば基準化される。「基本」ＬＳＰ値に関して、これらのコサインまたはサインもＬＳＰと称される。更に、基本ＬＳＰは種々の領域の１つに存在する。即ち、その最大および最小値は０とπの間、０と４０００Ｈｚとの間（代表的サンプル周波数）、または０から１といった任意の範囲に存在し得る。本発明を理解する一助として、線スペクトル対（ＬＳＰ）の非数学的記述もまた検討される。ＬＳＰはＬＰＣおよび反射係数から導き出されるので、これらを最初に対象として含む必要がある。線形予測は、未知のシステムをモデル化するために、固定長の数式を通常用いる。数式構造は固定されているが、式に代入される値を見出さなければならない。線形予測分析は、その数式への値の最良のセットを見つけ出す方法である。これらの値は線形予測係数であり、これらの値の最良のセットは、２つのシステムへの入力値が同一な場合、数式の出力値が、最も近似にモデル化されたシステムの出力値に類似するような組み合わせである。もしその数式の方程式が数学的に再配列された場合、別の標準方程式に到達する。新しい方程式の係数は反射係数と呼ばれ、ＬＰＣ係数の中から容易に見出される。反射係数方程式は、実際のシステムに非常に容易関連付けられる。音声処理のために、ＬＰＣ分析は短い発音期間をモデル化する最良のパラメータを見出そうとする。物理的用語で述べれば、モデルは、直列に接続された相異する幅で等しい長さの多数のチューブによって構成される。反射係数は各々の連続するチューブの間の相異と直接関連するので、反射係数はこの物理モデルによく適合する。空気をチューブに吹き落とすと共振が起こる（オルガンのパイプ）。人間の声道においては、空気は（迅速に開閉する）声門に生じ、声道を進み、口に放出される。音は共振のために、声道の形状に強く関連する。ＬＳＰパラメータは各々、接続されたチューブの１つの共振周波数と関連がある。パラメータの半分は、チューブの供給元の端部が開放されていると仮定して生成され、半分はそれが閉鎖されていると仮定して生成される。実際、声門は迅速に開閉し、開放したり閉鎖のままになっていたりすることはない。このように各々の本物のスペクトル共振が２つの隣接する線スペクトル周波数の間に生じ、これらの２つの値が１対と見なされる（このように線スペクトル対となる）。音声符復号器を含んでなり、ＬＳＰ変更を用いて騒々しい環境下での音声の理解度を向上させる音声通信システムにおける本発明の実施の形態を、図２に示し、信号処理の様子を図３および４に示す。図２に示すシステムは、図１のシステムと共通の多くの機能を有し、従ってシステムの同様の機能には同一の参照番号を用いる。ＬＳＰ変更機構は、図２に示した音声符復号器（符復号器は、符号器２２と復号器１４の両機構を含んでなる）内において（即ち、音声復号器１４内において）動作する。音声符号器２２は入力音声２１を、ラジオその他の手段によって受信機１４に送信するのに適した１組の圧縮パラメータ２０に変換する。（この装置において、線形予測分析器２によって生成されたＬＰＣパラメータは、量子化器６により量子化される前に、ＬＰＣ−ＬＳＰ変換器３２によって線スペクトル対データに変換されることに留意されたい。）受信した装置は、次に送信されたデータを復号して、音声１５を再構築する。一例として、符号器２２はオフィス電話機に備わっていてもよいし、復号器１４は携帯電話機の受話器内に備わっていてもよい。本実施例においては、復号器によって受信された（ＬＳＰ情報を含んでなる）データに対する変更が行われる。この変更装置は、図２にＬＳＰ処理装置１０として示した。ＬＳＰ処理は、聞き手の環境に存在する騒音背景１６の程度と種類に依存する。図２に示す分析装置１２は、聞き手の環境における実際の外部の背景騒音を捕捉するマイクロホンを用いて、背景騒音の種類とレベルを判定する。騒音分析システムの一例は、使用者の音声を（一定の時間内におけるすべての入力騒音値を加算してその値を閾値と比較する等の多くの一般的な技法の１つを用いて）検出する方法であり、外部の背景騒音を発声期間の合間に考察する。サンプル騒音を次に（恐らく線形予測を用いて）分析して、そのスペクトルの内容と振幅を判定される。線形予測分析の結果得られるＬＰＣ（線形予測係数）値は、十分なスペクトル情報を含み、また利得パラメータは、ＬＰＣパラメータの相対振幅を絶対振幅に関連付ける。判定装置１１は、現在復号器によって受信されて、スピーカまたは携帯電話機の受話口を経由して音として再生されている音声データが、携帯電話機（即ち聞き手）の現在の背景騒音１６下において、平均的な聞き手に理解容易であるか否かを判定する。もし判定装置が、音声が容易に理解可能であると判定した場合には、処理は必要なく、処理装置１０は、標準的音声復号器によって該装置に送信された逆量子化されたＬＳＰパラメータ１７を、ＬＳＰ−ＬＰＣ変換機３３に送信する前に変更することはない。一方、判定装置が音声が理解不能であると判定した場合、処理が必要となり、処理装置１０は、逆量子化されたＬＳＰパラメータを、聞き手用に再生すべくＬＳＰ−ＬＰＣ変換機への送出前に、そのＬＳＰパラメータを変更して音声の特徴を変更する。判定装置はまた、音声がまもなく不鮮明になるということも予測する。判定処理に入力されるのは、スペクトル分析および振幅換算係数（利得）の形態での音声と背景騒音との記述である。音声がその騒音の中で聞き手に聞こえるかどうかを判定するために、音声データと騒音データを比較することが必要である。比較する際には、まず音声信号の内容を非音声、有声音声または無声音声に分類する。非音声が存在する時は（恐らく言葉と言葉の間の休止）、その可聴性は重要ではないのでその強調は必要でなく、ＬＳＰ処理モジュールは処理を行わないように指示される。有声音声が存在する時は（有声音声は、フォルマントと呼ばれる多様な周波数の一連の共振ピークを含む）、各フォルマントの振幅をその周波数における騒音振幅と比較し、その可聴性を判定する。もし騒音振幅が、いかなるフォルマント周波数においてもフォルマント振幅を越える場合は、フォルマント調整が必要となる。必要に応じて、出力される音声の理解度を判定する他の公知の技術を用いることも可能である。ＬＳＰ処理装置１０は各ＬＳＰに対して数理操作を行い、判定装置の制御の下で音声を強調する。正確な操作は判定処理の方針に基づいて行われる。１つの音声強調作用ではＬＳＰ線をより有利な位置に移動させることが求められる。例えば、フォルマント周波数の周囲の騒音振幅を自動的に検査し、フォルマント周波数を上方または下方に１０％だけ移動させた場合、恐らく事態を改善するだろうということが明示される場合がある。この可能性があれば（恐らく騒音振幅は、フォルマント周波数よりも１０％低い周波数において低減するから）、ＬＳＰ処理部は、適切なＬＳＰを対応する量だけ移動させるよう指示される。例えば、移動が必要なフォルマントが６００Ｈｚに位置している場合、一般に６００Ｈｚに非常に近くてその両側にある２つのＬＳＰ係数が存在する。もし１０％の下方移動によって可聴性が向上する場合は、これらの２つのＬＳＰパラメータの値にそれぞれ０．９を掛けて移動を行う。ＬＳＰ調整それ自体は、ＬＳＰ処理部内に限って行なわれる。更に別の実施例として、もし判定モジュールが、複数のＬＳＰのセットから線１および２を低周波数側に１０％だけ移動させることによって、理解度を向上させ得ると判定した場合、線１および２の値に０．９の係数を掛ければよい。もし判定モジュールが線３を１００Ｈｚだけ上方に移動させると、理解度を向上させ得ると判定した場合には、所定量を線３に加える。この量は、ＬＳＰパラメータがヘルツの値を取るように基準化されていれば１００に等しいが、より一般的には１００ｘ２π／ｆｓであり、ここでｆｓはシステムのサンプリングレートであり、ＬＳＰは、角周波数領域の値に限定される。他の種類の処理も可能であるが、それらはすべて１つまたはそれ以上のＬＳＰ線に値を加算または減算する処理として記述される（ＬＳＰ線をそれ自体に加算することは乗算に等しい）。それらの値は判定モジュールによって判定されるか、あるいは各ＬＳＰ線の現在または過去の値に基づく。そのようなＬＳＰ処理の一例を図３に示す。この図は、音の持続期間の周波数スペクトルが描き、この音を分析して得られた１０個のＬＳＰ線が重ね合わせて作られている。ＬＳＰ値はＬＰＣパラメータとの間で容易に変換可能であり、ＬｐＣパラメータからはスペクトルが描かれる。当該実施例においては、図３は、図２に示したＣＥＬＰ符号器２２において音声２１の分析から得られた音の周波数スペクトルを示す。一般的なＣＥＬＰ復号器の場合には、本発明による恩恵なしに操作する場合、出力音声１５は、図３のデータを用いて再構築される。本発明を包含した場合、ＬＳＰ処理部１０は、出力音声１５を変更するためにＬＳＰ値を変更することができる。図４の具体的な実施例の場合、図３のスペクトルの特定のＬＳＰ値を変更し、図４に示すスペクトルを形成する新しい組み合わせのＬＰＣ係数を生成した。図３の元のスペクトルのＬＳＰ値に関して、３つの操作が行われた。１．線１および２の間の離隔を、両線を更に引き離すことにより増加させた（即ち線１は周波数を低くし、線２は高くした）。２．線５および６の周波数を高くした。３．線１０の周波数を高くした。これらの３つの操作は、発信された音に一定の結果をもたらす。１．線１および２はスペクトルピークの両側に位置する。２つの線の移動により、このスペクトルピークは振幅が低減し、より広くなる（帯域幅の増加と等しい）。２．線５および６は、第２のスペクトルピークの両側に位置する。これらの２つの線の移動により、そのピークの周波数が高くなる。３．線１０は、以前は、非常に小さいスペクトルの「隆起」のすぐ右側に位置していた。この隆起は、その線の周波数がかなりの量で増加したために、もはや明瞭ではない。音声符復号器のこの具体的な実施例においては、分析される音は音声である。スペクトル図において明瞭なスペクトルピークは、これまで検討してきたように、フォルマントに対応し、多量の情報を伝達する音声の重要な構成要素である。上記で検討したＬＳＰに基づく調整はこのように、聞き手に出力されて感知される音声の特徴を変化させた。例えば母音の場合、スペクトルピークに対応して緩やかに線を広げることは（即ちフォルマントの帯域幅を増大させることは）、理解度を増すことが明らかになった。図２に示した実施例は更に、聞き手の環境に存在する騒音を分析し、その聞き手に対して再生される音声が理解容易であるか否かを判定する。もし理解容易でなければ、本発明においては音声の特徴を変更し、各ＬＳＰまたはＬＳＰのグループを、以下の操作を行うことにより移動操作し、音声の理解度を向上させる。１．ピーク／フォルマントの周波数を上方に移動させる。２．ピーク／フォルマントの周波数を下方に移動させる。３．ピーク／フォルマントの振幅を増加させる（帯域幅を減少させる）。４．ピーク／フォルマントの帯域幅を増加させる（振幅を減少させる）。周知の音響心理学理論で述べられるように、所定の周波数の音は、類似の周波数の第２の同時発生音によってマスキングされる。もし第２の音が十分に大きい場合には、前者の音は聞き取れない。このように本出願の発明者は、音声の場合には、音声におけるフォルマントの周波数に類似の周波数を有する大きな騒音は、音声をマスキングすることを認識した。音声を聞き取るためには、音量を上げるか音声要素の周波数を変更することが必要である。音量の変更は比較的単刀直入であるが、しかしここで注意したいのは、特に騒々しい自動車内といった状況下においては、（もしそれが耐え得るならば）聴力損失を起こすほどの音量レベルが要求されうるということである。従って音声要素の周波数を変更することが好ましい。以上見たように、本発明は効率的な処理により、背景騒音による音声のマスキングを低減する（従って、音声の理解度を高める）方法を提供する。この処理は多くの流通している標準的携帯電話やラジオ装置、およびそのような装置の標準的音声符復号器と組み合わされて用いることが出来る。音声の強調は、聞き手の背景騒音環境の分析が、修正用のＬＳＰの変更と組み合わされた時にも生じる。このＬＳＰの変更は、処理された音を聞き手が聞き取りやすくするために、受信した発信音声データを調整し、その音声データは聞き手に対して再生される。本技術は、聞き手の背景騒音環境の分析に基づいて、音声データ符復号器内で見出されたＬＳＰの値を調整する。好ましくは、受信された音声の中に見出された特定の周波数領域特徴の周波数、または出力と帯域幅をこの方法で変更する。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＧＷ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＷ

Claims

【特許請求の範囲】１．音声通信システムによって、該システムを用いる聞き手に対して出力される音声の理解度を向上する方法であって、前記聞き手の現在の背景騒音環境を分析し、前記背景騒音分析の結果を用いて、前記聞き手に対して出力される前記音声が、現在の背景騒音環境において前記聞き手にとって理解容易であるか否かを判定し、前記判定に基づいて、前記音声通信システムによって出力される前記音声の特徴を変更して、前記変更された音声が、現在の背景騒音環境において、前記聞き手に対して強調した理解度を有するようにする方法。２．前記出力される音声の前記理解度は、前記音声の内容を少なくとも２つのカテゴリに分類して、かつ１つの周波数における１つのカテゴリの前記音声の振幅を、その周波数における騒音の振幅と比較することによって判定される請求の範囲第１項に記載の方法。３．前記出力される音声の前記理解度は、前記音声の内容を、前記音声のフォルマントを包含する１つのカテゴリに分類して、かつ１つの周波数における前記フォルマントを包含する音声カテゴリにおける振幅を、その周波数における前記騒音の振幅と比較することによって判定される請求の範囲第１項または第２項に記載の方法。４．前記出力される音声の前記理解度は、前記音声の内容を、非音声、有声音声、または無声音声に分類して、かつ１つの周波数における有声音声の振幅を、その周波数における前記騒音の振幅と比較することによって判定される請求の範囲第１項ないし第３項のいずれか記載の方法。５．前記出力される音声の前記理解度は、前記音声の内容を、非音声、有声音声、または無声音声に分類して、かつ中心周波数を有する前記有声音声のスペクトルピークの振幅を、前記スペクトルピークの前記中心周波数における前記騒音の振幅と比較することによって判定される請求の範囲第１項ないし第４項のいずれか記載の方法。６．前記出力される音声の前記理解度は、前記音声の内容を、非音声、有声音声、または無声音声に分類して、かつ中心周波数を有する前記有声音声のフォルマントの振幅を、前記フォルマントの前記中心周波数における前記騒音の振幅と比較することによって判定される請求の範囲第１項ないし第５項のいずれか記載の方法。７．前記音声のスペクトルピークと実質的に同じ周波数における前記背景騒音の振幅が、前記スペクトルピークの振幅より大きい場合は、前記音声は理解不能と判定される請求の範囲第１項ないし第６項のいずれか記載の方法。８．前記音声のフォルマントと実質的に同じ周波数における前記背景騒音の振幅が、前記フォルマントの振幅より大きい場合は、前記音声は理解不能と判定される請求の範囲第１項ないし第７項のいずれか記載の方法。９．前記音声の特徴は、前記音声を表わす線スペクトル対（ＬＳＰ）を変更することにより変更される請求の範囲第１項ないし第８項のいずれか記載の方法。１０．前記音声の特徴は、前記音声スペクトルにおける線スペクトル対を移動させることにより変更される請求の範囲第９項に記載の方法。１１．前記音声の特徴は、前記音声スペクトルの要素の周波数を変更することにより変更される請求の範囲第１項ないし第１０項のいずれか記載の方法。１２．前記音声スペクトルのフォルマントの周波数を変更する請求の範囲第１１記載の方法。１３．前記音声のフォルマントの周波数を変更して、前記フォルマントを、前記背景騒音の振幅がより低い位置における周波数に移動させる請求の範囲第１２項に記載の方法。１４．前記音声スペクトルは中心周波数を有するスペクトルピークを含み、前記スペクトルピークの前記中心周波数が変更される請求の範囲第１１項ないし第１３項のいずれか記載の方法。１５．音声通信システムであって、該システムの現在の背景騒音環境を分析する手段と、前記背景騒音分析の結果を用いて、前記音声通信システムを聞いている聞き手に対して、前記音声通信システムによって出力される音声が、現在の背景騒音環境において前記聞き手にとって理解容易であるか否かを判定する手段と、前記判定手段の出力に従って、前記音声通信システムによって聞き手に対して出力される前記音声の特徴を変更し、現在の背景騒音環境の中にいる前記聞き手に対して、前記音声の理解度を向上させる手段とを備えた音声通信システム。１６．前記出力される音声が理解容易か否かを判定する前記手段は、前記音声の内容を相異するカテゴリに分類する手段と、１つの周波数における前記音声カテゴリのうちの１つのカテゴリの振幅を、その周波数における前記騒音の振幅と比較する手段とを含んでなる請求の範囲第１５項に記載のシステム。１７．前記音声の内容を相異するカテゴリに分類する前記手段は、前記音声の内容を前記音声のフォルマントを包含する１つのカテゴリに分類し、前記比較手段は、１つの周波数における前記フォルマント包含音声カテゴリの振幅を、その周波数における前記騒音の振幅と比較する請求の範囲第１６項に記載のシステム。１８．前記出力される音声が理解容易か否かを判定する前記手段は、前記音声のフォルマントと実質的に同じ周波数にある騒音の振幅を、そのフォルマントの振幅と比較する請求の範囲第１５項ないし第１７項のいずれか記載のシステム。１９．前記音声は線スペクトル対（ＬＳＰ）データを含むデータによって表わされ、前記音声通信システムによって出力される前記音声の特徴を変更する前記手段は、前記音声を表わす前記線スペクトル対（ＬＳＰ）データを変更する手段を備えた請求の範囲第１５項ないし第１８項のいずれか記載のシステム。２０．前記音声通信システムによって出力される前記音声の特徴を変更する前記手段は、前記音声スペクトルの要素の周波数を変更する手段を備える請求の範囲第１５項ないし第１９項のいずれか記載のシステム。２１．前記音声通信システムによって出力される前記音声の特徴を変更する前記手段は、前記音声のフォルマントの周波数を変更して、前記フォルマントを、前記騒音の振幅がより低い位置における周波数に移動させる手段を備える請求の範囲第２０項に記載のシステム。２２．音声通信システムにおける、聞き手に対して出力される音声の特徴を変更する方法であって、前記音声通信システムにおいては、該システムによって処理されて音として出力される音声データは線スペクトル対データを含み、前記方法は前記音声データの前記線スペクトル対データを変更する方法。２３．前記音声データの前記線スペクトル対データを変更して、前記音声スペクトルの要素の周波数を変更する請求の範囲第２２項に記載の方法。２４．前記音声スペクトルのフォルマントの周波数を変更する請求の範囲第２３項に記載の方法。２５．前記音声スペクトルのスペクトルピークの中心周波数を変更する請求の範囲第２３項または第２４項に記載の方法。２６．前記線スペクトル対データは、前記音声スペクトルの１つの線スペクトル対の周波数を変更することによって変更される請求の範囲第２２項ないし第２５項のいずれか記載の方法。２７．前記線スペクトル対データは、前記音声スペクトルの１つの線スペクトル対の間隔を低減することによって変更される請求の範囲第２２項ないし第２６項のいずれか記載の方法。２８．音声通信システムによって処理される音声データが線スペクトル対データを含む音声通信システムであって、前記音声通信システムによって処理される前記音声データの前記線スペクトル対データを変更して、聞き手によって聞き取られる処理音声の特徴を変化させる手段を備えたシステム。２９．前記線スペクトル対データを変更する前記手段は、前記音声スペクトルの要素の周波数を変更するようにして前記線スペクトル対データを変更する手段を備えた請求の範囲第２８項に記載のシステム。３０．前記線スペクトル対データを変更する前記手段は、前記音声スペクトルのフォルマントの周波数を変更する手段を備えた請求の範囲第２９項に記載のシステム。３１．前記線スペクトル対データを変更する前記手段は、前記音声スペクトルの１つのスペクトルピークの周波数を変更する手段を備えた請求の範囲第２９項または第３０項に記載のシステム。３２．前記線スペクトル対データを変更する前記手段は、前記音声スペクトルの１つの線スペクトル対の周波数を変更する手段を備えた請求の範囲第２８項ないし第３１項のいずれか記載のシステム。３３．前記線スペクトル対データを変更する前記手段は、前記音声スペクトルの１つの線スペクトル対の間隔を減少させる手段を備えた請求の範囲第２８項ないし第３２項のいずれか記載のシステム。３４．音声通信システムによって、該システムを用いる聞き手に対して出力される音声の理解度を向上させる方法であって、前記聞き手の現在の背景騒音環境を分析し、前記背景騒音分析の結果を用いて、前記聞き手に対して出力される前記音声の、音声スペクトルのフォルマントの振幅を前記背景騒音の振幅と比較し、前記比較に基づいて、前記音声通信システムによって出力される前記音声の特徴を変更して、前記変更された音声が、現在の背景騒音環境において、前記聞き手に対して向上した理解度を有するようにする方法。３５．音声通信システムであって、該システムの現在の背景騒音環境を分析する手段と、前記背景騒音分析の結果を用いて、前記音声通信システムによって出力される前記音声の音声スペクトルのフォルマントの振幅を、前記背景騒音の振幅と比較する手段と、前記比較装置の出力に従って、前記音声通信システムによって聞き手に対して出力される前記音声の特徴を変更して、現在の背景騒音の中にいる前記聞き手に対して、前記音声の理解度を向上させる手段とを備えた音声通信システム。３６．添付の図面のいずれか１つを参照して実質的にこれまでに記載された音声通信システム。３７．音声通信システムを用いる聞き手に対して該システムによって出力される音声の理解度を向上させる方法であって、添付の図面のいずれか１つを参照して実質的にこれまでに記載された方法。３８．音声通信システムにおいて、聞き手に対して出力される音声の特徴を変更する方法であって、添付の図面のいずれか１つを参照して実質的にこれまでに記載された方法。