JP2009267799A

JP2009267799A - ハンズフリー通話装置及びハンズフリー通話方法

Info

Publication number: JP2009267799A
Application number: JP2008115651A
Authority: JP
Inventors: Yoshio Nakadai; 芳夫中台; Ushio Shibusawa; 潮渋沢
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2008-04-25
Filing date: 2008-04-25
Publication date: 2009-11-12
Anticipated expiration: 2028-04-25
Also published as: JP4838282B2

Abstract

【課題】簡易な構成で妨害音を生成すると共に、周囲騒音に合わせて該妨害音のレベルを適切に調整することを第１の課題とし、通話状況に応じて該妨害音のレベルを適切に調整することを第２の課題とする。
【解決手段】通話音声でない非音声時間区間に対応する該収音信号の大きさを雑音レベルとして測定すると共に、マイクで収音された音に基づく収音信号を同様に入力し、通話音声である音声時間区間に対応する該収音信号の大きさを通話音レベルとして測定し、通話音レベルに対する雑音レベルとの差分に応じて妨害信号の大きさを調整する。また、通話者の音声である音声時間区間に対応する該収音信号の大きさの時間変化量を通話者音声変化量と、通話相手の音声である音声時間区間に対応する該音声信号の大きさの時間変化量を通話相手音声変化量との測定結果に基づいて、妨害信号の大きさを調整する。
【選択図】図１

Description

本発明は、通話者が手に保持しなくても通話相手と通話可能なハンズフリー通話装置及びハンズフリー通話方法の技術に関する。

テレビ電話を行う通信装置において、送受話器としてのハンドセットを使用せず、スピーカー及びマイクロホンを組み合わせたスピーカーホンによって通信を行うハンズフリー音声通話が見直されている。旧来は、例えばＮＴＴ（株）が開発したテレビ電話機「ＰＩＣＳＥＮＤ−Ｒ」（図３参照）のように、テレビ画面を見ながら備え付けのハンドセットで通話するという通話形態が主流であった。しかしながら現在では、同ＮＴＴグループが開発した「フレッツホンＶＰ１０００」（図４参照）に見られるように、スピーカー及びマイクロホンがテレビ画面と一体的に形成され、ハンドセットを手に保持しなくてもハンズフリーで通話可能なテレビ電話が出現している。ハンドセットが不要になることで、通信装置自体の外観が従来よりも整えられ、ハンドセットの保持から通話者を解放し、自由な通話環境を実現している。

このようなハンズフリー通話が可能な通話装置は、スピーカーから通話相手の音声を再生すると共にマイクロホンが通話者の肉声を拾う機能を具備するものであるが、このスピーカーから放出された通話相手の音声がマイクロホンを通じて同通話相手に送り返されるため、遅延した自己の声を同通話相手に与えてしまう場合がある。また、通話相手及び通話者が共にハンズフリー通話を利用している場合には音響結合という現象が生じ、極端な場合にはハウリング（発振騒音）が発生することになる。このようなフィードバック現象を抑止するために、一般的には、マイクとスピーカーとの間にエコーキャンセラＥＣ又は音声スイッチＶＯＸと称される処理回路が組み込まれ、スピーカーから放出される音声が通話相手に戻ることを防止し、音響結合を遮断するようになっている。

ところで、ハンズフリー通話に関しては、上述した利便性もある一方で普及を阻害する要因がある。具体的には、通話音声の漏洩に起因する第三者による盗聴やプライバシー流出の可能性である。すなわち、通話者の肉声とスピーカーから放出される通話相手の音声との双方の対話を一度に受聴できることから、第三者が同じ室内に居る場合や室内の音を収録されてしまった場合には、通話内容のプライバシーを守ることが非常に困難となる。

そこで、このような問題を極端に防止する一方法として、通話音声が他人に聞き取られないようにマスキングする妨害音を出すことが考えられる。欧州のオフィスではオフィス用電話機は個人に属するという考え方もあり、ハンズフリー通話利用者の中には、ラジオやステレオなどのスピーカーから音楽や周囲騒音を流しながら通話する人もいる。しかし、このような方法は盗聴対策として一定の効果が期待できるものの、ラジオやステレオはハンズフリー通話装置と独立に動作するものであり、音源としてみた場合には通話者の肉声と同等である。すなわち、前述のエコーキャンセラＥＣや音声スイッチＶＯＸによる制約を受けないため、通話相手に対して音楽や周囲騒音がそのまま伝わり、明瞭な音声通話が困難となる。また、それら音楽や周囲騒音の音圧レベルが大きければ、通話者の周囲にいる善意の第三者に対して迷惑な妨害音を与えることになる。

このように、音楽や周囲騒音が通話相手に伝わることを防止すると共に妨害音としての効果を得るためには、妨害音自体をハンズフリー通話装置で生成し、打ち消してしまう方法が考えられる。このような方法を携帯電話の筐体やハンドセットで実現しようとする技術が特許文献１に開示されている。

特許文献１の図１には、ハンドセットの送話マイクロホンの近傍に妨害音源を置き、通話者の肉声と妨害音とをマイクロホンで収音した後で、エコーキャンセラと同様の機能を持つ適応的ノイズキャンセラＡＮＣによって妨害音を相殺し、通話者の肉声のみを出力する技術が記載されている。しかしながら、ハンドセットの筐体を媒介として通話者自身の耳に回りこむ妨害音について考慮されていないため、通話相手との通話が非常に困難になる。

また、同特許文献の図５には、上記と同様の技術をハンズフリー通話装置で実現する技術が記載されている。しかしながら、受話用のスピーカーと妨害音生成用のスピーカーとが夫々分離して配置されているため、スピーカーの配置によっては装置の筐体が大きくなる。

更に、同特許文献においては、妨害音の音圧レベルについて配慮されていないため、周囲に過大な騒音を撒き散らす可能性が高くなり、現実的な使用を配慮したものとは言い難い。

更にまた、同特許文献の図５を実現する具体的な回路構成は記載されていないが、同特許文献の図４の回路図から推定すれば、ノイズ発生器から発生したマスキング音をマイクで収音した時に、これを打ち消すための適応フィルタＡＮＣと、スピーカー及びマイクを使ったハンズフリー通話を実現するためのエコーキャンセラＥＣ又は音声スイッチＶＯＸとを夫々独立に具備する回路構成であると予想される。適応フィルタＡＮＣとエコーキャンセラＥＣとは略同一の回路構成であるため、冗長な回路構成となってしまう。

更にその上、同特許文献における妨害音を出す目的は異なる。通話者自身の音声はこれまでのハンドセットの使用下でも十分に漏れていたものである。これを前提に考えると、ハンズフリー通話において本来盗聴を抑止したい第１の目的は通話相手の音声である。通話者自身の肉声の盗聴防止は第２の目的である。同特許文献に開示された技術は、この第２の目的を達成しようとしたものであるが、第１の目的を達成するために特化したものではない。
特開平５−２２３９１号公報

以上を整理すると、従来のハンズフリー通話装置において、通話相手の音声を第三者に盗聴されることを抑止する妨害音の生成に関して以下に示す問題があった。

まず、第三者による盗聴を確実に抑止するために妨害音の音圧レベルを大きくした場合にあっては、通話者自身も同妨害音を受聴することになるため、騒がしい中での通話を余儀なくされて通話が非常に困難になるという第１の問題があった。また、周囲に妨害音相当の雑音が存在する場合にあっては、その雑音が妨害音として作用するため、新たに妨害音を発生する効果が薄れるという第２の問題があった。更に、妨害音を周囲に人々に受聴させることになるため、一定の盗聴抑止効果以上の騒音を生成する場合にあっては、周囲の人々に不快な影響を与えるという第３の問題があった。更にまた、妨害音を放出する妨害音用スピーカーと通話相手の音声を放出する通話相手用スピーカーとの双方が必要になるため、装置筐体の大型化を招くだけではなく、妨害音を打ち消すための適応フィルタＡＮＣと、ハンズフリーを実現するためのエコーキャンセラＥＣ又は音声スイッチＶＯＸとの多段構成を取ることになり、処理が複雑化するという第４の問題があった。

本発明は、上記に鑑みてなされたものであり、簡易な構成で妨害音を生成すると共に、周囲騒音に合わせて該妨害音のレベルを適切に調整することを第１の課題とし、通話状況に応じて該妨害音のレベルを適切に調整することを第２の課題とするハンズフリー通話装置及びハンズフリー通話方法を提供することを課題とする。

請求項１に記載の本発明は、スピーカー及びマイクを備え、通話者が手に保持しなくても通話相手と通話可能なハンズフリー通話装置において、前記スピーカーから放出される前記通話相手の音声が前記通話者以外の者に聴取されることを妨害する妨害信号を発生する妨害信号発生手段と、前記通話相手の通話装置から送信された音声信号に前記妨害信号を加え、当該通話相手の音声信号に基づく音声と当該妨害信号に基づく妨害音とを前記スピーカーから放出させる妨害信号付加手段と、前記マイクで収音された音に基づく収音信号を入力し、通話音声でない非音声時間区間に対応する当該収音信号の大きさを雑音レベルとして測定する雑音レベル測定手段と、前記収音信号を入力し、通話音声である音声時間区間に対応する当該収音信号の大きさを通話音レベルとして測定する通話音レベル測定手段と、前記通話音レベルに対する前記雑音レベルとの差分を計算する差分計算手段と、前記差分が所定値よりも小さい場合に前記妨害信号の大きさを小さくし、前記差分が前記所定値よりも大きい場合に前記妨害信号の大きさを大きくする妨害信号レベル制御手段と、を有することを要旨とする。

本発明にあっては、スピーカーから放出される通話相手の音声が通話者以外の者に聴取されることを妨害する妨害信号を発生し、通話相手の通話装置から送信された音声信号に該妨害信号を加え、通話相手の音声信号に基づく音声と妨害信号に基づく妨害音とをスピーカーから放出させるため、簡易な構成で妨害音を生成するハンズフリー通話装置を提供することができる。具体的には、通話相手の音声を放出するスピーカーと妨害音を放出するスピーカーとが１つになるため、ハンズフリー通話装置の筐体の大型化を防止し、妨害音生成のために新たなスピーカーの配置を必要とせず、従来のハンズフリー通話装置の筐体でも容易に適用が可能となる。

また、本発明にあっては、マイクで収音された音に基づく収音信号を入力し、通話音声でない非音声時間区間に対応する該収音信号の大きさを雑音レベルとして測定すると共に、マイクで収音された音に基づく収音信号を同様に入力し、通話音声である音声時間区間に対応する該収音信号の大きさを通話音レベルとして測定し、通話音レベルに対する雑音レベルとの差分が所定値よりも小さい場合に妨害信号の大きさを小さくし、該差分が該所定値よりも大きい場合に妨害信号の大きさを大きくするため、周囲騒音に合わせて妨害音のレベルを適切に調整するハンズフリー通話装置を提供することができる。具体的には、通話者や通話相手が音声を発しない時間区間で周囲騒音を評価し、音声レベルに対して十分な騒音レベルが定在していれば妨害音の音圧レベルを下げ、一方、騒音レベルが低い場合には、妨害音の音圧レベルを上げるため、周囲騒音の状況に合わせて妨害音のレベルを適切に調整することができる。

請求項２に記載の本発明は、前記妨害信号が加えられた前記通話相手の音声信号を用いて、前記スピーカーから放出された後に前記マイクで収音された前記通話相手の音声成分及び前記妨害音成分を前記収音信号から除去する除去手段と、前記通話相手の音声成分及び前記妨害音成分が除去された前記収音信号を入力し、前記通話者の音声である音声時間区間に対応する当該収音信号の大きさの時間変化量を通話者音声変化量として測定する通話者音声変化量測定手段と、前記通話相手の通話装置から送信された音声信号を入力し、当該通話相手の音声である音声時間区間に対応する当該音声信号の大きさの時間変化量を通話相手音声変化量として測定する通話相手音声変化量測定手段と、を更に有し、前記妨害信号レベル制御手段は、前記通話者音声変化量及び／又は前記通話相手音声変化量が所定値よりも大きい場合に、前記妨害信号の大きさを大きくし、前記通話者音声変化量及び／又は前記通話相手音声変化量が当該所定値よりも小さい場合に、前記妨害信号の大きさを小さくすることを要旨とする。

本発明にあっては、通話相手の音声成分及び妨害音成分が除去された収音信号を入力し、通話者の音声である音声時間区間に対応する該収音信号の大きさの時間変化量を通話者音声変化量として測定すると共に、通話相手の通話装置から送信された音声信号を入力し、通話相手の音声である音声時間区間に対応する該音声信号の大きさの時間変化量を通話相手音声変化量として測定し、通話者音声変化量及び／又は通話相手音声変化量が所定値よりも大きい場合に、妨害信号の大きさを大きくし、通話者音声変化量及び／又は通話相手音声変化量が該所定値よりも小さい場合に、妨害信号の大きさを小さくするため、通話状況に応じて妨害音のレベルを適切に調整するハンズフリー通話装置を提供することができる。具体的には、通話者同士の音声を情報伝達量の観点で音声スペクトルの変化量を擬似的に評価し、音声スペクトルの変化が低下してきたら双方間で伝わる情報が少なくなって通話が困難になったものと見做して妨害音の音圧レベルを下げるため、通話の状況に合わせて妨害音の大きさを適切に調整することができる。

また、本発明にあっては、妨害信号が加えられた通話相手の音声信号を用いて、スピーカーから放出された後にマイクで収音された通話相手の音声成分及び妨害音成分を収音信号から除去するため、処理の単純化がされたハンズフリー通話装置を提供することができる。具体的には、スピーカーから放出された通話相手の音声がマイクへ回りこんで該通話相手に送り返されることを防止する機能（前述のエコーキャンセラＥＣに相当する機能）と、スピーカーから放出された妨害音が該マイクへ回り込んで該通話相手に送り返されることを防止する機能（前述の適応フィルタＡＮＣに相当する機能）とを共有化することができる。

請求項３に記載の本発明は、スピーカー及びマイクを備え、通話者が手に保持しなくても通話相手と通話可能なハンズフリー通話装置で行うハンズフリー通話方法において、前記スピーカーから放出される前記通話相手の音声が前記通話者以外の者に聴取されることを妨害する妨害信号を発生するステップと、前記通話相手の通話装置から送信された音声信号に前記妨害信号を加え、当該通話相手の音声信号に基づく音声と当該妨害信号に基づく妨害音とを前記スピーカーから放出させるステップと、前記マイクで収音された音に基づく収音信号を入力し、通話音声でない非音声時間区間に対応する当該収音信号の大きさを雑音レベルとして測定するステップと、前記収音信号を入力し、通話音声である音声時間区間に対応する当該収音信号の大きさを通話音レベルとして測定するステップと、前記通話音レベルに対する前記雑音レベルとの差分を計算するステップと、前記差分が所定値よりも小さい場合に前記妨害信号の大きさを小さくし、前記差分が前記所定値よりも大きい場合に前記妨害信号の大きさを大きくするステップと、を有することを要旨とする。

請求項４に記載の本発明は、前記妨害信号が加えられた前記通話相手の音声信号を用いて、前記スピーカーから放出された後に前記マイクで収音された前記通話相手の音声成分及び前記妨害音成分を前記収音信号から除去するステップと、前記通話相手の音声成分及び前記妨害音成分が除去された前記収音信号を入力し、前記通話者の音声である音声時間区間に対応する当該収音信号の大きさの時間変化量を通話者音声変化量として測定するステップと、前記通話相手の通話装置から送信された音声信号を入力し、当該通話相手の音声である音声時間区間に対応する当該音声信号の大きさの時間変化量を通話相手音声変化量として測定するステップと、前記通話者音声変化量及び／又は前記通話相手音声変化量が所定値よりも大きい場合に、前記妨害信号の大きさを大きくし、前記通話者音声変化量及び／又は前記通話相手音声変化量が当該所定値よりも小さい場合に、前記妨害信号の大きさを小さくするステップと、を更に有することを要旨とする。

本発明によれば、簡易な構成で妨害音を生成すると共に、周囲騒音や通話状況に合わせて該妨害音のレベルを適切に調整可能なハンズフリー通話装置及びハンズフリー通話方法を提供することができる。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、本実施の形態に係るハンズフリー通話装置の機能ブロックを示す機能ブロック図である。このハンズフリー通話装置は、スピーカー７及びマイク８を備え、通話者が手に保持しなくても通話相手と通話可能であって、図１において音声入力端１は、通話相手の通話装置（図示せず）から送信される音声信号を入力するオーディオ端子である。音声出力端２は、マイク８で収音された通話者の音声や同通話者の周囲で発生している雑音等の音に基づく収音信号を通話相手の通話装置に出力するオーディオ端子である。妨害信号発生源３は、スピーカー７から放出される通話相手の音声が同通話者以外の者に聴取されることを妨害する妨害音としての妨害信号を発生する。その妨害音とは、例えばホワイトノイズや、小川のせせらぎ音等の人間が発する音声とは異なるスペクトル構造を持った音等を挙げることができる。スイッチ４は、妨害信号発生源３で発生した妨害信号が後段のミキサ５へ入力することをオン／オフするスイッチである。

ミキサ５は、音声入力端１及び妨害信号発生源３からの各信号を混合する端子であって、より具体的には、音声入力端１を介して通話相手の通話装置から送信された音声信号に妨害信号発生源３で発生した妨害信号を加え、通話相手の音声信号に基づく音声と妨害信号に基づく妨害音とをスピーカー７から放出させる。アンプ６は、ミキサ５から出力された通話相手の音声信号と妨害信号との大きさを増幅する。スピーカー７は、アンプ６を介して増幅された音声信号及び妨害信号に基づく通話相手の音声及び妨害音を通話者に対して放出する。マイク８は、通話者の音声や同通話者の周囲で発生している雑音等の音を収音する。

エコーキャンセラ９は、スピーカー７から放出されてマイク８に入力される通話相手の音声及び妨害音を打ち消す回路であって、より具体的には、ミキサ５から出力されて妨害信号が加えられた通話相手の音声信号を入力して、スピーカー７から放出された後にマイク８で収音された通話相手の音声成分及び妨害音成分を前述の収音信号から除去する。

第１音声パワー計算部１０は、マイク８で収音された収音信号を入力し、この収音信号の波形を用いて時間区間に対する音声パワーａ_ｎを算出して、算出された音声パワーの対数値からデシベル値ｐ_ｎを計算する。まず、音声パワーａ_ｎについては、例えば、音声信号の波形をサンプリング周波数８ｋＨｚ、１６ｂｉｔ線形波形でＡ／Ｄ（アナログ→デジタル）変換したデータ（離散的なサンプリング波形）｛ｗ_ｍ｝（ｍ＝１，２，…，８０００）について、フレーム長１秒単位、フレーム周期０．５秒単位のフレーム単位で区切り、その波形を自乗して総和演算して得ることができる（式（１））。

ここで、ｆは１フレーム内のサンプリング数（上記８０００に相当）、ｎは任意のフレーム番号である。

次に、音声パワーａ_ｎのデシベル値ｐ_ｎについては、例えば、音声パワーａ_ｎに対して１０を底とする対数値を求め、それを１０倍することで得ることができる（式（２））。

なお、第２音声パワー計算部１１及び第３音声パワー計算部１８についても同様の機能を備えているが、第２音声パワー計算部１１に入力される信号はエコーキャンセラ９により通話相手の音声成分及び妨害音成分が除去された収音信号であり、第３音声パワー計算部１８に入力される信号は通話相手の通話装置から送信された音声信号である点が第１音声パワー計算部１０と異なっている。

非音声時間区間判別部１２は、第１音声パワー計算部１０で計算された音声パワーのデシベル値ｐ_ｎを用いてマイク８で収音された収音信号に音声が含まれているかいないかの弁別を行い、音声が含まれていない非音声時間区間を判別し、この非音声時間区間に対応する音声パワーのデシベル値ｐ_ｎのみをフレーム単位で後段の平均非音声パワー算出部１４に送出する。ここで、音声の有無を判別する方法としては、例えば、音声のピッチ周波数に相当する１００Ｈｚから３００Ｈｚの信号のパワースペクトルを観測し、この観測値が全帯域（前出のサンプリング周波数に対応し、ここでは１００Ｈｚから４ｋＨｚの帯域とする）の音声パワーに対して一定の大きさを有していれば、その時点は音声が入力された音声時間区間であると判別し、その大きさを有していない場合には、その時点は音声でない非音声時間区間であると判別する方法を用いることができる。また、より高度な推定方法としては、それぞれの音声に対してケプストラム分析を行い、１００Ｈｚから３００Ｈｚの成分に相当する高ケフレンシー領域を観測し、有声音（音声時間区間）と無声音（非音声時間区間）とを区別する方法を利用することも可能である。

一方、第１音声時間区間判別部１３は、第２音声パワー計算部１１で計算された音声パワーのデシベル値を用いて、エコーキャンセラ９により通話相手の音声成分及び妨害音成分が除去された収音信号に音声が含まれているかいないかの弁別を行い、通話者の音声が含まれている音声時間区間を判別し、この音声時間区間に対応する音声パワーのデシベル値のみをフレーム単位で後段の平均音声パワー算出部１５及び第１音声動的情報算出部１７に送出する。また、第２音声時間区間判別部１９にあっては、第３音声パワー計算部１８で計算された音声パワーのデシベル値を用いて通話相手の通話装置から送信された音声信号に音声が含まれているかいないかの弁別を行い、通話相手の音声が含まれている音声時間区間を判別し、この音声時間区間に対応する音声パワーのデシベル値のみをフレーム単位で後段の第２音声動的情報算出部２０に送出する。

平均非音声パワー算出部１４は、非音声時間区間判別部１２から送出された非音声時間区間に対応する音声パワーのデシベル値を一定フレーム数分蓄積し、その平均値を求めて雑音レベルとして出力する。例えば、前述したように第１音声パワー計算部１０から出力される音声パワーがフレーム周期０．５秒単位の値である場合、１５秒間、即ち３０フレーム分の音声パワーの平均値として得ることができる。また、平均音声パワー算出部１５にあっては、第１音声時間区間判別部１３から送出された音声時間区間に対応する音声パワーのデシベル値を用いてその平均値を算出し、通話音レベルとして出力する。なお、非音声時間区間判別部１２と第１音声時間区間判別部１３とにおいて非音声時間区間と音声時間区間とを夫々振り分けているので、平均非音声パワー算出部１４及び平均音声パワー算出部１５では、３０フレーム分の音声パワーが確実に蓄積されない可能性があるが、その場合には、その前に蓄積して計算しておいた音声パワーで代用するようにしてもよい。

差分計算部１６は、平均非音声パワー算出部１４から出力された雑音レベルと、平均音声パワー算出部１５から出力された通話音レベルとの差分、即ち、通話音レベルに対する雑音レベルとの差分を計算し、後段の妨害信号レベル制御部２２に送出する。

第１音声動的情報算出部１７は、第１音声時間区間判別部１３から送出された音声時間区間に対応する音声パワーのデシベル値がフレーム単位でどの程度変動しているかを通話者音声変化量として算出する。このような変化量を表す音声特徴量としては、例えば、「デルタパワー」として知られる対数音声パワーの回帰係数を用いることができる。デルタパワーは、音声がなだらかに変化するときは小さい値となり、音声が激しく変化するときは大きい値となる（デルタパワーの算出式は後述にて説明する）。第１音声動的情報算出部１７は、この値を自乗して総和演算して得た値を後段の妨害信号レベル制御部２１に送出する。また、第２音声動的情報算出部２０にあっては、第２音声時間区間判別部１９から送出された音声時間区間に対応する音声パワーのデシベル値を用いて通話相手音声変化量として算出する。

妨害信号レベル制御部２１は、差分計算部１６，第１音声動的情報算出部１７，第２音声動的情報算出部２０からの出力に基づいて妨害信号レベル制御器２２を制御する。具体的には、差分計算部１６で計算された差分が所定値よりも小さい場合に妨害信号の大きさを小さくし、その差分が同所定値よりも大きい場合に妨害信号の大きさを大きくする。また、妨害信号レベル制御部２１は、通話者音声変化量及び／又は通話相手音声変化量が所定値よりも大きい場合に、妨害信号の大きさを大きくし、通話者音声変化量及び／又は通話相手音声変化量が同所定値よりも小さい場合に、妨害信号の大きさを小さくする。

妨害信号レベル制御器２２は、スイッチ４とミキサ５との間に接続されたアッテネータであって、妨害信号レベル制御部２１からの制御に基づいて、妨害信号発生源３で発生した妨害信号の出力ゲインを変化させることが可能である。

ここで、本実施の形態に記載されたハンズフリー通話装置の各機能ブロックと、特許請求の範囲に記載されたハンズフリー通話装置の各手段との関係について説明しておく。妨害信号発生源３は特許請求の範囲に記載された妨害信号発生手段に相当し、ミキサ５は特許請求の範囲に記載された妨害信号付加手段に相当し、第１音声パワー計算部１０，非音声時間区間判別部１２，平均非音声パワー算出部１４は特許請求の範囲に記載された雑音レベル測定手段に相当し、第２音声パワー計算部１１，第１音声時間区間判別部１３，平均音声パワー算出部１５は特許請求の範囲に記載された通話音レベル測定手段に相当し、第２音声パワー計算部１１，第１音声時間区間判別部１３，第１音声動的情報算出部１７は特許請求の範囲に記載された通話者音声変化量測定手段に相当し、第３音声パワー計算部１８，第２音声時間区間判別部１９，第２音声動的情報算出部２０は特許請求の範囲に記載された通話相手音声変化量測定手段に相当し、差分計算部１６は特許請求の範囲に記載された差分計算手段に相当し、妨害信号レベル制御部２１は特許請求の範囲に記載された妨害信号レベル制御手段に相当し、エコーキャンセラ９は特許請求の範囲に記載された除去手段に相当している。

なお、本実施の形態では、第２音声パワー計算部１１及び第１音声時間区間判別部１３は、特許請求の範囲に記載された通話音レベル測定手段及び通話者音声変化量測定手段として共通的な役割を担うように記載されているが、無論、これら２つの手段に夫々対応する第２音声パワー計算部１１及び第１音声時間区間判別部１３を夫々備えることも可能である。

続いて、上記機能を備えたハンズフリー通話装置の動作について説明する。図２は、本実施の形態に係るハンズフリー通話装置の処理フローを示すフローチャートである。なお、音声入力端１及び音声出力端２は通話相手の通話装置と接続されており、妨害信号レベル制御器２２のゲインは減じられていないものとする（ステップＳ１００）。

通話相手の通話装置から送信された音声信号は、ミキサ５及びアンプ６を経由してスピーカー７から通話相手の音声として通話者の環境に放出される。いま、通話者がスイッチ４をオンにすると、妨害信号発生源３から発生した妨害信号が、妨害信号レベル制御器２２，ミキサ５，アンプ６を経由してスピーカー７から妨害音として通話者の環境に放出される。ここで、通話者が発話を意図的に行わないとすれば、スピーカー７から放出された通話相手の音声及び妨害音は、通話者の環境における音響特性及び周囲雑音の影響を受けてマイク８に入力される。マイク８において収音された収音信号の波形が極端に歪むものでなければ、この通話相手の音声及び妨害音による合成音は、エコーキャンセラ９において、ミキサ５からの出力にデジタルフィルタによる畳み込み演算を行って得られる逆相の合成音によって、ある程度のレベルにまで打ち消すことができる。打ち消すことができない音とは、通話者の肉声、通話者の周囲に存在する周囲雑音、エコーキャンセラのデジタルフィルタの精度によって生じる合成音の予測誤差、及び、マイク８での収音時に発生する電気的なノイズや過大音量による歪み成分である。ここでは、電気的なノイズや歪み成分は、通話者の肉声や周囲雑音に比べてはるかに低いレベルとして無視できるものとする。そうすると、エコーキャンセラ９の出力は、主に通話者の肉声と周囲雑音との合成音になる。エコーキャンセラ９の出力はそのまま音声出力端２に送られ、通話相手は自分の声のフィードバックを多少聴くこともあるが、主に、通話者の音声と通話者の周囲雑音のみの比較的明瞭な音声を受聴することができる。なお、以降、エコーキャンセラ９に入力される前の収音信号は、通話相手の音声成分，雑音成分，通話者の音声成分，通話者の周囲雑音成分を含む除去前収音信号と称し、エコーキャンセラ９に入力された後の収音信号は、通話相手の音声成分及び雑音成分が除去された、通話者の音声成分及び通話者の周囲雑音成分を含む除去後収音信号と称するものとする。

このとき、第１音声パワー計算部１０は、エコーキャンセラ９に入力される前の除去前収音信号を用いて、例えば、フレーム長１．０秒，フレーム周期０．５秒毎のフレームデータとして音声パワーを計算し、そのデシベル値を求める（ステップＳ１０１）。ここで、第１音声パワー計算部１０で計算された時刻すなわちフレームｎにおける音声パワーのデシベル値をｐ_ｎと定義する。

そして、非音声時間区間判別部１２は、求められたｐ_ｎから非音声時間区間のフレームのｐ_ｎのみを弁別し、平均非音声パワー算出部１４に送出する（ステップＳ１０２）。

平均非音声パワー算出部１４は、非音声時間区間判別部１２から送出されたｐ_ｎを用いて、非音声時間区間に対する一定時間長の平均非音声パワーＰを算出する（ステップＳ１０３）。すなわち、ｐ_ｎがフレーム周期０．５秒毎に求められた対数パワーであるとすると、平均非音声パワー算出部１４で計算される非音声時間区間に対する平均非音声パワーＰの計算方法は、例えば、３０フレーム、１５秒単位での平均値を求めるものとすれば、式（３）を用いて計算することができる。

同様に、第２音声パワー計算部１１は、エコーキャンセラ９に入力される後の除去後収音信号を用いて音声パワーを計算し、そのデシベル値を求める（ステップＳ１０４）。ここで、第２音声パワー計算部１１で計算された時刻すなわちフレームｎにおける音声パワーのデシベル値をｑ_ｎと定義する。

そして、第１音声時間区間判別部１３は、求められたｑ_ｎから非音声時間区間のフレームのｑ_ｎのみを弁別し、平均音声パワー算出部１５及び第１音声動的情報算出部１７に送出する（ステップＳ１０５）。

平均音声パワー算出部１５は、第１音声時間区間判別部１３から送出されたｑ_ｎを用いて、音声時間区間に対する一定時間長の平均音声パワーＱを算出する（ステップＳ１０６）。平均音声パワーＱは、式（３）と同様に式（４）を用いて計算することができる。

なお、平均非音声パワーＰと平均音声パワーＱとは、非音声時間区間と音声時間区間とを弁別する過程を経由するため、時刻的に同時に得ることはできない。ここで、平均非音声パワー算出部１４で計算した非音声時間区間における平均非音声パワーＰは、通話者の周囲雑音と妨害音とによって生成された雑音レベルとみなすことができる。また、平均音声パワー算出部１５で計算した音声時間区間における平均音声パワーＱは、通話者の発する肉声によって生成された通話音レベルとみなすことができる。

その後、差分計算部１６は、式（５）を用いて差分値Ｄを計算する（ステップＳ１０７）。

既に説明したように、平均非音声パワーＰ，平均音声パワーＱ，差分値Ｄはいずれもデシベル値である。一般的な音声認識装置においては、平均的な音声入力レベルに対して平均的な周囲騒音レベルとの差分が約１０デシベル以下になると音声認識率が目立って低下してくる。実環境で考えた場合に、肉声によるマイクへの音声入力レベルが等価騒音レベル７６ｄＢＡ相当の大きさを持つものとすれば、周囲環境の雑音が６６ｄＢＡ（＝７６ｄＢＡ−１０ｄＢＡ）に相当し、これは二車線を有する道路における騒音規制レベルにほぼ匹敵するため、相当な大きさの雑音であることがわかる。これを盗聴が困難になる音圧レベルと同一と仮定すれば、即ち、差分値Ｄが１０デシベル以下の小さい値の場合には、第三者による盗聴が困難である一方、周囲へも悪影響を及ぼす多大な音として妨害音の抑制を行う。

次に、第１音声動的情報算出部１７は、フレームｎにおけるデルタパワーｒ_ｎを式（６）を用いて算出する。

このデルタパワーｒ_ｎは、通話者の音声の変化量が分かり、変化が著しい程大きな値が得られる。逆に、定常的な音に近づくと、音圧レベルが大きい音であっても小さな数値となる傾向がある。

また、第１音声動的情報算出部１７は、デルタパワーｒ_ｎを自乗した値について、一定時間の長時間平均値Ｒを求める（ステップＳ１０８）。一定時間を既出の通り１５秒単位での平均値とすれば、式（７）で長時間平均値Ｒ求めることができる。

同様に、第３音声パワー計算部１８は、通話相手の音声信号を用いて音声パワーを計算し、そのデシベル値ｓ_ｎを求める（ステップＳ１０９）。

また同様に、第２音声時間区間判別部１９は、求められた対数パワーから音声時間区間のフレームのｓ_ｎのみを弁別し、第２音声動的情報算出部２０に送出する（ステップＳ１１０）。

そして、第２音声動的情報算出部２０は、フレームｎにおけるデルタパワーｕ_ｎを式（８）を用いて算出する。

更に、第２音声動的情報算出部２０は、デルタパワーｕ_ｎを自乗した値について、一定時間の長時間平均値Ｕを求める（ステップＳ１１１）。

これらの長時間平均値Ｒ及び長時間平均値Ｕは、平均値を計算したときの時間長１５秒単位で妨害信号レベル制御部２１に送出される。そして、妨害信号レベル制御部２１は、差分計算部１６から得られた差分値Ｄと、第１音声動的情報算出部１７及び第２音声動的情報算出部２０から得られたデルタパワーの自乗和としての長時間平均値Ｒ及び長時間平均値Ｕを用いて、例えば、１５秒単位で以下の制御を行う。

最初に、差分値Ｄが１０デシベル以下の場合について説明する。既に説明したように、差分値Ｄは音声と周囲雑音との信号対雑音比のデシベル値に相当するため、差分値Ｄが小さい値であることは相当な周囲雑音が存在していることを意味している。そこで、妨害信号レベル制御部２１は、例えば差分値Ｄが１０デシベル以下の場合に（ステップＳ１１２）、例えば−３デシベル単位で妨害信号レベル制御器２２のゲインを小さくし、妨害信号発生源３から発せられる妨害信号の出力を下げる（ステップＳ１１３）。

次に、差分値Ｄが１０デシベルよりも大きいが、長時間平均値Ｒと長時間平均値Ｕの和が小さい場合について説明する。長時間平均値Ｒと長時間平均値Ｕとの和の値を閾値Ｘと比較する。ここで、閾値Ｘは正の値であり、音声信号の分析フレーム長、フレーム周期などの分析条件から導出される値である。その和の値が小さいということは、通話者及び通話相手の対話において、音声の明瞭性が低下しているか、どちらも活発な討論をしていないか、どちらかが一方的に話をしているかのいずれかに該当すると考えられる。音声の明瞭性は、通話者の音声の音響特性に起因するものも考えられるが、妨害音が通話者及び通話相手の思考を妨げている可能性がある。そこでこのような可能性を排除するため、妨害信号レベル制御部２１は、差分値Ｄが閾値Ｘより小さいの場合に（ステップＳ１１４）、ステップＳ１１３と同様に、例えば−３デシベル単位で妨害信号レベル制御器２２のゲインを小さくし、妨害信号発生源３から発せられる妨害信号の出力を下げる。

その後、妨害信号レベル制御部２１は、ステップＳ１１３によって妨害信号の出力を下げた結果、差分値Ｄ、長時間平均値Ｒ、長時間平均値Ｕを再度測定し、差分値Ｄが１０デシベル以上となったか、或いは長時間平均値Ｒと長時間平均値Ｕの和が一定値Ｘを上回ったかを確認する。もし変化がみられなかった場合にはステップＳ１１３を繰り返し、妨害信号発生源３から発せられる妨害信号の出力をさらに下げていく。一方、長時間平均値Ｒと長時間平均値Ｕの和が一定値Ｘを上回っている場合、妨害信号レベル制御部２１は、例えば＋３デシベル単位で妨害信号レベル制御器２２のゲインを大きくし、妨害信号発生源３から発せられる妨害信号の出力を元に戻していく（ステップＳ１１５）。但し、妨害信号レベル制御器２２では、最大０デシベルを超えてゲインの増幅は行わないものとする。

ハンズフリー通話装置は、ステップＳ１１２〜ステップＳ１１５を繰り返すことにより、適切な音量の妨害音を出力することが可能となる。

最後に、ハンズフリー通話を終了する際に、通話者がスイッチ４をオフにすれば（ステップＳ１１６）、妨害信号レベル制御器２２で印加されたゲインが元に戻ることになる。

なお、本実施の形態では、デルタパワーを使って音声の動的特徴量を計算したが、計算量に余裕があればデルタパワーよりも正確に音声の動的特徴を表すデルタケプストラムを用いて、より精緻な音声の変化を捉えることも可能である。

更に、通話相手の音声を放出するスピーカーと、妨害音を放出するスピーカーとを同一としたが、ミキサ５を廃止し、通話相手の音声及び妨害音を夫々異なるスピーカーから放出させることも可能である。エコーキャンセラ９は、通話相手の音声及び妨害音のどちらかがマイク８に回り込んだ場合であっても、どちらも打ち消すことが原理的に可能だからである。

また、本実施の形態では、ステップＳ１１２での比較において、差分値Ｄが１０デシベル以下の場合について説明したが、差分値Ｄに対する比較値は１０デシベルに限られることはなく、他の比較値を用いても良い。

更に、本実施の形態では、ステップＳ１１４での比較において、長時間平均値Ｒと長時間平均値Ｕとの和の値を用いて説明したが、一定値Ｘの値によっては、加算のみではなく、乗算，除算，減算を用いてもよく、更には所定の数式を用いてもよい。また、いずれか一方の長時間平均値を用いてもよい。

最後に、第１の課題として記載した「周囲騒音に合わせて該妨害音のレベルを調整すること」を考慮した場合、通話相手及び通話者が発する通話音声と周囲雑音とを判別することが可能であればよいので、エコーキャンセラ９により通話相手の音声を除去しなくても、換言すれば、エコーキャンセラ９を具備しなくとも上記課題が解決可能であることを付言しておく。

本実施の形態によれば、スピーカー７から放出される通話相手の音声が通話者以外の者に聴取されることを妨害する妨害信号を発生し、通話相手の通話装置から送信された音声信号に該妨害信号を加え、通話相手の音声信号に基づく音声と妨害信号に基づく妨害音とをスピーカー７から放出させるので、簡易な構成で妨害音を生成するハンズフリー通話装置を提供することができる。具体的には、通話相手の音声を放出するスピーカー７と妨害音を放出するスピーカー７とが１つになるため、ハンズフリー通話装置の筐体の大型化を防止し、妨害音生成のために新たなスピーカー７の配置を必要とせず、従来のハンズフリー通話装置の筐体でも容易に適用が可能となる。

また、本実施の形態によれば、マイク８で収音された音に基づく収音信号を入力し、通話音声でない非音声時間区間に対応する該収音信号の大きさを雑音レベルとして測定すると共に、マイク８で収音された音に基づく収音信号を同様に入力し、通話音声である音声時間区間に対応する該収音信号の大きさを通話音レベルとして測定し、通話音レベルに対する雑音レベルとの差分が所定値よりも小さい場合に妨害信号の大きさを小さくし、該差分が該所定値よりも大きい場合に妨害信号の大きさを大きくするので、周囲騒音に合わせて妨害音のレベルを適切に調整するハンズフリー通話装置を提供することができる。具体的には、通話者や通話相手が音声を発しない時間区間で周囲騒音を評価し、音声レベルに対して十分な騒音レベルが定在していれば妨害音の音圧レベルを下げ、一方、騒音レベルが低い場合には、妨害音の音圧レベルを上げるため、周囲騒音の状況に合わせて妨害音のレベルを適切に調整することができる。

更に、本実施の形態によれば、通話相手の音声成分及び妨害音成分が除去された収音信号を入力し、通話者の音声である音声時間区間に対応する該収音信号の大きさの時間変化量を通話者音声変化量として測定すると共に、通話相手の通話装置から送信された音声信号を入力し、通話相手の音声である音声時間区間に対応する該音声信号の大きさの時間変化量を通話相手音声変化量として測定し、通話者音声変化量及び／又は通話相手音声変化量が所定値よりも大きい場合に、妨害信号の大きさを大きくし、通話者音声変化量及び／又は通話相手音声変化量が該所定値よりも小さい場合に、妨害信号の大きさを小さくするので、通話状況に応じて妨害音のレベルを適切に調整するハンズフリー通話装置を提供することができる。具体的には、通話者同士の音声を情報伝達量の観点で音声スペクトルの変化量を擬似的に評価し、音声スペクトルの変化が低下してきたら双方間で伝わる情報が少なくなって通話が困難になったものと見做して妨害音の音圧レベルを下げるため、通話の状況に合わせて妨害音の大きさを適切に調整することができる。

更にまた、本実施の形態によれば、妨害信号が加えられた通話相手の音声信号を用いて、スピーカー７から放出された後にマイク８で収音された通話相手の音声成分及び妨害音成分を収音信号から除去するため、処理の単純化がされたハンズフリー通話装置を提供することができる。具体的には、スピーカー７から放出された通話相手の音声がマイク８へ回りこんで該通話相手に送り返されることを防止する機能と、スピーカー７から放出された妨害音が該マイク８へ回り込んで該通話相手に送り返されることを防止する機能とを共有化することができる。

本実施の形態に係るハンズフリー通話装置の機能ブロックを示す機能ブロック図である。本実施の形態に係るハンズフリー通話装置の処理フローを示すフローチャートである。旧来のテレビ電話の斜視図である。現在のテレビ電話の斜視図である。

符号の説明

１…音声入力端
２…音声出力端
３…妨害信号発生源
４…スイッチ
５…ミキサ
６…アンプ
７…スピーカー
８…マイク
９…エコーキャンセラ
１０…第１音声パワー計算部
１１…第２音声パワー計算部
１２…非音声時間区間判別部
１３…第１音声時間区間判別部
１４…平均非音声パワー算出部
１５…平均音声パワー算出部
１６…差分計算部
１７…第１音声動的情報算出部
１８…第３音声パワー計算部
１９…第２音声時間区間判別部
２０…第２音声動的情報算出部
２１…妨害信号レベル制御部
２２…妨害信号レベル制御器
Ｓ１００〜Ｓ１１６…ステップ

Claims

スピーカー及びマイクを備え、通話者が手に保持しなくても通話相手と通話可能なハンズフリー通話装置において、
前記スピーカーから放出される前記通話相手の音声が前記通話者以外の者に聴取されることを妨害する妨害信号を発生する妨害信号発生手段と、
前記通話相手の通話装置から送信された音声信号に前記妨害信号を加え、当該通話相手の音声信号に基づく音声と当該妨害信号に基づく妨害音とを前記スピーカーから放出させる妨害信号付加手段と、
前記マイクで収音された音に基づく収音信号を入力し、通話音声でない非音声時間区間に対応する当該収音信号の大きさを雑音レベルとして測定する雑音レベル測定手段と、
前記収音信号を入力し、通話音声である音声時間区間に対応する当該収音信号の大きさを通話音レベルとして測定する通話音レベル測定手段と、
前記通話音レベルに対する前記雑音レベルとの差分を計算する差分計算手段と、
前記差分が所定値よりも小さい場合に前記妨害信号の大きさを小さくし、前記差分が前記所定値よりも大きい場合に前記妨害信号の大きさを大きくする妨害信号レベル制御手段と、
を有することを特徴とするハンズフリー通話装置。
前記妨害信号が加えられた前記通話相手の音声信号を用いて、前記スピーカーから放出された後に前記マイクで収音された前記通話相手の音声成分及び前記妨害音成分を前記収音信号から除去する除去手段と、
前記通話相手の音声成分及び前記妨害音成分が除去された前記収音信号を入力し、前記通話者の音声である音声時間区間に対応する当該収音信号の大きさの時間変化量を通話者音声変化量として測定する通話者音声変化量測定手段と、
前記通話相手の通話装置から送信された音声信号を入力し、当該通話相手の音声である音声時間区間に対応する当該音声信号の大きさの時間変化量を通話相手音声変化量として測定する通話相手音声変化量測定手段と、を更に有し、
前記妨害信号レベル制御手段は、前記通話者音声変化量及び／又は前記通話相手音声変化量が所定値よりも大きい場合に、前記妨害信号の大きさを大きくし、前記通話者音声変化量及び／又は前記通話相手音声変化量が当該所定値よりも小さい場合に、前記妨害信号の大きさを小さくすることを特徴とする請求項１に記載のハンズフリー通話装置。
スピーカー及びマイクを備え、通話者が手に保持しなくても通話相手と通話可能なハンズフリー通話装置で行うハンズフリー通話方法において、
前記スピーカーから放出される前記通話相手の音声が前記通話者以外の者に聴取されることを妨害する妨害信号を発生するステップと、
前記通話相手の通話装置から送信された音声信号に前記妨害信号を加え、当該通話相手の音声信号に基づく音声と当該妨害信号に基づく妨害音とを前記スピーカーから放出させるステップと、
前記マイクで収音された音に基づく収音信号を入力し、通話音声でない非音声時間区間に対応する当該収音信号の大きさを雑音レベルとして測定するステップと、
前記収音信号を入力し、通話音声である音声時間区間に対応する当該収音信号の大きさを通話音レベルとして測定するステップと、
前記通話音レベルに対する前記雑音レベルとの差分を計算するステップと、
前記差分が所定値よりも小さい場合に前記妨害信号の大きさを小さくし、前記差分が前記所定値よりも大きい場合に前記妨害信号の大きさを大きくするステップと、
を有することを特徴とするハンズフリー通話方法。
前記妨害信号が加えられた前記通話相手の音声信号を用いて、前記スピーカーから放出された後に前記マイクで収音された前記通話相手の音声成分及び前記妨害音成分を前記収音信号から除去するステップと、
前記通話相手の音声成分及び前記妨害音成分が除去された前記収音信号を入力し、前記通話者の音声である音声時間区間に対応する当該収音信号の大きさの時間変化量を通話者音声変化量として測定するステップと、
前記通話相手の通話装置から送信された音声信号を入力し、当該通話相手の音声である音声時間区間に対応する当該音声信号の大きさの時間変化量を通話相手音声変化量として測定するステップと、
前記通話者音声変化量及び／又は前記通話相手音声変化量が所定値よりも大きい場合に、前記妨害信号の大きさを大きくし、前記通話者音声変化量及び／又は前記通話相手音声変化量が当該所定値よりも小さい場合に、前記妨害信号の大きさを小さくするステップと、
を更に有することを特徴とする請求項３に記載のハンズフリー通話方法。