JP2011227199A - 雑音抑圧装置、雑音抑圧方法及びプログラム - Google Patents

Abstract

【課題】ハンズフリー通話時において、ユーザの位置や数が逐次変わるような状況においても、高音質で話者の音声を伝送することができる雑音抑圧装置、雑音抑圧方法およびプログラムを提供する。
【解決手段】音声認識処理部１１は、マイクロホンアレイ５が収集した周囲の音の音声信号をＡＤＣ６がデジタル変換し、エコーキャンセラ７がエコーを除去した音声信号を受信する。音声認識処理部１１は、受信した音声信号について音声認識を行い、特定の単語を含むか否かを判定する。特定の単語を含む場合、音源方向推定部１３は、音声信号に基づいて、音源の方向を推定する。雑音抑圧処理部１４は、音源の方向以外の音声を抑圧し、音源の方向の音質を高める。伝送音声選択部１２は、音源の方向の音質を高めた音声信号を携帯電話基幹部２に送信する。
【選択図】図１

Description

本発明は、雑音抑圧装置、雑音抑圧方法及びプログラムに関する。より詳しくは、高音質で通話を可能とするハンズフリー携帯電話に関する。

携帯電話の多くは、通話の際に電話機を顔の近くではなく、顔から離した状態（ＴＶ電話など）で使用したり、机などに置いた状態で使用したりすることが可能なハンズフリー通話機能が搭載されている。ハンズフリー通話は、通話の際に携帯電話を口元に近づけなくてもよいため、使用者の手が自由になる利点がある。たとえば、現在では車を運転中に携帯電話を持った状態で通話することは禁止されており、ハンズフリー通話機能を持った電話を用いることで運転中における通話が可能となる。

非特許文献１では、デジタル信号処理によって、スピーカから発せられる前の信号とマイク入力信号との相関を用いて不要な音を除去するエコーキャンセラ技術や、複数のマイクロホンから構成されたマイクロホンアレイを用いて、それぞれのマイクロホンに到達する音の到達時間差から、音源の到来方向を判別し、任意の方向への利得を上げることが可能となるマイクロホンアレイ技術について述べられている。マイクロホンアレイ技術によって、ハンズフリー通話を行っているユーザの方向を検知し、周囲の雑音を除去しその方向への利得を上げることで、ユーザ音声を高いＳＮ比で伝送することができる。

また、特許文献1では、携帯電話に複数のマイクロホンを設置し、ハンズフリー通話の初期状態において音声認識を行い、特定の単語が認識された場合、この音声の方向を定位することで、ユーザの方向を判別する発明について述べられている。

特開２００７−１９４８３３号公報

大賀寿郎、山崎芳男、金田豊、「音響システムとデジタル処理」、電子情報通信学会、p173-p218

ハンズフリー通話を使用する際に問題となる点を以下に挙げる。まず、ユーザの顔と携帯電話機に搭載されたマイクロホンが離れていることで、ユーザ音声のＳＮＲ（Signal to Noise Ratio）を上げるため、マイクロホンの入力ゲインを上げる必要がある。この際、スピーカから発せられる通話相手の音声や、ユーザ以外の音の発生源(たとえば住宅でのＴＶ、オーディオや、運転時における車内騒音等)も大きなレベルで入力されてしまい、本来伝送したいユーザ音声以外の音も通話相手に伝送してしまう。

非特許文献１に係る技術では、音源方向を定位する際に、その空間に存在する音源全ての位置方向が検出され、どの音源がユーザのものか判別することが難しい。これに対し、特許文献１は、ユーザの方向を判別することができるが、車内でのハンズフリー通話のようなユーザの位置が初期状態から動くことは無いことを想定しており、ハンズフリー通話を行うユーザが運転者と助手席の人物とで複数存在する場合は対応することができない。また、車内以外の環境において、たとえば部屋の中でユーザが移動しながら発話している場合も同様に対応することができない。

そこで、本発明は、このような問題に鑑みてなされたものであり、ハンズフリー通話時において、ユーザの位置や数が逐次変わるような状況においても、高音質で話者の音声を伝送することができる雑音抑圧装置、雑音抑圧方法およびプログラムを提供することを目的とする。

本発明の第１の観点に係る雑音抑圧装置は、
ハンズフリー通話機能を有する装置に搭載する雑音抑圧装置であって、
周囲の音を収集した音声信号を取得する取得手段と、
通話中にユーザが指定した方向を示す情報を取得する指定手段と、
前記指定手段が取得した情報に基づいて、前記音声信号に含まれる前記ユーザが指定した方向以外の音声を抑圧し、前記ユーザが指定した方向から到来する音声の音質を高める雑音抑圧手段と、
前記雑音抑圧手段が音質を高めた音声信号を送信する送信手段と、
を備えることを特徴とする。

好ましくは、前記指定手段は、
通話中に前記音声信号について音声認識を行い、特定の単語を含むか否かを判定する音声認識手段と、
前記音声認識手段が前記特定の単語を含むと判定した場合、前記特定の単語の音声信号に基づいて音源の方向を検出する検出手段と、を備え、
前記雑音抑圧手段は、前記音声信号に含まれる前記音源の方向以外の音声を抑圧し、前記検出手段が検出した音源の方向から到来する音声の音質を高めることを特徴とする。

好ましくは、前記音声認識手段は、通話中に前記音声信号について音声認識を行い、ハンズフリー通話の開始を示す開始単語を含むか否かをさらに判定し、
前記検出手段は、前記音声認識手段が開始単語を含むと判定した場合、前記開始単語の音声信号に基づいて音源の方向を検出し、
前記送信手段は、前記音声認識手段が前記開始単語を含むと判定したのち、前記雑音抑圧手段が音質を高めた音声信号を送信することを特徴とする。

好ましくは、前記音声認識手段は、通話中に前記音声信号について音声認識を行い、ハンズフリー通話の解除を示す解除単語を含むか否かをさらに判定し、
前記送信手段が前記音質を高めた音声信号を送信しているときに、前記音声認識手段が前記解除単語を含むと判定したのち、
前記送信手段は、前記音質を高めた音声信号に代えて前記取得手段が取得した音声信号を送信することを特徴とする。

好ましくは、前記音声認識手段は、通話中に前記音声信号について音声認識を行い、話者の追加を示す追加単語を含むか否かをさらに判定し、
前記送信手段が前記音質を高めた音声信号を送信しているときに、前記音声認識手段が前記追加単語を含むと判定した場合、
前記検出手段は、前記追加単語の音声信号に基づいて新たな音源の方向を検出し、
前記雑音抑圧手段は、すでに音質を高めている音源の方向に追加して、新たな音源の方向から到来する音声の音質も高めることを特徴とする。

好ましくは、前記指定手段は、通話中に前記ユーザが指示した視覚表示画面上の座標を示す座標情報を取得し、
前記雑音抑圧手段は、前記座標情報に基づいて前記ユーザが指定した方向を算出し、前記音声信号に含まれる前記ユーザが指定した方向以外の音声を抑圧し、前記ユーザが指定した方向から到来する音声の音質を高めることを特徴とする。

好ましくは、前記音質を高めている音源の方向を示す方向情報を表示させる表示手段をさらに備えることを特徴とする。

好ましくは、前記表示手段は、前記音質を高めた音声信号のパワーのレベルを示すレベル情報をさらに表示させることを特徴とする。

本発明の第２の観点に係る雑音抑圧方法は、
ハンズフリー通話機能を有する装置において実行される雑音抑圧方法であって、
周囲の音を収集した音声信号を取得する取得ステップと、
通話中にユーザが指定した方向を示す情報を取得する指定ステップと、
前記指定ステップで取得した情報に基づいて、前記音声信号に含まれる前記ユーザが指定した方向以外の音声を抑圧し、前記ユーザが指定した方向から到来する音声の音質を高める雑音抑圧ステップと、
前記雑音抑圧ステップで音質を高めた音声信号を送信する送信ステップと、
を備えることを特徴とする。

また、本発明の第３の観点に係るプログラムは、コンピュータに、
周囲の音を収集した音声信号を取得する取得ステップと、
通話中にユーザが指定した方向を示す情報を取得する指定ステップと、
前記指定ステップで取得した情報に基づいて、前記音声信号に含まれる前記ユーザが指定した方向以外の音声を抑圧し、前記ユーザが指定した方向から到来する音声の音質を高める雑音抑圧ステップと、
前記雑音抑圧ステップで音質を高めた音声信号を送信する送信ステップと、
を実行させることを特徴とする。

本発明に係る雑音抑圧装置、雑音抑圧装置方法及びプログラムによれば、ハンズフリー通話時において、ユーザの位置や数が逐次変わるような状況においても、高音質で話者の音声を伝送することができる。

本発明の実施形態１に係る雑音抑圧装置を備える携帯電話の構成例を示すブロック図である。 実施形態１に係る通話判定処理の動作の一例を示すフローチャートである。 実施形態１に係る雑音抑圧処理の動作の一例を示すフローチャートである。 実施形態２に係る方向情報の出力の例である。 実施形態３に係るレベル情報の出力の例である。 実施形態３に係るレベル情報の出力の例である。 実施形態３に係るレベル情報の出力の例である。 実施形態４に係る音質が高められている方向の変更の例を説明する図である。 本発明の実施形態に係る携帯電話のハードウェア構成の一例を示すブロック図である。

本発明において、開始単語とは、たとえば「ハンズフリー」や「ハンズフリー開始」などといったユーザがハンズフリー通話を開始することを示す単語である。特定の単語とは、たとえば「もしもし」や「聞こえる？」などといった自然に発せられる電話中の特有の単語である。あらかじめ登録しておいてもよいし、ユーザが自由な単語を登録できるようにしてもよい。解除単語とは、たとえば「高音質モード解除」といった特定方向の音質を高めることをやめる命令を示す単語である。再設定単語とは、たとえば「高音質モード再設定」といった解除後に再度特定方向の音質を高める命令を示す単語である。追加単語とは、たとえば「話者追加」といった話者が増えて音質を高める対象の音源の方向を増やす場合の命令を示す単語である。以下、音質を高める対象の音源の方向を、単に「音質を高める方向」のように表現する。

方向情報とは、ハンズフリー通話時に音質が高められている方向を示す情報である。レベル情報とは、ハンズフリー通話時に音質が高められている方向の音声信号のパワーのレベルをリアルタイムに示す情報である。座標情報とは、ユーザが指定した方向を算出するための情報であって、たとえばタッチパネル上のユーザが触れた座標とタッチパネル上に表示されたアイコンの中心の座標とを示す情報である。

以下、実施形態について本発明の雑音抑圧装置を備える携帯電話を例にして、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。なお、本発明は携帯電話への適用に限定されるものではなく、音声で指示を入力するカーナビゲーション装置や電話通信が可能なパソコンなどの装置にも適用が可能である。

（実施形態１）
図１は、本発明の実施形態１に係る雑音抑圧装置を備える携帯電話の構成例を示すブロック図である。携帯電話１００は、雑音抑圧装置１と、携帯電話基幹部２と、表示部３と、スピーカ４と、マイクロホンアレイ５と、ＡＤＣ（analog to digital converter）６と、エコーキャンセラ７と、ＤＡＣ（digital to analog converter）８とから構成される。雑音抑圧装置１は、音声認識処理部１１、伝送音声選択部１２、音源方向推定部１３および雑音抑圧処理部１４を備える。

マイクロホンアレイ５は、Ｎ個のマイクで構成されており、周囲の音を収集して音声信号として取得する。マイクロホンアレイ５は、取得した音声信号をＡＤＣ６に送る。

ＡＤＣ６は、マイクロホンアレイ５から受け取った音声信号（アナログデータ）をデジタルデータへ変換し、エコーキャンセラ７に送る。

エコーキャンセラ７は、ＡＤＣ６から受け取った音声信号（デジタルデータ）から、スピーカ４からの混入したエコーを除去し、雑音抑圧装置１の音声認識処理部１１に送る。

音声認識処理部１１は、エコーキャンセラ７から受け取ったエコーが除去された音声信号に対し、開始単語や特定の単語を含むか否かの判定を行う。音声認識処理部１１は、判定結果を伝送音声選択部１２に送信する。この際、マイクロホンアレイ５を構成するマイク数はＮ個なのでＮ個の音声信号が存在するが、すべてまたはいずれか一つを任意に選んで音声認識を行うものとする。開始単語や特定の単語については、あらかじめ登録しておいてもよいし、ユーザが自由な単語を登録できるような構成にしてもよい。また、ユーザによる単語の登録は文字による登録でもよいし、ユーザの発話音声波形による登録でもよい。

伝送音声選択部１２は、音声認識処理部１１から開始単語を含むという判定結果を受け取った場合、すなわちハンズフリー通話を開始する場合は、エコーキャンセラ７から受け取ったエコーが除去されたＮ個の音声信号を音源方向推定部１３に送信する。そして、伝送音声選択部１２は、雑音抑圧処理部１４から雑音を抑圧した音声信号を受け取って、携帯電話基幹部２に送信する。一方、音声認識処理部１１から開始単語を含まないという判定結果を受け取った場合、すなわち通常通話の場合は、伝送音声選択部１２は、エコーキャンセラ７から受け取ったエコーが除去されたＮ個の音声信号の任意の１つを携帯電話基幹部２に送信する。

音源方向推定部１３は、伝送音声選択部１２から受け取ったエコーが除去されたＮ個の音声信号を用いて音源方向を推定する。また、音源方向推定部１３は、エコーが除去されたＮ個の音声信号と推定した音源方向とを雑音抑圧処理部１４に送る。音源方向推定アルゴリズムについては、非特許文献1に記載のマイクロホンアレイを用いたデジタル信号処理技術を適用してもよいし、その他の任意のアルゴリズムを用いてもよい。

雑音抑圧処理部１４は、音源方向推定部１３から受け取ったエコーが除去されたＮ個の音声信号に対して音源方向推定部１３が推定した音源方向以外の音声を抑圧し、当該音源方向の音質を高める雑音抑圧を行う。また、雑音抑圧処理部１４は、音質を高めた音声信号を伝送音声選択部１２に送る。音質を高めるとは、たとえば、ＳＮ比を高めることをいう。ＳＮ比は、信号の分散を雑音（ここでは音源方向以外の音声）の分散で割った値であり、一般にこれが高いほど高音質と言える。さらに、音源方向の音声の周波数特性を変更し、よりクリアな音声に補正してもよい。たとえば、マイクの周波数特性の補正、あるいは、音源の場所の残響周波数特性または吸収周波数特性の補正などを行ってもよい。

携帯電話基幹部２は、音声の送受信など電話としての基本的な動作を行う。携帯電話基幹部２は、伝送音声選択部１２から受け取った音声信号を、基地局を介して通信相手に送信する。また、携帯電話基幹部２は、基地局を介して通信相手の音声信号を受信する。携帯電話基幹部２は、受信した音声信号をＤＡＣ８に送信し、アナログ信号に変換してスピーカ４に送信し、出力させる。

表示部３は、操作画面など、携帯電話基幹部２から受け取った画像を表示する。

ＤＡＣ８は、携帯電話基幹部２から受け取った音声信号をエコーキャンセラ７に送り、エコーを除去してからアナログルデータへ変換し、スピーカ４に送る。

スピーカ４は、ＤＡＣ８から受け取った音声信号のアナログルデータを出力する。

図２は、実施形態１に係る通話判定処理の動作の一例を示すフローチャートである。この処理は、ユーザが着信に対して応答したことを契機として開始する。ユーザが着信に応答すると、マイクロホンアレイ５は周囲の音を音声信号として取得し、ＡＤＣ６がデジタルデータの音声信号に変換する（ステップＳ１１）。エコーキャンセラ７は音声信号のエコーを除去する（ステップＳ１２）。音声認識処理部１１は、エコーを除去した音声信号に対して音声認識処理を行う（ステップＳ１３）。

音声認識処理部１１は、音声認識結果が開始単語と一致するか否かの判定を行う（ステップＳ１４）。音声認識結果が開始単語と一致した場合（ステップＳ１４：ＹＥＳ）、伝送音声選択部１２は、ハンズフリー通話を開始して雑音抑圧処理を実行し（ステップＳ１５）、処理を終了する。

一方、音声認識結果が開始単語と一致しない場合（ステップＳ１４：ＮＯ）、伝送音声選択部１２は、携帯電話基幹部２を介してエコーを除去した音声信号を通信相手に伝送する（ステップＳ１６）。通話が終了していない場合（ステップＳ１７：ＮＯ）、ステップＳ１１に戻り、ステップＳ１１〜ステップＳ１７を繰り返す。通話が終了した場合（ステップＳ１７：ＹＥＳ）、処理を終了する。

図３は、実施形態１に係る雑音抑圧処理の動作の一例を示すフローチャートである。図３の雑音抑圧処理は、図２の通話判定処理のステップＳ１５に定義する処理である。ハンズフリー通話を開始すると、音源方向推定部１３は、開始単語と認識した音声信号を用いて音源方向の推定を行う（ステップＳ２１）。雑音抑圧処理部１４は、推定された音源方向に対し、雑音抑圧して音質を高める（ステップＳ２２）。伝送音声選択部１２は、音質を高めた音声信号を携帯電話基幹部２を介して通信相手に伝送する（ステップＳ２３）。

マイクロホンアレイ５は引き続き周囲の音を音声信号として取得する（ステップＳ２４）。エコーキャンセラ７は音声信号のエコーを除去する（ステップＳ２５）。音声認識処理部１１は、エコーを除去した音声信号に対して音声認識処理を行う（ステップＳ２６）。音声認識処理部１１は、音声認識結果が特定の単語と一致するか否かの判定を行う（ステップＳ２７）。音声認識結果が特定の単語と一致しない場合（ステップＳ２７：ＹＥＳ）、ステップＳ２２に戻り、ステップＳ２２〜ステップＳ２７を繰り返す。音声認識結果が特定単語と一致した場合（ステップＳ２７：ＹＥＳ）、通話が終了したか否かを判定する（ステップＳ２８）。通話が終了していない場合（ステップＳ２８：ＮＯ）、ステップＳ２１に戻って特定の単語と認識した音声信号を用いて音源方向の推定を行い、ステップＳ２１〜ステップＳ１８を繰り返す。通話が終了した場合（ステップＳ２８：ＹＥＳ）、処理を終了する。

以上説明したように、実施形態１の携帯電話１００によれば、ハンズフリー開始時に決定したユーザの位置が、移動することによって変わった場合でも、ユーザが「もしもし」や「聞こえる？」など、通話中に自然に発せられる特定の単語を発することで、その方向を音源として音質を高めることができる。これにより、ユーザの位置や数が逐次変わるような状況においても、高音質で話者の音声を伝送することができる。特に、音声認識処理を行って特定の単語と一致するか否かの判定を行う音声信号は雑音抑圧によって特定方向以外の音声を抑圧する前の音声信号であるため、ユーザがどの方向に移動しても調整が可能となる。

なお、実施形態１の説明においては、音質を高める方向の変更について述べたが、特定方向の音質を高めることをやめる命令を示す解除単語（たとえば「高音質モード解除」）を登録し、これを音声認識した場合、ハンズフリー通話から通常通話に移行することとしてもよい。たとえば、ハンズフリー通話時に音声認識処理部１１から「高音質モード解除」を含むという判定結果を受け取った場合、伝送音声選択部１２は、音質を高めた音声信号に代えて、エコーキャンセラ７から受け取ったエコーが除去されたＮ個の音声信号の任意の１つを携帯電話基幹部２に送信する。このように、高音質で特定の話者の音声を伝送する通話と、取得した場の音声をそのまま伝送する通話とを切り替えることができる。さらに、その切り替えを音声認識による開始単語または解除単語を含むか否かの判定で行うことにより、ユーザは手で操作することなく容易に切り替えを行うことができる。

同様に、解除後に再度特定方向の音質を高める命令を示す再設定単語（たとえば「高音質モード再設定」）や、話者が増えて音質を高める方向を増やす場合の命令を示す追加単語（たとえば「話者追加」）などを登録し、これを音声認識した場合それぞれの命令を実行する構成にしてもよい。話者を増やす場合は、たとえば、ハンズフリー通話時に音声認識処理部１１が音声信号に「話者追加」を含むと判定した場合、音源方向推定部１３は、「話者追加」の音声信号を用いて新たな音源方向を推定する。雑音抑圧処理部１４は、すでに音質を高めている音源の方向に追加して、新たな音源の方向の音質も高める。このように、高音質で音声を伝送する対象の話者を追加して、２者以上の音声をクリアに通信することができる。さらに、対象の話者の追加を音声認識による追加単語を含むか否かの判定で行うことにより、ユーザは、クリアに音声を伝送する対象の話者の追加を、手で操作することなく容易に行うことができる。また、本実施形態では、ハンズフリー通話時は常に雑音抑圧処理を行う構成になっているが、ハンズフリー通話を開始しても雑音抑圧処理を行わず、音質を高める旨の命令（たとえば「高音質モード」）を認識してはじめて雑音抑圧処理を開始する構成としてもよい。

（実施形態２）
実施形態２に係る雑音抑圧装置１を備える携帯電話１００の構成は、実施形態１の構成と同様である。実施形態２では、伝送音声選択部１２は、ハンズフリー通話時に音質が高められている方向を示す方向情報を生成し、携帯電話基幹部２に送信する。携帯電話基幹部２は、伝送音声選択部１２から受信した方向情報を表示部３に送信し、表示させる。

図４は、実施形態２に係る方向情報の出力の例である。図４（ａ）は、方向情報として出力画面を表示する例である。伝送音声選択部１２は、ハンズフリー通話時に音質が高められている方向を示す出力画面を生成し、携帯電話基幹部２に送信する。携帯電話基幹部２は、伝送音声選択部１２から受信した出力画面を表示部３に送信し、表示させる。図４（ａ）の例では、表示部３は、液晶などのディスプレイで構成される。出力画面３１には、アイコン３３が表示されており、アイコン３３は、音質を高めている方向３２を示している。図４（ａ）の例では、アイコンとしてマイクの画像を用いており、マイクの先端が向いている方向が音質を高めている方向を表わしている。

なお、伝送音声選択部１２は、音源方向推定部１３が検出した音源方向を携帯電話基幹部２に送信し、携帯電話基幹部２が出力画面３１を生成することとしてもよい。また、アイコンはマイクの絵に限らず、矢印や耳の絵などでもよい。さらに、音質を高めている方向３２を示す方法は、ディスプレイ上にアイコンを表示させるのでは無く、色の濃淡やディスプレイの隅が光るなど、直感的に方向を識別できる表現方法でもよい。

図４（ｂ）は、方向情報として発光デバイスを点灯させる例である。図４（ｂ）の例では、表示部３に発光デバイス３４が搭載されている。伝送音声選択部１２は、ハンズフリー通話時に音質を高めている方向３２に対応する発光デバイス３４の点灯箇所を示す情報を携帯電話基幹部２に送信する。携帯電話基幹部２は、伝送音声選択部１２から受信した点灯箇所を示す情報を表示部３に送信し、対応する発光デバイス３４を点灯させる。発光デバイス３４はＬＥＤなどで構成され、全部分もしくは一部分が点灯するものである。図４（ｂ）の例では、音質を高めている方向３２を、４個の発光デバイス３４を用いて表現する。音質を高めている方向３２側に設置されている２個の発光デバイス３４のうち、さらに音質を高めている方向３２に近い側半分をそれぞれ点灯させることで、その方向に対して音質を高めている状態を表現している。点灯させる発光デバイス３４またはその部位は、音源方向推定部１３が推定した方向に応じて伝送音声選択部１２が決定し、携帯電話基幹部２に送信する。あるいは、伝送音声選択部１２は、音源方向推定部１３が検出した音源方向を携帯電話基幹部２に送信し、携帯電話基幹部２が、点灯させる発光デバイス３４またはその部位を決定することとしてもよい。なお、発光デバイスの数や発光の仕方はこれに限らず、１個もしくは複数を用いて方向を判別できる表現であればよい。

以上説明したように、実施形態２の携帯電話１００によれば、ハンズフリー通話時に特定方向の音質を高めている場合において、どの方向に音質が高められているかを確認することができ、心理的不安を軽減することが期待できる。

（実施形態３）
実施形態３に係る雑音抑圧装置１を備える携帯電話１００の構成は、実施形態２の構成と同様である。実施形態２の構成に加え、実施形態３では、伝送音声選択部１２は雑音抑圧処理部１４から受信した音声信号のパワーのレベルを示すレベル情報を携帯電話基幹部２に送信する。携帯電話基幹部２は、伝送音声選択部１２から受信したレベル情報を表示部３に送信し、表示させる。

図５、図６および図７は、実施形態３に係るレベル情報の出力の例を説明する図である。伝送音声選択部１２は、ハンズフリー通話時に音質を高めている方向３２を示し、かつ、音声信号のパワーのレベルをリアルタイムに示すレベル情報を表示する出力画面３１を生成し、携帯電話基幹部２に送信する。携帯電話基幹部２は、伝送音声選択部１２から受信した出力画面３１を表示部３に送信し、表示させる。図５、図６および図７の例では、図４（ａ）の例と同様に表示部３は、液晶などのディスプレイで構成される。出力画面３１には、アイコン３３が表示されており、アイコン３３は音質を高めている方向３２を示している。さらに、出力画面３１には、レベルメータ３５が表示されており、レベルメータ３５は、音声信号のパワーに応じたレベルをリアルタイムに表示している。伝送音声選択部１２は、雑音抑圧処理部１４から受信する音声信号のパワーに応じて、レベルメータ３５に表示するレベルを算出する。伝送音声選択部１２は、音源方向推定部１３が検出した音源方向と算出したレベルとに基づいて出力画面３１を生成し、携帯電話基幹部２に送信する。なお、レベルの算出は、伝送音声選択部１２から受信した音声信号のパワーに基づいて携帯電話基幹部２が行ってもよい。

図５の例ではユーザ９は発話をしていない状態であるので、レベルメータは低い値を表わしている。この際、周囲で雑音が発生しても、ユーザ９の方向に対してのみ音質を高めている状態であるため、レベルメータ３５の表示は小さいままでほとんど変化しない。

これに対し、図６にユーザ９が発話を行っている場合を示す。音質を高めている方向３２から音声が到来するため、伝送音声選択部１２が雑音抑圧処理部１４から受信する音声信号のパワーは大きく、音声の大きさによってレベルメータ３５は大きな変動を示す。

一方、図７は音質を高めている方向３２の逆の方向からユーザ９が発話をしている場合である。この場合、ユーザ９の方向からの音源は雑音抑圧処理部１４によって抑圧されてしまい、伝送音声選択部１２が雑音抑圧処理部１４から受信する音声信号のパワーは小さくなる。したがって、レベルメータ３５の表示は小さいままでほとんど変化しない。

なお、図５、図６および図７の例では、出力画面３１に音声信号のパワーのレベルを示すレベルメータ３５を表示したが、図４（ｂ）のように、表示部３に発光量を調節可能な発光デバイスを備え、音声信号のパワーのレベルに応じて発光の強弱を調整することとしてもよい。また、音声信号のパワーのレベルに応じて表示部３に表示する文字を変更したり、発光の色を変更する構成としてもよい。

以上説明したように、実施形態３の携帯電話１００によれば、ユーザ９は自分の音声がどのくらいの大きさで通話相手に伝送されているかを確認することができる。これにより、周囲に雑音が存在する環境下などで、自分の声が相手に届いているかどうか不明なことによる心理的不安や不満の解消が期待できる。

（実施形態４）
実施形態４に係る雑音抑圧装置１を備える携帯電話１００の構成は、実施形態２の構成と同様である。実施形態４では、表示部３は接触式センサを備える。接触式センサは、たとえば表示部３と協働した静電容量式又は感圧式のタッチパネルである。ユーザがタッチパネルに触れると、表示部３は、携帯電話基幹部２にタッチパネル上のユーザが触れた座標とアイコン３３の中心の座標とを示す座標情報を送信する。伝送音声選択部１２は、携帯電話基幹部２から受け取った座標情報に基づいて方向を判断し、その方向の音質を高めるよう変更する。

図８は、実施形態４に係る音質が高められている方向の変更の例を説明する図である。図８の例では、表示部３はタッチパネルを備えるタッチパネルディスプレイで構成される。図８（ａ）は、タッチパネルディスプレイに音質を高めている方向３２を示す出力画面３１が表示されている例である。図８（ｂ）は、ユーザがタッチパネルディスプレイをタッチして、音質を高める方向を変更する場合の動作を示す。

表示部３は、出力画面３１を表示したタッチパネルディスプレイをユーザの指９１がタッチしたことを感知すると、携帯電話基幹部２を介してアイコン３３の中心の座標とタッチした座標とを示す座標情報を伝送音声選択部１２に送信する。伝送音声選択部１２は、座標情報に基づいて、アイコン３３の中心の座標とタッチした座標を結んだ直線方向を新たに音質を高める方向として算出し、雑音抑圧処理部１４に送信する。雑音抑圧処理部１４は、伝送音声選択部１２から受け取った新たに音質を高める方向以外の音声を抑圧して、新たに音質を高める方向に音質を高める雑音抑圧を行う。また、雑音抑圧処理部１４は、新たに音質を高める方向以外の音声を抑圧して音質を高めた音声信号を伝送音声選択部１２に戻す。伝送音声選択部１２は、音質を高めた音声信号を携帯電話基幹部２に送信する。さらに、伝送音声選択部１２は新たに音質を高めている方向３２を示す出力画面３１を生成し、携帯電話基幹部２に送信する。

携帯電話基幹部２は、伝送音声選択部１２から受信した新たに音質を高める方向の雑音を抑圧した音声信号を、基地局を介して通信相手に送信する。また、携帯電話基幹部２は、伝送音声選択部１２から受信した新たに音質を高めている方向３２を示す出力画面３１を表示部３に送信し、表示させる。図８（ｂ）に示すように、新たに音質を高めている方向３２を示す出力画面３１上のアイコン３３は、アイコン３３の中心の座標とユーザの指９１がタッチした座標とを直線で結んだ方向を示す。

なお、座標情報に基づく音質を高める方向の算出は、携帯電話基幹部２が行ってもよい。音質を高める方向を変更する方法については、上記の方法に限らず、たとえば出力画面３１上のアイコン３３をタッチし、それを回転させる動作でユーザが方向を指定する方法や、出力画面３１上で各方向に対応するボタンが表示されており、それをタッチすることでユーザが方向を指定する方法でもよい。

また、本動作は、ハンズフリー通話時に限定するものではない。たとえば、表示部３は着信時に出力画面３１を出力し、ユーザが出力画面３１をタッチすることで、ハンズフリー通話を開始すると同時に、タッチした座標に応じて音質を高める方向を決定する構成としてもよい。すなわち、実施形態１において音声認識処理部１１が行う音声認識結果が開始単語と一致するか否かの通話判定処理に代えて、タッチパネルディスプレイをタッチしたことをハンズフリー通話を開始するトリガとしてもよい。

同様に、出力画面３１にハンズフリー通話を解除する命令、解除後に再度特定方向に音質を高める命令や、話者が増えて音質を高める方向を増やす命令などに対応する領域を設けて、ユーザがタッチパネルディスプレイのこれらの領域をタッチしたことをそれぞれの命令を実行するトリガとしてもよい。

以上説明したように、実施形態４の携帯電話１００によれば、特定方向に音質を高めているハンズフリー通話時において、ユーザは音質を高めたい方向をディスプレイ上でタッチするという単純な動作で、容易に音質を高める方向を指定することができる。これにより、たとえば１つのテレビ電話に対してハンズフリー通話で複数のユーザが発言して会議をする場合などに、発言するユーザが自分の方向を指定することにより、効率的に会議を進行することができる。また、ハンズフリー通話で１つの通信装置に対して複数のユーザが発言する場合、通話相手には聞かれたくない発言をする場合に、自分と逆の方向を指定することで、自分の方向の音声を抑圧することができる。

図９は、本発明の実施形態に係る携帯電話のハードウェア構成の一例を示すブロック図である。携帯電話１００は、図９に示すように、制御部２１、主記憶部２２、外部記憶部２３、操作部２４、表示部２５、送受信部２６、スピーカ２７およびマイクロホンアレイ２８を備える。主記憶部２２、外部記憶部２３、操作部２４、表示部２５、送受信部２６、スピーカ２７およびマイクロホンアレイ２８はいずれも内部バス２０を介して制御部２１に接続されている。

制御部２１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部２３に記憶されている制御プログラム２９に従って、携帯電話基幹部２、ＡＤＣ６、エコーキャンセラ７、ＤＡＣ８、雑音抑圧装置１の音声認識処理部１１、伝送音声選択部１２、音源方向推定部１３および雑音抑圧処理部１４の各処理を実行する。

主記憶部２２はＲＡＭ（RaＮdoＭ-Access ＭeＭory）等から構成され、外部記憶部２３に記憶されている制御プログラム２９をロードし、制御部２１の作業領域として用いられる。

外部記憶部２３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc RaＮdom-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、携帯電話１００の処理を制御部２１に行わせるためのプログラムをあらかじめ記憶し、また、制御部２１の指示に従って、このプログラムが記憶するデータを制御部２１に供給し、制御部２１から供給されたデータを記憶する。

操作部２４はキーボードやタッチパネル等と、キーボードやタッチパネル等を内部バス２０に接続するインタフェース装置から構成されている。ユーザが音質を高める方向を変更した場合は、操作部２４を介して、指示が制御部２１に供給される。

表示部２５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、出力画面３１を表示する。また、操作部２４がタッチパネルである場合、表示部２５と操作部２４とは一体となる。なお、表示部２５は、表示部３である。

送受信部２６は、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースから構成されている。送受信部２６は、基地局を介して音声や画像などを通信相手に送信し、音声や画像などを通信相手から受信する。

スピーカ２７は、着信音や通信相手の通話音声を出力する。なお、スピーカ２７は、スピーカ４である。

マイクロホンアレイ２８は、周囲の音を収集し、音声信号として取得する。なお、マイクロホンアレイ２８は、マイクロホンアレイ５である。

図１に示す携帯電話１００の携帯電話基幹部２、ＡＤＣ６、エコーキャンセラ７、ＤＡＣ８、雑音抑圧装置１の音声認識処理部１１、伝送音声選択部１２、音源方向推定部１３および雑音抑圧処理部１４の処理は、制御プログラム２９が、制御部２１、主記憶部２２、外部記憶部２３、操作部２４、表示部２５、送受信部２６などを資源として用いて処理することによって実行する。

その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更および修正が可能である。

制御部２１、主記憶部２２、外部記憶部２３、操作部２４、内部バス２０などから構成される雑音抑圧処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する携帯電話１００と同様の通信装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで携帯電話１００と同様の通信装置を構成してもよい。

また、雑音抑圧装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記憶媒体や記憶装置に格納してもよい。

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

１・・・雑音抑圧装置、２・・・携帯電話基幹部、３・・・表示部、４・・・スピーカ、５・・・マイクロホンアレイ、６・・・ＡＤＣ、７・・・エコーキャンセラ、８・・・ＤＡＣ、９・・・ユーザ、１１・・・音声認識処理部、１２・・・伝送音声選択部、１３・・・音源方向推定部、１４・・・雑音抑圧処理部、２０・・・内部バス、２１・・・制御部、２２・・・主記憶部、２３・・・外部記憶部、２４・・・操作部、２５・・・表示部、２６・・・送受信部、２７・・・スピーカ、２８・・・マイクロホンアレイ、２９・・・制御プログラム、３１・・・出力画面、３２・・・音質を高めている方向、３３・・・アイコン、３４・・・発光デバイス、３５・・・レベルメータ、１００・・・携帯電話

Claims (10)

1. ハンズフリー通話機能を有する装置に搭載する雑音抑圧装置であって、
   周囲の音を収集した音声信号を取得する取得手段と、
   通話中にユーザが指定した方向を示す情報を取得する指定手段と、
   前記指定手段が取得した情報に基づいて、前記音声信号に含まれる前記ユーザが指定した方向以外の音声を抑圧し、前記ユーザが指定した方向から到来する音声の音質を高める雑音抑圧手段と、
   前記雑音抑圧手段が音質を高めた音声信号を送信する送信手段と、
   を備えることを特徴とする雑音抑圧装置。
2. 前記指定手段は、
   通話中に前記音声信号について音声認識を行い、特定の単語を含むか否かを判定する音声認識手段と、
   前記音声認識手段が前記特定の単語を含むと判定した場合、前記特定の単語の音声信号に基づいて音源の方向を検出する検出手段と、を備え、
   前記雑音抑圧手段は、前記音声信号に含まれる前記音源の方向以外の音声を抑圧し、前記検出手段が検出した音源の方向から到来する音声の音質を高めることを特徴とする請求項１に記載の雑音抑圧装置。
3. 前記音声認識手段は、通話中に前記音声信号について音声認識を行い、ハンズフリー通話の開始を示す開始単語を含むか否かをさらに判定し、
   前記検出手段は、前記音声認識手段が開始単語を含むと判定した場合、前記開始単語の音声信号に基づいて音源の方向を検出し、
   前記送信手段は、前記音声認識手段が前記開始単語を含むと判定したのち、前記雑音抑圧手段が音質を高めた音声信号を送信することを特徴とする請求項２に記載の雑音抑圧装置。
4. 前記音声認識手段は、通話中に前記音声信号について音声認識を行い、ハンズフリー通話の解除を示す解除単語を含むか否かをさらに判定し、
   前記送信手段が前記音質を高めた音声信号を送信しているときに、前記音声認識手段が前記解除単語を含むと判定したのち、
   前記送信手段は、前記音質を高めた音声信号に代えて前記取得手段が取得した音声信号を送信することを特徴とする請求項２または３に記載の雑音抑圧装置。
5. 前記音声認識手段は、通話中に前記音声信号について音声認識を行い、話者の追加を示す追加単語を含むか否かをさらに判定し、
   前記送信手段が前記音質を高めた音声信号を送信しているときに、前記音声認識手段が前記追加単語を含むと判定した場合、
   前記検出手段は、前記追加単語の音声信号に基づいて新たな音源の方向を検出し、
   前記雑音抑圧手段は、すでに音質を高めている音源の方向に追加して、新たな音源の方向から到来する音声の音質も高めることを特徴とする請求項２ないし４のいずれか１項に記載の雑音抑圧装置。
6. 前記指定手段は、通話中に前記ユーザが指示した視覚表示画面上の座標を示す座標情報を取得し、
   前記雑音抑圧手段は、前記座標情報に基づいて前記ユーザが指定した方向を算出し、前記音声信号に含まれる前記ユーザが指定した方向以外の音声を抑圧し、前記ユーザが指定した方向から到来する音声の音質を高めることを特徴とする請求項１ないし５のいずれか１項に記載の雑音抑圧装置。
7. 前記音質を高めている音源の方向を示す方向情報を表示させる表示手段をさらに備えることを特徴とする請求項１ないし６のいずれか１項に記載の雑音抑圧装置。
8. 前記表示手段は、前記音質を高めた音声信号のパワーのレベルを示すレベル情報をさらに表示させることを特徴とする請求項７に記載の雑音抑圧装置。
9. ハンズフリー通話機能を有する装置において実行される雑音抑圧方法であって、
   周囲の音を収集した音声信号を取得する取得ステップと、
   通話中にユーザが指定した方向を示す情報を取得する指定ステップと、
   前記指定ステップで取得した情報に基づいて、前記音声信号に含まれる前記ユーザが指定した方向以外の音声を抑圧し、前記ユーザが指定した方向から到来する音声の音質を高める雑音抑圧ステップと、
   前記雑音抑圧ステップで音質を高めた音声信号を送信する送信ステップと、
   を備えることを特徴とする雑音抑圧方法。
10. コンピュータに、
    周囲の音を収集した音声信号を取得する取得ステップと、
    通話中にユーザが指定した方向を示す情報を取得する指定ステップと、
    前記指定ステップで取得した情報に基づいて、前記音声信号に含まれる前記ユーザが指定した方向以外の音声を抑圧し、前記ユーザが指定した方向から到来する音声の音質を高める雑音抑圧ステップと、
    前記雑音抑圧ステップで音質を高めた音声信号を送信する送信ステップと、
    を実行させることを特徴とするプログラム。

Images