JP2008211526A - 音声入出力装置及び音声入出力方法 - Google Patents

Abstract

【課題】音声品質を向上させた音声入出力装置及び音声入出力方法を提供する。
【解決手段】マイク３とスピーカ７を外部に持つ音声入出力装置１において、マイク３からの入力とスピーカ７への出力を音響環境判断部４へ入力する。音響環境判断部でマイク３とスピーカ７の間の音響環境を推定し、推定に基づいて必要な音響処理を選択し、音響処理部５で行う音響処理を決定する。マイク３から入力された音声は、音響処理部５が持つ音響処理機能のうち、選択された機能を実行する。その後、送受信処理などの必要な処理を経て相手端末へ送信する。
【選択図】図１

Description

本発明は、Ｗｅｂ会議システムやＩＰ電話システムなどのリアルタイム音声送受信通信システムや、音声録音再生システムに用いられる音声入出力装置及び音声入出力方法に関する。

テレビ会議システム、Ｗｅｂ会議システムと呼ばれるシステムでは、会議室のような比較的広い場所同士で通話が行われることがある。このような場合、通話をスムーズに行うため音響処理を実施する場合が多い。例えば、ハンズフリーで通話が行われる場合は音響エコーキャンセラを有効にしたり、雑音が多い場所ではノイズキャンセラを有効にしたり、音量を大きくしたりする、などの音響処理が挙げられる。

これらの音響処理を実現する端末では、スペックがあまり高くない場合や、他のアプリケーションと共存しながら通信を行う場合があり、処理能力をできるだけ必要としないことが望ましいとされる。

さらに、既存の端末では、上記問題を解決するため、ユーザによる手動での音響設定を行うことができる場合もあったが、音響の専門知識が乏しいユーザが設定を行うため、不適切に設定している場合や、不必要な処理を有効にして使用している場合があった。

例えば、多地点間のテレビ会議システムにおいて、機種間における音量送出レベルの大小を送信側端末で調整したり、受信端末の能力に応じて、送信側で音量調節を行ったりする「テレビ会議システムのための音声入力端末および音声入力端末及び音声合成端末」（例えば、特許文献１参照。）、携帯電話端末において、電話機の製造後に音響性能が規格内に収まるようソフトウェア（イコライザ）で調整する「音響特性調整装置、音響特性調整方法及びプログラム」（例えば、特許文献２参照。）、拡声器で、はじめに放置音が鳴っている間にエコーキャンセラの適応制御を行い、通話が始まってからは話頭からエコーを除去する「拡声通話装置」（例えば、特許文献３参照。）。が挙げられる。

この他、音声入出力装置としては特許文献４〜６が挙げられる。
特開平０９−１４９１３３号公報 特開２００６−１５７５７４号公報 特開２００５−２１７５４７号公報 特開２００２−３３０５００号公報 特開２００５−１５１４０３号公報 特開平０７−１５４３０５号公報

しかしながら、上述した従来技術には以下の問題点がある。
第１の問題点は、不適切または不要な音響処理を行い、ユーザに通話音声品質が悪くなる場合や、処理負荷を不必要にあげる場合がある点である。

その理由は、ユーザによる手動での音響設定が前提となるため、ユーザの専門知識によっては、不適切に設定してかえって通話音声品質が悪くなる場合があった。また、不必要な処理を有効にしたため処理負荷が増え、端末の処理体感速度が遅くなる場合や通話音声品質が悪くなる場合があった。

第２の問題点は、通話の開始時にユーザが手動で音響設定を行う必要がある場合があり、設定に手間がかかり通話などの本来の目的に集中できない場合があった点である。

その理由は、音響処理についてあまり知識のない一般使用者が、独自の判断で音響処理の有無や効果の強弱を設定するため、時間をかけて音響設定して試す、という調整を何度も繰り返すことが必要であったり、適切な設定を行わないまま通話に入ったりすることがあるからである。

音響処理の設定は、ユーザによる手動での音響設定が前提となるため、不適切または不要な音響処理を行う場合があり、通話音声品質が悪くなる場合や、処理負荷を不必要に上げる場合があった。

また、音響処理についてあまり知識のない一般使用者が、独自の判断で音響処理の有無や効果の強弱を設定するため、時間をかけて音響設定して試す、という調整を何度も繰り返すことが必要であったり、適切な設定を行わないまま通話に入ったりすることがあり、通話などの本来の目的に集中できない場合があった。

そこで、本発明の目的は、音声品質を向上させた音声入出力装置及び音声入出力方法を提供することにある。

上記課題を解決するために、請求項１に記載の発明は、スピーカから音声を出力し、マイクで音声を入力する音声入出力装置において、１つ以上の音響処理機能を組み合わせ、前記マイクで入力された音声に音響処理を行う音響処理手段と、前記マイクで入力された音声と前記スピーカから出力される音声とを使用して前記スピーカから前記マイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理手段へ作用を及ぼす音響環境判断手段とを備えたことを特徴とする。

請求項１に記載の発明によれば、１つ以上の音響処理機能を組み合わせ、マイクで入力された音声に音響処理を行う際に、マイクで入力された音声とスピーカから出力される音声とを使用してスピーカからマイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて前記音響処理を行うことにより、人間系による音響設定のばらつきを排除し、音響処理による処理負荷を必要最小限にとどめるので、音声品質を向上させることができる。

請求項２に記載の発明は、請求項１に記載の発明において、前記音響処理手段は、組み合わせた音響処理機能を各々または全てを有効化または無効化できるようにしたことを特徴とする。

請求項２に記載の発明によれば、音響処理手段は、組み合わせた音響処理機能を各々または全てを有効化または無効化できるようにしたことにより、さらに音声品質を向上させることができる。

請求項３に記載の発明は、請求項１または２に記載の発明において、前記スピーカから出力する音声に音響処理を行う音響処理手段を備えたことを特徴とする。

請求項３に記載の発明によれば、スピーカから出力する音声に音響処理を行う音響処理手段を備えたことにより、さらに音声品質を向上させることができる。

請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、前記マイクで入力された音声と前記スピーカから出力された音声とを使用して前記スピーカから前記マイクへの空間の音響伝達特性を推定し、前記音響伝達特性に合わせて、前記スピーカから出力する音声に音響処理を行う音響処理手段へ作用を及ぼす音響環境判断手段を備えたことを特徴とする。

請求項４に記載の発明によれば、マイクで入力された音声とスピーカから出力された音声とを使用してスピーカからマイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、スピーカから出力する音声に音響処理を行うことにより、さらに音声品質を向上させることができる。

請求項５に記載の発明は、請求項１から４のいずれか１項に記載の発明において、ネットワークを介して他の音声入出力装置と音声の送受信を行う送受信手段を備えたことを特徴とする。

請求項５に記載の発明によれば、ネットワークを介して他の音声入出力装置と音声の送受信を行う送受信手段を備えたことにより、さらに音声品質を向上させることができる。

請求項６に記載の発明は、請求項１から５のいずれか１項に記載の発明において、他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し手段と、前記スピーカから出力される呼び出し音と、前記マイクで入力された音声とを使用して前記スピーカから前記マイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理手段へ作用を及ぼす音響環境判断手段とを備えたことを特徴とする。

請求項６に記載の発明によれば、他の音声入出力装置との音声の送受信の開始を使用者に示し、スピーカから出力される呼び出し音と、マイクで入力された音声とを使用してスピーカからマイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、音響処理手段へ作用を及ぼすことにより、さらに音声品質を向上させることができる。

請求項７に記載の発明は、請求項６に記載の発明において、他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音を使用者が選択することができるようにしたことを特徴とする。

請求項７に記載の発明によれば、他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音を使用者が選択することができるようにしたことにより、さらに音声品質を向上させることができる。

請求項８に記載の発明は、請求項７に記載の発明において、他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音に、空間の音響伝達特性を推定するための試験音を追加できるようにしたことを特徴とする。

請求項８に記載の発明によれば、他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音に、空間の音響伝達特性を推定するための試験音を追加できるようにしたことにより、さらに音声品質を向上させることができる。

請求項９に記載の発明は、請求項１から５のいずれか１項に記載の発明において、使用者が指定したタイミングでスピーカから出力される呼び出し音と、マイクで入力された音声とを使用してスピーカからマイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理手段へ作用を及ぼす音響環境判断手段を備えたことを特徴とする。

請求項９に記載の発明によれば、使用者が指定したタイミングでスピーカから出力される呼び出し音と、マイクで入力された音声とを使用してスピーカからマイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、音響処理手段へ作用を及ぼすことにより、さらに音声品質を向上させることができる。

請求項１０に記載の発明は、請求項９に記載の発明において、他の音声入出力装置との音声の送受信の開始を使用者を示す呼び出し音を有し、使用者が指定したタイミングで、前記の呼び出し音を使用してスピーカから出力される呼び出し音と、マイクで入力された音声とを使用してスピーカからマイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理手段へ作用を及ぼす音響環境判断手段を備えたことを特徴とする。

請求項１０に記載の発明によれば、他の音声入出力装置との音声の送受信の開始を使用者を示す呼び出し音を有し、使用者が指定したタイミングで、呼び出し音を使用してスピーカから出力される呼び出し音と、マイクで入力された音声とを使用してスピーカからマイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、音響処理手段へ作用を及ぼすことにより、さらに音声品質を向上させることができる。

請求項１１に記載の発明は、請求項１０に記載の発明において、他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音として使用者が指定した音声を利用するようにしたことを特徴とする。

請求項１１に記載の発明によれば、他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音として使用者が指定した音声を利用するようにしたことにより、さらに音声品質を向上させることができる。

請求項１２に記載の発明は、請求項１１に記載の発明において、他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音に、空間の音響伝達特性を推定するための試験音を追加できるようにしたことを特徴とする。

請求項１２に記載の発明によれば、他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音に、空間の音響伝達特性を推定するための試験音を追加できるようにしたことにより、さらに音声品質を向上させることができる。

請求項１３に記載の発明は、請求項１２に記載の発明において、他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音に、空間の音響伝達特性を推定するための試験音を追加できるようにしたことを特徴とする。

請求項１３に記載の発明によれば、他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音に、空間の音響伝達特性を推定するための試験音を追加できるようにしたことにより、さらに音声品質を向上させることができる。

請求項１４に記載の発明は、請求項１から１３のいずれか１項に記載の発明において、音声を入力するマイクを２つ以上備えたことを特徴とする。

請求項１４に記載の発明によれば、音声を入力するマイクを２つ以上備えたことにより、さらに音声品質を向上させることができる。

請求項１５に記載の発明は、請求項１から１４のいずれか１項に記載の発明において、音声を出力するスピーカを２つ以上備えたことを特徴とする。

請求項１５に記載の発明によれば、音声を出力するスピーカを２つ以上備えたことにより、さらに音声品質を向上させることができる。

請求項１６に記載の発明は、請求項１から１５のいずれか１項に記載の発明において、マイク以外の外部機器によって空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理手段へ作用を及ぼす音響処理手段を備えたことを特徴とする。

請求項１６に記載の発明によれば、マイク以外の外部機器によって空間の音響伝達特性を推定し、音響伝達特性に合わせて、音響処理手段へ作用を及ぼすことにより、さらに音声品質を向上させることができる。

請求項１７に記載の発明は、音楽ファイルを内部に有し、音楽ファイルをスピーカから再生する音声入出力装置において、マイクで音声を入力する音声入力手段と、スピーカから出力する音声に音響処理を行う音響処理手段と、前記マイクで入力される音声と前記スピーカから出力される音声とを使用して前記スピーカから前記マイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理手段へ作用を及ぼす音響環境判断手段とを備えたことを特徴とする。

請求項１７に記載の発明によれば、マイクで音声を入力し、スピーカから出力する音声に音響処理を行う際に、マイクで入力される音声とスピーカから出力される音声とを使用してスピーカからマイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、音響処理手段へ作用を及ぼすことにより、さらに音声品質を向上させることができる。

請求項１８に記載の発明は、請求項１７に記載の発明において、前記音響処理手段は、１つ以上の音響処理機能を組み合わせたものであることを特徴とする。

請求項１８に記載の発明によれば、音響処理手段は、１つ以上の音響処理機能を組み合わせたものであることにより、さらに音声品質を向上させることができる。

請求項１９に記載の発明は、スピーカから音声を出力し、マイクで音声を入力する音声入出力方法において、１つ以上の音響処理機能を組み合わせ、前記マイクで入力された音声に音響処理を行う際に、前記マイクで入力された音声と前記スピーカから出力される音声とを使用して前記スピーカから前記マイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて前記音響処理を行うことを特徴とする。

請求項１９に記載の発明によれば、１つ以上の音響処理機能を組み合わせ、マイクで入力された音声に音響処理を行う際に、マイクで入力された音声とスピーカから出力される音声とを使用してスピーカからマイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて音響処理を行うことにより、さらに音声品質を向上させることができる。

請求項２０に記載の発明は、音楽ファイルを内部に有し、音楽ファイルをスピーカから再生する音声入出力方法において、マイクで音声を入力し、スピーカから出力する音声に音響処理を行う際に、前記マイクで入力される音声と前記スピーカから出力される音声とを使用して前記スピーカから前記マイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理を行うことを特徴とする。

請求項２０に記載の発明によれば、マイクで音声を入力し、スピーカから出力する音声に音響処理を行う際に、マイクで入力される音声とスピーカから出力される音声とを使用してスピーカからマイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、音響処理を行うことにより、さらに音声品質を向上させることができる。

すなわち、本発明によれば、第１に通話音声品質を向上することができる。音響処理についてあまり知識のない一般使用者が、独自の判断で音響処理の有無や効果の強弱を設定するのではなく、一定のアルゴリズムを用いて最適な音響処理を設定するので、ユーザによる音響効果のばらつきが少なくなり、全体的な通話音声品質の向上が期待できる。また、時間経過に適応して必要な音響処理を実施することにより、常にそのときの音響系に適した通話品質で通信することができる。

また、本発明によれば、第２に処理負荷を軽減することができる。音響処理についてあまり知識のない一般使用者が、独自の判断で音響処理の有無や効果の強弱を設定するのではなく、一定のアルゴリズムを用いて最適な音響処理を設定するので、不必要な処理を行うことによる処理負荷を軽減できる。

さらに、本発明によれば、第３にユーザビリティを向上することができる。通話の開始時に音響設定を行うなどの手間が省け、通話中、ユーザが通話本来の目的に集中できる。

本発明によれば、１つ以上の音響処理機能を組み合わせ、マイクで入力された音声に音響処理を行う際に、マイクで入力された音声とスピーカから出力される音声とを使用してスピーカからマイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて前記音響処理を行うことにより、人間系による音響設定のばらつきを排除し、音響処理による処理負荷を必要最小限にとどめるので、音声品質を向上させることができる。

〔実施形態１〕
第１の実施形態は、通話中に音響環境の調整を行う音声入出力装置についてである。
図１は、本発明に係る音声入出力装置の一実施の形態を示す構成図である。
本実施形態では、音声入出力装置１と、音声入出力装置Ａとがネットワークを介してリアルタイムに音声送受信を行う場合について説明する。また、図１の音声入出力装置１の内部構成については、本発明の原理を簡便に説明するため、本発明に係わる部分のみを機能的に示している。

はじめに音声入出力装置１の構成について説明する。
音声入出力装置１は、外部にマイク３とスピーカ７を持ち、音声の入出力を行う。マイク３は送信すべき音声をキャプチャする。キャプチャした音声は、同時に音声入出力装置１がおかれている音響環境を判断するためにも使用する。マイク３でキャプチャし、送信する音声として音響処理部５に入力し、音響環境の判断のための音声として音響環境判断部４にそれぞれ入力する。また、スピーカ７から出力される音も音響環境判断部４に入力する。

音響環境判断部４では、入力された音声から音声入出力装置１がおかれている環境を判断し、音響処理部５に含まれる各音響機能のＯＮ／ＯＦＦや強弱の制御パラメータを決定する。

音響処理部５では、入力された音声に音響処理を施す。その後、コーデック処理・送受信処理２を経てネットワーク経由で他の音声入出力装置、例えば音声入出力装置Ａへ音声を送信する。

音声入出力装置Ａからの音声は、ネットワーク経由でコーデック・送受信処理２で受信処理を行い、デコードする。受信側の音響処理部６にて必要な音響処理を行った後、スピーカ７から出力される。

図２に、図１に示した音声入出力装置の音響処理判断部４と音響処理部５との詳細例を示す。
図２において、図１と同様の部分については同じ数値を用いている。

図２では、音響処理部５に音響エコーキャンセラ（ＡＥＣ）１２、雑音抑圧機能（ＮＳ）１４、自動音量調整機能（ＡＧＣ）１６、その他の音響機能１８を持つ。

はじめに、スイッチ１１、ＡＥＣ１２の制御例を説明する。スイッチ１１はＡＥＣのＯＮ／ＯＦＦを制御するスイッチである。

音響環境判断部４で、マイク３及びスピーカ７から音声入出力装置１がおかれている音響環境での残響時間を測定する。その後、音響環境判断部４から判断結果をＡＥＣ１２へ通知してＡＥＣの性能の制御を行う。

例えば、反響音が非常に小さい場合は、音響環境判断部４からスイッチ１１へ制御を行い、エコーキャンセラ機能そのものを無効にすることで、端末の処理負荷を軽減することが可能である。また、当初エコーキャンセラの対応残響時間が１００ミリ秒に設定されていた場合、狭い空間に本端末が置かれており測定した残響時間が５０ミリ秒であった場合は、エコーキャンセラの対応残響時間を５０ミリ秒に調整して余計な演算処理をしないように設定することができる。

これとは逆に、大きなホール等に端末が置かれており残響時間が２００ミリ秒であった場合でも、エコーキャンセラの対応残響時間を２００ミリ秒に調整することにより、必要十分なエコーキャンセラの性能を発揮させることができる。

次にスイッチ１３、及びＮＳ１４の制御例を説明する。
スイッチ１３はＮＳのＯＮ／ＯＦＦを制御するスイッチである。

音響環境判断部４で、マイク３及びスピーカ７から信号対雑音比（Ｓ／Ｎ比）を求めることにより、音声入出力装置１がおかれている環境での雑音の大小を測定できる。例えば、Ｓ／Ｎ比が大きい場合は雑音が小さい環境であるので、スイッチ１３に制御してＮＳの機能を無効にすることで、端末の処理負荷を軽減することができる。また、Ｓ／Ｎ比は小さいがある程度より大きい場合は、ＮＳ１４の働きを弱めるよう制御を行う。さらに、Ｓ／Ｎ比が小さい場合は雑音が大きい環境であるため、ＮＳ１４が強く働くよう制御を行う。

次にスイッチ１５、及びＡＧＣ１６の制御例を説明する。スイッチ１４はＡＧＣのＯＮ／ＯＦＦを制御するスイッチである。

音響環境判断部４で、マイク３から信号の大きさを測定する。
例えば、信号の大きさが適切でＳ／Ｎ比も大きければＡＧＣ１６で音量調整する必要がないため、スイッチ１５でＡＧＣ機能を無効にし、端末の処理負荷を軽減することができる。また、前述のＳ／Ｎ比も判断に使用すると、Ｓ／Ｎ比が小さい場合は入力信号のほとんどが雑音である可能性が高いので、ＡＧＣ機能を、全体的に音量を下げる方向に制御することができる。また、Ｓ／Ｎ比が高い場合でもＮＳ１４が有効の場合は雑音が抑圧されるのでAGC機能では雑音がないものとして全体に増幅するように制御することができる。

また、その他の音響機能があれば、図２のその他の音響機能１８の部分で示すように、上記と同様に音響環境判断部４で音響機能を制御させてもよい。さらに、ＡＥＣ、ＮＳ、ＡＧＣ、その他の音響処理は図で示した位置関係になくてもよく、どのような順でもよい。

図３、図４に本発明に係る音声入出力方法のフローの一例を示す。
通話を開始すると図３に示したフローの処理を行う。
処理を開始する（ステップ１０１）。
音響環境調整モードをＯＮにする（ステップ１０２）。
ここで、音響環境調整モードとは、音響環境判断部４で現在の音響環境の判断を行うモードであるとする。処理を終了する（ステップ１０３）。
ステップ１０３が実行されても通話は継続するものとする。

通話を開始すると図４のフローの処理も開始する（ステップ２０１）。
まず、音響環境調整モードであるか否かを判断する（ステップ２０２）。
音響環境調整モードがＯＮである場合（ステップ２０２／ＯＮ）は、音響環境判断部４で必要な音響処理の選択を行う（ステップ２０３）。
音響環境判断部４では、前述の図２のような構成、方法でマイク３で入力された音声やスピーカ７から出力される音声を使用して、音声入出力装置１の置かれている音響環境を推定する。音響環境の推定時には、一旦音声入出力装置Ａからの音声を停止して上記の試験音をスピーカ７から出力させたり、音声入出力装置Aからの受信音声を使用して音響環境の判断を行ったりしてもよい。また、音声入出力装置Aからの受信音を利用して音響環境の推定を行うこともできる。

そして、音響環境判断部４での判定を元に、音響処理部５に対し音響処理の設定変更を行う（ステップ２０４）。例えば、音響処理を機能ごとにＯＮ／ＯＦＦしたり、機能の強弱を決定したりする。その後、処理を終了する（ステップ２０６）。

一方、ステップ２０２で音響環境調整モードがＯＦＦだった場合（ステップ２０２／ＯＦＦ）はステップ２０５へ進み、音響処理部５の設定変更は行わずに終了処理２０６へ進む。

上記のような処理（ステップ２０１〜ステップ２０６）を行うと、端末が音響環境調整モードに設定されている場合に、音響環境を測定し、必要な音響処理を選択することが可能になる。

上記のようなフローで動作を行うことにより、ユーザが個別に音響処理のＯＮ／ＯＦＦを決定することなく、自動的に適切な音響処理が選択されるので、操作者の知識やスキルに依存することなく常に適切な音声品質で通話を行うことが可能になる。

また、ユーザの知識不足や、不必要に十分な音響処理機能を有効にすることを防げるので、必要以上に処理負荷を上げることを防ぐことができる。例えば、端末が静かなオフィスに置かれているときにはノイズサプレッサをＯＦＦにしたり、エコーが少ないときはエコーキャンセラをＯＦＦにしたりする、などの使い方ができる。

さらに、ユーザは通信開始時に音響環境調整モードで調整を行うことで、その後の通話では音質を気にすることなく通話本来の目的に集中することができる。

また、音響環境判断部４での判断は１度だけに限らず、複数回繰り返しても良い。例えばステップ２０４の処理の後、ステップ２０２に戻り、音響環境調整モードがＯＮである限り何回もステップ２０３、２０４を繰り返してもよい。

このようにすると、音声入出力装置１が置かれている音響環境が時間的に変化しても、適応的に音響制御を行うことができる。例えば会議室内の人数が急に増えたために雑音が増えた場合、ＮＳやＡＧＣを有効にすることが可能である。

〔実施形態２〕
実施形態１は、通話開始後から音響環境調整モードを有効にして音響環境の判断を開始するものであるのに対し、本実施形態は通話開始前の呼び出し状態を利用して音響環境の調整を行うものである。

本実施形態では、図３に示した音響環境調整モードを有効にする処理を通話の呼び出しの開始時に行う。また、図４に示した処理も呼び出し開始時から実施することで、呼び出し音を試験音として利用して端末の音響環境を測定する。

図５に本発明に係る音声入出力装置の構成例を示す。
図５に示した構成は、図１に示した構成にユーザ指定呼び出し音１８と試験音１９とを加えた構成である。
呼び出し音は固定の呼び出し音でもよいが、図５に示すように外部に音源のファイルを持ち、ユーザが指定した音声・音響ファイルを呼び出し音として使用してもよい。その場合、音響環境判断部１４であらかじめ当該ファイルの特性を把握しておくことができるので、マイク１３から入力された音声と比較時に音声入出力装置１１の置かれている音響環境を、音声入出力装置Ａからの音声を使用するときよりも的確に把握することが期待できる。

また、固定呼び出し音やユーザ指定呼び出し音に、試験のための音声（試験音１９）をミキシングしたり挿入したりすることで、音響環境判断をより容易に行うようにすることもできる。試験音として、人間の可聴領域外の周波数特性を持った音声を使用すれば、ユーザにわからないように試験音を入れることができる。

本実施形態のような処理を行うと、適切な音響処理内容が設定されたあとに通話を開始できるため、通話開始時から快適なコミュニケーションが可能となる。

また、実施形態１に示した方法もあわせて実施すれば、通話中に音響系が変動しても音響処理を追従して実施できる。

〔実施形態３〕
実施形態１、実施形態２では、通話時に自動的に音響環境調整モードを有効にしているが、本実施形態では明示的にユーザが指定した間だけ音響環境調整モードを有効にしてもよい。例えば、外部入力装置やＧＵＩを通してユーザが音響環境調整モードを有効もしくは無効にすることが挙げられる。

このような処理を行うと、端末が通話状態でない場合でも音響処理内容を判断することができる。また、ユーザが音響環境調整モードをある一定時間だけ有効にしたい場合などにも使用できる。

また、本実施形態においても、実施形態２で使用した呼び出し音を音響環境の判断に利用してもよい。また、ユーザが指定する呼び出し音を使用したり、試験音を利用したりしてもよい。

〔実施形態４〕
実施形態１〜３ではマイク入力音声を元に、送信側に音響環境調整機能を入れる例であったが、受信した音声を元に受信側にも音響環境調整機能を持たせ、受信側の音響処理の設定を制御してもよい。
図６に本発明に係る音声入出力装置の他の構成例を示す。
図６は、図５の構成に加え、受信部の音響処理部１６に対し音響環境判断部１４からの制御を加えた構成例である。音響環境判断部にはマイク２３からの入力された音声とスピーカ２７へ出力される音声とのほかに、音声入出力装置Ａから受信した音声も入力する。これら入力された音声を元に音響環境を判断してスピーカ２７から出力する音声も音響処理部（受信側）２６によって制御を行う。

図７に音響処理判断部２４及び音響処理部２５の詳細例を示す。
図７では、音響処理部（送信側）２５への制御は、図２に示した処理と同様の処理になるため図を省略している。ここでは、音響処理部（受信側）２６と音響環境判断部２４との例を詳細に記述した。

スイッチ３１、ＡＧＣ３２、スイッチ３３、イコライザ（ＥＱ）３４の制御例を説明する。スイッチ３１はＡＧＣを、スイッチ３３はＥＱをＯＮ／ＯＦＦ制御するスイッチである。

例えば、音響環境判断部２４で実施形態１と同様に音響環境を判断し、適切な音量であるときはスイッチ３１を操作してＡＧＣを無効にすることで処理負荷を軽減させることができる。また、雑音が多い環境であった場合は、ＡＧＣ３２を制御してスピーカ２７から出力される音量を大きくすることができる。また、反響が多い環境であればＡＧＣ３２を制御してスピーカ２７から出力される音量を小さくしてエコーの発生を抑えるなどの制御が可能となる。

また、音響の反響特性を判断し、スイッチ３３を操作してEQを無効にすることで処理負荷を軽減させることができる。また、音響特性の判断で反響しやすい周波数帯が分かれば、ＥＱ３４を制御して当該周波数帯の音量を小さくする、などの音響効果を与えることができる。また、通常のイコライジング機能として、受信音にユーザの好みの音響効果を付与することも可能である。例えば通信相手からの受信音が音声ではなく音楽ファイルであった場合に、重低音を響かせる、ボーカルを際立たせるなどの音響効果を与えることができる。

音響環境判断部と図６では音響環境判断部２４が、音響処理部２５への制御と音響処理部２６への制御を両方とも行っているが、片方ずつ別々の判断部を持たせる構成でもよい。

本構成の動作フローは実施形態１〜３に示したものと同様となるため、動作フローの説明は省略する。

また、本実施形態のような処理を行うと、通信相手の音声入出力装置Aが高性能な音響処理を持っていない場合でも、音声入出力装置１１が持っている受信側の音響処理部１６の処理により適切な音響処理を行うことができる。

〔実施形態５〕
実施形態１〜４では音声の送受信端末、音声ファイルの送受信端末を想定しているが、本発明はこれに限定されるものではなく、通信を行わない独立した端末にも適用できる。

図８に本発明に係る音声入出力装置の他の構成例を示す。
音楽ファイル再生装置（端末）４１があり、マイク４５とスピーカ４４とを外部に持つ。端末の内部に音響環境判断部４６を持ち、ここにマイク４５で入力された音声とスピーカ４４から出力される音声とを入力する。音響環境判断部４６で端末の外部の音響環境を判断し音響処理部４３で外部の音響環境に応じた制御を行う。

例えば、実施形態４で述べたように、雑音が多い環境ではスピーカ４４からの音量を大きくしたり、反響が多い環境であれば音量を小さくしたりする制御を行う。また、反響における周波数成分を分析し、イコライザ機能により反響を起こしやすい周波数部のみ音量を小さくする、などの制御も可能である。風呂場で音楽を聴くときなどに応用可能である。
このようにすると、外部の音響環境に合わせて再生音の音響を制御することができる。

〔その他〕
実施形態１〜４に挙げた例でのマイクとスピーカは音声入出力装置１に一つずつの構成であるが、ステレオなどの多チャンネル音声に対応するために複数のマイク・スピーカを接続する構成でもよい。また、音声だけでなく、Ｈｉ−Ｆｉオーディオを使って音響環境を判断してもよい。

さらに、音響環境判断部４に、個別に外部機器を接続し、送信する音声であるマイクでの音声とは別の情報を使用して音響環境判断部５での判定を行ってもよい。例えば、カメラや赤外線センサーを利用し、そばに人物がいる場合のみ音声を出力したり、ソナーを利用して部屋の大きさを把握し、音響特性を導くようにしたりすることができる。

通信相手については、図１や図４では音声入出力装置Ａのみの１拠点であるが、ネットワークを介して複数拠点と通信を行ってもよい。

以上において、本発明は、従来では存在しなかった音響環境判断手段を持ち、それによって音響処理手段を制御することにより、自端末の置かれている音響環境に応じた音響処理を施した音声を相手端末に送信することができる。

〔発明の効果〕
第１の効果は、人間系による音響設定のばらつきを排除できることである。
その理由は、音響処理についてあまり知識のない一般使用者が、独自の判断で音響処理の有無や効果の強弱を設定するのではなく、一定のアルゴリズムを用いて最適な音響処理を設定するためである。

第２の効果は、音響処理による処理負荷を必要最小限にとどめることができることである。
その理由は、 自端末の置かれている音響環境に応じて必要な音響処理のみ選択して実施できるため、余分な処理を行うことを排除できるからである。

第３の効果は、ユーザの利便性を向上できることである。
その理由は、通話開始時等に端末で自動的に音響処理の実施内容を決定するため、ユーザが明示的に選択する必要がなく、ユーザは本来の装置の目的に集中できるからである。

第４の効果は、時間経過に対し適応的に音響処理を選択することができる点である。
その理由は、自端末の置かれている音響環境の時間経過に適応して必要な音響処理を実施できるため、常にそのときの音響系に適した通話品質で通信することができるからである。

なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。

本発明は、電話、ＩＰ電話、テレビ会議、Ｗｅｂ会議等のリアルタイム送受信通信を行う装置、システム、プログラム等に利用することができ、音楽再生端末、音声出力装置、システム、プログラム等に利用することができる。

本発明に係る音声入出力装置の一実施の形態を示す構成図である。 図１に示した音声入出力装置の音響処理判断部４及び音響処理部５の一例を示す図である。 本発明に係る音声入出力方法のフローの一例である。 本発明に係る音声入出力方法のフローの他の例である。 本発明に係る音声入出力装置の構成例を示す図である。 本発明に係る音声入出力装置の他の構成例を示す図である。 音響処理判断部２４及び音響処理部２５の詳細例を示す図である。 本発明に係る音声入出力装置の他の構成例を示す図である。

符号の説明

１ 音声送受信端末
２ コーデック送受信処理など
３ マイク
４ 音響環境判断部
５、６ 音響処理部
７ スピーカ
Ａ 音声送受信端末

Claims (20)

1. スピーカから音声を出力し、マイクで音声を入力する音声入出力装置において、
   １つ以上の音響処理機能を組み合わせ、前記マイクで入力された音声に音響処理を行う音響処理手段と、
   前記マイクで入力された音声と前記スピーカから出力される音声とを使用して前記スピーカから前記マイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理手段へ作用を及ぼす音響環境判断手段とを備えたことを特徴とする音声入出力装置。
2. 前記音響処理手段は、組み合わせた音響処理機能を各々または全てを有効化または無効化できるようにしたことを特徴とする請求項１に記載の音声入出力装置。
3. 前記スピーカから出力する音声に音響処理を行う音響処理手段を備えたことを特徴とする請求項１または２に記載の音声入出力装置。
4. 前記マイクで入力された音声と前記スピーカから出力された音声とを使用して前記スピーカから前記マイクへの空間の音響伝達特性を推定し、前記音響伝達特性に合わせて、前記スピーカから出力する音声に音響処理を行う音響処理手段へ作用を及ぼす音響環境判断手段を備えたことを特徴とする請求項１から３のいずれか１項記載の音声入出力装置。
5. ネットワークを介して他の音声入出力装置と音声の送受信を行う送受信手段を備えたことを特徴とする請求項１から４のいずれか１項に記載の音声入出力装置。
6. 他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し手段と、
   前記スピーカから出力される呼び出し音と、前記マイクで入力された音声とを使用して前記スピーカから前記マイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理手段へ作用を及ぼす音響環境判断手段とを備えたことを特徴とする請求項１から５のいずれか１項に記載の音声入出力装置。
7. 他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音を使用者が選択することができるようにしたことを特徴とする請求項６に記載の音声入出力装置。
8. 他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音に、空間の音響伝達特性を推定するための試験音を追加できるようにしたことを特徴とする請求項７に記載の音声入出力装置。
9. 使用者が指定したタイミングでスピーカから出力される呼び出し音と、マイクで入力された音声とを使用してスピーカからマイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理手段へ作用を及ぼす音響環境判断手段を備えたことを特徴とする請求項１から５のいずれか１項に記載の音声入出力装置。
10. 他の音声入出力装置との音声の送受信の開始を使用者を示す呼び出し音を有し、使用者が指定したタイミングで、前記の呼び出し音を使用してスピーカから出力される呼び出し音と、マイクで入力された音声とを使用してスピーカからマイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理手段へ作用を及ぼす音響環境判断手段を備えたことを特徴とする請求項９に記載の音声入出力装置。
11. 他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音として使用者が指定した音声を利用するようにしたことを特徴とする請求項１０に記載の音声入出力装置。
12. 他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音に、空間の音響伝達特性を推定するための試験音を追加できるようにしたことを特徴とする請求項１１に記載の音声入出力装置。
13. 他の音声入出力装置との音声の送受信の開始を使用者に示す呼び出し音に、空間の音響伝達特性を推定するための試験音を追加できるようにしたことを特徴とする請求項１２に記載の音声入出力装置。
14. 音声を入力するマイクを２つ以上備えたことを特徴とする請求項１から１３のいずれか１項に記載の音声入出力装置。
15. 音声を出力するスピーカを２つ以上備えたことを特徴とする請求項１から１４のいずれか１項に記載の音声入出力装置。
16. マイク以外の外部機器によって空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理手段へ作用を及ぼす音響処理手段を備えたことを特徴とする請求項１から１５のいずれか１項に記載の音声入出力装置。
17. 音楽ファイルを内部に有し、音楽ファイルをスピーカから再生する音声入出力装置において、
    マイクで音声を入力する音声入力手段と、
    スピーカから出力する音声に音響処理を行う音響処理手段と、
    前記マイクで入力される音声と前記スピーカから出力される音声とを使用して前記スピーカから前記マイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理手段へ作用を及ぼす音響環境判断手段とを備えたことを特徴とする音声入出力装置。
18. 前記音響処理手段は、１つ以上の音響処理機能を組み合わせたものであることを特徴とする請求項１７に記載の音声入出力装置。
19. スピーカから音声を出力し、マイクで音声を入力する音声入出力方法において、
    １つ以上の音響処理機能を組み合わせ、前記マイクで入力された音声に音響処理を行う際に、
    前記マイクで入力された音声と前記スピーカから出力される音声とを使用して前記スピーカから前記マイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて前記音響処理を行うことを特徴とする音声入出力方法。
20. 音楽ファイルを内部に有し、音楽ファイルをスピーカから再生する音声入出力方法において、
    マイクで音声を入力し、
    スピーカから出力する音声に音響処理を行う際に、
    前記マイクで入力される音声と前記スピーカから出力される音声とを使用して前記スピーカから前記マイクへの空間の音響伝達特性を推定し、音響伝達特性に合わせて、前記音響処理を行うことを特徴とする音声入出力方法。

Images