JP2017158134A - 情報処理装置、会議システムおよび情報処理装置の制御方法 - Google Patents

Abstract

【課題】発話者を特定するとともに、発話者にスピーカの放音方向を向けることにより、スピーカより放音された音声が周囲に拡散することを抑制する。
【解決手段】接続先に送信するための音声が入力される音声入力部と、接続先から受信した音声が出力される複数の音声出力部（複数のスピーカ１０ａ〜１０ｅからなるスピーカアレイ１１５）と、を有した会議端末において、音声入力部へ入力される音声を発している発話者を検出する発話者検出部と、発話者検出部の検出結果に応じて、複数の音声出力部から少なくとも１の音声出力部を選択して、該選択された音声出力部から音声を出力する音声出力制御部と、を備える。
【選択図】図４

Description

本発明は、情報処理装置、会議システムおよび情報処理装置の制御方法に関する。

近年、インターネット等のネットワークを介して遠隔地（拠点）に設置された端末装置（会議端末ともいう）を接続し、遠隔会議（テレビ会議、ビデオ会議ともいう）を行う会議システム（遠隔会議システム、テレビ会議システム、ビデオ会議システムともいう）が普及している。

この会議システムでの会議端末は、各拠点の会議室等に設置され、相手先の会議端末との間で会議出席者の画像や音声をやり取りすることで遠隔会議を行う。具体的には、会議端末の各々は、遠隔会議に出席する会議出席者をカメラで撮影するとともに会議出席者の音声をマイクで集音し、相手先の会議端末に画像データや音声データを送信する一方で、相手先の会議端末から送信された画像データおよび音声データを受信し、受信した画像データを用いた会議画面を表示部に表示出力するとともに音声データをスピーカから音出力する。

また、会議端末として、拠点間での円滑な会話を実現するために、会議出席者のうち実際に発話している参加者（以下、発話者という）を検知し、発話者をカメラで撮影する機能（話者追尾機能という）を備えるものが知られている。例えば、特許文献１には、複数のマイクを配列して構成されたマイクアレイの収音音声を用いて発言者方向を検出して、カメラの撮影方向を制御する音声会議装置が開示されている。

しかしながら、従来、会議端末のスピーカから放音される音声については、無指向性のスピーカを用いて水平方向全方位に音声を放音しており、特定の方向に音声を放音することができなかった。そのため、スピーカより放音された音声が周囲に拡散し、会議端末の近傍にいる会議の非出席者にとって迷惑となる場合があった。

これに対し、スピーカの音量を下げて放音範囲を狭くすることにより周囲の迷惑とならない様にする方法が一般的に取られるが、スピーカの音量を下げると、発話者が相手先からの音声を聞き取りにくくなってしまう。

また、特許文献２には、周囲への音漏れを少なくして、特定の聴取者を対象として音声を放音することを目的として、ライン状に配列されたスピーカユニットを備えたスピーカアレイであって、このスピーカユニット列の放音側を部屋の天井に向けて設置されるものと、この天井で反射したスピーカユニット列からの音声ビームが部屋内の複数乃至は単数の特定の聴取者に向かうように、この音声ビームの焦点を合わせる指向性制御部と、を備えたスピーカ装置が開示されている。

しかしながら、特許文献２に記載の技術では、天井が高い場合や、天井に音が反射し難い材料が使われている場合、天井に凹凸がある場合等は、所望の反射音量が得られないため、音声ビームが意図通り発話者に向かわないといった問題があり、会議端末に用いるスピーカの指向性制御には、検討の余地が残されていた。

そこで本発明は、発話者を特定するとともに、発話者にスピーカの放音方向を向けることにより、スピーカより放音された音声が周囲に拡散することを抑制することができる情報処理装置を提供することを目的とする。

かかる目的を達成するため、本発明に係る情報処理装置は、接続先に送信するための音声が入力される音声入力部と、接続先から受信した音声が出力される複数の音声出力部と、を有した情報処理装置において、前記音声入力部へ入力される音声を発している発話者を検出する発話者検出部と、前記発話者検出部の検出結果に応じて、前記複数の音声出力部から少なくとも１の音声出力部を選択して、該選択された音声出力部から音声を出力する音声出力制御部と、を備えるものである。

本発明によれば、発話者を特定するとともに、発話者にスピーカの放音方向を向けることにより、スピーカより放音された音声が周囲に拡散することを抑制することができる。

テレビ会議システムの構成例を示すブロック図である。 会議端末の主要内部構成例を示すブロック図である。 スピーカアレイの説明図であって、（Ａ）スピーカアレイを備えた会議端末の外観図、（Ｂ）スピーカアレイの上面図、（Ｃ）スピーカアレイの正面図である （Ａ）は従来の無指向性スピーカを用いた場合の放音特性の説明図、（Ｂ）スピーカアレイを用いた場合の放音特性の説明図である。 スピーカアレイの放音制御の一例を示すフローチャートである。 ステレオや立体音響機能を有するスピーカのスイートスポットの説明図である。 スイートスポットと発話者の位置との関係を示す説明図である。 スピーカアレイの放音制御の他の例を示すフローチャートである。 第３の実施形態の会議端末の第１のハードウェア構成を示す図である。 第３の実施形態の会議端末の第２のハードウェア構成を示す図である。 ステレオカメラを有する会議端末の外観の一例を示す図である。 赤外線センサを有する会議端末の外観の一例を示す図である。 スピーカアレイの放音制御の他の例を示すフローチャートである。

以下、本発明に係る構成を図１から図１３に示す実施の形態に基づいて詳細に説明する。

［第１の実施形態］
本実施形態に係る情報処理装置は、接続先に送信するための音声が入力される音声入力部（マイクアレイ１１４）と、接続先から受信した音声が出力される複数の音声出力部（複数のスピーカ１０からなるスピーカアレイ１１５）と、を有した情報処理装置（会議端末５）において、音声入力部へ入力される音声を発している発話者を検出する発話者検出部と、発話者検出部の検出結果に応じて、複数の音声出力部から少なくとも１の音声出力部を選択して、該選択された音声出力部から音声を出力する音声出力制御部と、を備えるものである。なお、括弧内は実施形態での符号、適用例を示す。

（会議システム構成）
本発明に係る会議システムの一実施形態であるテレビ会議システムの構成について説明する。

図１は、テレビ会議システム１の構成例を示すブロック図である。図１に示すように、テレビ会議システム１は、サーバ３と複数の会議端末５（５−１，５−２，５−３，５−４・・・）とを備え、これらがインターネット等のネットワークＮを介して接続されて構成される。サーバ３としては、サーバコンピュータやワークステーション等を利用することができ、会議端末５としては、専用の会議端末装置（情報処理装置）のほか、パーソナルコンピュータ等の汎用の情報処理装置を利用することができる。

サーバ３は、個々の会議端末５との間で通信接続が確立しているか否かを監視する処理や、会議開始時においてテレビ会議に参加する拠点（参加拠点）に設置された会議端末５を呼び出す処理、呼び出しに応答して通信接続が確立した参加拠点の会議端末５からテレビ会議の間に送信される画像データや音声データを相手先（他の参加拠点）の会議端末５に転送する処理等を行う。

会議端末５の各々は、遠隔地にある拠点の会議室等に設置され、テレビ会議の出席者によって操作される。テレビ会議中の各参加拠点の会議端末５は、後述するカメラ１１２によって撮影した会議出席者の画像データやマイクアレイ１１４によって集音した会議出席者の音声データをサーバ３に送信する一方、他の参加拠点の会議端末５から送信されてサーバ３によって転送された画像データや音声データを受信し、ディスプレイ１２０に会議画面として表示出力するとともにスピーカアレイ１１５から出力（放音）する。

例えば、このテレビ会議システム１において図１に示す３台の会議端末５−１〜５−３が参加するテレビ会議では、会議端末５−１から送信された画像データや音声データはサーバ３の制御によって相手先である会議端末５−２，５−３に転送される一方、会議端末５−４には転送されない。同様に、会議端末５−２，５−３から送信された画像データや音声データはサーバ３の制御によって各々の相手先である会議端末５−１，５−３や会議端末５−１，５−２に転送され、会議端末５−４には転送されない。このようにして、テレビ会議システム１では、サーバ３との通信接続が確立された２台以上の会議端末５が設置された参加拠点間でテレビ会議が行われる。

（会議端末構成）
図２は、会議端末５の主要内部構成例を示すブロック図である。図２に示されているように、会議端末５は、会議端末５の全体の動作を制御するＣＰＵ（Central Processing Unit）１０１、ＩＰＬ（Initial Program Loader）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ（Read Only Memory）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Random Access Memory）１０３、端末用プログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、会議端末５の宛先を選択する場合などに操作される操作部１０８、会議端末５の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、ネットワークＮを利用してデータ伝送をするためのネットワークＩ／Ｆ（Interface）１１１を備えている。

操作部１０８は、キーボードやマウス、タッチパネル、各種スイッチ等の入力装置によって実現されるものであり、操作入力に応じた入力データをＣＰＵ１０１に出力する。

ネットワークＩ／Ｆ１１１は、外部（例えばサーバ３）とのデータ通信を行うためのものであり、ＬＡＮを経由してネットワークＮと接続し、相手先の会議端末５との画像データや音声データ等の送受を、サーバ３を介して行う。このネットワークＩ／Ｆ１１１は、１０Ｂａｓｅ−Ｔ，１００Ｂａｓｅ−ＴＸ，１０００Ｂａｓｅ−Ｔ等に対応した制御を行いイーサネット（登録商標）に接続するもの（有線ＬＡＮ）や、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎに対応した制御を行うもの（無線ＬＡＮ）等、接続態様に応じたものを適宜採用して用いることができる。

また、会議端末５は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力する内蔵型のマイクアレイ１１４、音声を出力する内蔵型のスピーカアレイ１１５、ＣＰＵ１０１の制御に従ってマイクアレイ１１４及びスピーカアレイ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０に画像データを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、および上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

また、詳細は後述するが、ＣＰＵ１０１は、音声入出力Ｉ／Ｆ１１６とともに、会議端末５へ向けて発話している発話者を検出する発話者検出部、およびスピーカアレイ１１５のいずれのスピーカから音声を出力するかの制御、および出力音声等を制御する音声出力制御部として機能する。

カメラ１１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサや、ＣＣＤ（Charge Coupled Device）イメージセンサ等が用いられる。

カメラ１１２は、会議出席者の画像を入力するためのものであり、会議室内の様子を撮影し、生成した画像データを随時、ＣＰＵ１０１に出力する。カメラ１１２は、マイクアレイ１１４にて検出した発話者の方向に追従して、撮影方向、撮影範囲を切り替える制御がなされる。カメラ１１２は、例えば、撮影方向が旋回可能に設けられており、検出された発話者の方向に基づいて、ＣＰＵ１０１により旋回が制御される。また、カメラ１１２を、広角レンズを用いて構成し、その視野範囲（画角）内に会議出席者の全員が含まれるようにして、検出された発話者の方向に基づいて、デジタル処理により撮影範囲を切り替える制御をするものであってもよい。

マイクアレイ１１４は、会議出席者の音声を入力するためのマイクが複数配列されてなり、集音した会議出席者の音声データを随時、ＣＰＵ１０１に出力する。ＣＰＵ１０１は、マイクアレイ１１４を構成する各マイクから取得された音声データに基づいて発話者の方向を検出する。マイクアレイ１１４を用いた発話者の方向の検知については、公知（例えば、参考文献１：特開２００１−４５５９０号公報）または新規の技術を用いることができる。

スピーカアレイ１１５は、ＣＰＵ１０１から入力される音声データを出力するためのスピーカが複数配列されて構成される。スピーカアレイ１１５の詳細については後述する。

外部機器接続Ｉ／Ｆ１１８には、ＵＳＢ（Universal Serial Bus）ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。例えば、外付けカメラが接続された場合には、ＣＰＵ１０１の制御に従って、内蔵型のカメラ１１２に優先して、外付けカメラが動作するようにしてもよい。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ１０１の制御に従って、それぞれが内蔵型のマイクアレイ１１４や内蔵型のスピーカアレイ１１５に優先して、外付けマイクや外付けスピーカを駆動させるようにしてもよい。

なお、記録メディア１０６は、会議端末５に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。

更に、上記端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記端末用プログラムは、フラッシュメモリ１０４ではなくＲＯＭ１０２に記憶させるようにしてもよい。

ディスプレイ１２０は、被写体の画像や操作用アイコン等を表示するＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等によって構成された表示部であり、ＣＰＵ１０１から入力される画像データを表示した会議画面等の各種画面を表示出力する。また、ディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１７に接続される。このケーブル１２０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）やＤＶＩ（Digital Video Interactive）信号用のケーブルであってもよい。

ＣＰＵ１０１は、カメラ１１２から入力される画像データやマイクアレイ１１４から入力される音声データ、ネットワークＩ／Ｆ１１１から入力される相手先の会議端末５からの画像データや音声データ、操作部１０８から入力される入力データ、フラッシュメモリ１０４等に記録されるプログラムやデータ等をもとに、会議端末５を構成する各部への指示やデータの転送等を行って会議端末５の動作を統括的に制御する。例えば、ＣＰＵ１０１は、サーバ３からの呼び出しを受けてサーバ３との通信接続が確立した後、カメラ１１２から入力される画像データやマイクアレイ１１４から入力される音声データをサーバ３に送信する処理と、サーバ３から転送される相手先の会議端末５からの画像データや音声データを受信する処理とを並行して繰り返し行う。

具体的には、ＣＰＵ１０１は、テレビ会議中にカメラ１１２から随時入力される画像データ、およびマイクアレイ１１４から随時入力される音声データをエンコードしてネットワークＩ／Ｆ１１１に出力することで、これらをサーバ３に送信する処理を行う。ＣＰＵ１０１は、例えば、Ｈ.２６４／ＡＶＣ、Ｈ.２６４／ＳＶＣ等の規格によるコーデックを行う。

また、ＣＰＵ１０１は、これと並行し、相手先の会議端末５から送信されてサーバ３によって転送された画像データおよび音声データをネットワークＩ／Ｆ１１１を介して受信する。そして、ＣＰＵ１０１は、受信した画像データおよび音声データをデコードしてディスプレイ１２０、スピーカアレイ１１５に送信するコーデック機能を有している。これにより、相手先の会議端末５で入力された画像および音声の再生を行う。

（スピーカアレイ）
会議端末５が備えるスピーカアレイ１１５の構成例について説明する。図３はスピーカアレイ１１５の説明図であって、（Ａ）スピーカアレイ１１５を備えた会議端末５の外観図、（Ｂ）スピーカアレイ１１５の上面図、（Ｃ）スピーカアレイ１１５の正面図である。

図３示すように、会議端末５の正面側（カメラ１１２の撮影方向とする）には、複数のスピーカが水平方向に配列されたスピーカアレイ１１５が設けられている。図３の例では、会議端末５の正面側にスピーカアレイ１１５を備え、スピーカアレイ１１５はスピーカ１０ａ〜１０ｅの５つのスピーカが配列されて構成される例を示しているが、少なくとも２以上のスピーカを備えるものであればよく、スピーカアレイ１１５および各スピーカの配置位置、並びにスピーカ数は、これに限られるものではない。例えば、会議端末５の後面側にもスピーカを配列し、全方位対応型とすることも好ましい。

次に、スピーカアレイ１１５の放音特性について図４を参照して説明する。図４において、人物Ａは会議における発話者、人物Ｂは会議への非参加者を示している。

図４（Ａ）は従来の無指向性スピーカを用いた場合の放音特性の説明図である。従来の会議端末では、会議端末の上方に天井側へ向けて無指向性のモノラルのスピーカ２０を備えることが一般的であり、無指向性のスピーカ２０は、特定方向への放音特性を有さず、例えば、点線で示す放音エリア２１に放音する。このため、発話者が存在しない方向にも放音されてしまい、例えば、会議の非参加者である人物Ｂにも音が聞こえてしまい、周囲の迷惑となっていた。

一方、図４（Ｂ）は本実施形態に係る会議端末５が備えるスピーカアレイ１１５を用いた場合の放音特性の説明図である。スピーカアレイ１１５のスピーカ１０としては、所定方向への指向性を有するスピーカを用いることが好ましい。例えば、直進性の強い放音特性を備えた平面スピーカを用いることが好ましい。

そして、スピーカアレイ１１５の放音制御（後述）を行って、発話者（人物Ａ）が存在する方向を放音エリア１１として有するスピーカ１０（ここではスピーカ１０ｄ）からのみ放音することにより、会議の非参加者である人物Ｂへの音漏れを防ぎ、周囲の迷惑となることを抑制することができる。

（スピーカアレイの放音制御）
会議端末５によるスピーカアレイ１１５の放音制御について説明する。図５は、スピーカアレイ１１５の放音制御の一例を示すフローチャートである。

テレビ会議の配信が開始されると（Ｓ１０１）、先ず発話者が存在するか否かを判定する（Ｓ１０２）。発話者の存在の有無の判定は、例えば、マイクアレイ１１４から入力される音声データの音量が所定値以上であった場合に発話者が存在すると判定する。

発話者が存在しない場合（Ｓ１０２：Ｎｏ）は、所定時間経過後、再度発話者が存在するか否かの判定（Ｓ１０２）を実行する。一方、発話者が存在する場合（Ｓ１０２：Ｙｅｓ）、マイクアレイ１１４から入力される音声に基づいて、発話者の方向を検出する（Ｓ１０３）。

発話者の方向が検出されると、カメラ１１２の撮影方向を発話者の方向に向ける処理がなされるとともに（Ｓ１０４）、スピーカアレイ１１５のうち発話者の方向に対応するスピーカ１０を選択し（Ｓ１０５）、選択されたスピーカ１０から放音する処理（Ｓ１０６）がなされる。なお、Ｓ１０４，Ｓ１０５〜Ｓ１０６の処理の前後は問わず、同時に処理されるものであってもよい。

所定時間の経過後、再度発話者が存在するか否かの判定（Ｓ１０２）に移行する（Ｓ１０７）。

以上説明した本実施形態に係る会議端末によれば、話者追尾機能により発話者（発話者の方向）を特定するとともに、発話者にスピーカの放音方向を向けることにより、スピーカより放音された音声が周囲に拡散してしまうことを抑制し、会議の非参加者の迷惑とならないようにすることができる。特に、会議拠点における会議の参加者が少ない場合や、会議拠点が会議室などの閉じられた空間ではなく、周囲に会議の非参加者が存在する位置に会議端末を設置しなければならない場合等に好適である。

また、発話者にスピーカの放音方向を向けることで、会議の参加者のうち、その時点で発話している発話者に相手方からの音声を最も聞こえるようになるため、拠点間での会話を円滑に行うことが可能となる。このとき、会議の参加者のうちの非発話者については、指向性制御がされたスピーカからの音声が、聞き取り可能なような音量に制御しておくことで、発話者に相手方からの音声が最も聞こえ、非発話者には相手方からの音声が聞き取り可能であって、非参加者までは拡散しないようにすることができる。

なお、本実施形態では、マイクアレイ１１４から入力される音声に基づいて、発話者の方向を検出する例を説明したが、発話者の検出方法は、これに限られるものではなく、例えば、カメラ１１２で撮像した画像データに基づいて、発話者を検出するようにしてもよい。

［第２の実施形態］
以下、本発明に係る情報処理装置の例である会議端末５の他の実施形態について説明する。なお、上記実施形態と同様の点についての説明は適宜省略する。

第１の実施形態では、スピーカアレイ１１５の複数のスピーカから１つのスピーカを選択する例について説明したが、第２の実施形態では、ステレオや３Ｄオーディオ（立体音響）処理機能に対応した会議端末５の例について説明する。

図６は、ステレオや立体音響（３Ｄオーディオ）機能を有するスピーカにおける音響処理の効果が得られる範囲（スイートスポット）の説明図である。また、図７は、スイートスポットと発話者の位置との関係を示す説明図である。

図６に示す例では、ステレオ方式のスイートスポット１２は、一般的にＬスピーカ１０Ｌと、Ｒスピーカ１０Ｒの中心線上に存在する。立体音響方式の場合も同様である。また、立体音響方式の場合は、各スピーカから出力される音声の音声データに、所定の立体音響処理が施される。

図６に示す例では、人物Ｂはスイートスポット１２内に位置しているため、十分な音響処理の効果を得ることができるが、人物Ａや人物Ｃが発話者の場合、スイートスポットと発話者の位置が一致せず、十分にステレオや立体音響の音響処理の効果が得られなかった。

そこで、第２の実施形態では、ステレオや立体音響（３Ｄオーディオ）機能を有する会議端末５において、発話者の位置に応じて、最適な位置にスイートスポットを形成するものである。

図３に示したスピーカ１０ａ〜１０ｅからなるスピーカアレイ１１５を用いた場合は、図７に示すように、スピーカ１０ａおよびスピーカ１０ｃを使用すると人物Ａを含む位置にスイートスポット１２ａを形成することができる。また、スピーカ１０ｂおよびスピーカ１０ｄを使用すると人物Ｂを含む位置にスイートスポット１２ｂを形成することができる。同様に、スピーカ１０ｃおよびスピーカ１０ｅを使用すると人物Ｃを含む位置にスイートスポット１２ｃを形成することができる。

すなわち、スピーカ１０ａ〜１０ｅのうち、検出された発話者の方向と、各方向について使用するスピーカの組み合わせ（スイートスポット１２の形成位置）と、の関係をテーブル（音声出力パターンテーブル）として予め記憶部（ＲＯＭ１０２またはフラッシュメモリ１０４）に記憶しておくことで、検出された発話者の方向に、スイートスポット１２が形成されるように、使用するスピーカの最適な組み合わせを選択することができる。

図７の例では、以下の３パターンが存在することとなる。
（パターン１）検出された発話者の方向が人物Ａの方向である場合、Ｌスピーカとしてスピーカ１０ａ、Ｒスピーカとしてスピーカ１０ｃを選択する。
（パターン２）検出された発話者の方向が人物Ｂの方向である場合、Ｌスピーカとしてスピーカ１０ｂ、Ｒスピーカとしてスピーカ１０ｄを選択する。
（パターン３）検出された発話者の方向が人物Ｃの方向である場合、Ｌスピーカとしてスピーカ１０ｃ、Ｒスピーカとしてスピーカ１０ｅを選択する。

なお、第２の実施形態では、５つのスピーカ１０ａ〜１０ｅを用いて、３パターンのスイートスポット１２を形成する例を説明したが、スピーカアレイ１１５のスピーカ数、および組み合わせパターン数を増やすことで、スイートスポット１２の形成位置のパターンを増やすことが可能となり、さらに、検出された発話者の位置とスイートスポットを精度よく合致させることが可能となる。

また、第２の実施形態では、２つのスピーカを使用する例を説明したが、放音するスピーカ数は２つに限られるものではない。なお、ステレオや立体音響において、各スピーカ１０からの出力される音声（チャンネル）の制御は、公知または新規の技術によればよく、特に限られるものではない。

図８は、スピーカアレイ１１５の放音制御の他の例を示すフローチャートである。テレビ会議の配信が開始されると（Ｓ２０１）、先ず発話者が存在するか否かを判定する（Ｓ２０２）。

発話者が存在しない場合（Ｓ２０２：Ｎｏ）は、所定時間経過後、再度発話者が存在するか否かの判定（Ｓ２０２）を実行する。一方、発話者が存在する場合（Ｓ２０２：Ｙｅｓ）、マイクアレイ１１４から入力される音声に基づいて、発話者の方向を検出する（Ｓ２０３）。

発話者の方向が検出されると、カメラ１１２の撮影方向を発話者の方向に向ける処理がなされるとともに（Ｓ２０４）、検出された発話者の方向にスイートスポット１２を形成できるスピーカの組み合わせを選択する（Ｓ２０５）。例えば、図７の例では、パターン１〜パターン３のいずれかの組み合わせが選択される。次いで、選択された複数のスピーカから放音する処理がなされる（Ｓ２０６）。

所定時間の経過後、再度発話者が存在するか否かの判定（Ｓ２０２）に移行する（Ｓ２０７）。

以上説明した第２の実施形態に係る会議端末によれば、検出された発話者の位置に応じて、ステレオや立体音響能を有するスピーカにおける音響処理の効果が得られる範囲（スイートスポット）を切り替えることにより、発話者がスイートスポット内に位置するように、スピーカからの放音を制御することができ、ステレオや立体音響機能に対応したテレビ会議装置において、発話者の位置に左右されず十分な音響処理効果を得ることができる。

特に、立体音響方式ではスイートスポットの範囲が限定されるため、発話者の位置が変動するテレビ会議システムにおいて、スイートスポットを所望の位置に切り替えることで、立体音響の音響機能を十分に発揮することができるテレビ会議装置とすることができる。

［第３の実施形態］
上記実施形態では、スピーカアレイ１１５の指向性制御について説明したが、スピーカアレイ１１５からの音声が周囲の迷惑となることを更に抑制するために、発話者の方向の検知に加えて、会議端末５から発話者までの距離を検出する距離検出部を備え、検出された距離に応じてスピーカの音量を変更制御することも好ましい。このとき、検出された距離とスピーカの出力音量との対応関係を規定したテーブル（音量設定テーブル）を予め記憶部に記憶させておくことが好ましい。

会議端末５から発話者までの距離は、距離センサを用いて発話者との距離を計測することができる。距離センサには、例えば、ステレオカメラ、超音波センサ、赤外線センサ等が含まれる。なお、ステレオカメラは、発話者との距離の測定に並行して、発話者の画像データの取得を行ってもよい。

図９は、第３の実施形態の会議端末５の第１のハードウェア構成を示す図である。第１のハードウェア構成では、ステレオカメラ５０を用いて発話者との距離が測定される。会議端末５は、撮像素子Ｉ／Ｆ１１３にステレオカメラ５０が接続されている点で第１の実施形態の会議端末５と異なり、他のハードウェア構成は同様である。なお、撮像素子Ｉ／Ｆ１１３に、撮影用のカメラ１１２と距離計測用のステレオカメラ５０とがそれぞれ接続される構成であってもよい。

図１０は、第３の実施形態の会議端末５の第２のハードウェア構成を示す図である。第２のハードウェア構成は、赤外線センサ５１を用いて発話者との距離が測定される。会議端末５は、バス１１０に接続されたセンサＩ／Ｆ１２２を介して赤外線センサ５１又は超音波センサ５２が接続されている点で第１の実施形態の会議端末５と異なり、他のハードウェア構成は同様である。

図１１は、ステレオカメラ５０を有する会議端末５の外観の一例を示す図である。ステレオカメラ５０は、並列して設置された複数のカメラを用いて発話者との距離を計測する機器である。各カメラの撮影方向は、独立して制御される。図１１の例では、２つのカメラが近接して設置されているが、カメラ間の距離を大きくしてもよい。また、図１１の例では、２つのカメラを使用しているが３つ以上のカメラを使用してもよい。

ステレオカメラ５０を用いて発話者との距離を算出する方法について説明する。カメラ間の距離Ａ［ｍ］と、カメラの焦点距離Ｂ［ｍ］と、各カメラによって撮像された発話者の位置の差Ｃ［ｍ］に基づいて、次の数式に基づいて発話者との距離Ｄ［ｍ］を算出する。
（数１）
Ｄ＝Ａ×Ｂ／Ｃ

カメラ間の距離Ａ［ｍ］は、大きい方が距離の測定精度が高いが、カメラ間の距離Ａを大きくする場合、距離の測定時間が大きくなる。カメラ間の距離が大きいと、発話者の探索を開始してから各カメラで発話者を捕捉するまでの時間が大きくなるためである。カメラ間の距離Ａ［ｍ］を大きくする場合、ステレオカメラ５０で計測するターゲットとなる距離範囲を狭く設定することで、探索にかかる時間を小さくすることができる。

例えば、ステレオカメラ５０で計測するターゲットとなる距離範囲は、例えば、撮影する室内の広さに応じて設定される。ステレオカメラ５０で計測するターゲットとなる距離範囲をあらかじめ設定しておくことで、発話者との距離を計測する時間を短くすることができる。

また、発話者の位置の差Ｃは、一方のカメラにより撮像された発話者の位置と、他方のカメラにより撮像された発話者の位置とが左右に例えば、５ｃｍずれていた場合、発話者の位置の差Ｃ［ｍ］は０．０５となる。

また、ステレオカメラ５０は、カメラ１１２として用いてもよい。例えば、ステレオカメラ５０は、カメラ１１２として使用される場合、複数のカメラにより撮像された画像を合成して画像データを生成してもよい。また、ステレオカメラ５０は、一方のカメラで撮像された画像を画像データとしてサーバ３に送信してもよい。また、ステレオカメラ５０は、専ら発話者との距離計測に用い、発話者の画像データを取得するためのカメラ１１２を別に備えてもよい。

図１２は、赤外線センサ５１を有する会議端末５の外観の一例を示す図である。例えば、図１２に示すように赤外線センサ５１は、カメラ１１２の撮影方向と同じ方向に向くように、カメラ１１２と並列して配置される。赤外線センサ５１は、検出された発話者の方向にカメラ１１２の撮影方向が制御された後に、発話者との距離の測定を開始する。なお、超音波センサ５２を距離センサとして用いる場合も、赤外線センサ５１と同様にカメラ１１２と並列して配置される。

また、赤外線センサ５１が距離センサである場合、赤外線センサ５１は、例えば、発話者に赤外線を照射し、反射光を検出した受光素子の位置に基づいて三角測量の原理で発話者との距離を計測する。

具体的には、赤外線センサ５１は、発話者に赤外線を照射し、位置検出素子ＰＳＤ（Position Sensing Device）で発話者からの反射光を受光する。発話者との距離に応じて反射光を検出する位置検出素子の位置は変化するので、反射光を検出した位置検出素子の位置を距離に換算することにより、発話者との距離を算出することができる。なお、赤外線センサ５１として使用される素子は、ＰＳＤに限定されず、ＯＥＳ（Opto Elektronischer Schaltkreis）等の他の種類の素子を使用してもよい。

また、超音波センサ５２を用いる場合は、検出された発話者の方向に制御された後に、検出された発話者に超音波を発信して反射波を計測、又は発話者に赤外線を照射して反射光を計測することで、発話者との距離を測定する。例えば、超音波センサを用いて発話者に超音波を発信してから反射波を受信するまでの時間を計測することで発話者との距離を測定する。例えば、発話者に超音波を発信してから反射波を受信するまでの時間をｔ［ｓ］、音速をｃ［ｍ／ｓ］とした場合、以下の式に基づいて発話者との距離Ｌを算出する。
（数２）
Ｌ＝ｃ×ｔ／２

図１３は、スピーカアレイ１１５の放音制御の他の例を示すフローチャートである。テレビ会議の配信が開始されると（Ｓ３０１）、先ず発話者が存在するか否かを判定する（Ｓ３０２）。

発話者が存在しない場合（Ｓ３０２：Ｎｏ）は、所定時間経過後、再度発話者が存在するか否かの判定（Ｓ３０２）を実行する。一方、発話者が存在する場合（Ｓ３０２：Ｙｅｓ）、マイクアレイ１１４から入力される音声に基づいて、発話者の方向を検出する（Ｓ３０３）。

発話者の方向が検出されると、カメラ１１２の撮影方向を発話者の方向に向ける処理がなされるとともに（Ｓ３０４）、ステレオカメラ５０、赤外線センサ５１又は超音波センサ５２に基づいて、発話者との距離を計測する（Ｓ３０５）。

次いで、検出された発話者の方向にスイートスポット１２を形成できるスピーカの組み合わせを選択する（Ｓ３０６）。次いで、選択された複数のスピーカから、計測された距離に応じた音量で放音する処理がなされる（Ｓ３０７）。

所定時間の経過後、再度発話者が存在するか否かの判定（Ｓ３０２）に移行する（Ｓ３０８）。

以上説明した第３の実施形態に係る会議端末５によれば、第１および第２の実施形態で説明した効果に加えて、さらに、会議端末５から発話者までの距離を検出し、検出された距離に応じてスピーカの音量を最適化して、スピーカアレイ１１５からの音声が周囲の迷惑となることを抑制することがきる。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

１ テレビ会議システム
３ サーバ
５ 会議端末
１０，１０ａ〜１０ｅ，２０ スピーカ
１１，２１ 放音エリア
５０ ステレオカメラ
５１ 赤外線センサ
５２ 超音波センサ
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ フラッシュメモリ
１０５ ＳＳＤ
１０６ 記録メディア
１０７ メディアドライブ
１０８ 操作部
１０９ 電源スイッチ
１１０ バスライン
１１１ ネットワークＩ／Ｆ
１１２ カメラ
１１３ 撮像素子Ｉ／Ｆ
１１４ マイクアレイ
１１５ スピーカアレイ
１１６ 音声入出力Ｉ／Ｆ
１１７ ディスプレイＩ／Ｆ
１１８ 外部機器接続Ｉ／Ｆ
１２０ ディスプレイ
１２０ｃ ケーブル
Ｎ ネットワーク

特許第５０２８９４４号公報 特開２００７−６０７３号公報

Claims (9)

1. 接続先に送信するための音声が入力される音声入力部と、
   接続先から受信した音声が出力される複数の音声出力部と、を有した情報処理装置において、
   前記音声入力部へ入力される音声を発している発話者を検出する発話者検出部と、
   前記発話者検出部の検出結果に応じて、前記複数の音声出力部から少なくとも１の音声出力部を選択して、該選択された音声出力部から音声を出力する音声出力制御部と、を備えることを特徴とする情報処理装置。
2. 前記音声出力制御部は、前記発話者検出部の検出結果に応じて、前記複数の音声出力部のうち２以上の音声出力部を選択して、少なくとも１の音声出力部をＬチャンネル出力用、少なくとも他の１の音声出力部をＲチャンネル出力用として音声を出力することを特徴とする請求項１に記載の情報処理装置。
3. 前記音声出力制御部は、前記音声出力部から出力される音声に所定の立体音響処理を施すことを特徴とする請求項２に記載の情報処理装置。
4. 前記発話者検出部は、前記発話者の方向を検出するものであって、
   前記発話者検出部で検出した前記発話者の方向と、各方向に対応した前記音声出力部の選択パターンを規定した音声出力パターンテーブルを備え、
   前記音声出力制御部は、前記音声出力パターンテーブルを参照して、検出された前記発話者の方向に基づいて、音声を出力する前記音声出力部を選択することを特徴とする請求項２または３に記載の情報処理装置。
5. 前記音声入力部は、複数の音声入力部を備えてなり、
   前記発話者検出部は、前記複数の音声入力部へ入力される音声に基づいて、前記発話者の方向を検出することを特徴とする請求項１から４までのいずれかに記載の情報処理装置。
6. 当該情報処理装置から前記発話者までの距離を検出する距離検出部を備え、
   前記音声出力制御部は、前記距離検出部の検出結果に応じて、前記音声出力部の出力音量を制御することを特徴とする請求項１から５までのいずれかに記載の情報処理装置。
7. 前記距離検出部で検出される前記発話者までの距離と、各距離に対応した前記音声出力部の出力音量を規定した音量設定テーブルを備え、
   前記音声出力制御部は、前記音量設定テーブルを参照して、検出された前記発話者までの距離に基づいて、出力音声を制御することを特徴とする請求項６に記載の情報処理装置。
8. 請求項１から７までのいずれかに記載の情報処理装置を会議端末として複数備え、前記会議端末の間で音声の送受信を行うことを特徴とする会議システム。
9. 接続先に送信するための音声が入力される音声入力部と、
   接続先から受信した音声が出力される複数の音声出力部と、を有した情報処理装置の制御方法において、
   前記音声入力部へ入力される音声を発している発話者を検出する発話者検出処理と、
   前記発話者検出処理の検出結果に応じて、前記複数の音声出力部から少なくとも１の音声出力部を選択して、該選択された音声出力部から音声を出力する音声出力処理と、を行うことを特徴とする情報処理装置の制御方法。

Images