JP2023009574A

JP2023009574A - 制御装置、制御システム、方法および利用者端末

Info

Publication number: JP2023009574A
Application number: JP2021112976A
Authority: JP
Inventors: 真鳥越; Makoto Torigoe
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2021-07-07
Filing date: 2021-07-07
Publication date: 2023-01-20

Abstract

【課題】円滑な遠隔コミュニケーションを実現する。【解決手段】複数の利用者端末から収音により得られた音データを受信する受信部と、前記複数の利用者端末から受信されたいずれの音データからも音声が検出されない非音声区間の時間を計測する時間計測部と、前記非音声区間の時間が第１の設定時間を上回ったことに基づき、前記複数の利用者端末のうちの少なくともいずれかの利用者端末に通知信号を送信する送信部と、を備える、制御装置。【選択図】図３

Description

本発明は、制御装置、制御システム、方法および利用者端末に関する。

近年、パンデミック対策として各企業においてテレワークの導入が加速している。テレワークにおいては、オフィスと在宅のテレワーカー、または在宅のテレワーカー同士がインターネット経由で結ばれ、ネットワーク対応のＴＶ会議システムまたはＰＣ上のビデオ通話ソフトを用いて、遠隔会議および研修などの遠隔コミュニケーションなどが行われる。

遠隔コミュニケーションにおいて、ある端末で収音された雑音が他の端末に配信されることで、円滑なコミュニケーションの進行が妨げられる場合がある。例えば、オフィスにいる参加者の端末からはオフィスの雑音、例えば空調の音や近隣メンバーの音声等が配信され、自宅にいる参加者の端末からは近所の騒音あるいは家族の物音や音声等が配信され得る。このような雑音の配信による弊害は、発話者以外の参加者が自身の端末のマイクをミュートにすることで軽減することが可能である。

また、特許文献１には、遠隔会議において、会議の進行に伴って、会議参加端末のひとつが司会者端末となり、適切な参加者に対して発言権限を与えることにより、遠隔会議を円滑に進行させる技術が開示されている。特許文献１に開示された技術によれば、参加者による勝手な発言および雑音の配信を抑制し得る。

特開２０１２－２１７０６８号公報

しかし、特許文献１に記載の技術では、発言権限を与えられた参加者が、端末がミュートになっていることに気付かずに発話し続けてしまう場合がある。この場合、司会者が当該参加者に端末がミュートになっていることを伝えることで参加者はミュートに気付けるが、司会者などの他の参加者はこのような指摘をすることを煩雑に感じ得る。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、円滑な遠隔コミュニケーションを実現することが可能な、新規かつ改良された制御装置、制御システム、方法および利用者端末を提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数の利用者端末から収音により得られた音データを受信する受信部と、前記複数の利用者端末から受信されたいずれの音データからも音声が検出されない非音声区間の時間を計測する時間計測部と、前記非音声区間の時間が第１の設定時間を上回ったことに基づき、前記複数の利用者端末のうちの少なくともいずれかの利用者端末に通知信号を送信する送信部と、を備える、制御装置が提供される。

前記通知信号は、前記利用者端末において通知音として出力される音データ、または前記利用者端末に通知音を出力させる制御コマンドであってもよい。

前記送信部は、前記通知信号を前記複数の利用者端末に送信してもよい。

前記時間計測部は、さらに、前記複数の利用者端末から受信された音データの各々について、音声が検出されず、かつ、雑音が検出されている雑音区間の時間を計測し、前記送信部は、いずれかの利用者端末から受信された音データの前記雑音区間が第２の設定時間を上回ったことに基づき、当該利用者端末に音データの送信を停止させる制御コマンドを送信してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、複数の利用者端末および制御装置を有する制御システムであって、前記複数の利用者端末は、収音により音データを取得する収音部を有し、前記制御装置は、前記複数の利用者端末から前記音データを受信する受信部と、前記複数の利用者端末から受信されたいずれの音データからも音声が検出されない非音声区間の時間を計測する時間計測部と、前記非音声区間の時間が第１の設定時間を上回ったことに基づき、前記複数の利用者端末のうちの少なくともいずれかの利用者端末に通知信号を送信する送信部と、を有する、制御システムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、複数の利用者端末から収音により得られた音データを受信することと、前記複数の利用者端末から受信されたいずれの音データからも音声が検出されない非音声区間の時間を計測することと、前記非音声区間の時間が第１の設定時間を上回ったことに基づき、前記複数の利用者端末のうちの少なくともいずれかの利用者端末に通知信号を送信することと、を含む、制御方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、利用者端末であって、収音により音データを取得する収音部と、前記収音部により取得された前記音データを他の利用者端末に送信する送信部と、前記他の利用者端末から収音により得られた音データを受信する受信部と、前記収音部により取得された音データ、および前記他の利用者端末から受信された音データのいずれの音データからも音声が検出されない非音声区間の時間を計測する時間計測部と、前記非音声区間の時間が設定時間を上回ったことに基づき、前記利用者端末の利用者への所定の通知を制御する制御部と、を備える、利用者端末が提供される。

前記時間計測部は、さらに、前記収音部により取得された音データについて、音声が検出されず、かつ、雑音が検出されている雑音区間の時間を計測し、前記制御部は、前記雑音区間の時間が第２の設定時間を上回ったことに基づき、前記送信部からの前記音データの送信を停止させてもよい。

以上説明した本発明によれば、円滑な遠隔コミュニケーションを実現することが可能である。

本発明の一実施形態による遠隔コミュニケーションシステムの構成を示す説明図である。本発明の一実施形態による音声会議端末２０の構成を示す説明図である。本発明の一実施形態による会議サーバ３０の構成を示す説明図である。本発明の一実施形態による遠隔コミュニケーションシステムの基本動作を示す説明図である。音声会議端末２０Ａから送信された音データから雑音が検出された場合の動作を示す説明図である。非音声区間が検出された場合の動作を示す説明図である。会議サーバ３０のハードウェア構成を示したブロック図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じて音声会議端末２０Ａ、２０Ｂおよび２０Ｃのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。例えば、音声会議端末２０Ａ、２０Ｂおよび２０Ｃを特に区別する必要が無い場合には、各音声会議端末を単に音声会議端末２０と称する。

＜遠隔コミュニケーションシステムの概要＞
本発明の一実施形態は、制御システムに関し、特に、遠隔する拠点から複数の利用者が参加する遠隔コミュニケーションを実現する遠隔コミュニケーションシステムに関する。以下では、遠隔コミュニケーションの態様が主に音声で行われる遠隔会議である例を想定して、遠隔コミュニケーションシステムの概要を説明する。

図１は、本発明の一実施形態による遠隔コミュニケーションシステムの構成を示す説明図である。図１に示したように、本発明の一実施形態による遠隔コミュニケーションシステムは、音声会議端末２０Ａ～２０Ｆおよび会議サーバ３０を有する。

これら音声会議端末２０Ａ～２０Ｆおよび会議サーバ３０はネットワーク１２を介して接続されている。ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ－ＶＰＮ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ－ＶｉｒｔｕａｌＰｒｉｖａｔｅＮｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

図１に示した例では、利用者ＵＡが音声会議端末２０Ａを利用し、利用者ＵＢが音声会議端末２０Ｂを利用し、利用者ＵＣが音声会議端末２０Ｃを利用し、利用者ＵＤが音声会議端末２０Ｄを利用し、利用者ＵＥが音声会議端末２０Ｅを利用し、利用者ＵＦが音声会議端末２０Ｆを利用している。ただし、遠隔コミュニケーションシステムを構成する音声会議端末２０の数、および遠隔コミュニケーションシステムを利用する利用者Ｕの数は、より少なくてもよいし、より多くてもよい。

（会議サーバ）
会議サーバ３０は、制御装置の一例であり、各音声会議端末２０による遠隔会議への参加と退出を管理する。例えば、会議サーバ３０は、ＷｅｂＲＴＣ（ＷｅｂＲｅａｌ－ＴｉｍｅＣｏｍｍｕｎｉｃａｔｉｏｎ）のような会議用のプロトコルを用いて各音声会議端末２０の遠隔会議への参加と退出を管理する。映像データおよび音声データの通信は、会議サーバ３０を介さずに、音声会議端末２０間で行われてもよい。また、音声会議端末２０同士がＰｅｅｒ２Ｐｅｅｒで接続する場合には、会議サーバ３０は設けられなくてもよい。

（音声会議端末）
音声会議端末２０は、利用者端末の一例であり、音声会議端末２０の利用者が発した音声を示す音データを他の音声会議端末２０に会議サーバ３０を介して送信する。また、音声会議端末２０は、他の音声会議端末２０の利用者が発した音声を示す音データを他の音声会議端末２０から会議サーバ３０を介して受信し、当該音データに基づいて他の音声会議端末２０の利用者が発した音声を出力する。

例えば、図１に示した例では、利用者ＵＡが発した音声を示す音データを音声会議端末２０Ａが他の音声会議端末２０Ｂ～２０Ｆに送信し、音声会議端末２０Ｂ～２０Ｆが当該音データに基づいて利用者ＵＡが発した音声を出力する。また、利用者ＵＢが発した音声を示す音データを音声会議端末２０Ｂが音声会議端末２０Ａおよび音声会議端末２０Ｃ～２０Ｆに送信し、音声会議端末２０Ａおよび音声会議端末２０Ｃ～２０Ｆが当該音データに基づいて利用者ＵＢが発した音声を出力する。同様に、利用者ＵＣ～利用者ＵＦが発した音声も他の利用者が利用する音声会議端末２０で出力される。かかる構成により、利用者ＵＡ～ＵＦが音声会議を行うことが可能である。

なお、音声会議端末２０は、音データに加えて、映像データを他の音声会議端末２０と送受信してもよい。また、図１においては音声会議端末２０の一例としてノート型のＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）を示しているが、音声会議端末２０は、デスクトップ型のＰＣ、スマートフォン、携帯電話またはＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）などの他の情報処理装置であってもよい。

（背景）
遠隔コミュニケーションにおいて、ある端末で収音された雑音が他の端末に配信されることで、円滑なコミュニケーションの進行が妨げられる場合がある。例えば、オフィスにいる参加者の端末からはオフィスの雑音、例えば空調の音や近隣メンバーの音声等が配信され、自宅にいる参加者の端末からは近所の騒音あるいは家族の物音や音声等が配信され得る。このような雑音の配信による弊害は、発話者以外の参加者が自身の端末のマイクをミュートにすることで軽減することが可能である。

しかし、上記技術では、各端末のマイクで収音された後に音声データが許可データに基づいて他の端末またはサーバ宛に音声データが送信されるので、各端末ではマイクデバイスが常に収音状態を維持している。マイクの種類によっては、収音時にはデバイスに備わったステータスランプが点灯しマイクの状態が収音状態であることが示されることから、参加者が不快または不安に感じる恐れがある。

また、マイクをデバイスレベルでミュートやオフラインにするすることが可能なマイクもあり、参加者がこのようなマイクを使う可能性もある。発言権を有する参加者がマイクをミュートやオフライン（以下ＯＦＦとする）にしている場合、参加者がそれに気づかず発話し続け得る。この場合、司会者が当該参加者に端末のマイクがＯＦＦになっていることを伝えることで参加者はマイクのＯＦＦに気付けるが、その間の時間をロスしてしまうという課題が残る。

また遠隔会議の場合、ネットワークの接続が必ずしも完全に保証されておらず、突然切断されてしまうことがある。この切断が司会者の端末が接続しているネットワークで発生した場合、司会者がネットワークの切断に気が付かないまま発言を継続してしまう可能性がある。

さらに、当該技術では発言意志を示す通知情報をもとに司会者が発言許可を与えるが、ワークショップやグループディスカッションでは高頻度で発話者が入れ替わるため、挙手による発言意志表示や発言許可を行うことは不向きであり、参加者全員が発言権を持つことが望ましい。この時、参加者のうち少なくとも一人が自らマイクをＯＦＦにしたことを忘れて発話し続けて、会議中の音声が全く流れない状態になり得る。発言者のカメラ映像があれば発言している参加者をカメラ映像から特定し、その発言者に対してマイクがＯＦＦであることを伝えることが可能である。しかし、端末処理負荷やネットワーク使用帯域削減を目的としてカメラをＯＦＦにする運用も多く、誰が発言しようとしているのかわからない時がある。

本件発明者は、上記事情を一着眼点にして本発明の一実施形態を創作するに至った。本発明の一実施形態による遠隔コミュニケーションシステムは、円滑な遠隔コミュニケーションを実現することが可能である。以下、このような遠隔コミュニケーションシステムの構成および動作を順次詳細に説明する。

＜音声会議端末の構成＞
図２は、本発明の一実施形態による音声会議端末２０の構成を示す説明図である。図２に示したように、本発明の一実施形態による音声会議端末２０は、収音部２２０、符号化部２２４、通信部２２８、復号部２３２、音出力部２３６、操作部２３８および制御部２４０を備える。

（収音部２２０）
収音部２２０は、収音により音を電気的な音データに変換する構成である。収音部２２０は、例えば、音声会議端末２０の利用者が発した音声を含む音データを収音により取得し、当該音データを符号化部２２４に供給する。収音部２２０は、マイクデバイスで構成されてもよいし、会議に使用されるカメラデバイスに搭載されるマイクであってもよい。

（符号化部２２４）
符号化部２２４は、収音部２２０から供給された音データを符号化して符号化された音データを生成する。符号化部２２４は、符号化された音データを通信部２２８に供給する。当該音データには、上述の通り、利用者の音声が含まれ得るし、雑音も含まれ得る。

（通信部２２８）
通信部２２８は、符号化部２２４から供給された音データを会議サーバ３０に送信する送信部、および会議サーバ３０から他の音声会議端末２０において得られた音データを受信する受信部として機能する。通信部２２８は、例えばＵＤＰのような会議に適した低遅延のプロトコルを用いて通信する。通信部２２８は、他のプロトコルとしてＴＣＰを用いてもよいが、パケット遅延が大きくなった場合には遅延解消のためにパケットを破棄することが想定される。

（復号部２３２）
復号部２３２は、通信部２２８により会議サーバ３０から受信された音データを、符号化部２２４が利用する符号化方式と対になる復号方式で復号する。

（音出力部２３６）
音出力部２３６は、復号部２３２により得られた音データに基づき、他の音声会議端末２０において収音された音を出力する。音出力部２３６は、スピーカデバイス、マイクデバイスと一体のヘッドセット、またはマイクスピーカなどであってもよい。

（操作部２３８）
操作部２３８は、音声会議端末２０の利用者が音声会議端末２０に情報または指示などを入力するために操作する構成である。操作部２３８は、表示面を有するタッチパネルであってもよい。この場合、操作部２３８は、音声会議への参加および音声会議の進行のための操作画面を表示し、利用者は当該操作画面において音声会議への参加のための操作、および音声会議の進行のための操作などを行い得る。

（制御部２４０）
制御部２４０は、音声会議端末２０の動作全般を制御する。例えば、制御部２４０は、操作部２３８に対する利用者の指示に従い、収音部２２０、符号化部２２４、通信部２２８、復号部２３２および音出力部２３６の動作を制御する。

なお、音声会議端末２０Ａ～音声会議端末２０Ｆの構成は上述した音声会議端末２０の構成に完全一致している必要はなく、音声会議端末２０Ａ～音声会議端末２０Ｆは、上述した構成の一部を有さなくてもよいし、追加的な他の構成を有してもよい。

＜会議サーバの構成＞
以上、本発明の一実施形態による音声会議端末２０の構成を説明した。続いて、図３を参照し、本発明の一実施形態による会議サーバ３０の構成を説明する。

図３は、本発明の一実施形態による会議サーバ３０の構成を示す説明図である。図３に示したように、本発明の一実施形態による会議サーバ３０は、通信部３２８、会議管理部３３２、配信制御部３３６、復号部３４０、音声検出部３４２、雑音検出部３４４、タイマー３４８および端末制御部３５２を備える。

（通信部３２８）
通信部３２８は、音声会議端末２０と多様な通信を行う。例えば、通信部３２８は、音声会議端末２０から、遠隔会議への接続要求、遠隔会議の切断要求、および音データなどを受信する受信部としての機能、会議ステータスおよび音データなどを音声会議端末２０に送信する送信部としての機能を有する。また、通信部３２８は、後述する通知信号および制御コマンドも音声会議端末２０に送信する。

（会議管理部３３２）
会議管理部３３２は、同一会議に参加している音声会議端末２０を管理する。例えば、会議管理部３３２は、通信部３２８により音声会議端末２０から遠隔会議への接続要求が受信されると、当該音声会議端末２０の情報を接続要求先の遠隔会議のＩＤに関連付けて登録する。

（配信制御部３３６）
配信制御部３３６は、通信部３２８により音声会議端末２０から受信された音データが他の音声会議端末２０に配信されるように通信部３２８を制御する。

（復号部３４０）
復号部３４０は、通信部３２８により音声会議端末２０から受信された音データを復号する。復号部３４０は、復号後の音データを音声検出部３４２および雑音検出部３４４に供給する。

（音声検出部３４２）
音声検出部３４２は、復号部３４０から供給された音データから音声を検出する。音声検出部３４２は、音声の検出に加えて音声認識を行ってもよい。

（雑音検出部３４４）
雑音検出部３４４は、復号部３４０から供給された音データから雑音区間を検出する。雑音区間は、音データが所定値以上の振幅を有するが、音声が検出されていない区間であってもよい。

（タイマー３４８）
タイマー３４８は、いずれの音声会議端末２０から受信された音データからも音声が検出されていない非音声区間の時間、および、いずれかの音声会議端末２０から受信された音データについて雑音検出部３４４により検出された雑音区間の時間を計測する時間計測部である。タイマー３４８は、非音声区間の時間が第１の設定時間を上回った場合に、端末制御部３５２に非音声区間の時間が第１の設定時間を上回ったことを示す信号を出力する。また、タイマー３４８は、雑音区間の時間が第２の設定時間を上回った場合に、端末制御部３５２に雑音区間の時間が第２の設定時間を上回ったことを示す信号を出力する。

第１の設定時間と第２の設定時間は異なる時間であってもよいし、同じ時間であってもよい。また、タイマー３４８が計測する非音声区間の時間は、単位時間内当たりでの非音声区間の時間であってもよいし、連続する１つの非音声区間の時間であってもよい。同様に、タイマー３４８が計測する雑音区間は、単位時間内当たりでの雑音区間の時間であってもよいし、連続する１つの雑音区間の時間であってもよい。

（端末制御部３５２）
端末制御部３５２は、タイマー３４８による時間の計測結果に基づき、音声会議端末２０の動作を制御する信号を通信部３２８に音声会議端末２０に送信させる。例えば、端末制御部３５２は、タイマー３４８により測定された非音声区間の時間が第１の設定時間を上回った場合、遠隔会議に参加している少なくともいずれかの音声会議端末２０に通知信号が送信されるように通信部３２８を制御する。通知信号は、音声会議端末２０において通知音として出力される符号化済みの音データであってもよいし、音声会議端末２０に通知音の出力を指示するコマンドであってもよい。また、端末制御部３５２は、遠隔会議に参加する全ての音声会議端末２０に通知信号が送信されるように通信部３２８を制御してもよい。カメラ映像などにより実際には音声を発している利用者を特定できる場合、端末制御部３５２は、当該利用者の音声会議端末２０に通知信号が送信されるように通信部３２８を制御してもよい。

さらに、端末制御部３５２は、いずれかの音声会議端末２０から受信された音データの雑音区間の時間が第２の設定時間を上回った場合、当該音声会議端末２０に音データの送信を停止させる制御コマンドが送信されるように通信部３２８を制御する。端末制御部３５２は、音データの送信を停止させる制御コマンドに代えて、音データの送信を誘導する通知を出力させる制御コマンドの送信を制御してもよいし、音データの送信を誘導するメッセージの送信を制御してもよい。

＜動作＞
以上、本発明の一実施形態による音声会議端末２０および会議サーバ３０の構成を説明した。続いて、本発明の一実施形態による遠隔コミュニケーションシステムの動作を説明する。

（基本動作）
図４は、本発明の一実施形態による遠隔コミュニケーションシステムの基本動作を示す説明図である。図４～図６においては、３人の利用者ＵＡ～ＵＣが遠隔会議を行う例を示している。

図４に示したように、まず、利用者ＵＡが音声会議端末２０Ａに対して遠隔会議に参加するための操作を行うと（Ｓ１）、音声会議端末２０Ａが会議サーバ３０に接続要求を送信する（Ｓ２）。遠隔会議に参加するための操作は、会議サーバ３０において事前に用意された会議室を指定する操作であってもよいし、新たに会議室を作成する操作であってもよい。会議サーバ３０が音声会議端末２０Ａからの接続要求を受信すると、会議サーバ３０の会議管理部３３２が当該音声会議端末２０Ａを遠隔会議に参加する端末として登録する（Ｓ３）。

また、利用者ＵＢが音声会議端末２０Ｂに対して遠隔会議に参加するための操作を行うと（Ｓ４）、音声会議端末２０Ｂが会議サーバ３０に接続要求を送信し（Ｓ５）、会議サーバ３０の会議管理部３３２が当該音声会議端末２０Ｂを遠隔会議に参加する端末として登録する（Ｓ６）。同様に、利用者ＵＣが音声会議端末２０Ｃに対して遠隔会議に参加するための操作を行うと（Ｓ７）、音声会議端末２０Ｃが会議サーバ３０に接続要求を送信し（Ｓ８）、会議サーバ３０の会議管理部３３２が当該音声会議端末２０Ｃを遠隔会議に参加する端末として登録する（Ｓ９）。

その後、利用者ＵＣが音声を発すると（Ｓ１０）、音声会議端末２０Ｃの収音部２２０が当該音声を収音して音データを取得し、符号化部２２４が音データを符号化し、通信部２２８が符号化された音データを会議サーバ３０に送信する（Ｓ１１）。会議サーバ３０は、配信制御部３３６の制御により、音声会議端末２０Ｃから受信された音データを他の音声会議端末２０である音声会議端末２０Ａおよび音声会議端末２０Ｂに配信する（Ｓ１２、Ｓ１４）。音声会議端末２０Ａおよび音声会議端末２０Ｂは、会議サーバ３０から配信された音データを復号し、復号された音データに基づいて利用者ＵＣの音声を出力する（Ｓ１３、Ｓ１５）。

同様に、利用者ＵＢが音声を発すると（Ｓ１６）、音声会議端末２０Ｂの収音部２２０が当該音声を収音して音データを取得し、符号化部２２４が音データを符号化し、通信部２２８が符号化された音データを会議サーバ３０に送信する（Ｓ１７）。会議サーバ３０は、配信制御部３３６の制御により、音声会議端末２０Ｂから受信された音データを他の音声会議端末２０である音声会議端末２０Ａおよび音声会議端末２０Ｃに配信する（Ｓ１８、Ｓ２０）。音声会議端末２０Ａおよび音声会議端末２０Ｃは、会議サーバ３０から配信された音データを復号し、復号された音データに基づいて利用者ＵＢの音声を出力する（Ｓ１９、Ｓ２１）。

（雑音検出時の動作）
続いて、図５を参照し、音声会議端末２０から送信された音データから雑音が検出された場合の動作を説明する。

図５は、音声会議端末２０Ａから送信された音データから雑音が検出された場合の動作を示す説明図である。図５に示したように、利用者ＵＡが音声を発せずに、音声会議端末２０Ａの収音部２２０により雑音のみが収音された場合（Ｓ２２）、音声会議端末２０Ａの符号化部２２４が雑音の音データを符号化し、通信部２２８が符号化された音データを会議サーバ３０に送信する（Ｓ２３）。会議サーバ３０は、配信制御部３３６の制御により、音声会議端末２０Ａから受信された音データを他の音声会議端末２０である音声会議端末２０Ｂおよび音声会議端末２０Ｃに配信する（Ｓ２４、Ｓ２６）。音声会議端末２０Ｂおよび音声会議端末２０Ｃは、会議サーバ３０から配信された音データを復号し、復号された音データに基づいて音声会議端末２０Ａにおいて収音された雑音を出力する（Ｓ２５、Ｓ２７）。

ここで、雑音検出部３４４が音声会議端末２０Ａから送信された音データから雑音区間を検出すると（Ｓ２８）、タイマー３４８が雑音区間の時間の計測を開始する（Ｓ２９）。そして、雑音区間の時間が第２の設定時間を上回ると、会議サーバ３０は音声会議端末２０Ａに音データの送信を停止させる制御コマンドを送信する（Ｓ３０）。音データの送信を停止させる制御コマンドは、図５に示したように音声会議端末２０Ａの収音部２２０にマイクをＯＦＦにさせる制御コマンドであってもよい。音声会議端末２０Ａは、当該制御コマンドの受信に基づき、収音部２２０のマイクをＯＦＦにする、または、音データの送信を停止する。

（非音声区間検出時の動作）
次に、図６を参照し、非音声区間が検出された場合の動作を説明する。

図６は、非音声区間が検出された場合の動作を示す説明図である。図６に示したように、利用者ＵＣが何も発言していない場合（Ｓ５１）、音声会議端末２０Ｃは、振幅が無い、または振幅が非常に小さい音データを会議サーバ３０に送信する（Ｓ５２）。会議サーバ３０は、配信制御部３３６の制御により、音声会議端末２０Ｃから受信された音データを他の音声会議端末２０である音声会議端末２０Ａおよび音声会議端末２０Ｂに配信する（Ｓ５３、Ｓ５５）。音声会議端末２０Ａおよび音声会議端末２０Ｂは、会議サーバ３０から配信された音データを復号し、復号された音データに基づいて振幅が無い、または振幅が非常に小さい音を出力する（Ｓ５４、Ｓ５６）。この場合、会議サーバ３０の３４２は、音声会議端末２０Ｃから受信された音データから音声を検出しない（Ｓ５７）。

同様に、利用者ＵＢが何も発言していない場合（Ｓ５８）、音声会議端末２０Ｂは、振幅が無い、または振幅が非常に小さい音データを会議サーバ３０に送信する（Ｓ５９）。会議サーバ３０は、配信制御部３３６の制御により、音声会議端末２０Ｂから受信された音データを他の音声会議端末２０である音声会議端末２０Ａおよび音声会議端末２０Ｃに配信する（Ｓ６０、Ｓ６２）。音声会議端末２０Ａおよび音声会議端末２０Ｃは、会議サーバ３０から配信された音データを復号し、復号された音データに基づいて振幅が無い、または振幅が非常に小さい音を出力する（Ｓ６１、Ｓ６３）。この場合、会議サーバ３０の３４２は、音声会議端末２０Ｂから受信された音データから音声を検出しない（Ｓ６４）。

その後、利用者ＵＡがマイクＯＦＦのまま音声を発した場合（Ｓ６５）、音声会議端末２０Ａは会議サーバ３０への音データの送信を行わない（Ｓ６６）。このため、会議サーバ３０の音声検出部３４２は音声会議端末２０Ａの利用者ＵＡの音声も検出しない（Ｓ６７）。

タイマー３４８は、このようにいずれの利用者の音声も検出されない非音声区間の時間の計測を開始する（Ｓ６８）。そして、非音声区間の時間が第１の設定時間を上回ると、会議サーバ３０は各音声会議端末２０に通知信号を送信する（Ｓ６９、Ｓ７１、Ｓ７３）。各音声会議端末２０は、通知信号の受信に基づき、通知音を出力する（Ｓ７０、Ｓ７２、Ｓ７４）。通知音は、マイクがＯＦＦになっている可能性があることを伝えるメッセージの音声であってもよい。

＜作用効果＞
以上説明した本発明の一実施形態によれば、多様な作用効果が得られる。例えば、本発明の一実施形態によれば、いずれの利用者の音声も検出されない非音声区間の時間が第１の設定時間を上回った場合に、会議サーバ３０は通知信号を各音声会議端末２０に送信し、各音声会議端末２０が通知音を出力する。音声を発している利用者は、当該通知音に基づき、音声会議端末２０のマイクがＯＦＦになっている、または何かしらの原因で音声が他の利用者に届いていないことに気付くことができる。結果、遠隔会議の円滑な進行に繋がる。

特に、音声会議端末２０のマイクがＯＦＦになっている場合、利用者は発言することに意識が集中するため、自身の音声会議端末２０のマイク状態までは気が回らないことが多く、マイク状態を示す表示や音レベルのインジケーター表示に気付き難い。このように発言に集中している場合であっても音による通知は利用者の耳に入るので、より確実に利用者が音声会議端末２０のマイクがＯＦＦになっていることに気付き得る。

また、本発明の一実施形態によれば、会議サーバ３０は、いずれかの音声会議端末２０から受信された音データの雑音区間の時間が第２の設定時間を上回った場合、当該音声会議端末２０に音データの送信を停止させる制御コマンドを送信する。かかる構成によれば、遠隔会議の進行が雑音により妨害されることを抑制することができる。また、会議サーバ３０が自動的に制御コマンドを送信し、音声会議端末２０は当該制御コマンドに従って自動的に例えばマイクをＯＦＦにするので、他の利用者が雑音を指摘する場合と比較して人的関係に角が立つ恐れが少ないという利点もある。

＜変形例＞
以上、本発明の一実施形態を説明した。以下では、上述した実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で上述した実施形態に適用されてもよいし、組み合わせで上述した実施形態に適用されてもよい。また、各変形例は、上述した実施形態の構成に代えて適用されてもよいし、上述した実施形態の構成に対して追加的に適用されてもよい。

例えば、上記の実施形態では、遠隔コミュニケーションシステムに遠隔会議を中央管理する会議サーバ３０が設けられる例を説明したが、遠隔コミュニケーションシステムには会議サーバ３０が設けられなくてもよい。この場合、各音声会議端末２０に、音声検出部３４２、雑音検出部３４４、タイマー３４８および端末制御部３５２に対応する機能が実装される。具体的には、各音声会議端末２０は、自身の収音部２２０で得られた音データ、および他の音声会議端末２０から受信された音データから音声および雑音の検出を行う。そして、いずれの音データからも音声が検出されない非音声区間の時間が第１の設定時間を上回った場合、音声会議端末２０は所定の通知として通知音を出力してもよい。また、音声会議端末２０は、自身の収音部２２０で得られた音データの雑音区間の時間が第２の設定時間を上回った場合、音声会議端末２０からの音データの送信が停止されるように、例えば収音部２２０のマイクをＯＦＦにしてもよい。このような変形例によっても、上述した実施形態と同等の効果を得ることが可能である。

＜ハードウェア構成＞
以上、本発明の実施形態を説明した。上述した非音声区間の検出および通知信号の送信などの情報処理は、ソフトウェアと、以下に説明する会議サーバ３０のハードウェアとの協働により実現される。

図７は、会議サーバ３０のハードウェア構成を示したブロック図である。会議サーバ３０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３０１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）３０２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３０３と、ホストバス３０４と、を備える。また、会議サーバ３０は、ブリッジ３０５と、外部バス３０６と、インターフェース３０７と、入力装置３０８と、表示装置３０９と、音声出力装置３１０と、ストレージ装置（ＨＤＤ）３１１と、ドライブ３１２と、ネットワークインターフェース３１５とを備える。

ＣＰＵ３０１は、演算処理装置および制御装置として機能し、各種プログラムに従って会議サーバ３０内の動作全般を制御する。また、ＣＰＵ３０１は、マイクロプロセッサであってもよい。ＲＯＭ３０２は、ＣＰＵ３０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ３０３は、ＣＰＵ３０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス３０４により相互に接続されている。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３とソフトウェアとの協働により、図３を参照して説明した復号部３４０、音声検出部３４２、雑音検出部３４４、タイマー３４８および端末制御部３５２などの各機能が実現され得る。

ホストバス３０４は、ブリッジ３０５を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス３０６に接続されている。なお、必ずしもホストバス３０４、ブリッジ３０５および外部バス３０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置３０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサー、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ３０１に出力する入力制御回路などから構成されている。会議サーバ３０のユーザは、該入力装置３０８を操作することにより、会議サーバ３０に対して各種のデータを入力したり処理動作を指示したりすることができる。

表示装置３０９は、例えば、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置３１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。

ストレージ装置３１１は、本実施形態にかかる会議サーバ３０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置３１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置３１１は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）またはＳＳＤ（ＳｏｌｉｄＳｔｒａｇｅＤｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置３１１は、ストレージを駆動し、ＣＰＵ３０１が実行するプログラムや各種データを格納する。

ドライブ３１２は、記憶媒体用リーダライタであり、会議サーバ３０に内蔵、あるいは外付けされる。ドライブ３１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体３４に記録されている情報を読み出して、ＲＡＭ３０３またはストレージ装置３１１に出力する。また、ドライブ３１２は、リムーバブル記憶媒体３４に情報を書き込むこともできる。

ネットワークインターフェース３１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インターフェースである。また、ネットワークインターフェース３１５は、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

なお、上述した会議サーバ３０のハードウェア構成は音声会議端末２０にも適用可能である。

＜補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書の音声会議端末２０および会議サーバ３０の処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、音声会議端末２０および会議サーバ３０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、音声会議端末２０および会議サーバ３０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した音声会議端末２０および会議サーバ３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた非一時的な記憶媒体も提供される。

２０音声会議端末
２２０収音部
２２４符号化部
２２８通信部
２３２復号部
２３６音出力部
２３８操作部
２４０制御部
３０会議サーバ
３２８通信部
３３２会議管理部
３３６配信制御部
３４０復号部
３４２音声検出部
３４４雑音検出部
３４８タイマー
３５２端末制御部

Claims

複数の利用者端末から収音により得られた音データを受信する受信部と、
前記複数の利用者端末から受信されたいずれの音データからも音声が検出されない非音声区間の時間を計測する時間計測部と、
前記非音声区間の時間が第１の設定時間を上回ったことに基づき、前記複数の利用者端末のうちの少なくともいずれかの利用者端末に通知信号を送信する送信部と、
を備える、制御装置。
前記通知信号は、前記利用者端末において通知音として出力される音データ、または前記利用者端末に通知音を出力させる制御コマンドである、請求項１に記載の制御装置。
前記送信部は、前記通知信号を前記複数の利用者端末に送信する、請求項１または２に記載の制御装置。
前記時間計測部は、さらに、前記複数の利用者端末から受信された音データの各々について、音声が検出されず、かつ、雑音が検出されている雑音区間の時間を計測し、
前記送信部は、いずれかの利用者端末から受信された音データの前記雑音区間が第２の設定時間を上回ったことに基づき、当該利用者端末に音データの送信を停止させる制御コマンドを送信する、請求項１～３のいずれか一項に記載の制御装置。
複数の利用者端末および制御装置を有する制御システムであって、
前記複数の利用者端末は、
収音により音データを取得する収音部を有し、
前記制御装置は、
前記複数の利用者端末から前記音データを受信する受信部と、
前記複数の利用者端末から受信されたいずれの音データからも音声が検出されない非音声区間の時間を計測する時間計測部と、
前記非音声区間の時間が第１の設定時間を上回ったことに基づき、前記複数の利用者端末のうちの少なくともいずれかの利用者端末に通知信号を送信する送信部と、
を有する、制御システム。
複数の利用者端末から収音により得られた音データを受信することと、
前記複数の利用者端末から受信されたいずれの音データからも音声が検出されない非音声区間の時間を計測することと、
前記非音声区間の時間が第１の設定時間を上回ったことに基づき、前記複数の利用者端末のうちの少なくともいずれかの利用者端末に通知信号を送信することと、
を含む、制御方法。
利用者端末であって、
収音により音データを取得する収音部と、
前記収音部により取得された前記音データを他の利用者端末に送信する送信部と、
前記他の利用者端末から収音により得られた音データを受信する受信部と、
前記収音部により取得された音データ、および前記他の利用者端末から受信された音データのいずれの音データからも音声が検出されない非音声区間の時間を計測する時間計測部と、
前記非音声区間の時間が設定時間を上回ったことに基づき、前記利用者端末の利用者への所定の通知を制御する制御部と、
を備える、利用者端末。
前記時間計測部は、さらに、前記収音部により取得された音データについて、音声が検出されず、かつ、雑音が検出されている雑音区間の時間を計測し、
前記制御部は、前記雑音区間の時間が第２の設定時間を上回ったことに基づき、前記送信部からの前記音データの送信を停止させる、請求項７に記載の利用者端末。