JP2013110508A - 会議装置、会議方法および会議プログラム - Google Patents

Abstract

【課題】参加者が特別な操作を行うことなく発話できるとともに、円滑な話者交替を可能とする。
【解決手段】ネットワークを介して接続された複数の端末３の音声データを送受信して遠隔会議を行う会議装置１であって、各参加者の優先度を記憶する優先度記憶手段２２と、第１の所定時間内に複数の端末３での参加者の発話を検知すると、発話した複数の参加者の優先度を比較し、優先度が最も大きい参加者を話者に決定する話者決定手段１５と、話者に決定された参加者以外の参加者の発話の音声データの音圧を、第２の所定時間、所定の値に制限する音圧制御手段１９と、話者に決定された参加者の優先度をクリアし、話者以外の各参加者の優先度を増加する計算手段１６と、を有する。
【選択図】図１

Description

本発明は、ネットワークを介した遠隔会議を行う会議装置、会議方法および会議プログラムに関する。

エコや、経費削減の観点から、遠隔会議システムの需要が増加している。遠隔会議システムを利用すると、離れた場所から複数人で会議を実施できるため便利である。特に、Web会議のように、インターネットに接続できればノートPCからでも参加できるシステムは、使用場所の制限が少ない。

特許文献１には、遠隔会議での発言権をコントロールするためにトークンという概念を導入し、発言したい会議参加者がトークンを獲得することで、発言権を得ることができる多地点通信システムが記載されている。

特許第4376525号公報

このような遠隔会議システムの欠点として、映像や音声の質が低いことが挙げられる。すなわち、映像の解像度は低く、映像表示サイズはある程度小型のものに制限され、また1つのディスプレイに並べられた複数の参加者映像から同時に情報を読み取ることは困難であり、誰が次に発話しそうなのかが分からない。さらに、音声遅延の影響により、実際に誰が発話を開始したのかを、他の参加者が認知するまでに遅れが生じる。

以上の理由から、遠隔会議において、同時に複数の参加者が発話を開始する、発話の衝突が多く生じる。この発話の衝突が起こった場合、さらに、その状態から脱し、誰が発話をするのか、という発話衝突からの再開も困難であり、大きな問題である。このように発話の衝突が頻繁に発生し、そこからの再開も困難な会議では、参加者に精神的なストレスが蓄積するとともに、会議の進行を停滞させてしまう。

特許文献１では、発話したいという欲求が生じた際に、まずトークンを獲得する操作をしなくてはならない。このため、タイムロスが生じ、円滑な話者交替が妨げられてしまう可能性がある。すなわち、発言権を取得するための意識的な行動が必要であり、会議の円滑な進行が妨げられる可能性がある。

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、参加者に発話したいという欲求が生じた際に、特別な操作を行うことなく発話でき、円滑な話者交替が可能な会議装置、会議方法および会議プログラムを提供することにある。

上記目的を達成するため、本発明は、ネットワークを介して接続された複数の端末の音声データを送受信して遠隔会議を行う会議装置であって、前記複数の端末を使用する各参加者の優先度を記憶する優先度記憶手段と、第１の所定時間内に複数の端末での参加者の発話を検知すると、前記優先度記憶手段を参照して、前記発話した複数の参加者の優先度を比較し、優先度が最も大きい参加者を話者に決定する話者決定手段と、前記話者に決定された参加者以外の参加者の音声データの音圧を、第２の所定時間、所定の値に制限する音圧制御手段と、前記話者に決定された参加者の優先度をクリアし、話者以外の各参加者の優先度を増加する計算手段と、を有する。

本発明は、会議装置が行う、ネットワークを介して接続された複数の端末の音声データを送受信する会議方法であって、前記会議装置は、前記複数の端末を使用する各参加者の優先度を記憶する優先度記憶部を備え、第１の所定時間内に複数の端末での参加者の発話を検知すると、前記優先度記憶部を参照して、前記発話した複数の参加者の優先度を比較し、優先度が最も大きい参加者を話者に決定する話者決定ステップと、前記話者に決定された参加者以外の参加者の音声データの音圧を、第２の所定時間、所定の値に制限する音圧制御ステップと、前記話者に決定された参加者の優先度をクリアし、話者以外の各参加者の優先度を増加する計算ステップと、を行う。

本発明は、前記会議方法をコンピュータに実行させるための会議プログラムである。

本発明によれば、参加者に発話したいという欲求が生じた際に、特別な操作を行うことなく発話でき、円滑な話者交替が可能な会議装置、会議方法および会議プログラムを提供することができる。

本発明の実施形態に係る会議システムの全体構成図である。 本実施形態の動作を示すフローチャートである。 同時発話の検出を説明する説明図である。 会議映像の一例を示す図である。 優先発話ポイントを説明する説明図である。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の実施形態に係る会議システムの全体構成図である。本実施形態の会議システムは、会議サーバ１と、当該会議サーバ１とインターネットなどのネットワーク９を介して接続された複数のクライアント３とを備える。遠隔地にいる複数の会議参加者（以下、「参加者」という）の各々は、クライアント３を用いて会議サーバ１にアクセスし、遠隔会議に参加する。

クライアント３は、各参加者が使用する装置であって、ネットワークを通じて会議サーバ１を介すことで、各参加者の映像データおよび音声データを送受信する。クライアント３は、例えばＰＣなどであって、当該クライアント３を使用する自参加者の映像を撮影するビデオカメラと、自参加者が発話・発言した音声を集音するマイクと、会議映像を表示する表示装置（ディスプレイ）と、会議サーバ１から送信された他の参加者の音声を出力するスピーカなどを備える。また、クライアント３は、ビデオカメラが撮影した自参加者の映像データ、およびマイクが集音音した自参加者の音声データを、ネットワーク９を介して会議サーバ１に送信するとともに、他の参加者の音声データを会議サーバ１から受信し、また、他の参加者の映像データを含む会議映像を会議サーバ１から受信する通信部を備える。

会議サーバ１は、各参加者が使用する各クライアント３から入力される、当該参加者の映像データおよび音声データをそれぞれ受信し、他のクライアント３に送信する。図示する会議サーバ１は、データ受信部１１と、映像取込部１２と、音声取込部１３と、発話者・時刻記録部１４と、同時発話検出部１５と、ポイント計算部１６と、映像生成部１７と、表示映像重畳部１８と、音圧制御部１９と、音声多重部２０と、データ送信部２１と、ポイント記憶部２２とを備える。

データ受信部１１は、各クライアント３から送信された映像データおよび音声データを受信する。映像取込部１２は、データ受信部１１が受信した映像データを取り込み、表示映像重畳部１８に送出する。音声取込部１３は、データ受信部１１が受信した音声データを取り込み、発話者・時刻記録部１４に送出する。発話者・時刻記録部１４は、入力された音声データに基づいて、当該音声データを発話した参加者および発話開始時刻を記録する。

同時発話検出部１５（話者決定手段）は、所定時間内に複数の参加者の発話を検知すると、ポイント記憶部２２（優先度記憶手段）を参照して、発話した複数の参加者の優先発話ポイント（優先度）を比較し、優先発話ポイントが最も大きい参加者を話者に決定する。ポイント計算部１６（計算手段）は、各参加者の優先発話ポイントを計算し、更新するものであって、話者に決定された参加者の優先発話ポイントをクリアし、話者以外の各参加者の優先発話ポイントを増加する。また、ポイント計算部１６は、各参加者の優先発話ポイントの初期値として、「０」から「参加者数−１」の各値（整数）を各参加者に割り当てる。ポイント記憶部２２には、各参加者の優先発話ポイントが記憶される。

映像生成部１７は、同時発話を通知する映像（発話がキャンセルされたことを示す映像）を生成する。表示映像重畳部１８は、発話がキャンセルされた参加者の映像データに映像生成部１７が生成した映像を重畳して、会議映像を生成する。音圧制御部１９は、話者に決定された参加者以外の参加者の発話の音声データの音圧を、所定時間、所定の値に制限する。音声多重部２０は、各クライアント３から受信し、音圧制御部１９を通過した音声データを多重化する。データ送信部２１は、表示映像重畳部１８から送出された会議映像の映像データを各クライアント３に送信するとともに、音声多重部２０から送出された多重化された音声データを各クライアント３に送信する。

会議サーバ１およびクライアント３は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。例えば、会議サーバ１およびクライアント３の各機能は、会議サーバ１用のプログラムの場合は会議サーバ１のＣＰＵが、そして、クライアント３用のプログラムの場合はクライアント３のＣＰＵが、それぞれ実行することにより実現される。

また、会議サーバ１用のプログラムおよびクライアント３用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

次に、本実施形態の動作について説明する。

各参加者は、クライアント３を用いて、ネットワークを介して会議サーバ１にアクセスし、遠隔会議を行う。会議サーバ１のデータ受信部１１は、各クライアント３から送られてきた映像データおよび音声データを受信する。そして、データ受信部１１は、受信した映像データを映像取込部１２に送出し、音声データを音声取込部１３に送出する。映像取込部１２は、取り込んだ映像データを、表示映像重畳部１８に送出する。

音声取込部１３は、取り込んだ音声データを発話者・時刻記録部１４に送出する。発話者・時刻記録部１４は、音声取込部１３から入力された音声データに基づいて、発話した参加者のＩＤと発話開始時刻とを、発話記憶部（不図示）に記憶する。なお、各クライアント３から送信される音声データおよび映像データには、参加者を識別するためのＩＤ（ユーザＩＤ、クライアントＩＤ等）が付加されている。

また、各クライアント３から会議サーバ１への上りのネットワーク遅延時間（伝送遅延時間）については、既存のネットワーク遅延計測技術を用いて測定しているものとする。発話者・時刻記録部１４は、当該音声データが入力された時刻から対応するクライアント３のネットワーク遅延時間を減算した時刻を、当該クライアント３において発話が開始された発話開始時刻と推定し、発話記憶部（不図示）に記憶する。そして、図２に示す処理を行う。

図２は、同時発話（発話衝突）が発生したか否かの判別、および同時発話を検出した場合の処理を示すフローチャートである。同時発話検出部１５は、所定時間内に複数の端末での参加者の発話が発生したか、すなわち同時発話が発生したか否かを判別する（Ｓ１１）。

図３は、同時発話の検出を説明するための説明図である。図示する例では、参加者Ａが発話し、その後に参加者Ｂが発話したものとする。このとき、参加者Ａが自クライアントにおいて発話を開始した時刻をt_a、参加者Ｂが自クライアントにおいて発話を開始した時刻をt_bとする。

また、参加者が自クライアントで発話を開始してから、自クライアント以外の他のクライアントで当該発話の音声データが再生されるまでの時間をd（第１の所定時間）とする。dには、例えば自クライアントから会議サーバ１への上りのネットワーク遅延時間、会議サーバ１での処理時間、会議サーバ１から他クライアント３への下りのネットワーク遅延時間、音声パケット長分の時間が含まれるものとする。既存のネットワーク遅延計測技術を用いてこれらの各時間をあらかじめ測定し、測定した各時間に基づいてd（第１の所定時間）を設定する。

同時発話検出部１５は、発話記憶部に記録された参加者Ａおよび参加者Ｂの発話開始時刻t_a、t_bを参照し、時刻t_aと時刻t_bの差がd以下の場合（|t_a-t_b|≦dが成り立つ場合）、すなわちd時間内に参加者Ａの発話と参加者Ｂの発話が開始された場合、同時発話が発生したと判定する（Ｓ１１：ＹＥＳ）。

同時発話を検知した場合（Ｓ１１：ＹＥＳ）、同時発話検出部１５は、ポイント記憶部２２を参照し、同時発話となった複数の参加者（参加者Ａ、参加者Ｂ）の優先発話ポイントを比較し、優先発話ポイントが最も大きい参加者を話者に決定する（Ｓ１２）。そして、同時発話検出部１５は、話者に決定した参加者のＩＤと、話者に決定されなかった参加者のＩＤとを含む同時発話通知を、映像生成部１７、音圧制御部１９およびポイント計算部１６に送出する。優先発話ポイントが小さく、話者に決定されなかった参加者の発話は、以下の処理によりキャンセルされる。

優先発話ポイントは、発話の優先度を示す指標であって、各参加者毎にポイント記憶部２２に記憶される。ポイント計算部１６は、各参加者の優先発話ポイントの初期値として、「0」から「参加者数-1」までの各値（整数）を、各参加者に割り当てる。割り当て方法は、例えばランダムに決定することが考えられる。

なお、会議の途中に参加者が退室した場合、会議に参加している残りの各参加者に付与された優先発話ポイントはそのままであって、影響を及ぼさない。また、会議の途中に新たな参加者が加わった場合、既存の参加者の持つ優先発話ポイントの最大値に「1」を加算した値を、その参加者の優先発話ポイントとして設定する。これにより、同時発話が発生した場合、新たな参加者が優先的に話者となる。もしくは、会議の途中に新たな参加者が加わった場合、既存の全ての参加者の優先発話ポイントに「1」を加算し、新たに加わった参加者の優先発話ポイントを「0」に設定することとしてもよい。

同時発話通知を受け付けた映像生成部１７は、同時発話が発生し、発話がキャンセルされた参加者が存在することを各参加者に通知するための、所定の映像を生成する（Ｓ１３）。所定の映像は、例えば、発話がキャンセルされた参加者の映像データを囲むための所定の色の枠、発話がキャンセルされた参加者の映像データに設定する所定の図形（アイコン、マークなど）、発話がキャンセルされた参加者の映像データに設定する文字（「発話衝突」など）が挙げられる。この他に、発話衝突が発生し、発話がキャンセルされたことを音声のシグナルにより知らせる構成としてもよい。
表示映像重畳部１８は、映像取込部１２から入力された、各クライアント３から受信した各参加者の映像データを碁盤の目状に配置し、キャンセルされる発話を行った参加者全員の映像データに、映像生成部１７が生成した映像を重畳し、各クライアント３に配信する会議映像（表示映像）データを生成し、データ送信部２１に送出する。データ送信部２１は、表示映像重畳部１８から受け取った会議映像データを、ネットワーク９を介して各クライアント３に送信する。各クライアント３は、会議サーバ１から受信した会議映像データを表示する。

図４は、表示映像重畳部１８が生成し、各クライアント３に配信され、各クライアント３のディスプレイに表示される会議映像の一例を示す図である。表示映像重畳部１８は、図示するように、各参加者の映像データをタイル状に所定の位置に配置する。図示する例では、参加者Ｂの発話がキャンセルされたことを示し、参加者Ｂの映像データ４１の右上に「発話衝突」の文字を設定している。なお、映像生成部１７が生成した映像が、参加者の映像データを囲むための所定の色の枠の場合、発話がキャンセルされた参加者Ｂの映像データ４１の枠が所定の色に設定される。

また、話者に決定された参加者の映像データについても、発話がキャンセルされた参加者の映像データと同様に、例えば話者の映像データを話者用の所定の色の枠で囲む、または、話者の映像データのいずれかの四隅に「話者」の文字を設定するなどしてもよい。

また、同時発話通知を受け付けた音圧制御部１９は、話者に決定された参加者以外の参加者の発話の音声データの音圧を、予め定めたｅ秒間（第２の所定時間）、所定の値（例えば、「0」）に制限する（Ｓ１４）。このとき、ｅはdよりも大きな値である。このｅ秒の間に別の参加者が発話を開始した場合も、当該別の参加者の発話もキャンセルされ、当該別の参加者の音声データの音圧も、例えば「0」に設定される。

音声多重部２０は、各クライアント３から受信し、音圧制御部１９により制御された各音声データを多重し、データ送信部２１に送出する。データ送信部２１は、音声多重部２０から受け取った音声データを、ネットワーク９を介して各クライアント３に送信する。各クライアント３は、会議サーバ１から受信した音声データを再生する。この多重化された音声データは、話者に決定された参加者以外の音声の音圧が例えば「0」に制御されているため、発話の衝突がない。

なお、Ｓ１３とＳ１４の処理は、並行して行われるものである。

そして、同時発話通知を受け付けたポイント計算部１６は、Ｓ１２で話者に決定された参加者の発話開始からｆ秒後（第３の所定時間後）に、話者に決定された参加者の優先発話ポイントをクリアし、話者以外の各参加者の優先発話ポイントを増加する。具体的には、話者に決定された参加者の優先発話ポイントを「0」に更新し、それ以外の参加者の優先発話ポイントに「1」を加算する（Ｓ１５）。

図５は、優先発話ポイントを説明するための説明図である。

まず、最初のｔ１時点において、ポイント計算部１６により、各参加者に初期値の優先発話ポイントがランダムに設定される。図示する例では、参加者３名であるため、「0」から「参加者数-1」までの各値（「0」、「1」、「2」）がランダムに各参加者に設定される。

そして、ｔ２時点において、参加者Ａと参加者Ｂとで同時発話が発生し、この場合、同時発話検出部１５は、優先発話ポイントが大きい参加者Ａを話者として決定し、参加者Ｂの発話はキャンセルされる。その後、話者となった参加者Ａの優先発話ポイントは「0」に更新され、参加者Ｂおよび参加者Ｃの優先発話ポイントはそれぞれ「1」加算される。

なお、図示する例では、話者に決定された参加者の優先発話ポイントを実線の円で囲み、発話がキャンセルされた参加者の優先発話ポイントを点線の円で囲んでいる。

優先発話ポイントが更新されたｔ３時点において、参加者Ａと参加者Ｃとで同時発話が発生し、この場合、同時発話検出部１５は、優先発話ポイントが大きい参加者Ｃを話者として決定し、参加者Ａの発話はキャンセルされる。その後、話者となった参加者Ｃの優先発話ポイントは「0」に更新され、参加者Ａおよび参加者Ｂの優先発話ポイントはそれぞれ「1」加算される。

ｔ５時点では、参加者Ａと参加者Ｂとで同時発話が発生し、この場合、同時発話検出部１５は、優先発話ポイントが大きい参加者Ａを話者として決定し、さらに参加者Ａの発話開始からｅ秒以内に、３人目の参加者Ｃが発話を開始した場合を示すものである。この場合、参加者Ｂの発話だけでなく、参加者Ｃの発話もキャンセルされる。

なお、同時発話が発生しない場合（Ｓ１１：ＮＯ）、Ｓ１２からＳ１５の処理を行うことなく終了する。すなわち、表示映像重畳部１８は、映像取込部１２から入力された、各クライアント３から受信した各参加者の映像データを碁盤の目状に配置した会議映像データを生成し、データ送信部２１に送出する。データ送信部２１は、表示映像重畳部１８から受け取った会議映像データを、ネットワーク９を介して各クライアント３に送信する。また、音声多重部２０は、各クライアント３から受信し、音圧制御部１９により制御されていない各音声データを多重し、データ送信部２１に送出する。データ送信部２１は、音声多重部２０から受け取った音声データを、ネットワーク９を介して各クライアント３に送信する。この場合、優先発話ポイントは更新されない。

以上説明した本実施形態では、Web会議システムなどのネットワークを介した遠隔会議において、複数の参加者がほぼ同時に発話開始した際に、いずれか１人のみの発話を許可し、それ以外の参加者の発話音声の音圧を小さく制御することで、擬似的に発話衝突が生じていないかのような状態を作り出す。これにより本実施形態では、発話を許可された参加者は、普段通り発話を継続することができる。すなわち、本実施形態では、発話したいという欲求が生じた際に、参加者が特別な操作を行うことなく発話できるとともに、円滑な話者交替が可能となる。

また、本実施形態では、優先発話ポイントを用いて話者を決定することで、発話許可が与えられる参加者は、均等な確率で選択され、また、同時発話が生じたことを参加者全員に通知することで、発話がキャンセルされた参加者へのストレスを軽減し、参加者全員が発話衝突を恐れずに会話を行える環境を提供することができる。すなわち、本実施形態では、発言の機会を声の大小に関わらず、均等に配分することができ、参加者全員がストレスを感じることなく会議に参加することができる。

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、本実施形態の会議システムは、映像データおよび音声データを送受信する会議システムを示しているが、本発明は、音声データのみを送受信する音声会議システムにも適用可能なものである。音声会議システムの場合、同時発話を通知するための通知音を生成し、各クライアントから受信し、音圧制御部により制御された各音声データとともに通知音を多重するものとする。

１ ：会議サーバ
１１：データ受信部
１２：映像取込部
１３：音声取込部
１４：発話者・時刻記録部
１５：同時発話検出部
１６：ポイント計算部
１７：映像生成部
１８：表示映像重畳部
１９：音圧制御部
２０：音声多重部
２１：データ送信部
２２：ポイント記憶部
３ ：クライアント
９ ：ネットワーク

Claims (8)

1. ネットワークを介して接続された複数の端末の音声データを送受信して遠隔会議を行う会議装置であって、
   前記複数の端末を使用する各参加者の優先度を記憶する優先度記憶手段と、
   第１の所定時間内に複数の端末での参加者の発話を検知すると、前記優先度記憶手段を参照して、前記発話した複数の参加者の優先度を比較し、優先度が最も大きい参加者を話者に決定する話者決定手段と、
   前記話者に決定された参加者以外の参加者の音声データの音圧を、第２の所定時間、所定の値に制限する音圧制御手段と、
   前記話者に決定された参加者の優先度をクリアし、話者以外の各参加者の優先度を増加する計算手段と、を有すること
   を特徴とする会議装置。
2. 請求項１記載の会議装置であって、
   前記計算手段は、各参加者の優先度の初期値として、「０」から「参加者数−１」の各値を各参加者に割り当てること
   を特徴とする会議装置。
3. 請求項１または請求項２に記載の会議装置であって、
   前記話者に決定された参加者以外の前記発話した参加者の映像データに、発話がキャンセルされたことを示す映像を重畳する映像重畳手段を、さらに有すること
   を特徴とする会議装置。
4. 請求項１記載の会議装置であって、
   前記第１の所定時間には、音声データの伝送遅延時間が含まれること
   を特徴とする会議装置。
5. 会議装置が行う、ネットワークを介して接続された複数の端末の音声データを送受信する会議方法であって、
   前記会議装置は、
   前記複数の端末を使用する各参加者の優先度を記憶する優先度記憶部を備え、
   第１の所定時間内に複数の端末での参加者の発話を検知すると、前記優先度記憶部を参照して、前記発話した複数の参加者の優先度を比較し、優先度が最も大きい参加者を話者に決定する話者決定ステップと、
   前記話者に決定された参加者以外の参加者の音声データの音圧を、第２の所定時間、所定の値に制限する音圧制御ステップと、
   前記話者に決定された参加者の優先度をクリアし、話者以外の各参加者の優先度を増加する計算ステップと、を行うこと
   を特徴とする会議方法。
6. 請求項５記載の会議方法であって、
   各参加者の優先度の初期値として、「０」から「参加者数−１」の各値を各参加者に割り当てる初期優先度割り当てステップを、さらに行うこと
   を特徴とする会議方法。
7. 請求項５または請求項６に記載の会議方法であって、
   前記話者に決定された参加者以外の前記発話した参加者の映像データに、発話がキャンセルされたことを示す映像を重畳する映像重畳ステップを、さらに行うこと
   を特徴とする会議方法。
8. 請求項５から請求項７のいずれか１項に記載の会議方法をコンピュータに実行させるための会議プログラム。

Images