JP2020088637A - 会議支援システム及び会議用ロボット - Google Patents

Abstract

【課題】会議において、言葉を発するのに適したタイミングを見出せるようにすることを目的とする。【解決手段】複数の参加者による会議に用いられる会議支援システムであって、前記複数の参加者の会議参加状態を取得する参加状態取得部と、前記参加状態取得部で得られた前記複数の参加者の会議参加状態に基づいて、前記複数の参加者によるコミュニケーションの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定する制御部とを備える。【選択図】図７

Description

この発明は、会議コミュニケーションを支援する技術に関する。

特許文献１は、ユーザの見ている向きとユーザの移動方向とに基づいて、案内をするか否かを判断する案内ロボット制御システムを開示している。

特開２０１７−１５９４１０号公報

特許文献１に開示の技術は、ユーザが案内を欲している場合に行う行動を利用して、案内をするか否かを判断している。

しかしながら、複数人が参加する会議では、そのような行動を期待できない。会議においては、会議の進行中におけるコミュニケーションを遮ることの適否を判断して、言葉を発するタイミングを決定する必要がある。

そこで、本発明は、会議において、言葉を発するのに適したタイミングを見出せるようにすることを目的とする。

上記課題を解決するため，第１の態様に係る会議支援システムは、複数の参加者による会議に用いられる会議支援システムであって、前記複数の参加者の会議参加状態を取得する参加状態取得部と、前記参加状態取得部で得られた前記複数の参加者の会議参加状態に基づいて、前記複数の参加者によるコミュニケーションの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定する制御部と、を備える。

第２の態様は、第１の態様に係る会議支援システムであって、前記制御部は、発言予定内容を記録する発言予定記録部を含み、発言タイミングであると判定されたときに、前記発言予定記録部に記録された発言予定内容を、スピーカを通じて発言するものである。

第３の態様は、第２の態様に係る会議支援システムであって、前記制御部は、前記複数の参加者のうちの少なくとも一人の参加者の発言予定内容を前記発言予定記録部に記録する。

第４の態様は、第３の態様に係る会議支援システムであって、前記複数の参加者が、現実空間において互いの会議参加状態を観察可能な状態で会議を行う複数の第１参加者と、通信回線を介して会議に参加する第２参加者とを含み、前記制御部は、前記第２参加者の発言予定内容を前記発言予定記録部に記録するものである。

第５の態様は、第１から第４のいずれか１つの態様に係る会議支援システムであって、前記参加状態取得部は、前記複数の参加者のそれぞれの会議参加状態を取得する複数の個別参加状態取得部を含み、前記制御部は、前記複数の個別参加状態取得部で得られた前記複数の参加者の会議参加状態に基づいて、前記複数の参加者それぞれの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定するものである。

第６の態様は、第１から第５のいずれか１つの態様に係る会議支援システムであって、前記複数の参加者のうちの少なくとも一人の参加者による発言の意思指令を取得する発言指令受付部と、前記会議が行われる現実空間において、会議への参加動作が可能な擬似会議参加装置と、をさらに備え、前記制御部は、発言の意思指令取得後、発言タイミングで無いと判定されると、前記擬似会議参加装置に、遮りやすさを上げる第１動作を実行させるものである。

第７の態様は、第６の態様に係る会議支援システムであって、前記制御部は、前記第１動作実行後、さらに発言タイミングで無いと判定されると、前記擬似会議参加装置に、遮りやすさを上げる第２動作を実行させるものである。

第８の態様は、第７の態様に係る会議支援システムであって、前記第２動作は、前記第１動作よりも遮りやすさを上げるのに効果的な動作とされている。

上記課題を解決するため、第９の態様に係る会議用ロボットは、複数の参加者による会議に参加する会議用ロボットであって、前記複数の参加者の会議参加状態が入力される参加状態入力部と、前記参加状態入力部より入力された前記複数の参加者の会議参加状態に基づいて、前記複数の参加者によるコミュニケーションの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定し、発言タイミングであると判定されたときに、スピーカを通じた発言処理を実行する制御部と、を備える。

第１０の態様は、第９の態様に係る会議用ロボットであって、前記参加状態入力部には、前記複数の参加者のそれぞれの会議参加状態が入力され、前記制御部は、前記複数の参加者それぞれの会議参加状態に基づいて、前記複数の参加者それぞれの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定するものである。

第１１の態様は、第９又は第１０の態様に係る会議用ロボットであって、ロボットとしての動作を実行するロボット動作部をさらに備え、前記制御部は、発生すべき発言予定内容が生じた後、発言タイミングで無いと判定されると、前記ロボット動作部に、遮りやすさを上げる第１動作を実行させるものである。

第１２の態様は、第１１の態様に係る会議用ロボットであって、前記制御部は、前記第１動作実行後、さらに、発言タイミングで無いと判定されると、前記ロボット動作部に、遮りやすさを上げる第２動作を実行させるものである。

第１３の態様は、第１２の態様に係る会議用ロボットであって、前記第２動作は、前記第１動作よりも遮りやすさを上げるのに効果的な動作とされている。

第１の態様によると、参加状態取得部で得られた複数の参加者の会議参加状態に基づいて、複数の参加者によるコミュニケーションの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定するため、会議において、発言するのに適したタイミングを見出せる。

第２の態様によると、予め発言予定内容を記録しておけば、適切なタイミングで発言することができる。

第３の態様によると、会議の参加者は、予め発言予定内容を記録しておけば、適切なタイミングで発言することができる。

第４の態様によると、通信回線を介して会議に参加する第２参加者は、複数の第１参加者の会議参加状態を観察し難い。そこで、第２参加者の発言予定内容を発言予定記録部に記録しておくことで、第２参加者は、予め発言予定内容を記録しておけば、適切なタイミングで発言することができる。

第５の態様によると、複数の参加者それぞれの会議参加状態に基づいて、より適切に発言タイミングであるか否かを判定できる。

第６の態様によると、発言タイミングで無いと判定されたときに、前記擬似会議参加装置に、遮りやすさを上げる第１動作を実行させるため、会議において、発言し易くなる。

第７の態様によると、さらに、発言タイミングで無いと判定されると、前記擬似会議参加装置に、遮りやすさを上げる第２動作を実行させるため、会議において、発言し易くなる。

第８の態様によると、さらに、第１動作実行後、さらに、発言タイミングで無いと判定されると、遮りやすさを上げるのにより効果的な第２動作を実行させるため、会議において、発言し易くなる。

第９の態様によると、参加状態入力部より入力された前記複数の参加者の会議参加状態に基づいて、複数の参加者によるコミュニケーションの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定するため、ロボットは、会議において、適したタイミングで発言することができる。

第１０の態様によると、複数の参加者それぞれの会議参加状態に基づいて、より適切に発言タイミングであるか否かを判定できる。

第１１の態様によると、発言タイミングで無いと判定されると、前記ロボット動作部に、遮りやすさを上げる第１動作を実行させるため、会議において、発言し易くなる。

第１２の態様によると、第１動作実行後、さらに、発言タイミングで無いと判定されると、前記ロボット動作部に、遮りやすさを上げる第２動作を実行させるため、会議において、発言し易くなる。

第１３の態様によると、第１動作実行後、さらに、発言タイミングで無いと判定されると、遮りやすさを上げるのにより効果的な第２動作を実行させるため、会議において、音声を発し易くなる。

第１実施形態に係る会議支援システムが適用された会議の様子を示す説明図である。 代理参加ロボットの動作例を示す説明図である。 カメラによる撮像例を示す説明図である。 会議支援システムの電気的構成を示すブロック図である。 学習済モデルの一例を示す図である。 学習中モデルの一例を示す図である。 制御部の動作例を示すフローチャートである。 第２実施形態に係る会議用ロボットが適用された会議の様子を示す説明図である。 同上の会議用ロボットの電気的構成を示すブロック図である。

｛第１実施形態｝
以下、第１実施形態に係る会議支援システムについて説明する。図１は会議支援システム３０が適用された会議の様子を示す説明図である。

会議支援システム３０は、複数人の参加者１０Ａ、１０Ｂによる会議に用いられる。複数の参加者１０Ａ、１０Ｂは、会議に参加して何らかの発言を行ったり、他者の発言を聞いたりする主体である。参加者１０Ａ、１０Ｂは、同一の会議場所に存在していてもよいし、複数の場所に分散して存在していてもよい。

図１では、会議室２０に複数人（５人）の第１参加者１０Ａが存在しており、会議室２０から離れた場所に第２参加者１０Ｂが存在している例が示されている。つまり、現実空間において互いの会議参加状態を観察可能な状態で複数の第１参加者１０Ａが会議を行う。会議室２０には、擬似開始参加装置として代理参加ロボット６０が存在している。第２参加者１０Ｂは、通信回線７０及び代理参加ロボット６０を通じて会議室２０内における複数人の第１参加者１０Ａの会議に参加することができる。

会議室２０には、会議机２２が置かれ、その周りに椅子２４が複数設けられている。複数人の第１参加者１０Ａ及び代理参加ロボット６０は、各椅子２４に着席している。

代理参加ロボット６０は、第２参加者１０Ｂの代理として、会議への参加行為を実行できるロボットである。例えば、図２に示すように、代理参加ロボット６０は、内蔵されたスピーカ等を通じて、会議室２０において発言する行為（図２では、“Excuse me.”（すみません）と発言）を実行できる。また、代理参加ロボット６０は、発言行為以外にも、会議中に行うことのある動作（図２では挙手する行為が例示）を実行できる。このため、第２参加者１０Ｂが代理参加ロボット６０を通じて円滑に会議に参加することができる。代理参加ロボット６０には、後述する制御部４０が組込まれている。

図１に戻って、各第１参加者１０Ａに対応してカメラ５８及びマイク５９が設けられている。カメラ５８及びマイク５９は、第１参加者１０Ａの会議参加状態を動画データとして取得するために用いられる。例えば、マイク５９は、第１参加者の１０Ａの発言を音声データとして取得するために用いられる。カメラ５８は、第１参加者１０Ａの動作を取得するために用いられる。例えば、カメラ５８によって、図３に示すように、第１参加者１０Ａの視線の動き（矢符Ｐ１参照）、第１参加者１０Ａの顔の傾き（矢符Ｐ２参照、頷き、首振り動作等）等を撮像することができる。カメラ５８及びマイク５９は、制御部４０に接続されている。

第２参加者１０Ｂは、机２２Ｂ前に設けられた椅子２４Ｂに着席している。第２参加者１０Ｂ前には、マイク８６、スピーカ８７及び表示装置８８が設けられている。マイク８６には、第１参加者１０Ａの音声が入力される。会議室２０における会議の様子は、表示装置８８に表示され、また、会議における発言は、スピーカ８７を通じて再生される。これらのマイク８６、スピーカ８７及び表示装置８８は、端末装置８０に接続されている。

上記代理参加ロボット６０及び端末装置８０は、通信回線７０を介して相互通信可能に接続される。通信回線７０は、有線式であっても無線式であってもよい。また、通信回線７０は、公衆通信網であっても専用回線であってもよい。

代理参加ロボット６０は、参加状態取得部としての各カメラ５８及び各マイク５９で得られた複数の第１参加者１０Ａの会議参加状態に基づいて、複数の参加者１０Ａによるコミュニケーション（会議）への遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定する制御部４０（後述）を備えている。そして、発言タイミングであると判定されたときに、第２参加者１０Ｂは、代理参加ロボット６０を介して、会議室２０における会議に参加することができる。

図４は会議支援システム３０の電気的構成を示すブロック図である。

会議支援システム３０は、会議室２０に設けられた制御部４０、代理参加ロボット６０及び複数組のカメラ５８及びマイク５９と、会議室２０から離れた位置に設けられた端末装置８０、マイク８６、スピーカ８７及び表示装置８８とを備える。制御部４０と端末装置８０とは、通信回線７０を通じて相互通信可能に接続されている。

複数組のカメラ５８及びマイク５９は、複数の参加者（ここでは第１参加者１０Ａ）の会議参加状態を取得する参加状態取得部の一例である。ここでは、カメラ５８及びマイク５９の組は、各第１参加者１０Ａに対応して設けられている。このため、各組のカメラ５８及びマイク５９は、複数の第１参加者１０Ａのそれぞれの会議参加状態を取得する個別参加状態取得部の一例である。カメラ５８は、対応する第１参加者１０Ａのうち顔面を含む部分、ここでは、上半身を撮像する。これにより、カメラ５８は、第１参加者１０Ａの視線の動き、顔の傾きを撮像することができる。マイク５９は、主として対応する第１参加者１０Ａの発言による音を電気信号に変換する。マイク５９は、周りの参加者等の音を電気信号に変換してもよい。もっとも、マイク５９では、周りの参加者等の音は小さくなり、その影響は少ない。

参加状態取得部は、各第１参加者に対応して設けられることは必須ではない。複数の参加者の全体に対して１つの参加状態取得部が設けられていてもよい。この場合、カメラは、複数の参加者全体を撮像可能に設けられるとよい。また、マイクは、複数の参加者全体の会話による音を電気信号に変換可能に設けられるとよい。また、複数の参加者が複数のグループに分けられ、各グループに対して１つの参加状態取得部が設けられていてもよい。第２参加者に対しても参加状態取得部が設けられていてもよい。

代理参加ロボット６０は、上記したように、第２参加者１０Ｂの代理として、会議への参加行為を実行できるロボットである。ここでは、代理参加ロボット６０は、ロボットとしての動作を行うロボット動作部６７を含む。ここでは、ロボット動作部６７は、スピーカ６８及び腕駆動部６９を含む。制御部４０による制御下、代理参加ロボット６０は、スピーカ６８を通じて音声を発することができる。また、腕駆動部６９は、少なくとも１つの腕を上下に駆動するモータ等を含んでいる。腕駆動部６９は、制御部４０による制御下、代理参加ロボット６０の腕を上げ（挙手）たり、下げたりする動作を実行することができる。代理参加ロボット６０は、人型ロボットであってもよいし、その他の多関節ロボット等であってもよい。代理参加ロボット６０が人型ロボットであれば、第２参加者１０Ｂが代理参加ロボット６０を通じて会議に参加する行為が、第１参加者１０Ａに対して違和感を与え難い。このため、円滑な会議の進行を期待できる。

代理参加ロボット６０は、会議が行われる現実空間において、会議への参加動作が可能な擬似会議参加装置の一例である。会議への参加動作としては、会議において発言予定内容があることを示す動作、発言する動作、賛否を示す動作等が想定される。これらの動作は、スピーカを通じた発言、ロボットによる行動の他、表示装置による表示動作によっても実現可能である。このため、会議への参加動作が可能な擬似会議参加装置としては、何らかの行動が可能なロボットの他、音声を発するスピーカ、発言予定内容の有無、発言内容、賛否等を表示可能な表示装置等が用いられてもよい。

制御部４０は、複数組のカメラ５８及びマイク５９で得られた複数の第１参加者１０Ａの会議参加状態に基づいて、複数の第１参加者１０Ａによるコミュニケーションの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定する。ここでは、制御部４０は、少なくとも１つのプロセッサとしてのＣＰＵ（Central Processing Unit）４１、ＲＡＭ（Random Access Memory）４２、記憶部４３、入出力部４４，通信回路４５及びロボット制御入出力部４６等がバスライン４８を介して相互接続されたコンピュータによって構成されている。

記憶部４３は、フラッシュメモリ、あるいは、ハードディスク装置等の不揮発性の記憶装置によって構成されている。記憶部４３には、複数組のカメラ５８及びマイク５９で得られた複数の第１参加者１０Ａの会議参加状態に基づいて、複数の第１参加者１０Ａによるコミュニケーションの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定するプログラム４３ａが格納されている。ここでは、プログラム４３ａは、後述する学習済モデル４９を含んでおり、当該学習済モデル４９に基づいて、複数組のカメラ５８及びマイク５９で得られた複数の第１参加者１０Ａの会議参加状態に基づいて、複数の第１参加者１０Ａによるコミュニケーションの遮りやすさを求める処理プログラムを含む。また、プログラム４３ａは、第２参加者１０Ｂの発言を音声データ４３ｃとして記憶部４３に格納する処理、及び、発言タイミングであると判定されたときに、ロボット動作部６７を駆動制御する処理を実行するためのプログラムをも含む。つまり、制御部４０は、複数の参加者１０Ａ、１０Ｂのうちの少なくとも一人の第２参加者１０Ｂの発言予定内容を記録する発言予定記録部として記憶部４３を含む。プログラム４３ａによる処理例については後述する。

ＲＡＭ４２は、ＣＰＵ４１が所定の処理を行う際の作業領域として供される。入出力部４４は、複数組のカメラ５８及びマイク５９に接続されており、当該カメラ５８及びマイク５９からの信号が入出力部４４を介して本制御部４０に入力される。制御部４０と複数組のカメラ５８及びマイク５９とは、有線通信可能に接続されていてもよいし、無線通信可能に接続されていてもよい。通信回路４５は、通信回線７０を通じて端末装置８０に相互通信可能に接続される。ロボット制御入出力部４６は、ロボット動作部６７にロボット動作部６７の動作制御可能に接続されている。このため、本制御部４０は、ロボット動作部６７を動作制御することができる。

この制御部４０では、プログラム４３ａに記述された手順、端末装置８０を通じて入力される第２参加者１０Ｂの発言に関する動作、複数組のカメラ５８及びマイク５９からの入力等に従って、ＣＰＵ４１が、演算処理を行うことにより、ロボット動作部６７の制御を行う機能を実行する。

本例では、制御部４０は、代理参加ロボット６０に組込まれている。制御部４０は、代理参加ロボット６０外に設けられていてもよい。

なお、上記プログラム４３ａは、予め記憶部４３に格納されているものであるが、ＣＤ−ＲＯＭあるいはＤＶＤ−ＲＯＭ、外部のフラッシュメモリ等の記録媒体に記録された形態で、あるいは、ネットワークを介した外部サーバからのダウンロードなどにより、既存のコンピュータに提供されることもあり得る。

なお、上記制御部４０において実現される各機能の一部又は全部は、１つのプロセッサによって処理されてもよいし、複数のプロセッサによって適宜分散して処理されてもよい。上記制御部４０において実現される各機能の一部又は全部は、第２参加者１０Ｂ側の端末装置等、会議室外のコンピュータによって実現されてもよい。

端末装置８０は、上記制御部４０と同様に、少なくとも１つのプロセッサとしてのＣＰＵ、ＲＡＭ４２、記憶部、入出力部，通信回路等を備えるコンピュータによって構成されている。端末装置８０は、第２参加者１０Ｂ側に設けられている。端末装置８０は、通信回線７０を通じて制御部４０に相互通信可能に接続されている。

マイク８６は、第２参加者１０Ｂの発言による音を電気信号として変換可能な位置に設けられている。スピーカ８７は、第２参加者１０Ｂに対して音を提供可能な位置に設けられ、表示装置８８は第２参加者１０Ｂに対して表示内容を提供可能な位置に設けられている。マイク８６、スピーカ８７及び表示装置８８は、端末装置８０に接続されている。

そして、第２参加者１０Ｂによる発言がマイク８６を通じて取得し、この発言に基づく音声データが端末装置８０から通信回線７０を通じて制御部４０に送信される。また、例えば、上記複数組のカメラ５８及びマイク５９を通じて得られた各第１参加者１０Ａの発言及び動画データが、制御部４０から通信回線７０を介して端末装置８０に送信され、各発言がスピーカ８７を通じて再生され、また、各第１参加者１０Ａの動画データが表示装置８８に表示される。第２参加者１０Ｂが所定の発言を行いたい場合に、発言すると、その発言予定内容はマイク８６にて取得される。この発言予定内容は、そのまま会議室において再生されるのではなく、第２参加者１０Ｂによる発言の意思指令として取得され、後述する発言タイミングで、代理参加ロボット６０を通じて発言される。この点において、マイク８６は、第２参加者１０Ｂによる発言の意思指令を取得する発言指令受付部として機能する。発言指令受付部は、その他のスイッチ、例えば、キーボード等であってもよいし、発言専用のスイッチであってもよい。

図５は学習済モデル４９の一例を示す図である。学習済モデル４９は、機械学習により生成されたモデルであり、上記コンピュータの一種である制御部４０において用いられる。学習済モデル４９は、特徴量抽出部４９ａと、識別層４９ｂとを含む。

特徴量抽出部４９ａは、入力データである音声データ及び動画データから特徴量を抽出する。例えば、音声データは、上記マイク５９を通じて取得され、動画データは、上記カメラ５８を通じて取得される。音声データ４３ｃからは、例えば、特徴量として音量が抽出される。動画データからは、例えば、特徴量として、視線（目）の動き及び顔の傾き抽出される。識別層４９ｂは、パーセプトロンを複数層組合わせた周知の多層ニューラルネットワークによって構成されている。

学習済モデル４９は、図６に示すように、模擬的又は実際におこなわれた会議において、いずれかの第１参加者１０Ａに応じた入力データ（所定時間における音声データ、動画データ）に対し、コミュニケーションを遮りやすいタイミングとしての適否かを区別した複数の学習用データに基づき学習された学習済モデルである。かかる学習用モデルは、例えば、本モデルの設計者が会議又は会議の入力データを実際に見聞き等してコミュニケーションを遮りやすいタイミングか否かを判別すること、又は、第１参加者１０Ａが実際に発言したか否かを判別することによって、生成可能である。

そして、図５に示すように、制御部４０のＣＰＵ４１が、プログラム４３ａの指示に従って、いずれかの第１参加者１０Ａに応じた入力データ（音声データ、動画データ）に対し、識別層４９ｂにおける学習済の重み係数と応答関数等に基づく演算を行うことによって、識別層４９ｂの出力として、コミュニケーションの遮りやすさを示す結果を出力することができる。コミュニケーションを遮り易いときに出力１を出力し、コミュニケーションを遮り難いときに出力２を出力してもよい。あるいは、コミュニケーションを遮り易さを数値化した指標値（適合度）を出力１に出力し、コミュニケーションを遮り難さを数値化した指標値（適合度）を出力２に出力してもよい。ここでは、前者であるとして説明する。

コミュニケーションの遮りやすさを求めるにあたって機械学習を適用する際、その手法はニューラルネットワークに限られず、他の手法、例えば、サポートベクターマシン等を適用してもよい。コミュニケーションの遮りやすさを求めるにあたって機械学習を適用することは必須ではなく、例えば、マイク５９の音量、動画データに基づく目の動き、顔の動きを数値化し、数値化された各値に基づいて所定の条件式を事前に設定し、当該条件式に基づいてコミュニケーションの遮りやすさを求めてもよい。また、目の動き、顔の動き等から、参加者がスマートフォンを見たか否か、資料を見たか否か等を判別し、その判別結果に基づいて、コミュニケーションの遮りやすさを求めてもよい。例えば、スマートフォンを見た場合、資料を見た場合は、会議のコミュニケーションを遮りやすさは高いといえる。

制御部４０は、学習済モデル４９の出力に基づいて発言タイミングであるか否かを判定する。学習済モデル４９から選択的に出力１及び出力２が出力される場合には、当該出力に従えばよい。出力１又は出力２から多段階に数値化された指標値が出力される場合には、当該指標値を、事前に設定された閾値と比較して、発言タイミングであるか否かを判定してもよい。例えば、出力１からコミュニケーションの遮りやすさを数値化した指標値が出力される場合、当該指標値が閾値以上となる場合又は閾値を超える場合に、発言タイミングであると判定してもよい。

図７は制御部４０の動作例を示すフローチャートである。

会議の開始により処理が開始される。ステップＳ１において発言意思の有無が判定される。ここで、第２参加者１０Ｂがマイク８６を通じて会議向けの発言を行うと、当該発言がマイク８６を通じて取得される。発言に対応する音声データは、端末装置８０、通信回線７０を通じて制御部４０に送られる。制御部４０は、端末装置８０側から第２参加者１０Ｂの音声データが送信された場合、当該音声データ（第２参加者１０Ｂの発言予定内容）を記憶部４３に音声データ４３ｃとして記憶する。また、かかる音声データの受信は、第２参加者１０Ｂの発言意思指令として入力される。このため、制御部４０は、第２参加者１０Ｂから音声データを受信した場合、発言意思ありと判定し、音声データの受信が無い場合、発言意思無しと判定する。発言意思の指令は、上記音声データに基づかず、第２参加者１０Ｂ側のスイッチ操作によって入力されてもよい。発言予定内容は、音声データによる他、キーボード入力等された文字データとして記憶されてもよい。ステップＳ１において発言意思無しと判定された場合、ステップＳ２において、所定の待機時間待機した後、スタートに戻ってステップＳ１以降の処理を繰返す。ステップＳ１において発言意思有りと判定されると、ステップＳ３に進む。

本例では、記憶部４３が発言予定記録部として参加者１０のうちの少なくとも一人の発言予定内容を記録する例で説明する。しかしながら、発言予定記録部には、参加者の発言予定内容ではなく、コンピュータによる人工的なシステムによる発言予定内容が記録されていてもよい。例えば、コンピュータ等による人工的な会議支援システムが、会議を遮って参加者に伝えたい情報（発言予定内容）として、「あと５分で会議を終了してください」といった内容を有している場合、かかる発言予定内容を発言予定記録部に記録してもよい。

ステップＳ３では、制御部４０は、各組のカメラ５８及びマイク５９からの出力を学習済モデル４９に入力し遮りやすさを求める。ここでは、制御部４０は、複数の第１参加者１０Ａのそれぞれについて、遮りやすさを求める。

次ステップＳ４では、ステップＳ３で求められた遮りやすさにもとづいて、発言タイミングであるか否かを判定する。上記のように、学習済モデル４９が、遮りやすさを示す２通の出力を出力する場合、当該出力に応じて発言タイミングであるか否かを判定すればよい。学習済モデル４９が遮りやすさを多段階で数値化した指標値を出力する場合、当該指標値と所定の閾値とに基づいて発言タイミングであるか否かを判定すればよい。この場合、第１参加者１０Ａ別に閾値を変えてもよい。また、会議の雰囲気に合わせて、閾値を変更してもよい。例えば、発言が少ないような場合等には、閾値を小さくし、第２参加者１０Ｂが容易に発言できるようにしてもよい。また、閾値は、会議の議長又は司会者がマニュアルで変更してもよいし、コンピュータが発言量等に鑑みて変更してもよい。また、ここでは、制御部４０は、それぞれの第１参加者１０Ａについて、求められた遮りやすさに基づいて発言タイミングであるか否かを判定する。そして、全ての第１参加者１０Ａについて、発言タイミングであると判定されると、会議における発言タイミングであると判定する。つまり、第１参加者１０Ａのうちの少なくとも一人に関して、発言に適さないタイミングであると判定されると、発言タイミングではないと判定する。

ここでは、第１参加者１０Ａ別に、遮りやすさ、及び、発言タイミングであるか否かを判定しているが、会議の場全体として会議状態を取得し、会議全体として遮りやすさ、発言タイミングでるか否かを判定してもよい。

ステップＳ４において発言タイミングであると判定されると、ステップＳ５に進む。ステップＳ５では、制御部４０は、記憶部４３に記憶された発言予定内容（ここでは音声データ４３ｃ）を、スピーカ６８を通じて発言する。発言予定内容が文字データとして記憶されている場合には、合成音声等を、スピーカ６８を通じて発言してもよい。スピーカ６８は、代理参加ロボット６０に組込まれているため、周囲の第１参加者１０Ａからは、代理参加ロボット６０を通じて参加する第２参加者１０Ｂの発言として、違和感少なく受止められる。発言終了後、スタートに戻って、ステップＳ１以降の処理を繰返す。

ステップＳ４において発言タイミングでないと判定されると、ステップＳ６に進む。ステップＳ６では、制御部４０は、ロボット動作部６７に第１動作を実行させる。第１動作は、遮りやすさを上げる動作である。第１動作としては、発言があることを示す動き（例えば、挙手）、発言があることを示す短い発言（例えば、“Excuse me”、「すみません」、“I would like to say something”、「発言したいことがあります」等）等が想定される。擬似会議参加装置が人型ロボットである場合、無い場合において、同様の短い発言を、スピーカを通じて再生すること、表示装置に発言がある旨を表示すること（短い発言の表示、発言を示す発光表示等）、ビープ音等を発生させること、振動を生じさせること等が想定される。

次ステップＳ７において、ステップＳ３と同様に、遮りやすさを求める。

次ステップＳ８において、ステップＳ４と同様に、ステップＳ７で求められた遮りやすさにもとづいて、発言タイミングであるか否かを判定する。発言タイミングであると判定されると、ステップＳ５に進み、発言を行う。発言タイミングでないと判定されると、ステップＳ９に進む。

ステップＳ９では、第１動作後、予め定められた所定時間経過したか否かが判定される。所定時間経過前と判定されると、ステップＳ１０に進み、所定時間待機し、ステップＳ１７に戻り、ステップＳ７以降の処理を繰返す。所定時間経過後と判定されると、ステップＳ１１に進む。なお、第１動作後の経過時間が所定時間丁度である場合、ステップＳ１０、Ｓ１１のいずれに進んでもよい。

ステップＳ１１では、制御部４０は、ロボット動作部６７に第２動作を実行させる。第２動作は、第１動作と同様に、遮りやすさを上げる動作である。第２動作は第１動作と同じであってもよいし、異なっていてもよい。第２動作は、第１動作よりも遮りやすさを上げるのに効果的な動作であってもよい。例えば、第１動作が発言では無い動作であり、第２動作が短い発話であることが想定される。より具体的には、第１動作が挙手、表示装置への表示、又は、発光表示装置の発光であり、第２動作が“Excuse me”、「すみません」、「あの〜」等の発言である場合が想定される。また、第１動作が意味の無い発言であり、第２動作が自らの発言を求める要求発言である場合が想定される。例えば、第１動作が“Excuse me”、「すみません」、「あの〜」等の発言であり、第２動作が“I would like to say something”、「発言したいことがあります」等の発言であることが想定される。また、第１動作が丁寧な発言であり、第２動作が丁寧では無い発言であることが想定される。また、第１動作が短い発言であり、第２動作が長い発言であることが想定される。さらに、第１動作の発言よりも、第２動作の発言の音量が大きいことも想定される。

次ステップＳ１２では、ステップＳ３と同様に、遮りやすさを求める。

次ステップＳ１３において、ステップＳ４と同様に、ステップＳ１２で求められた遮りやすさにもとづいて、発言タイミングであるか否かを判定する。発言タイミングであると判定されると、ステップＳ５に進み、発言を行う。発言タイミングでないと判定されると、ステップＳ１４に進む。

ステップＳ１４では、第２動作後、予め定められた所定時間経過したか否かが判定される。所定時間経過前と判定されると、ステップＳ１５に進み、所定時間待機し、ステップＳ１２に戻り、ステップＳ１２以降の処理を繰返す。所定時間経過後と判定されると、ステップＳ１６に進む。なお、第２動作後の経過時間が所定時間丁度である場合、ステップＳ１５、Ｓ１６のいずれに進んでもよい。

ステップＳ１６では、制御部４０は、ロボット動作部６７に第３動作を実行させる。第３動作は、第１動作と同様に、遮りやすさを上げる動作である。第３動作は第１動作、第２動作と同じであってもよいし、異なっていてもよい。第３動作は、第２動作よりも遮りやすさを上げるのに効果的な動作であってもよい。つまり、後に行われる動作であるほど、遮りやすさを上げるのに効果的な動作であってもよい。例えば、第１動作が発言では無い動作であり、第２動作が短い発話であり、第２動作が自らの発言を求める要求発言である場合が想定される。例えば、第１動作が挙手であり、第２動作が“Excuse me”、「すみません」、「あの〜」等の発言であり、第３動作が“I would like to say something”、「発言したいことがあります」等の発言であることが想定される。その他、遮りやすさを上げるのに効果的な動作内容については、ステップＳ１１で説明したのと同様の考えを適用できる。

次ステップＳ１７では、ステップＳ３と同様に、遮りやすさを求める。

次ステップＳ１８において、ステップＳ４と同様に、ステップＳ１７で求められた遮りやすさにもとづいて、発言タイミングであるか否かを判定する。発言タイミングであると判定されると、ステップＳ５に進み、発言を行う。発言タイミングでないと判定されると、ステップＳ１９に進む。

ステップＳ１９では、第３動作後、予め定められた所定時間経過したか否かが判定される。所定時間経過前と判定されると、ステップＳ２０に進み、所定時間待機し、ステップＳ１７に戻り、ステップＳ１７以降の処理を繰返す。所定時間経過後と判定されると、ステップＳ５に進む。なお、第３動作後の経過時間が所定時間丁度である場合、ステップＳ５、Ｓ２０のいずれに進んでもよい。つまり、第３動作後、所定時間経過した場合、遮りやすさの程度、発言タイミングであるか否かに拘らず、強制的に発言を行う。

上記処理において、第３動作後、所定時間経過した場合には、発言を行わずに、スタートに戻ってもよい。また、第３動作を行うための処理、第２動作及び第３動作を行うための処理は省略されてもよい。

以上のように構成された会議支援システム３０によると、参加状態取得部であるカメラ５８及びマイク５９を通じて得られた複数の第１参加者１０Ａの参加状態に基づいて、複数の第１参加者１０Ａによるコミュニケーションの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定するため、会議において、発言するのに適したタイミングを見出せる。

また、第２参加者１０Ｂが予め発言予定内容を記憶部４３に記憶させておけば、制御部４０は、発言タイミングであると判定されたときに、その発言予定内容を、スピーカ６８を通じて発言する。このため、第２参加者１０Ｂは、予め発予定言内容を記録しておけば、適切なタイミングで発言することができる。

また、特に、第２参加者１０Ｂは、通信回線７０を通じて会議に参加するため、複数の第１参加者１０Ａの会議参加状態を観察し難い。このような状況においても、第２参加者１０Ｂは、適切なタイミングで発言し易い。

また、制御部４０は、複数の第１参加者１０Ａのそれぞれに設けられたカメラ５８及びマイクからの出力に基づき、複数の第１参加者１０Ａのそれぞれの会議参加状態を把握し、各参加状態に基づいて遮りやすさを求め、発言タイミングであるか否かを判定する。このため、複数の第１参加者１０Ａのそれぞれの会議参加状態に基づいて、より適切に発言タイミングであるか否かを判定できる。

また、発言タイミングで無いと判定されたときに、擬似会議参加装置である代理参加ロボット６０に、遮りやすさ上げる第１動作を実行させる。このため、会議において、第２参加者１０Ｂが発言し易くなる。

第１動作後、さらに、発言タイミングでは無いと判定されると、擬似会議参加装置である代理参加ロボット６０に、遮りやすさ上げる第２動作を実行させる。このため、会議において、第２参加者１０Ｂがより発言し易くなる。

また、第１動作実行後、さらに、発言タイミングで無いと判定されると、遮りやすさを上げるのにより効果的な第２動作を実行させるため、会議において、第２参加者１０Ｂがより発言し易くなる。

第１実施形態を前提として各種変形例について説明する。

第１実施形態において、制御部４０が第２参加者１０Ｂの発言予定内容を記憶部４３に記憶する代りに、又は、記憶する機能に加えて、発言タイミングであると判定されたときに、その旨を表示装置８８に表示するようにしてもよい。この場合、第２参加者１０Ｂは、当該表示を見て、マイク８６に発言を行うようにしてもよい。その発言は、端末装置８０、通信回線７０を介して、代理参加ロボット６０から発言されるようにするとよい。第２参加者１０Ｂは、発言タイミングであるとの表示を見て、発言することができるため、適切なタイミングで発言することができる。特に、第１参加者１０Ａは、現実空間において互いの会議参加状態を観察可能な状態で会議を行っているのに対し、第２参加者１０Ｂは、通信回線７０を通じて会議に参加しているため、第１参加者１０Ａの会議参加状態を観察し難い。この場合でも、第２参加者１０Ｂは、適切なタイミングで発言できるというメリットがある。

上記例では、第２参加者１０Ｂが一人である例で説明したが、第２参加者１０Ｂは複数人存在していてもよい。

上記例では、第１参加者１０Ａに参加状態取得部であるカメラ５８及びマイク５９を設けた例で説明したが、第２参加者１０Ｂに参加状態取得部が設けられ、第１参加者１０Ａ及び第２参加者１０Ｂの会議参加状態に基づいて、遮りやすさを求め、適切な発言タイミングであるか否かを判定してもよい。

また、上記例では、第２参加者１０Ｂが通信回線７０を通じて会議に参加している例で説明したが、第２参加者１０Ｂは、現実空間で行われる会議場所において、第１参加者１０Ａと共に参加している者であってもよい。

また、上記例では、第２参加者１０Ｂが発言予定内容を入力すると、発言意思有りと判定する例で説明したが、発言意思は、他の参加者からの発言賛成数が所定数を超えた場合に、発言意思有りと判定するようにしてもよい。例えば、第２参加者１０Ｂが発言予定内容を文字情報として入力すると、当該発言予定内容が他の参加者の手元の端末装置に表示され、他の参加者が当該発言予定内容に賛同する場合には賛同する旨を入力する。そして、賛同数が所定数を超えると、発言意思有りと判定して、ステップＳ３以降の処理を実行するようにしてもよい。

｛第２実施形態｝
第２実施形態に係る会議用ロボットについて説明する。なお、本実施の形態の説明において、第１実施形態で説明したものと同様構成要素については同一符号を付してその説明を省略する。図８は会議用ロボット１３０が適用された会議の様子を示す説明図であり、図９は同会議用ロボットの電気的構成を示すブロック図である。

この会議用ロボット１３０が上記会議支援システム３０と異なるのは、会議の前提として第２参加者１０Ｂが存在せず、代りに、会議用ロボット１３０が自律的に会議用の発言を行う点である。

すなわち、会議用ロボット１３０は、上記代理参加ロボット６０に代えて、会議に参加している。

会議用ロボット１３０は、制御部１４０と、ロボット動作部１６７及び複数組のカメラ５８及びマイク５９とを備える。

複数組のカメラ５８及びマイク５９は、上記と同様に、複数の参加者（ここでは第１参加者１０Ａ）の会議参加状態を取得する参加状態取得部の一例である。

ロボット動作部１６７は、上記ロボット動作部６７と同様に、ロボットとしての動作を行う。ここでは、ロボット動作部１６７は、スピーカ１６８及び腕駆動部１６９を含む。制御部１４０による制御下、ロボット動作部１６７は、スピーカ１６８を通じて音声を発することができる。また、腕駆動部１６９は、少なくとも１つの腕を上下に駆動するモータ等を含んでいる。腕駆動部１６９は、制御部１４０による制御下、会議用ロボット１３０の腕を上げ（挙手）たり、下げたりする動作を実行することができる。会議用ロボット１３０は、人型ロボットであってもよいし、その他の多関節ロボット等であってもよい。

制御部１４０は、複数組のカメラ５８及びマイク５９、ロボット動作部１６７に接続されており、複数組のカメラ５８及びマイク５９からの入力に基づいて、ロボット動作部１６７の動作制御を行う。特に、制御部１４０は、複数組のカメラ５８及びマイク５９で得られた複数の第１参加者１０Ａの会議参加状態に基づいて、複数の第１参加者１０Ａによるコミュニケーションの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定する。そして、発言タイミングであると判定されたときに、スピーカ６８を通じた発言処理を実行する。

制御部１４０が制御部４０と異なる点は、本制御部１４０が会話プログラム１４０ｂを実行する点である。会話プログラム１４０ｂは、記憶部４３に記憶されたプログラムであり、ＣＰＵ４１が当該会話プログラム１４０ｂに会話プログラム１４０ｂに記述された手順、及び、複数のマイク５９からの入力等に基づいて、会話処理を実行する。会話プログラム１４０ｂ自体は、複数人の第１参加者１０Ａの発言内容に基づいて、当該発言内容に関連した発言を発する処理等を行う周知のプログラムを含むプログラムを適用することができる。会話プログラム１４０ｂが発する発言内容は、発言タイミングであると判定される前に作成され、第１実施形態と同様に、発言予定記録部に記録されていてもよいし、発言タイミングであると判定されたときに、生成されてもよい。

この会議用ロボット１３０によると、自律的に会議用の発言を行う会議用ロボット１３０が、適したタイミングで、発言を行うことができる。その他、第２参加者１０Ｂが発言を行うことによる効果を除き、上記第１実施形態と同様の作用効果を得ることができる。また、会議用ロボット１３０が会議用の発言を行うことで、会議を活発にすることができ、会議を支援することができる。

｛変形例｝
なお、上記各実施形態及び各変形例で説明した各構成は、相互に矛盾しない限り適宜組合わせることができる。例えば、第１実施形態と第２実施形態とが組合わされ、複数の第１参加者に加えて、第２参加者１０Ｂ及び会議用ロボット１３０の両方が会議に参加してもよい。

以上のようにこの発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１０Ａ 第１参加者
１０Ｂ 第２参加者
３０ 会議支援システム
４０、１４０ 制御部
４３ａ プログラム
４３ｃ 音声データ
４５ 通信回路
４６ ロボット制御入出力部
５８ カメラ
５９ マイク
６０ 代理参加ロボット
６７、１６７ ロボット動作部
６８、１６８ スピーカ
６９、１６９ 腕駆動部
７０ 通信回線
８０ 端末装置
８６ マイク
１３０ 会議用ロボット
１４０ｂ 会話プログラム

Claims (13)

1. 複数の参加者による会議に用いられる会議支援システムであって、
   前記複数の参加者の会議参加状態を取得する参加状態取得部と、
   前記参加状態取得部で得られた前記複数の参加者の会議参加状態に基づいて、前記複数の参加者によるコミュニケーションの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定する制御部と、
   を備える会議支援システム。
2. 請求項１記載の会議支援システムであって、
   前記制御部は、発言予定内容を記録する発言予定記録部を含み、発言タイミングであると判定されたときに、前記発言予定記録部に記録された発言予定内容を、スピーカを通じて発言する、会議支援システム。
3. 請求項２記載の会議支援システムであって、
   前記制御部は、前記複数の参加者のうちの少なくとも一人の参加者の発言予定内容を前記発言予定記録部に記録する、会議支援システム。
4. 請求項３記載の会議支援システムであって、
   前記複数の参加者が、現実空間において互いの会議参加状態を観察可能な状態で会議を行う複数の第１参加者と、通信回線を介して会議に参加する第２参加者とを含み、
   前記制御部は、前記第２参加者の発言予定内容を前記発言予定記録部に記録する、会議支援システム。
5. 請求項１から請求項４のいずれか１つに記載の会議支援システムであって、
   前記参加状態取得部は、前記複数の参加者のそれぞれの会議参加状態を取得する複数の個別参加状態取得部を含み、
   前記制御部は、前記複数の個別参加状態取得部で得られた前記複数の参加者の会議参加状態に基づいて、前記複数の参加者それぞれの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定する、会議支援システム。
6. 請求項１から請求項５のいずれか１つに記載の会議支援システムであって、
   前記複数の参加者のうちの少なくとも一人の参加者による発言の意思指令を取得する発言指令受付部と、
   前記会議が行われる現実空間において、会議への参加動作が可能な擬似会議参加装置と、
   をさらに備え、
   前記制御部は、発言の意思指令取得後、発言タイミングで無いと判定されると、前記擬似会議参加装置に、遮りやすさを上げる第１動作を実行させる、会議支援システム。
7. 請求項６記載の会議支援システムであって、
   前記制御部は、前記第１動作実行後、さらに発言タイミングで無いと判定されると、前記擬似会議参加装置に、遮りやすさを上げる第２動作を実行させる、会議支援システム。
8. 請求項７記載の会議支援システムであって、
   前記第２動作は、前記第１動作よりも遮りやすさを上げるのに効果的な動作である、会議支援システム。
9. 複数の参加者による会議に参加する会議用ロボットであって、
   前記複数の参加者の会議参加状態が入力される参加状態入力部と、
   前記参加状態入力部より入力された前記複数の参加者の会議参加状態に基づいて、前記複数の参加者によるコミュニケーションの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定し、発言タイミングであると判定されたときに、スピーカを通じた発言処理を実行する制御部と、
   を備える会議用ロボット。
10. 請求項９記載の会議用ロボットであって、
    前記参加状態入力部には、前記複数の参加者のそれぞれの会議参加状態が入力され、
    前記制御部は、前記複数の参加者それぞれの会議参加状態に基づいて、前記複数の参加者それぞれの遮りやすさを求め、求められた遮りやすさに基づいて発言タイミングであるか否かを判定する、会議用ロボット。
11. 請求項９又は請求項１０記載の会議用ロボットであって、
    ロボットとしての動作を実行するロボット動作部をさらに備え、
    前記制御部は、発生すべき発言予定内容が生じた後、発言タイミングで無いと判定されると、前記ロボット動作部に、遮りやすさを上げる第１動作を実行させる、会議用ロボット。
12. 請求項１１記載の会議用ロボットであって、
    前記制御部は、前記第１動作実行後、さらに、発言タイミングで無いと判定されると、前記ロボット動作部に、遮りやすさを上げる第２動作を実行させる、会議用ロボット。
13. 請求項１２記載の会議用ロボットであって、
    前記第２動作は、前記第１動作よりも遮りやすさを上げるのに効果的な動作である、会議用ロボット。

Images