JP2012146072A - 次発話者誘導装置、次発話者誘導方法および次発話者誘導プログラム - Google Patents

次発話者誘導装置、次発話者誘導方法および次発話者誘導プログラム Download PDF

Info

Publication number
JP2012146072A
JP2012146072A JP2011003155A JP2011003155A JP2012146072A JP 2012146072 A JP2012146072 A JP 2012146072A JP 2011003155 A JP2011003155 A JP 2011003155A JP 2011003155 A JP2011003155 A JP 2011003155A JP 2012146072 A JP2012146072 A JP 2012146072A
Authority
JP
Japan
Prior art keywords
speaker
next speaker
conference participant
conference
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011003155A
Other languages
English (en)
Other versions
JP5458027B2 (ja
Inventor
Mutsuhiro Nakashige
睦裕 中茂
Hidekazu Tamaki
秀和 玉木
Takeshi Tono
豪 東野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011003155A priority Critical patent/JP5458027B2/ja
Publication of JP2012146072A publication Critical patent/JP2012146072A/ja
Application granted granted Critical
Publication of JP5458027B2 publication Critical patent/JP5458027B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】適切な次発話者を決定し、決定した次発話者を確実に会議参加者に通知する。
【解決手段】次発話者誘導装置2であって、次発話者を会議参加者に通知するための通知音声を会議参加者毎に記憶する通知音声記憶手段と、会議参加者が使用する各端末1から入力される、当該会議参加者の映像データ、音声データなどの入力データを取得するデータ取得手段と、入力データを分析し、次発話を会議参加者の中から決定する次発話者決定手段と、入力データを分析して会話の切れ目を検出し、次発話者を通知するタイミングを決定するタイミング決定手段と、通知音声記憶手段から次発話者決定手段が決定した次発話者に対応する通知音声を取得し、タイミング決定手段が決定したタイミングで通知音声を会議参加者の各端末1に送信し、出力させる次発話者通知手段とを有する。
【選択図】図1

Description

本発明は、ネットワークを介した遠隔会議において、会議参加者の発話開始を誘導する次発話者誘導装置、次発話者誘導方法および次発話者誘導プログラムに関する。
ネットワークを介した遠隔会議においては、映像品質の低さ、伝送遅延の影響などにより、しばしば、2者以上の会議参加者が同時に発話(発言)を開始し、発話音声が衝突することがある。このような状況が多発すると、会議参加者の発話意欲が低下したり、会議の能率が低下して議論が長時間に及んだり、議論が単調になって会議自体の品質が低下する恐れがある。
遠隔会議における複数の会議参加者による発話の衝突を防止する技術については、例えば、特許文献1に記載されている。特許文献1では、発話意欲の高い会議参加者を特定して、次に発言権を持つことを明示する。
特開2006-338493号公報
特許文献1では、視線を多く集めた会議参加者が次に発言権を持つと決定し、その会議参加者をモニタの映像中に視覚エフェクトで提示するものである。この方法では、カメラで各会議参加者の視線方向を検出して、どの会議参加者が多くの視線を集めているかを判断するが、カメラ情報のみからモニタの映像中のどの会議参加者を注視しているかを判断するのは困難である。さらに、次に発言権を持つ会議参加者を示す視覚エフェクトはモニタの映像中に重畳されるが、これに全ての会議参加者が必ず気付き、明示された会議参加者に発言を譲るとは考えにくい。
すなわち、特許文献1は、ユーザの視線方向を検出して注視している会議参加者を検出し、より多くの注目を集めている会議参加者を発話意欲が高いと断定して次に発言権を持たせることの不確実さと、次に発言権を持つ会議参加者を示す視覚エフェクトをモニタの映像中に重畳することで全ての会議参加者へ認知させようとすることの不確実さを有している。
本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、適切な次発話者を決定し、決定した次発話者を確実に会議参加者に通知する次発話者誘導装置、次発話者誘導方法および次発話者誘導プログラムを提供することにある。
上記目的を達成するため、本発明は、ネットワークを介した遠隔会議における次発話者誘導装置であって、次に発言する次発話者を会議参加者に通知するための通知音声を、会議参加者毎に記憶する通知音声記憶手段と、会議参加者が使用する各端末から入力される、当該会議参加者の映像データ、音声データおよびキー入力データの少なくとも1つの入力データを取得するデータ取得手段と、前記データ取得手段が取得した入力データを分析し、次発話を会議参加者の中から決定する次発話者決定手段と、前記データ取得手段が取得した入力データを分析して会話の切れ目を検出し、次発話者を通知するタイミングを決定するタイミング決定手段と、前記通知音声記憶手段から、次発話者決定手段が決定した次発話者に対応する通知音声を取得し、前記タイミング決定手段が決定したタイミングで前記通知音声を会議参加者の各端末に送信し、出力させる次発話者通知手段と、を有する。
本発明は、ネットワークを介した遠隔会議における、コンピュータが行う次発話者誘導方法であって、前記コンピュータは、次に発言する次発話者を会議参加者に通知するための通知音声を、会議参加者毎に記憶する通知音声記憶部を有し、会議参加者が使用する各端末から入力される、当該会議参加者の映像データ、音声データおよびキー入力データの少なくとも1つの入力データを取得するデータ取得ステップと、前記データ取得ステップで取得した入力データを分析し、次発話を会議参加者の中から決定する次発話者決定ステップと、前記データ取得ステップで取得した入力データを分析して会話の切れ目を検出し、次発話者を通知するタイミングを決定するタイミング決定ステップと、前記通知音声記憶部から、次発話者決定ステップで決定した次発話者に対応する通知音声を取得し、前記タイミング決定ステップで決定したタイミングで前記通知音声を会議参加者の各端末に送信し、出力させる次発話者通知ステップと、を行う。
本発明は、前記次発話者誘導方法をコンピュータに実行させるための次発話者誘導プログラムである。
本発明によれば、適切な次発話者を決定し、決定した次発話者を確実に会議参加者に通知する次発話者誘導装置、次発話者誘導方法および次発話者誘導プログラムを提供することができる。
本発明の実施形態に係る会議システムの全体構成図である。 次発話者誘導サーバ2の構成を示すブロック図である。 第1の次発話者検出の方法の動作を示すフローチャートである。 第2の次発話者検出の方法の動作を示すフローチャートである。 第3の次発話者検出の方法の動作を示すフローチャートである。 タイミング決定部の動作を示すフローチャートである。
以下、本発明の実施の形態について、図面を参照して説明する。
図1は、本発明の実施形態に係る会議システムの全体構成図である。本実施形態の会議システムは、ネットワークに接続された複数の端末を用いて、遠隔地にいる会議参加者が遠隔会議を行うためのシステムである。図示する会議システムは、複数の会議参加者の各々が使用する複数の端末1と、これらの端末1とネットワーク9を介して接続された次発話者誘導サーバ2とを備える。
各端末1は、例えばPCであって、ディスプレイ12、当該端末1を使用する会議参加者の映像を撮影するカメラ13と、当該端末1を使用する会議参加者が発言した音声を取得するマイク14と、次発話者誘導サーバ2から送信された他の会議参加者の音声、後述する通知音声などを出力するスピーカ15と、当該端末1を使用する会議参加者の各種操作を受け付ける入力装置(キーボード16、マウスなど)を備える。
各端末1は、カメラ13が撮像した映像データ、マイク14が取得した音声データ、キーボード16に入力されたキー入力データなどを、ネットワーク9を介して次発話者誘導サーバ2に送信する。
また、各端末1は、他の会議参加者が発言した音声データ、通知音声などを、ネットワーク9を介して次発話者誘導サーバ2から受信し、スピーカ15から出力・再生する。各端末1は、他の会議参加者の映像データを、ネットワーク9を介して次発話者誘導サーバ2から受信し、ディスプレイ12に表示することとしてもよい。
図2は、本実施形態の次発話者誘導サーバ2の構成を示す構成図である。図示する次発話者誘導サーバ2は、データ取得部21と、次発話者決定部22と、タイミング決定部23と、次発話者通知部24と、通知音声記憶部25とを備える。
データ取得部21は、会議参加者が使用する各端末1から入力される、当該会議参加者の映像データ、音声データおよびキー入力データの少なくとも1つの入力データを取得する。次発話者決定部22は、データ取得部21が取得した入力データを分析し、次に発言する次発話者を会議参加者の中から決定する。タイミング決定部23は、データ取得部21が取得した入力データを分析して、会話の切れ目を検出し、全ての会議参加者に次発話者を通知(提示)するタイミングを決定する。次発話者通知部24は、通知音声記憶部25から次発話者決定部22が決定した次発話者に対応する通知音声を取得し、前記タイミング決定部23が決定したタイミングで取得した通知音声を会議参加者の各端末に送信し、出力させる。
通知音声記憶部25には、次発話者を会議参加者に通知するための通知音声(音声片)が、会議参加者毎に記憶される。通知音声は、例えば、「あのー」、「えーと」、「うーん」などのような発話の前に発する意味を有しない音声、咳払いのような生理現象に関する音声、他の会議参加者と発話が衝突したために言い掛けて中断した音声などである。会議を行う前に各会議参加者の通知音声をあらかじめ通知音声記憶部25に格納しておくか、あるいは会議中に会議参加者がマイクに発声した音声の最初の部分を切り出した音声片を取得し、通知音声として通知音声記憶部25に格納することが考えられる。なお、会議中に取得した音声片をそのまま通知音声として通知音声記憶部25に格納してもよく、あるいは、取得した音声片にピッチ増減や音量増減などの加工したものを通知音声として通知音声記憶部25に格納してもよい。
次発話者誘導サーバ2および各端末1は、例えば、CPUと、メモリと、HDD等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。例えば、次発話者誘導サーバ2および端末1の各機能は、次発話者誘導サーバ2用のプログラムの場合は次発話者誘導サーバ2のCPUが、そして、端末1用のプログラムの場合は端末1のCPUがそれぞれ実行することにより実現される。
また、次発話者誘導サーバ2用のプログラムおよび端末1用のプログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD−ROMなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
次に、本実施形態の動作について説明する。
まず、次に発言する次発話者を決定する方法について説明する。次発話者検出の方法はは、3つある。
図3は、第1の次発話者検出の方法の動作を示すフローチャートである。第1の方法は、会議中に発話意欲が高まった会議参加者が、自ら発言する意思を能動的に合図する方法である。
まず、発言しようとする会議参加者は、端末1に備えられたキーボード16、マウスなどの入力装置を用いて次発話者となることを要求するための操作指示を入力し、端末1は、当該操作指示を受け付けて次発話者要求を次発話者誘導サーバ2に送信する。なお、端末1は、次発話者要求を送信する際に、当該会議参加者の話者ID(ユーザID)も、併せて送信するものとする。
次発話者誘導サーバ2の次発話者決定部22は、端末1から次発話者要求を受信すると(S11:YES)、当該次発話者要求に付加された話者IDを取得し、当該話者IDの会議参加者を次発話者として決定する(S12)。そして、次発話者通知部24は、通知音声記憶部25から、次発話者決定部22が決定した次発話者に対応する通知音声を取得し(S13)、タイミング決定部23が決定したタイミングで取得した通知音声を会議参加者の全ての端末1に送信する(S14)。各端末1は、通知音声を受信し、受信した通知音声をスピーカ15から出力・再生する(S15)。なお、タイミング決定部23のタイミングを決定する処理については後述する。
各会議参加者は、スピーカ15から出力される通知音声を聞くことで、発話意欲の高い会議参加者(自ら次発話者要求を入力した会議参加者)が次の発話者となることを認識することができる。
図4は、第2の次発話者検出の方法の動作を示すフローチャートである。第2の方法は、自分以外の他の会議参加者の発話を誘導したい場合に、当該他の会議参加者を次発話者として推薦する方法である。
まず、会議参加者は、端末1に備えられたキーボード16、マウスなどの入力装置を用いて、他の会議参加者が次発話者となることを推薦するための操作指示を入力し、端末1は、当該操作指示を受け付けて推薦要求を次発話者誘導サーバ2に送信する。なお、会議参加者は、推薦する他の会議参加者の話者ID(ユーザID)を推薦要求とともに入力するものとする。
次発話者誘導サーバ2の次発話者決定部22は、端末1から推薦要求を受信すると(S21:YES)、当該推薦要求に付加された話者IDを取得し、当該話者IDの会議参加者を次発話者として決定する(S22)。そして、次発話者通知部24は、通知音声記憶部25から、次発話者決定部22が決定した次発話者に対応する通知音声を取得し(S23)、タイミング決定部23が決定したタイミングで取得した通知音声を会議参加者の全ての端末1に送信する(S24)。各端末1は、通知音声を受信し、受信した通知音声をスピーカ15から出力・再生する(S25)。なお、タイミング決定部23のタイミングを決定する処理については後述する。
各会議参加者は、スピーカ15から出力される通知音声を聞くことで、推薦された会議参加者が次の発話者となることを認識することができる。
図5は、第3の次発話者検出の方法の動作を示すフローチャートである。第3の方法は、次発話者誘導サーバ2が各会議参加者に発話の機会を与えるために次発話者を決定する方法である。具体的には、次発話者誘導サーバ2の次発話者決定部22は、会議参加者毎に、当該会議参加者に発生した所定のイベントを検出し、イベントが発生するたびに所定のポイント(重み)を加算し、ポイントが所定の閾値を超えた会議参加者を、次発話者として決定する。なお、次発話者誘導サーバ2は、各会議参加者のポイントを記憶するポイント記憶部(不図示)を備えるものとする。
図5では、所定のイベントとして、他の会議参加者と発話が衝突したなどの理由により発話を中断した場合(S31)と、発話意欲の高まりを検知した場合(S33)と、他の会議参加者から次発話者として推薦された場合(S33)とを具体例として挙げている。しなしながら、所定のイベントはこれに限定されるものではない。
発話意欲の高まりについては(S33)、所定の表情変化、身体動作、発声などを検知した場合、発話意欲が高まったと判別する。具体的には、次発話者誘導サーバ2のデータ取得部21は、各端末1からカメラおよびマイクを用いて取得された会議参加者の映像データおよび音声データを受信する。そして、次発話者決定部22は、データ取得部21が受信した各会議参加者の音声データを分析し、現在発話(発言)している現在発話者を特定する。そして、次発話者決定部22は、現在発話者以外の各会議参加者の映像データおよび/または音声データと、現在発話者の発話音声データとを比較し、各会議参加者毎に当該会議参加者の身体動作や音声(相槌など)のタイミングが、現在発話者の発話音声データから取得される発話リズムとどの程度リズム同調しているかを分析し、所定の値以上の相関(相関係数)を有する会議参加者については、発話意欲が高まったと判別する。
リズム同調については、例えば、任意の規定時間ごとに、現在発話者の音声データを量子化し、他の各会議参加者の音声データを量子化したものおよび会議参加者の身体動作の有無を量子化したものの少なくとも1つとの相関を演算し、その結果が任意の所定の値を越える会議参加者については、発話意欲が高まったと判別する。
また、各会議参加者の映像データを分析し、会議参加者の頭がカメラに近付いた場合や、会議参加者が口元へ手を持っていった場合に、発話意欲が高まったと判別することも考えられる。
図5では、次発話者誘導サーバ2のデータ取得部21は、各端末1からカメラ、マイク、キーボードなどを用いて取得・入力された会議参加者の映像データ、音声データおよびキー入力データを受信し、次発話者決定部22は、これらのデータを用いて所定のイベントの発生を、会議参加者毎に検出する。具体的には、次発話者決定部22は、各会議参加者の音声データを分析し、複数の発話者の衝突による発話の中断を検出した場合(S31:YES)、発話を中断した会議参加者に所定のポイントを付与する(S32)。すなわち、当該会議参加者のポイント記憶部に記憶されている値(ポイント数)に付与したポイントを加算して更新する。
また、次発話者決定部22は、各会議参加者の映像データおよび/または音声データを分析し、発話意欲の高まりを検出した場合(S33:YES)、当該会議参加者に所定のポイントを付与する(S34)。すなわち、当該会議参加者のポイント記憶部に記憶されている値(ポイント数)に付与したポイントを加算して更新する。
また、次発話者決定部22は、次発話者としてある会議参加者を推薦するキー入力データ(推薦要求)を受信した場合(S35:YES)、推薦された会議参加者に所定のポイントを付与する(S36)。すなわち、当該会議参加者のポイント記憶部に記憶されている値(ポイント数)に付与したポイントを加算して更新する。
なお、S32、S34、S36で付加されるポイントは、検出されたイベント毎に当該ポイントの有効期限(所定の期間・時間)があらかじめ設定されており、過去に加算された各ポイントは、対応する有効期限が経過した後に、効力を失うものとする。すなわち、S32、S34、S36でポイントが加算されてから、対応する所定の有効期限が経過すると、次発話者決定部22は、各会議参加者のポイント記憶部の値(ポイント数)から有効期限を経過したポイントを減算する。
そして、次発話者決定部22は、ポイント記憶部を参照し、所定の閾値(ポイント数)を超える会議参加者が存在するか否かを判別し(S37)、所定の閾値を超える会議参加者が存在しない場合(S37:NO)、S31に戻り以降の処理を行う。一方、所定の閾値を超える会議参加者が存在する場合(S37:YES)、次発話者決定部22は、閾値を超えた会議参加者を次発話者として決定する(S38)。
そして、次発話者通知部24は、通知音声記憶部25から、次発話者決定部22が決定した次発話者に対応する通知音声を取得し(S39)、タイミング決定部23が決定したタイミングで取得した通知音声を会議参加者の全ての端末1に送信する(S40)。
各端末1は、通知音声を受信し、受信した通知音声をスピーカ15から出力・再生する(S41)。なお、タイミング決定部23のタイミングを決定する処理については後述する。各会議参加者は、スピーカ15から出力される通知音声を聞くことで、次発話者を認識することができる。
なお、図5では、発話意欲が高い会議参加者、推薦された会議参加者を次発話者として決定することとしたが、発話回数や発話時間が少ない会議参加者を、次発話者として決定することとしてもよい。この場合、全ての会議参加者からまんべんなく意見を聴取することができる。
具体的には、次発話者決定部22は、単位時間当たりの発話回数を会議参加者毎に算出し、または単位時間当たりの発話時間を会議参加者毎に算出し、算出した数値が所定の閾値よりも低い会議参加者を次発話者として決定する。
また、所定の閾値を設けることなく、他の会議参加者の発話回数または発話時間と比較し、著しく発話回数が低い場合、または著しく発話時間が下回る会議参加者を次発話者として決定することも考えられる。
また、図5のS33では、現在発話者の発話リズムと、他の会議参加者の音声・身体動作とがどの程度リズム同調しているかを分析し、所定の値以上の相関を有する会議参加者については、発話意欲が高まったとしてポイントを付与することとしたが、逆にこの相関が所定の値よりも小さい会議参加者を、次発話者として決定することも考えられる。すなわち、現在発話者の発話音声と、他の会議参加者の言動のリズムが合う場合(つまり発話に対して、他の会議参加者がタイミング良く反応している場合)、それらの間の相関を演算すると1または−1に近付き、相関があるといえる(演算結果の絶対値が大きいほど相関がある)。反対の場合、つまり他の会議参加者が無反応だったり、あるいは発話とは別の言動をしている場合、発話音声と他の会議参加者の言動の相関を演算すると0に近付き、相関が無いといえる。したがって、相関が所定の値よりも小さい会議参加者を次発話者として決定することにより、それまで会話のやり取りに積極的に加わっていなかった会議参加者に、会議に積極的に加わってもらうよう誘導することができる。
次に、タイミング決定部23が、会議参加者に次発話者を通知(提示)するタイミングを決定する方法について説明する。
図6は、タイミング決定部23の動作を示すフローチャートである。タイミング決定部23は、データ取得部21が各端末から取得した音声データを分析し、全ての会議参加者に次発話者を通知(提示)するタイミングを決定する。図6に示す例では、会議中に無音区間を検出した場合、すなわち会話の切れ目を検出した場合(S51:YES)、または、発話の完了を推定した場合(S52:YES)に、次発話者の通知音声を各端末1に送信し、各端末1で再生させるタイミングとして決定する(S53)。
発話の完了を推定する方法(S52)としては、各会議参加者の過去の複数の発話音声を時系列で量子化し、その発話終了時刻を量子化したものとで各会議参加者ごとの発話終了を推定するための線形予測モデルを構築しておき、リアルタイムに発話音声を時系列で量子化したものを入力として、出力が任意の規定値を越えた時を発話の完了タイミングとして推定する。
以上説明した本実施形態では、会議参加者の発話意欲が高い場合、または、特定の会議参加者に発話させたい場合などを判定して、次発話者を決定し、決定した次発話者の通知音声を各端末で出力・再生することで、全ての会議議参加者が次に発言権を持つ次発話者が誰であるかを認識させ、当該次発話者へ発話の開始を誘導することができる。
発話意欲がある会議参加者が次発話者となることを要求し、または、次に発話させたい会議参加者を会議参加者または次発話者誘導サーバ2が指定・決定することで、次に発話する会議参加者の確実性を高めることができる。また、視覚情報を用いて次発話者を提示するのではなく、聴覚情報を用いて次発話者の発話権を持つ会議参加者を提示することにより、全ての会議参加者が次発話者が誰であるかを(視覚情報を使うよりも)容易に認識できるため、発話の衝突を低減することができる。
すなわち、本実施形態では、会議参加者の間でスムーズに話者交代しながら会議を進めることができる。
特に、各自のデスクトップ上でおこなうWeb会議のような利用環境では、常に全ての会議参加者を注視しているわけではない。別の処理をデスクトップ上で行っていたり、デスク近くの人と会話しているかもしれない。そのような環境では視覚情報によって次に発言権を持つ人を他の会議参加者へ通知することは難しい。本実施形態では、音で合図することによって、画面を注視していない状態でも、次に発言権を持つ人(次発話者)を認識でき、会話の衝突を回避し、会議を進行できる。
また、本実施形態では、次に発話権を取得する次発話者を提示するために音声(通知音声)を用いるため、場合によっては会話の流れを中断して、会議に悪影響を及ぼす恐れがある。このため、本実施形態では、無音区間(会話の切れ目)を検出し、あるいは現在の発話者の発話が終了するタイミングを推定し、このタイミングで次発話者の通知音声を端末1に送信し、再生させることで全ての会議参加者に次発話者を音声で通知(合図)する。このようなタイミングで、合いの手などの通知音声を入れることで、スムーズな話者交替を実現することができる。すなわち、会話の流れを阻害せず、会議の空気を壊さないようにすることができる。
また、本実施形態では、発話意欲の高い会議参加者、または、発話させたい会議参加者を次発話者として決定し、決定した会議参加者が次に発言権を持つことを通知音声の再生によって全ての会議参会議に認識させることによって、次発話者として決定された会議参加者の発話の開始を誘導することができる。
また、本実施形態で、通知音声を用いて全ての会議参加者に次発話者を通知するため、次発話者が誰であるかを認識させることができる。すなわち、通知音声は、それぞれの会議参加者の肉声であるため、会話中に通知音声が流れたとしても違和感が少なく、さらに、誰が次に発言権を持つのかを特定しやすい。
なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、上記実施形態では、タイミング決定部23が各端末1からの音声データを分析して、会話の切れ目を検出し、全ての会議参加者に次発話者の通知音声を送信するタイミングを決定することとしたが、次発話者決定部22が次発話者を決定したタイミングで次発話者の通知音声を各端末1に送信することとしてもよい。
1 :端末
12:ディスプレイ
13:カメラ
14:マイク
15:スピーカ
16:キーボード
2 :次発話者誘導サーバ
21:データ取得部
22:次発話者決定部
23:タイミング決定部
24:次発話者通知部
25:通知音声記憶部

Claims (9)

  1. ネットワークを介した遠隔会議における次発話者誘導装置であって、
    次に発言する次発話者を会議参加者に通知するための通知音声を、会議参加者毎に記憶する通知音声記憶手段と、
    会議参加者が使用する各端末から入力される、当該会議参加者の映像データ、音声データおよびキー入力データの少なくとも1つの入力データを取得するデータ取得手段と、
    前記データ取得手段が取得した入力データを分析し、次発話を会議参加者の中から決定する次発話者決定手段と、
    前記データ取得手段が取得した入力データを分析して会話の切れ目を検出し、次発話者を通知するタイミングを決定するタイミング決定手段と、
    前記通知音声記憶手段から、次発話者決定手段が決定した次発話者に対応する通知音声を取得し、前記タイミング決定手段が決定したタイミングで前記通知音声を会議参加者の各端末に送信し、出力させる次発話者通知手段と、を有すること
    を特徴とする次発話者誘導装置。
  2. 請求項1記載の次発話者誘導装置であって、
    前記次発話者決定手段は、前記入力データを分析し、会議参加者毎に、当該会議参加者に発生した所定のイベントを検出し、前記イベントが検出されると所定のポイントを加算し、ポイントが閾値を超えた会議参加者を次発話者として決定すること
    を特徴とする次発話者誘導装置。
  3. 請求項2記載の次発話者誘導装置であって、
    前記所定のイベントには、他の会議参加者との発話の衝突により発話を中断した場合、話者の発話音声と身体動作のタイミングが所定の相関関係で同調している場合、および次発話者として推薦された場合の少なくとも1つが含まれること
    を特徴とする次発話者誘導装置。
  4. 請求項1記載の次発話者誘導装置であって、
    前記次発話者決定手段は、会議参加者自らが次発話者となることを要求する次発話者要求を端末から受信した場合、または、他の会議参加者を次発話者として推薦する推薦要求を端末から受信した場合、前記次発話者要求の会議参加者または前記推薦要求の他の会議参加者を次発話者として決定すること
    を特徴とする次発話者誘導装置。
  5. ネットワークを介した遠隔会議における、コンピュータが行う次発話者誘導方法であって、
    前記コンピュータは、
    次に発言する次発話者を会議参加者に通知するための通知音声を、会議参加者毎に記憶する通知音声記憶部を有し、
    会議参加者が使用する各端末から入力される、当該会議参加者の映像データ、音声データおよびキー入力データの少なくとも1つの入力データを取得するデータ取得ステップと、
    前記データ取得ステップで取得した入力データを分析し、次発話を会議参加者の中から決定する次発話者決定ステップと、
    前記データ取得ステップで取得した入力データを分析して会話の切れ目を検出し、次発話者を通知するタイミングを決定するタイミング決定ステップと、
    前記通知音声記憶部から、次発話者決定ステップで決定した次発話者に対応する通知音声を取得し、前記タイミング決定ステップで決定したタイミングで前記通知音声を会議参加者の各端末に送信し、出力させる次発話者通知ステップと、を行うこと
    を特徴とする次発話者誘導方法。
  6. 請求項5記載の次発話者誘導方法であって、
    前記次発話者決定ステップは、前記入力データを分析し、会議参加者毎に、当該会議参加者に発生した所定のイベントを検出し、前記イベントが検出されると所定のポイントを加算し、ポイントが閾値を超えた会議参加者を次発話者として決定すること
    を特徴とする次発話者誘導方法。
  7. 請求項6記載の次発話者誘導方法であって、
    前記所定のイベントには、他の会議参加者との発話の衝突により発話を中断した場合、話者の発話音声と身体動作のタイミングが所定の相関関係で同調している場合、および次発話者として推薦された場合の少なくとも1つが含まれること
    を特徴とする次発話者誘導方法。
  8. 請求項5記載の次発話者誘導方法であって、
    前記次発話者決定ステップは、会議参加者自らが次発話者となることを要求する次発話者要求を端末から受信した場合、または、他の会議参加者を次発話者として推薦する推薦要求を端末から受信した場合、前記次発話者要求の会議参加者または前記推薦要求の他の会議参加者を次発話者として決定すること
    を特徴とする次発話者誘導方法。
  9. 請求項5から請求項8のいずれか一項に記載の次発話者誘導方法をコンピュータに実行させるための次発話者誘導プログラム。
JP2011003155A 2011-01-11 2011-01-11 次発話者誘導装置、次発話者誘導方法および次発話者誘導プログラム Expired - Fee Related JP5458027B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011003155A JP5458027B2 (ja) 2011-01-11 2011-01-11 次発話者誘導装置、次発話者誘導方法および次発話者誘導プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011003155A JP5458027B2 (ja) 2011-01-11 2011-01-11 次発話者誘導装置、次発話者誘導方法および次発話者誘導プログラム

Publications (2)

Publication Number Publication Date
JP2012146072A true JP2012146072A (ja) 2012-08-02
JP5458027B2 JP5458027B2 (ja) 2014-04-02

Family

ID=46789583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011003155A Expired - Fee Related JP5458027B2 (ja) 2011-01-11 2011-01-11 次発話者誘導装置、次発話者誘導方法および次発話者誘導プログラム

Country Status (1)

Country Link
JP (1) JP5458027B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017510179A (ja) * 2014-02-28 2017-04-06 ドルビー ラボラトリーズ ライセンシング コーポレイション 会議における変化盲を使った知覚的連続性
JP2018136952A (ja) * 2015-11-10 2018-08-30 株式会社リコー 電子会議システム
JP2019029007A (ja) * 2017-07-26 2019-02-21 ソニー株式会社 無線ローカルアドホックネットワークにおけるクライアント電子装置を制御するシステム及び方法
WO2019156079A1 (ja) * 2018-02-07 2019-08-15 日本電信電話株式会社 推定装置、推定方法、およびプログラム
JP2020042720A (ja) * 2018-09-13 2020-03-19 京セラドキュメントソリューションズ株式会社 ファシリテーション支援システムおよびファシリテーション支援プログラム
JP2020088637A (ja) * 2018-11-27 2020-06-04 株式会社イトーキ 会議支援システム及び会議用ロボット
JP2021033621A (ja) * 2019-08-23 2021-03-01 株式会社日立製作所 会議支援システムおよび会議支援方法
JP2021067846A (ja) * 2019-10-24 2021-04-30 菱洋エレクトロ株式会社 会議支援装置、会議支援方法及び会議支援プログラム
CN113132542A (zh) * 2021-05-06 2021-07-16 上海纽偲钽文化传媒有限公司 一种基于互联网的线上会议系统及方法
CN114500132A (zh) * 2022-01-12 2022-05-13 甲骨易(北京)语言科技股份有限公司 一种同传联络方法和联络器
WO2024070550A1 (ja) * 2022-09-29 2024-04-04 京セラ株式会社 システム、電子機器、システムの制御方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150648A (ja) * 1996-11-15 1998-06-02 Nec Corp テレビ会議システム
JP2004146913A (ja) * 2002-10-22 2004-05-20 Pioneer Electronic Corp テレビ会議システム及びそれに用いる端末、接続制御方法並びに接続制御プログラム
JP2005274680A (ja) * 2004-03-23 2005-10-06 National Institute Of Information & Communication Technology 会話分析方法、会話分析装置、および会話分析プログラム
JP2006304160A (ja) * 2005-04-25 2006-11-02 Fuji Xerox Co Ltd 電子会議制御プログラム、方法、電子会議システム
JP2006345250A (ja) * 2005-06-09 2006-12-21 Fujitsu Ltd 発言者決定方法
WO2007007847A1 (ja) * 2005-07-13 2007-01-18 Sharp Kabushiki Kaisha 電子会議システム、電子会議管理装置、端末装置、電子会議管理方法、制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP2010232887A (ja) * 2009-03-26 2010-10-14 Fujitsu Ltd 会議管理装置及び方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150648A (ja) * 1996-11-15 1998-06-02 Nec Corp テレビ会議システム
JP2004146913A (ja) * 2002-10-22 2004-05-20 Pioneer Electronic Corp テレビ会議システム及びそれに用いる端末、接続制御方法並びに接続制御プログラム
JP2005274680A (ja) * 2004-03-23 2005-10-06 National Institute Of Information & Communication Technology 会話分析方法、会話分析装置、および会話分析プログラム
JP2006304160A (ja) * 2005-04-25 2006-11-02 Fuji Xerox Co Ltd 電子会議制御プログラム、方法、電子会議システム
JP2006345250A (ja) * 2005-06-09 2006-12-21 Fujitsu Ltd 発言者決定方法
WO2007007847A1 (ja) * 2005-07-13 2007-01-18 Sharp Kabushiki Kaisha 電子会議システム、電子会議管理装置、端末装置、電子会議管理方法、制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP2010232887A (ja) * 2009-03-26 2010-10-14 Fujitsu Ltd 会議管理装置及び方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9876913B2 (en) 2014-02-28 2018-01-23 Dolby Laboratories Licensing Corporation Perceptual continuity using change blindness in conferencing
JP2017510179A (ja) * 2014-02-28 2017-04-06 ドルビー ラボラトリーズ ライセンシング コーポレイション 会議における変化盲を使った知覚的連続性
JP2018136952A (ja) * 2015-11-10 2018-08-30 株式会社リコー 電子会議システム
JP2019029007A (ja) * 2017-07-26 2019-02-21 ソニー株式会社 無線ローカルアドホックネットワークにおけるクライアント電子装置を制御するシステム及び方法
US10554705B2 (en) 2017-07-26 2020-02-04 Sony Corporation System and method for controlling client electronic devices in wireless local ad hoc network
US11475911B2 (en) 2018-02-07 2022-10-18 Nippon Telegraph And Telephone Corporation Estimation device, estimation method and program
WO2019156079A1 (ja) * 2018-02-07 2019-08-15 日本電信電話株式会社 推定装置、推定方法、およびプログラム
JP2019139387A (ja) * 2018-02-07 2019-08-22 日本電信電話株式会社 推定装置、推定方法、およびプログラム
JP2020042720A (ja) * 2018-09-13 2020-03-19 京セラドキュメントソリューションズ株式会社 ファシリテーション支援システムおよびファシリテーション支援プログラム
JP7185179B2 (ja) 2018-09-13 2022-12-07 京セラドキュメントソリューションズ株式会社 ファシリテーション支援システムおよびファシリテーション支援プログラム
JP2020088637A (ja) * 2018-11-27 2020-06-04 株式会社イトーキ 会議支援システム及び会議用ロボット
JP7286303B2 (ja) 2018-11-27 2023-06-05 株式会社イトーキ 会議支援システム及び会議用ロボット
JP2021033621A (ja) * 2019-08-23 2021-03-01 株式会社日立製作所 会議支援システムおよび会議支援方法
JP7347994B2 (ja) 2019-08-23 2023-09-20 株式会社日立製作所 会議支援システム
JP2021067846A (ja) * 2019-10-24 2021-04-30 菱洋エレクトロ株式会社 会議支援装置、会議支援方法及び会議支援プログラム
CN113132542A (zh) * 2021-05-06 2021-07-16 上海纽偲钽文化传媒有限公司 一种基于互联网的线上会议系统及方法
CN114500132A (zh) * 2022-01-12 2022-05-13 甲骨易(北京)语言科技股份有限公司 一种同传联络方法和联络器
CN114500132B (zh) * 2022-01-12 2024-03-26 甲骨易(北京)语言科技股份有限公司 一种同传联络方法和联络器
WO2024070550A1 (ja) * 2022-09-29 2024-04-04 京セラ株式会社 システム、電子機器、システムの制御方法、及びプログラム

Also Published As

Publication number Publication date
JP5458027B2 (ja) 2014-04-02

Similar Documents

Publication Publication Date Title
JP5458027B2 (ja) 次発話者誘導装置、次発話者誘導方法および次発話者誘導プログラム
US10218852B2 (en) Methods and systems for providing teleconference participant quality feedback
US11455985B2 (en) Information processing apparatus
US20220059077A1 (en) Training speech recognition systems using word sequences
US20220059075A1 (en) Word replacement in transcriptions
JP2016103081A (ja) 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム
JP2010074494A (ja) 会議支援装置
US9478233B2 (en) Speech fragment detection for management of interaction in a remote conference
JP2017118364A (ja) コミュニケーションシステム、コミュニケーション装置およびコミュニケーションプログラム
Byun et al. Honest signals in video conferencing
JP6565500B2 (ja) 発話状態判定装置、発話状態判定方法、及び判定プログラム
JP6943237B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2010176544A (ja) 会議支援装置
US20220059094A1 (en) Transcription of audio
EP3819904A1 (en) Method of determining the speech in a web-rtc audio or video communication and/or collaboration session and communication system
JP2010086356A (ja) 意識関与度測定装置、意識関与度測定方法および意識関与度測定プログラム
JP5143114B2 (ja) 発話の予備動作検出及び伝達方法及び装置及びプログラム
JP2013183183A (ja) 会議装置、会議方法および会議プログラム
JP2013110508A (ja) 会議装置、会議方法および会議プログラム
WO2018108284A1 (en) Audio recording device for presenting audio speech missed due to user not paying attention and method thereof
JP5164911B2 (ja) アバタ生成装置、方法およびプログラム
JP6529065B2 (ja) ロボット制御装置、ロボット制御システムおよびロボット制御プログラム
JP5432805B2 (ja) 発言機会均等化方法、発言機会均等化装置及び発言機会均等化プログラム
JP2014120793A (ja) ユーザモニタリング装置およびその動作方法
JP2021072497A (ja) 分析装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131015

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140110

R150 Certificate of patent or registration of utility model

Ref document number: 5458027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees