JP2021140569A - 発話支援装置、発話支援方法、および発話支援プログラム - Google Patents

Abstract

【課題】話者による会議の生産性の高くない状態から生産性の高い状態に促すこと。【解決手段】発話支援装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する発話支援装置であって、前記プロセッサは、複数の話者の各々の発話時間の累積値を算出し、前記累積値が所定値に到達した話者の前記累積値をクリアする算出処理と、前記話者ごとに割り当てられた表示領域群のうち、前記累積値が前記所定値に到達した話者に割り当てられた表示領域に、第１図形を表示する表示処理と、を実行することを特徴とする。【選択図】図２

Description

本発明は、発話を支援する発話支援装置、発話支援方法、および発話支援プログラムに関する。

特許文献１は、会議中の複数の参加者の音声を取得して，刻々と変わる参加者の会話状況をリアルタイムに表示することで、より積極的な議論を誘発するような会議可視化システムを開示する。この会議可視化システムは、複数の会議参加者に対応した複数の音声収集部から収集した音声データを音声処理サーバで処理し、発話情報を抽出し、この発話情報を集計処理サーバに順次入力する。処理サーバのストリームデータ処理部は、この発話情報に対して、クエリ処理を施すことにより会議参加者の会議における発言回数累積値などのアクティビティデータを生成する。表示処理部は、このアクティビティデータに基づき、会議参加者の対話状況を円の大きさや線の太さなどを用いて可視化して表示する。

特開２００８−２６２０４６号公報

会議で議論が活発に行われるには、会議の生産性の向上に寄与する発話行動が必要である。ここで、話者全員がたくさん喋っている状態を生産性の高い状態と定義すると、一部の話者のみがたくさん喋っている状態、全員が少しずつ喋っている状態、および、誰もあまり喋っていない状態では、生産性の高くない状態といえる。

本発明は、上述した話者による会議の生産性の高くない状態から生産性の高い状態に促すことを目的とする。

本願において開示される発明の一側面となる発話支援装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する発話支援装置であって、前記プロセッサは、複数の話者の少なくとも１人が発話した第１発話時間長に関する全体発話レベルと、前記複数の話者の各々の話者が発話した複数の第２発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の会話に対する介入者を決定する決定処理と、前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、を実行することを特徴とする。

本発明の代表的な実施の形態によれば、話者による会議の生産性の高くない状態から生産性の高い状態に促すことができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

図１Ａは、会議の状態を判別する状態判別グラフである。 図１Ｂは、話者個人の属性を判別する属性判別グラフである。 図２は、発話支援装置を用いた会議の一例を示す説明図である。 図３は、発話支援装置のハードウェア構成例を示すブロック図である。 図４は、発話支援情報の表示例を示す説明図である。 図５は、発話音量の時系列データの一例を示す説明図である。 図６は、発話有無の時系列データの一例を示す説明図である。 図７は、図５の発話音量の時系列データに対応する発話音量テーブルである。 図８は、図６の発話有無の時系列データに対応する発話時間テーブルおよび累積値テーブルの一例を示す説明図である。 図９は、話者間会話テーブルの一例を示す説明図である。 図１０は、介入者への通知例を示す説明図である。 図１１は、発話支援装置による会議の発話状態の分析結果表示例を示す説明図である。 図１２は、発話支援装置による発話支援処理手順例を示すフローチャートである。

＜会議の生産性＞
会議の生産性は、会議でのディスカッション量と正の相関があると考えられる。すなわち、話者全体で発話量が多いほど会議の生産性が高くなる。会議の生産性の阻害要因としては、一方的に喋り過ぎる人と、発言が少ないまたはしない人が挙げられる。一方的に喋り過ぎる人は、自分自身の喋りすぎに気が付いていなかったり、沈黙が怖くてしゃべり続けたりする。発言が少ないまたはしない人は、そもそも自分には関係のない議論をしていると思っていたり、自分には関係あるが、意図的に存在を消したりする。意図的に存在を消す理由としては、たとえば、自分にタスクが発生するのを嫌っていたり、自分はそもそも話さない役割だと勝手に決めていたりするからである。

図１Ａは、会議の状態を判別する状態判別グラフである。状態判別グラフ１００の横軸は全体話者バランスであり、縦軸は全体発話レベルである。横軸は、右に行くほど全体話者バランスがよく、左に行くほど全体話者バランスが悪いことを示す。全体話者バランスとは、各話者の発話量の均衡度であり、各話者の発話量が均衡するほど全体話者バランスがよく、各話者の発話量が不均衡になるほど全体話者バランスが悪い。発話量とは、発話時間の長さ（発話時間長）である。縦軸は、上に行くほど全体発話レベルが高くなり、下に行くほど全体発話レベルが低くなることを示す。全体発話レベルとは、複数の話者のうち少なくとも１人が発話した発話時間長、または、会議の経過時間に対する当該発話時間長の割合である。

第１象限１０１は、全体話者バランスが良く、かつ、全体発話レベルが高い、すなわち、全員がたくさん喋っている状態である。このような状態が生産性の高い状態となる。第２象限１０２は、全体話者バランスは悪いが全体発話レベルが高い、すなわち、偏った人がたくさん喋っている状態である。第３象限１０３は、全体話者バランスが悪く、かつ、全体発話レベルも低い、すなわち、誰もあまり喋っていない状態を示す。第４象限１０４は、全体話者バランスは良いが、全体発話レベルが低い状態、すなわち、全員が少しずつ喋っている状態である。

第２象限１０２、第３象限１０３、および第４象限１０４の状態が生産性の高くない状態であり、発話支援装置は、生産性の高くない状態を第１象限１０１の生産性の状態にするための発話支援を実行する。これにより、発話量が少ない話者ほど発話量が多くなり、発話量が多い話者ほど、発話を抑制することが期待される。

図１Ｂは、話者個人の属性を判別する属性判別グラフである。属性判別グラフ１１０の横軸は個人話者バランスであり、縦軸は個人発話レベルである。横軸は、右に行くほど個人話者バランスがよく、左に行くほど個人話者バランスが悪いことを示す。個人話者バランスとは、当該話者の他の話者との発話量の均衡度であり、他の話者との発話量が均衡するほど個人話者バランスがよく、他の話者との発話量が不均衡になるほど個人話者バランスが悪い。縦軸は、上に行くほど個人発話レベルが高くなり、下に行くほど個人発話レベルが低くなることを示す。個人発話レベルとは、話者が発話した発話時間長、または、会議の経過時間に対する当該発話時間長の割合である。

第１象限１１１は、個人話者バランスが良く、かつ、個人発話レベルが高い、すなわち、当該話者がたくさん喋っている状態である。このような状態の話者は、話者タイプＩという属性に判別される。話者タイプＩは、会議の進行役、すなわち、ファシリテータである。たとえば、会話が図１Ａの第３象限１０３の状態の場合に（介入タイミングＴ３）、話者タイプＩの話者が介入者として会話に介入することで、発話支援装置は、介入者が発言が少ない話者に話を振るよう促し、全体発話レベルの向上を図る。これにより、会話の状態が第３象限１０３の状態から第２象限１０２の状態に遷移する。

第２象限１１２は、個人話者バランスは悪いが個人発話レベルが高い、すなわち、当該話者が特定の話者とたくさん喋っている状態である。このような状態の話者は、話者タイプＩＩという属性に判別される。話者タイプＩＩは、話題提供者である。たとえば、会話が図１Ａの第４象限１０４の状態の場合に（介入タイミングＴ２）、話者タイプＩＩの話者が介入者として会話に介入することで、発話支援装置は、介入者が話題提供または先行議論の機会を他の話者に与えるよう促し、全体発話レベルの向上を図る。これにより、会話の状態が第３象限１０３の状態から第２象限１０２の状態または第１象限１０１の状態に遷移する。

第３象限１１３は、個人話者バランスが悪く、かつ、個人発話レベルも低い、すなわち、当該話者が誰ともあまり喋っていない状態を示す。このような状態の話者は、話者タイプＩＶという属性に判別される。話者タイプＩＶは、発言の支援が必要な話者である。たとえば、会話が図１Ａの第２象限１０２の状態の場合に（介入タイミングＴ１）、話者タイプＩＶの話者が介入者として会話に介入することで、発話支援装置は、介入者が話題（バランス）調整の機会を、たくさん喋っている特定の話者以外の他の話者に与えるよう促し、当該特定の話者に自身が喋りすぎていることに気づかせたり、自身の発話自体が無駄になったりするという感覚を与える。これにより、たとえば、特定の話者が発話を抑制したり、話を他の話者に振ったり、発話内容を簡易にしたりする、という行動の変化が促進される。したがって、会話の状態が第２象限１０２の状態から第１象限１０１の状態に遷移する。

第４象限１１４は、個人話者バランスは良いが、個人発話レベルが低い状態、すなわち、当該話者が他の話者の各々と少しずつ喋っている状態である。このような状態の話者は、話者タイプＩＩＩという属性に判別される。話者タイプＩＩＩは、有識者である。たとえば、会話が図１Ａの第２象限１０２の状態の場合に（介入タイミングＴ１）、話者タイプＩＩＩの有識者が介入者として会話に介入することで、発話支援装置は、話者タイプＩＶの話者が介入者として会話に介入した場合と同様、会話の状態が第２象限１０２の状態から第１象限１０１の状態に遷移する。

会話が図１Ａの第１象限１０１の状態になることで、介入者は、全体発話レベルと全体話者バランスとの向上に寄与したという快感を得ることができ、全体発話レベルおよび全体話者バランスを維持しようとする。これにより、生産性の高い状態が継続することになる。

＜会議＞
図２は、発話支援装置を用いた会議の一例を示す説明図である。図２は、５人の話者Ａ〜Ｅが会議に参加してディスカッションする例を示す。また、会議では、発話支援装置２００と、集音装置２０１と、表示装置２０２と、が用いられる。発話支援装置２００は、発話支援プログラムがインストールされたコンピュータである。集音装置２０１は、話者Ａ〜Ｅからの発話音声を集音して、電気信号に変換し、発話支援装置２００に送信する。集音装置２０１は、発話支援装置２００に内蔵されてもよい。表示装置２０２は、表示画面２０３を有し、発話支援装置２００からの発話支援情報２１０を表示画面２０３に表示する。また、表示装置２０２に替えてプロジェクタを用い、プロジェクタが発話支援結果を壁に投影してもよい。なお、各話者Ａ〜Ｅの話者ＩＤを、それぞれ１〜５とする。以降、本実施例では、５人の話者Ａ〜Ｅで会議する場合について説明する。

＜発話支援装置２００のハードウェア構成例＞
図３は、発話支援装置２００のハードウェア構成例を示すブロック図である。発話支援装置２００は、プロセッサ３０１と、記憶デバイス３０２と、入力デバイス３０３と、出力デバイス３０４と、通信インターフェース（通信ＩＦ）３０５と、を有する。プロセッサ３０１、記憶デバイス３０２、入力デバイス３０３、出力デバイス３０４、および通信ＩＦ３０５は、バス３０６により接続される。プロセッサ３０１は、発話支援装置２００を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス３０３は、データを入力する。入力デバイス３０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナ、マイクがある。出力デバイス３０４は、データを出力する。出力デバイス３０４としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信ＩＦ３０５は、ネットワークと接続し、データを送受信する。

＜発話支援情報２１０の表示例＞
図４は、発話支援情報２１０の表示例を示す説明図である。表示画面２０３には、発話支援情報２１０が表示されている。発話支援情報２１０は、第１表示領域４０１と、第２表示領域４０２と、第３表示領域４０３と、を有する。第１表示領域４０１は、各話者Ａ〜Ｅの発話量を示すブロック４１２を表示する領域である。なお、話者Ａ〜Ｅの各第１表示領域を、第１表示領域４０１ａ〜４０１ｅとする。第１表示領域４０１ａ〜４０１ｅは、表示画面２０３の横方向に配列する。話者Ａ〜Ｅを区別しない場合は、第１表示領域４０１ｘと表記する。

ブロック４１２は、話者Ａ〜Ｅが所定の累積時間分発話した発話量を示す図形である。本例では、ブロック４１２の形状を矩形としたが、円や楕円、台形、３角形、５頂点以上の多角形など他の形状でもよい。ブロック４１２は、第１表示領域４０１ａ〜４０１ｅにおいて、話者Ａ〜Ｅが所定の累積時間分発話する都度、積み上げられる。図４では、話者Ａは４個、話者Ｂは６個、話者Ｃは３個、話者Ｄは０個、話者Ｅは１個のブロック４１２である。

このように、ブロック４１２が高く積みあがっている話者ほど発話量が多いことがわかる。また、話者Ａ〜Ｅごとのブロック４１２の数が均衡しているほど、全体話者バランスがよいことがわかる。

また、第１表示領域４０１ａ〜４０１ｅには、各話者Ａ〜Ｅの話者ＩＤ４１１ａ〜４１１ｅが表示される。これにより、どの話者Ａ〜Ｅがどの第１表示領域４０１ａ〜４０１ｅに割り当てられているかを視認することができる。

第２表示領域４０２は、第１表示領域４０１の上に存在する。第２表示領域４０２は、画像として、第１表示領域４０１ａ〜４０１ｅごとに、吐出口４２１ａ〜４２１ｅと、容器４２２ａ〜４２２ｅと、を有する。吐出口４２１ａ〜４２１ｅを区別しない場合は、単に吐出口４２１と表記する。容器４２２ａ〜４２２ｅを区別しない場合は、単に容器４２２と表記する。

吐出口４２１は、液滴を容器４２２に吐出する。容器４２２は、液滴を貯留する。貯留した液体は、発話量を示す。発話量が所定量貯留すると、容器４２２に貯留した液体が、ブロック４１２として、第１表示領域４０１の上から下に落下し、容器４２２は空になる。

第３表示領域４０３は、たとえば、発話支援情報２１０の右端に配置される。第３表示領域４０３は、スコア４３０を表示する。スコア４３０は、第１表示領域４０１ａ〜４０１ｅの最下位置のブロック列を消去した回数に基づく値である。スコア４３０が高いほど、話者バランスがよく、かつ、発話量が多い、すなわち、会議の生産性が第１象限１０１の状態である、または、第２象限１０２〜第４象限１０４から第１象限１０１の状態に遷移していることを意味する。

＜音声取得例＞
図５は、発話音量の時系列データを示す説明図である。発話音量の時系列データ５００は、話者ＩＤ４１１ａ〜４１１ｅごとに、単位時間（たとえば、１秒）ごとに発話した音量をプロットしたデータ列である。

図６は、発話有無の時系列データの一例を示す説明図である。発話有無の時系列データ６００は、話者ＩＤ４１１ａ〜４１１ｅごとに、単位時間（たとえば、１秒）ごとの発話の有無をプロットしたデータ列である。発話の時系列データ６００は、たとえば、発話音量の時系列データ５００を所定のしきい値で２値化したデータ列である。

図７は、図５の発話音量の時系列データ５００に対応する発話音量テーブルである。発話音量テーブル７００において、時間ｔ１、ｔ２、ｔ３、…は、単位時間の時系列である。話者ＩＤ４１１ａ〜４１１ｅごとの値は、音量を示す。特に「０」は沈黙を示す。累積値は、経過した時間ｔ１、ｔ２、ｔ３、…における音量の合計値である。

図８は、図６の発話有無の時系列データ６００に対応する発話時間テーブルおよび累積値テーブルの一例を示す説明図である。（Ａ）発話時間テーブル８００において、時間ｔ１、ｔ２、ｔ３、…は、単位時間の時系列である。話者ＩＤ４１１ａ〜４１１ｅごとの「０」は、発話していないことを示し、「１」は発話したことを示す。たとえば、時間ｔ３の単位時間では、話者ＩＤ：３の話者Ｃのみが発話し、他の話者Ａ，Ｂ，Ｄ，Ｅは、発話していないことを示す。

全体発話有無８０１とは、時間ｔ１、ｔ２、ｔ３、…ごとの、全話者Ａ〜Ｅのうち少なくとも一人が発話した有無を示す情報である。すなわち、時間ｔ１、ｔ２、ｔ３、…ごとに、話者ＩＤ：１〜５（話者Ａ〜Ｅ）のうち一人でも「１」がある行では、全体発話有無８０１の値は「１」（全体発話あり）になり、話者ＩＤ：１〜５（話者Ａ〜Ｅ）の全員が「０」がある行では、全体発話有無８０１の値は「０」（全体発話なし）になる。

全体発話割合８０２とは、全体発話有無８０１の総数（すなわち、単位時間の総数）に対する全体発話ありの割合である。発話時間テーブル８００では、時間ｔ１、ｔ２の全体発話有無８０１の値がともに「０」であり、時間ｔ３〜ｔ９の全体発話有無８０１の値がいずれも「１」であるため、全体発話割合８０２は「７／９」になる。全体発話割合８０２は、図１Ａの縦軸の全体発話レベルの一例である。全体発話割合８０２が高いほど、全体発話レベルが高くなる。また、全体発話割合８０２の分子（本例では「７」）は、全体発話量を示す。全体発話量も、図１Ａの縦軸の全体発話レベルの一例である。全体発話量が大きいほど、全体発話レベルが高くなる。

（Ｂ）累積値テーブル８１０は、話者ＩＤごとの発話時間（たとえば、時間ｔ１〜ｔ９）の累積値８１１を記憶するテーブルである。たとえば、話者ＩＤ：１の話者Ａは、発話時間テーブル８００の時間ｔ４〜ｔ６、ｔ９の値が「１」であるため、発話時間の累積値８１１は「４」である。各話者ＩＤ４１１ａ〜４１１ｅの発話時間の累積値８１１は、図１Ｂの縦軸の個人発話レベルの一例である。発話時間の累積値８１１が大きいほど個人発話レベルが高くなる。また、発話時間の累積値８１１に替えて、累積値割合としてもよい。累積値割合とは、全体発話有無８０１の総数（すなわち、単位時間の総数）に対する累積値８１１の割合である。累積値割合も、図１Ｂの縦軸の個人発話レベルの一例である。累積値割合が大きいほど個人発話レベルが高くなる。

平均８１２は、各話者ＩＤの発話時間の累積値８１１を平均した値である。分散８１３は、各話者ＩＤ４１１ａ〜４１１ｅの発話時間の累積値８１１のばらつきを示す値（分散値）である。分散８１３は、図１Ａの横軸の全体話者バランスの一例である。分散８１３が小さくなるほど（０に近くなるほど）全体話者バランスが良くなり、分散８１３が大きくなるほど全体話者バランスが悪くなる。

図９は、話者間会話テーブルの一例を示す説明図である。話者間会話テーブル９００は、会話回数マトリクス９０１と、平均９０２と、分散９０３と、を有する。会話回数マトリクス９０１は、各話者が他の話者と何回（１回が１単位時間（たとえば、１秒））会話したかを示すマトリクスである。具体的には、たとえば、同じ時間ｔ１、ｔ２、ｔ３、…に同時に発話した他の話者が存在する場合、当該他の話者の話者ＩＤ４１１ａ〜４１１ｅとのセルの値が「１」計数される。

たとえば、話者間会話テーブル９００の一行目は、話者ＩＤ：１の話者Ａが、話者ＩＤ：２の話者Ｂとは３回（３秒）、話者ＩＤ：３の話者Ｃとは３回（３秒）、話者ＩＤ：４の話者Ｄとは０回（０秒）、話者ＩＤ：５の話者Ｅとは２回（２秒）会話したことを示す。なお、発話支援装置２００は、発話内容自体を認識しないため、実際に話者が他の話者と会話したか、話者と他の話者が偶然同じタイミングで発話したかまでは認識しないが、発話が共起したとして当該セルの値が計数される。

なお、発話支援装置２００は、どの話者がいつ発話したかを認識することができる。具体的には、たとえば、発話支援装置２００は、各話者Ａ〜Ｅの音声データを事前に取得し、メル周波数ケプストラム係数や音声の到達角度、音量といったパラメータに基づいて、各話者Ａ〜Ｅの特徴情報を生成する。発話支援装置２００は、会議で音声データを取得すると、特徴情報を生成し、事前に生成した特徴情報に類似する場合、当該類似する特徴情報に対応する話者を特定する。

また、発話支援装置２００は、上述したパラメータと正解データ（話者）との組み合わせである訓練データセットを用いて、機械学習により学習モデルを生成する。発話支援装置２００は、会議で音声データを取得すると、学習モデルに入力して、誰の発話であるかを特定する。

また、集音装置２０１がマイクアレイであれば、発話支援装置２００は、集音装置２０１への音声の入力方向を検出することにより、話者を特定してもよい。この場合、発話支援装置２００は、あらかじめ話者の位置と話者ＩＤ４１１ａ〜４１１ｅとを対応付けておき、各話者は自分の話者ＩＤ４１１ａ〜４１１ｅを認識しているものとする。

また、会話の内容が収録されると話者は発話するのに抵抗感を抱くため、発話支援装置２００は、発話内容の認識をしない。したがって、収録した音声データは、リアルタイムで消去される（ただし、発話音量テーブル７００、発話時間テーブル８００、累積値テーブル８１０、および話者間会話テーブル９００は残る）。したがって、音声データの流出が抑制される。これにより、情報の漏洩を防止することができる。また、発話支援装置２００は、発話内容の認識をしないため、会話の内容からブロック２１４を生成しない。したがって、日本語のほか、英語、フランス語、ドイツ語、中国語などの外国語のように、どのような言語であっても、発話支援装置２００は、適用可能であり、汎用性が高い。

＜介入者への通知例＞
発話支援装置２００は、介入者を決定すると、介入者に関する情報を出力する。介入者に関する情報とは、介入者に決定された話者が誰であるかが、全話者Ａ〜Ｅのうち少なくとも介入者に把握可能である。具体的には、たとえば、介入者に関する情報は、会話への介入を介入者に促す情報である。発話支援装置２００は、介入者が他の話者に変更またはいずれの話者にも決定されなくなるまで、介入者に関する情報の出力を継続する。介入者に関する情報の出力は、たとえば、以下のように実行される。

図１０は、介入者への通知例を示す説明図である。発話支援装置は、介入者を決定すると、介入者に関する情報として、介入者の第１表示領域４０１に、介入を促す通知情報１０００を表示する。図１０では、介入者を話者ＩＤ４１１が「２」の話者Ｂとし、通知情報１０００を星形のシンボルとする。なお、介入者に関する情報は、介入者であることが特定されれば、星形のシンボルに限らず、他の形状でもよく、また、文字列でもよい。また、出力形式は、表示画面２０３への表示に限らず、介入者を特定可能な音声（たとえば、介入者の話者ＩＤや発話支援装置に登録済みの介入者の氏名の読み上げ）の出力でもよい。

また、第１表示領域４０１には、ブロック列１００１が表示されている。ブロック列１００１とは、各第１表示領域４０１ａ〜４０１ｅの最下位置に配列されたブロック４１２の集合である。ブロック列１００１が表示されると、発話支援装置２００は、ブロック列１００１を消去して、残余のブロック４１２を下方に１ブロック分シフトする。そして、発話支援装置２００は、スコア４３０を更新（１を加算）する。

＜分析結果表示例＞
図１１は、発話支援装置２００による会議の発話状態の分析結果表示例を示す説明図である。表示画面２０３には、分析結果情報１１００が表示される。分析結果情報１１００は、分析グラフ１１０１と、スコア情報１１０２と、発話時間情報１１０３と、会話傾向情報１１０４と、活性度グラフ１１０５と、を含む。また、第３表示領域４０３には、これまでの８回のタームでのスコア４３０が表示されている。タームは、ディスカッションの単位であり、１タームは、たとえば、１０分などの所定時間である。

分析グラフ１１０１は、状態判別グラフ１００と同様のグラフである。図１１では、今回の会議の状態が第１象限に位置している（図１１中、〇で表記）ことを示す。なお、発話支援装置は、会議の開始から終了までの経時的な軌跡を分析グラフに表示してもよい。

スコア情報１１０２は、これまでの８回のタームのスコア４３０の累積値（図１１では、５９５）と、今回のタームでのスコア４３０（図１１では、９７）とを含む。スコア４３０の値は、たとえば、ブロック列１００１をクリアした回数である。

発話時間情報１１０３は、１タームの時間を１００％とした場合の発話時間を示す円グラフである。図１１の例では、１タームの時間のうち８０％が発話時間であることを示す。発話時間のうち、円弧１１３１は、介入者による介入後の発話時間を示す。

会話傾向情報１１０４は、会話の傾向を示す情報である。具体的には、たとえば、会話傾向情報１１０４は、各話者が他の話者とどのくらい発話したかを示す無向グラフである。無向グラフのノード内の数字は、話者ＩＤである。ノードの大きさは、その話者の発話時間長に比例する。ノード間のリンクは、当該リンクの両端のノードの話者間の同一単位時間での発話回数（図９の会話回数マトリクス９０１の値）が多いほど、短くかつ太くなる。

活性度グラフ１１０５は、活性度の時間的経過を示すグラフである。活性度とは、図７に示した全話者の発話音量である。

＜発話支援処理手順例＞
図１２は、発話支援装置２００による発話支援処理手順例を示すフローチャートである。発話支援装置２００は、会議（１ターム分のディスカッションもでもよい。以下同様）開始から所定時間経過などにより会議終了であるか否かを判断する（ステップＳ１２００）。会議終了でない場合（ステップＳ１２００：Ｎｏ）、発話支援装置２００は、集音装置２０１から音声データを取得し（ステップＳ１２０１）、話者を特定する（ステップＳ１２０２）。これにより、発話支援装置２００は、話者特定後の図５に示した発話音量の時系列データ５００により、図７に示した発話音量テーブル７００を更新し、話者特定後の図６に示した発話有無の時系列データ６００により、図８に示した発話時間テーブル８００を更新する。

つぎに、発話支援装置２００は、ステップＳ１２０２の特定結果を用いて、発話時間テーブル８００、累積値テーブル８１０、および話者間会話テーブル９００を更新する（ステップＳ１２０３）。

発話支援装置２００は、発話時間テーブル８００の全体発話割合８０２を全体発話レベルとし、累積値テーブル８１０の話者全体の分散８１３を全体話者バランスとして、発話状態を決定する（ステップＳ１２０４）。すなわち、発話支援装置２００は、状態判別グラフ１００のうち現在の発話状態が第１象限１０１〜第４象限１０４のいずれに該当するか判断する。

つぎに、発話支援装置２００は、各話者について、累積値テーブル８１０の累積値８１１を個人発話レベルとし、話者間会話テーブル９００の分散９０３を個人話者バランスとして、属性、すなわち、話者タイプを特定する（ステップＳ１２０５）。すなわち、発話支援装置２００は、話者ごとに、属性判別グラフ１１０のうち話者が第１象限１１１〜第４象限１１４のいずれの話者タイプに該当するか判断する。

つぎに、発話支援装置２００は、ステップＳ１２０４で決定された発話状態で介入すべき介入者を決定する。（ステップＳ１２０６）。具体的には、たとえば、発話支援装置２００は、発話状態が第２象限１０２の状態であれば、介入者を、ステップＳ１２０５で話者タイプＩＩＩまたはＩＶに特定された話者に決定する。また、発話支援装置２００は、発話状態が第３象限１０３の状態であれば、介入者を、ステップＳ１２０５で話者タイプＩに特定された話者に決定する。また、発話支援装置２００は、発話状態が第４象限１０４の状態であれば、介入者を、ステップＳ１２０５で話者タイプＩＩに特定された話者に決定する。

なお、発話支援装置２００は、該当する話者が複数存在する場合は、いずれの話者も介入者に決定してもよく、いずれか一人を介入者に決定してもよい。いずれか一人に決定する場合、たとえば、発話支援装置２００は、複数の該当者のうちこれまでの発話量が最も多い話者を介入者に決定してもよい。

そして、発話支援装置２００は、ステップＳ１２０６で決定された介入者に関する情報を出力し（ステップＳ１２０７）、ステップＳ１２００に戻る。ステップＳ１２００において、会議終了である場合（ステップＳ１２００：Ｙｅｓ）、発話支援装置２００は、分析結果情報１１００を生成する（ステップＳ１２０８）。たとえば、円弧１１３１に相当する介入者による介入後の発話時間については、介入者による介入後の全体発話時間の累積値を、ステップＳ１２０４で発話状態が他の象限に遷移するまで計数することにより算出される。このあと、図１１に示したように、表示画面２０３に表示する（ステップＳ１２０９）。これにより、発話支援処理手順が終了する。

このように、たとえば、会話が図１Ａの第３象限１０３の状態の場合に、話者タイプＩの話者が介入者として会話に介入することで、全体発話レベルの向上を促す。これにより、会話の状態が第３象限１０３の状態から第２象限１０２の状態に促される。

また、会話が図１Ａの第４象限１０４の状態の場合に、話者タイプＩＩの話者が介入者として会話に介入することで、全体発話レベルの向上を促す。これにより、会話の状態が第３象限１０３の状態から第２象限１０２の状態または第１象限１０１の状態に促される。

また、会話が図１Ａの第２象限１０２の状態の場合に、話者タイプＩＩＩの話者が介入者として会話に介入することで、特定の話者に自身が喋りすぎていることに気づかせたり、自身の発話自体が無駄になったりするという感覚を与える。これにより、たとえば、特定の話者が発話を抑制したり、話を他の話者に振ったり、発話内容を簡易にしたりする、という行動の変化が促進される。したがって、会話の状態が第２象限１０２の状態から第１象限１０１の状態に促される。

また、会話が図１Ａの第２象限１０２の状態の場合に、話者タイプＩＶの話者が介入者として会話に介入することで、話者タイプＩＩＩの話者が会話に介入した場合と同様、会話の状態が第２象限１０２の状態から第１象限１０１の状態に促される。

また、会話が図１Ａの第１象限１０１の状態になることで、介入者は、全体発話レベルと全体話者バランスの向上に寄与したという快感を得ることができ、全体発話レベルおよび全体話者バランスを維持しようとする。これにより、生産性の高い状態が継続することになる。

また、上述した実施例では、発話支援装置２００がリアルタイムで話者ごとに話者タイプを特定したが、発話支援装置２００は、各話者の話者タイプを属性情報としてあらかじめ記憶デバイス３０２に記憶していてもよい。この場合、ステップＳ１２０３では、発話支援装置２００は、話者間会話テーブル９００を更新しなくてもよい。また、ステップＳ１２０５では、発話支援装置２００は、記憶デバイス３０２から属性情報を参照することにより、話者ごとに話者タイプを特定することになる。これにより、発話支援処理の高速化を図ることができる。また、上述した実施例のようにリアルタイムで話者ごとに話者タイプを特定することにより、話者の属性特定の高精度化を図ることができる。

また、上述した実施例では、発話支援情報２１０を表示装置２０２に表示した例について説明したが、発話支援装置２００は、発話支援装置２００と通信可能な各話者の端末（たとえば、パーソナルコンピュータやスマートフォン）に発話支援情報２１０を送信してもよい。これにより、各話者Ａ〜Ｅは自身の端末で、自分のブロック数や他の話者のブロック数、スコア４３０、通知情報１０００の有無を確認することができる。

特に、内気な性格の話者の発話量は少なくなりがちであり、表示装置２０２で当該話者のブロック４１２の少なさが他の話者にわかると、余計に当該話者は、発話を躊躇することもある。このため、発話支援情報２１０を各話者Ａ〜Ｅの端末に表示することにより、発話を躊躇するのを抑制することができる。

このように、本実施例によれば、話者Ａ〜Ｅによる会議の生産性の高くない状態から生産性の高い状態になるよう支援することができる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。たとえば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、たとえば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

２００ 発話支援装置
２０１ 集音装置
２０２ 表示装置
２０３ 表示画面
２１０ 発話支援情報
３０１ プロセッサ
３０２ 記憶デバイス
７００ 発話音量テーブル
８００ 発話時間テーブル
８０１ 全体発話有無
８０２ 全体発話割合
８１０ 累積値テーブル
８１１ 累積値
８１２ 平均
８１３ 分散
９００ 話者間会話テーブル
９０１ 会話回数マトリクス
９０２ 平均
９０３ 分散
１０００ 通知情報
１１００ 分析結果情報

Claims (15)

1. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する発話支援装置であって、
   前記プロセッサは、
   複数の話者の少なくとも１人が発話した第１発話時間長に関する全体発話レベルと、前記複数の話者の各々の話者が発話した複数の第２発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の会話に対する介入者を決定する決定処理と、
   前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、
   を実行することを特徴とする発話支援装置。
2. 請求項１に記載の発話支援装置であって、
   前記複数の話者の各々の属性を記憶する属性情報にアクセス可能であり、
   前記決定処理では、前記プロセッサは、前記全体発話レベルが所定の全体発話レベルに到達しておらず、または、前記全体話者バランスが所定の全体話者バランスに到達していない場合、前記属性情報に基づいて、前記介入者を決定する、
   ことを特徴とする発話支援装置。
3. 請求項２に記載の発話支援装置であって、
   前記決定処理では、前記プロセッサは、前記全体発話レベルが前記所定の全体発話レベルに到達している場合、前記属性情報に基づいて、前記介入者を、前記複数の話者の中の有識者または発言の支援が必要な話者に決定する、
   ことを特徴とする発話支援装置。
4. 請求項２に記載の発話支援装置であって、
   前記決定処理では、前記プロセッサは、前記全体話者バランスが前記所定の全体話者バランスに到達している場合、前記属性情報に基づいて、前記介入者を、前記複数の話者の中の話題の提供者に決定する、
   ことを特徴とする発話支援装置。
5. 請求項２に記載の発話支援装置であって、
   前記決定処理では、前記プロセッサは、前記全体発話レベルが前記所定の全体発話レベルに到達しておらず、かつ、前記全体話者バランスが前記所定の全体話者バランスに到達していない場合、前記属性情報に基づいて、前記介入者を、前記複数の話者の中の前記会話の進行役に決定する、
   ことを特徴とする発話支援装置。
6. 請求項２に記載の発話支援装置であって、
   前記プロセッサは、
   前記第２発話時間長に関する個人発話レベルと、前記話者が他の話者と同時間帯に発話した前記他の話者の人数分の第３発話時間長から得られる前記話者の個人話者バランスと、に基づいて、前記話者の属性を特定して、前記属性情報を生成する特定処理を実行し、
   前記決定処理では、前記プロセッサは、前記全体発話レベルが前記所定の全体発話レベルに到達しておらず、または、前記全体話者バランスが前記所定の全体話者バランスに到達していない場合、前記特定処理によって生成された前記属性情報に基づいて、前記介入者を決定する、
   ことを特徴とする発話支援装置。
7. 請求項６に記載の発話支援装置であって、
   前記特定処理では、前記プロセッサは、前記個人発話レベルが所定の個人発話レベルに到達しており、かつ、前記個人話者バランスが所定の個人話者バランスに到達している場合、前記話者の属性が前記会話の進行役であると特定する、
   ことを特徴とする発話支援装置。
8. 請求項６に記載の発話支援装置であって、
   前記特定処理では、前記プロセッサは、前記個人発話レベルが所定の個人発話レベルに到達しており、かつ、前記個人話者バランスが所定の個人話者バランスに到達していない場合、前記話者の属性が話題の提供者であると特定する、
   ことを特徴とする発話支援装置。
9. 請求項６に記載の発話支援装置であって、
   前記特定処理では、前記プロセッサは、前記個人発話レベルが所定の個人発話レベルに到達しておらず、かつ、前記個人話者バランスが所定の個人話者バランスに到達している場合、前記話者の属性が有識者であると特定する、
   ことを特徴とする発話支援装置。
10. 請求項６に記載の発話支援装置であって、
    前記特定処理では、前記プロセッサは、前記個人発話レベルが所定の個人発話レベルに到達しておらず、かつ、前記個人話者バランスが所定の個人話者バランスに到達していない場合、前記話者の属性が発言の支援が必要な話者であると特定する、
    ことを特徴とする発話支援装置。
11. 請求項１に記載の発話支援装置であって、
    前記決定処理では、前記プロセッサは、前記複数の話者の会話期間内に前記介入者を決定し、
    前記出力処理では、前記プロセッサは、前記会話期間内に前記介入者に関する情報を出力する、
    ことを特徴とする発話支援装置。
12. 請求項１に記載の発話支援装置であって、
    前記出力処理では、前記プロセッサは、前記決定処理によって前記介入者が変更または決定されなくなるまで、前記介入者に関する情報の出力を継続する、
    ことを特徴とする発話支援装置。
13. 請求項１に記載の発話支援装置であって、
    前記出力処理では、前記プロセッサは、前記会話への介入を前記介入者に促す情報を出力する、
    ことを特徴とする発話支援装置。
14. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する発話支援装置が実行する発話支援方法であって、
    前記発話支援方法は、
    前記プロセッサが、
    複数の話者の少なくとも１人が発話した第１発話時間長に関する全体発話レベルと、前記複数の話者の各々の話者が発話した複数の第２発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の会話に対する介入者を決定する決定処理と、
    前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、
    を実行することを特徴とする発話支援方法。
15. プロセッサに、
    複数の話者の少なくとも１人が発話した第１発話時間長に関する全体発話レベルと、前記複数の話者の各々の話者が発話した複数の第２発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の会話に対する介入者を決定する決定処理と、
    前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、
    を実行させるための発話支援プログラム。

Images