JP2009163431A - コミュニケーション算定装置、会合関数算定装置、会合関数算定方法および会合関数算定用プログラム - Google Patents

Abstract

【課題】会合参加者間の発話誘発度などの、会合参加者間の関係性まで考慮して会合活性度を評価することにより、会合の活性化に資する会合関数算定装置を提供する。
【解決手段】会合参加者の動作または現象を表す会合入力情報を取得する情報取得部１０ａと、会合入力情報の時間的変化に関するデータである時系列データを得る時系列データ処理部１０ｂと、時系列データにおける会合参加者間の相関を算出する相関データ処理部１０ｃと、時系列データと相関のデータから、会合に関する所定の評価尺度に則って会合を支援する会合支援情報を生成する会合支援情報生成部１０ｄと、会合に関する所定の評価尺度に則った会合支援情報を表示する会合支援情報提示部１０ｅと、を備える。
【選択図】図１

Description

本発明は会合を支援するためのコミュニケーション算定装置、会合関数算定装置、会合関数算定方法および会合関数算定用プログラムに関する。

一般的に会議の活性度は、例えば参加者全員の発話の総量（以下発話総量と呼ぶ）を指標として評価できると考えられる。この会議の活性度を高めるような支援を行うことで、会議の有効性を向上させることができると考えられる。

その観点で会議支援を行う技術が、特許文献５に記載されている。図９に示すように、関連技術に係る会議支援システムは、入力デバイスと、動作情報取得部と、活性度算出部と、活性度提示部と、出力デバイスから構成されている。

このような構成を有する会議支援システムは、つぎのように動作する。会議場Ａにおける参加者の発話総量を取得し、取得された発話総量に基づき会議場Ａにおける発言動作を認識し、この認識結果に基づいて会議場Ａの前記会議活性度を評価し、算出された会議活性度を会議場Ｂの参加者に提示する。特許文献５の技術は、会議活性度の評価において、発話総量について着目して発明されたものであり、会議場Ｂの参加者は会議場Ａの会議活性度を知ることができる。その結果、例えば、遠隔会議などで会議場Ｂにいる人間が、違和感なく途中から会議場Ａの会議に参加することができる。

その他、広義の会議支援に関して次のような関連技術がある。特許文献１には、会議参加者の発言や提出した資料を収集し、その収集した発言や資料をもとに、各会議参加者の会議への関与を分析して、各会議参加者の貢献度を評価することが記載されている。また特許文献２に、ボード画像データとカード画像データとを照合して、一定の誤差範囲内で一致する画像データが含まれているか否かを判定することによって、意見集約することが記載されている。

特許文献３に、会議参加者毎の発話状況を、会議開始からの時間の経過に応じて更新しながら表示手段に表示することが記載されている。特許文献４に、会議状況情報を取得して、取得された会議状況情報に基づき会議の状況に応じて会議資料などの関連情報を提示することが記載されている。

なお、非特許文献１において、前頭筋は、眉毛から頭蓋の後頭骨にかけて頭蓋骨を覆う前頭後頭筋の前頭部分であり顔面神経の支配を受けているため、前頭筋電位の振幅の大きさを表すＥＭＧ（ElectroMyoGraph）レベルの平均値がストレスと関係があると報告されている。
特開２０００−９９５７０号公報 特開２００６−２５３６２号公報 特開２００６−２０８４８２号公報 特開２００６−３０２０４５号公報 特開２００６−３０２０４７号公報 田村芳明、清水友明、 田村恭久：学習者の生理状態をフィードバックする学習支援環境、 第１７回人工知能学会全国大会、1E5-02。

しかしながら、例えば特許文献５の技術では、会議活性度を示す指標のうち発話総量にしか着目していない。そのため、意見交換度が低い場合と高い場合を区別することができない。そして、意見交換度が低い状態ならば会議参加者の疲れを取るために休憩を促し、意見交換度を高めることで会議活性度を高めるといった会議支援を実現することができない。

また、関連する技術では、一定時間のある会議参加者の発言が他の会議参加者の発言を誘発する回数（以下発話誘発度と呼ぶ）を考慮していない。そのため、会議活性度が低い状態ならば、発話誘発度の高い会議参加者に発言を促し、会議活性度を高めるといった会議支援を実現することができない。

本発明では、２人以上の者が会話または意見を交換しあうことを、会合と総称する。「会合」には、公式もしくは非公式の会議、寄り合い、打合せ、ブレーンストーミング、一般的なミーティングなどの外、遠隔通信を用いたテレビ会議、ネットワーク上のチャットなどを含む。また、本発明は一般に２人以上の者の間のコミュニケーション全般に及ぶ。

本発明は上記の事情に鑑みてなされたもので、会合に関する情報として発話総量だけでなく意見交換度を入力し、会合参加者間の発話誘発度などの、会合参加者間の関係性まで考慮して会合活性度を評価することにより、会合の活性化に資する会合関数算定装置を提供することを目的とする。

本発明の第１の観点に係るコミュニケーション算定装置は、
複数の者のそれぞれの動作または現象を表す動作情報を個別に数値化する動作情報取得手段と、
前記動作情報の時間的変化に関するデータである時系列データを随時算出する時系列データ処理手段と、
前記複数の者のうち少なくとも２者の間の前記時系列データの相関を示す相関データを算出する相関データ処理手段と、
前記相関データが所定の基準を満たす場合に信号を送出する信号送出手段と、
を備えることを特徴とする。

本発明の第２の観点に係る会合関数算定装置は、
会合参加者の動作または現象を表す会合入力情報を取得する情報取得手段と、
前記会合入力情報の時間的変化に関するデータである時系列データを得る時系列データ処理手段と、
前記時系列データにおける会合参加者間の相関を算出する相関データ処理手段と、
前記時系列データと前記相関のデータから、会合に関する所定の評価尺度に則って会合を支援する会合支援情報を生成する会合支援情報生成手段と、
前記会合に関する所定の評価尺度に則った会合支援情報を表示する会合支援情報表示手段と、
を備えることを特徴とする。

本発明の第３の観点に係る会合関数算定方法は、
会合参加者の動作または現象を表す会合入力情報を取得する情報取得ステップと、
前記会合入力情報の時間的変化に関するデータである時系列データを得る時系列データ処理ステップと、
前記時系列データにおける会合参加者間の相関を算出する相関データ処理ステップと、
前記時系列データと前記相関のデータから、会合に関する所定の評価尺度に則って会合を支援する会合支援情報を生成する会合支援情報生成ステップと、
前記会合に関する所定の評価尺度に則った会合支援情報を表示する会合支援情報表示ステップと、
を備えることを特徴とする。

本発明の第４の観点に係る会合関数算定用プログラムは、
コンピュータを、
会合参加者の動作または現象を表す会合入力情報を取得する情報取得手段と、
前記会合入力情報の時間的変化に関するデータである時系列データを得る時系列データ処理手段と、
前記時系列データにおける会合参加者間の相関を算出する相関データ処理手段と、
前記時系列データと前記相関のデータから、会合に関する所定の評価尺度に則って会合を支援する会合支援情報を生成する会合支援情報生成手段と、
前記会合に関する所定の評価尺度に則った会合支援情報を表示する会合支援情報表示手段
として機能させることを特徴とする。

本発明の会合関数算定装置によれば、会合参加者の個別の会合入力情報だけでなく、会合入力情報の会合参加者間の相関データに基づいて会合を支援する情報を決定することにより、会合参加者間の関係性まで考慮した会合関数算定装置を実現することができる。

（実施の形態１）
図１は、本発明の実施の形態１に係る会合関数算定装置１０の基本的な構成を示すブロック図である。この会合関数算定装置１０は、情報取得部１０ａと、時系列データ処理部１０ｂと、相関データ処理部１０ｃと、支援情報生成部１０ｄと、支援情報提示部１０ｅとから構成されている。

情報取得部１０ａは、会合参加者が会合関数算定装置へ入力する会合入力情報を取得する。具体的に会合入力情報は、動作情報、生体情報、プロフィール情報がある。動作の情報には、会合参加者の発言、発声（笑い、喚声を含む）、拍手、挙手、板書などがある。生体情報としては、筋電位、体表面温度、発汗作用などがある。このような会合入力情報は、ビデオ、マイク、生体センサなどの入力デバイス１によってセンシングされる。情報取得部１０ａは、会合入力情報にタイムスタンプを付与する。

時系列データ処理部１０ｂは、情報取得部１０ａにより取得された会合入力情報を統計処理することで時系列データを算出する。具体的に時系列データは、ある会合入力情報の単位時間あたりの量、または会合入力情報のある特徴をイベントとした際のイベントの発生回数である。ここで単位時間は任意の時間幅を有する。

相関データ処理部１０ｃは、時系列データ処理手段により算出された時系列データにおける会合参加者間の相関を算出する。相関のデータには、類似度と共起頻度がある。類似度は、複数人の会合参加者の時系列データを引数として、時系列データの中の一定のウィンドウ幅に対してある相関関数で算出される。また、共起頻度は、時系列データのある特徴をイベントとした場合に、そのイベントの会合参加者間の共起確率である。

支援情報生成部１０ｄは、時系列データ処理手段により算出された時系列データと相関データ処理手段により算出された相関データに基づいて、参加者に対して会合を支援するための情報である支援情報を生成する。会合を支援する情報として、相関データの時間変化や閾値との大小関係などから、会合を改善する刺激の選択とそれを提示するかどうかの判定がある。例えば、休憩をとることを勧める情報、特定の参加者の発言を求めるよう促す情報などを、提示するかどうかの判断と、いつ提示するかを決定することがある。支援情報提示部１０ｅは、支援情報をディスプレイ、スピーカなどの出力デバイス２に表示して、会合参加者に対して伝達する。

図２は、実施の形態１に係る会合関数算定装置１０の動作の一例を示す流れ図である。会合情報取得部１０ａは、まず入力デバイス１を用いて会合参加者の動作情報、生体情報、プロフィール情報といった会合入力情報をセンシングして、センシングしたデータにタイムスタンプを付与し時系列データ処理部１０ｂに出力する（ステップＳ１１）。次に、時系列データ処理部１０ｂは、会合情報取得部１０ａにおいて取得した会合入力情報を統計処理し時系列データを算出し、相関データ処理部１０ｃと支援情報生成部１０ｄに出力する（ステップＳ１２）。

ここで、時系列データは、ある会合入力情報の単位時間あたりの量または会合入力情報のある特徴をイベントとした際のイベントの回数である。なお、単位時間は任意の時間幅を持つ。時系列データの例として、図５に会合参加者Ａ、Ｂ、Ｃの発話音量の時間変化を示す。

相関データ処理部１０ｃは、複数人の会合参加者の時系列データからある相関関数で求められる類似度や時系列データ間のイベントの共起頻度など相関データを算出し、支援情報生成部１０ｄに出力する（ステップＳ１３）。類似度は、複数人の会合参加者の時系列データのある一定のウィンドウ幅のデータを取り出し、そのデータに対してある相関関数を用いて算出する。

例えば、相関関数として会合参加者間の時系列データの差の絶対値を用いると、会合参加者Ａ、Ｂ、Ｃの発話音量の時間変化を対象とした場合には、会合参加者Ａ、Ｂ間と会合参加者Ａ、Ｃ間の発話音量の差の絶対値は図５に示すようになる。図５の例では、会合中の発話音量の差の絶対値の平均は、会合参加者Ａ、Ｃ間に比べ会合参加者Ａ、Ｂ間の方が大きいため、会合参加者Ａ、Ｃ間よりも会合参加者Ａ、Ｂ間の方が類似度は高いと判定できる。

共起頻度は、会合参加者間の時系列データのある特徴をイベントとした際のイベント間の共起確率である。共起頻度の例として、ある会合中の会合参加者Ａ、Ｂ、Ｃの発話誘発回数を図６に示す。各会合参加者の発話誘発回数は、各会合参加者が発話した後一定時間内の他の会合参加者の発話総数をカウントする。図６の例では、会合参加者Ｂの発話の後に他の会合参加者が最も発話しているため、会合参加者間の発話の共起頻度は、会合参加者Ｂが最も高いと判定する。

支援情報生成部１０ｄは、時系列データ処理部１０ｂによって算出された時系列データと、相関データ処理部１０ｃによって算出された相関データを基に、会合を改善する刺激を与える支援情報を生成する（ステップＳ１４）。提示する支援情報がなければ（ステップＳ１５；ＮＯ）、ステップＳ１１に戻って、会合入力情報取得から繰り返す。

提示する支援情報がある場合は（ステップＳ１５；ＹＥＳ）、ディスプレイ、スピーカなどの出力デバイス２を用いて、会合を改善する刺激を与える支援情報を会合参加者に提示する（ステップＳ１６）。そして、ステップＳ１１に戻って、会合入力情報取得から繰り返す。

本実施の形態では、会合参加者の会合入力情報に加え会合入力情報の類似度や会合入力情報のある特徴をイベントとした際のイベントの共起頻度といった相関データを算出し、この相関データに基づいて会合関数算定方法を決定するように構成されているため、例えば、最も他の会合参加者の発話を誘発している会合参加者は誰か、といった会合参加者間の関係性まで考慮した会合支援が可能である。

（実施の形態２）
図３は、本発明の実施の形態２に係る会合関数算定装置２０の構成例を示すブロック図である。図３に示すように、実施の形態２の会合関数算定装置２０は、周期データ処理部２０ｆを備え、支援情報生成部２０ｄと支援情報提示部２０ｅが実施の形態１と異なる。周期データ処理部２０ｆは、時系列データと相関データを基に周期データを算出する。支援情報生成部２０ｄは、時系列データと相関データと周期データを基に会合を支援する情報を生成する。そして、支援情報提示部２０ｅは、支援情報生成部２０ｄから指示された支援情報を出力デバイス２に提示する。その他の構成要素については実施の形態１と同様である。実施の形態１と同様の構成要素については、図１と同一の符号を付し、詳細な説明を省略する。

周期データ処理部２０ｆは、時系列データと相関データを基に周期データを算出し、支援情報提示手段に出力する。周期データとは、時系列データや相関データがある条件を満たす時間帯の長さの変化、条件を満たす時間帯の間隔の変化、時系列データや相関データのある特徴から検出したイベントの出現時刻の間隔の変化である。

支援情報生成部２０ｄは、時系列データと相関データに加え周期データを基に会合を支援する情報を生成する。会合を支援する情報として、時系列データ、相関データ、周期データの時間変化や閾値との大小関係などから、会合を改善する刺激の選択とそれを提示するかどうかを判定する。支援情報提示部２０ｅは、支援情報生成部２０ｄから入力した支援情報をディスプレイ、スピーカなどの出力デバイス２に表示して、会合参加者に対して伝達する。

図４は、実施の形態２に係る会合関数算定装置２０の動作の一例を示す流れ図である。図４に示すように、実施の形態２の全体の動作は、時系列データと相関データから会合や会合参加者間に関わる周期データを算出すること（ステップＳ２４）と、時系列データと相関データと周期データから支援情報を生成すること（ステップＳ２５）が実施の形態１の全体の動作と異なる。支援情報が異なるので、支援情報提示（ステップＳ２６）も異なる符号で示す。その他の全体の動作については実施の形態１の全体の動作と同様である。実施の形態１の全体の動作と同様の動作については、図２と同一の符号を付し、詳細な説明を省略する。

周期データ処理部２０ｆは、例えば、図７に示すように、会合活性度が破線で示されたある閾値以上である時間帯の長さの変化を周期データとして算出する（ステップＳ２４）。ここで、会合活性度は時系列データであり、会合の参加者の発声の回数・音量やホワイトボードへの入力などの単位時間あたりの量から求める。図７の例では、会合活性度が破線で示されたある閾値以上になった期間は５回あり、この期間は徐々に減衰している。

支援情報生成部２０ｄは、例えば、会合活性度が所定の閾値を超える期間（周期）が小さくなっていることから、例えば休憩を入れることを促すなどの会合を改善する刺激を提示することを判断する。

支援情報提示部２０ｅは、提示すべき支援情報がある場合に（ステップＳ１５；ＹＥＳ）、時系列データと相関データに加えて周期データを基に生成された会合を改善する刺激を与える支援情報を、ディスプレイ、スピーカなどの出力デバイス２を用いて、会合参加者に提示する。

本実施の形態２では、会合参加者の会合入力情報の時系列データと会合入力情報の相関データに加え、会合入力情報の周期データに基づいて、提示する支援情報とそのタイミングを決定するように構成されているため、例えば、会合活性度が徐々に減衰しているなどといった会合の周期性まで考慮した会合支援が可能である。

図８は、図１に示す会合関数算定装置１０および図３に示す会合関数算定装置２０のハードウェア構成の一例を示すブロック図である。会合関数算定装置１０、２０は、図８に示すように、制御部３１、主記憶部３２、外部記憶部３３、音声入力部３４、画像入力部３５、入力部３６及び表示部３７を備える。主記憶部３２、外部記憶部３３、音声入力部３４、画像入力部３５、入力部３６及び表示部３７はいずれも内部バス３０を介して制御部３１に接続されている。

制御部３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３に記憶されている会合関数算定用プログラム５００に従って、前述の会合関数算定装置１０、２０の処理を実行する。

主記憶部３２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部３３に記憶されている会合関数算定用プログラム５００をロードし、制御部３１の作業領域として用いられる。

外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile
Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile
Disc ReWritable）等の不揮発性メモリから構成され、前記の処理を制御部３１に行わせるための会合関数算定用プログラム５００を予め記憶し、また、制御部３１の指示に従って、このプログラムが記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。

音声入力部３４は、マイクロフォン、アンプおよびＡ−Ｄ変換器を備える。音声入力部３４は、マイクロフォンの音声信号をＡ−Ｄ変換し、音声認識のための数値演算しやすいデータにして制御部３１に供給する。マイクロフォンは入力デバイス１の１つであり、音声入力部３４は、図１および図３の情報取得部１０ａの一部を構成する。

画像入力部３５は、カメラ、Ａ−Ｄ変換器および画像メモリなどを備える。画像入力部３５は、カメラで撮影した画像をＡ−Ｄ変換し、画像解析のための演算がしやすいデータにして制御部３１に供給する。

制御部３１とその上で動作する会合関数算定用プログラム５００は、画像入力部３５から入力した画像を解析して、例えば、人が板書する動作などを検出する。

入力部３６は、例えば、筋電センサに接続し、センサから会合参加者の生体情報を入力して、制御部３１に供給する。制御部３１および会合関数算定用プログラム５００は、そのデータから、例えば会合参加者の集中度を演算する。

表示部３７は、音信号源とアンプを備える。ブザー、スピーカなどの音響出力装置を接続して、音響または音声によって、例えば休憩を促すなどの会合の支援情報を出力する。表示部３７はまた、ＣＲＴ（Cathode Ray Tube）もしくはＬＣＤ（Liquid Crystal
Display）などの画像表示部を駆動する回路を備える。表示部３７は、制御部３１の指令によって、会合の支援情報を画像として表示する。

図１および図３の、情報取得部１０ａ、時系列データ処理部１０ｂ、相関データ処理部１０ｃ、支援情報生成部１０ｄ、２０ｄ、支援情報提示部１０ｅ、２０ｅ、および周期データ処理部２０ｆの処理は、会合関数算定用プログラム５００が、制御部３１、主記憶部３２、外部記憶部３３、音声入力部３４、画像入力部３５および入力部３６などを資源として用いて処理することによって実行する。

上述の各実施の形態では、主に一般的な会議ないしミーティング等を想定して説明したが、本発明は、参加者が１カ所に集まって行う会合以外に、遠隔通信を用いるテレビ会議など、一般的なコミュニケーションにも適用できる。さらに、本発明によれば、音声によるコミュニケーション以外に、手話、機械を用いた文字入力、筆記を用いるコミュニケーションであっても、参加者の動作または生体情報などの現象を入力することによって、時系列データと会合参加者間の相関からある基準に従って会合の傾向と変化を知ることができる。

次に、具体例を用いて本発明を実施するための最良の形態の動作を説明する。
（具体例１）
本発明の具体例１を説明する。図１に示す構成において、各会合参加者は、入力デバイス１に各々声帯マイクやヘッドセットマイクなどの個人の音声を入力できる装置を用いる。声帯マイクやヘッドセットマイクなどの個人の音声を入力できる装置を利用することで、会合参加者全員で1つのマイクを利用する場合などと異なり、ノイズである他の会合参加者の発話は軽減される。情報取得部１０ａは、入力デバイス１から取得した会合参加者の発話の音量にタイムスタンプを付与し、時系列データ処理部１０ｂに出力する。

時系列データ処理部１０ｂは、会合参加者の発話音量を平滑化するため一定時間の移動平均を算出する。すなわち情報取得部１０ａにて発話の音量を４４kHzでサンプリングし１０秒間の移動平均を計算する場合は、４４００００個の発話の音量データの移動平均データが出力される。

相関データ処理部１０ｃは、時系列データ処理部１０ｂにて算出された移動平均データの会合参加者間の類似度を算出する。具体的には、参加者ｘ、ｙの２人の会合の時刻ｔの類似度は、移動平均データを(ｘ、ｙ)、ウィンドウ幅をｎ、レスポンス時間をａとしたとき、

と定義される。また、参加者がｘ、ｙ、ｚの３人ならば、Ｒxy＋Ｒyz＋Ｒzxを会合の時刻ｔの類似度とする。

支援情報生成部１０ｄは、入力される類似度がある閾値以下になったら、誰も発話していないか、発話に対してのレスポンスがない状態であると判断する。会合参加者への会合支援情報の提示は、出力デバイス２であるディスプレイやスピーカを用いて、映像や音声でコーヒーブレイクなどの休憩を促す。

このように本具体例１では、声帯マイクやヘッドセットマイクなどの個人の音声を入力できる装置を使って取得した発話データから会合参加者間の発話の類似度を算出し、この類似度に基づいて適切なタイミングで休憩を促すことができる。

（具体例２）
本発明の具体例２を説明する。図１に示す構成において、情報取得部１０ａは具体例１と同様の処理を行う。時系列データ処理部１０ｂは、まず、具体例１と同様に、会合参加者の発話音量を平滑化するため一定時間の移動平均を算出する。次に、移動平均データが連続してある閾値以上である期間を１つの発話イベントとすることで、発話イベントの検出を行う。

相関データ処理部１０ｃは、時系列データ処理部１０ｂにて算出された発話イベントの共起頻度である発話誘発回数を算出する。ある発話イベントの発話誘発回数は、その発話イベントの終了から一定時間内に他の発話イベントが発生した回数である。具体的には、参加者Ａ、Ｂ、Ｃの３人で行っている会合において、参加者Ａのある発話イベントの期間の終了から一定時間内に参加者Ｂの発話イベントが２回、参加者Ｃの発話イベントが１回あれば、参加者Ａのある発話イベントの発話誘発回数は３となる。

支援情報生成部１０ｄは、発話イベントの共起頻度である発話誘発回数を基に会話の盛り上げ役となる会合のキーパーソンを発見し、会合支援を行う。会合のキーパーソンは、（ある参加者の全発話イベントの発話誘発回数）／（ある参加者の全発話イベント数）の値が最大の会合参加者とする。このようにして会合のキーパーソンを発見できるため、ある一定期間誰も発話しなかった場合には、出力デバイス２にディスプレイやスピーカを用いて、キーパーソンに対して映像や音声で発話を促すといった会合支援を行う。

このように本具体例２では、会合参加者の中で最も他人の発話を誘発している会合のキーパーソンを発見することで、最も会合を活性化させやすいキーパーソンを使って会合の支援をすることができる。

（具体例３）
本発明の具体例３を説明する。図３に示す構成において情報取得部１０ａ、時系列データ処理部１０ｂ、相関データ処理部１０ｃは、具体例１と同様の処理を行う。周期データ処理部２０ｆは、相関データ処理部１０ｃから出力される会合参加者間の類似度を基に、会合の類似度が周期を持っているかを調べ、もし周期を発見することができれば周期データを支援情報生成部２０ｄに出力する。具体的に、会合の活性度が周期をもっているかどうかは、以下の手順で決定する。

まず、具体例１と同様に算出した会合の類似度が、連続してある閾値以下になる期間の時間間隔データを算出する。例えば、会合の類似度が連続してある閾値以下になる期間が１０回あれば、９個の時間間隔データを得ることができる。これらの時間間隔データは、それぞれ期間をあらわすため、開始時刻と終了時刻をもつ。そして、９個以上の時間間隔データが存在し、それらの分散がある閾値より小さければ、会合の類似度が周期をもっていると判断する。

支援情報生成部２０ｄは、周期データ処理部２０ｆからの時間間隔データの出力があれば、会合の類似度が低いほど発話が少ないか、発話に対してのレスポンスが少ない状態であるため、時間間隔データを基に次の会合の類似度が低下する時刻を予測し、会合の類似度の低下を防止するように会合支援情報を生成する。具体的に、次の会合の類似度が低下する時刻は、（時間間隔データの中の最も新しいデータの終了時刻＋時間間隔データの平均値）と予測する。そして、この予測時刻に会合の類似度が低下することを防止するために、支援情報提示部２０ｅから出力デバイス２にディスプレイやスピーカを用いて、会合参加者全員に対して映像や音声で発話を促すといった会合支援を行う。

このように本具体例３は、会合の類似度の周期を見つけ、次の会合の類似度が低下する時刻を予測し、この低下を防止することで会合における発話数と発話に対するレスポンス数を維持することができる。

（具体例４）
本発明の具体例４を説明する。図３に示す構成において情報取得部１０ａと時系列データ処理部１０ｂは、具体例２と同様の処理を行う。周期データ処理部２０ｆは、まず、時系列データ処理部１０ｂが算出した発話イベントを基に、会合参加者全員が同時に発話する全発話イベントを検出する。次に、全発話イベントが発生する時間間隔を算出する。例えば、全発話イベントが１０回あれば、全発話イベントの９個の時間間隔データを得ることができる。

支援情報生成部２０ｄは、周期データ処理部２０ｆで算出した時間間隔データを基に、会合の盛り上がりの低下を検出し会合参加者に休憩を促す。ここで、全発話イベントが発生している期間は、会合参加者全員が同時に発話している期間であるので、会合が盛り上がっているといえる。そのため、時間間隔データがある閾値以上になったら、会合がその閾値の期間以上盛り上がらない時間が続いたということなので、会合参加者が会合に飽きている、または疲労していると判断し休憩を促す。例えば支援情報提示部２０ｅは、具体例１と同様、出力デバイス２にディスプレイやスピーカを用いて、映像や音声でコーヒーブレイクなどの休憩を促す。

このように本具体例４は、取得した発話データから周期データである会合参加者間の発話の時間間隔データを算出し、この時間間隔データに基づいて、会合の盛り上がりの低下したタイミングで休憩を促すことができる。

（具体例５）
本発明の具体例５を説明する。図３に示す構成において、各会合参加者は入力デバイス１に各々のヘッドセットマイクを用いる。情報取得部１０ａは、ヘッドセットマイクでセンシングしたデータから音声データを取得する。時系列データ処理部１０ｂは、情報取得部１０ａで取得した音声データから音声認識を用いて会合参加者が発話した単語データを抽出する。具体的に単語データは、タイムスタンプと単語の情報を持ち、だれが発話したかの情報は含まない。

周期データ処理部２０ｆは、まず、時系列データ処理部１０ｂで抽出した単語データを基に、同じ単語がある周期で出現しているかどうかを調べ、もしこのような単語があれば時間間隔データを支援情報生成部２０ｄに出力する。具体的に、単語がある周期で出現しているかは、以下の手順で決定する。

まず、時系列データ処理部１０ｂで抽出した単語データを基に、ある単語が複数回発話された場合に時間間隔データを算出する。例えば、ある単語が１０回発話されれば、９個の時間間隔データを得ることができる。そして、９個以上の時間間隔データが存在し、それらの分散がある閾値より小さければ、ある単語の出現が周期をもっていると判断する。時間間隔データは、９個の時間間隔だけでなく発話された単語と１０回の発話のタイムスタンプの情報を含む。

支援情報生成部２０ｄは、周期データ処理部２０ｆからの時間間隔データの出力があれば、時間間隔データを基に次の時間間隔データに含まれるある単語が会合参加者によって発話される時刻を予測し、ある単語に関連する情報を前もって会合参加者に提示する支援情報を生成する。具体的に、次のある単語が会合参加者によって発話される時刻は、（時間間隔データの中の最も新しいデータのタイムスタンプ＋時間間隔データの発話間隔の平均値）と予測する。そして、この予測時刻の一定時間前に、支援情報提示部２０ｅから出力デバイス２であるディスプレイを用いて、会合参加者全員に対して映像である単語のｗｅｂ検索結果を会合参加者に提示する。

このように本具体例５は、ある単語が会合参加者によって発話される時刻を予測してある単語に関連する情報を会合参加者に提示する会合支援ができる。

（具体例６）
本発明の具体例６を説明する。図１に示す構成において、各会合参加者は、入力デバイス１に筋電センサを用いて各々の前頭筋ＥＭＧ（ElectroMyoGraph）を測定する。ここで、非特許文献１において、前頭筋は、眉毛から頭蓋の後頭骨にかけて頭蓋骨を覆う前頭後頭筋の前頭部分であり顔面神経の支配を受けているため、前頭筋電位の振幅の大きさを表すＥＭＧレベルの平均値がストレスと関係があると報告されている。さらに、非特許文献１は、ある作業中にＥＭＧレベルの変化率が低い人間は、その作業に対する集中度も低いとしている。

情報取得部１０ａは、会合参加者のＥＭＧレベルを取得し、タイムスタンプを付与し時系列データ処理部１０ｂに出力する。時系列データ処理部１０ｂは、会合参加者のＥＭＧレベルを平滑化するため一定時間の移動平均を算出する。すなわち情報取得部１０ａにてＥＭＧレベルを１０Hzでサンプリングし１０秒間の移動平均を計算する場合は、１００個のＥＭＧレベルデータの移動平均データが出力される。

本具体例では、支援情報生成部１０ｄは、時系列データ処理部１０ｂからの移動平均データを入力として、移動平均データの変化率が低い参加者を会合に集中していないと判断して注意を促す情報を生成する。具体的には、移動平均データが１０Hzであれば、ある時刻の移動平均データの変化率は、（ある時刻の移動平均データ−ある時刻の０．１秒前の移動平均データ）／（ある時刻の０．１秒前の移動平均データ）で算出される。そして、会合開始から現時刻までの移動平均データの変化率の総和が最小の参加者を最も会合に集中していないと判定し、支援情報提示部１０ｅから出力デバイス２にディスプレイやスピーカを用いて、映像や音声で会合への集中を促す。

このように本具体例６は、人間の内部状態を知ることのできる生体情報を筋電センサから取得することで、たとえ参加者が情報を発信していなくても、参加者の中で会合に集中している人間を検出し注意を促すといった支援ができる。

（具体例７）
本発明の具体例７を説明する。図３に示す構成において情報取得部１０ａと時系列データ処理部１０ｂは具体例３と具体例６の処理を同時に行う。すなわち、各会合参加者は、入力デバイス１に声帯マイクやヘッドセットマイクなどの個人の音声を入力できる装置と筋電センサを用いて各々の発話音量と前頭筋ＥＭＧを測定する。相関データ処理部１０ｃと周期データ処理部２０ｆは、具体例３と同様の処理を行う。

支援情報生成部２０ｄは、周期データ処理部２０ｆからの時間間隔データと時系列データ処理部１０ｂからの移動平均データを基に、次の会合の類似度が低下する時刻を予測し、移動平均データの変化率が低く集中力が低下していると推定される参加者に対して会合における発話数と発話に対するレスポンス数の低下を防止するように支援する情報を生成する。具体的に、次の会合の類似度が低下する時刻は、具体例３と同様である。また、どの参加者が最も集中力が低いかを推定する方法は、具体例６と同様である。そして、この予測時刻に会合の類似度の低下を防止するために、支援情報提示部２０ｅから出力デバイス２にディスプレイやスピーカを用いて、集中力が低下していると推定される会合参加者に対して映像や音声で発話を促すといった会合支援を行う。

このように本具体例７は、会合の類似度の周期と集中力が低下している参加者を見つけ、次の会合の類似度が低下する時刻を予測し、集中力が低下している参加者に対して発話を促すなどの刺激を提示することで、会合の類似度が低下を防ぎ会合における発話数と発話に対するレスポンス数を維持することができる。

その他、本発明の好適な変形として、以下の構成が含まれる。

本発明の第２の観点に係る会合関数算定装置について、
さらに、前記時系列データと前記相関のデータから、それらのデータの周期に関するデータを算出する周期算出手段を備え、
前記会合支援情報生成手段は、前記時系列データと前記相関データと前記それらのデータの周期に関するデータから会合支援情報を生成するよう構成してもよい。

好ましくは、前記周期算出手段は、
前記時系列データもしくは前記相関のデータが所定の条件を満たす時間帯の長さの変化、
前記時系列データもしくは前記相関のデータが所定の条件を満たす時間帯の間隔の変化、または、
前記時系列データもしくは前記相関のデータが所定の条件を満たす特徴が出現する時刻の間隔の変化を算出する。

好ましくは、前記相関データ処理手段は、会合参加者間における前記時系列データの類似度または共起頻度をもとに会合参加者間の相関を算出する。

さらに、前記相関データ処理手段は、
会合参加者の間における、発言動作の類似度または発言動作事象の間の共起頻度に基づいて相関データを算出してもよい。

好ましくは、前記情報取得手段は、前記会合参加者の生体情報を取得する生体情報デバイスを備える。

本発明の第３の観点に係る会合関数算定方法について、
さらに、前記時系列データと前記相関のデータから、それらのデータの周期に関するデータを算出する周期算出ステップを備え、
前記会合支援情報生成ステップは、前記時系列データと前記相関データと前記それらのデータの周期に関するデータから会合支援情報を生成するよう構成してもよい。

好ましくは、前記周期算出ステップは、
前記時系列データもしくは前記相関のデータが所定の条件を満たす時間帯の長さの変化、
前記時系列データもしくは前記相関のデータが所定の条件を満たす時間帯の間隔の変化、または、
前記時系列データもしくは前記相関のデータが所定の条件を満たす特徴が出現する時刻の間隔の変化
を算出する。

好ましくは、前記相関データ処理ステップは、会合参加者間における前記時系列データの類似度または共起頻度をもとに会合参加者間の相関を算出する。

さらに、前記相関データ処理ステップは、
会合参加者の間における、発言動作の類似度または発言動作事象の間の共起頻度に基づいて相関データを算出してもよい。

好ましくは、前記情報取得ステップは、前記会合参加者の生体情報を取得する生体情報取得ステップを含む。

本発明の第１の効果は、会合参加者間の関係性まで考慮した会合支援ができることである。その理由は、会合参加者の会合入力情報に加え会合入力情報の相関に基づいて、会合を支援する方法を決定するためである。

その他、前記のハードウエア構成や処理の方法は一例であり、任意に変更及び修正が可能である。

制御部３１、主記憶部３２、外部記憶部３３、音声入力部３４、画像入力部３５、入力部３６および内部バス３０などから構成される会合支援処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する会合関数算定装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで会合関数算定装置を構成してもよい。

また、会合関数算定装置の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

本発明の実施の形態１に係る会合関数算定装置の構成例を示すブロック図である。 実施の形態１の会合関数算定装置の動作の一例を示す流れ図である。 本発明の実施の形態２に係る会合関数算定装置の構成例を示すブロック図である。 実施の形態２の会合関数算定装置の動作の一例を示す流れ図である。 相関データ処理における発話音量の類似度の算出例を示す図である。 相関データ処理における発話の共起頻度の算出例を示す図である。 周期データ処理における会合活性度の周期データの算出例を示す図である。 図１および図３に示す会合関数算定装置のハードウェア構成の一例を示すブロック図である。 関連技術に係る会合関数算定装置の構成を示すブロック図である。

符号の説明

１０ 会合関数算定装置
１０ａ 情報取得部
１０ｂ 時系列データ処理部
１０ｃ 相関データ処理部
１０ｄ 支援情報生成部
１０ｅ 支援情報提示部
２０ 会合関数算定装置
２０ｄ 支援情報生成部
２０ｅ 支援情報提示部
２０ｆ 周期データ処理部

Claims (14)

1. 複数の者のそれぞれの動作または現象を表す動作情報を個別に数値化する動作情報取得手段と、
   前記動作情報の時間的変化に関するデータである時系列データを随時算出する時系列データ処理手段と、
   前記複数の者のうち少なくとも２者の間の前記時系列データの相関を示す相関データを算出する相関データ処理手段と、
   前記相関データが所定の基準を満たす場合に信号を送出する信号送出手段と、
   を備えることを特徴とするコミュニケーション算定装置。
2. 会合参加者の動作または現象を表す会合入力情報を取得する情報取得手段と、
   前記会合入力情報の時間的変化に関するデータである時系列データを得る時系列データ処理手段と、
   前記時系列データにおける会合参加者間の相関を算出する相関データ処理手段と、
   前記時系列データと前記相関のデータから、会合に関する所定の評価尺度に則って会合を支援する会合支援情報を生成する会合支援情報生成手段と、
   前記会合に関する所定の評価尺度に則った会合支援情報を表示する会合支援情報表示手段と、
   を備えることを特徴とする会合関数算定装置。
3. 前記時系列データと前記相関のデータから、それらのデータの周期に関するデータを算出する周期算出手段を備え、
   前記会合支援情報生成手段は、前記時系列データと前記相関データと前記それらのデータの周期に関するデータから会合支援情報を生成する
   ことを特徴とする請求項２に記載の会合関数算定装置。
4. 前記周期算出手段は、
   前記時系列データもしくは前記相関のデータが所定の条件を満たす時間帯の長さの変化、
   前記時系列データもしくは前記相関のデータが所定の条件を満たす時間帯の間隔の変化、または、
   前記時系列データもしくは前記相関のデータが所定の条件を満たす特徴が出現する時刻の間隔の変化
   を算出することを特徴とする請求項２または３に記載の会合関数算定装置。
5. 前記相関データ処理手段は、会合参加者間における前記時系列データの類似度または共起頻度をもとに会合参加者間の相関を算出することを特徴とする請求項２または３に記載の会合関数算定装置。
6. 前記相関データ処理手段は、
   会合参加者の間における、発言動作の類似度または発言動作事象の間の共起頻度に基づいて相関データを算出することを特徴とする請求項５に記載の会合関数算定装置。
7. 前記情報取得手段は、前記会合参加者の生体情報を取得する生体情報デバイスを備えることを特徴とする請求項２ないし６のいずれか１項に記載の会合関数算定装置。
8. 会合参加者の動作または現象を表す会合入力情報を取得する情報取得ステップと、
   前記会合入力情報の時間的変化に関するデータである時系列データを得る時系列データ処理ステップと、
   前記時系列データにおける会合参加者間の相関を算出する相関データ処理ステップと、
   前記時系列データと前記相関のデータから、会合に関する所定の評価尺度に則って会合を支援する会合支援情報を生成する会合支援情報生成ステップと、
   前記会合に関する所定の評価尺度に則った会合支援情報を表示する会合支援情報表示ステップと、
   を備えることを特徴とする会合関数算定方法。
9. 前記時系列データと前記相関のデータから、それらのデータの周期に関するデータを算出する周期算出ステップを備え、
   前記会合支援情報生成ステップは、前記時系列データと前記相関データと前記それらのデータの周期に関するデータから会合支援情報を生成する
   ことを特徴とする請求項８に記載の会合関数算定方法。
10. 前記周期算出ステップは、
    前記時系列データもしくは前記相関のデータが所定の条件を満たす時間帯の長さの変化、
    前記時系列データもしくは前記相関のデータが所定の条件を満たす時間帯の間隔の変化、または、
    前記時系列データもしくは前記相関のデータが所定の条件を満たす特徴が出現する時刻の間隔の変化
    を算出することを特徴とする請求項８または９に記載の会合関数算定方法。
11. 前記相関データ処理ステップは、会合参加者間における前記時系列データの類似度または共起頻度をもとに会合参加者間の相関を算出することを特徴とする請求項８または９に記載の会合関数算定方法。
12. 前記相関データ処理ステップは、
    会合参加者の間における、発言動作の類似度または発言動作事象の間の共起頻度に基づいて相関データを算出することを特徴とする請求項１１に記載の会合関数算定方法。
13. 前記情報取得ステップは、前記会合参加者の生体情報を取得する生体情報取得ステップを含むことを特徴とする請求項８ないし１２のいずれか１項に記載の会合関数算定方法。
14. コンピュータを、
    会合参加者の動作または現象を表す会合入力情報を取得する情報取得手段と、
    前記会合入力情報の時間的変化に関するデータである時系列データを得る時系列データ処理手段と、
    前記時系列データにおける会合参加者間の相関を算出する相関データ処理手段と、
    前記時系列データと前記相関のデータから、会合に関する所定の評価尺度に則って会合を支援する情報を生成する会合支援情報生成手段と、
    前記会合に関する所定の評価尺度に則った会合支援情報を表示する会合支援情報表示手段
    として機能させることを特徴とする会合関数算定用プログラム。

Images