JP2005198086A

JP2005198086A - 会議状態検出方法、装置、および会議状態検出プログラム

Info

Publication number: JP2005198086A
Application number: JP2004003020A
Authority: JP
Inventors: Masamichi Hosoda; 真道細田; Akira Nakayama; 彰中山; Satoshi Iwaki; 敏岩城; Minoru Kobayashi; 稔小林
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-01-08
Filing date: 2004-01-08
Publication date: 2005-07-21
Anticipated expiration: 2024-01-08
Also published as: JP3980561B2

Abstract

【課題】会議中または会議終了後に、所望の会議状態であった会議を録画や録音等から再生することを可能にする。
【解決手段】会議参加者１₁，２₂，・・・，１_nにはそれぞれその生体情報を取得する生体情報取得器２₁，２₂，・・・，２_nが装着されている。生体情報処理部３₁，３₂，・・・，３_nはそれぞれ生体情報取得器２₁，２₂，・・・，２_nで取得された生体情報に所定の加工を行う。会議状態辞書４は生体情報の特徴と、会議がどのような状態であるかを示す会議状態との組み合わせを記録している。会議状態推定部５は、生体情報処理部３₁〜３_nで得られた情報と会議状態辞書４を用いて会議状態を推定する。会議状態記録部６は会議状態を時刻情報とともに会議状態データベース７に記録する。会議状態検索部８は会議状態データベース７から所望の会議状態であった時刻を会議中または会議終了後に検索する。検索結果表示部９は該時刻をディスプレイに表示する。
【選択図】図１

Description

本発明は、会議がどのような状態であるかを推定する方法および装置に関する。

生体情報を利用し、同調度を判定する技術として特許文献１がある。これは２人の脈拍情報を互いに送りあい、相手と自分の脈拍情報および、脈拍情報の同調度を表示することにより、互いの情動を近づけることを目的としたものである。

電子会議システムに関する技術として非特許文献１がある。これは電子会議システムにおいて、生体情報を含むマルチメディア情報を記録し検索する技術である。

会議における生体情報を利用した技術として特許文献２がある。これはチャットによる会議において、生体情報の変化によって表示に使用する字体を変更する技術である。

会議における会議状態の記録検索に関する技術として非特許文献２がある。これは会議参加者に発言の意図について入力させ、また、あらかじめ議事を整理して登録しておくことによって、会議の状態を捉え検索を行うことができる技術である。
特開平１１−４８９２特開２００３−１６０２２犬童拓也，細田真道，中山彰，岩城敏，"会議途中参加支援を目的とした会議情報検索インタフェース−ＧｉｊｉＬｏｏｋの提案−"，情処研報，Ｎｏ．２００３−ＧＮ−４９（２１），ｐｐ．１２１−１２６（２００３）．田中充，福宿光徳，西堀良久，勅使河原可海，"同期・非同期型統合型マルチメディア会議システムＡＳＳＩＳＴにおけるマルチメディア議事録の開発と評価"，ＤＩＣＯＭＯ９９予稿集，ｐｐ．７９−８４，１９９９．

特許文献１の技術は、生体情報と同調度を表示することにより、遠隔地にいる者同士が互いに同調しているのか不調和な状態なのかを知り、互いの情動を近づけるものであるが、２人以上の会議については考慮されておらず、また、記録していないため特定の場面を検索することができない。

非特許文献１の技術は、会議において生体情報を含むマルチメディア情報を記録することによって特定の場面を検索することができるが、会議状態の推定および記録を行っておらず、会議状態の検索を行うことができない。

特許文献２の技術は、生体情報を用いて会議を効果的に行う技術であるが、参加者個人の生体情報により参加者個人に関する表示を変化させているだけであり、参加者相互間における関係について考慮されておらず、また、会議状態の推定および記録を行っておらず、会議状態の検索を行うことができない。

非特許文献２の技術は、会議の状態を検索するために、事前に議事を整理して登録した上で参加者に発言の意図を入力させる必要があり、事前準備および会議中の操作が煩雑となっている。

本発明の目的は、会議中または会議終了後に、所望の会議状態であった会議を録画や録音等から再生することが可能な会議状態検出方法、装置、およびプログラムを提供することにある。

上記目的を達成するために、本発明によれば、
各会議参加者の生体情報を取得する生体情報取得手段と、
得られた生体情報に所定の加工を行い、結果を時系列に出力する生体情報処理手段と、
生体情報の特徴と、会議がどのような状態であるかを示す会議状態との組み合わせを記録した会議状態辞書と、
加工された複数の生体情報から前記会議状態辞書を用いて、生体情報が取得された時刻の会議状態を推定する会議状態推定手段と、
推定された会議状態を会議データベースに記録する会議状態記録手段と
を有する会議状態検出装置が提供される。

本発明の特徴は、会議において参加者の生体情報を時系列に取得し、時系列の生体情報を解析することによって、会議がどのような状態であったのかを示す会議状態を推定し、会議状態を時系列に記録することによって、所望の会議状態（議論が白熱している、重要な発言があった、議論が同調している、議論がかみ合わない、等）であった時刻を会議中または会議終了後に検索することによって、該当の場面を会議の録画や録音等から再生させることが可能となる。

本発明は、会議参加者の生体情報を取得し、参加者相互間の生体情報の関係を解析し、その場面で会議がどのような状態であったのかを推定し、記録することによって、任意の会議状態の場面を検索することができる効果がある。

次に、本発明の実施の形態について図面を参照して説明する。

図１は本発明の一実施形態の会議状態検出・検索装置の構成を示している。

会議参加者１₁，１₂，…，１_nにはそれぞれその生体情報を取得する生体情報取得器２₁，２₂，…，２_nが装着されている。生体情報処理部３₁，３₂，…，３_nはそれぞれ生体情報取得器２₁，２₂，…，２_nで取得された生体情報に所定の加工を行う。会議状態辞書４は生体情報の特徴と、会議がどのような状態であるかを示す会議状態との組み合わせを記録している。会議状態推定部５は、生体情報処理部３₁〜３_nで得られた情報と会議状態辞書４を用いて会議状態を推定する。会議状態記録部６は会議状態を、生体情報が取得された時刻の時刻情報とともに会議状態データベース７に記録する。会議状態検索部８は会議状態データベース７から所望の会議状態であった時刻を会議中または会議終了後に検索する。検索結果表示部９は該時刻をディスプレイに表示する。

第１の具体例として、生体情報取得器２₁〜２_nは、会議参加者１₁〜１_nの生体情報として脈波を検出するものとする。この場合、生体情報取得器２₁〜２_nとして、近年エアロバイク（登録商標）等の有酸素運動に用いられる器具において心拍数の計測に広く用いられている光電脈波検出方式によるセンサを用いる。光電脈波検出センサより得られる波形の例を図２に示す。図２におけるピーク間隔は、心電図のＲＲ間隔と同等とみなすことができる。

本例における生体情報処理部３₁〜３_nの処理のフローチャートを図３に示す。まず、生体情報取得器２₁〜２_nから得られたデータからピークを検出する（ステップ１０１，１０２）。そしてピークと前回ピークとの間隔を求め、これを１分間あたりの心拍数に換算した瞬間心拍を計算する（ステップ１０３，１０４）。瞬間心拍は、ピーク間隔の単位が秒であれば、瞬間心拍＝６０÷ピーク間隔で求めることができる。瞬間心拍は心拍によって発生するため、等時間間隔ではない。そこで、後の処理のため、０．１秒の等時間間隔にする補間を行う（ステップ１０５）。補間のアルゴリズムには線形補間またはスプライン補間を使用する。そして、ローパスフィルタにより、０．０７Ｈｚ以下の低周波成分を取り出す（ステップ１０６）。最後に、結果を会議状態推定部５に送る（ステップ１０７）。

第２の具体例として、生体情報取得器２₁〜２_nは、会議参加者１₁〜１_nの生体情報として脳脈を検出するものとする。この場合、生体情報取得器２₁〜２_nとして医療用などに広く用いられている、いくつかの電極を頭部に装着させ、それを増幅して得られる波形を出力するものを用いる。この場合、生体情報処理部３₁〜３_nは、得られた波形から周波数フィルタによりアルファ波レベルおよびベータ波レベルを得て、それぞれの時系列データを会議状態推定部５に送る。

第３の具体例として、生体情報取得器２₁〜２_nは、会議参加者１₁〜１_nの生体情報として発汗量を検出するものとする。発汗量を計測するために、参加者の両方の手のひらに電極を装着させ、電極間の抵抗値を計測し、それを出力する。この場合の生体情報処理部３₁〜３_nは、得られた抵抗値をローパスフィルタを通し、１０Ｈｚ以下の低周波成分を取り出し、会議状態推定部５に送る。

図４に会議状態推定部５の第１の具体的処理例を示す。この例では参加者は４名とする。４人の場合の相関行列は４×４の行列となり、ｎ人の場合の相関行列はｎ×ｎの行列となる。相関行列のｎ行ｍ列の要素は、ｎ人目の参加者とｍ人目の参加者との間の相関係数となっている。相関係数は互いに対して正の相関が強ければ１に近くなり、相関がなければ０に近くなり、負の相関が強ければ−１に近くなる。あらかじめ、会議状態辞書４には図５に示す相関行列と会議状態の組み合わせを登録しておく。推定は、まず、１秒ごとに過去１０秒間の時系列データについて、各参加者間の相関係数を計算し、相関行列を求める（ステップ２０１，２０２）。計算した相関行列を会議状態辞書４の各相関行列と比較する（ステップ２０３）。比較方法は行列の差分をとり、その絶対値を用いることにする。会議状態を絶対値がもっとも小さかった会議状態であったと推定し（ステップ２０４）、推定された会議状態と時刻情報を会議状態記録部６に送る（ステップ２０５）。

図６に会議状態推定部５の第２の具体的処理例を示す。この例では参加者は５人とする。あらかじめ、会議状態辞書４には図７に示す時系列データと会議状態の組み合わせを登録しておく。推定は、まず、１秒ごとに過去１０秒の時系列データを取り出す（ステップ３０１）。各参加者の時系列データについて、会議状態辞書４の時系列データとの相関係数をとる（ステップ３０２）。相関係数が最も高かった会議状態が、該参加者個人の会議状態であると推定し（ステップ３０３）、参加者の推定された会議状態のうち、最も多かった会議状態が全体の会議状態であると推定し（ステップ３０４）、推定された会議状態と時刻情報を会議状態記録部６に送る（ステップ３０５）。

会議状態記録部６は、会議状態推定部５から送られてきた推定情報と、そのときの時刻を会議状態データベース７に記録する。会議状態データベース７に記録されたレコードの例を図８に示す。

会議状態検索部８は、検索したい会議状態を入力させることにより、該会議状態の時刻を会議状態データベース７を用いて検索する。検索結果は検索結果表示部９に送られる。

会議状態表示部９は、会議状態検索部８から送られてきた時刻をディスプレイに表示するとともに、会議の録画または録音から該当時刻の場面を取り出して再生することができる。

なお、本発明の会議状態検出方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。

本発明の一実施形態の会議状態推定・検索装置の構成を示す図である。光電脈波検出センサより得られる波形例を示す図である。生体情報処理部３₁〜３_nの処理例を示すフローチャートである。会議状態推定部５の第１の具体的処理例を示すフローチャートである。会議状態辞書４に登録された相関行列と会議状態の例を示す図である。会議状態推定部５の第２の具体的処理例を示すフローチャートである。会議状態辞書４に登録された時系列データと会議状態の例を示す図である。会議状態データベース７に記録されたレコードの例を示す図である。

符号の説明

１₁〜１_n 会議参加者
２₁〜２_n 生体情報取得器
３₁〜３_n 生体情報処理部
４会議状態辞書
５会議状態推定部
６会議状態記録部
７会議状態データベース
８会議状態検索部
９検索結果表示部
１０１〜１０７，２０１〜２０５，３０１〜３０５ステップ

Claims

各会議参加者の生体情報を取得する生体情報取得ステップと、
得られた生体情報に所定の加工を行い、結果を時系列に出力する生体情報処理ステップと、
生体情報の特徴と、会議がどのような状態であるかを示す会議状態との組み合わせを記録した会議状態辞書を用いて、加工された複数の生体情報から、前記生体情報が取得された時刻における会議状態を推定する会議状態推定ステップと、
推定された会議状態を会議状態データベースに記録する会議状態記録ステップと
を有する会議状態検出方法。
前記生体情報取得ステップでは参加者の脈波を検出し、
前記生体情報処理ステップでは検出された脈波から瞬間心拍を検出し、該瞬間心拍の変動を所定の特性を持つフィルタにかけ時系列データを出力し、
前記会議状態推定ステップでは、ある参加者の該時系列データを、一定の時間間隔ごとに一定範囲の時間内において、他の参加者の時系列データまたは前記会議状態辞書あるいはその両方と比較し、該時刻における会議の状態を推定する、
請求項１に記載の会議状態検出方法。
前記生体情報取得ステップでは参加者の脳波を検出し、
前記生体情報処理ステップでは検出された脳波を所定の特性を持つフィルタにかけ時系列データを出力し、
前記会議状態推定ステップでは、ある参加者の該時系列データを、一定の時間間隔ごとに一定範囲の時間内において、他の参加者の時系列データまたは前記会議状態辞書あるいはその両方と比較し、該時刻における会議の状態を推定する、
請求項１に記載の会議状態検出方法。
前記生体情報取得ステップでは参加者の発汗量を検出し、
前記生体情報処理ステップでは検出された発汗量を所定の特性を持つフィルタにかけ時系列データを出力し、
前記会議状態推定ステップでは、ある参加者の該時系列データを、一定の時間間隔ごとに一定範囲の時間内において、他の参加者の時系列データまたは前記会議状態辞書あるいはその両方と比較し、該時刻における会議の状態を推定する、
請求項１に記載の会議状態検出方法。
前記会議状態推定ステップでは、各時系列データの各参加者相互間における相関係数を計算し、該時刻における相関行列を求め、いくつかの相関行列と該相関行列が意味する会議状態をあらかじめ定義した前記会議状態辞書を用いて、該時刻における相関行列と前記会議状態辞書に格納された各相関行列とを比較し、前者の相関行列に最も値が近い後者の相関行列に対応する会議状態を推定された会議状態とする、請求項１から４のいずれか１項に記載の会議状態検出方法。
前記会議状態推定ステップでは、いくつかの時系列データと該時系列データが意味する会議状態をあらかじめ格納した前記会議状態辞書を用いて、該時刻における時系列データと前記会議状態辞書に格納された各時系列データ間の相関係数を計算し、相関係数が最も高かった後者の時系列データに対応する会議状態を推定された会議状態とする、請求項１から４のいずれかに記載の会議状態検出方法。
前記会議状態データベースから所望の会議状態であった時刻を会議中または会議終了後に検索する会議状態検索ステップをさらに有する、請求項１から６のいずれか１項に記載の会議状態検出方法。
各会議参加者の生体情報を取得する生体情報取得手段と、
得られた生体情報に所定の加工を行い、結果を時系列に出力する生体情報処理手段と、
生体情報の特徴と、会議がどのような状態であるかを示す会議状態との組み合わせを記録した会議状態辞書と、
加工された複数の生体情報から前記会議状態辞書を用いて、前記生体情報が取得された時刻における会議状態を推定する会議状態推定手段と、
推定された会議状態を会議状態データベースに記録する会議状態記録手段と
を有する会議状態検出装置。
前記会議状態データベースから所望の会議状態であった時刻を会議中または会議終了後に検索する会議状態検索手段をさらに有する、請求項８に記載の会議状態検出装置。
請求項１から７のいずれか１項に記載の会議状態検出方法をコンピュータに実行させるための会議状態検出プログラム。