JP2005117155A - 電子会議データ取得方法、装置、プログラム、および記録媒体ならびに電子会議データ検索方法、装置、プログラム、および記録媒体 - Google Patents

Abstract

【課題】 電子会議システムでの重要な情報を再確認できるようにする。
【解決手段】 電子会議システム１で発生した会議データは会議データ入力部１１で入力され、会議データ蓄積装置３に蓄積するとともに、特徴量解析部１２に出力する。特徴量解析部１２は会議データの特徴量を解析し、会議リレーショナルデータベース１３に順次格納する。一方、検索条件入力部２１から入力された検索条件は検索条件処理部２２でＳＱＬに変換されて検索実行部２３に出力される。検索実行部２３は会議リレーショナルデータベース１３を検索し、検索結果が検索条件処理部２２を経て再生部２４に渡される。検索結果に対応する会議データを会議データ蓄積部３から読出し、画面に表示（再生）する。
【選択図】 図１

Description

本発明は、インターネット、イントラネットにおける電子会議の検索技術に関するものである。

電子会議システムとしてＭｅｅｔｉｎｇＰｌａｚａ（非特許文献１）のような製品があり、これによって会議参加者の発話音声データ、カメラ画像データ、チャットテキストデータ、共有資料操作データを取得し記録することができる。

会議に限定せずにマルチメディア情報を検索する技術として特許文献１がある。これはマルチメディア情報をすべて記録し、記録された情報をもとにインデックスを作り、インデックスを利用して検索するものである。

データベースを用いてマルチメディアデータを処理する技術として特許文献２がある。これは、地図情報等のマルチメディアデータをデータベースに格納して検索等をするためのものである。
「ＭｅｅｔｉｎｇＰｌａｚａ電網会議室サービス」、ＮＴＴアイティ株式会社、インターネット＜ＵＲＬ：http://www.meetingplaza.com/＞ 特開２００２−７４１８号公報 特開平４−７７８６９号公報

非特許文献１の技術は、記録されたデータについて、任意の時刻を指定して再生させることはできるが、特定の場面を検索することはできない。

特許文献１の技術は、インデックス作成のためにすべての情報を記録してから処理する必要があり、終了した会議についての検索を行うことは可能であるが、進行中の会議について検索することはできない。

特許文献２の技術は、会議データのような時系列に発生するデータを順次記録し検索することはできない。

本発明の目的は、電子会議のデータを、進行中においても検索可能な電子会議データ取得装置、方法、プログラム、および記録媒体ならびに電子会議データ検索装置、方法、プログラム、および記録媒体を提供をすることにある。

本発明の電子会議データ取得装置は、
電子会議システムの各参加者の行動および／または状態を記録したマルチメディア会議データを時系列に入力する会議データ入力手段と、
それぞれの会議データの種類ごとに、該会議データが発生した時刻、該会議データを発生させた参加者ＩＤ、該会議データ、該会議データの特徴量をレコードとするテーブルから構成されるリレーショナルデータベースと、
入力された前記マルチメディア会議データより会議内の構造（会議における話題の区切り、話題同士の関連やつながり、起承転結等）および／またはコンテンツに関わる、会議データの特徴量を抽出し、前記リレーショナルデータベースに格納する特徴量また、解析手段を有する。

本発明の電子会議データ検索装置は、
電子会議システムのそれぞれの会議データの種類ごとに、該会議データが発生した時刻、該会議データを発生させた参加者ＩＤ、該会議データ、該会議データの特徴量をレコードとするテーブルから構成されるリレーショナルデータベースを検索するため検索条件を入力するための検索条件入力手段と、
入力された検索条件を構造化問い合わせ言語に変換する検索処理手段と、
該構造化問い合わせ言語により前記リレーショナルデータベースの検索を行う検索実行手段を有し、
前記検索処理手段は、該検索条件に従って検索結果の処理または追加の検索を行う。

本発明の特徴は、電子会議システムにおいて発生した会議データの特徴量を解析し、それらをリレーショナルデータベースに順次格納し、会議を検索するために入力した検索条件を、構造化問い合わせ言語に変換し、リレーショナルデータベースの検索を行うことによって会議の検索を行うことができることである。電子会議データ取得装置と電子会議データ検索装置は同一のデータベースを使用するが、それぞれ独立して動作する。会議データおよび特徴量は発生のつどデータベースに追加され、進行中の会議の情報が発生とともに記録される。このデータベースを用いて検索を行う。

自身が参加した会議について、会議開催後に検索を行うことにより、重要な情報の再確認を行うことができるようになる。

途中から参加した会議について、自身の参加前には、どのような議論が行われていたのか、検索を行うことができるようになる。

自身が参加しなかった会議について、どのような議論が行われたのか、検索することができるようになる。

次に、本発明の実施の形態について図面を参照して説明する。

図１は本発明の一実施形態の電子会議データ取得装置と電子会議データ検索装置の構成を示す図である。

電子会議データ取得装置２は会議データ入力部１１と特徴量解析部１２と会議リレーショナルデータベース１３から構成される。

会議リレーショナルデータベース１３はそれぞれの会議データの種類ごとに、当該会議データが発生した時刻、当該会議データを発生させた参加者ＩＤ、および当該会議データ、当該会議データの特徴量をレコードとする各種テーブル（発話音声データテーブル、発話音声詳細データテーブル、カメラ画像データテーブル、チャットテキストデータテーブル、付箋紙貼り付け操作データテーブル、マウス操作データテーブル、キーボード操作データテーブル、共有資料操作データテーブル、ホワイトボード操作データテーブル、センサデータテーブル）からなる。

会議データ入力部１１は電子会議システム１の各参加者の行動および／または状態を記録したマルチメディア会議データを時系列に入力し、会議リレーショナルデータベース１３および会議データ蓄積装置３に格納するとともに特徴量解析部１２に出力する。

特徴量解析部１２はマルチ会議データより会議内の構造（会議における話題の区切り、話題同士の関連やつながり、起承転結等）やコンテンツに関わる会議データの特徴量を抽出し、会議リレーショナルデータベース１３に格納する。

表１に発話音声データテーブルの例を示す。以下の例はすべて参加者が３名のものである。

発話音声データは会議参加者もしくは会議参加予定者が発話した音声をＡ／Ｄ変換したデータおよびそれを音声認識しテキストに変換したデータである。「発生時刻」には発話発生時刻として該当する発話が開始された時刻、「終了時刻」には発話終了時刻として該当する発話が終了した時刻、「参加者ＩＤ」には発話者の参加者ＩＤとして該当する発話を行った参加者のＩＤ、「発話時間」には発話時間として発生時刻と終了時刻の差を格納する。「ピッチ」には平均ピッチとして該当する発話における平均的周波数を特徴量として抽出し格納する。「音量」には平均音量として該当する発話における平均的音量を特徴量として抽出し格納する。「単語」には発話に含まれる単語として該当する発話を音声認識手段によって解析、抽出された単語を特徴量として格納する。音声認識を行う際に、音声以外のデータに含まれる単語は、音声認識の辞書として用いる言語モデルの確率値を、音声以外のデータに含まれない単語よりも高く設定する。これは、音声以外のマルチメディア会議データに含まれている単語は、一般に、音声においても発生する確率が高くなると考えられるため、音声認識に使用する辞書において、音声が該当する単語として認識される確率を上げようとするものである。すなわち、音声以外のマルチメディア会議データに含まれていない単語よりも、音声以外のマルチメディア会議データに含まれている単語の認識確率を上げる、ということである。

表２に発話音声詳細データテーブルの例を示す。

一定時刻ごとに各参加者の音声を取得し、「発生時刻」には当該音声の発生時刻、「参加者ＩＤ」には当該音声を発した参加者ＩＤ、「ピッチ」には一定時間内の発話における周波数を特徴量として抽出して格納する。「音量」には一定時間内の発話における音量を特徴量として抽出して格納する。

表３にカメラ画像データテーブルの例を示す。

カメラ画像データは会議参加者もしくは会議参加予定者が利用する端末において撮影した参加者や資料等の静止画像もしくは動画像である。一定時刻ごとに各参加者の映像を取得し、そこから特徴量として肌色の部分を抽出し、「発生時刻」には当該カメラ画像データの撮影時刻、「参加者ＩＤ」には当該カメラ画像に写っている参加者の参加者ＩＤを格納する。「顔色」には当該カメラ画像の顔画像領域の平均色を格納し、「顔画像領域の中心座標」には該顔画像領域の中心座標を抽出し格納し、「顔画像領域の大きさ」には該顔画像領域の大きさをピクセル単位で計測し格納する。「表情」には事前に各参加者の表情を取得して喜怒哀楽などのラベルをつけた表情辞書の画像とのマッチング処理を行うことによって、表情を認識し、格納する。

表４にチャットテキストデータテーブルの例を示す。

チャットテキストデータは電子会議システムによって提供されるテキストチャット機能を利用して会議参加者が入力したテキストデータである。「発生時刻」にはチャット発生時刻、「参加者ＩＤ」にはチャット入力者の参加者ＩＤ、「内容」にはチャット内容そのものを格納し、「単語」にはチャット内容から形態素解析を行い抽出した単語を特徴量として格納する。

表５に付箋紙貼り付け操作データテーブルの例を示す。

付箋紙貼り付け操作データは会議参加者もしくは会議参加予定者が、発話音声データやチャットテキストデータ等のマルチメディア会議データの全部もしくは一部や会議進行上の時間的に特定の箇所を対象として付与するマルチメディアデータを擬似的に付箋紙と表現したものである。「発生時刻」は付箋紙貼り付けの発生時刻、「参加者ＩＤ」は付箋紙貼り付け者の参加者ＩＤ、「付箋紙種類」は付箋紙の種類、「内容」は付箋紙の内容、「単語」は付箋紙内容に含まれる単語である。例えば、表５のテーブルでは、発言会議進行のある特定の時点を付箋紙の付与対象としており、この特定の時点を表わす「発生時刻」に、会議自体に付与されているＴｉｍｅＣｏｄｅを格納している。

表６にマウス操作データテーブルの例を示す。

マウス操作データは会議参加者が会議中に自端末において操作したマウスの位置、クリック等のイベントおよびイベントの発生時間である。「発生時刻」にはマウスイベント発生時刻、「参加者ＩＤ」にはマウス操作者の参加者ＩＤ、「イベント種類」にはマウスイベント種類（移動、右ボタンＤｏｗｎ、右ボタンＵｐ、中ボタンＤｏｗｎ、中ボタンＵｐ、左ボタンＤｏｗｎ、左ボタンＵｐ、ホイール回転）、「ポインタ座標」にはマウスポインタ座標、「イベント内容」にはマウスイベント内容、（移動元移動先座標、ホイール回転量回転方向）「表示内容」にはマウスポインタ直下の表示内容（誰の顔画像か、共有資料のどの文章か、ホワイトボードのどの部分か等）を格納する。

表７にキーボード操作データテーブルの例を示す。

キーボード操作データは会議参加者が会議中に自端末において操作したキーボードのキータイプイベントおよびイベント発生時間である。「発生時刻」にはキーボードイベント発生時刻、「参加者ＩＤ」にはキーボード操作者の参加者ＩＤ、「イベント種類」にはキーボードイベント種類（キーＤｏｗｎ、キーＵｐ）、「イベント内容」にはキーボードイベント内容（どのキーか）を格納する。

表８に共有資料操作データテーブルの例を示す。

共有資料操作データは会議参加者が会議中に参加者間で表示や操作を共有している資料に対して行う改ページや書き込み等の操作である。「発生時刻」には共有資料操作時刻、「参加者ＩＤ」には共有資料操作者の参加者ＩＤ、「操作種類」には共有資料操作種類（順めくり、逆めくり、書き込み）、「表示ページ」には操作の結果表示されたページ数、「内容」にはページ内文字列、「単語」にはページ内文字列から形態素解析を行い抽出した単語を特徴量として格納、「書き込み内容」には書き込みデータとして書き込みを行った場合のデータ、「書き込み単語」には書き込みデータに含まれる単語として書き込み内容から形態素解析を行い抽出した単語を特徴量として格納する。

表９にホワイトボード操作データテーブルの例を示す。

ホワイトボード操作データは電子会議システムにおいて提供される参加者間で表示および操作を共有するホワイトボード機能において、会議中に参加者が行う書き込み、消去等の操作である。「発生時刻」にホワイトボード操作時刻、「参加者ＩＤ」にホワイトボード操作者の参加者ＩＤ、「内容」に書き込みデータ、「単語」に書き込みデータに含まれる単語として書き込みデータから形態素解析を行い抽出した単語を特徴量として格納する。

表１０にセンサデータテーブルの例を示す。

センサデータは参加者が、脈拍計測センサ、頭部位置検出センサやその他生態情報取得センサを着用し電子会議システムを利用する場合に各種センサから参加者の端末を経由して取得される脈拍数や頭部位置座標値等のデータである。一定時刻ごとに各参加者に関するセンサの情報を格納する。「発生時刻」には当該センサデータの取得時刻、「参加者ＩＤ」には当該参加者ＩＤを格納する。この例では、センサデータとして、「脈拍」に脈拍センサ、「電気抵抗」に参加者の手のひらの電気伝導度を計測する電気抵抗センサ、「α波レベル」および「β波レベル」には、それぞれ脳波のα波レベルおよびβ波レベルを計測するセンサを用いて得られたデータを格納する。

図２は会議データ入力部１１の処理を示すフローチャートである。ステップ１０１に電子会議システム１より会議データが流れてくると、ステップ１０２に会議データを会議データ蓄積装置３に記録し、ステップ１０３に特徴量解析部１２に送信する。特徴量解析部１２は会議データの特徴量を抽出し、会議データ等とともに会議リレーショナルデータベース１３に記録する。以上の動作は会議が終了するまで繰り返される（ステップ１０４）。

図３は特徴量解析部１２の処理を示すフローチャートである。ステップ２０１に会議データ入力部１１より会議データが入力されると、ステップ２０２に会議データの特徴量を解析し、ステップ２０３に特徴量を会議リレーショナルデータベース１３に記録する。以上の処理は会議が終了するまで繰り返される（ステップ２０４）。

図４は特徴量解析部１２内の音声認識処理手段の処理を示すフローチャートである。ステップ３０１に会議データ入力部１１から音声データが送られてくると、ステップ３０２に、音声以外のデータに含まれる単語を検索し、ステップ３０３に、含まれていた単語の言語モデル確率値を上昇させ、ステップ３０４に音声認識を実行し、ステップ３０５に音声認識した単語を会議リレーショナルデータベース１３に格納する。以上の処理を会議が終了するまで繰り返される（ステップ３０６）。

図５は特徴量抽出部１２内の顔表情判定手段の処理を示すフローチャートである。ステップ４０１に、会議データ入力部１１よりカメラ画像を入力し、ステップ４０２に、該当参加者の表情辞書とカメラ画像のマッチングをとり、ステップ４０３に、表情辞書中の、最も類似が高かったものを現在の表情と判定し、ステップ４０４に会議リレーショナルデータベース１３に記録する。以上の処理は会議が終了するまで繰り返される（ステップ４０４）。

電子会議データ検索装置４は検索条件入力部２１と検索条件処理部２２と検索実行部２３と再生部２４から構成される。

検索条件入力部２１は会議リレーショナルデータベース１３の検索を行うための検索条件を入力する。

検索条件処理部２２は入力された検索条件を構造化問い合わせ言語であるＳＱＬ（Structured Query Language）等に変換し、検索実行部２３に出力し、検索実行部２３で得られた検索結果を入力し、最多、最小、総数などの統計的情報を検索する場合には、複数の検索結果に統計的処理を行ない、最終的な検索結果を再生部２４に出力する。

検索実行部２３はＳＱＬを用いて会議リレーショナルデータベース１３を検索し、検索結果を検索条件処理部２２に出力する。なお、階層的条件が指定されていれば、検索条件を追加し、再び検索実行部２３による検索が実行される。

再生部２４は検索結果の一覧を電子会議システム１の画面と同様の画面に表示し、そこから利用者が選択することによって、該当部分を、会議データ蓄積装置３の会議データを用いて再生する。画面内にはすべての参加者のビデオ画像が表示され、音声が聞こえ、チャット、付箋紙、資料共有そのほかすべてが、実際に電子会議システム１で会議に参加していた状態と同様に表示再生される。

図６は検索条件処理部２２の処理を示すフローチャートである。ステップ５０１に検索条件入力部２１より検索条件が流れてくると、ステップ５０２で階層条件検索かどうか判定する。階層検索であれば、ステップ５０３に階層末端の条件をＳＱＬ文に変換し、ステップ５０４に検索実行部２３にＳＱＬ文を送信し、ステップ５０５で１段上層の条件をＳＱＬ文に変換する。ステップ５０４と５０５を最上層になるまで繰り返す（ステップ５０６）。ステップ５０２で階層条件検索でなければ、ステップ５０７に１検索条件を１つのＳＱＬ文に変換する。ステップ５０８に複数条件検索かどうか判定する。複数条件検索であれば、ステップ５０９でＳＱＬ文を連結する。ステップ５１０にＳＱＬ文を検索実行部２３に送信し、ステップ５１１に検索実行部２３から検索結果を受信し、再生部２４に送信する。以上の処理は検索条件が終了するまで繰り返される（ステップ５１２）。

図７は検索実行部２３の処理を示すフローチャートである。ステップ６０１に、検索条件処理部２２よりＳＱＬ文が流れてくると、ステップ６０２に会議リレーショナルデータベース１３を検索し、ステップ６０３に検索結果を検索条件処理部２２に返す。以上の処理は検索条件が終了するまで繰り返される（ステップ６０４）。

図８に検索情報入力部の例を示す。まず、検索結果として表示させたい項目をラジオボタンで選択し、第一の選択肢として誰のデータを検索するかの指定を行い、第二の選択肢として検索する時刻の範囲を指定し、第三の選択肢としてどのテーブルを検索するかの指定を行い、第四の選択肢としてどの項目で検索するか指定を行い、第五の選択肢で検索すべき内容として、自由入力または最大、最小、最長、最短、より大きい、より小さいといったパラメータまたは最多、最少、総数といった統計的情報による条件を指定する。各選択肢は他の選択肢で選択した内容により、選択可能な項目のみ表示する。第二の選択肢で時刻指定を選択した場合には、開始時刻および終了時刻を指定する。第五の選択肢で自由入力を選択した場合には、自由入力欄に検索したい内容またはパラメータを入力する。図８に示している例では、「Ｂさんが『文章入力』と発言した時刻」を検索することになる。これを１つの検索単位とする。

図９にその他の検索条件と入力例を示す。

図１０は１つの検索単位におけるＳＱＬの例として、図９に示した例の場合において生成するＳＱＬの例を示す。

図１１に複数条件におけるＳＱＬの例を示す。複数の検索単位をＡＮＤまたはＯＲで接続することによって複数検索条件を入力することができる。１つの検索単位ごとにＳＱＬの条件を生成し、複数の条件をＡＮＤまたはＯＲで接続することにより検索に使用するＳＱＬを生成する。図１１は“「Ｂさんが『自由入力』と発言した部分」または「Ａさんが『文章入力』とチャットに書いた部分」”という条件の場合に生成するＳＱＬの例である。

図１２に階層条件の例を示す。選択肢で「別条件」を指定した項目は、該項目を検索する別の検索単位を指定する。この例の場合は“「『会議』という単語が共有資料に表示されている時刻」において「『会議』と発言した人は誰か」”を検索することになる。この場合の処理は下層にある「『会議』という単語が共有資料に表示されている時刻」を先にＳＱＬ生成し検索を行い、その検索結果を用いて“「『会議』と発言した人は誰か」かつ「先の検索結果の時刻」”という条件のＳＱＬを生成し検索した結果を表示する。この例は２条件を２層にしたものであるが、条件を増やし階層を増やすことによって複雑な検索が可能となる。多条件、多層の場合の処理フローは、最下層の検索単位を先に検索し、順次検索結果を加えながら上層の検索を行い、最上層の検索結果を表示する。

図１３に検索結果表示の例を示す。ここで選択した検索結果を再生部２４が再生する。

なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。

本発明の一実施形態の電子会議データ取得装置と電子会議データ検索装置の構成図である。 会議データ入力部１１の処理を示すフローチャートである。 特徴量解析部１２の処理を示すフローチャートである。 音声認識処理手段の処理を示すフローチャートである。 顔表情判定部の処理を示すフローチャートである。 検索条件処理部２２の処理を示すフローチャートである。 検索実行部２３の処理を示すフローチャートである。 検索条件入力部２１の具体例を示す図である。 検索条件の例を示す図である。 単一条件におけるＳＱＬの例を示す図である。 複数条件におけるＳＱＬの例を示す図である。 階層条件検索の例を示す図である。 検索結果表示の例を示す図である。

符号の説明

１ 電子会議システム
２ 電子会議データ取得装置
３ 会議データ蓄積装置
４ 電子会議データ検索装置
１１ 会議データ入力部
１２ 特徴量解析部
１３ 会議リレーショナルデータベース
２１ 検索条件入力部
２２ 検索条件処理部
２３ 検索実行部
２４ 再生部
１０１〜１０５，２０１〜２０４，３０１〜３０６，４０１〜４０５，５０１〜５１２，６０１〜６０４ ステップ

Claims (13)

1. 電子会議システムの各参加者の行動および／または状態を記録したマルチメディア会議データを時系列に入力する会議データ入力手段と、
   それぞれの会議データの種類ごとに、該会議データが発生した時刻、該会議データを発生させた参加者ＩＤ、該会議データ、該会議データの特徴量をレコードとするテーブルから構成されるリレーショナルデータベースと、
   入力された前記マルチメディア会議データより会議内の構造および／またはコンテンツに関わる、会議データの特徴量を抽出し、前記リレーショナルデータベースに格納する特徴量解析手段を有する電子会議データ取得装置。
2. 前記会議データ入力手段は、発話者データとその他の少なくとも１つのデータを入力し、
   前記特徴量解析手段は、発話音声データから該発話に含まれる単語を抽出し、その際辞書として用いる言語モデルの確率値を、その他のマルチメディア会議データのいずれかに含まれる単語について、含まれない単語よりも高く設定する音声認識処理手段を含む、請求項１に記載の電子会議データ取得装置。
3. 前記会議データ入力手段はカメラ画像データを入力し、
   事前に該参加者の表情を複数取得し、ラベルを振った表情辞書を有し、
   前記特徴量解析手段は、前記カメラ画像データと前記表情辞書の画像のマッチング処理を行なって、該参加者の表情を判定する表情判定手段を含む、請求項１または２に記載の電子会議データ取得装置。
4. 電子会議システムのそれぞれの会議データの種類ごとに、該会議データが発生した時刻、該会議データを発生させた参加者ＩＤ、該会議データ、該会議データの特徴量をレコードとするテーブルから構成されるリレーショナルデータベースを検索するため検索条件を入力するための検索条件入力手段と、
   入力された検索条件を構造化問い合わせ言語に変換する検索処理手段と、
   該構造化問い合わせ言語により前記リレーショナルデータベースの検索を行う検索実行手段を有し、
   前記検索処理手段は、該検索条件に従って検索結果の処理または追加の検索を行う電子会議データ検索装置。
5. 前記検索条件入力手段は、特定参加者、全員、任意参加者のいずれかを選択する第１の選択肢と、検索を行う時刻の範囲を指定する第２の選択肢と、会議データの種類を選択する第３の選択肢と、該会議データに記録されている会議データまたは特徴量を選択する第４の選択肢と、第１から第４の選択肢で選択された状態の目的語あるいは補語に相当するパラメータまたは統計的情報を選択あるいは入力する第５の選択肢を備えている、請求項４に記載の電子会議データ検索装置。
6. 電子会議システムの各参加者の行動および／または状態を記録したマルチメディア会議データを時系列に入力する会議データ入力段階と、
   入力された前記マルチメディア会議データより会議内の構造および／またはコンテンツに関わる、会議データの特徴量を抽出し、それぞれの会議データの種類ごとに、該会議データが発生した時刻、該会議データを発生させた参加者ＩＤ、該会議データ、該会議データの特徴量をレコードとするテーブルから構成されるリレーショナルデータベースに格納する特徴量解析段階を有する電子会議データ取得方法。
7. 前記会議データ入力段階は、発話者データとその他の少なくとも１つのデータを入力し、
   発話音声データから該発話に含まれる単語を抽出し、その際辞書として用いる言語モデルの確率値を、その他のマルチメディア会議データのいずれかに含まれる単語について、含まれない単語よりも高く設定する段階を含む、請求項６に記載の電子会議データ取得方法。
8. 前記会議データ入力段階はカメラ画像データを入力し、
   前記カメラ画像データと事前に該参加者の表情を複数取得し、ラベルを振った表情辞書の画像のマッチング処理を行なって、該参加者の表情を判定する段階を含む、請求項６または７に記載の電子会議データ取得方法。
9. 電子会議システムのそれぞれの会議データの種類ごとに、該会議データが発生した時刻、該会議データを発生させた参加者ＩＤ、該会議データまたは該会議データの特徴量をレコードとするテーブルから構成されるリレーショナルデータベースを検索するため検索条件を入力するための検索条件入力段階と、
   入力された検索条件を構造化問い合わせ言語に変換する検索処理段階と、
   該構造化問い合わせ言語により前記リレーショナルデータベースの検索を行う検索実行段階を有し、
   前記検索処理段階は、該検索条件に従って検索結果の処理または追加の検索を行う電子会議データ検索方法。
10. 請求項６から８のいずれかに記載の電子会議データ取得方法をコンピュータに実行させるための電子会議データ取得プログラム。
11. 請求項９に記載の電子会議データ検索方法をコンピュータに実行させるための電子会議データ検索プログラム。
12. 請求項１０に記載の電子会議データ取得プログラムを記録した記録媒体。
13. 請求項１１に記載の電子会議データ検索プログラムを記録した記録媒体。

Images